Klasse Unannehmbar: die verbotenen KI-Praktiken nach Art. 5

Kurzantwort

Die oberste Risikoklasse des EU AI Act ist keine Klasse mit Auflagen, sondern eine mit einem Verbot. Artikel 5 der KI-Verordnung listet eine abschließende Reihe von KI-Praktiken auf, die als unannehmbares Risiko für Grundrechte und Sicherheit gelten und deshalb gar nicht erst in Verkehr gebracht, in Betrieb genommen oder verwendet werden dürfen. Es gibt hier keine Konformitätsbewertung, kein CE-Zeichen und keinen Pfad zur Legalisierung — die Praktik ist schlicht untersagt. Acht Verbotstatbestände bilden diese Klasse, von manipulativen Techniken über Social Scoring bis zur biometrischen Echtzeit-Identifizierung. Für Anbieter und Betreiber ist die wichtigste Frage daher nicht „welche Pflichten habe ich?", sondern „berührt mein System überhaupt einen dieser Tatbestände?".

Rechtliche Verortung

Die verbotenen Praktiken stehen in Artikel 5 der Verordnung (EU) 2024/1689. Systematisch ist Art. 5 der ersten der vier Risikoklassen zugeordnet: unannehmbares Risiko an der Spitze, darunter Hochrisiko (Art. 6 in Verbindung mit Anhang I und III), begrenztes Risiko mit Transparenzpflichten (Art. 50) und schließlich das nicht eigens regulierte minimale Risiko. Die Verbote des Art. 5 gehören zu den zuerst greifenden Vorschriften der Verordnung und stehen damit zeitlich vor dem zentralen Enforcement-Forcing-Event am 02.12.2027. Verstöße gegen Art. 5 sind im Sanktionsregime der Verordnung (Art. 99) mit dem höchsten Bußgeldrahmen belegt — bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist.

Wichtig für die Einordnung: Art. 5 enthält für mehrere Tatbestände eng gefasste Ausnahmen, etwa für medizinische oder sicherheitsbezogene Zwecke oder für eng umgrenzte Strafverfolgungssituationen. Diese Ausnahmen sind keine Schlupflöcher, sondern restriktiv auszulegende Sondertatbestände mit eigenen Voraussetzungen.

Erklärung

Art. 5 erfasst acht Praktiken. Erstens den Einsatz unterschwelliger, manipulativer oder täuschender Techniken, die das Verhalten einer Person so beeinflussen, dass sie eine Entscheidung trifft, die sie sonst nicht getroffen hätte, und dadurch erheblicher Schaden droht. Zweitens das Ausnutzen von Schutzbedürftigkeit aufgrund von Alter, Behinderung oder einer besonderen sozialen oder wirtschaftlichen Lage mit demselben schädigenden Effekt. Drittens Social Scoring: die Bewertung oder Klassifizierung von Personen anhand ihres Sozialverhaltens oder persönlicher Merkmale, die zu benachteiligender Behandlung in Kontexten führt, die mit dem ursprünglichen Erhebungszusammenhang nichts zu tun haben.

Viertens die Vorhersage des Risikos, dass eine Person eine Straftat begeht, allein auf Basis von Profiling oder Persönlichkeitsmerkmalen — die individualisierte „predictive policing". Fünftens das ungezielte Auslesen (Scraping) von Gesichtsbildern aus dem Internet oder aus Videoüberwachung zum Aufbau von Gesichtserkennungsdatenbanken. Sechstens Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, außer aus medizinischen oder sicherheitsbezogenen Gründen. Siebtens die biometrische Kategorisierung, die Menschen anhand biometrischer Daten in sensible Kategorien einsortiert — etwa Rasse, politische Meinung, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugung, Sexualleben oder sexuelle Orientierung. Achtens die biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, die nur in eng definierten Ausnahmefällen und unter besonderen Voraussetzungen zulässig ist.

Der gemeinsame Nenner dieser acht Tatbestände ist nicht die Technologie, sondern die Schutzgutverletzung. Der Gesetzgeber hat hier Praktiken zusammengefasst, bei denen kein Maß an Dokumentation, Risikomanagement oder menschlicher Aufsicht das zugrunde liegende Grundrechtsproblem heilen würde — die Würde, die Selbstbestimmung oder das Diskriminierungsverbot stehen so zentral im Weg, dass die Verordnung den Pfad „erlaubt unter Auflagen" gar nicht erst öffnet. Genau das unterscheidet die Klasse Unannehmbar strukturell von der Klasse Hochrisiko: Hochrisiko-Systeme dürfen betrieben werden, wenn sie die Pflichten der Art. 9 bis 15 erfüllen; Art.-5-Praktiken dürfen es nicht, Punkt.

Die Grenzen dieser Tatbestände sind die eigentliche Auslegungsarbeit. Viele Verbote setzen ein qualifizierendes Element voraus: einen erheblichen Schaden, eine ungerechtfertigte oder kontextfremde Benachteiligung, oder den Einsatz „allein" auf Basis verbotener Faktoren. Ein System, das menschliche Bewertung lediglich auf Grundlage objektiver, überprüfbarer Fakten unterstützt, fällt etwa nicht automatisch unter das predictive-policing-Verbot. Und Emotionserkennung außerhalb von Arbeitsplatz und Bildung ist nicht per se verboten — sie kann dann in eine andere Klasse fallen, etwa unter die Transparenzpflichten oder den Hochrisiko-Bereich. Wer ein System prüft, muss also nicht nur das Schlagwort treffen, sondern auch das qualifizierende Tatbestandsmerkmal.

Auch die Ausnahmen verdienen Sorgfalt, weil sie eng und mit eigenen Voraussetzungen formuliert sind. Bei der biometrischen Echtzeit-Identifizierung etwa knüpft die Verordnung die wenigen zulässigen Strafverfolgungsfälle an zusätzliche Bedingungen wie vorherige Genehmigung und strikte Verhältnismäßigkeit — eine Ausnahme, die in der Praxis kaum ein privatwirtschaftliches System trägt. Bei der biometrischen Kategorisierung sind Filterung und Kennzeichnung rechtmäßig erworbener Datensätze anders zu bewerten als das aktive Ableiten sensibler Merkmale im Live-Betrieb. Für Anbieter heißt das: Wer sich auf eine Ausnahme stützt, trägt die Begründungslast und sollte deren Voraussetzungen ebenso dokumentieren wie die Klassifizierung selbst. Eine als „ausgenommen" eingestufte Anwendung, deren Voraussetzungen sich später nicht halten lassen, fällt rückwirkend in den vollen Verbotstatbestand zurück.

Entscheidungshilfe

Zur Erstprüfung eignet sich eine kurze Sequenz von Fragen. Wird das System verneint, ist die Klasse Unannehmbar ausgeschlossen — was nicht heißt, dass es unreguliert ist; dann beginnt die Prüfung auf Hochrisiko.

• Manipulation/Ausnutzung: Beeinflusst das System Verhalten unterschwellig oder nutzt es eine besondere Schutzbedürftigkeit aus — und droht dadurch erheblicher Schaden?
• Social Scoring: Werden Personen anhand von Verhalten oder Merkmalen bewertet und in fremden Kontexten benachteiligt?
• Predictive Policing: Wird ein individuelles Straftatrisiko allein aus Profiling/Persönlichkeit abgeleitet, ohne objektive verifizierbare Tatsachen?
• Gesichts-Scraping: Werden Gesichtsbilder ungezielt aus Internet/CCTV gesammelt, um eine Erkennungsdatenbank aufzubauen?
• Emotionserkennung: Erkennt das System Emotionen am Arbeitsplatz oder in der Bildung — ohne medizinischen/sicherheitsbezogenen Zweck?
• Biometrische Kategorisierung: Werden sensible Kategorien (z. B. Religion, politische Meinung, sexuelle Orientierung) aus biometrischen Daten abgeleitet?
• Echtzeit-RBI: Erfolgt biometrische Fernidentifizierung in Echtzeit im öffentlichen Raum zu Strafverfolgungszwecken außerhalb der eng definierten Ausnahmen?

Eine einzige eindeutig bejahte Frage genügt, um in die Klasse Unannehmbar zu fallen. Im Zweifel über das qualifizierende Merkmal sollte die Einschätzung dokumentiert und konservativ getroffen werden.

Beispiele

• Dark-Pattern-Kaufassistent, der Nutzer durch verdeckte Drucktechniken zu nachteiligen Verträgen drängt — in Klasse Unannehmbar, weil manipulative Technik mit Verhaltensverzerrung und Schadenspotenzial vorliegt (Art. 5 Abs. 1 lit. a).
• Behördliches Punktesystem, das Bürger anhand ihres Alltagsverhaltens bewertet und ihnen daraufhin Leistungen verweigert — in Klasse Unannehmbar als Social Scoring (lit. c).
• Tool, das aus Wohnort und Persönlichkeitsprofil eine individuelle Straftatwahrscheinlichkeit errechnet — in Klasse Unannehmbar (lit. d), weil es allein auf Profiling beruht.
• Software, die offene Webquellen nach Gesichtern durchsucht, um eine kommerzielle Erkennungsdatenbank zu füllen — in Klasse Unannehmbar (lit. e).
• Webcam-Analyse, die im Großraumbüro die Stimmung der Mitarbeitenden misst — in Klasse Unannehmbar als Emotionserkennung am Arbeitsplatz (lit. f); eine medizinische Anwendung in der Klinik wäre vom Verbot ausgenommen.
• Kamerasystem, das Passanten anhand des Gesichts in religiöse oder politische Gruppen einsortiert — in Klasse Unannehmbar als biometrische Kategorisierung nach sensiblen Merkmalen (lit. g).
• Bewertungssystem im Customer Service, das Kundenanfragen nach Dringlichkeit anhand objektiver Vertragsdaten priorisiert — nicht in Klasse Unannehmbar, weil weder Manipulation noch sensible Kategorisierung noch kontextfremde Benachteiligung vorliegt; die Prüfung wandert weiter zu den Klassen darunter.

Ein System, das knapp am qualifizierenden Merkmal vorbeischrammt — etwa eine Entscheidungshilfe auf Basis nachprüfbarer objektiver Fakten —, ist nicht verboten, landet aber regelmäßig in der nächsten Klasse. Der Übergang von „verboten" zu „hochrisiko" ist daher fließend und gehört in jede Klassifizierung ausdrücklich dokumentiert.

Den Gesamtüberblick über die vier Klassen und das Pflichtengerüst des EU AI Act bietet der Leitfaden auf eu-ai-verordnung.de. Wer wissen will, was ein Verstoß konkret kostet, findet die Sanktionssystematik bei ki-bussgeld.de.

Risikoklassifizierung systematisch und auditfähig — AEGIRA AI Navigator: aegira.ai.