Liberties hat der Europäischen Kommission seine Positionen zur öffentlichen Konsultation über die Definition von Künstlicher Intelligenz (Artikel 3) sowie zur Liste der in der EU verbotenen Praktiken (Artikel 5) vorgelegt. Die delegierte Verordnung sollte sich auf Inklusivität konzentrieren und die verbleibenden Schlupflöcher im Text des KI-Gesetzes schließen.

Mit dem KI-Gesetz legt die Europäische Union einen wegweisenden Rechtsrahmen vor, der darauf abzielt, künstliche Intelligenz so zu regulieren, dass sie mit den Grundrechten, der Demokratie und der Rechtsstaatlichkeit in Einklang steht. Der endgültige Text des KI-Gesetzes enthält jedoch beunruhigende Elemente, darunter die Definition und die damit verbundenen Verbote. Liberties zeigt Probleme auf, welche die Europäische Kommission beim Ausarbeiten der delegierten Verordnung noch beachten sollte, damit Schlupflöcher geschlossen und zu weit gefasste Regeln präzisiert werden. Wir halten eine präzise Sprache und klare Richtlinien für unerlässlich, um eine ordnungsgemäße Durchsetzung zu gewährleisten und die Grundrechte in diesem Bereich zu wahren.

Mehrdeutige und zu weit gefasste Definition von KI-Systemen

Artikel 3 (1) des KI-Gesetzes definiert KI-Systeme als:

"ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operiert und nach dem Einsatz Anpassungsfähigkeit zeigen kann, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generieren kann, die physische oder virtuelle Umgebungen beeinflussen können."

Diese Definition von KI-Systemen, als maschinelles System, welches für eine bestimmte Reihe von Menschen definierte Ziele Vorhersagen, Empfehlungen oder Entscheidungen treffen kann, die reale oder virtuelle Umgebungen beeinflussen, entspricht durchaus den Standards internationaler Organisationen wie der OECD. Allerdings birgt der technische Fokus des KI-Gesetzes die Gefahr, dass Systeme ausgeschlossen werden, die eigentlich in den Geltungsbereich des Gesetzes fallen müssten.

Wir sind der Meinung, dass die Kommission bei der Definition von KI-Systemen folgende Punkte berücksichtigen muss:

1. Autonomie-Schlupflöcher: Der Ausdruck „unterschiedliche Autonomiegrade“ muss dahingehend präzisiert werden, dass er alle Systeme umfasst, die Entscheidungen oder Umgebungen beeinflussen können, unabhängig davon, wie autonom sie sind. Eine enge Auslegung könnte Systeme ausnehmen, die verboten werden sollten.
2. Überbetonung technischer Aspekte: Die Definition stützt sich stark auf technische Parameter, anstatt den Kontext und die Auswirkungen stärker in den Vordergrund zu rücken. Die Kommission sollte vorrangig prüfen, ob der Output eines Systems die Grundrechte beeinträchtigen kann.
3. Ausweitung der Inklusivität: Um Schlupflöcher zu vermeiden, muss jedes KI-System, dessen Outputs die Grundrechte beeinträchtigen könnten, in den Geltungsbereich des Gesetzes fallen.

Stärkung des Aspekts "verbotene Praktiken"

Die öffentliche Konsultation konzentrierte sich auf die verbotenen Praktiken, die in Artikel 5 des KI-Gesetzes definiert sind. Das Gesetz verbietet KI-Anwendungen, die als inakzeptabel riskant eingestuft werden. Um jedoch zu vermeiden, dass die vage bzw. subjektiv gehaltene Sprache des Gesetzes zu einer ineffektiven Anwendung führt, sind Leitlinien zur weiteren Klarstellung erforderlich:

1. Techniken der unterschwelligen Beeinflussung, Manipulation und Täuschung

Das Verbot der Anwendung von unterschwelligen oder manipulativen Techniken durch KI-Systeme stützt sich auf Begriffe wie „wesentliche Verzerrung“, „erheblicher Schaden“ und „unterschwellige Techniken“. Die Kommission muss:

1. Schwellenwerte für „wesentliche Verzerrung“ und „erheblichen Schaden“ definieren, um die Durchsetzbarkeit der Regelungen zu gewährleisten.
2. Die Definition von „unterschwelligen Techniken“ erweitern, um sämtliche Methoden einzuschließen, die die Entscheidungsfindung oder Meinungsbildung beeinflussen, ohne dass dies von der betroffenen Person bewusst wahrgenommen wird.
3. Das Konzept des „Bewusstseins“ berücksichtigen, das in verschiedenen Disziplinen unterschiedlich interpretiert werden kann, um eine breite und praxisnahe Anwendbarkeit sicherzustellen.

2. Soziale Bewertung (social scoring)

Soziale Bewertungssysteme sind verboten, wenn sie Personen aufgrund ihres Sozialverhaltens oder persönlicher Merkmale bewerten oder klassifizieren und wenn dies zu einer nachteiligen Behandlung führt. Die vage Formulierung lässt jedoch Raum für Missbrauch. Die Richtlinien sollten:

• Klarstellen, welche Systeme als Social Scoring eingestuft werden.
• Klarstellen, dass „Sozialverhalten“ verschiedene gesellschaftliche Normen umfasst.
• Proxy-Daten, wie z. B. Postleitzahlen, definieren, die indirekt Diskriminierung ermöglichen können.
• Feststellen, dass die begrenzte Dauer der Datenerhebung („über einen bestimmten Zeitraum“) irrelevant dafür ist, ob ein System als Social Scoring eingestuft wird.

3. Vorausschauende Polizeiarbeit (Predictive Policing)

Das Verbot der Nutzung von KI zur Vorhersage von Kriminalitätsrisiken, ausschließlich basierend auf Profiling oder Persönlichkeitsmerkmalen, schließt Ausnahmen für Systeme ein, welche die menschliche Beurteilung auf der Grundlage „objektiver und überprüfbarer Fakten“ unterstützen.

Um Schlupflöcher zu schließen:

• Das Verbot schließt ausdrücklich „KI-Systeme aus, die zur Unterstützung menschlicher Bewertungen auf der Grundlage objektiver und überprüfbarer Fakten, die in direktem Zusammenhang mit einer kriminellen Handlung stehen, eingesetzt werden.“ „Objektiv und überprüfbar“ sollte eine unabhängige Überprüfung, wie z. B. eine gerichtliche Aufsicht, voraussetzen.
• „Straftat“ sollte so verstanden werden, dass der Begriff alle Verhaltensweisen umfasst, die nach den Gesetzen sowohl der EU als auch der Mitgliedstaaten als solche gelten, um den Geltungsbereich der Verbote zu maximieren.

4. Ungezieltes Sammeln von Daten (Untargeted Scraping)

KI-Systeme, die Gesichtsbilder aus dem Internet oder von Überwachungskameras sammeln, um Erkennungsdatenbanken aufzubauen, sind verboten, wenn das Sammeln „ungezielt“ erfolgt. Die Kommission sollte:

• „Ungezieltes“ Scraping so definieren, dass es jegliches Scraping umfasst, das nicht direkt mit Personen in Verbindung steht, die in strafrechtliche Ermittlungen verwickelt sind.
• sicherstellen, dass dieses Verbot für Systeme gilt, die auf der Nutzung und nicht auf der beabsichtigten Gestaltung basieren.
• sich an das EU-Fallrecht (La Quadrature und andere (C-511/18)) anlehnen, das die Bedeutung des Schutzes personenbezogener Daten auch dann hervorhebt, wenn die Daten nach der Analyse verworfen werden.

5. Biometrische Kategorisierung

Zu den verbotenen Arten der Nutzung biometrischer Daten gehört die Ableitung sensibler Kategorien personenbezogener Daten. Die Kommission muss:

• Klarstellen, dass dieses Verbot auch dann gilt, wenn solche Ableitungen unbeabsichtigt sind, aber aus dem Systemdesign oder der Datennutzung resultieren.
• Die Unterscheidung zwischen legitimer Nutzung biometrischer Daten und missbräuchlichen Kategorisierungspraktiken festsetzen.
• Die Definition der sensiblen Kategorien personenbezogener Daten gemäß der DSGVO anwenden.

Schlussfolgerung

Der Erfolg des KI-Gesetzes hängt von der Klarheit und Durchsetzbarkeit seiner Bestimmungen ab. Eine vage Sprache in der Definition und bei den Verboten schafft Schlupflöcher, die die Absicht des Gesetzes, die Grundrechte zu schützen und die Rechtsstaatlichkeit zu wahren, untergraben.

Die Kommission hat die Möglichkeit, diese Probleme anzugehen und sicherzustellen, dass alle in Europa betriebenen KI-Systeme im Einklang mit den Grundwerten der Gemeinschaft stehen.

Liberties hat bei der Ausarbeitung unserer Stellungnahme mit anderen Organisationen der Zivilgesellschaft zusammengearbeitet, unter anderem mit EDRi und ECNL.

Unsere Stellungnahme kann hier heruntergeladen werden (englisch).