Verboten nach Risiko: Was der EU AI Act zu Predictive Policing & Social Scoring sagt

Was, wenn ein Algorithmus über deine Reisefreiheit, deine Gefährlichkeit oder deine Kreditwürdigkeit entscheidet – bevor du etwas getan hast? Der EU AI Act will genau solche Systeme in Europa stoppen.

Der EU AI Act ist das erste umfassende Gesetz zur Regulierung von Künstlicher Intelligenz in Europa. Er folgt einem risikobasierten Ansatz: Je höher das Risiko einer KI-Anwendung für Gesundheit, Sicherheit oder Grundrechte, desto strengere Regeln gelten. Einige KI-Systeme gelten als „inakzeptables Risiko“ und werden vollständig verboten – darunter soziale Bewertungssysteme („Social Scoring“) und bestimmte Predictive-Policing-Tools. Ziel der Verordnung ist es, vertrauenswürdige und menschenzentrierte KI zu fördern und grundlegende Werte zu schützen.

Verboten: KI-Systeme mit „inakzeptablem Risiko“

Der EU AI Act zieht klare rote Linien – und verbietet bestimmte KI-Praktiken vollständig. Gemeint sind Systeme, die als schwerwiegende Bedrohung für Grundrechte, Sicherheit oder gesellschaftliche Teilhabe gelten. Insgesamt acht Arten von Anwendungen stuft die Verordnung als „inakzeptabel“ ein:

• Manipulative oder täuschende KI, die Menschen zu schädlichem Verhalten verleitet (z. B. Deepfakes zur Meinungsbeeinflussung)
• Ausnutzung spezifischer Schwachstellen, etwa bei Kindern, alten Menschen oder Menschen mit Behinderung
• Social Scoring-Systeme, wie sie z. B. in autoritären Staaten zum Einsatz kommen
• Vorhersagen zu individueller Straffälligkeit („predictive policing“ auf Einzelfallbasis)
• Massives Scraping aus dem Internet oder von CCTV-Daten zur Erstellung biometrischer Datenbanken
• Emotionserkennung an Schulen und Arbeitsplätzen
• Biometrische Kategorisierung, etwa zur Ableitung von Religion, sexueller Orientierung oder ethnischer Herkunft
• Echtzeit-Gesichtserkennung im öffentlichen Raum durch Strafverfolgungsbehörden (mit sehr engen Ausnahmen)

Die Botschaft ist klar: Wo der Einsatz von KI tief in Persönlichkeitsrechte eingreift oder diskriminierende Strukturen zementiert, hat sie in Europa keinen Platz – zumindest nicht ohne massive Schranken.

Predictive Policing & Social Scoring unter Art. 5 AI Act

Chicago 2013. Eine algorithmische „Heat List“ sollte helfen, Waffengewalt zu verhindern. Doch statt gezielter Prävention landeten praktisch alle erfassten Personen – häufig junge Männer aus Minderheiten sowie alle seit 2013 festgenommenen oder erkennungsdienstlich erfassten Personen– automatisch auf der Liste, ganz gleich, ob sie je erneut straffällig wurden. Der Vorwurf: Racial Bias. 2019 wurde das System eingestellt.

Predictive Policing – die algorithmische Vorhersage von Kriminalität – beschreibt den Einsatz Künstlicher Intelligenz zur antizipativen Gefahrenabwehr: Ziel ist es, mittels datenbasierter Analysen potenzielle Tatorte oder Risikopersonen zu identifizieren, noch bevor eine Straftat begangen wird. Grundlage solcher Systeme sind meist große Datenmengen – etwa historische Kriminalstatistiken, soziodemografische Informationen oder Verhaltensmuster –, die von Algorithmen verarbeitet und zu Prognosen verdichtet werden. Diese sollen aufzeigen, wo, wann und unter Umständen auch durch wen mit erhöhter Wahrscheinlichkeit Straftaten auftreten könnten.

Je nach Systemfokus unterscheidet man zwischen ortsbezogenem Predictive Policing (z. B. Vorhersage von Einbruchsschwerpunkten) und personenbezogenem Predictive Profiling (z. B. Einstufung von Individuen als potenzielle Täter oder Opfer). Letzteres ist besonders grundrechtssensibel – nicht nur wegen möglicher Stigmatisierungen, sondern auch aufgrund der Gefahr systemischer Verzerrungen („algorithmic bias“), wenn etwa vergangene Polizeipraktiken diskriminierende Strukturen in die Zukunft fortschreiben.

China 2018. 23 Millionen Menschen wurde der Kauf von Zug- oder Flugtickets verwehrt – nicht wegen Verbrechen, sondern weil sie als „unzuverlässig“ eingestuft wurden. Grundlage: ein staatlicher Social Score, gespeist aus Daten wie dem Zahlungsverhalten oder Verkehrsverstößen. Das System belohnt „gutes“ Benehmen – und sanktioniert vermeintlich schlechtes.

Social Scoring bezeichnet die automatisierte Bewertung von Personen auf Basis ihres realen oder digitalen Verhaltens. Dabei fließen ganz unterschiedliche Datenpunkte ein – etwa Zahlungsverhalten, Verkehrsdelikte, Online-Interaktionen oder auch soziales Engagement. Diese Informationen werden in einem algorithmischen Verfahren zu einem Gesamtscore verdichtet, der als Indikator für die Zuverlässigkeit oder gesellschaftliche Konformität der betroffenen Person dient.

Solche Systeme können sowohl privatwirtschaftlich (z. B. Bonitätsprüfung) als auch staatlich reguliert oder betrieben sein – Letzteres birgt erhebliche grundrechtliche Risiken. Denn anders als beim klassischen Kreditrating betreffen staatliche Scoring-Systeme häufig nicht nur wirtschaftliche Kennzahlen, sondern auch moralische oder politische Verhaltenskomponenten. Die Folge: Menschen können sanktioniert oder privilegiert werden, ohne dass ein konkreter Rechtsverstoß vorliegt – allein auf Basis algorithmischer Einschätzungen ihres „guten Bürgertums“.

Verbote im AI Act: Was ist (nicht) erlaubt?

Der finale EU AI Act zieht bei beiden Konzepten eine klare Grenze. Social Scoring-Systeme sind umfassend verboten– und zwar sowohl, wenn der Staat sie einsetzt, als auch wenn private Firmen so etwas anbieten würden. Ausgenommen sind dagegen legitime Bewertungen in engen Kontexten – etwa Bonitätsprüfungen bei Krediten oder Betrugsprävention – sofern sie auf relevanten Daten basieren und transparent sowie verhältnismäßig erfolgen. Die EU will damit sicherstellen, dass kein allgemeines „Bürger-Rating“ entsteht, wie man es dystopisch aus der Serie Black Mirror oder real aus China kennt, während normale Scoring-Verfahren (unter bestehenden Gesetzen) weiterhin möglich bleiben.

Auch beim Predictive Policing greift der AI Act regulierend ein: KI-Systeme, die das Risiko einzelner Personen für künftige Straftaten vorhersagen, sind künftig verboten, wenn diese Vorhersagen allein aufgrund von Profiling oder persönlichen Eigenschaften der Person erfolgen. Damit zielt das Verbot genau auf individualisierte Risiko-Prognosen ab, die z.B. anhand von Persönlichkeitsmerkmalen oder dem sozialen Umfeld jemanden als “potenziellen Kriminellen” einstufen. Solche Methoden gefährden nämlich Grundrechte wie die Unschuldsvermutung, Datenschutz und Gleichbehandlung – insbesondere wenn sensible Merkmale (etwa ethnische Herkunft, Einkommen oder politische Ansichten) als Risikofaktoren herangezogen werden. Wichtig: Nicht jede Form von Predictive Policing ist verboten. Erlaubt bleibt insbesondere die ortsbezogene Vorhersage von Kriminalität, also z.B. KI-gestützte “Heatmaps” für Einbruchs-Hotspots in einer Stadt. Dies spiegelt einen Kompromiss eines Teilverbots wider: Persönlichkeitsbasierte Vorhersagen sind untersagt, während räumliche Prognosen weiter genutzt werden dürfen.

Fazit: Risiko erkannt, Risiko gebannt - der AI Act in Action

Gespräche über mögliche Überregulierung sind berechtigt – gerade in einem so dynamischen Feld wie der KI. Zugleich zeigt sich bereits jetzt ein klarer Effekt: mit dem AI Act setzt die EU weltweit Standards – nicht nur durch Gesetze, sondern durch das, was Politikwissenschaftler:innen den Brüssel-Effekt nennen. Europäische Regeln werden zum globalen Maßstab, weil Unternehmen und Staaten sich danach richten müssen, wenn sie den EU-Markt nicht verlieren wollen.

„Artificial intelligence must serve people, and therefore artificial intelligence must always comply with people’s rights.“ – Ursula von der Leyen (Präsidentin der Europäischen Kommission)

Wer sich fragt, wie eine Welt aussieht, in der Vorhersagen über Menschen zur Norm werden, dem sei ein Filmabend mit Minority Report empfohlen – Tom Cruise jagt dort Straftäter, bevor sie überhaupt etwas getan haben. Regisseur Steven Spielberg inszeniert darin keine Zukunftsvision, sondern eine ethische Warnung: Was technisch machbar ist, darf nicht automatisch rechtlich erlaubt sein. Science-Fiction bleibt auf der Leinwand – der Rechtsstaat bleibt auf dem Boden.

Quellen:

https://artificialintelligenceact.eu/de/article/5/
https://digital-strategy.ec.europa.eu/de/policies/regulatory-framework-ai