Künstliche Intelligenz (KI) in der Polizeiarbeit

Verfassungsrechtliche Leitplanken und unionsrechtliche Grenzen

3 Hochrisiko-KI-Systeme nach Art. 6 ff. KI-VO

Eine erhebliche Anzahl der in der Polizeiarbeit eingesetzten oder künftig denkbaren KI-Systeme dürfte in den Anwendungsbereich der Hochrisiko-KI-Systeme nach Art. 6 ff. KI-VO fallen. Anders als bei den Verbotstatbeständen knüpft das Hochrisiko-Regime nicht primär an die konkrete Einsatzsituation im Einzelfall an, sondern an das KI-System als solches. Maßgeblich sind dessen objektive Zweckbestimmung, Funktionsweise und Risikoprofil. Schon die Bereitstellung oder das Inverkehrbringen löst daher umfangreiche unionsrechtliche Pflichten aus, bevor das System im Rahmen einer konkreten polizeilichen Maßnahme eingesetzt wird. Zwar nimmt die Einstufung eines KI-Systems in die Hochrisikokategorien weiterhin Bezug auf den vorgesehenen Verwendungszweck, die in Kapitel III normierten Pflichten und Anforderungen sind jedoch überwiegend produktbezogen ausgestaltet und folgen in ihrer Systematik eher einem produktsicherheitsrechtlichen Regulierungsansatz.²¹

Die Einstufung als Hochrisiko-KI-System ergibt sich entweder aus den Anforderungen des Art. 6 Abs. 1 oder des Art. 6 Abs. 2 in Verbindung mit Anhang III KI-VO mittels einer risikobasierten Bewertung durch den Anbieter oder Betreiber des Systems²². Anhang III benennt diejenigen Systemkategorien, bei denen der Unionsgesetzgeber ein besonderes Gefährdungspotenzial für Grundrechte annimmt.²³ Zugleich setzt die KI-VO voraus, dass der Einsatz der genannten Systeme nur auf der Grundlage einer hinreichenden nationalen Befugnisnorm erfolgen kann, was sich aus der angelegten Bezugnahme auf das jeweils geltende innerstaatliche Recht ergibt.

Zu den in Anhang III der KI-VO geregelten Hochrisiko-KI-Systemen gehören zunächst biometrische KI-Systeme gemäß Nr. 1, darunter biometrische Fernidentifizierungssysteme, KI-Systeme zur biometrischen Kategorisierung sowie Systeme zur Emotionserkennung. Auch wenn die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum nur für einen sehr begrenzten Anwendungsbereich zulässig ist und ansonsten unter die verbotenen Praktiken nach Art. 5 Abs. 1 KI-VO zu subsumieren ist, verbleibt eine Vielzahl biometrischer Anwendungen, wie etwa die zulässige Echtzeit-Fernidentifizierung²⁴, die retrograde Identifizierung, Abgleichprozesse oder forensische Analysen, die dem Anwendungsbereich der Hochrisikoregulierung unterfallen. Das gilt insbesondere für Systeme, die Gesichtsmerkmale, Stimmprofile oder andere biometrische Marker zur Zuordnung oder Kategorisierung von Personen auswerten. Hierbei spiegeln sich zentrale grundrechtliche Risikolagen wider, wie sie auch das BVerfG beim o.g. Urteil herausarbeitet: Gerade die softwaregestützte Zusammenführung und Auswertung größerer Datenbestände kann neues, besonders persönlichkeitsrelevantes Wissen erzeugen und je nach Datenumfang und Methode bis zur Rekonstruktion von Bewegungs-, Verhaltens- oder Beziehungsprofilen reichen.²⁵ Auch Systeme, die biometrische Merkmale einer Person automatisiert mit den in einer Referenzdatenbank hinterlegten Vergleichsdaten abgleichen, um eine Identifizierung zu ermöglichen, sind typischerweise dem Hochrisikobereich zuzuordnen. Der o.g. Gesetzesentwurf des BMI zum Abgleich von Daten aus dem Internet würde damit klassischerweise hierunter fallen. Diese Regelung berührt gleichzeitig unmittelbar die vom BVerfG herausgestellten Stellschrauben des Eingriffsgewichts aufgrund der Breite der Datenquellen und Datenarten.²⁶

Für die polizeiliche Praxis nicht weniger bedeutend sind die Hochrisikokategorien aus dem Bereich der Strafverfolgung. Nach Anhang III Nr. 6 KI-VO zählen hierzu KI-Systeme, die das Risiko bewerten, dass eine natürliche Person Opfer einer Straftat wird, die als Lügendetektoren oder zur Emotionserkennung in Vernehmungssituationen eingesetzt werden sollen, die zur Bewertung der Verlässlichkeit von Beweismitteln im Ermittlungs- und Strafverfahren dienen, die das Risiko prognostizieren, dass eine Person eine Straftat begeht oder die zur Erstellung von Profilen natürlicher Personen genutzt werden. Diese Systeme verarbeiten regelmäßig große Mengen personenbezogener, teils sensibler Daten und können polizeiliche Entscheidungen beeinflussen.

Insgesamt zeichnen sich die Hochrisiko-KI-Systeme charakteristisch durch ein hohes Maß an intransparenten algorithmischen Entscheidungsprozessen aus. Die Funktionsweise dieser Modelle bleibt für Nutzer häufig nur eingeschränkt nachvollziehbar. Das erschwert eine effektive Kontrolle, Überprüfung oder Korrektur fehlerhafter Ergebnisse erheblich. Hinzu kommt ein erhöhtes Diskriminierungspotenzial, da KI-Systeme regelmäßig auf historische Datenbestände und statistische Modellannahmen zurückgreifen, in denen gesellschaftliche Ungleichheiten und Vorprägungen bereits angelegt sind. Diese Verzerrungen können durch den algorithmischen Verarbeitungsprozess reproduziert oder gar verstärkt werden und zu benachteiligenden Ergebnissen führen, insbesondere gegenüber bestimmten Bevölkerungsgruppen.

Darüber hinaus wird es als besonders kritisch angesehen, dass der Kommission gemäß Art. 6 Abs. 7, Art. 7 i.V.m. Art. 97 KI-VO die Befugnis erteilt wurde, die Anwendungsbereiche von Hochrisiko-KI-Systemen durch delegierte Rechtsakte anzupassen und insbesondere die Liste des Anhangs III zu erweitern. Damit ist die Aufzählung der Hochrisiko-KI-Systeme nicht statisch im Verordnungstext festgelegt, sondern flexibel an die Entwicklungen anpassbar.²⁷ Dies löst erhebliche Rechtsunsicherheit aus, weil nur schwer vorhersehbar ist, ob eine nicht erfasste Anwendung künftig als Hochrisiko-KI-System eingestuft wird und damit den strengen Anforderungen der Art. 8 ff. KI-VO unterliegt.

Auf der Rechtsfolgenseite ist für Hochrisiko-KI-Systeme ein strenges und mehrstufiges Compliance-Regime mit weitreichenden Pflichten für Anbieter und Betreiber vorgesehen. Ein zentrales Element ist das umfassende Risikomanagementsystem nach Art. 9 KI-VO, das den gesamten Lebenszyklus des KI-Systems abdecken und laufend aktualisiert werden muss. Hinzu kommen hohe Anforderungen an die Qualität, Repräsentativität und Verzerrungsfreiheit der verwendeten Daten gemäß Art. 10 KI-VO. Gerade im polizeilichen Kontext kommt diesem Punkt eine erhebliche Bedeutung zu, da fehlerhafte oder verzerrte Datensätze schnell zu diskriminierenden Ergebnissen und Ungleichbehandlungen führen können. Weiterhin wird eine vollständige technische Dokumentation verlangt, die die Transparenz der Funktionsweise sowie die Nachvollziehbarkeit der Ergebnisse gemäß Art. 11 bis 13 KI-VO nachweist. Von besonderer Bedeutung ist auch die Pflicht zur menschlichen Aufsicht nach Art. 14 KI-VO. Hierdurch wird klargestellt, dass Hochrisiko-KI-Systeme in ihrer Funktionsweise stets von natürlichen Personen wirksam überwacht werden müssen. Ergänzend hierzu normiert Art. 15 KI-VO verbindliche Anforderungen an die technische Robustheit, die Cybersicherheit sowie die Fehlertoleranz entsprechender Systeme. Diese müssen insbesondere gegen Manipulationsversuche abgesichert sein, Belastungssituationen standhalten und Funktionsstörungen frühzeitig erkennen lassen.

Flankierend zeigt die Systematik der KI-VO, dass den Mitgliedstaaten im Bereich der Hochrisiko-KI nur sehr begrenzt eigenständige Regelungsspielräume eröffnet werden. Bis auf wenige Ausnahmen lässt sich aus der KI-VO ableiten, dass eine weitergehende nationale Regelung der für Hochrisiko-KI geltenden Anforderungen grundsätzlich nicht vorgesehen ist. Den Mitgliedstaaten bleibt es zwar unbenommen, KI-Systeme auch im Bereich der Strafverfolgung einzusetzen, jedoch sind die unionsrechtlich festgelegten Pflichten und Schutzstandards für Hochrisiko-KI dabei zwingend einzuhalten und können nicht durch nationales Recht relativiert oder abgesenkt werden.²⁸

Für Polizeibehörden folgt daraus, dass der Einsatz von Hochrisiko-KI-Systemen eine umfassende organisatorische, technische und rechtliche Einbettung voraussetzt, die weit über klassische IT-Beschaffungs- und Nutzungskonzepte hinausgeht. Die Einhaltung der in Anhang III und Art. 8 ff. KI-VO normierten Pflichten sowie weiterer einschlägiger Rechtsvorschriften, wie beispielsweise den Regelungen zum Umgang mit personenbezogenen Daten, bilden damit zentrale Voraussetzungen für die rechtmäßige Nutzung moderner KI-gestützter Unterstützungssysteme in der Kriminalitätsbekämpfung. Zugleich besteht die Gefahr, dass die hohe regulatorische Dichte im Hochrisikobereich dazu führt, dass entsprechende Systeme für Sicherheitsbehörden am Markt nur eingeschränkt oder gar nicht verfügbar sind, weil Anbieter angesichts der erheblichen Anforderungen von einer Entwicklung oder Bereitstellung absehen.