Künstliche Intelligenz (KI) in der Polizeiarbeit

Verfassungsrechtliche Leitplanken und unionsrechtliche Grenzen

 

Von ORR`in Ann-Kathrin Graf, München1

 

Künstliche Intelligenz (KI) gewinnt in der Polizeiarbeit immer mehr an Bedeutung. Die automatisierte Datenanalyse, die intelligente Videoüberwachung oder allgemein der Einsatz generativer KI-Systeme rücken zunehmend in den Fokus der Polizeibehörden. Insbesondere im polizeilichen Kontext ist der Anreiz groß, bestehende Datenbestände durch intelligente Systeme effizienter auswerten zu können. Dieser datengetriebene Ansatz hat eine neue verfassungsrechtliche Dimension eröffnet. Mit seinem Urteil vom 16.2.20232 zur automatisierten Datenanalyse hat sich das Bundesverfassungsgericht (BVerfG) erstmals ausdrücklich auch mit dem Einsatz von KI-gesteuerter Datenverarbeitung durch Sicherheitsbehörden auseinandergesetzt.3 Parallel hierzu ist mit der Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (KI-VO) ein unionsweiter Rechtsrahmen in Kraft getreten. Die KI-VO reguliert KI-Systeme und KI-Modelle nach einem risikobasierten Ansatz, untersagt bestimmte Systeme vollständig und unterwirft Hochrisiko-KI-Systeme besonders strengen Anforderungen. Obwohl der Regelungsansatz ursprünglich maßgeblich auf den privatwirtschaftlichen Einsatz von KI zugeschnitten war, erstreckt sich der Anwendungsbereich der KI-VO – mit Ausnahme ausdrücklich ausgenommener militärischer, verteidigungsbezogener und nationaler Sicherheitszwecke – auch auf die Strafverfolgung. Sie ist unionsrechtlich weit zu verstehen und umfasst nicht nur die Verfolgung begangener Straftaten, sondern auch die präventiv polizeiliche Aufgabenwahrnehmung.4 In der Konsequenz unterfallen sowohl repressiv als auch präventiv eingesetzte polizeiliche KI-Systeme denselben unionsrechtlichen Vorgaben wie entsprechende Anwendungen in Wirtschaft und Verwaltung. Eine spezifische sektorale Sonderbehandlung für den Bereich der Kriminalitätsbekämpfung sieht die KI-VO nicht vor. Vor diesem Hintergrund wird in der rechtswissenschaftlichen Diskussion zunehmend kritisch hinterfragt, ob der unionsrechtliche Regulierungsansatz nicht faktisch eine mittelbare Mitgestaltung des nationalen Sicherheits- und Polizeirechts darstellt und damit über Regelungsmaterien wie den Datenschutz und nun auch die KI tief in fachrechtliche Bereiche der inneren Sicherheit der Mitgliedstaaten eingegriffen wird, ohne dass hierfür ein Kompetenzrahmen auf Unionsebene besteht.5

 

 

1 Definition von KI


Der Begriff KI wird in Wissenschaft und Praxis äußerst heterogen verwendet und ist technisch nicht einheitlich determiniert. Die KI-VO führt in Art. 3 Nr. 1 erstmals eine unionsweit verbindliche Legaldefinition ein. Danach ist ein KI-System ein maschinengestütztes System, das mit einem gewissen Grad an Autonomie arbeitet, nach seiner Betriebsaufnahme anpassungsfähig sein kann, aus Eingabedaten ableitet und Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt, die die physische oder virtuelle Umgebung beeinflussen können. Diese Definition ist bewusst technikneutral gehalten und umfasst verschiedene KI-Techniken wie maschinelles oder überwachtes Lernen.6 Die von der Union vorgebene KI-Definition wird vielfach kritisiert, da sie zu weit gefasst sei und somit eine übermäßige Zahl technologischer Systeme unter den KI-Regulierungsrahmen falle. Die Unschärfe der Begriffsmerkmale birgt insbesondere das Risiko divergierender Auslegungen in der Praxis. Zudem führt die weit gefasste Definition zu Regelungsüberdehnungen und Ungewissheit, da die Grenzen zwischen klassischer Software und KI-Systemen verschwimmen.7 Auch die von der Kommission erlassenen Leitlinien zur Auslegung des Begriffs des KI-Systems nach der KI-VO tragen nur in begrenztem Umfang zu einer weiteren Konkretisierung bei.8


Das BVerfG argumentiert vorrangig mit einer funktionalen Beschreibung jener Systeme, die aus verfassungsrechtlicher Sicht KI-Relevanz besitzen. Das Gericht spricht in diesem Zusammenhang von lernenden Systemen. Es handelt sich im Wesentlichen um jene Systemmerkmale, die auch nach der KI-VO als KI-relevant eingeordnet werden. Dazu zählt insbesondere die Fähigkeit, aus Daten neue Erkenntnisse abzuleiten und beispielsweise Profilbildungen zu ermöglichen. Das Gericht hebt hervor, dass die Systeme je nach Einsatzart ein besonderes Eingriffsgewicht haben können, da sie eine neue Qualität der Erkenntnisgewinnung ermöglichen.9 Die vom BVerfG entwickelten Maßstäbe sind nicht auf automatisierte Datenanalysen im engeren Sinne beschränkt, sondern für den Einsatz von KI-Systemen insgesamt von hoher Relevanz. Die verfassungsrechtliche Problematik ist insoweit vergleichbar, als auch andere KI-Systeme auf umfangreichen Datenbeständen und komplexer Mustererkennung beruhen, um hieraus neue Erkenntnisse gewinnen zu können.

 

2 Verbotene Praktiken nach Art. 5 KI-VO


Art. 5 KI-VO legt einen abschließenden Katalog von KI-Praktiken fest, die unionsweit zum Schutz zentraler Grundrechte verboten sind. Damit ist grundsätzlich auch ein Einsatz bei der Polizei untersagt, es sei denn, es werden ausdrückliche Ausnahmen hierzu getroffen.


In Art. 5 Abs. 1 lit. e KI-VO wird der Aufbau oder die Erweiterung von Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen untersagt. Hiervon umfasst sind insbesondere Praktiken des massenhaften „Scrapings“, bei denen Bildmaterial ohne konkreten Anlass gesammelt und für Zwecke der Gesichtserkennung aufbereitet wird.10 Zur Begründung des Verbots wird angeführt, dass derartige Datensammlungen geeignet sind, ein Gefühl der flächendeckenden Überwachung zu erzeugen und erhebliche Eingriffe in das Recht auf Privatsphäre sowie weitere Grundrechte nach sich ziehen.11 Die Systematik der KI-VO macht deutlich, dass dieses Verbot eng begrenzt sein soll. Es erfasst weder das ungezielte Auslesen anderer biometrischer Merkmale wie Stimm- oder Gangdaten noch die Erstellung biometrischer Referenzdatenbanken auf der Grundlage gezielt erhobener Gesichtsbilder.12 Solche Konstellationen bleiben grundsätzlich zulässig und unterfallen gegebenenfalls dem Regime der Hochrisiko-KI-Systeme. Die praktische Bedeutung dieses Verbots wird nicht zuletzt durch ein besonders medienträchtiges jüngeres Ereignis, die Ergreifung der untergetauchten ehemaligen RAF-Terroristin Daniela Klette, die durch die Nutzung eines kommerziellen Gesichtserkennungsdienstes ermöglicht wurde, unterstrichen. Angesichts dessen gewinnt das unionsrechtliche Verbot im Lichte aktueller nationaler Gesetzgebungsvorhaben zusätzliche Relevanz.13 Der vom Bundesministerium des Innern (BMI) vorgelegte Referentenentwurf zur Erweiterung der Befugnisse der Sicherheitsbehörden sieht über den bisherigen Abgleich mit bereits vorhandenen Lichtbildbeständen in INPOL-Z hinaus ausdrücklich vor, den biometrischen Datenabgleich unter Heranziehung öffentlich zugänglicher personenbezogener Daten aus dem Internet – einschließlich solcher aus Social-Media-Profilen, sofern sie nicht auf einen begrenzten Personenkreis beschränkt sind – zuzulassen. Da der Entwurf den biometrischen Abgleich jedoch an einen konkreten Fahndungsanlass bindet und keine anlasslosen Massenabgleiche ermöglicht, berührt er den Anwendungsbereich des Verbots nach derzeitiger Lesart nicht.14


Eine hohe praktische Relevanz entfaltet das grundsätzliche Verbot der biometrischen Echtzeit-Fernidentifizierung im öffentlichen Raum zu Strafverfolgungszwecken gemäß Art. 5 Abs. 1 lit. h KI-VO, das nur unter äußerst engen, in der Verordnung ausdrücklich geregelten Voraussetzungen zulässig sein kann. Erfasst von dem Verbot sind sämtliche Echtzeit-Gesichtserkennungssysteme, die Passanten automatisch erkennen und mit polizeilichen Datenbanken abgleichen können. Im Rahmen des Gesetzgebungsverfahrens zur KI-VO war der Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme im öffentlichen Raum einer der umstrittensten Regelungspunkte, da derartige Technologien dazu geeignet sind, eine Infrastruktur zu etablieren, die faktisch eine dauerhafte Erfassung von Bewegungs- und Verhaltensmustern weiter Teile der Bevölkerung ermöglicht. Das Europäische Parlament hatte dieses Verbot in den Gesetzentwurf eingebracht und wollte jegliche Form der biometrischen Echtzeit-Fernidentifizierung im öffentlichen Raum verbieten. Die nun geltende Regelung ist ein bewusst restriktiver Kompromiss, da die Verhandlungen zur KI-VO an der biometrischen Echtzeit-Fernidentifizierung gänzlich zu scheitern drohten.15 Ein Einsatz ist nur in den ausdrücklich genannten Anwendungsfällen zulässig, etwa zur gezielten Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie zur Suche nach vermissten Personen oder zur Abwehr einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder einer tatsächlichen und bestehenden oder tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags. Voraussetzung für den Einsatz ist stets das Bestehen einer spezifischen nationalen Rechtsgrundlage, wobei die KI-VO die zwingend einzuhaltenden Grenzen bei deren Ausgestaltung festlegt.16 Sie fungiert insoweit nicht als eigenständige Ermächtigungsgrundlage, sondern als eng begrenzte Öffnung, die erst durch nationales Fachrecht ausgestaltet werden muss.17 Die dogmatisch strikte Trennung in der KI-VO zur retrograden Fernidentifizierung wird teilweise kritisch betrachtet und nicht in allen Konstellationen als überzeugend angesehen. Bei der retrograden Auswertung des Videomaterials über längere Zeiträume könne die Eingriffsintensität im Einzelfall sogar höher ausfallen als bei einer punktuellen Echtzeit-Identifizierung. Durch die retrospektive Analyse ließen sich Bewegungsprofile und Verhaltensmuster viel eher rekonstruieren.18 Auch das BVerfG geht bei solchen Möglichkeiten von einer gesteigerten Eingriffsintensität des Grundrechtseingriffs aus.19 Dem ist jedoch entgegenzuhalten, dass die Eingriffsintensität bei biometrischen Echtzeit-Fernidentifizierungssysteme gerade in der Unmittelbarkeit der Identifikation begründet liegt, die ohne zeitlichen Abstand erfolgt und faktisch keinen Raum für vorgelagerte menschliche Prüfung oder korrigierende Eingriffe lässt.20


Insgesamt setzt Art. 5 KI-VO somit klare Grenzen für den KI-Einsatz in der Polizeiarbeit. Er verbietet gerade jene Anwendungen, die zwar technisch besonders leistungsfähig erscheinen, aber aufgrund ihres tiefgreifenden Eingriffs in Grundrechte und der Gefahr struktureller Diskriminierung mit den Prinzipien eines demokratischen Rechtsstaats unvereinbar sind.

 

 

3 Hochrisiko-KI-Systeme nach Art. 6 ff. KI-VO


Eine erhebliche Anzahl der in der Polizeiarbeit eingesetzten oder künftig denkbaren KI-Systeme dürfte in den Anwendungsbereich der Hochrisiko-KI-Systeme nach Art. 6 ff. KI-VO fallen. Anders als bei den Verbotstatbeständen knüpft das Hochrisiko-Regime nicht primär an die konkrete Einsatzsituation im Einzelfall an, sondern an das KI-System als solches. Maßgeblich sind dessen objektive Zweckbestimmung, Funktionsweise und Risikoprofil. Schon die Bereitstellung oder das Inverkehrbringen löst daher umfangreiche unionsrechtliche Pflichten aus, bevor das System im Rahmen einer konkreten polizeilichen Maßnahme eingesetzt wird. Zwar nimmt die Einstufung eines KI-Systems in die Hochrisikokategorien weiterhin Bezug auf den vorgesehenen Verwendungszweck, die in Kapitel III normierten Pflichten und Anforderungen sind jedoch überwiegend produktbezogen ausgestaltet und folgen in ihrer Systematik eher einem produktsicherheitsrechtlichen Regulierungsansatz.21


Die Einstufung als Hochrisiko-KI-System ergibt sich entweder aus den Anforderungen des Art. 6 Abs. 1 oder des Art. 6 Abs. 2 in Verbindung mit Anhang III KI-VO mittels einer risikobasierten Bewertung durch den Anbieter oder Betreiber des Systems22. Anhang III benennt diejenigen Systemkategorien, bei denen der Unionsgesetzgeber ein besonderes Gefährdungspotenzial für Grundrechte annimmt.23 Zugleich setzt die KI-VO voraus, dass der Einsatz der genannten Systeme nur auf der Grundlage einer hinreichenden nationalen Befugnisnorm erfolgen kann, was sich aus der angelegten Bezugnahme auf das jeweils geltende innerstaatliche Recht ergibt.


Zu den in Anhang III der KI-VO geregelten Hochrisiko-KI-Systemen gehören zunächst biometrische KI-Systeme gemäß Nr. 1, darunter biometrische Fernidentifizierungssysteme, KI-Systeme zur biometrischen Kategorisierung sowie Systeme zur Emotionserkennung. Auch wenn die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum nur für einen sehr begrenzten Anwendungsbereich zulässig ist und ansonsten unter die verbotenen Praktiken nach Art. 5 Abs. 1 KI-VO zu subsumieren ist, verbleibt eine Vielzahl biometrischer Anwendungen, wie etwa die zulässige Echtzeit-Fernidentifizierung24, die retrograde Identifizierung, Abgleichprozesse oder forensische Analysen, die dem Anwendungsbereich der Hochrisikoregulierung unterfallen. Das gilt insbesondere für Systeme, die Gesichtsmerkmale, Stimmprofile oder andere biometrische Marker zur Zuordnung oder Kategorisierung von Personen auswerten. Hierbei spiegeln sich zentrale grundrechtliche Risikolagen wider, wie sie auch das BVerfG beim o.g. Urteil herausarbeitet: Gerade die softwaregestützte Zusammenführung und Auswertung größerer Datenbestände kann neues, besonders persönlichkeitsrelevantes Wissen erzeugen und je nach Datenumfang und Methode bis zur Rekonstruktion von Bewegungs-, Verhaltens- oder Beziehungsprofilen reichen.25 Auch Systeme, die biometrische Merkmale einer Person automatisiert mit den in einer Referenzdatenbank hinterlegten Vergleichsdaten abgleichen, um eine Identifizierung zu ermöglichen, sind typischerweise dem Hochrisikobereich zuzuordnen. Der o.g. Gesetzesentwurf des BMI zum Abgleich von Daten aus dem Internet würde damit klassischerweise hierunter fallen. Diese Regelung berührt gleichzeitig unmittelbar die vom BVerfG herausgestellten Stellschrauben des Eingriffsgewichts aufgrund der Breite der Datenquellen und Datenarten.26


Für die polizeiliche Praxis nicht weniger bedeutend sind die Hochrisikokategorien aus dem Bereich der Strafverfolgung. Nach Anhang III Nr. 6 KI-VO zählen hierzu KI-Systeme, die das Risiko bewerten, dass eine natürliche Person Opfer einer Straftat wird, die als Lügendetektoren oder zur Emotionserkennung in Vernehmungssituationen eingesetzt werden sollen, die zur Bewertung der Verlässlichkeit von Beweismitteln im Ermittlungs- und Strafverfahren dienen, die das Risiko prognostizieren, dass eine Person eine Straftat begeht oder die zur Erstellung von Profilen natürlicher Personen genutzt werden. Diese Systeme verarbeiten regelmäßig große Mengen personenbezogener, teils sensibler Daten und können polizeiliche Entscheidungen beeinflussen.


Insgesamt zeichnen sich die Hochrisiko-KI-Systeme charakteristisch durch ein hohes Maß an intransparenten algorithmischen Entscheidungsprozessen aus. Die Funktionsweise dieser Modelle bleibt für Nutzer häufig nur eingeschränkt nachvollziehbar. Das erschwert eine effektive Kontrolle, Überprüfung oder Korrektur fehlerhafter Ergebnisse erheblich. Hinzu kommt ein erhöhtes Diskriminierungspotenzial, da KI-Systeme regelmäßig auf historische Datenbestände und statistische Modellannahmen zurückgreifen, in denen gesellschaftliche Ungleichheiten und Vorprägungen bereits angelegt sind. Diese Verzerrungen können durch den algorithmischen Verarbeitungsprozess reproduziert oder gar verstärkt werden und zu benachteiligenden Ergebnissen führen, insbesondere gegenüber bestimmten Bevölkerungsgruppen.


Darüber hinaus wird es als besonders kritisch angesehen, dass der Kommission gemäß Art. 6 Abs. 7, Art. 7 i.V.m. Art. 97 KI-VO die Befugnis erteilt wurde, die Anwendungsbereiche von Hochrisiko-KI-Systemen durch delegierte Rechtsakte anzupassen und insbesondere die Liste des Anhangs III zu erweitern. Damit ist die Aufzählung der Hochrisiko-KI-Systeme nicht statisch im Verordnungstext festgelegt, sondern flexibel an die Entwicklungen anpassbar.27 Dies löst erhebliche Rechtsunsicherheit aus, weil nur schwer vorhersehbar ist, ob eine nicht erfasste Anwendung künftig als Hochrisiko-KI-System eingestuft wird und damit den strengen Anforderungen der Art. 8 ff. KI-VO unterliegt.


Auf der Rechtsfolgenseite ist für Hochrisiko-KI-Systeme ein strenges und mehrstufiges Compliance-Regime mit weitreichenden Pflichten für Anbieter und Betreiber vorgesehen. Ein zentrales Element ist das umfassende Risikomanagementsystem nach Art. 9 KI-VO, das den gesamten Lebenszyklus des KI-Systems abdecken und laufend aktualisiert werden muss. Hinzu kommen hohe Anforderungen an die Qualität, Repräsentativität und Verzerrungsfreiheit der verwendeten Daten gemäß Art. 10 KI-VO. Gerade im polizeilichen Kontext kommt diesem Punkt eine erhebliche Bedeutung zu, da fehlerhafte oder verzerrte Datensätze schnell zu diskriminierenden Ergebnissen und Ungleichbehandlungen führen können. Weiterhin wird eine vollständige technische Dokumentation verlangt, die die Transparenz der Funktionsweise sowie die Nachvollziehbarkeit der Ergebnisse gemäß Art. 11 bis 13 KI-VO nachweist. Von besonderer Bedeutung ist auch die Pflicht zur menschlichen Aufsicht nach Art. 14 KI-VO. Hierdurch wird klargestellt, dass Hochrisiko-KI-Systeme in ihrer Funktionsweise stets von natürlichen Personen wirksam überwacht werden müssen. Ergänzend hierzu normiert Art. 15 KI-VO verbindliche Anforderungen an die technische Robustheit, die Cybersicherheit sowie die Fehlertoleranz entsprechender Systeme. Diese müssen insbesondere gegen Manipulationsversuche abgesichert sein, Belastungssituationen standhalten und Funktionsstörungen frühzeitig erkennen lassen.


Flankierend zeigt die Systematik der KI-VO, dass den Mitgliedstaaten im Bereich der Hochrisiko-KI nur sehr begrenzt eigenständige Regelungsspielräume eröffnet werden. Bis auf wenige Ausnahmen lässt sich aus der KI-VO ableiten, dass eine weitergehende nationale Regelung der für Hochrisiko-KI geltenden Anforderungen grundsätzlich nicht vorgesehen ist. Den Mitgliedstaaten bleibt es zwar unbenommen, KI-Systeme auch im Bereich der Strafverfolgung einzusetzen, jedoch sind die unionsrechtlich festgelegten Pflichten und Schutzstandards für Hochrisiko-KI dabei zwingend einzuhalten und können nicht durch nationales Recht relativiert oder abgesenkt werden.28


Für Polizeibehörden folgt daraus, dass der Einsatz von Hochrisiko-KI-Systemen eine umfassende organisatorische, technische und rechtliche Einbettung voraussetzt, die weit über klassische IT-Beschaffungs- und Nutzungskonzepte hinausgeht. Die Einhaltung der in Anhang III und Art. 8 ff. KI-VO normierten Pflichten sowie weiterer einschlägiger Rechtsvorschriften, wie beispielsweise den Regelungen zum Umgang mit personenbezogenen Daten, bilden damit zentrale Voraussetzungen für die rechtmäßige Nutzung moderner KI-gestützter Unterstützungssysteme in der Kriminalitätsbekämpfung. Zugleich besteht die Gefahr, dass die hohe regulatorische Dichte im Hochrisikobereich dazu führt, dass entsprechende Systeme für Sicherheitsbehörden am Markt nur eingeschränkt oder gar nicht verfügbar sind, weil Anbieter angesichts der erheblichen Anforderungen von einer Entwicklung oder Bereitstellung absehen.

 

 

4 Training von KI


Neben dem operativen Einsatz von KI-Systemen verdient auch der Entwicklungsprozess und damit insbesondere das Training und die Testung besondere Beachtung, da diese zwingende Voraussetzung für zuverlässige und grundrechtskonforme Anwendungen ist. Das Training von KI ist nicht explizit in der KI-VO definiert, umfasst aber den Prozess, in dem ein Modell anhand von Trainingsdaten Muster erlernt, um diese später auf neue Eingaben zu übertragen.29 Hierfür ist eine große Menge an Datensätzen erforderlich, die aus datenschutzrechtlicher Sicht vorzugsweise lediglich synthetische oder mindestens pseudonymisierte Daten enthalten. Gerade im Sicherheitsbereich können jedoch umfangreiche Trainings und Tests mit Echtdaten erforderlich sein, um belastbare Aussagen zur Performance und zu Verzerrungsrisiken zu erhalten.30


Besonders interessant ist daher die Frage, wie das Training, die Testung und die laufende Evaluierung eines KI-Systems rechtlich einzustufen sind. Die KI-VO schafft keine eigenständige Ermächtigungsgrundlage für die hierfür datenschutzrechtlich relevante Verarbeitung personenbezogener Daten, obwohl sowohl die Nutzung vorhandener Daten als auch die Erhebung neuer Daten für die Entwicklung von KI-Systemen einer klaren gesetzlichen Grundlage bedarf.


Ob und in welchem Umfang polizeiliche Datenbestände zu den genannten Zwecken herangezogen werden dürfen, bestimmt sich nach dem einschlägigen Datenschutzrecht. Laut der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit (BfDI) ist für die datenschutzrechtliche Bewertung entscheidend, einzelne Verarbeitungsschritte strikt zu trennen, insbesondere könne die Nutzung personenbezogener Daten im Training einem anderen Datenschutzregime unterfallen als der spätere Produktiveinsatz zur Aufgabenwahrnehmung.31 Auch Teile der Literatur vertreten, dass die Testung und das Training von KI durch Sicherheitsbehörden in den Anwendungsbereich der Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung) fällt, da es sich noch nicht um eine unmittelbare Tätigkeit zur Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten i.S.d. Richtlinie (EU) 2916/680 zur Verarbeitung personenbezogener Daten zu Zwecken der Gefahrenabwehr und Strafverfolgung handelt.32 Vor diesem Hintergrund gewinnen insbesondere aktuelle Gesetzgebungsansätze an Bedeutung, die Trainings- und Testbefugnisse ausdrücklich regeln (etwa § 37a HmbPolDVG sowie der Vorschlag eines §  22 Abs. 3 BKAG- E)33. In der Diskussion werden diese Umsetzungen bzw. Vorhaben jedoch wegen einer zu weitgehenden Datenübermittlungsbefugnis an Private, unzureichender Ausschlüsse besonders sensibler Datenbestände, praktischer Probleme von Berichtigungs- /Löschrechten nach dem Training sowie fehlender Vorgaben zu Bias- Kontrolle und Nachvollziehbarkeit kritisiert.34 Die BfDI empfiehlt, grundrechtsmindernde Vorkehrungen, wie eine strikte Begrenzung der herangezogenen Datenbestände, den Ausschluss sozialer Netzwerk-Daten, die Nutzung von Stand-Alone-Rechnern ohne Internetanbindung und die Zugangsbeschränkung auf besonders qualifiziertes Personal, zu treffen. Für Trainings- und Testphasen wird als vorrangige Option der Einsatz anonymisierter, synthetischer oder zumindest pseudonymisierter Daten hervorgehoben. Zudem seien diskriminierende Wirkungen aktiv zu verhindern und die Zweckentsprechung der Algorithmen regelmäßig zu überprüfen.35

 

5 Ausblick


KI eröffnet der Kriminalitätsbekämpfung zweifellos neue Möglichkeiten. Insbesondere bei der Bewältigung großer, heterogener Datenmengen, der Analyse komplexer Netzwerke und der operativen Unterstützung von Lagen, kann sie einen erheblichen Mehrwert bieten. Verfassungsrechtlich ist jedoch klar: Je „intelligenter“ ein System ist, je mehr Daten es verarbeitet, je umfassender und sensibler diese Daten sind, desto höher ist die Eingriffsintensität und desto strenger sind die Anforderungen an Rechtsgrundlage, Technikgestaltung und Kontrolle. Das BVerfG hat deutlich gemacht, dass solche Systeme eigenständige Grundrechtseingriffe begründen und damit nicht als bloße „Effizienztools“ behandelt werden dürfen, sondern einer spezifischen verfassungsrechtlichen Rechtfertigung bedürfen.36


Für Gesetzgeber und Praxis bedeutet dies, dass KI in der Kriminalitätsbekämpfung möglich ist, aber nur dann, wenn sie grund- und unionsrechtskonform ausgestaltet ist. Zentral ist das Zusammenspiel aus hinreichend bestimmten, am BVerfG-Maßstab orientierten Eingriffsbefugnissen und der Einhaltung der materiellen und organisatorischen Anforderungen der KI-VO. Die Kunst besteht nicht darin, die Technik zu bremsen und innovationsfeindlich zu sein, sondern sie so auszugestalten und einzubetten, dass Sicherheit und Freiheit ausgewogen gemeinsam gestärkt werden. Moderne Werkzeuge sollten dann genutzt werden, wenn deren Einsatz gerechtfertigt werden kann.


Hinzu kommt, dass sich der unionsrechtliche Rahmen selbst in Bewegung befindet. Mit dem von der Kommission kürzlich vorgelegten Digital Omnibus-Paket37 werden bereits wenige Monate nach Inkrafttreten der KI-VO gezielte Änderungen vorgeschlagen, die auch den Bereich der Kriminalitätsbekämpfung mittelbar betreffen. Vorgesehen sind unter anderem die Verschiebung der Anwendungsfristen für Hochrisiko-Systeme, die Erweiterung der Möglichkeiten zur Verarbeitung sensibler Daten zur Bias-Erkennung und -Korrektur, die Ausweitung und Vereinfachung der Einrichtung von KI-Reallaboren. Zugleich wird aus Sicht vieler Beobachter kritisiert, dass dieses Nachjustieren die ohnehin komplexe Rechtslage weiter verkompliziert, Fristen und Pflichten lediglich verschiebt und somit das Risiko fortdauernder Rechtsunsicherheit verstärkt. 38


Für die Polizei folgt daraus ein doppelter Auftrag: Einerseits muss sie die Chancen von KI entschlossen nutzen, um auch in einer digitalisierten Kriminalitätslandschaft handlungsfähig zu bleiben. Andererseits ist sie in besonderem Maße gehalten, die verfassungsgerichtlichen Leitplanken und die sich dynamisch entwickelnden unionsrechtlichen Vorgaben – einschließlich der anstehenden Änderungen durch den Digital Omnibus – aufmerksam zu beobachten und in ihre Organisations- und Technikentscheidungen zu integrieren. Nur wenn der KI-Einsatz als fortlaufender Rechts- und Organisationsprozess verstanden wird und nicht als einmalig beschafftes Werkzeug, kann er den hohen Anforderungen genügen.

 

 

Anmerkungen

 

  1. Die Verfasserin ist Referentin im Bayerischen Staatsministerium des Innern, für Sport und Integration. Der Beitrag gibt ausschließlich ihre persönliche Auffassung wieder.
  2. BVerfG, Urteil v. 16.2.2023, Az: 1 BvR 1547/19, 1 BvR 2634/20.
  3. Bäuerle, Automatisierte und KI-gesteuerte Datenverarbeitung und -analyse bei den Sicherheitsbehörden (2025), ZD 2025, 128.
  4. Hofmann-Coombe, Die Anwendung der Unionsgrundrechte im Polizei- und Sicherheitsrecht nach der KI-VO (2025), EuR 2025, 363 (364); Seidel, Der Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme zu Strafverfolgungszwecken nach der KI-Verordnung (2025), ZfDR 2025, 47 (64); Art. 3 Nr. 45 KI-VO.
  5. Hofmann-Coombe, Die Anwendung der Unionsgrundrechte im Polizei- und Sicherheitsrecht nach der KI-VO (2025), EuR 2025, 363 (365).
  6. Leitlinien der Kommission zur Definition eines Systems der künstlichen Intelligenz gemäß der Verordnung (EU) 2024/ 1689 (KI-Verordnung) vom 29.7.2025, Rn. 32 f.
  7. Steege, Definition von Künstlicher Intelligenz in Art. 3 Nr. 1 KI-VO-E (2022), MMR 2022, 926 (926).
  8. Leitlinien der Kommission zur Definition eines Systems der künstlichen Intelligenz gemäß der Verordnung (EU) 2024/ 1689 (KI-Verordnung) vom 29.7.2025.
  9. BVerfG, Urteil v. 16.2.2023, Az: 1 BvR 1547/19, 1 BvR 2634/20, Rn. 100.
  10. Leitlinien der Kommission zu verbotenen Praktiken der künstlichen Intelligenz gemäß der Verordnung (EU) 2024/1689 (KI-Verordnung) v. 29.7.2025, Rn. 228.
  11. Ogorek, Staatliche Gesichtserkennung durch biometrischen Abgleich mit Online-Daten (2024), LTZ 2024, 274 (277).
  12. Leitlinien der Kommission zu verbotenen Praktiken der künstlichen Intelligenz gemäß der Verordnung (EU) 2024/1689 (KI-Verordnung) v. 29.7.2025, Rn. 230, 234.
  13. Ogorek, Staatliche Gesichtserkennung durch biometrischen Abgleich mit Online-Daten (2024), LTZ 2024, 274 (274).
  14. Legal Tribune Online, Gesetzentwurf zur Gesichtserkennung, 12.8.2024, www.lto.de/persistent/a_id/55194 (abger. am: 16.12.2025); Ogorek, Staatliche Gesichtserkennung durch biometrischen Abgleich mit Online-Daten (2024), LTZ 2024, 274 (275 f).
  15. Tschorr, MMR 2024, 304 (304); Wendehorst in Martini/Wendehorst, KI-VO Verordnung über künstliche Intelligenz Kommentar, 2. Aufl., 2026, Art. 5 Rn. 20-23
  16. Seidel, Der Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme zu Strafverfolgungszwecken nach der KI-Verordnung (2025), ZfDR 2025, 47 (61); Erwägungsgrund 37 KI-VO.
  17. Hofmann-Coombe, Die Anwendung der Unionsgrundrechte im Polizei- und Sicherheitsrecht nach der KI-VO (2025), EuR 2025, 363 (377).
  18. Tschorr, Regulierung der auf Biometrie basierenden KI-Systeme (2024), MMR 2024, 304 (307).
  19. BVerfG, Urteil v. 16.2.2023, Az: 1 BvR 1547/19, 1 BvR 2634/20, Rn. 70, 73.
  20. Seidel, Der Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme zu Strafverfolgungszwecken nach der KI-Verordnung (2025), ZfDR 2025, 47 (51).
  21. Hofmann-Coombe, Die Anwendung der Unionsgrundrechte im Polizei- und Sicherheitsrecht nach der KI-VO (2025), EuR 2025, 363 (379).
  22. Klawonn in Schefzig/ Kilian, BeckOK KI-Recht, 4. Edition, 2025, Art. 6 Rn. 1.
  23. Tschorr, Regulierung der auf Biometrie basierenden KI-Systeme (2024), MMR 2024, 304 (306).
  24. Klawonn in Schefzig/ Kilian, BeckOK KI-Recht, 4. Edition, 2025, Anhang III Rn. 22-30.
  25. BVerfG, Urteil v. 16.2.2023, Az: 1 BvR 1547/19, 1 BvR 2634/20, Rn. 69 f., 77 f.
  26. BVerfG, Urteil v. 16.2.2023, Az: 1 BvR 1547/19, 1 BvR 2634/20, Rn. 78, 88.
  27. Ruschmeier in Martini/Wendehorst, KI-VO Verordnung über künstliche Intelligenz Kommentar, 2. Aufl., 2026, Art. 7 Rn. 1, 2.
  28. Hofmann-Coombe, Die Anwendung der Unionsgrundrechte im Polizei- und Sicherheitsrecht nach der KI-VO (2025), EuR 2025, 363 (379).
  29. Kühne/Golla/Schäfer, KI-Innovation mit Echtdaten (2025), GSZ 2025, 272 (272).
  30. Kühne/Golla/Schäfer, KI-Innovation mit Echtdaten (2025), GSZ 2025, 272 (282).
  31. Handreichung des Bundesbeauftragten für den Datenschutz und die Informationsfreiheit, Datenschutzrechtliche Grundlagen beim Einsatz von KI im Bereich der Sicherheitsbehörden des Bundes, Versi GSZ 2025,on 1.0 vom 27.2.2024, S. 5.
  32. Kühne/Golla/Schäfer, KI-Innovation mit Echtdaten (2025), GSZ 2025, 272 (276); Handreichung des Bundesbeauftragten für den Datenschutz und die Informationsfreiheit, Datenschutzrechtliche Grundlagen beim Einsatz von KI im Bereich der Sicherheitsbehörden des Bundes, Version 1.0 vom 27.2.2024, S. 5.
  33. Kühne/Golla/Schäfer, KI-Innovation mit Echtdaten (2025), GSZ 2025, 272 (282).
  34. Kühne/Golla/Schäfer, KI-Innovation mit Echtdaten (2025), GSZ 2025, 272 (280).
  35. Handreichung des Bundesbeauftragten für den Datenschutz und die Informationsfreiheit, Datenschutzrechtliche Grundlagen beim Einsatz von KI im Bereich der Sicherheitsbehörden des Bundes, Version 1.0 vom 27.2.2024, S. 10 und 13.
  36. BVerfG, Urteil v. 16.2.2023, Az: 1 BvR 1547/19, 1 BvR 2634/20, Rn. 78 f.
  37. Proposal for a Regulation of the European Parliament and of the Council amending Regulation (EU) 2024/1689 and (EU) 2018/1139 as regards the simplification of the implementation of harmonized rules on artificial intelligence (Digital Omnibus on AI), COM (2025) 836 final, 19.11.2025,
  38. Hoeren, Digital Omnibus der EU-Kommission (2025), MMR-Aktuell 2025, 01501.