Effiziente Suche in Bild- und Videomassendaten

Von C. Herrmann, D. Manger, A. Schumann und Dr.-Ing. Tobias Schuchert, Abteilung Videoauswertesysteme am Fraunhofer IOSB

Einleitung


In den letzten Jahren hat die zunehmende Vernetzung der Welt sowie immer leistungsfähigere und mobilere Hardware dazu geführt, dass die Menge an Bild- und Videodaten massiv angestiegen ist. Dabei werden Daten sowohl mit mobilen Geräten, z.B. im Urlaub oder von Veranstaltungen, als auch von statischen Systemen, z.B. von Überwachungskameras oder Webcams, gesammelt, verarbeitet, gespeichert und ggfs. auch verteilt. Diese Daten können nützliche Zusatzinformationen zur Aufklärung von Kriminalfällen liefern, um z.B. Abläufe von Anschlägen zu rekonstruieren (vgl. Boston-Attentat) oder Straftäter/Opfer zu identifizieren. Neben den rechtlichen Aspekten bzgl. Nutzung und Auswertung der Daten, stellt die immense Menge an Daten eine große Herausforderung dar, da eine manuelle Durchsicht der Daten nicht mehr möglich ist. Anders als bei strukturierten Daten, wie z.B. Adressen, sind bei Bildern und Videos die wichtigen Informationen nicht direkt verfügbar, sondern müssen aus den Daten extrahiert werden, z.B. ob eine bestimmte Person in einem Video zu sehen ist. Da ein Durchsuchen von Massendaten nach speziellen Mustern aufgrund der reinen Größe nicht effizient möglich ist, müssen die Daten zunächst indexiert werden. Das Prinzip einer Suche in Massendaten ähnelt dann dem einer Suche in einem Buch über einen Index.

Zur Erstellung eines Indexes werden im Fall eines Buchindexes wichtige Stichwörter aus dem Text extrahiert und mit den entsprechenden Seitenzahlen indexiert. Genauso werden bei Bild- und Videodaten wichtige Merkmale, wie z.B. Gesichter gefunden und indexiert. Anschließend kann sehr schnell über den erstellten Index nach relevanten Treffern gesucht werden. Der wesentliche Aspekt in diesen Fällen ist die Erstellung des Indexes. Dieser hat einen signifikanten Einfluss auf die Geschwindigkeit und die Genauigkeit der Suche. Dabei kann man zwischen drei Index-Arten für bestimmte Suchanfragen unterscheiden: 1. Suche anhand von Attributen: Hier werden die Metadaten von Bildern und Videos ausgewertet und es kann z.B. nach geographischen Regionen gefiltert werden. 2. Suche anhand von Bildinhalten: In diesem Fall werden Bilder und Videos nach bekannten Mustern durchsucht, z.B. nach Tattoos oder Logos. 3. Suche nach Personen: Hier kann wiederum zwischen zwei Fällen unterschieden werden. Einerseits kann nach biometrischen Merkmalen, z.B. Gesichtern zur Identifikation und Wiedererkennung von Personen gesucht werden. Andererseits bieten sogenannte softbiometrische Merkmale, z.B. Farbe der Kleidung oder Tragen eines Rucksacks vor allem bei Videos von schlechter Qualität die Möglichkeit, den Weg bestimmter Personen in Videos zu verfolgen. Neben der Bild- und Videoanalyse spielen aber noch weitere Aspekte eine Rolle, um die Datenmengen effizient nutzen zu können. Vor allem spielt die Geschwindigkeit der Analyse eine wesentliche Rolle, da das beste Ergebnis nur wenig nutzt, wenn es erst Wochen später zu Verfügung steht. Daneben ist aber auch eine optimale Interaktion mit dem System wichtig, um zusätzliche Informationen die dem Menschen zu Verfügung stehen zu berücksichtigen, z.B. um die automatisch berechneten Ergebnisse zu verbessern. Schlussendlich muss auch der Sicherheitsaspekt mitbetrachtet werden um Missbrauch der Daten zu verhindern. Dieser Artikel soll einen Überblick über aktuelle Entwicklungen in dem Bereich der Suche in großen Bild- und Videodatenmengen vermitteln.

Attributbasierte Suche



Abbildung 1: Suche nach Bilddaten in einer ausgewählten geographischen Region. Oben: Angabe der geographischen und nicht geographischen Attribute und Darstellung der Ergebnisse in Tabellenform. Unten: Visualisierung der Suchregion und der Flugpfade der Ergebnisse auf der Karte (rechts).

Mit Metadaten werden Informationen wie z.B. Aufnahmezeit und -ort oder Schlagwörter, die mit dem Bild oder Video abgespeichert werden, bezeichnet. Die meisten Systeme bieten Suchen nach diesen Daten an. Hier liegt die Herausforderung vor allem bei sehr großen Datenmengen und bei Aufnahmesystemen, die nicht wie üblich nur einen Satz an Metadaten für ein Video liefern, sondern für jedes Bild in einem Video. Das am Fraunhofer IOSB entwickelte System findet vor allem im Bereich der videobasierten Luftaufklärung Anwendung [1]. In diesem Fall werden für jedes Videobild u.a. die Position und Einstellungen des Sensors (Kamera) sowie des Sensorträgers (Flugzeug) mitgeliefert. Zur Verdeutlichung: Bei einer üblichen Bildrate von 50 Bildern pro Sekunde sind das für 120 Stunden Video mehr als 21 Millionen Datensätze, die analysiert werden müssen. Ein Anwendungsszenario ist die Änderungsdetektion in einer bestimmten Region, z.B. zur Detektion von Schäden an Bahngleisen/Übergängen oder im Fall von Hochwasser zur Detektion von kritischen Änderungen an Deichen. Das System bietet eine optimierte Suche nach geographischen Attributen, so dass in kürzester Zeit alle Bilder/Videos, die eine gewünschte Region zeigen, sortiert ausgegeben und analysiert werden können. Abbildung 1 zeigt beispielhaft die Auswahl einer Region, weitere Suchattribute, sowie die Liste der gefundenen Videos.

Inhaltsbasierte Bildsuche


Im Gegensatz zur Suche über Metadaten versucht die inhaltsbasierte Bildsuche – ausgehend von einem Anfragebild – die Details in den Bildern selbst zu analysieren mit dem Ziel, weitere Bilder mit ähnlichen Objekten wiederzufinden. Dabei geht es darum, die Inhalte einer Bild- oder Videodatenbank so zu analysieren und wichtige Merkmale möglichst generisch zu indexieren, dass später beliebige Inhalte, z.B. Tattoos oder Logos schnell gefunden werden können. Die ersten, mittlerweile in die Jahre gekommenen Verfahren arbeiteten dabei mit sog. Hashwerten (digitalen Fingerabdrücken) der kompletten Bilddateien. Ähnlich zur Vorgehensweise einfacher Virenscanner wird dabei aus jeder Bilddatei ein Hashwert berechnet. Zwei exakt identische Bilder werden dabei auf den identischen Hashwert abgebildet, sodass Duplikate bzw. bekannte Bilder durch ihre zugehörigen Hashwerte sehr schnell wiedergefunden werden können. Zur Identifikation von kinderpornographischen Inhalten wurden diese Verfahren einige Jahre erfolgreich eingesetzt.


Abbildung 2: Ergebnis einer Suche in Urlaubsbildern mit einem Anfragebild (unten links).

Allerdings ändert sich auch bei jeder noch so kleinen, für den Betrachter möglicherweise sogar unsichtbaren Änderung des Bildes sein Hashwert gänzlich. Es existieren daher mittlerweile Programme, die mit einem Mausklick die eigene Bildersammlung dahingehend minimal modifizieren, dass diese auf Dateihashwerten basierenden Verfahren wirkungslos sind. Um dies zu verhindern gehen aktuelle Verfahren einen Schritt weiter und errechnen einen robusteren Hashwert aus den Bildern. Das von Microsoft mitentwickelte PhotoDNA [2] etwa wandelt dazu ein Bild in ein Schwarz-Weiß-Bild einheitlicher Größe um, unterteilt es in ein Raster kleinerer Bildausschnitte und erfasst die groben Details der einzelnen Ausschnitte in einem gemeinsamen Fingerabdruck. Dadurch ist die Suche robust gegenüber kleineren Änderungen des Ausgangsbildes und gleichzeitig noch effizient genug um in Echtzeit sämtliche in Twitter, Facebook und über 50 weiteren Onlinediensten hochgeladenen Bilder auf bekannte kinderpornographische Inhalte zu analysieren. Noch einen Schritt weiter im Kompromiss zwischen Robustheit und Verarbeitungsgeschwindigkeit bzw. Datenbankgröße gehen Verfahren, die mit lokalen Merkmalen arbeiten. Hier wird aus einem Bild nicht mehr ein globaler Hashwert berechnet, sondern es wird aus den lokalen Bildbereichen eine Menge vieler kleiner Fingerabdrücke erstellt. Damit lassen sich auch gleiche oder ähnliche Objekte in Bildern finden, selbst wenn sie z.B. vor einem unterschiedlichen Hintergrund aufgenommen worden sind. Am Fraunhofer IOSB werden derartige Suchverfahren für verschiedene Anwendungen untersucht und parametrisiert. Im von INTERPOL geleiteten EU-Projekt FASTID (FAST and efficient international disaster victim IDentification) etwa wurde u.a. die bildinhaltsbasierte Suche zur Unterstützung der Leichenidentifikation nach Katastrophen untersucht [3]. Ein spezielles Modul zum bildinhaltsbasierten Vergleich von Tätowierungen wurde dabei mit einer Datenbank von über 300.000 Bildern mit Tätowierungen erfolgreich getestet [4]. Weil die grundlegenden Verfahren auch für viele andere Anwendungen von Interesse sind, ist eine Demonstrationssoftware entstanden, die kostenlos erhältlich ist [5] und offline mit eigenem Bildmaterial getestet werden kann. Abbildung 2 zeigt eine Suche mit einem Anfragebild (links), die Urlaubsbilder mit ähnlichen Objekten (Golden Gate Bridge) zurückliefert. Abbildung 3 zeigt dagegen die Ergebnisse der sog. Batch-Matching Funktion, bei der zwei Bilddatenbanken auf gemeinsame Objekte oder Szenen untersucht werden können. Aus zwei Urlaubsbildersammlungen unterschiedlicher Jahre wurde so die abgebildete Szene in beiden Datenbanken gefunden obwohl sich Belichtung, Wetter, Kameramodell und Aufnahmezeitpunkt erheblich unterscheiden. Auch im polizeilichen Umfeld hat die inhaltsbasierte Suche viele Anwendungsfelder. So wurde das Verfahren u.a. beim LKA Niedersachsen mit Bildern von realen Fällen im Bereich Kinderpornografie getestet. Auf aktuellen leistungsstarken PCs lassen sich damit Bilddatenbanken von einigen Millionen Bildern aufbauen, die innerhalb weniger Sekunden nach einem Anfragebild durchsucht werden können. Die größte Herausforderung liegt derzeit noch bei Bildern, die aus zu unterschiedlichen Aufnahmewinkeln aufgenommen wurden und daher im direkten Vergleich keine oder nur wenige gemeinsame lokale Merkmale aufweisen.

Personensuche


Bei der Suche nach Personen in Bildern oder Videodaten ist das Gesicht das wichtigste biometrische Merkmal. Dieses ist hinreichend individuell für jede Person, sodass auch der Mensch es im Alltag nutzt, um sein Gegenüber zu erkennen. Das Gesicht einer Person ist im Kontext der Auswertung von Massendaten üblicherweise den geringsten Änderungen unterworfen, wodurch es sich insbesondere dazu eignet Personen in Bildmaterial von verschiedenen Orten oder zu verschiedenen Zeiten zu finden. Während die äußere Erscheinung, welche hauptsächlich durch die Kleidung bestimmt wird, oft täglich oder witterungsbedingt häufiger wechselt, sind Änderungen am Gesicht seltener oder finden langsamer statt. Typische Veränderungen, die das Gesicht betreffen, sind Bartwuchs oder Brillen. Während dezente Brillen kaum Probleme für einen automatischen Gesichtsvergleich darstellen, erschweren dickrandige Brillen oder Sonnenbrillen dies bzw. können es je nach Bedeckungsgrad des Gesichts auch unmöglich machen.Bild- und Videodaten unterscheiden sich für die Nutzung zur gesichtsbasierten Personensuche in zwei Punkten. Während Bilddaten üblicherweise eine bessere Bildqualität aufweisen, also höher aufgelöst sind und weniger Bewegungsunschärfe besitzen, bieten Videodaten mehr Bilder der gleichen Person in aufeinanderfolgenden Einzelbildern und ggfs. aus unterschiedlichen Perspektiven.
Als grober Richtwert in Bezug auf die Verwendbarkeit von Daten bei ansonsten guter Bildqualität gilt eine untere Grenze der Gesichtsgröße von etwa 30 Pixeln, um eine gute Wiedererkennungsleistung zu ermöglichen. Dieser Fall liegt meist nur bei Bilddaten vor, die mit einer hochwertigen Digitalkamera aufgenommen wurden. Während bei Bilddaten die Auflösung des Bildes in den meisten Fällen einen guten Hinweis auf die Auswertbarkeit liefert, spielen bei Videodaten noch weitere Effekte, welche die Bildqualität schmälern, eine wichtige Rolle. Beispielsweise wirken sich Kompressionsartefakte, Sensorrauschen und Bewegungsunschärfe mit abnehmender Auflösung stärker aus. Eine zufriedenstellende Qualität wird daher teilweise erst im Bereich von 50 bis 100 Pixel Gesichtsgröße erreicht, wie in Abbildung 4 illustriert. Daher ist es nötig, die zusätzlichen Informationen, die Videomaterial bietet sinnvoll zu nutzen. Dies kann insbesondere dann von Vorteil sein, wenn die abgebildete Person ihren Kopf dreht und somit mehrere Ansichten des Gesichtes enthalten sind wie Abbildung 5 veranschaulicht.


Abbildung 3: Ergebnisse der Batch-Matching Suchfunktion. Gefunden wurde eine Szene, die in beiden Datenbanken enthalten ist.


Traditionelle Verfahren extrahieren bei Videodaten nur ein einziges Bild der Sequenz, welches anschließend durch ein bildbasiertes Verfahren verglichen wird. Das Ergebnis hängt stark von der Qualität des ausgewählten Bildes ab, weswegen ein frontal sichtbares Gesicht extrahiert wird, in der Hoffnung, dass darin die meisten Informationen enthalten sind. Im Gegensatz dazu ermöglichen es neuere Ansätze, wie sie auch am Fraunhofer IOSB entwickelt werden [6], alle Bilder einer Sequenz zusammenzufassen, wodurch keine Information mehr verloren geht und damit alle Ansichten erfasst werden. Dadurch können nicht mehr nur Frontalgesichter im Video miteinander verglichen werden, sondern beliebige Ansichten, z.B. auch eine Seitenansicht.
Der Ablauf einer Personensuche in Massendaten besteht im Wesentlichen aus drei Schritten. Zunächst müssen alle Gesichter im Videomaterial gefunden werden. Es erfolgt also eine vollautomatische Analyse des Materials und alle Bereiche, in denen ein Gesicht enthalten ist, werden markiert. Hierzu existieren zuverlässige und schnelle Verfahren. Als Richtwerte gelten typischerweise, dass Gesichter mit einer Drehung von weniger als 45 Grad zur Frontalen und mehr als 30 Pixeln Größe zuverlässig gefunden werden können. Bei stärkerer Drehung bzw. kleinerem Gesicht spielt die Bildqualität eine zunehmend größere Rolle, wobei als Grenze bei der Drehung 90 Grad (Profilansicht) und bei der Auflösung etwa 20 Pixel gelten. Im zweiten Schritt wird für jedes gefundene Gesicht eine Repräsentation berechnet, anhand derer ein Vergleich mit anderen Gesichtern möglich ist. Dazu wird jedes Gesicht normalisiert, also unter anderem einheitlich rotiert und skaliert. Zur Repräsentation des Gesichtes wird eine Menge an lokalen Merkmalen berechnet, welche die Gesichtsstruktur beschreiben. Bei vielen anderen Ansätzen ist dies bereits der letzte Schritt und sie ziehen die berechneten Merkmale für einen Vergleich der Gesichter heran, was durch die Menge an Merkmalen aber einen erheblichen Zeitaufwand bedeutet. Der wesentliche Schritt für eine anschließende schnelle Datenbanksuche ist also der dritte und letzte Schritt, in welchem die Merkmale zusammengefasst und in eine einheitliche Form gebracht werden. Dazu werden alle Merkmale aus einem Bild bzw. bei Videodaten zusätzlich die Merkmale aller Bilder der zusammenhängenden Gesichtssequenz gesammelt und deren gesamte Abweichung zu einem zuvor bestimmten Gesichtsmodell berechnet. Die finale Repräsentation eines Gesichtes beschreibt nur diese Abweichung und hat dadurch eine deutlich geringere Größe, was einen extrem schnellen Vergleich zwischen Gesichtern erlaubt. Durch die geringe Größe der Gesichtsbeschreibung ist es auf einem aktuellen PC problemlos möglich mehrere Hunderttausend derart aufbereitete Gesichter pro Sekunde zu vergleichen. Dies würde beispielsweise bedeuten, dass nach der Aufbereitung innerhalb einer Sekunde mehrere Hundert Stunden TV-Programm nach einem Gesicht durchsucht werden können. Dem liegt die Erfahrung zu Grunde, dass in einem typischen Fernsehprogramm etwa 1000 Gesichtssequenzen pro Stunde enthalten sind, wobei die gleiche Person natürlich mehrfach sichtbar sein kann. Bei Videomassendaten kann dieser Wert erheblich darunter oder auch darüber liegen, da er stark von der Anzahl der gleichzeitig im Bild befindlichen Personen und dem Anteil an Leerszenen abhängt. Eine Größenordnung kann also nicht pauschal angegeben werden.


Abbildung 4:Darstellung von Ursachen für schlechte Bildqualität bei unterschiedlichen Auflösungen. Von links nach rechts: Originalbild,
Kompressionsartefakte, Bewegungsunschärfe, Sensorrauschen, Kombination dieser drei. Von oben nach unten: Gesichtsgröße von 120, 60 und 30 Pixel.


Abbildung 5: Ein Video bietet deutlich mehr Informationen über ein Gesicht, wenn sich die Person während der Aufnahme dreht.

Die Wiedererkennung von Personen auf Basis von Kleidung liefert eine komplementäre Information, die genutzt werden kann, um eine gesichtsbasierte Wiedererkennung zu verbessern. Zusätzlich können kleidungsbasierte Suchverfahren oft auch dann noch angewandt werden, wenn die Daten eine zu niedrige Qualität für gesichtsbasierte Verfahren haben. Analog zur Suche anhand von Gesichtern werden Personenbilder dabei anhand von unterschiedlichen Bildmerkmalen miteinander verglichen. Viele der beschriebenen Eigenschaften lassen sich entsprechend auf die kleidungsbasierte Suche übertragen. Beispielsweise ist es auch hier von Vorteil, Videos mit mehreren Ansichten einer Person für die Suche verwenden zu können anstatt sich auf Einzelbilder mit nur einer Ansicht verlassen zu müssen. Ein wichtiger Unterschied in den Verfahren ist, dass die kleidungsbasierte Suche einen deutlichen Schwerpunkt auf Farbmerkmale setzt und somit – im Gegensatz zur gesichtsbasierten Suche – nur begrenzt auf Grauwertbildern oder -videos einsetzbar ist.
Bei einer hinreichend guten Bildqualität und Auflösung können soft-biometrische Merkmale auch für die Wiederkennung hinzugezogen werden. Merkmale wie Geschlecht, Haarfarbe, kurze oder lange Hose, tragen eines Rucksacks, etc. können automatisch detektiert und mit vorhandenen Bildmerkmalen zu einer verbesserten Repräsentation der Person kombiniert werden. Je nach Sichtbarkeit des individuellen Merkmals (z.B. ist eine Jacke aus weiterer Entfernung besser erkennbar als die Haarfarbe) wird eine entsprechend höhere Auflösung des Bildmaterials benötigt. Zusätzliche Vorteile dieser semantischen, soft-biometrischen Merkmale sind zum einen, dass Suchverfahren ausgehend von einer textuellen Beschreibung gestartet und dann verfeinert werden können (siehe nächster Abschnitt). Zum anderen ist es möglich anhand von Suchergebnissen und detektierten soft-biometrischen Merkmalen automatisch eine textuelle Beschreibung der gesuchten Person zu generieren.

Interaktive Suche / Benutzerfeedback


Die automatische Suche nach Personen in Bildmaterial wird durch eine große Menge von Störfaktoren beeinflusst. Dazu zählen zum Beispiel Unterschiede in Aufnahme-Hardware (z.B. Sensor oder Objektiv), Beleuchtungsunterschiede oder Bildrauschen. Diese Faktoren tragen dazu bei, dass dieselbe Person in verschiedenen Bildern stark unterschiedlich aussehen kann. Obwohl vollautomatische Lösungen bei großen Datenmengen oft wünschenswert sind, führen diese Ansätze aufgrund der Störfaktoren oft zu fehlerhaften oder ungenauen Ergebnissen, die schließlich trotzdem noch manuell durchgesehen und korrigiert werden müssen. Am Fraunhofer IOSB werden daher Ansätze entwickelt um eine manuelle Interaktion direkt in das Suchverfahren zu integrieren [7]. Solche interaktiven Verfahren können helfen die Stärken von Mensch (ein semantisches Verständnis der Aufgabe und eine bessere Fähigkeit zur Mustererkennung) und Maschine (eine höhere Suchgeschwindigkeit und kein Konzentrationsverlust) zu kombinieren.
Eine interaktive Suche wird zunächst genau wie ein vollautomatisches Verfahren gestartet indem der Benutzer eine Anfrage in Form einer textuellen Beschreibung oder in Form von Beispiel-Bildmaterial stellt. Wie oben beschrieben wird die Datenbank zunächst automatisch nach Personen oder Mustern mit hoher Ähnlichkeit zur Anfrage durchsucht. Falls das Ergebnis nicht zufriedenstellend ist, hat der Benutzer die Option Feedback zu geben. Dabei werden Ergebnisse, die tatsächlich der Anfrage entsprechen, als ‚korrekt‘ markiert und falsche Ergebnisse entsprechend als ‚falsch‘. In einer weiteren Suchiteration kann das maschinelle Verfahren dieses Feedback nutzen, um verbesserte Ergebnisse zu liefern. Dazu werden Merkmale, die zu ‚korrekt‘ markierten Ergebnissen geführt haben stärker berücksichtigt als solche, die zu vielen ‚falsch‘ markierten Ergebnissen geführt haben. Durch diese unterschiedliche Gewichtung von Merkmalen auf Basis von Benutzer Feedback passt sich das Suchverfahren an die Vorgaben des Benutzers an. Es kann eine beliebige Zahl an Suchiterationen durchgeführt werden bis das Ergebnis eine gewünschte Qualität erreicht oder keine weiteren Änderungen mehr festgestellt werden.
Besonders in zeitkritischen Einsatzlagen kann ein schnelles automatisches Suchverfahren in Kombination mit Benutzerfeedback zu schnelleren und besseren Ergebnissen führen.

Fazit


Die hier vorgestellten Arbeiten geben einen kleinen Überblick über aktuelle Forschungsarbeiten auf dem Gebiet der Suche in Bild- und Videomassendaten. Auch in Zukunft wird die Menge an Bild- und Videodaten weiterhin ansteigen. Die Nutzung dieser großen Datenmengen stellt aber auch immer wieder neue Herausforderungen an Verfahren, Systeme und Endanwender. Das Fraunhofer IOSB forscht daher intensiv an Methoden und Verfahren zur Auswertung dieser Daten und steht dabei in engem Kontakt mit den Endanwendern.

Literatur

  1. S. Brüstle and N. Heinze, Archiving image sequence considering associated geo-graphical and non-geographical attributes, Proc. SPIE 8359, 83590Y (2012)
  2. www.microsoft.com/en-us/PhotoDNA
  3. www.interpol.int/Projects/FASTID
  4. D. Manger, Large-Scale Tattoo Image Retrieval. In 2012 Canadian Conference on Computer and Robot Vision (CRV2012)
  5. s.fhg.de/patre
  6. C. Herrmann and J. Beyerer, Face Retrieval on Large-Scale Video Data, In 2015 Canadian Conference on Computer and Robot Vision (CRV2015)
  7. A. Schumann and T. Schuchert, Person re-identification in UAV videos using relevance feedback, Proceedings of SPIE Electronic Imaging 2015, Volume 9407
  8. http://www.bigdata.fraunhofer.de/de/geschaeftsfelder/sicherheit.html

„FRAUNHOFER IOSB“
Die Autoren arbeiten in der Abteilung Videoauswertesysteme des Fraunhofer IOSB. Dr. Tobias Schuchert ist Leiter der Gruppe HPC-Videoauswertung, die sich u.a. mit der Analyse und Verarbeitung großer Mengen an Bild- und Videodaten beschäftigt.
Neben der Entwicklung von Systemen, die teilweise bereits in der Anwendung bei Polizeibehörden sind, erforscht das Fraunhofer IOSB auch neue Methoden in dem Bereich zur Auswertung von Bild- und Videomassendaten und steht für unabhängige Beratung zu Verfügung. Das Fraunhofer IOSB ist dabei auch in der Fraunhofer-Allianz Big Data im Lenkungskreis vertreten (Prof. Dr. Jürgen Beyerer) und koordiniert das Geschäftsfeld Sicherheit (Dr. Andreas Meissner), welches sich u.a. mit der Suche in großen Datenmengen befasst [8].