Effiziente Suche in Bild- und Videomassendaten

Interaktive Suche / Benutzerfeedback

Die automatische Suche nach Personen in Bildmaterial wird durch eine große Menge von Störfaktoren beeinflusst. Dazu zählen zum Beispiel Unterschiede in Aufnahme-Hardware (z.B. Sensor oder Objektiv), Beleuchtungsunterschiede oder Bildrauschen. Diese Faktoren tragen dazu bei, dass dieselbe Person in verschiedenen Bildern stark unterschiedlich aussehen kann. Obwohl vollautomatische Lösungen bei großen Datenmengen oft wünschenswert sind, führen diese Ansätze aufgrund der Störfaktoren oft zu fehlerhaften oder ungenauen Ergebnissen, die schließlich trotzdem noch manuell durchgesehen und korrigiert werden müssen. Am Fraunhofer IOSB werden daher Ansätze entwickelt um eine manuelle Interaktion direkt in das Suchverfahren zu integrieren [7]. Solche interaktiven Verfahren können helfen die Stärken von Mensch (ein semantisches Verständnis der Aufgabe und eine bessere Fähigkeit zur Mustererkennung) und Maschine (eine höhere Suchgeschwindigkeit und kein Konzentrationsverlust) zu kombinieren.
Eine interaktive Suche wird zunächst genau wie ein vollautomatisches Verfahren gestartet indem der Benutzer eine Anfrage in Form einer textuellen Beschreibung oder in Form von Beispiel-Bildmaterial stellt. Wie oben beschrieben wird die Datenbank zunächst automatisch nach Personen oder Mustern mit hoher Ähnlichkeit zur Anfrage durchsucht. Falls das Ergebnis nicht zufriedenstellend ist, hat der Benutzer die Option Feedback zu geben. Dabei werden Ergebnisse, die tatsächlich der Anfrage entsprechen, als ‚korrekt‘ markiert und falsche Ergebnisse entsprechend als ‚falsch‘. In einer weiteren Suchiteration kann das maschinelle Verfahren dieses Feedback nutzen, um verbesserte Ergebnisse zu liefern. Dazu werden Merkmale, die zu ‚korrekt‘ markierten Ergebnissen geführt haben stärker berücksichtigt als solche, die zu vielen ‚falsch‘ markierten Ergebnissen geführt haben. Durch diese unterschiedliche Gewichtung von Merkmalen auf Basis von Benutzer Feedback passt sich das Suchverfahren an die Vorgaben des Benutzers an. Es kann eine beliebige Zahl an Suchiterationen durchgeführt werden bis das Ergebnis eine gewünschte Qualität erreicht oder keine weiteren Änderungen mehr festgestellt werden.
Besonders in zeitkritischen Einsatzlagen kann ein schnelles automatisches Suchverfahren in Kombination mit Benutzerfeedback zu schnelleren und besseren Ergebnissen führen.

Fazit

Die hier vorgestellten Arbeiten geben einen kleinen Überblick über aktuelle Forschungsarbeiten auf dem Gebiet der Suche in Bild- und Videomassendaten. Auch in Zukunft wird die Menge an Bild- und Videodaten weiterhin ansteigen. Die Nutzung dieser großen Datenmengen stellt aber auch immer wieder neue Herausforderungen an Verfahren, Systeme und Endanwender. Das Fraunhofer IOSB forscht daher intensiv an Methoden und Verfahren zur Auswertung dieser Daten und steht dabei in engem Kontakt mit den Endanwendern.

Literatur

1. S. Brüstle and N. Heinze, Archiving image sequence considering associated geo-graphical and non-geographical attributes, Proc. SPIE 8359, 83590Y (2012)
2. www.microsoft.com/en-us/PhotoDNA
3. www.interpol.int/Projects/FASTID
4. D. Manger, Large-Scale Tattoo Image Retrieval. In 2012 Canadian Conference on Computer and Robot Vision (CRV2012)
5. s.fhg.de/patre
6. C. Herrmann and J. Beyerer, Face Retrieval on Large-Scale Video Data, In 2015 Canadian Conference on Computer and Robot Vision (CRV2015)
7. A. Schumann and T. Schuchert, Person re-identification in UAV videos using relevance feedback, Proceedings of SPIE Electronic Imaging 2015, Volume 9407
8. http://www.bigdata.fraunhofer.de/de/geschaeftsfelder/sicherheit.html

„FRAUNHOFER IOSB“
Die Autoren arbeiten in der Abteilung Videoauswertesysteme des Fraunhofer IOSB. Dr. Tobias Schuchert ist Leiter der Gruppe HPC-Videoauswertung, die sich u.a. mit der Analyse und Verarbeitung großer Mengen an Bild- und Videodaten beschäftigt.
Neben der Entwicklung von Systemen, die teilweise bereits in der Anwendung bei Polizeibehörden sind, erforscht das Fraunhofer IOSB auch neue Methoden in dem Bereich zur Auswertung von Bild- und Videomassendaten und steht für unabhängige Beratung zu Verfügung. Das Fraunhofer IOSB ist dabei auch in der Fraunhofer-Allianz Big Data im Lenkungskreis vertreten (Prof. Dr. Jürgen Beyerer) und koordiniert das Geschäftsfeld Sicherheit (Dr. Andreas Meissner), welches sich u.a. mit der Suche in großen Datenmengen befasst [8].