Das fliegende Auge – Bild- und Videoauswertung für UAVs

Von Dr.-Ing. Tobias Schuchert, Fraunhofer IOSB, Karlsruhe

Der Film „Das fliegende Auge“ von 1983 hat die Wahrnehmung der Öffentlichkeit für die Gefahren der Überwachung aus der Luft geprägt. Der Film handelt von einem bemannten Superhubschrauber mit diversen Überwachungs- und Bekämpfungsfunktionen. Heute, 30 Jahre später, ist man dem Szenario des Films näher denn je. Die in dem Film gezeigten Überwachungsmöglichkeiten scheinen keine Science-Fiction mehr zu sein. Videokameras und Richtmikrofone mit hoher Genauigkeit sind genauso verfügbar wie Wärmebildkameras, mit denen man auch begrenzt durch Wände schauen kann. Allerdings werden heutzutage keine Superhubschrauber benötigt, sondern vielmehr können selbst Privatleute günstige miniaturisierte Fluggeräte (auch Drohnen genannt) erwerben, die über Bild- und Videokameras oder sogar Wärmebildgeräte verfügen. Aufgrund von gesetzlichen Bestimmungen und um dem negativen Image des Wortes "Drohne" entgegenzuwirken, existieren unterschiedliche Synonyme für unbemannte Luftfahrzeuge.

Neben UAV (Unmanned/Uninhabited Aerial Vehicle, deutsch: unbemanntes Luftfahrzeug) wird in letzter Zeit das Synonym RPAS (Remotely Piloted Aircraft System) verwendet. Dabei wird einerseits das Gesamtsystem (Fluggerät, Pilot, Bodenkontrollstation und Kommunikation) betrachtet, als auch betont, dass das Luftfahrzeug von einem Piloten gesteuert wird, d.h. dass das Luftfahrzeug gar nicht oder nur begrenzt autonom fliegen kann und der Pilot stets die Kontrolle hat. RPAS umfasst somit eine Untergruppe der UAVs und schließt insbesondere autonome Systeme aus. Die Bild- und Videoauswertung ist relativ unabhängig von der Art der Steuerung des Fluggerätes, so dass im Verlauf dieses Artikels der Begriff UAV verwendet wird. Vielmehr sind die hier vorgestellten Verfahren auch für bemannte Systeme nutzbar.
UAV werden heutzutage bereits in vielen Bereichen eingesetzt. Die meisten UAVs sind in privater Hand und werden für private Zwecke verwendet, z.B. für Bild- oder Videoaufnahmen aus der Luft. Weiterhin existieren viele kommerzielle Anwendungen, z.B. Inspektions-, Vermessungs- oder Dokumentationsaufgaben, sowie militärischen Anwendungen wie Aufklärung und Überwachung. Auch bei Polizeibehörden sind UAVs bereits im Einsatz bzw. werden getestet, vor allem in den Bereichen Schutz und Sicherheit. Dazu zählen Aufgaben wie z.B. Straßen- und Verkehrsüberwachung, Überwachung/Kontrolle bei Großveranstaltungen oder Strafverfolgung, Tatortaufnahme oder Tracking / Verfolgung von verdächtigen Personen oder Objekten.

Sensorik

So vielfältig die Anwendungen sind, so vielfältig sind auch die verfügbaren UAVs. Diese lassen sich in unterschiedliche Kategorien wie z.B. Größe, Reichweite, Ausdauer, Flughöhe oder Nutzlast einteilen. Neben den rechtlichen Vorschriften und den Kosten zum Erwerb und Betrieb einer Drohne, sind die Sensorik und die anschließende Signalauswertung ein wesentlicher Aspekt für das Erreichen des gewünschten Ergebnisses. Dabei wird zwischen Sensorik zur Steuerung der Drohne, z.B. GPS, INS (inertiales Navigationssystem) und Videokameras, und Sensorik für die eigentliche Anwendung unterschieden. Bei der Anwendungssensorik spielen besonders die Nutzlast, die Kommunikation und die Stromversorgung des UAV eine Rolle, so dass es sich dabei in den meisten Fällen um Foto- oder Videokameras handelt. Die fortschreitende Miniaturisierung hat dazu geführt dass heutzutage kleine, leichte und hochaufgelöste Kameras zu Verfügung stehen.
Hier ist vor allem interessant welche Anforderungen die jeweilige Anwendung an die Sensorik und damit auch an das UAV stellt. Ist ein Livebild nötig oder reicht es, wenn die Daten nachträglich ausgewertet werden? Sind Videos nötig oder reichen Einzelbilder? Wie ist die Beleuchtungssituation (Tag/Dämmerung/Nacht)? Wie hoch muss die Auflösung auf welche Entfernung sein? Wird eine 3D Rekonstruktion der Umgebung ggfs. in Echtzeit benötigt?

Abbildung 1: Sensorik für UAV und Beispielaufnahmen. Links: GoPro-Actionkamera [1], Mitte: FLIR Wärmebildgerät [2], Rechts: VeloDyne LiDAR-Sensor [3,4].

Modulare Systeme ermöglichen es, Sensorik und Trägersysteme untereinander auszutauschen, so dass mit einer begrenzten Auswahl an Komponenten eine Vielzahl an Anwendungsfeldern abgedeckt werden kann, allerdings nicht gleichzeitig. Bei der Sensorik wird vor allem zwischen der bildgebenden Sensorik (2D) und Sensorik zur Generierung von 3D Modellen (Tiefenbildkameras oder Laserscanner) unterschieden. Die bildgebende Sensorik lässt sich weiterhin hinsichtlich ihrer spektralen Eigenschaften charakterisieren. Standardkameras decken einen Teil des sichtbaren Lichtspektrums ab. Im Vergleich dazu erlauben andere Kameras den Bereich im nahen oder fernen Infrarot (IR-Kamera) oder sogar mehrere Bereiche gleichzeitig (Multi- bzw. Hyperspektralkamera) abzubilden. Multi- oder Hyperspektralkameras bieten die Möglichkeit unterschiedliche Spektralbereiche simultan zu erfassen, z.B. im sichtbaren und im unsichtbaren Lichtspektrum. Dies ist insbesondere für die Landwirtschaft interessant um Informationen über den Zustand von Agrarflächen zu erhalten und wird daher hier nicht näher betrachtet [5].
Abbildung 1 zeigt Beispiele für unterschiedliche Sensorik, die auf aktuellen (Mikro-)UAV, d.h. bis zu einem Gewicht von ca. 5 kg, eingesetzt wird. Auf der linken Seite sieht man eine GoPro HD Hero 3+ -Actionkamera [1], die eine weite Verbreitung bei zivilen UAVs hat. Ursprünglich für Aufnahmen von Surfern und anderen Freizeitsportlern entwickelt, wird sie auf Grund ihres Gewichts, Robustheit und Einfachheit geschätzt. Die Kamera hat standardmäßig ein relativ weitwinkliges Objektiv, was sich gut für Übersichtsbilder eignet. Des Weiteren bietet die aktuelle HD Version der GoPro-Kamera Videos in sehr hoher Auflösung (4096x2160 Pixel (4K) bei 15 Bilder/s) und Fotos mit 12 MP.
Bei Anwendungen, die auf der Messung von Wärmeverteilungen basieren, z.B. zur Suche/Verfolgung von Personen oder zur Untersuchung/Dokumentation von Wärmedämmungen, können thermische Infrarotkameras verwendet werden. Abbildung 1 Mitte zeigt das ungekühlte Mikrobolometer Quark 640 der Firma FLIR [2], sowie ein Bildbeispiel. Die Auflösung der Kamera beträgt 640 x 512 Pixel bei 30 Hz, d.h. deutlich niedriger als die Auflösung der GoPro. Im Gegensatz zu Kameras für den sichtbaren Bereich, ermöglichen es thermische Infrarotkameras die Wärmeverteilung auch in dunklen Szenarien darzustellen, z.B. bei Nacht oder in Höhlen.
Werden 3D-Informationen der Umgebung benötigt, z.B. um Gebäude zu vermessen, können unterschiedliche Varianten verwendet werden. Einerseits können aus den Bildern von normalen Kameras Informationen gewonnen werden, um 3D Modelle der Umgebung zu erstellen. Dies hat den Vorteil, dass keine spezielle Hardware benötigt wird. Allerdings ist die Genauigkeit der 3D Rekonstruktion begrenzt und muss normalerweise im Nachhinein berechnet werden. Andererseits können spezielle Sensoren zur Erstellung von 3D-rekonstruktionen verwendet werden. Neben Stereokameras, und Tiefenkameras, wie der Microsoft Kinect, ist es auch möglich sogenannte LiDAR-Sensoren mit UAVs zu verwenden. LiDAR steht für „Light detection and ranging“ und ermöglicht es, ähnlich eines Radars, die Entfernung von Objekten mit Laserstrahlen zu bestimmen. In dem Fall des in Abbildung 1 dargestellten VeloDyne-Sensors HDL-32E [3], rotiert ein Spiegelsystem sehr schnell 360° um die eigene Achse und tastet auf diese Weise die Umgebung mit Hilfe von 32 Lasern ab. Das Beispielbild zeigt die für den Sensor charakteristischen Kreisstrukturen, die durch die vertikale Anordnung der Laser erzeugt wird. Der Sensor liefert 3D Informationen bis zu einer Entfernung von 70 Metern mit einer Genauigkeit von 2 cm bei einem Gewicht von unter 2 kg. Die geringen Ausmaße erlauben die Nutzung dieses Sensors an UAVs, was Phoenix Aerial Systems [4] in einem Testprojekt nachgewiesen hat. Da LiDAR-Sensoren relativ teuer sind, wird in der wissenschaftlichen Gemeinde eher mit günstigeren Sensoren zur Messung der Entfernung eines Objektes gearbeitet, wie der Microsoft Kinect oder ToF-Kameras. Diese sind allerdings auf Grund ihrer speziellen Eigenschaften (Beleuchtungsabhängigkeit/Auflösung, Reichweite) nur bedingt für den realen Einsatz mit UAVs geeignet.
Im Hinblick auf Sensorik für UAVs ist es auch wichtig, wie die Sensorik an der Drohne befestigt ist. Ist die Kamera fixiert oder lässt sich die Kamera von dem UAV getrennt steuern? Ist die Aufhängung des Sensors stabilisiert?