Wie lassen sich die besonders herausfordernden Aufgabenstellungen des autonomen Fahrens in der Verarbeitungskette von Perzeption über Situationsanalyse bis zur Verhaltensplanung mit künstlicher Intelligenz lösen? Das Technologieunternehmen BOSCH zeigt, wie man ein effizientes Training neuronaler Netze mit annotierten Sensordaten von understand.ai durchführt.
Neue innovative Konzepte für die Mobilität wie hochautomatisiertes oder autonomes Fahren stellen enorme Anforderungen an Sicherheit und Zuverlässigkeit der technischen Systeme. Die effiziente Entwicklung besonders zuverlässiger Steuerungen für das autonome Fahren bis hin zu SAE Level 5 setzt auch den Einsatz geeigneter Technologien voraus. Herkömmliche regelbasierte Ansätze stehen daher im Wettbewerb mit den Möglichkeiten trainierter neuronaler Netze. Ausgeführt auf schnellen Grafikprozessoren (GPUs), sind diese besonders für die Verarbeitung der immensen Datenmengen hochauflösender Sensoren geeignet.
Identifizierung von KI-Anwendungsgebieten
In diesem Kontext geht es zunächst darum, potentielle Anwendungsgebiete von künstlicher Intelligenz (KI) entlang der gesamten Verarbeitungskette von Perzeption über Situationsanalyse bis zur Verhaltensplanung zu identifizieren. Darüber hinaus sind besonders aussichtsreiche Methoden aus dem Bereich des maschinellen Lernens zu evaluieren. Hier setzt ein Projekt bei BOSCH an, das sowohl KI-
Anwendungsgebiete als auch Lernmethoden untersucht und dabei den Fokus auf die multimodale Perzeption legt, also auf die Umgebungswahrnehmung eines Fahrzeugs mit den fusionierten Daten von Video-, Radar- und Lidarsensoren.
Aufbau eines Datensatzes mit hoher Diversität
Trainingsdaten sind die Rohdaten der im Fahrzeug verbauten Sensoren, die während Realfahrten aufgezeichnet werden. Schon bei der Aufnahme muss auf eine hinreichend hohe Diversität der Umgebungen (Autobahn, Landstraßen, urbane Bereiche, Verkehrsobjekte, Verkehrsszenarien etc.) geachtet werden. Dies wird insbesondere durch die Definition idealer Streckentypen und -beschaffenheit sowie Streckenkategorien erreicht. Anschließend erfolgt eine Auswahl gemäß Übereinstimmung mit der Definition und Ausgewogenheit der Kategorien.
Trainieren neuronaler Netze per Supervised Learning
Ein neuronales Netz lernt – ähnlich wie das menschliche Gehirn – durch positive Verstärkung: Die Lösungswege für korrekte Ergebnisse werden beibehalten, die von fehlerhaften Ergebnissen verworfen. Um korrekte Ergebnisse zu erkennen, bedarf es sowohl Aufgaben als auch Lösungen. Im Kontext der Systeme für autonomes Fahren sind dies typischerweise die Sensorrohdaten (Aufgaben) sowie die darin erkannten Objekte (Lösungen). Dieser Lernansatz wird als überwachtes Lernen oder Supervised Learning bezeichnet. Die Lösungen werden in einem vorgelagerten Schritt durch Markierungen (Label/Annotation) in Form von Referenzdaten (Rohdaten plus Markierung) zur Verfügung gestellt.
Lernmaterial für neuronale Netze
Erfolgreiches (maschinelles) Lernen setzt den Einsatz von qualitativ hochwertigem Lernmaterial voraus. Daher müssen relevante Objekte, die die KI später selbst erkennen soll (Pixelmuster etc.), in den Daten exakt gekennzeichnet und klassifiziert werden. Da dieser Schritt sehr hohe, teils manuelle Aufwände mit sich bringt, wurden die anonymisierten Daten an den auf die Automatisierung spezialisierten Servicedienstleister understand.ai übergeben. Gemeinsam wurden exakte Qualitätsziele vereinbart, die ein erfolgreiches Training gewährleisten.
3D-Annotation von Lidardaten
Die Annotation wurde mit Daten der Lidarsensoren durchgeführt. Die Kennzeichnung der Objekte erfolgte in Form von hochgenau platzierten Bounding-Boxen in den 3D-Punktwolken des Lidars. Die Daten des Kamerasensors wurden zur Plausibilitätsprüfung verwendet. Um die definierten Qualitätsziele für die umfangreichen Daten sicherzustellen, hat sich ein iteratives Vorgehen bewährt. Dabei wurden die Zwischenergebnisse geprüft und in Feedbackschleifen mit understand.ai erörtert. Auf diese Weise ließ sich frühzeitig und kontinuierlich das notwendige Qualitätsniveau, auch durch Präzisierung der Anforderungen, gewährleisten
Besondere Herausforderungen bei der Annotation
Bei der Annotation ergeben sich besondere Herausforderungen wie die Differenzierung zwischen Autos und Vans oder das Erkennen von Fahrzeugen mit Dachboxen oder Fahrradträgern. Bei diesen komplexen Aufgabenstellungen machen Expertenwissen und leistungsfähige Werkzeuge den Unterschied. Mit seinen Web- und KI-basierten Werkzeugen zur Objekterkennung und Prädiktion von Objekten konnte understand.ai Randfälle identifizieren und elegante Lösungswege aufzeigen.
Supervised Learning mit annotierten Sensordaten
Die annotierten Daten sind mittlerweile im Einsatz, um potentielle Anwendungsgebiete für KI zu identifizieren. Dabei werden Netze anwendungsspezifisch trainiert und ihr Verhalten und ihre Performance bewertet. Je nach Tiefe des Netzes und dem Datenumfang ergeben sich Trainingszeiträume von mehreren Tagen oder Wochen. Voraussetzung für erfolgreiche Trainingsvorgänge ist eine abgestimmte IT-Infrastruktur, ausgestattet mit leistungsfähigen GPU-basierten Computerclustern.
Erzielte Ergebnisse und Genauigkeit
Hochgenaue Annotation ist eine unverzichtbare Voraussetzung für das Supervised Learning, denn die Qualität der Referenzdaten ist ein Maß für die spätere Fähigkeit der KI, Objekte eindeutig zu erkennen. Die erwartete und spezifizierte Qualität bei der Annotation wurde von understand.ai erreicht. Wobei man für diese komplexe Aufgabenstellung insgesamt feststellen muss, dass die Annotation zwar sehr gut, aber nicht perfekt sein kann. Wie in anderen Entwicklungsbereichen unterliegt auch die Annotation einem kontinuierlichen Lernprozess, bei dem Abläufe und Tooling angepasst und optimiert werden, um ständig höchstmögliche Qualität zu erreichen. Eingespielte Prozesse, leistungsfähiges Tooling und effiziente Feedback-Zyklen führen zu den gewünschten Resultaten. Die Erfahrung und Expertise ausgewiesener Annotationsspezialisten ist für eine wirtschaftliche und effiziente Vorgehensweise von unschätzbarer Bedeutung.
Ausblick: Annotation von Rundumsichtdaten
Für eine 360°-Umfelderfassung ist eine neue Messkampagne geplant, bei der das Fahrzeugumfeld hochauflösend mit Kamera-, Lidar- und Radarsensoren aufgezeichnet wird. Hierbei entstehen neue Herausforderungen bzgl. Datenmenge, synchroner Verarbeitung sowie Annotation der fusionierten Daten. Das weitere Vorgehen für dieses Vorhaben wird gerade zwischen den Experten von understand.ai und BOSCH abgestimmt.
Über die Autoren
Dr. Claudius Gläser
BOSCH Corporate Research
Dr. Florian Faion
BOSCH Corporate Research