Autonome Systeme nutzen eine Vielzahl von Sensoren wie Kamera, IMU und Radar zur Wahrnehmung ihrer Umgebung. LiDARs können einige der Nachteile anderer Sensoren ausgleichen, indem sie hochgradig genaue, strukturelle und dreidimensionale Informationen zu ihrer Umgebung liefern. Dieser Vorteil begünstigte die Einführung von LiDAR-Sensoren auf dem allgemeinen Markt für Wahrnehmungstechnologien.

Drei wichtige Gründe tragen zur Akzeptanz von LiDARs auf dem Markt bei:

1. Kostengünstige LiDARs

Durch die Einführung kostengünstiger LiDARs mit verbesserten Eigenschaften im Hinblick auf ihre Reichweite, Größe und Fehlerresistenz hat die Verfügbarkeit der Technologie für vergleichsweise umsatzschwache industrielle Anwendungen zugenommen.

2. Genaue 3D-Daten

LiDARs sammeln hochdichte 3D-Informationen über ihre Umgebung in Form von Punktwolken mit einer höheren Genauigkeit als andere Abstandssensoren wie Radare oder Sonare. Dies erhöht wiederum die Genauigkeit der 3D-Nachbildung.

3. LiDAR-Verarbeitungsalgorithmen

Durch die jüngsten Entwicklungen in LiDAR-Verarbeitungs-Workflows, beispielsweise semantische Segmentierung, Objekterkennung und -verfolgung, Fusion von LiDAR- und Kameradaten und LiDAR-SLAM, wurde es der Industrie ermöglicht, LiDARs in ihre Entwicklungs-Workflows einzubeziehen. Mithilfe von Tools wie MATLAB können Sie LiDAR-Verarbeitungsalgorithmen entwickeln und anwenden.

LiDARs werden in einer Vielzahl von Branchen verwendet, vom autonomen Fahren bis hin zu Geowissenschaften. Diese Anwendungen lassen sich grob in drei Gruppen unterteilen, je nach Plattform, auf der sie montiert sind.

1. Luft-LiDARs
2. Boden-LiDARs
3. Innen-LiDARs

Luft-LiDARs

Bei Luft-LiDARs handelt es sich um LiDAR-Sensoren, die auf unbemannten Luftfahrzeugen (UAV) oder Flugzeugen angebracht werden. Luft-LiDARs erfassen 3D-Punktwolkendaten eines großen Gebietes, die für LiDAR-Kartenerstellung, Merkmalsextraktion, Geländeklassifizierung und weitere Einsatzfälle genutzt werden können.

Beispiel-Anwendungsbereiche für Luft-LiDARs:

• Landwirtschaft: Die LiDAR-Technologie wird in der Landwirtschaft intensiv zur Kartierung der Vegetationsfläche sowie zur Identifizierung des genauen Geländes landwirtschaftlicher Betriebe und des Wassereinzugsgebiets eingesetzt.
  
• Stadtplanung: LiDARs werden bei der Erstellung digitaler Oberflächenmodelle (DSMs) oder sogar digitaler Stadtmodelle (DCMs) eines Gebiets verwendet. Diese werden für die Planung einer Stadt oder für den Aufbau neuer Infrastrukturen in bestehenden Städten eingesetzt.
  
• Geologische Kartenerstellung: LiDARs können zur Erstellung von 3D-Karten der Erdoberfläche verwendet werden, die in Anwendungen wie Berg- und Tagebau, präziser Forstwirtschaft sowie Erdöl- und Erdgasexploration eingesetzt werden können.
• Luftnavigation und Bahnplanung: LiDARs werden heute in UAVs zur Erfassung von Live-3D-Daten für die autonome Navigation durch das Gebiet verwendet.

Hier finden Sie Beispiele für den Einsatz von MATLAB^® bei der Verarbeitung von LiDAR-Luftaufnahmen:

• Luftbild-LiDAR-SLAM
• Geländeklassifizierung
• Luftnavigation und Bahnplanung:

Boden-LiDARs

Es gibt zwei Arten von Boden-LiDARs: stationäre terrestrische LiDARs und mobile LiDARs.

• Stationäre terrestrische LiDARs sind LiDARs, die auf einer stationären Plattform angebracht werden. Sie werden häufig für Landvermessungen, Straßenvermessungen, topologische Kartierung, die Erstellung digitaler Höhenkarten (DEMs), die Landwirtschaft und weitere Anwendungsfälle eingesetzt. Sie eignen sich für Bereiche, die eine detaillierte und engmaschige Datenerfassung erfordern.
• Mobile LiDARs sind Boden-LiDARs, die auf einer mobilen Plattform wie einem Pkw oder Lkw angebracht werden. Das wichtigste Einsatzgebiet für mobile LiDARs ist autonomes Fahren. Auf den Fahrzeugen angebrachte LiDARs erfassen 3D-Punktwolkendaten der Umgebung und werden ferner in Wahrnehmungs- und Navigations-Workflows eingesetzt. Diese Workflows werden im nächsten Abschnitt ausführlich beschrieben. 

Hier sehen Sie Beispiele für den Einsatz von MATLAB bei der Verarbeitung von Boden-LiDARs:

• Tracking von Fahrzeugen mit LiDAR: Von der Punktwolke zur Tracking-Liste
• Erstellung einer Karte mit LiDAR Odometry and Mapping (LOAM) mithilfe der Unreal Engine Simulation

Innen-LiDARs

LiDARs werden häufig in Robotikanwendungen in Innenräumen eingesetzt. Hierzu werden sie auf mobile Roboter montiert. Neben 3D-LiDARs werden 2D-LiDARs oder Laserscanner ebenfalls in Robotikanwendungen in Innenräumen eingesetzt, beispielsweise LiDAR-Scans und -Kartenerstellung. Sie erfassen Tiefeninformationen der Umgebung und werden anschließend je nach Anwendungsfall weiterverarbeitet.

Häufige Anwendungsfälle von Innen-LiDARs:

• LiDAR-Kartenerstellung und -SLAM: Mithilfe von 2D- oder 3D-LiDARs können Sie 2D- bzw. 3D-SLAMs und -Karten erstellen.
• Hinderniserkennung, Kollisionswarnung und -vermeidung: 2D-LiDARs werden häufig zur Erkennung von Hindernissen verwendet. Anhand der Daten können Kollisionswarnungen ausgegeben oder Hindernisse vermieden werden.

Hier sehen Sie Beispiele für den Einsatz von MATLAB bei der Verarbeitung von Boden-LiDARs:

1. Kollisionswarnung mit 2D-LiDAR
2. Erstellung einer Innenraumkarte aus LiDAR-Scans mithilfe von SLAM

MATLAB und die Lidar Toolbox™ vereinfachen Aufgaben zur LiDAR-Verarbeitung. MATLAB hilft Ihnen mit speziellen Tools und Funktionen, häufige Herausforderungen bei der Verarbeitung von LiDAR-Daten, wie 3D-Datentypen, Datenknappheit, ungültige Datenpunkte und hohes Rauschen, zu bewältigen.

Sie können Live- und aufgezeichnete LiDAR-Daten in MATLAB importieren, LiDAR-Verarbeitungs-Workflows implementieren und C/C++ und CUDA^®-Code zum Einsatz in der Produktion generieren.

Einige der wichtigen Funktionen von MATLAB bei der Verarbeitung von LiDAR-Punktwolken werden in den folgenden Abschnitten beschrieben.

Streamen, Lesen und Schreiben von LiDAR-Daten

Der erste Schritt bei der Verarbeitung aller Sensordaten in MATLAB ist das Laden der Daten in den MATLAB-Workspace. Dabei haben Sie folgende Optionen:

• Live-Streaming von Daten von Velodyne-Sensoren mithilfe des Velodyne Lidar Hardware Support Package und von Ouster-Sensoren mithilfe des Ouster Lidar Hardware Support Package.
• Lesen gespeicherter Punktwolken in diversen Dateiformaten, z. B. PCD, PLY, PCAP (Velodyne, Ouster und Hesai Pandar), Ibeo-Datencontainer, LAS und LAZ.
• Schreiben von Punktwolken in verschiedenen Dateiformaten, z. B. PCD, PLY, LAS und LAZ.
• Simulieren von LiDAR-Daten, um Algorithmen und Workflows vor der Bereitstellung in Produktivsystemen zu testen. In MATLAB können Sie 3D- oder 2D-LiDAR-Daten durch Festlegung von Sensorparametern zum Testen Ihrer Verarbeitungsalgorithmen in Simulationsumgebungen synthetisieren. Die Lidar Toolbox, UAV Toolbox und Automated Driving Toolbox stellen LiDAR-Sensormodelle zur Simulation von LiDAR-Punktwolken bereit.

LiDAR-Datenverarbeitung

Sie können LiDAR-Daten vorverarbeiten, um die Qualität der Daten zu verbessern und grundlegende Informationen daraus zu extrahieren. Die Lidar Toolbox™ bietet Funktionen für Downsampling, Medianfilterung, Angleichung, Transformation und Extraktion von Merkmalen aus Punktwolken.

LiDAR-Kamerakalibrierung

MATLAB ermöglicht eine LiDAR-Kamerakalibrierung zur Schätzung von LiDAR-Kamera-Transformationen zur Fusion von Kamera- und LiDAR-Daten. Ferner können Sie Farbinformationen in LiDAR-Punktwolken fusionieren und 3D-Begrenzungsrahmen im LiDAR mit 2D-Begrenzungsrahmen in einer gemeinsam platzierten Kamera schätzen.

Deep Learning für LiDAR

Mit MATLAB können Sie Deep-Learning-Algorithmen zur Objekterkennung und semantischen Segmentierung auf LiDAR-Daten anwenden.

• Mit nur wenigen Codezeilen in MATLAB können Sie vortrainierte semantische Segmentierungsmodelle wie PointSeg und SqueezeSegV2 für LiDAR-Daten importieren. Ferner können Sie auch Ihre eigenen Deep-Learning-Modelle trainieren, bewerten und bereitstellen.
• MATLAB ermöglicht den Entwurf, das Training und die Bewertung fehlerresistenter Detektoren wie PointPillars- und ComplexYolo-V4-Netzwerke. Sie können ausgerichtete Begrenzungsrahmen um Objekte in LiDAR-Punktwolken erkennen und anpassen.
• Die Lidar Labeler App in der Lidar Toolbox vereinfacht die Kennzeichnung von Punktwolken. Sie können Punktwolken manuell zur Objekterfassung und semantischen Segmentierung kennzeichnen, integrierte oder eigens erstellte Algorithmen zur Automatisierung der Kennzeichnung von LiDAR-Punktwolken anwenden sowie die Leistung von Automatisierungsalgorithmen beurteilen.

Objektverfolgung in Punktwolken

MATLAB kann mehrere Domänen vereinen, die einem End-to-End-Objektverfolgungs-Workflow zugeführt werden. Dadurch wird es Ihnen ermöglicht, LiDAR-Daten zu lesen, sie vorzuverarbeiten, Deep Learning zur Erkennung von Objekten anzuwenden, diese Objekte mithilfe eines vorab definierten Trackers zu verfolgen und das alles auf der Zielhardware zu implementieren.

Registrierung von Punktwolken und SLAM

MATLAB bietet Funktionen zur Registrierung von LiDAR-Punktwolken und Erstellung von 3D-Karten aus Boden-LiDAR-Daten und luftgestützten LiDAR-Daten mithilfe von SLAM-Algorithmen. Dies gilt für:

• Merkmalbasierte Kartenerstellung
• Kartenerstellung mit der LOAM-Methode (Lidar Odometry and Mapping)
• Segmentabgleich

Weitere Informationen zur LiDAR-Verarbeitung finden Sie unter Lidar Toolbox und Computer Vision Toolbox™.

Beispiele und Erläuterungen

Software-Referenz

Siehe auch: Automated Driving Toolbox™, Navigation Toolbox™, Robotics System Toolbox™, MATLAB und Simulink für automatisierte Fahrsysteme, MATLAB und Simulink für Robotik und autonome Systeme, Computer Vision, Drohnenvermessung