Was ist eine optische Inspektion?

Die optische Inspektion oder Sichtprüfung dient der Feststellung von Fehlern oder Beschädigungen der Oberfläche. Üblicherweise findet sie in verschiedenen Branchen Anwendung, z. B. im verarbeitenden Gewerbe, im Bauwesen und in der Luft- und Raumfahrt.

Automatisierte Sichtprüfungssysteme

In der Fertigungsindustrie erkennen automatisierte Sichtprüfungssysteme mit hochauflösenden Kameras zuverlässig mikro- oder sogar nanometergroße Mängel, die für das menschliche Auge nur schwer zu erkennen sind. Allerdings kommt es manchmal zu Fehldetektionen, wenn ein unbekannter Defekt oder eine Vielzahl von Mängeln vorhanden ist und damit eine große Herausforderung darstellt. Daher spielt Software mit Deep-Learning-Technologien wie MATLAB^® und die Computer Vision Toolbox™Automated Visual Inspection Library eine immer wichtigere Rolle.

Entwicklung eines automatisierten Sichtprüfungssystems mit MATLAB und der Computer Vision Toolbox

Mit MATLAB und der Computer Vision Toolbox Automated Visual Inspection Library lassen sich Sichtprüfungssysteme entwickeln. MATLAB unterstützt den gesamten Workflow: von der Bilderfassung über die Entwicklung von Algorithmen bis hin zu deren Bereitstellung. Interaktive Anwendungen in MATLAB ermöglichen es Ingenieuren, Algorithmen zu erforschen, zu iterieren und zu automatisieren, um so die Produktivität zu steigern. Ingenieure nutzen diese Techniken für zahlreiche industrielle Anwendungen.

Erfolgsberichte: Automatisierte Sichtprüfung in der Automobilbranche und der Luft- und Raumfahrtindustrie

So prüfte beispielsweise der Automobilzulieferer Musashi Seimitsu Industry etwa 1,3 Millionen Teile pro Monat durch manuelle Sichtprüfung. Mithilfe von MATLAB wurden auf Deep Learning basierende Ansätze zur Erkennung und Lokalisierung verschiedener Anomalieformen entwickelt und ein automatisiertes Sichtprüfungssystem zur Inspektion von Kegelrädern entwickelt. Es wird erwartet, dass das verbesserte Konzept sowohl den Arbeitsaufwand als auch die Kosten des Unternehmens erheblich reduzieren wird.

In ähnlicher Weise hat Airbus ein fehlerresistentes KI-Modell zur Sichtprüfung entwickelt, mit dem automatisch Mängel an mehreren Luftfahrzeugkomponenten erkannt werden können, um sicherzustellen, dass die Flugzeuge des Unternehmens vor ihrer Auslieferung keinerlei Mängel aufweisen. Mithilfe von MATLAB konnten die Airbus-Ingenieure in kürzester Zeit interaktive Algorithmus-Prototypen erstellen und auf Fehler testen.

Der Fehlererkennungsprozess: Datenaufbereitung, KI-Modellierung und Bereitstellung

Der Fehlererkennungsprozess kann in drei wesentliche Schritte unterteilt werden: Datenaufbereitung, KI-Modellierung und Bereitstellung.

Bei der Sichtprüfung sind anomale Bilder manchmal selten oder uneinheitlich. In diesem Fall können Sie einen Anomaliedetektor trainieren, dabei handelt es sich um unüberwachtes Lernen, das nur normale Bilder für das Training benötigt. Wenn es eine ausreichende Anzahl an abnormalen Bildern gibt, sollte das überwachte Lernen funktionieren.

Im folgenden Abschnitt erfahren Sie mehr über die notwendigen Schritte und praktischen MATLAB-Funktionen für Anomalieerkennungsmethoden als unüberwachtes Lernen und Objekterkennung als überwachtes Lernen.

Datenaufbereitung für die Sichtprüfung

Die Daten stammen aus verschiedenen Quellen und sind in der Regel unstrukturiert und mit Rauschen behaftet, was die Aufbereitung und Verwaltung der Daten schwierig und zeitaufwendig macht. Die Vorverarbeitung der Bilder im Datensatz führt zu einer höheren Genauigkeit bei der Erkennung von Anomalien.

Bildvorverarbeitung mit MATLAB

MATLAB verfügt über mehrere Apps zur Unterstützung verschiedener Vorverarbeitungsmethoden. Mit der MATLAB  Registration Estimator-App können Sie beispielsweise verschiedene Algorithmen zur Registrierung von falsch ausgerichteten Bildern untersuchen, die es KI-Modellen erleichtern, Defekte zu erkennen.

MATLAB bietet Automatisierungsfunktionen zur Beschleunigung des Kennzeichnungsprozesses. Beispielsweise kann die Image and Video Labeler-App benutzerdefinierte semantische Segmentierungs- oder Objekterkennungsalgorithmen anwenden, um Regionen oder Objekte in einem Bild oder Videoframe zu kennzeichnen. 

KI-Modellierung für Sichtprüfungen

Merkmale der bei der Sichtprüfung verwendeten Methoden zur Erkennung von Anomalien

Zu den verfügbaren Anomalie-Detektoren für die Sichtprüfung gehören:

• Fully Convolutional Data Description (FCDD)
• FastFlow
• PatchCore

In der folgenden Tabelle sind die Merkmale und die Leistung dieser Methoden zur Anomalieerkennung aufgeführt, die in der Computer Vision Toolbox Automated Visual Inspection Library während des Trainings und der Inferenz verfügbar sind.

Anomalieschwelle und erklärbare KI in der Sichtprüfung

Bei Methoden zur Erkennung von Anomalien trägt die automatische Berechnung des Schwellenwerts für Anomalien dazu bei, vom Menschen abhängige Abweichungen bei der Beurteilung zu vermeiden. Die Evaluierung mit der erklärbaren KI-Ansicht ermöglicht es, die Klassifizierungsergebnisse zu untersuchen und zu interpretieren.

Vortrainierte Netze für das überwachte Lernen bei der Sichtprüfung

Bei der Anwendung von Deep Learning für überwachtes Lernen gibt es zwei Ansätze. Ein Ansatz besteht darin, ein Deep Network komplett neu aufzubauen und zu trainieren. Die Alternative dazu ist die Anpassung und Optimierung eines vorab trainierten neuronalen Netzes, auch bekannt als Transfer Learning. Beide Ansätze sind im Handumdrehen in MATLAB implementiert.

Deep Network Designer-App zum Erstellen, Bearbeiten und Trainieren von Deep-Learning-Netzen

MATLAB ermöglicht mit der Deep Network Designer-App das Erstellen, Visualisieren, Bearbeiten und Trainieren von Deep-Learning-Netzen. Zudem können Sie das Netz analysieren, um sicherzustellen, dass die Netzarchitektur korrekt definiert ist, und Probleme vor dem Training erkennen.

Mithilfe von vortrainierten Netzen aus externen Plattformen können Sie in MATLAB sowohl Netze und Netzwerkarchitekturen aus TensorFlow™, PyTorch^® als auch aus und in das ONNX™-Modellformat importieren. Sie können diese vortrainierten Netze verwenden und für das Transfer Learning bearbeiten.

Objekterfassung zur Erkennung und Lokalisierung von Defekten

Die Objekterkennung wie YOLOX dient der Erkennung, Lokalisierung und Klassifizierung von Fehlern in einem Bild. Das YOLOX-Objekterkennungsmodell ist eine einstufige, ankerfreie Technik, die bei der Erkennung kleiner Objekte hilft, die Modellgröße erheblich reduziert und die Berechnungsgeschwindigkeit im Vergleich zu früheren YOLO-Modellen verbessert. Die exportierten Daten, die mit rechteckigen relevanten Regionen (ROIs) gekennzeichnet sind, werden zum Trainieren von Objekterkennungsmodellen verwendet.

Bereitstellung des Sichtprüfungssystems

Codegenerierung und Framework zur Bereitstellung

Deep-Learning-Modelle müssen in ein größeres System integriert werden, um von Nutzen zu sein. MATLAB bietet ein Framework zur Codegenerierung, mit dem in MATLAB entwickelte Modelle überall bereitgestellt werden können, ohne dass das ursprüngliche Modell neu geschrieben werden muss. So können Sie das Modell in einem vollständigen System testen und bereitstellen

Erste Bereitstellung auf eingebetteten Hardware-Plattformen

Mit MATLAB können Sie Ihre Deep-Learning-Netze auf verschiedenen eingebetteten Hardware-Plattformen wie NVIDIA^®-Grafikkarten, Intel^®- und ARM^®-CPUs sowie Xilinx^®- und Intel-SoCs und -FPGAs einsetzen. Mithilfe von MATLAB lässt sich eingebettete Hardware auf einfache Weise untersuchen und gezielt einsetzen.