Durch den zunehmenden Einsatz von KI-Modellen in technischen Systemen, insbesondere sicherheitskritischen Anwendungen, muss deren Zuverlässigkeit und Robustheit sichergestellt werden. Die AI Verification Library for Deep Learning Toolbox ermöglicht es, KI-Modelle umfassend zu bewerten und systematisch zu testen.
Mit der AI Verification Library haben Sie folgende Optionen:
- Verifizieren von Eigenschaften Ihres KI-Modells, beispielsweise der Robustheit in Bezug auf Adversarial Examples (feindliche Beispiele)
- Schätzen der Sensitivität Ihrer KI-Modellprognosen bei gestörten Eingaben
- Erstellen eines Verteilungsdiskriminators, der Daten in solche inner- bzw. außerhalb der Verteilung aufteilt, um sie zur Laufzeit zu überwachen
- Bereitstellen eines Laufzeit-Monitoringsystem, das die Performance von KI-Modellen überwacht
- Ansehen einer Fallstudie zur Verifikation eines luftgestützten Deep-Learning-Systems
Einführung in die KI-Verifikation
Klassische Verifikations- und Validierungsworkflows (V&V), wie etwa das V-Modell, stoßen bei KI-Modellen häufig an ihre Grenzen. Die KI-Verifikation umfasst eine kompromisslose Testphase, um das beabsichtigte Verhalten sicherzustellen und unbeabsichtigtes Verhalten zu vermeiden. Anpassungen wie der W-förmige Entwicklungsprozess erhöhen Robustheit und Sicherheit, indem sie adversarielle Eingaben, die Erkennung von Daten außerhalb der Trainingsverteilung (Out-of-Distribution), Unsicherheitsabschätzung und die Verifikation von Netzwerkeigenschaften berücksichtigen.
Verifizieren eines luftgestützten Deep-Learning-Systems (Fallstudie)
Erkunden Sie eine Fallstudie, um ein luftgestütztes Deep-Learning-System in Übereinstimmung mit Standards der Luft- und Raumfahrt wie DO-178C, ARP4754A sowie künftigen EASA- und FAA-Richtlinien zu verifizieren. Diese Fallstudie bietet einen umfassenden Blick auf die notwendigen Schritte zur vollständigen Einhaltung von Industriestandards und -richtlinien für ein Deep-Learning-System.
Verifizieren der Robustheit tiefer neuronaler Netze zur Klassifizierung
Steigern Sie die Robustheit Ihres Netzes gegenüber Gegenbeispielen (leicht veränderte Eingaben zum Irreführen des Netzes) mithilfe formaler Methoden. Dieser Ansatz ermöglicht das Testen einer unbegrenzten Sammlung von Eingaben, den Nachweis der Prognosekonsistenz trotz Störungen und das Lenken von Trainingsverbesserungen, um Zuverlässigkeit und Genauigkeit des Netzes zu steigern.
Abschätzen der Ausgabegrenzen des neuronalen Netzes zur Regression
Schätzen Sie die obere Grenze der Netzausgabe bezüglich vorgegebener Eingabebereiche mithilfe formaler Methoden. Damit können Sie Einblick in die potenziellen Netzausgaben bei bestimmten Eingabestörungen erhalten, um zuverlässige Leistung in Szenarien wie Regelungssystemen, Signalverarbeitung und vielen anderen zu ermöglichen.
Erstellen sicherer Deep-Learning-Systeme mit Laufzeitüberwachung
Binden Sie Laufzeitüberwachung in die Erkennung von Daten außerhalb der Verteilung ein, um sichere Deep-Learning-Systeme zu entwickeln. Die kontinuierliche Auswertung dahingehend, ob die Eingangsdaten mit den Trainingsdaten übereinstimmen, kann bei der Entscheidung helfen, ob die Netzausgabe zuverlässig ist oder ob sie zur sicheren Bearbeitung weitergeleitet werden muss. Dies verbessert Sicherheit und Zuverlässigkeit des Systems.
Einsatz von Erklärbarkeitstechniken
Vollziehen Sie den Entscheidungsprozess Ihres Netzes durch den Einsatz von Erklärbarkeitstechniken nach. Nutzen Sie Modelle wie den D-RISE-Algorithmus (Detektor-randomisiertes Eingabe-Sampling zur Erklärung), um Heraushebungskarten für Objektdetektoren zu berechnen und die konkreten Bereiche in den Eingabedaten mit dem größten Einfluss auf die Netzprognosen zu visualisieren.
Integration von Deep Learning mit Randbedingungen
Deep Learning mit Randbedingungen ist ein komplexer Ansatz für das Trainieren tiefer neuronaler Netze durch das Einbeziehen domänenspezifischer Einschränkungen in den Lernprozess. Durch das Einbinden dieser Randbedingungen in das Erstellen und Trainieren neuronaler Netze können Sie das erwünschte Verhalten in sicherheitskritischen Szenarien garantieren, wo solche Zusicherungen von größter Wichtigkeit sind.