GPU Coder

Generierung von CUDA-Code für NVIDIA-Grafikkarten

GPU Coder™ generiert aus MATLAB^®-Code und Simulink^®-Modellen optimierten CUDA^®-Code. Der generierte Code enthält CUDA-Kernels zur Parallelisierung von Teilen Ihrer Deep Learning-, Embedded Vision- und Signalverarbeitungsalgorithmen. Für Hochleistungsanwendungen ruft der generierte Code optimierte NVIDIA^® CUDA-Bibliotheken wie TensorRT™, cuDNN, cuFFT, cuSolver und cuBLAS auf. Der generierte Code lässt sich in Form von Quellcode und statischen oder dynamischen Bibliotheken in Ihr Projekt einbinden und kann für Desktops, Server und in NVIDIA Jetson™, NVIDIA DRIVE™ und andere Plattformen eingebettete Grafikprozessoren kompiliert werden. Sie können den generierten CUDA-Code in MATLAB verwenden, um Deep-Learning-Netze und andere berechnungsintensive Anteile Ihres Algorithmus zu beschleunigen. Mit GPU Coder lässt sich außerdem selbst geschriebener CUDA-Code in Ihre Algorithmen und den neu generierten Code integrieren.

Bei Verwendung von GPU Coder mit Embedded Coder^® kann das numerische Verhalten des generierten Codes durch SIL- und PIL-Tests (Software-in-the-Loop bzw. Processor-in-the-Loop) geprüft werden.

Jetzt beginnen:

Generierung von schnellem, flexiblem CUDA-Code
CUDA-Codegenerierung aus Simulink-Modellen
CUDA-Codegenerierung aus Deep-Learning-Netzen
Optimierung von generiertem Code
Erstellen von Prototypen auf Hardware
Beschleunigen von Algorithmen

Was ist ein GPU Coder?

Generierung von schnellem, flexiblem CUDA-Code

Generierung von optimiertem CUDA-Code. Lizenzgebührenfreie Bereitstellung von Code.

Lizenzgebührenfreie Bereitstellung von Algorithmen

Kompilieren Sie Ihren generierten Code und führen Sie ihn auf gängigen NVIDIA-GPUs aus – von Desktopsystemen über Rechenzentren bis hin zu Embedded Hardware. Der generierte Code ist lizenzgebührenfrei – stellen Sie ihn in kommerziellen Anwendungen Ihren Kunden kostenlos zur Verfügung.

Generieren von CUDA-Code für einen Nebelkorrektur-Algorithmus (2:22)

GPU-Codegenerierung: Das Mandelbrot-Set

Galerie erkunden (2 Bilder)

Erfolgsberichte zu GPU Coder

Erfahren Sie, wie Ingenieure und Wissenschaftler zahlreicher unterschiedlicher Branchen GPU Coder zur Generierung von CUDA-Code für ihre Anwendungen nutzen.

Drass stellt maritimes optisches Tracking- und Hinderniserkennungssystem mit YOLO v2-Netzwerk in Visual Studio-Anwendung auf NVIDIA-Grafikkarten bereit

Airbus entwickelt einen Demonstrator-Prototypen für die Flugzeuginspektion, der auf NVIDIA Jetson TX2 läuft, um die Erkennung von Fehlern zu automatisieren

Airbus testet Prototypen auf NVIDIA Jetson TX2 zur automatischen Erkennung von Fehlern.

Codegenerierung für unterstützte Toolboxen und Funktionen

GPU Coder generiert Code aus einer großen Auswahl von MATLAB-Sprachfunktionen, die von Entwicklungsingenieuren zum Entwurf von Algorithmen als Komponenten größerer Systeme verwendet werden. Dies umfasst mehr als 390 Operatoren und Funktionen aus MATLAB und zugehörigen Toolboxen.

Unterstützte Toolboxen und Funktionen

Unterstützung zu MATLAB-Sprachfunktionen

MATLAB-Sprach- und Toolbox-Unterstützung für die Codegenerierung.

Einbinden von Legacy-Code

Mithilfe von Optionen zur Integration von vorhandenem Code können Sie bewährten oder stark optimierten CUDA-Code zum Testen in Ihre MATLAB-Algorithmen integrieren und denselben CUDA-Code anschliessend aus dem neu generierten Code heraus aufrufen.

Integration von Legacy-Code

Einbinden von vorhandenem CUDA-Code in neu erzeugten Code.

CUDA-Codegenerierung aus Simulink-Modellen

Erstellen Sie Modelle in Simulink und erzeugen Sie optimierten CUDA-Code.

Ausführung von Simulationen und Generierung von optimiertem Code für NVIDIA GPUs

Bei Verwendung mit Simulink Coder™ beschleunigt GPU Coder berechnungsintensive Teile von MATLAB-Funktionsblöcken in Ihren Simulink-Modellen auf NVIDIA-GPUs. Aus dem Simulink-Modell lässt sich optimierter CUDA-Code generieren und in Ihrer Zielanwendung für den NVIDIA-Grafikprozessor bereitstellen.

Simulationsbeschleunigung mit dem GPU Coder

Codegenerierung aus Simulink-Modellen mit dem GPU Coder

Speziell für NVIDIA Embedded Boards

Simulink-Modell einer in einer GPU ausgeführten Sobel-Kantenerkennung.

Bereitstellung von End-to-End-Algorithmen für Deep Learning

Verwenden verschiedenster trainierter Deep Learning-Netze (einschließlich ResNet-50, SegNet und LSTM) aus der Deep Learning Toolbox™ in Ihrem Simulink-Modell und Bereitstellen in NVIDIA-GPUs. Code für die Vor- und Nachverarbeitung kann zusammen mit den trainierten Netzen erzeugt werden, um vollständige Algorithmen zu erhalten.

Unterstützte Netze und Schichten

Deep Learning in Simulink mit dem MATLAB Funktionsblock

Deep Learning in Simulink für NVDIA-Grafikkarten: Erzeugen Sie CUDA Code mit GPU Coder

Signalprotokollierung, Parameterjustierung und numerische Verifizierung des Code-Verhaltens

Zusammen mit dem Simulink Coder kann der GPU Coder in Echtzeit mit Simulationen im externem Modus Signale protokollieren und Parameter justieren. Ausführen von SIL- und PIL-Tests (Software-in-the-Loop bzw. Processor-in-the-Loop) mit Embedded Coder und GPU Coder, zur numerischen Bestätigung, dass der generierte Code das Simulationsverhalten erfüllt.

Parameterjustierung und Signalüberwachung mit externem Modus

Numerische Äquivalenzbetrachtung

Deep Learning in Simulink für NVDIA-Grafikkarten: Klassifizierung von EKG-Signalen

CUDA-Codegenerierung aus Deep-Learning-Netzen

Bereitstellung trainierter Deep Learning-Netze mit der Deep Learning Toolbox.

Bereitstellung von End-to-End-Algorithmen für Deep Learning

Bereitstellung verschiedenster trainierter Deep Learning-Netze (einschließlich ResNet-50, SegNet und LSTM) aus der Deep Learning Toolbox™ in NVIDIA-GPUs. Verwenden vordefinierter Deep Learning-Schichten oder Festlegen eigener Schichten für Ihre spezifische Anwendung. Code für die Vor- und Nachverarbeitung kann zusammen mit den trainierten Netzen erzeugt werden, um vollständige Algorithmen zu erhalten.

Unterstützte Netze und Schichten

Echtzeit-Objekterkennung mit YOLO v2 und GPU Coder (4:24)

Codegenerierung zur Objekterkennung mit YOLO v3 Deep Learning

Generierung für semantisches Segmentierungsnetz mit U-net

CUDA-Codegenerierung für ein Keras-TensorFlow-Modell

Generierung von optimiertem Code für Inferenz

Verglichen mit anderen Deep Learning-Lösungen erzeugt GPU Coder Code mit kleinerem Speicherbedarf, da nur der für die Inferenz mit Ihrem konkreten Algorithmus benötigte Code generiert wird. Der generierte Code ruft optimierte Bibliotheken wie TensorRT und cuDNN auf.

Optimierung einer Fahrspurerkennung mit GPU Coder

Einzelbild-Inferenz mit VGG-16 in einer Titan V-GPU mittels cuDNN.

Zusätzliche Optimierung mit TensorRT

Generieren von Code zur Integration mit NVIDIA TensorRT, einer hochleistungsfähigen Optimierungs- und Laufzeitumgebung für Deep Learning-Inferenz. Wenn Sie dabei INT8- oder FP16-Datentypen nutzen, erzielen Sie zusätzliche Leistungssteigerungen gegenüber dem standardmäßigen FP32-Datenyp.

Fußgängererkennung auf NVIDIA-Grafikkarten mit TensorRT (1:34)

Deep Learning-Vorhersagen mit NVIDIA TensorRT

Deep Learning auf Jetson AGX Xavier mit MATLAB, GPU Coder und TensorRT (24:40)

Nutzung von MATLAB und TensorRT in NVIDIA-GPUs

Höhere Ausführungsgeschwindigkeit mit TensorRT und INT8-Datentypen.

Quantisierung von Deep Learning

Quantisieren Sie Ihr Deep Learning-Netz, um den Speicherbedarf zu senken und die Inferenzleistung zu steigern. Analysieren und visualisieren Sie mit der Deep Network Quantizer-App den Kompromiss zwischen höherer Leistung und Inferenz-Genauigkeit.

INT8-Quantisierung mit Deep Network Quantizer

Quantisierung tiefer neuronaler Netze

Was bedeutet INT8-Quantisierung und weshalb ist sie beim Deep Learning mit neuronalen Netzwerken so beliebt?

Quantisierung und Bereitstellung tiefer Netze mit der Deep Learning Toolbox Model Quantization Library

Optimierung von generiertem Code

GPU Coder optimiert automatisch den generierten Code. Verwenden Sie Entwicklungsvorlagen zur weiteren Leistungssteigerung.

Minimierung der Datenübertragung zwischen CPU und GPU und Optimierung des Speicherbedarfs

GPU Coder analysiert, identifiziert und partitioniert automatisch Segmente des MATLAB-Codes, um ihn entweder in der CPU oder der GPU auszuführen. Dadurch verringert sich auch die Menge an Datenkopien zwischen CPU und GPU. Verwenden Sie Profiling-Tools, um andere potenzielle Engpässe zu ermitteln.

GPU-Programmierparadigma

Kernel-Erstellung

GPU-Speicherzuweisung und -Speicherbedarfsminimierung

GPU-Ausführungs-Profiling des generierten Codes

Profilberichte zur Ermittlung möglicher Engpässe.

Aufruf optimierter Bibliotheken

Mit GPU Coder generierter Code ruft optimierte NVIDIA CUDA-Bibliotheken wie TensorRT, cuDNN, cuSolver, cuFFT, cuBLAS und Thrust auf. Aus MATLAB Toolbox-Funktionen generierter Code wird nach Möglichkeit immer auf optimierte Bibliotheken abgebildet.

Kernels aus Bibliotheksaufrufen

NVIDIA TensorRT

NVIDIA cuDNN

NVIDIA cuFFT

Generierter Code, der Funktionen in der optimierten CUDA-Bibliothek cuFFT aufruft.

Verwendung von Entwicklungsvorlagen zur weiteren Beschleunigung

Entwicklungsvorlagen wie Stencil-Verarbeitung greifen auf gemeinsamen Speicher zu, um Bandbreite zu sparen. Sie werden automatisch bei Verwendung bestimmter Funktionen wie Faltung angewandt. Mit bestimmten Paradigmen lassen sie sich auch manuell aufrufen.

Entwicklungsvorlagen

Stencil-Verarbeitung in der GPU

Die Entwicklungsvorlage für Stencil-Verarbeitung.

Erstellen von Prototypen auf Hardware

Mithilfe automatischer Konvertierung Ihres Algorithmus in CUDA-Code gelingt Ihnen die umgehende Hardware- Implementierung.

Prototyping auf den NVIDIA Jetson- und DRIVE-Plattformen

Automatisieren Sie die Kreuzkompilierung und Bereitstellung von generiertem Code auf NVIDIA Jetson- und DRIVE-Plattformen mit dem GPU Coder Support Package für NVIDIA-GPUs.

Unterstützung für NVIDIA Tegra durch GPU Coder

Unterstützung für NVIDIA DRIVE durch GPU Coder

Prototypenentwicklung und Bereitstellung mit GPU Coder auf NVIDIA Drive, Jetson (2:54)

Semantische Segmentierung auf NVIDIA DRIVE

Prototypenerstellung auf der NVIDIA Jetson-Plattform.

Zugriff auf Peripheriegeräte und Sensoren über MATLAB und generierten Code

Fernkommunikation mit dem NVIDIA-Zielsystem von MATLAB, um Daten von Webcams und anderen unterstützten Peripheriegeräten zur ersten Prototypenentwicklung abzurufen. Stellen Sie Ihren Algorithmus in Kombination mit Peripherieschnittstellen-Code auf einem Board zur eigenständigen Ausführung bereit.

Sobel-Kantenerkennung mit Webcam auf NVIDIA Jetson

Bereitstellung und Klassifikation von Webcam-Bildern auf NVIDIA Jetson TX2

Zugriff auf Peripheriegeräte und Sensoren über MATLAB und generierten Code.

Übergang vom Prototyp zur Produktion

Verwenden Sie GPU Coder mit Embedded Coder, um Ihren MATLAB-Code interaktiv und parallel mit generiertem CUDA-Code zu verfolgen. Überprüfen Sie das numerische Verhalten des generierten Codes bei der Ausführung auf Hardware durch SIL- (Software-in-the-Loop) und PIL-Tests (Processor-in-the-Loop).

Rückverfolgung von MATLAB-Code und generiertem CUDA-Code

Überprüfung des generierten Codes auf Korrektheit

Processor-in-the-Loop-Ausführung mit GPU Coder

Ausführungszeit-Profiling für PIL

Interaktiver Rückverfolgbarkeitsbericht mithilfe von GPU Coder mit Embedded Coder.

Beschleunigen von Algorithmen

Erzeugen Sie CUDA-Code und kompilieren Sie ihn für die Nutzung in MATLAB und Simulink.

Beschleunigung von Algorithmen mit GPUs in MATLAB

Rufen Sie generierten CUDA-Code als MEX-Funktion aus Ihrem MATLAB-Code heraus auf, um die Ausführung zu beschleunigen. Die Laufzeitvorteile variieren dabei jedoch je nach Art Ihres MATLAB-Codes. Mittels Profiling von generierten MEX-Funktionen können Sie Engpässe identifizieren und gezielt optimieren.

GPU-Codegenerierung: Das Mandelbrot-Set

GPU-Ausführungs-Profiling des generierten Codes

Beschleunigen von Radarsimulationen auf NVIDIA-GPUs mit GPU Coder (3:24)

Generieren von CUDA-Code für einen Nebelkorrektur-Algorithmus

Beschleunigung von Simulink-Simulationen mittels NVIDIA-GPUs

Bei Verwendung mit Simulink Coder beschleunigt GPU Coder berechnungsintensive Teile von MATLAB Function-Blöcken in Ihren Simulink-Modellen auf NVIDIA-GPUs.

Simulationsbeschleunigung mit GPU Coder

Produktressourcen:

Dokumentation Funktionen Technische Artikel System-Voraussetzungen Versionshinweise Videos und Webinare Beispiele Prerequisite Products Hardware-Unterstützung

GPU Coder

GPU Coder

Generierung von CUDA-Code für NVIDIA-Grafikkarten

Jetzt beginnen:

Generierung von schnellem, flexiblem CUDA-Code

Lizenzgebührenfreie Bereitstellung von Algorithmen

Erfolgsberichte zu GPU Coder

Codegenerierung für unterstützte Toolboxen und Funktionen

Einbinden von Legacy-Code

CUDA-Codegenerierung aus Simulink-Modellen

Ausführung von Simulationen und Generierung von optimiertem Code für NVIDIA GPUs

Bereitstellung von End-to-End-Algorithmen für Deep Learning

Signalprotokollierung, Parameterjustierung und numerische Verifizierung des Code-Verhaltens

CUDA-Codegenerierung aus Deep-Learning-Netzen

Bereitstellung von End-to-End-Algorithmen für Deep Learning

Generierung von optimiertem Code für Inferenz

Zusätzliche Optimierung mit TensorRT

Quantisierung von Deep Learning

Optimierung von generiertem Code

Minimierung der Datenübertragung zwischen CPU und GPU und Optimierung des Speicherbedarfs

Aufruf optimierter Bibliotheken

Verwendung von Entwicklungsvorlagen zur weiteren Beschleunigung

Erstellen von Prototypen auf Hardware

Prototyping auf den NVIDIA Jetson- und DRIVE-Plattformen

Zugriff auf Peripheriegeräte und Sensoren über MATLAB und generierten Code

Übergang vom Prototyp zur Produktion

Beschleunigen von Algorithmen

Beschleunigung von Algorithmen mit GPUs in MATLAB

Beschleunigung von Simulink-Simulationen mittels NVIDIA-GPUs

Produktressourcen:

Interessiert an GPU Coder?