Audio Toolbox

 

Audio Toolbox

Entwickeln und Analysieren von Sprach-, Akustik- und Audioverarbeitungssystemen

Jetzt beginnen:

Streaming-Erfassung und Wiedergabe mit Audio-Schnittstellen

Stellen Sie Verbindungen mit standardmäßigen Laptop- und Desktop-Soundkarten her, um Mehrkanal-Audio mit kurzen Latenzzeiten zwischen beliebigen Kombinationen von Dateien und Live-Eingaben/-Ausgaben zu streamen.

Verbindungen mit standardmäßigen Audiotreibern

Lesen und schreiben Sie Audiodaten von oder auf Soundkarten (etwa über USB oder Thunderbolt™) mithilfe standardmäßiger Audiotreiber (gemäß ASIO, WASAPI, CoreAudio und ALSA) auf Windows®-, Mac®- und Linux®-Betriebssystemen.

Beispiele für Mehrkanal-Soundkarten.

Mehrkanal-Audio-Streaming mit kurzen Latenzzeiten

Verarbeiten Sie Live-Audio in MATLAB mit Round-Trip-Latenzzeiten im Millisekundenbereich.

Live-Roheingabedaten von einem Vierkanal-Mikrofon-Array.

Machine Learning und Deep Learning

Sie können Audio- und Sprachdatensätze kennzeichnen, erweitern, erstellen und einlesen, Merkmale extrahieren sowie Zeit-Frequenz-Transformationen berechnen. Entwickeln Sie außerdem Audio- und Sprachanalysen mit der Statistics and Machine Learning Toolbox™, der Deep Learning Toolbox™ oder anderen Machine-Learning-Tools.

Vortrainierte Deep-Learning-Modelle

Verwenden Sie Deep Learning, um komplexe Signalverarbeitungsaufgaben durchzuführen und extrahieren Sie Audioeinbettungen mit einer einzelnen Codezeile. Greifen Sie auf etablierte vortrainierte Netze wie YAMNet, VGGish, CREPE und OpenL3 zu und wenden Sie sie mithilfe vorkonfigurierter Merkmalsextraktionsfunktionen an.

Wortwolke, welche die von classifySound identifizierten Tontypen in einem bestimmten Audiosegment anzeigt.

Merkmalsextraktion zu Audio-, Sprach- und Akustikzwecken

Transformieren Sie Signale in Zeit-Frequenz-Darstellungen wie Mel, Bark und ERB-Spektrogramme. Berechnen Sie Cepstral-Koeffizienten wie MFCC und GTCC sowie Skalarmerkmale wie Tonhöhe, Harmonik und spektrale Deskriptoren. Extrahieren Sie allgemeine Merkmale und Signaleinbettungen mithilfe vortrainierter Deep-Learning-Modelle (VGGish, OpenL3) und dem i-Vektor-System. Beschleunigen Sie die Merkmalsextraktion mit kompatiblen Grafikkarten.

Live-Mel-Spektrogramm von Sprachbefehlen.

Machine-Learning-Modelle und -Trainingsrezepturen

Trainieren Sie hochmodernes Machine Learning mit Ihren Audiodatensätzen. Verwenden Sie etablierte Systeme von Modellen wie i-Vektoren bei Anwendungen wie beispielsweise Identifikation und Verifikation von Sprechern. Lernen Sie von funktionierenden Beispielen, wie Sie fortschrittliche neuronale Netze sowie Ebenen für Audio-, Sprach- und Akustikanwendungen entwerfen und trainieren.

Wellenform einer Sprachaufzeichnung mit von verschiedenen Sprechern geäußerten, verschachtelten Segmenten und farbliche Hervorhebung des in der jeweils erkannten Sprachregion aktiven Sprechers.

Ergebnisse von Diarisierungen zu fünf verschiedenen Sprechern, die durch die Anwendung von x-Vektoren auf das Sprachsignal erhalten wurden.

Importieren, Beschriften und Vorverarbeiten von Audiodatensätzen

Lesen Sie große Sammlungen von Audioaufnahmen ein, partitionieren Sie sie und verarbeiten Sie sie vor. Beschriften Sie Audiosignale manuell in Apps. Ermitteln und segmentieren Sie automatisch Zonen von Interesse mithilfe vortrainierter Machine-Learning-Modelle.

Kennzeichnungen für Bereiche von Interesse in der Audio Labeler-App.

Kennzeichnungen für Bereiche von Interesse in der Audio Labeler-App.

Erweitern und synthetisieren Sie Audio- und Sprachdatensätze

Richten Sie randomisierte Pipelines zur Datenverstärkung ein, indem Sie Kombinationen aus Tonhöhenverschiebung, Zeitdehnung und anderen Audioverarbeitungseffekten verwenden. Erstellen Sie synthetische Sprachaufzeichnungen aus Text mit Hilfe von Cloud-basierten Text-zu-Sprache-Diensten.

Formantenschätzung für klangfarbeninvariante Tonhöhenverschiebung.

Audioverarbeitungsalgorithmen und -effekte

Generieren Sie Standard-Wellenformen, wenden Sie allgemeine Audioeffekte an und entwickeln Sie Audioverarbeitungssysteme mit dynamischer Parameteroptimierung und Live-Visualisierung.

Audiofilter und Equalizer

Modellieren Sie parametrische EQ-Filter, grafische EQ-Filter, Shelving-Filter und Filter mit variabler Flankensteilheit und wenden Sie diese an. Entwickeln und simulieren Sie digitale Frequenzweichen, Oktaven- und Teiloktavenfilter.

Interaktive Optimierung einer Dreiband-Frequenzweiche mit Live-Visualisierung.

Steuerung des Dynamikumfangs und Effekte

Modellieren Sie Algorithmen für die Dynamikbearbeitung, wie Compressor, Limiter, Expander und Noise-Gate, und wenden Sie diese an. Fügen Sie mit rekursiven parametrischen Modellen einen künstlichen Nachhall hinzu.

Interaktive Optimierung der dynamischen Reaktion eines Compressor-Algorithmus.

Systemsimulation mit Blockdiagrammen

Entwickeln und simulieren Sie Systemmodelle mit Bibliotheken von Audio-Verarbeitungsblöcken für Simulink®. Optimieren Sie Parameter und visualisieren Sie das Systemverhalten mithilfe interaktiver Steuerelemente und dynamischer Diagramme.

Zusammengestellte Visualisierung eines Simulink-Modells mit Blöcken und Teilsystemen in verschiedenen Ebenen der Modelhierarchie, einem Diagramm einer Filterreaktion und einer Benutzeroberfläche mit interaktiven Skalen zur Feinabstimmung der Parameterwerte.

Detail eines Multiband-Kompressionsmodells mit dynamischem Bereich in Simulink.

Echtzeit-Audio-Prototyping

Validieren Sie Audioverarbeitungsalgorithmen mit interaktiven Echtzeit-Hörtests in MATLAB.

Live-Parameteroptimierung über Benutzeroberflächen

Automatische Erstellung von Benutzeroberflächen für optimierbare Parameter von Audioverarbeitungsalgorithmen. Testen Sie einzelne Algorithmen mit der Audio Test Bench-App und optimieren Sie Parameter in laufenden Programmen mit automatisch generierten interaktiven Steuerelementen.

Interaktive Optimierung eines benutzerdefinierten parametrischen Dreiband-EQ-Filters mit Audio Test Bench.

MIDI-Konnektivität für die Parametersteuerung und den Nachrichtenaustausch

Ändern Sie interaktiv Parameter von MATLAB-Algorithmen mithilfe von MIDI-Steuerungsoberflächen. Steuern Sie externe Hardware, oder reagieren Sie auf Ereignisse, indem Sie MIDI-Nachrichten jeder Art senden und empfangen.

Blockdiagramm mit MIDI-Tastatursteuerung, die MIDI-Nachrichten an eine MATLAB-Sitzung sendet, die wiederum die Nachrichten verarbeitet, Notenwellenformen synthetisiert und die generierten Abtastraten über einen Lautsprecher wiedergibt.

In MATLAB geschriebener MIDI-Nachrichten- und Audiosignal-Fluss für einen Musikinstrument-Synthesizer.

Akustische Messungen und Raumklang

Messen Sie Systemreaktionen, analysieren und messen Sie Signale. Entwickeln Sie dazu Systeme für die räumliche Audioverarbeitung.

Auf Standards basierende Messungen und Analysen

Wenden Sie Schalldruckpegel (SPL)- und Lautstärkemessungen auf aufgenommene Signale oder direkt übertragene Signale an. Analysieren Sie Signale mit Oktaven- und Teiloktavenfiltern. Wenden Sie standardkonforme A-, C- oder K-Bewertungsfilter auf Rohaufnahmen an. Messen Sie akustische Schärfe, Rauigkeit und Schwankungsstärke.

Visualisierung verschiedener SPL-Messungen in Zwei-Drittel-Oktav-Bändern.

Messung von Impulsantworten

Messen Sie Impulsantworten und Frequenzgänge von Akustik- und Audiosystemen mit Maximalfolgen (Maximum-Length Sequences, MLS) und exponentiell geschwungenen Sinusoiden (ESS). Beginnen Sie mit der Impulse Response Measurer-App. Automatisieren Sie Messungen, indem Sie Anregungssignale programmatisch generieren und Systemreaktionen schätzen.

Erfassung der Impulse Response Measurer–App, die eine geschätzte Antwort im Zeit- und im Frequenz-Bereich, ein Menü mit einer Liste anderer, zur grafischen Darstellung verfügbarer, geschätzter Impulsantworten und andere interaktive, in der App verfügbare Bedienelemente anzeigt.

 Impulse Response Measurer-App.

Effiziente Faltung mit Raumimpulsantworten

Falten Sie Signale mit langen Impulsantworten effizient, indem Sie Overlap-and-Add- oder Overlap-and-Save-Implementierungen für den Frequenzbereich nutzen. Finden Sie Kompromisse zwischen Latenzzeiten und Berechnungsgeschwindigkeit mithilfe einer automatischen Impulsantwort-Partitionierung.

MATLAB-Abbildung, die mithilfe einer Logarithmusskala für die Y-Achse den Absolutwert einer relativ langen Impulsabtwort im Zeitverlauf zeigt. Im Diagramm sieht man, dass die normalisierten Absolutwerte nach fünf Sekunden noch immer kleiner als ein Tausendstel der Erstamplitude werden müssen.

Impulsantwort von fünf Sekunden oder mehr – 220.000 Abtastwerte bei 44.100 Hz.

Räumliches Audio

Codieren und decodieren Sie unterschiedliche Ambisonic-Formate. Interpolieren Sie räumlich abgetastete Außenohrübertragungsfunktionen (Head-Related Transfer Functions, HRTF).

Die Abbildung zeigt ein Mannequin mit zwei Ohren, drei Lautsprecher an den Eckpunkten eines Kugelausschnitts, der drei Punkte darstellt, an denen die Außenohrübertragungsfunktion (Head-Related Transfer Functions, HRTF) bekannt ist, und einen vierten Punkt an einer zufälligen Position innerhalb des Ausschnitts, an dem die Außenohrübertragungsfunktion abgeschätzt werden muss.

Beispiel für die gewünschte Schallquellenposition und nächstgelegene Winkel, aus denen HRTF-Messungen verfügbar sind.

Generieren und hosten Sie Audio-Plugins

Erstellen Sie Prototypen für in MATLAB geschriebene Audioverarbeitungsalgorithmen als standardmäßige Audio-Plugins; verwenden Sie externe Audio-Plugins als reguläre MATLAB-Objekte.

Generierung von Audio-Plugins

Generieren Sie VST-Plug-ins, AU-Plug-ins und eigenständige ausführbare Plug-ins direkt aus MATLAB-Code, ohne dass eine manuelle Gestaltung von Benutzeroberflächen erforderlich ist. Für fortgeschritteneres Plugin-Prototyping generieren Sie fertige JUCE C++ Projekte (erfordert MATLAB Coder™).

Benutzeroberfläche eines mit MATLAB generierten Audio-Plugins, wie es bei Verwendung im REAPER, einer bekannten digitalen Audio-Workstation, zu sehen ist. Die Benutzeroberfläche beinhaltet verschiedene, in einem 3×3-Raster angeordnete Schieberegler und Drehschalter.

Beispiel für einen parametrischen Multiband-EQ-Filter: Aus MATLAB-Code generiertes VST-Plugin mit Ausführung in REAPER.

Hosting externer Audio-Plugins

Verwenden Sie externe VST- und AU-Plugins als reguläre MATLAB-Objekte. Ändern Sie Plugin-Parameter und verarbeiten Sie MATLAB-Arrays programmatisch. Automatisieren Sie alternativ Zuordnungen von Plugin-Parametern zu Benutzeroberflächen und MIDI-Steuerelementen. Hosten Sie aus Ihrem MATLAB-Code generierte Plugins, um die Effizienz der Ausführung zu erhöhen.

Links ist die Benutzeroberfläche eines handelsüblichen Audio-Plugins zur Audio-Geräuschunterdrückung mit großem Drehschalter zur Einstellung des Maßes an Geräuschunterdrückung. Rechts zeigen ein paar Codezeilen, wie dasselbe Plugin importiert und programmatisch als MATLAB-Objekt verwendet werden kann.

Beispiel für ein externes VST-Plugin für die Audio-Geräuschunterdrückung (Accusonus ERA-N) und programmatische Schnittstelle in MATLAB.

Eingebettete Ziel- und Echtzeit-Audiosysteme

Verwenden Sie die Codegenerierung, um Audioverarbeitungsentwürfe auf Softwaregeräten zu implementieren und den Zugang zu Audioschnittstellen zu automatisieren.

Codegenerierung für CPU- und GPU-Ziele

Generieren Sie mit MathWorks® Coder-Produkten C und C++ Quellcode aus als Toolbox-Funktionen, -Objekte und Blöcke bereitgestellten Signalverarbeitungs- und Machine-Learning-Algorithmen. Generieren Sie CUDA-Quellcode aus ausgewählten Merkmalsextraktionsfunktionen wie mfcc und melSpectrogram.

Diagramm, das die verstrichene Zeit für jeden Vorhersagezyklus eines Systems zur Erkennung von Sprachbefehlen meldet und anzeigt, dass die verwendete Zeit deutlich unter dem verfügbaren Zeitbudget von 50 liegt.

Dynamische Profilerstellung zur optimierten Implementierung eines ARM Cortex-A-Prozessors eines auf Deep Learning basierenden Systems zur Erkennung von Sprachbefehlen

Kostengünstige und mobile Geräte

Erstellen Sie Prototypen für Audioverarbeitungsdesigns auf Raspberry Pi™ mithilfe platineneigener oder externer Mehrkanal-Audioschnittstellen. Erstellen Sie interaktive Steuerbereiche als mobile Apps für Android®- oder iOS-Geräte.

Foto einer Raspberry Pi-Platine.

Raspberry Pi 3-Platine zur Entwurfsprototypisierung.

Systeme ohne Latenz

Erstellen Sie Prototypen für Audioverarbeitungsdesigns mit Ein- und Ausgaben aus einer einzigen Abtastung für die adaptive Rauschunterdrückung, die Validierung von Hörgeräten oder andere Anwendungen, für die die Round-Trip-DSP-Latenzzeiten minimal sein müssen. Automatische Übertragung direkt aus Simulink Modellen auf Speedgoat Audiohardware und ST Discovery Platinen.