Audio Toolbox
Progettazione e analisi di sistemi di elaborazione vocale, acustica e audio
Audio Toolbox™ fornisce strumenti per l’elaborazione audio, l’analisi vocale e la misurazione acustica. Include algoritmi per l’elaborazione di segnali audio (come l’equalizzazione e il time stretching), la stima delle metriche dei segnali acustici (come il volume e l’acutezza) e l’estrazione di feature audio (come MFCC e pitch). Inoltre, fornisce modelli di Machine Learning avanzati, tra cui i-vector, e reti di Deep Learning pre-addestrate, tra cui VGGish e CREPE. Le app del toolbox supportano la verifica di algoritmi in tempo reale, la misurazione della risposta all’impulso e l’etichettatura di segnali. Il toolbox fornisce interfacce streaming per schede audio, come ASIO e CoreAudio, e dispositivi MIDI, nonché strumenti per la generazione e l’hosting di plug-in audio come VST e Audio Unit.
Con Audio Toolbox è possibile importare, etichettare e incrementare set di dati ed estrarre feature per addestrare modelli di Machine Learning e Deep Learning. I modelli pre-addestrati forniti sono applicabili a registrazioni audio per l’analisi semantica di alto livello.
È inoltre possibile prototipare algoritmi di elaborazione audio in tempo reale o effettuare misurazioni acustiche personalizzate eseguendo lo streaming di audio a bassa latenza su e da schede audio. È possibile convalidare l’algoritmo trasformandolo in un plug-in audio per eseguirlo in applicazioni host esterne come workstation audio digitali. L’hosting dei plug-in consente di utilizzare i plug-in audio esterni come oggetti MATLAB® normali.
Inizia ora:
- Acquisizione e riproduzione in streaming con interfacce audio
- Machine Learning e Deep Learning
- Effetti ed algoritmi di elaborazione audio
- Prototipazione audio in tempo reale
- Misurazioni acustiche e audio spaziale
- Generazione dell’hosting di plug-in audio
- Sistemi audio target embedded e in tempo reale
Connettività a driver audio standard
Leggi e scrivi campioni audio da e su schede audio (come USB o Thunderbolt™) utilizzando driver audio standard (come ASIO, WASAPI, CoreAudio e ALSA) nei sistemi operativi Windows®, Mac® e Linux®.
Streaming di audio multicanale a bassa latenza
Elabora audio live in MATLAB con millisecondi di latenza andata e ritorno.
Machine Learning e Deep Learning
Etichetta, incrementa, crea e immetti set di dati audio e della voce, estrai feature e calcola le trasformazioni tempo-frequenza. Sviluppa analisi di audio e della voce con Statistics and Machine Learning Toolbox™, Deep Learning Toolbox™ o altri strumenti di Machine Learning.
Modelli di Deep Learning pre-addestrati
Utilizza il Deep Learning per eseguire attività di elaborazione di segnali complesse ed estrarre gli embedding audio con una sola riga di codice. Accedi a reti pre-addestrate consolidate come YAMNet, VGGish, CREPE e OpenL3 e applicale con l’aiuto di funzioni di estrazione di feature preconfigurate.
Estrazione di feature per audio, linguaggio parlato e acustica
Trasforma i segnali in rappresentazioni tempo-frequenza come spettrogrammi Mel, Bark ed ERB. Calcola coefficienti cepstrali, come MFCC e GTCC, e feature scalari come pitch, armonicità e descrittori spettrali. Estrai feature di alto livello ed embedding dei segnali utilizzando modelli di Deep Learning pre-addestrati (VGGish, OpenL3) e il sistema i-vector. Accelera l’estrazione di feature con schede GPU compatibili.
Modelli di Machine Learning e indicazioni per l’addestramento
Addestra modelli di Machine Learning avanzati con i tuoi set di dati audio. Utilizza sistemi di modelli consolidati, come i-vector, per applicazioni quali il riconoscimento e la verifica del parlante. Scopri con esempi pratici come progettare e addestrare reti neurali e layer avanzati per applicazioni audio, di linguaggio parlato e acustica.
Risultati della diarizzazione ottenuti utilizzando x-vector su un segnale vocale inclusivo di cinque parlanti diversi.
Importazione, annotazione e pre-elaborazione di set di dati audio
Leggi, suddividi e pre-elabora grandi raccolte di registrazioni audio. Annota manualmente segnali audio con le applicazioni. Identifica e segmenta automaticamente le regioni di interesse utilizzando modelli di Machine Learning pre-addestrati.
Etichette per le aree di interesse nell’app Audio Labeler.
Incremento e sintesi di set di dati audio e vocali
Imposta pipeline di incremento dati randomizzate utilizzando combinazioni di pitch shifting, time stretching e altri effetti di elaborazione audio. Crea registrazioni vocali sintetiche dal testo utilizzando servizi di sintesi vocale basati su Cloud.
Filtri ed equalizzatori audio
Modella e applica filtri EQ parametrici, EQ grafici, shelving e a pendenza variabile. Progetta e simula filtri crossover digitali, d’ottava e a frazione d’ottava.
Controllo ed effetti dell’intervallo dinamico
Modella e applica gli algoritmi di elaborazione dell’intervallo dinamico come il compressore, il limitatore, l’espansore e il noise gate. Aggiungi riverbero artificiale con modelli parametrici ricorsivi.
Simulazione di sistemi con diagrammi a blocchi
Progetta e simula modelli di sistemi utilizzando librerie di blocchi di elaborazione audio per Simulink®. Regola i parametri e visualizza il comportamento dei sistemi utilizzando controlli interattivi e grafici dinamici.
Dettaglio di un modello di compressore dell’intervallo dinamico in Simulink.
Regolazione dei parametri live tramite interfacce utente
Crea automaticamente interfacce utente per i parametri regolabili degli algoritmi di elaborazione audio. Esegui il testing di singoli algoritmi con l’app Audio Test Bench e regola i parametri nei programmi in esecuzione con controlli interattivi autogenerati.
Connettività MIDI per il controllo dei parametri e lo scambio di messaggi
Modifica in modo interattivo i parametri degli algoritmi MATLAB utilizzando le superfici di controllo MIDI. Controlla hardware esterni o rispondi agli eventi inviando e ricevendo qualsiasi tipo di messaggio MIDI.
Flusso di messaggi MIDI e segnali audio scritti in MATLAB per un sintetizzatore di strumenti musicali.
Analisi e misurazione su base standard
Applica i misuratori del livello di pressione sonora (SPL) e i misuratori del volume ai segnali registrati o live. Analizza i segnali con filtri d’ottava e a frazione d’ottava. Applica filtri di ponderazione A, C o K conformi agli standard alle registrazioni grezze. Misura l’acutezza, la ruvidità e la forza di fluttuazione acustiche.
Misurazione della risposta all’impulso
Misura le risposte all’impulso e in frequenza di sistemi audio e acustici con sequenze MLS (maximum-length sequence) e sinusoidi ESS (Exponential Swept Sinusoid). Familiarizza con l’app Impulse Response Measurer. Automatizza le misurazioni generando in modo programmatico segnali di eccitazione e stimando le risposte del sistema.
App Impulse Response Measurer.
Convoluzione efficiente con le risposte all’impulso dell’ambiente
Convolvi segnali in modo efficiente con risposte all’impulso di lunga durata utilizzando le implementazioni “overlap-and-add” e “overlap-and-save” del dominio della frequenza. Compensa la latenza con la velocità di calcolo utilizzando il partizionamento automatico della risposta all'impulso.
Risposta all’impulso della durata di 5 secondi o superiore a 220.000 campioni a 44100 Hz.
Audio spaziale
Codifica e decodifica diversi formati ambisonici. Interpola le funzioni Head Related Transfer Function (HRTF) campionate nello spazio.
Esempio della posizione desiderata della sorgente sonora e degli angoli più vicini dove sono disponibili misurazioni HRTF.
Generazione di plug-in audio
Genera plug-in VST, plug-in AU e plug-in eseguibili standalone direttamente dal codice MATLAB senza dover progettare manualmente le interfacce utente. Per una prototipazione dei plug-in più avanzata, genera progetti JUCE C++ pronti da costruire (richiede MATLAB Coder™).
Esempio di EQ parametrico multibanda: plug-in VST generato dal codice MATLAB e in esecuzione in REAPER.
Hosting di plug-in audio esterni
Utilizza VST esterni e plug-in AU come normali oggetti MATLAB. Modifica i parametri del plug-in ed elabora in modo programmatico gli array MATLAB. In alternativa, automatizza le associazioni dei parametri dei plug-in con interfacce utente e controlli MIDI. Esegui l’hosting dei plug-in generati dal tuo codice MATLAB per una maggiore efficienza di esecuzione.
Esempio di plug-in VST esterno per la riduzione del rumore nell’audio (Accusonus ERA-N) e interfaccia programmatica in MATLAB.
Generazione di codice per target CPU e GPU
Con i prodotti Coder MathWorks® è possibile generare codice sorgente C e C++ da algoritmi di elaborazione di segnali e di Machine Learning forniti come funzioni, oggetti e blocchi del toolbox. Genera codice sorgente CUDA da funzioni di estrazione di feature prescelte come mfcc e melSpectrogram.
Profiling dinamico per l’implementazione ottimizzata su un processore ARM Cortex-A di un sistema di riconoscimento di comandi vocali basato su Deep Learning.
Dispositivi mobili e low cost
Prototipa progetti di elaborazione audio su Raspberry Pi™ utilizzando interfacce audio multicanale interne o esterne. Crea pannelli di controllo interattivi come app mobile per dispositivi Android® o iOS.
Scheda Raspberry Pi 3 per la prototipazione del progetto.
Sistemi a latenza zero
Prototipa progetti di elaborazione audio con input e output di un singolo campione per il controllo adattivo del rumore, la convalida di apparecchi acustici o altre applicazioni che richiedono una latenza DSP di andata e ritorno minima. Punta automaticamente le macchine audio Speedgoat e le schede ST Discovery direttamente dai modelli Simulink.
