Audio Toolbox

 

Audio Toolbox

Progettazione e analisi di sistemi di elaborazione vocale, acustica e audio

Inizia ora:

Acquisizione e riproduzione in streaming con interfacce audio

Effettua il collegamento a schede audio di laptop e desktop standard per elaborare in streaming audio multicanale a bassa latenza tra una qualsiasi combinazione di file e input e output live.

Connettività a driver audio standard

Leggi e scrivi campioni audio da e su schede audio (come USB o Thunderbolt™) utilizzando driver audio standard (come ASIO, WASAPI, CoreAudio e ALSA) nei sistemi operativi Windows®, Mac® e Linux®.

Esempi di schede audio multicanale.

Streaming di audio multicanale a bassa latenza

Elabora audio live in MATLAB con millisecondi di latenza andata e ritorno.

Input grezzo in tempo reale da un array di microfoni a quattro canali.

Machine Learning e Deep Learning

Etichetta, incrementa, crea e immetti set di dati audio e della voce, estrai feature e calcola le trasformazioni tempo-frequenza. Sviluppa analisi di audio e della voce con Statistics and Machine Learning Toolbox™, Deep Learning Toolbox™ o altri strumenti di Machine Learning.

Modelli di Deep Learning pre-addestrati

Utilizza il Deep Learning per eseguire attività di elaborazione di segnali complesse ed estrarre gli embedding audio con una sola riga di codice. Accedi a reti pre-addestrate consolidate come YAMNet, VGGish, CREPE e OpenL3 e applicale con l’aiuto di funzioni di estrazione di feature preconfigurate.

Word cloud che illustra i tipi di suono identificati da classifySound in un particolare segmento audio.

Estrazione di feature per audio, linguaggio parlato e acustica

Trasforma i segnali in rappresentazioni tempo-frequenza come spettrogrammi Mel, Bark ed ERB. Calcola coefficienti cepstrali, come MFCC e GTCC, e feature scalari come pitch, armonicità e descrittori spettrali. Estrai feature di alto livello ed embedding dei segnali utilizzando modelli di Deep Learning pre-addestrati (VGGish, OpenL3) e il sistema i-vector. Accelera l’estrazione di feature con schede GPU compatibili.

Spettrogramma di Mel in tempo reale di comandi vocali.

Modelli di Machine Learning e indicazioni per l’addestramento

Addestra modelli di Machine Learning avanzati con i tuoi set di dati audio. Utilizza sistemi di modelli consolidati, come i-vector, per applicazioni quali il riconoscimento e la verifica del parlante. Scopri con esempi pratici come progettare e addestrare reti neurali e layer avanzati per applicazioni audio, di linguaggio parlato e acustica.

Forma d’onda di una registrazione vocale con segmenti alternati pronunciati da diversi parlanti e indicazione a colori del parlante in ciascuna regione vocale rilevata.

Risultati della diarizzazione ottenuti utilizzando x-vector su un segnale vocale inclusivo di cinque parlanti diversi.

Importazione, annotazione e pre-elaborazione di set di dati audio

Leggi, suddividi e pre-elabora grandi raccolte di registrazioni audio. Annota manualmente segnali audio con le applicazioni. Identifica e segmenta automaticamente le regioni di interesse utilizzando modelli di Machine Learning pre-addestrati.

Etichette per le aree di interesse nell’app Audio Labeler.

Etichette per le aree di interesse nell’app Audio Labeler.

Incremento e sintesi di set di dati audio e vocali

Imposta pipeline di incremento dati randomizzate utilizzando combinazioni di pitch shifting, time stretching e altri effetti di elaborazione audio. Crea registrazioni vocali sintetiche dal testo utilizzando servizi di sintesi vocale basati su Cloud.

Stima delle formanti per il pitch shifting senza variazione di timbro.

Effetti ed algoritmi di elaborazione audio

Genera forme d’onda standard, applica effetti audio diffusi e progetta sistemi di elaborazione audio mediante la regolazione dinamica dei parametri e la visualizzazione in tempo reale.

Filtri ed equalizzatori audio

Modella e applica filtri EQ parametrici, EQ grafici, shelving e a pendenza variabile. Progetta e simula filtri crossover digitali, d’ottava e a frazione d’ottava.

Regolazione interattiva di un filtro crossover a tre bande con visualizzazione in tempo reale.

Controllo ed effetti dell’intervallo dinamico

Modella e applica gli algoritmi di elaborazione dell’intervallo dinamico come il compressore, il limitatore, l’espansore e il noise gate. Aggiungi riverbero artificiale con modelli parametrici ricorsivi.

Regolazione interattiva della risposta dinamica di un compressore.

Simulazione di sistemi con diagrammi a blocchi

Progetta e simula modelli di sistemi utilizzando librerie di blocchi di elaborazione audio per Simulink®. Regola i parametri e visualizza il comportamento dei sistemi utilizzando controlli interattivi e grafici dinamici.

Visualizzazione composta di un modello Simulink, con blocchi e sottosistemi a diversi livelli della gerarchia del modello, un grafico di una risposta del filtro e un’interfaccia utente con quadranti interattivi per la regolazione dei valori parametrici.

Dettaglio di un modello di compressore dell’intervallo dinamico in Simulink.

Prototipazione audio in tempo reale

Convalida gli algoritmi di elaborazione audio con test di ascolto interattivi in tempo reale in MATLAB.

Regolazione dei parametri live tramite interfacce utente

Crea automaticamente interfacce utente per i parametri regolabili degli algoritmi di elaborazione audio. Esegui il testing di singoli algoritmi con l’app Audio Test Bench e regola i parametri nei programmi in esecuzione con controlli interattivi autogenerati.

Regolazione interattiva di un EQ parametrico a tre bande personalizzato mediante Audio Test Bench.

Connettività MIDI per il controllo dei parametri e lo scambio di messaggi

Modifica in modo interattivo i parametri degli algoritmi MATLAB utilizzando le superfici di controllo MIDI. Controlla hardware esterni o rispondi agli eventi inviando e ricevendo qualsiasi tipo di messaggio MIDI.

Diagramma a blocchi che mostra un controller MIDI per tastiera che invia messaggi MIDI a una sessione MATLAB, che a sua volta elabora i messaggi, sintetizza le forme d’onda delle note e riproduce i campioni generati attraverso un altoparlante.

Flusso di messaggi MIDI e segnali audio scritti in MATLAB per un sintetizzatore di strumenti musicali.

Misurazioni acustiche e audio spaziale

Misura le risposte del sistema, analizza e misura i segnali e progetta sistemi di elaborazione di audio spaziale.

Analisi e misurazione su base standard

Applica i misuratori del livello di pressione sonora (SPL) e i misuratori del volume ai segnali registrati o live. Analizza i segnali con filtri d’ottava e a frazione d’ottava. Applica filtri di ponderazione A, C o K conformi agli standard alle registrazioni grezze. Misura l’acutezza, la ruvidità e la forza di fluttuazione acustiche.

Visualizzazione di diverse misurazioni SPL in bande a due terzi d’ottava.

Misurazione della risposta all’impulso

Misura le risposte all’impulso e in frequenza di sistemi audio e acustici con sequenze MLS (maximum-length sequence) e sinusoidi ESS (Exponential Swept Sinusoid). Familiarizza con l’app Impulse Response Measurer. Automatizza le misurazioni generando in modo programmatico segnali di eccitazione e stimando le risposte del sistema.

Schermata dell’app Impulse Response Measurer che mostra una risposta stimata nel dominio del tempo e nel dominio della frequenza, un menu con un elenco di altre risposte all’impulso stimate disponibili per il plottaggio e altri controlli interattivi presenti nell’app.

 App Impulse Response Measurer.

Convoluzione efficiente con le risposte all’impulso dell’ambiente

Convolvi segnali in modo efficiente con risposte all’impulso di lunga durata utilizzando le implementazioni “overlap-and-add” e “overlap-and-save” del dominio della frequenza. Compensa la latenza con la velocità di calcolo utilizzando il partizionamento automatico della risposta all'impulso.

Immagine MATLAB che mostra il valore assoluto di una risposta all’impulso relativamente lunga nel tempo, utilizzando una scala logaritmica per l’asse delle y. Dopo 5 secondi, il grafico mostra che i valori assoluti normalizzati non sono ancora diventati più piccoli di un millesimo dell’ampiezza iniziale.

Risposta all’impulso della durata di 5 secondi o superiore a 220.000 campioni a 44100 Hz.

Audio spaziale

Codifica e decodifica diversi formati ambisonici. Interpola le funzioni Head Related Transfer Function (HRTF) campionate nello spazio.

Disegno che mostra un manichino binaurale, tre altoparlanti ai vertici di un settore sferico, che rappresentano tre punti in cui la funzione Head Related Transfer Function è nota, e un quarto punto in una posizione casuale all’interno del settore, per il quale la funzione HRTF deve essere stimata.

Esempio della posizione desiderata della sorgente sonora e degli angoli più vicini dove sono disponibili misurazioni HRTF.

Generazione ed esecuzione dell’hosting di plug-in audio

Prototipa algoritmi di elaborazione audio scritti in MATLAB come plug-in audio standard; utilizza plug-in audio esterni come normali oggetti MATLAB.

Generazione di plug-in audio

Genera plug-in VST, plug-in AU e plug-in eseguibili standalone direttamente dal codice MATLAB senza dover progettare manualmente le interfacce utente. Per una prototipazione dei plug-in più avanzata, genera progetti JUCE C++ pronti da costruire (richiede MATLAB Coder™).

Interfaccia utente di un plug-in audio generato con MATLAB utilizzato in REAPER, una nota workstation audio digitale. L’interfaccia utente include vari cursori e manopole disposti su una griglia 3 per 3.

Esempio di EQ parametrico multibanda: plug-in VST generato dal codice MATLAB e in esecuzione in REAPER.

Hosting di plug-in audio esterni

Utilizza VST esterni e plug-in AU come normali oggetti MATLAB. Modifica i parametri del plug-in ed elabora in modo programmatico gli array MATLAB. In alternativa, automatizza le associazioni dei parametri dei plug-in con interfacce utente e controlli MIDI. Esegui l’hosting dei plug-in generati dal tuo codice MATLAB per una maggiore efficienza di esecuzione.

A sinistra, l’interfaccia utente di un plug-in audio commerciale per il denoising audio, caratterizzata da una grande manopola che consente di impostare il livello di soppressione del rumore. A destra, alcune righe di codice che mostrano in che modo è possibile importare lo stesso plug-in e utilizzarlo in modo programmatico come un oggetto MATLAB.

Esempio di plug-in VST esterno per la riduzione del rumore nell’audio (Accusonus ERA-N) e interfaccia programmatica in MATLAB.

Sistemi audio target embedded e in tempo reale

Utilizza la generazione di codice per implementare progetti di elaborazione audio su dispositivi software e automatizzare l’accesso alle interfacce audio.

Generazione di codice per target CPU e GPU

Con i prodotti Coder MathWorks® è possibile generare codice sorgente C e C++ da algoritmi di elaborazione di segnali e di Machine Learning forniti come funzioni, oggetti e blocchi del toolbox. Genera codice sorgente CUDA da funzioni di estrazione di feature prescelte come mfcc e melSpectrogram.

Grafico del tempo trascorso in ciascun ciclo di predizione per un sistema di riconoscimento di comandi vocali che indica che il tempo utilizzato è ben al di sotto del budget di tempo disponibile di 50.

Profiling dinamico per l’implementazione ottimizzata su un processore ARM Cortex-A di un sistema di riconoscimento di comandi vocali basato su Deep Learning.

Dispositivi mobili e low cost

Prototipa progetti di elaborazione audio su Raspberry Pi™ utilizzando interfacce audio multicanale interne o esterne. Crea pannelli di controllo interattivi come app mobile per dispositivi Android® o iOS.

Foto di una scheda Raspberry Pi.

Scheda Raspberry Pi 3 per la prototipazione del progetto.

Sistemi a latenza zero

Prototipa progetti di elaborazione audio con input e output di un singolo campione per il controllo adattivo del rumore, la convalida di apparecchi acustici o altre applicazioni che richiedono una latenza DSP di andata e ritorno minima. Punta automaticamente le macchine audio Speedgoat e le schede ST Discovery direttamente dai modelli Simulink.