MATLAB e Simulink per l’Edge AI

Distribuzione di applicazioni di Machine Learning e di Deep Learning su sistemi embedded

Simula, testa e distribuisci modelli di Machine Learning e di Deep Learning su dispositivi edge e sistemi embedded. Genera codice per applicazioni di IA complete, compresi gli algoritmi di pre-elaborazione e post-elaborazione.

Con MATLAB^® e Simulink^®, è possibile:

Generare codice CUDA e C/C++ ottimizzato per la distribuzione su CPU e GPU
Generare codice VHDL e Verilog sintetizzabile per la distribuzione su FPGA e SoC
Accelerare l’inferenza con le librerie di Deep Learning ottimizzate per l’hardware, tra cui oneDNN, Arm Compute Library e TensorRT
Integrare modelli TensorFlow Lite (TFLite) pre-addestrati nelle applicazioni distribuite sull’hardware
Comprimere i modelli di IA per l’inferenza su hardware con risorse limitate tramite strumenti per la regolazione degli iperparametri, la quantizzazione e il pruning delle reti

“MATLAB ci ha messo a disposizione tutti gli strumenti di cui avevamo bisogno per procedere all’annotazione dei dati, alla scelta, ai test e alla regolazione del nostro modello di Deep Learning. In più, GPU Coder ci ha consentito di distribuirlo rapidamente sulle nostre GPU NVIDIA anche se la nostra esperienza in materia di GPU fosse limitata.”

Screenshot della fase di distribuzione di codice C/C++ su un’immagine di hardware embedded.

CPU e microcontroller

Genera codice C/C++ ottimizzato e portatile a partire da modelli addestrati di Machine Learning e di Deep Learning con MATLAB Coder™ e Simulink Coder™. Eventualmente, includi chiamate a librerie di fornitori specifici, ottimizzate per l’inferenza di Deep Learning nel codice generato, come oneDNN e Arm^® Compute Library.

Generazione di codice per la classificazione di immagini con il Machine Learning

Generazione di codice generico C/C++ per reti di Deep Learning

Compressione di una rete di classificazione immagini per la distribuzione su dispositivi embedded con risorse limitate

Generazione di codice per un modello TensorFlow Lite (TFLite) e distribuzione su Raspberry Pi

Screenshot della distribuzione di codice C/C++ in Simulink su immagini di un desktop NVIDIA e di una GPU embedded.

GPU

Genera codice CUDA^® ottimizzato per reti addestrate di Deep Learning con GPU Coder™. Insieme alle reti, includi la pre-elaborazione e la post-elaborazione per distribuire algoritmi completi su desktop, server e GPU embedded. Usa le librerie CUDA NVIDIA^®, come TensorRT™ e cuDNN, per massimizzare le prestazioni.

Generazione di codice per il rilevamento di oggetti usando il Deep Learning con YOLO v4

Previsione per il Deep Learning con NVIDIA TensorRT

Generazione di codice per un modello Simulink di Deep Learning per classificare segnali ECG

Esecuzione dell’inferenza di Deep Learning basata su FPGA su hardware di prototipi direttamente da MATLAB e successiva generazione di un core IP HDL di Deep Learning per la distribuzione su qualsiasi dispositivo FPGA o ASIC.

FPGA e SoC

Prototipa e implementa reti di Deep Learning su FPGA e SoC con Deep Learning HDL Toolbox™. Programma i processori di Deep Learning e core IP di movimento dati con bitstream predefiniti per i kit di sviluppo di FPGA più usati. Genera bitstream e core IP per processori di Deep Learning personalizzati con HDL Coder™.

Utilizzo di MATLAB per prototipare il Deep Learning su una FPGA Xilinx (3:25)

Utilizzo di MATLAB per prototipare il Deep Learning su una FPGA Intel (3:24)

Distribuzione di un modello di regressione di rete neurale su una piattaforma FPGA/ASIC

Screenshot di un grafico stratificato, delle statistiche di calibrazione e dei risultati di convalida per ottimizzare i modelli di IA per la distribuzione embedded.

Compressione di modelli di IA

Riduci i requisiti di memoria per i modelli di Machine Learning e di Deep Learning con la regolazione degli iperparametri basata sulle dimensioni e la quantizzazione di pesi, bias e attivazioni. Riduci al minimo le dimensioni di una rete neurale profonda mediante il pruning dei collegamenti degli strati insignificanti.

Riduzione delle dimensioni di un modello di Machine Learning per hardware con memoria limitata

Generazione di codice a virgola fissa per la predizione di SVM

Deep Network Quantizer (esempi)

Pruning dei parametri e quantizzazione di una rete di classificazione delle immagini

Compressione di reti neurali con la proiezione delle reti