GPU Coder

Generazione di codice CUDA per GPU NVIDIA

GPU Coder™ genera codice CUDA^® ottimizzato dal codice MATLAB^® e dai modelli Simulink^®. Il codice generato include kernel CUDA per le parti parallelizzabili degli algoritmi di elaborazione dei segnali, deep learning e visione embedded. Per ottenere delle prestazioni elevate, il codice generato richiama delle librerie CUDA NVIDIA^® ottimizzate, tra cui TensorRT™, cuDNN, cuFFT, cuSolver e cuBLAS. Il codice può essere integrato nel proprio progetto in forma di codice sorgente, librerie statiche o librerie dinamiche e compilato per desktop, server e GPU integrate su piattaforme NVIDIA Jetson™, NVIDIA DRIVE™ e di altro tipo. Il CUDA generato può essere utilizzato in MATLAB per accelerare le reti di deep learning e altre porzioni computazionalmente onerose dell’algoritmo. GPU Coder consente di incorporare il codice CUDA scritto a mano negli algoritmi e nel codice generato.

Quando si utilizza con Embedded Coder^®, GPU Coder consente di verificare il comportamento numerico del codice generato tramite test Software-In-the-Loop (SIL) e Processor-In-the-Loop (PIL).

Inizia ora:

Generazione di codice CUDA rapido e flessibile
Generazione di codice CUDA dai modelli Simulink
Generazione di codice CUDA da reti di deep learning
Ottimizzazione del codice generato
Prototipazione sull’hardware
Accelerazione degli algoritmi

Che cos’è GPU Coder?

Generazione di codice CUDA rapido e flessibile

Genera codice CUDA ottimizzato. Distribuisci codice senza royalty.

Distribuzione di algoritmi senza royalty

Compila ed esegui il codice generato su GPU NVIDIA diffuse, dai sistemi desktop ai data center e all’hardware embedded. Il codice generato è senza royalty: distribuiscilo gratuitamente ai tuoi clienti per applicazioni commerciali.

Generare codice CUDA per un algoritmo di correzione della nebbia (2:22)

Generazione di codice GPU: Il set di Mandelbrot

Esplora la gallery (2 immagini)

Storie di successo con GPU Coder

Scopri come ingegneri e scienziati, operanti in settori diversi, utilizzano GPU Coder per generare codice CUDA per le loro applicazioni.

Drass implementa un sistema di rilevamento ostacoli e tracking ottico marittimo utilizzando la rete YOLO v2 in un’applicazione Visual Studio in esecuzione su GPU NVIDIA

Airbus prototipa un dimostratore aereo di ispezione in esecuzione su NVIDIA Jetson TX2 per automatizzare il rilevamento di difetti

Airbus prototipa il rilevamento automatico di difetti su NVIDIA Jetson TX2.

Generazione di codice da toolbox e funzioni supportate

GPU Coder genera il codice da una vasta gamma di funzionalità del linguaggio MATLAB, che i progettisti utilizzano per sviluppare algoritmi come componenti di sistemi di dimensioni maggiori. Ciò include centinaia di operatori e funzioni da MATLAB e toolbox complementari.

Toolbox e funzioni supportate

Supporto delle funzionalità del linguaggio MATLAB

Supporto per linguaggio e toolbox MATLAB per la generazione di codice.

Integrazione del codice preesistente

Utilizza le funzionalità di integrazione del codice preesistente per incorporare codice CUDA altamente ottimizzato o affidabile nei tuoi algoritmi MATLAB per eseguire i test in MATLAB. Poi, richiama lo stesso codice CUDA dal codice generato.

Integrazione del codice preesistente

Integrazione di codice CUDA esistente nel codice generato.

Generazione di codice CUDA dai modelli Simulink

Crea modelli in Simulink e genera codice CUDA ottimizzato.

Esecuzione di simulazioni e generazione di codice ottimizzato per GPU NVIDIA

Quando usato con Simulink Coder™, GPU Coder accelera le porzioni computazionalmente onerose dei blocchi MATLAB Function nei modelli Simulink sulle GPU NVIDIA. È possibile generare codice CUDA ottimizzato a partire dal modello Simulink e distribuirlo sulla propria GPU NVIDIA target.

Accelerazione delle simulazioni con GPU Coder

Generazione di codice dai modelli Simulink con GPU Coder

Target delle schede integrate NVIDIA

Modello Simulink di un rilevatore di contorni Sobel in esecuzione su una GPU.

Distribuzione di algoritmi di deep learning end-to-end

Usa diverse tipologie di reti di deep learning addestrate (tra cui ResNet-50, SegNet e LSTM) contenute in Deep Learning Toolbox™ nel tuo modello Simulink e distribuiscilo sulle GPU NVIDIA. Genera codice per la pre-elaborazione e la post-elaborazione insieme alle proprie reti di deep learning addestrate per distribuire algoritmi completi.

Reti e layer supportati

Deep learning in Simulink con il blocco MATLAB Function

Deep learning in Simulink per GPU NVIDIA: generazione di codice CUDA con GPU Coder

Registrazione di segnali, regolazione di parametri e verifica numerica del comportamento del codice

Quando usato con Simulink Coder, GPU Coder consente di registrare segnali e regolare parametri in tempo reale, usando le simulazioni in modalità esterna. Usa Embedded Coder con GPU Coder per eseguire test Software-In-the-Loop e Processor-In-the-Loop che verificano, da un punto di vista numerico, se il comportamento del codice generato corrisponde a quello della simulazione.

Regolazione dei parametri e monitoraggio dei segnali con la modalità esterna

Test dell’equivalenza numerica

Deep Learning in Simulink per GPU NVIDIA: Classificazione di segnali ECG

Generazione di codice CUDA da reti di deep learning

Distribuisci reti di deep learning addestrate con Deep Learning Toolbox.

Distribuzione di algoritmi di deep learning end-to-end

Distribuisci una serie di reti di deep learning addestrate (tra cui ResNet-50, SegNet e LSTM) da Deep Learning Toolbox™ su GPU NVIDIA. Usa layer di deep learning predefiniti oppure definisci layer personalizzati per un’applicazione specifica. Genera codice per la pre-elaborazione e la post-elaborazione insieme alle proprie reti di deep learning addestrate per distribuire algoritmi completi.

Reti e layer supportati

Rilevazione di oggetti in tempo reale con YOLO v2 utilizzando GPU Coder (4:24)

Generazione di codice per la rilevazione di oggetti usando il deep learning con YOLO v3

Generazione per una rete di segmentazione semantica usando U-net

Come generare il codice CUDA per un modello Keras-TensorFlow

Generazione di codice ottimizzato per l’inferenza

GPU Coder genera codice con un footprint ridotto rispetto ad altre soluzioni di deep learning, poiché genera soltanto il codice necessario per eseguire l’inferenza con l’algoritmo specifico. Il codice generato richiama delle librerie ottimizzate, tra cui TensorRT e cuDNN.

Rilevazione della carreggiata ottimizzata con GPU Coder

Inferenza di immagini singole con VGG-16 su una GPU Titan V tramite cuDNN.

Ulteriore ottimizzazione con TensorRT

Genera codice che si integra con NVIDIA TensorRT, un runtime e ottimizzatore di inferenze di deep learning ad alte prestazioni. Utilizza dati di tipo INT8 o FP16 per incrementare ulteriormente le prestazioni rispetto al tipo di dati standard FP32.

Rilevamento di pedoni su GPU NVIDIA con TensorRT (1:34)

Previsione del deep learning con NVIDIA TensorRT

Deep learning su Jetson AGX Xavier utilizzando MATLAB, GPU Coder e TensorRT (24:40)

Uso di MATLAB e TensorRT su GPU NVIDIA

Miglioramento della velocità di esecuzione con dati di tipo INT8 e TensorRT.

Quantizzazione del deep learning

Esegui la quantizzazione della tua rete di deep learning per ridurre l’uso della memoria e aumentare le prestazioni di inferenza. Analizza e visualizza il tradeoff tra prestazioni aumentate e precisione di inferenza usando l’app Deep Network Quantizer.

Quantizzazione INT8 con Deep Network Quantizer

Quantizzazione di reti neurali profonde

Che cos’è la quantizzazione int8 e perché è comunemente utilizzata per le reti neurali profonde?

Quantizzazione e distribuzione di reti profonde con Deep Learning Toolbox Model Quantization Library

Ottimizzazione del codice generato

GPU Coder ottimizza automaticamente il codice generato. Uso di schemi di progettazione per aumentare ulteriormente le prestazioni.

Minimizzazione dei trasferimenti di memoria CPU-GPU e ottimizzazione dell’uso della memoria

GPU Coder analizza, individua e suddivide automaticamente i segmenti di codice MATLAB per l’esecuzione su CPU o GPU. Inoltre, minimizza il numero di copie di dati tra la CPU e la GPU. Usa gli strumenti di profilazione per individuare altri potenziali colli di bottiglia.

Paradigma di programmazione con GPU

Creazione di kernel

Allocazione e minimizzazione della memoria della GPU

Profilazione di esecuzione con GPU del codice generato

Report di profilazione in cui sono indicati i potenziali colli di bottiglia.

Richiamo di librerie ottimizzate

Il codice generato con GPU Coder richiama librerie ottimizzate CUDA NVIDIA, tra cui TensorRT, cuDNN, cuSolver, cuFFT, cuBLAS e Thrust. Quando possibile, il codice generato tramite le funzioni dei toolbox MATLAB viene mappato su librerie ottimizzate.

Kernel da chiamate alle librerie

NVIDIA TensorRT

NVIDIA cuDNN

NVIDIA cuFFT

Funzioni di chiamata del codice generato nella libreria ottimizzata CUDA cuFFT.

Uso di schemi di progettazione per un’ulteriore accelerazione

Gli schemi di progettazione, come gli “stencil”, usano una memoria condivisa per migliorare la larghezza di banda della memoria. Vengono applicati in automatico quando si usano determinate funzioni come la convoluzione. È anche possibile richiamarli manualmente usando pragma specifici.

Schemi di progettazione

Operazioni di tipo “stencil” su GPU

Schema di progettazione per le operazioni di tipo “stencil”.

Prototipazione sull’hardware

Accedi velocemente all’hardware con la conversione automatica del tuo algoritmo in codice CUDA.

Prototipazione su piattaforme NVIDIA Jetson e DRIVE

Automatizza la cross-compilazione e la distribuzione del codice generato sulle piattaforme NVIDIA Jetson e DRIVE utilizzando il pacchetto di supporto GPU Coder per GPU NVIDIA.

Supporto NVIDIA Tegra da GPU Coder

Supporto NVIDIA DRIVE da GPU Coder

Utilizzare GPU Coder per prototipare e distribuire a NVIDIA Drive e Jetson (2:54)

Segmentazione semantica su NVIDIA DRIVE

Prototipazione sulla piattaforma NVIDIA Jetson.

Accesso a periferiche e sensori da MATLAB e dal codice generato

Comunica da remoto con il target NVIDIA da MATLAB per acquisire dati da webcam e altre periferiche supportate per la prototipazione iniziale. Distribuisci il tuo algoritmo alla scheda insieme al codice di interfaccia con la periferica per l’esecuzione autonoma.

Rilevamento dei contorni Sobel tramite webcam su NVIDIA Jetson

Distribuzione e classificazione di immagini webcam sulla piattaforma NVIDIA Jetson TX2

Accesso a periferiche e sensori da MATLAB e dal codice generato.

Dalla prototipazione alla produzione

Utilizza GPU Coder con Embedded Coder per tracciare in modo interattivo il tuo codice MATLAB parallelamente al codice CUDA generato. Verifica il comportamento numerico del codice generato in esecuzione sull’hardware tramite i test Software-In-the-Loop (SIL) e Processor-In-the-Loop (PIL).

Tracciamento tra il codice MATLAB e il codice CUDA generato

Verifica della correttezza del codice generato

Esecuzione Processor-In-the-Loop con l’app GPU Coder

Profilazione del tempo di esecuzione per PIL

Report di tracciabilità interattivo utilizzando GPU Coder con Embedded Coder.

Accelerazione degli algoritmi

Genera codice CUDA e compilalo per utilizzarlo in MATLAB e in Simulink.

Accelerazione degli algoritmi utilizzando GPU in MATLAB

Richiama il codice CUDA generato come una funzione MEX dal tuo codice MATLAB per velocizzare l’esecuzione, anche se le prestazioni varieranno a seconda della natura del codice MATLAB. Esegui la profilazione delle funzioni MEX generate per individuare i colli di bottiglia e concentrare gli sforzi di ottimizzazione.

Generazione di codice GPU: il set di Mandelbrot

Profilazione di esecuzione con GPU del codice generato

Accelerazione di simulazioni radar su GPU NVIDIA tramite GPU Coder (3:24)

Generare codice CUDA per un algoritmo di correzione della nebbia

Accelerazione delle simulazioni Simulink con GPU NVIDIA

Quando usato con Simulink Coder, GPU Coder accelera le porzioni computazionalmente onerose dei blocchi MATLAB Function nei modelli Simulink sulle GPU NVIDIA.

Accelerazione delle simulazioni con GPU Coder

Risorse sui prodotti:

Documentazione Funzioni Articoli tecnici Requisiti di Sistema Note di rilascio Video e Webinar Esempi Prerequisite Products Supporto hardware

GPU Coder

GPU Coder

Generazione di codice CUDA per GPU NVIDIA

Inizia ora:

Generazione di codice CUDA rapido e flessibile

Distribuzione di algoritmi senza royalty

Storie di successo con GPU Coder

Generazione di codice da toolbox e funzioni supportate

Integrazione del codice preesistente

Generazione di codice CUDA dai modelli Simulink

Esecuzione di simulazioni e generazione di codice ottimizzato per GPU NVIDIA

Distribuzione di algoritmi di deep learning end-to-end

Registrazione di segnali, regolazione di parametri e verifica numerica del comportamento del codice

Generazione di codice CUDA da reti di deep learning

Distribuzione di algoritmi di deep learning end-to-end

Generazione di codice ottimizzato per l’inferenza

Ulteriore ottimizzazione con TensorRT

Quantizzazione del deep learning

Ottimizzazione del codice generato

Minimizzazione dei trasferimenti di memoria CPU-GPU e ottimizzazione dell’uso della memoria

Richiamo di librerie ottimizzate

Uso di schemi di progettazione per un’ulteriore accelerazione

Prototipazione sull’hardware

Prototipazione su piattaforme NVIDIA Jetson e DRIVE

Accesso a periferiche e sensori da MATLAB e dal codice generato

Dalla prototipazione alla produzione

Accelerazione degli algoritmi

Accelerazione degli algoritmi utilizzando GPU in MATLAB

Accelerazione delle simulazioni Simulink con GPU NVIDIA

Risorse sui prodotti:

Vuoi saperne di più su GPU Coder?