La traduzione di questa pagina non è aggiornata. Fai clic qui per vedere l'ultima versione in inglese.

Quantizzazione, proiezione e sfoltimento

Comprimere una rete neurale profonda eseguendo la quantizzazione, la proiezione o lo sfoltimento

Utilizzare Deep Learning Toolbox™ insieme al pacchetto di supporto Deep Learning Toolbox Model Quantization Library per ridurre l’ingombro della memoria e i requisiti di calcolo di una rete neurale profonda tramite:

Sfoltimento dei filtri dai livelli convoluzionali utilizzando l'approssimazione di Taylor del primo ordine. È quindi possibile generare codice C/C++ o CUDA^® da questa rete sfoltita.
Proiezione dei livelli eseguendo l'analisi dei componenti principali (PCA) sulle attivazioni del livello utilizzando un set di dati rappresentativo dei dati di addestramento e applicando le proiezioni lineari sui parametri apprendibili del livello. I passaggi in avanti di una rete neurale profonda proiettata sono in genere più rapidi quando si distribuisce la rete su hardware integrato utilizzando la generazione di codice C/C++ senza librerie.
Quantizzazione dei pesi, dei bias e attivazioni di livelli in tipi di dati interi scalati a precisione ridotta. È quindi possibile generare codice C/C++, CUDA o HDL da questa rete quantizzata.
Per la generazione di codice C/C++ e CUDA, il software genera codice per una rete neurale profonda convoluzionale quantizzando i pesi, i bias e le attivazioni dei livelli convoluzionali in tipi di dati interi scalati a 8 bit. La quantizzazione viene eseguita fornendo il file del risultato della calibrazione prodotto dalla funzione calibrate al comando codegen (MATLAB Coder).
La generazione di codice non supporta le reti neurali profonde quantizzate prodotte dalla funzione quantize.

Funzioni

espandi tutto

Sfoltimento

`taylorPrunableNetwork`	Network that can be pruned by using first-order Taylor approximation
`forward`	Compute deep learning network output for training
`predict`	Compute deep learning network output for inference
`updatePrunables`	Remove filters from prunable layers based on importance scores
`updateScore`	Compute and accumulate Taylor-based importance scores for pruning
`dlnetwork`	Deep learning network for custom training loops

Proiezione

`compressNetworkUsingProjection`	Compress neural network using projection
`neuronPCA`	Principal component analysis of neuron activations

Quantizzazione

`dlquantizer`	Quantize a deep neural network to 8-bit scaled integer data types
`dlquantizationOptions`	Options for quantizing a trained deep neural network
`calibrate`	Simulate and collect ranges of a deep neural network
`quantize`	Quantize deep neural network
`validate`	Quantize and validate a deep neural network
`quantizationDetails`	Display quantization details for a neural network
`estimateNetworkMetrics`	Estimate network metrics for specific layers of a neural network
`equalizeLayers`	Equalize layer parameters of deep neural network

App

Deep Network Quantizer

Quantize a deep neural network to 8-bit scaled integer data types

Argomenti

Sfoltimento

Parameter Pruning and Quantization of Image Classification Network
Use parameter pruning and quantization to reduce network size.
Prune Image Classification Network Using Taylor Scores
This example shows how to reduce the size of a deep neural network using Taylor pruning.
Prune Filters in a Detection Network Using Taylor Scores
This example shows how to reduce network size and increase inference speed by pruning convolutional filters in a you only look once (YOLO) v3 object detection network.

Proiezione

Compress Neural Network Using Projection
This example shows how to compress a neural network using projection and principal component analysis.

Quantizzazione di Deep Learning

Quantization of Deep Neural Networks
Understand effects of quantization and how to visualize dynamic ranges of network convolution layers.
Quantization Workflow Prerequisites
Products required for the quantization of deep learning networks.

Quantizzazione per il target GPU

Generate INT8 Code for Deep Learning Networks (GPU Coder)
Quantize and generate code for a pretrained convolutional neural network.
Quantize Residual Network Trained for Image Classification and Generate CUDA Code
This example shows how to quantize the learnable parameters in the convolution layers of a deep learning neural network that has residual connections and has been trained for image classification with CIFAR-10 data.
Quantize Layers in Object Detectors and Generate CUDA Code
This example shows how to generate CUDA® code for an SSD vehicle detector and a YOLO v2 vehicle detector that performs inference computations in 8-bit integers for the convolutional layers.

Quantizzazione per il target FPGA

Quantize Network for FPGA Deployment (Deep Learning HDL Toolbox)
Reduce the memory footprint of a deep neural network by quantizing the weights, biases, and activations of convolution layers to 8-bit scaled integer data types.
Classify Images on FPGA Using Quantized Neural Network (Deep Learning HDL Toolbox)
This example shows how to use Deep Learning HDL Toolbox™ to deploy a quantized deep convolutional neural network (CNN) to an FPGA.
Classify Images on FPGA by Using Quantized GoogLeNet Network (Deep Learning HDL Toolbox)
This example show how to use the Deep Learning HDL Toolbox™ to deploy a quantized GoogleNet network to classify an image.

Quantizzazione per il target CPU

Generate int8 Code for Deep Learning Networks (MATLAB Coder)
Quantize and generate code for a pretrained convolutional neural network.
Generate INT8 Code for Deep Learning Network on Raspberry Pi (MATLAB Coder)
Generate code for deep learning network that performs inference computations in 8-bit integers.

Esempi in primo piano

Prune Image Classification Network Using Taylor Scores

Reduce the size of a deep neural network using Taylor pruning. By using the taylorPrunableNetwork function to remove convolution layer filters, you can reduce the overall network size and increase the inference speed.

Apri live script

Prune Filters in a Detection Network Using Taylor Scores

Reduce network size and increase inference speed by pruning convolutional filters in a you only look once (YOLO) v3 object detection network.

Apri live script

Compress Neural Network Using Projection

Compress a neural network using projection and principal component analysis.

Apri live script

Quantize Residual Network Trained for Image Classification and Generate CUDA Code

Quantize the learnable parameters in the convolution layers of a deep learning neural network that has residual connections and has been trained for image classification with CIFAR-10 data.

Apri live script