reluLayer

Livello dell'unità lineare rettificata (ReLU)

Descrizione

Un livello ReLU esegue un'operazione di soglia su ciascun elemento di input, dove qualsiasi valore inferiore a zero viene impostato su zero.

Questa operazione è equivalente a

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

Creazione

Sintassi

layer = reluLayer

layer = reluLayer('Name',Name)

Descrizione

layer = reluLayer crea un livello ReLU.

layer = reluLayer('Name',Name) crea un livello ReLU e imposta la proprietà opzionale Name utilizzando una coppia nome-valore. Ad esempio, reluLayer('Name','relu1') crea un livello ReLU con il nome 'relu1'.

Proprietà

Name — Nome del livello

'' (predefinito) | vettore di carattere

Nome del livello, specificato come vettore di caratteri. Per l'input dell'array di Layer, le funzioni trainnet e dlnetwork assegnano automaticamente i nomi ai livelli senza nome.

Tipi di dati: char

NumInputs — Numero di input

Sola lettura: 1 (predefinito)

proprietà è di sola lettura.

Numero di input al livello, memorizzato come 1. Questo livello accetta solo un input singolo.

Tipi di dati: double

InputNames — Nomi di input

Sola lettura: {'in'} (predefinito)

proprietà è di sola lettura.

Nomi di input, memorizzati come {'in'}. Questo livello accetta solo un input singolo.

Tipi di dati: cell

NumOutputs — Numero di output

Sola lettura: 1 (predefinito)

proprietà è di sola lettura.

Numero di output dal livello, memorizzato come 1. Questo livello ha solo un output singolo.

Tipi di dati: double

OutputNames — Nomi di output

Sola lettura: {'out'} (predefinito)

proprietà è di sola lettura.

Nomi di output, memorizzati come {'out'}. Questo livello ha solo un output singolo.

Tipi di dati: cell

Esempi

Creazione di un livello ReLU

Creare un livello ReLU con il nome relu1.

layer = reluLayer(Name="relu1")

layer = 
  ReLULayer with properties:

    Name: 'relu1'

Includere un livello ReLU in un array di Layer.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6×1 Layer array with layers:

     1   ''   Image Input       28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5×5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU              ReLU
     4   ''   2-D Max Pooling   2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   Fully connected layer with output size 10
     6   ''   Softmax           Softmax

Ulteriori informazioni

Livello ReLU

Un livello ReLU esegue un'operazione di soglia su ciascun elemento di input, dove qualsiasi valore inferiore a zero viene impostato su zero.

I livelli convoluzionali e di normalizzazione batch sono usualmente seguiti da una funzione di attivazione non lineare, come un'unità lineare rettificata (ReLU), specificata da un livello ReLU. Un livello ReLU esegue un'operazione di soglia per ciascun elemento, dove qualsiasi valore di input inferiore a zero viene impostato su zero, ossia

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

Il livello ReLU non modifica la dimensione del suo input.

Esistono altri livelli di attivazione non lineare che eseguono operazioni diverse e possono migliorare la precisione della rete per alcune applicazioni. Per un elenco dei livelli di attivazione, vedere Activation Layers.

Riferimenti

[1] Nair, Vinod, and Geoffrey E. Hinton. "Rectified linear units improve restricted boltzmann machines." In Proceedings of the 27th international conference on machine learning (ICML-10), pp. 807-814. 2010.

Funzionalità estese

Generazione di codice C/C++
Genera codice C e C++ con MATLAB® Coder™.

Generazione di codice GPU
Genera codice CUDA® per GPU NVIDIA® con GPU Coder™.

Cronologia versioni

Introdotto in R2016a

Vedi anche

trainnet | trainingOptions | dlnetwork | batchNormalizationLayer | leakyReluLayer | clippedReluLayer | swishLayer | Deep Network Designer | exportNetworkToSimulink | ReLU Layer

Argomenti

• Creazione di una rete neurale semplice di Deep Learning per la classificazione
• Addestramento della rete neurale convoluzionale per la regressione
• Deep Learning in MATLAB
• Compare Activation Layers
• List of Deep Learning Layers