reluLayer

Livello dell’unità lineare rettificata (ReLU)

Descrizione

Un livello ReLU esegue un'operazione di soglia su ciascun elemento di input, dove qualsiasi valore inferiore a zero viene impostato su zero.

Questa operazione è equivalente a

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

Creazione

Sintassi

layer = reluLayer

layer = reluLayer('Name',Name)

Descrizione

layer = reluLayer crea un livello ReLU.

layer = reluLayer('Name',Name) crea un livello ReLU e imposta la proprietà opzionale Name utilizzando una coppia nome-valore. Ad esempio, reluLayer('Name','relu1') crea un livello ReLU con il nome 'relu1'.

Proprietà

Name — Nome del livello

"" (predefinito) | vettore di carattere | scalare di stringa

Nome del livello, specificato come un vettore di carattere o uno scalare di stringa. Per l'input dell'array di Layer, le funzioni trainnet e dlnetwork assegnano automaticamente i nomi ai livelli con il nome "".

L'oggetto ReLULayer memorizza questa proprietà come vettore di carattere.

Tipi di dati: char | string

NumInputs — Numero di input

1 (predefinito)

proprietà è di sola lettura.

Numero di input al livello, restituito come 1. Questo livello accetta solo un input singolo.

Tipi di dati: double

InputNames — Nomi di input

{'in'} (predefinito)

proprietà è di sola lettura.

Nomi di input, restituiti come {'in'}. Questo livello accetta solo un input singolo.

Tipi di dati: cell

NumOutputs — Numero di output

1 (predefinito)

proprietà è di sola lettura.

Numero di output dal livello, restituito come 1. Questo livello ha solo un output singolo.

Tipi di dati: double

OutputNames — Nomi di output

{'out'} (predefinito)

proprietà è di sola lettura.

Nomi di output, restituiti come {'out'}. Questo livello ha solo un output singolo.

Tipi di dati: cell

Esempi

Creazione di un livello ReLU

Creare un livello ReLU con il nome relu1.

layer = reluLayer(Name="relu1")

layer = 
  ReLULayer with properties:

    Name: 'relu1'

Includere un livello ReLU in un array di Layer.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6x1 Layer array with layers:

     1   ''   Image Input       28x28x1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU              ReLU
     4   ''   2-D Max Pooling   2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   10 fully connected layer
     6   ''   Softmax           softmax

Ulteriori informazioni

Livello ReLU

Un livello ReLU esegue un'operazione di soglia su ciascun elemento di input, dove qualsiasi valore inferiore a zero viene impostato su zero.

I livelli convoluzionali e di normalizzazione batch sono usualmente seguiti da una funzione di attivazione non lineare, come un'unità lineare rettificata (ReLU), specificata da un livello ReLU. Un livello ReLU esegue un'operazione di soglia per ciascun elemento, dove qualsiasi valore di input inferiore a zero viene impostato su zero, ossia

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

Il livello ReLU non modifica la dimensione del suo input.

Esistono altri livelli di attivazione non lineare che eseguono operazioni diverse e possono migliorare la precisione della rete per alcune applicazioni. Per un elenco dei livelli di attivazione, vedere Activation Layers.

Riferimenti

[1] Nair, Vinod, and Geoffrey E. Hinton. "Rectified linear units improve restricted boltzmann machines." In Proceedings of the 27th international conference on machine learning (ICML-10), pp. 807-814. 2010.

Funzionalità estese

Generazione di codice C/C++
Genera codice C e C++ con MATLAB® Coder™.

Generazione di codice GPU
Genera codice CUDA® per GPU NVIDIA® con GPU Coder™.

Cronologia versioni

Introdotto in R2016a

Vedi anche

trainnet | trainingOptions | dlnetwork | batchNormalizationLayer | leakyReluLayer | clippedReluLayer | swishLayer | Deep Network Designer

Argomenti

• Creazione di una rete neurale semplice di Deep Learning per la classificazione
• Train Convolutional Neural Network for Regression
• Deep Learning in MATLAB
• Compare Activation Layers
• List of Deep Learning Layers