softmaxLayer

Livello softmax

Descrizione

Un livello softmax applica una funzione softmax all’input.

Creazione

Sintassi

layer = softmaxLayer

layer = softmaxLayer('Name',Name)

Descrizione

layer = softmaxLayer crea un livello softmax.

layer = softmaxLayer('Name',Name) crea un livello softmax e imposta la proprietà opzionale Name utilizzando una coppia nome-valore. Ad esempio, softmaxLayer('Name','sm1') crea un livello softmax con il nome 'sm1'. Racchiudere il nome della proprietà tra virgolette singole.

Proprietà

Name — Nome del livello

"" (predefinito) | vettore di carattere | scalare di stringa

Nome del livello, specificato come un vettore di carattere o uno scalare di stringa. Per l'input dell'array di Layer, le funzioni trainnet e dlnetwork assegnano automaticamente i nomi ai livelli con il nome "".

L'oggetto SoftmaxLayer memorizza questa proprietà come vettore di carattere.

Tipi di dati: char | string

NumInputs — Numero di input

1 (predefinito)

proprietà è di sola lettura.

Numero di input al livello, restituito come 1. Questo livello accetta solo un input singolo.

Tipi di dati: double

InputNames — Nomi di input

{'in'} (predefinito)

proprietà è di sola lettura.

Nomi di input, restituiti come {'in'}. Questo livello accetta solo un input singolo.

Tipi di dati: cell

NumOutputs — Numero di output

1 (predefinito)

proprietà è di sola lettura.

Numero di output dal livello, restituito come 1. Questo livello ha solo un output singolo.

Tipi di dati: double

OutputNames — Nomi di output

{'out'} (predefinito)

proprietà è di sola lettura.

Nomi di output, restituiti come {'out'}. Questo livello ha solo un output singolo.

Tipi di dati: cell

Esempi

Creazione di un livello softmax

Creare un livello softmax con il nome 'sm1'.

layer = softmaxLayer('Name','sm1')

layer = 
  SoftmaxLayer with properties:

    Name: 'sm1'

Includere un livello softmax in un array di Layer.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  7x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   2-D Convolution         20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                    ReLU
     4   ''   2-D Max Pooling         2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected         10 fully connected layer
     6   ''   Softmax                 softmax
     7   ''   Classification Output   crossentropyex

Algoritmi

Livello softmax

Un livello softmax applica una funzione softmax all’input.

Per i problemi di classificazione, un livello softmax e un seguente livello di classificazione seguono usualmente il livello finale completamente connesso.

La funzione di attivazione dell'unità di output è la funzione softmax:

$$y_r\left(x\right)=\frac{\exp \left(a_r\left(x\right)\right)}{{\displaystyle \sum _{j=1}^k\exp \left(a_j\left(x\right)\right)}},$$

dove $$0\le y_r\le 1$$ e $${\displaystyle \sum _{j=1}^k{y}_j=1}$$.

La funzione softmax è la funzione di attivazione dell’unità di output dopo l’ultimo livello completamente connesso per i problemi di classificazione multiclasse:

$$P\left(c_r|x,\theta \right)=\frac{P\left(x,\theta |c_r\right)P\left(c_r\right)}{{\displaystyle \sum _{j=1}^{k}P\left(x,\theta |c_j\right)P\left(c_j\right)}}=\frac{\exp \left(a_r\left(x,\theta \right)\right)}{{\displaystyle \sum _{j=1}^k\exp \left(a_j\left(x,\theta \right)\right)}},$$

dove $$0\le P\left(c_r|x,\theta \right)\le 1$$ e $${\displaystyle \sum _{j=1}^{k}P\left(c_j|x,\theta \right)=1}$$. Inoltre, $$a_r=\ln \left(P\left(x,\theta |c_r\right)P\left(c_r\right)\right)$$, $$P\left(x,\theta |c_r\right)$$ è la probabilità condizionata del campione data la classe r e $$P\left(c_r\right)$$ è la probabilità antecedente della classe.

La funzione softmax è nota anche come l’esponenziale normalizzata e può essere considerata la generalizzazione multiclasse della funzione sigmoidea logistica [1].

Formati dei livelli di input e di output

I livelli in un array di livelli o in un grafico a livelli trasferiscono i dati ai livelli successivi come oggetti formattati dlarray. Il formato di un oggetto dlarray è una stringa di caratteri in cui ogni carattere descrive la dimensione corrispondente dei dati. I formati sono costituiti da uno o più dei seguenti caratteri:

• "S": spaziale

• "C": canale

• "B": batch

• "T": tempo

• "U": non specificato

Ad esempio, i dati di immagini bidimensionali che sono rappresentati come un array quadridimensionale, dove le prime due dimensioni corrispondono alle dimensioni spaziali delle immagini, la terza dimensione corrisponde ai canali delle immagini e la quarta dimensione corrisponde alla dimensione del batch, possono essere descritti come se avessero il formato "SSCB" (spaziale, spaziale, canale, batch).

È possibile interagire con questi oggetti dlarray nei workflow a differenziazione automatica, come quelli per lo sviluppo di un livello personalizzato, utilizzando un oggetto functionLayer o utilizzando le funzioni forward e predict con gli oggetti dlnetwork.

Questa tabella mostra i formati di input supportati per gli oggetti SoftmaxLayer e il corrispondente formato di output. Se il software trasferisce l'output del livello a un livello personalizzato che non eredita dalla classe nnet.layer.Formattable o a un oggetto FunctionLayer con la proprietà Formattable impostata su 0 (false), il livello riceve un oggetto dlarray non formattato le cui dimensioni sono ordinate secondo i formati di questa tabella. I formati elencati sono solo un sottoinsieme. Il livello può supportare altri formati, ad esempio formati con ulteriori dimensioni "S" (spaziali) o "U" (non specificate).

Formato di input	Formato di output
"CB" (canale, batch)	"CB" (canale, batch)
"SCB" (spaziale, canale, batch)	"SCB" (spaziale, canale, batch)
"SSCB" (spaziale, spaziale, canale, batch)	"SSCB" (spaziale, spaziale, canale, batch)
"SSSCB" (spaziale, spaziale, spaziale, canale, batch)	"SSSCB" (spaziale, spaziale, spaziale, canale, batch)
"CBT" (canale, batch, tempo)	"CBT" (canale, batch, tempo)
"SCBT" (spaziale, canale, batch, tempo)	"SCBT" (spaziale, canale, batch, tempo)
"SSCBT" (spaziale, spaziale, canale, batch, tempo)	"SSCBT" (spaziale, spaziale, canale, batch, tempo)
"SSSCBT" (spaziale, spaziale, spaziale, canale, batch, tempo)	"SSSCBT" (spaziale, spaziale, spaziale, canale, batch, tempo)
"CU" (canale, non specificato)	"CU" (canale, non specificato)
"SC" (spaziale, canale)	"SC" (spaziale, canale)
"SSC" (spaziale, spaziale, canale)	"SSC" (spaziale, spaziale, canale)
"SSSC" (spaziale, spaziale, spaziale, canale)	"SSSC" (spaziale, spaziale, spaziale, canale)

Negli oggetti dlnetwork, gli oggetti SoftmaxLayer supportano inoltre queste combinazioni di formato input-output.

Formato di input	Formato di output
"CT" (canale, tempo)	"CT" (canale, tempo)
"SCT" (spaziale, canale, tempo)	"SCT" (spaziale, canale, tempo)
"SSCT" (spaziale, spaziale, canale, tempo)	"SSCT" (spaziale, spaziale, canale, tempo)
"SSSCT" (spaziale, spaziale, spaziale, canale, tempo)	"SSSCT" (spaziale, spaziale, spaziale, canale, tempo)

Riferimenti

[1] Bishop, C. M. Pattern Recognition and Machine Learning. Springer, New York, NY, 2006.

Funzionalità estese

Generazione di codice C/C++
Genera codice C e C++ con MATLAB® Coder™.

Generazione di codice GPU
Genera codice CUDA® per GPU NVIDIA® con GPU Coder™.

Cronologia versioni

Introdotto in R2016a

Vedi anche

trainnet | trainingOptions | dlnetwork | convolution2dLayer | fullyConnectedLayer

Argomenti

• Creazione di una rete neurale semplice di Deep Learning per la classificazione
• Train Convolutional Neural Network for Regression
• Deep Learning in MATLAB
• List of Deep Learning Layers