softmaxLayer

Livello softmax

Descrizione

Un livello softmax applica una funzione softmax all’input.

Creazione

Sintassi

layer = softmaxLayer

layer = softmaxLayer(Name=name)

Descrizione

layer = softmaxLayer crea un livello softmax.

layer = softmaxLayer(Name=name) crea un livello softmax e imposta la proprietà opzionale Name utilizzando una coppia nome-valore. Ad esempio, softmaxLayer(Name="sm1") crea un livello softmax con il nome "sm1".

Proprietà

Name — Nome del livello

'' (predefinito) | vettore di carattere

Nome del livello, specificato come vettore di caratteri. Per l'input dell'array di Layer, le funzioni trainnet e dlnetwork assegnano automaticamente i nomi ai livelli senza nome.

Tipi di dati: char

NumInputs — Numero di input

Sola lettura: 1 (predefinito)

proprietà è di sola lettura.

Numero di input al livello, memorizzato come 1. Questo livello accetta solo un input singolo.

Tipi di dati: double

InputNames — Nomi di input

Sola lettura: {'in'} (predefinito)

proprietà è di sola lettura.

Nomi di input, memorizzati come {'in'}. Questo livello accetta solo un input singolo.

Tipi di dati: cell

NumOutputs — Numero di output

Sola lettura: 1 (predefinito)

proprietà è di sola lettura.

Numero di output dal livello, memorizzato come 1. Questo livello ha solo un output singolo.

Tipi di dati: double

OutputNames — Nomi di output

Sola lettura: {'out'} (predefinito)

proprietà è di sola lettura.

Nomi di output, memorizzati come {'out'}. Questo livello ha solo un output singolo.

Tipi di dati: cell

Esempi

Creazione di un livello softmax

Creare un livello softmax con il nome "sm1".

layer = softmaxLayer(Name="sm1")

layer = 
  SoftmaxLayer with properties:

    Name: 'sm1'

Includere un livello softmax in un array di Layer.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6×1 Layer array with layers:

     1   ''   Image Input       28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5×5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU              ReLU
     4   ''   2-D Max Pooling   2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   Fully connected layer with output size 10
     6   ''   Softmax           Softmax

Algoritmi

Livello softmax

Un livello softmax applica una funzione softmax all’input.

Per i problemi di classificazione, un livello softmax e un seguente livello di classificazione seguono usualmente il livello finale completamente connesso.

La funzione di attivazione dell'unità di output è la funzione softmax:

$$y_r\left(x\right)=\frac{\exp \left(a_r\left(x\right)\right)}{{\displaystyle \sum _{j=1}^k\exp \left(a_j\left(x\right)\right)}},$$

dove $$0\le y_r\le 1$$ e $${\displaystyle \sum _{j=1}^k{y}_j=1}$$.

La funzione softmax è la funzione di attivazione dell’unità di output dopo l’ultimo livello completamente connesso per i problemi di classificazione multiclasse:

$$P\left(c_r|x,\theta \right)=\frac{P\left(x,\theta |c_r\right)P\left(c_r\right)}{{\displaystyle \sum _{j=1}^{k}P\left(x,\theta |c_j\right)P\left(c_j\right)}}=\frac{\exp \left(a_r\left(x,\theta \right)\right)}{{\displaystyle \sum _{j=1}^k\exp \left(a_j\left(x,\theta \right)\right)}},$$

dove $$0\le P\left(c_r|x,\theta \right)\le 1$$ e $${\displaystyle \sum _{j=1}^{k}P\left(c_j|x,\theta \right)=1}$$. Inoltre, $$a_r=\ln \left(P\left(x,\theta |c_r\right)P\left(c_r\right)\right)$$, $$P\left(x,\theta |c_r\right)$$ è la probabilità condizionata del campione data la classe r e $$P\left(c_r\right)$$ è la probabilità antecedente della classe.

La funzione softmax è nota anche come l’esponenziale normalizzata e può essere considerata la generalizzazione multiclasse della funzione sigmoidea logistica [1].

Formati dei livelli di input e di output

La maggior parte dei livelli in un array di livelli o in un grafico a livelli trasferisce i dati ai livelli successivi come oggetti formattati dlarray. Il formato di un oggetto dlarray è una stringa di caratteri in cui ogni carattere descrive la dimensione corrispondente dei dati. Il formato è costituito da uno o più dei seguenti caratteri:

• "S": spaziale

• "C": canale

• "B": batch

• "T": tempo

• "U": non specificato

Ad esempio, è possibile descrivere i dati di immagini bidimensionali che sono rappresentati come un array quadridimensionale, dove le prime due dimensioni corrispondono alle dimensioni spaziali delle immagini, la terza dimensione corrisponde ai canali delle immagini e la quarta dimensione corrisponde alla dimensione del batch come se avessero il formato "SSCB" (spaziale, spaziale, canale, batch).

È possibile interagire con questi oggetti dlarray nei workflow a differenziazione automatica, come quelli per:

• lo sviluppo di un livello personalizzato

• l'utilizzo di un oggetto functionLayer

• l'utilizzo delle funzioni forward e predict con gli oggetti dlnetwork

Questa tabella mostra i formati di input supportati per gli oggetti SoftmaxLayer e il corrispondente formato di output. Se il software trasferisce l'output del livello a un livello personalizzato che non eredita dalla classe nnet.layer.Formattable o a un oggetto FunctionLayer con la proprietà Formattable impostata su 0 (false), il livello riceve un oggetto dlarray non formattato le cui dimensioni sono ordinate secondo i formati di questa tabella. I formati qui elencati rappresentano solo un sottoinsieme dei formati supportati dal livello. Il livello potrebbe supportare altri formati, ad esempio formati con ulteriori dimensioni "S" (spaziali) o "U" (non specificate).

Formato di input	Formato di output
"CB" (canale, batch)	"CB" (canale, batch)
"SCB" (spaziale, canale, batch)	"SCB" (spaziale, canale, batch)
"SSCB" (spaziale, spaziale, canale, batch)	"SSCB" (spaziale, spaziale, canale, batch)
"SSSCB" (spaziale, spaziale, spaziale, canale, batch)	"SSSCB" (spaziale, spaziale, spaziale, canale, batch)
"CBT" (canale, batch, tempo)	"CBT" (canale, batch, tempo)
"SCBT" (spaziale, canale, batch, tempo)	"SCBT" (spaziale, canale, batch, tempo)
"SSCBT" (spaziale, spaziale, canale, batch, tempo)	"SSCBT" (spaziale, spaziale, canale, batch, tempo)
"SSSCBT" (spaziale, spaziale, spaziale, canale, batch, tempo)	"SSSCBT" (spaziale, spaziale, spaziale, canale, batch, tempo)
"CU" (canale, non specificato)	"CU" (canale, non specificato)
"SC" (spaziale, canale)	"SC" (spaziale, canale)
"SSC" (spaziale, spaziale, canale)	"SSC" (spaziale, spaziale, canale)
"SSSC" (spaziale, spaziale, spaziale, canale)	"SSSC" (spaziale, spaziale, spaziale, canale)

Negli oggetti dlnetwork, gli oggetti SoftmaxLayer supportano inoltre queste combinazioni di formato input-output.

Formato di input	Formato di output
"CT" (canale, tempo)	"CT" (canale, tempo)
"SCT" (spaziale, canale, tempo)	"SCT" (spaziale, canale, tempo)
"SSCT" (spaziale, spaziale, canale, tempo)	"SSCT" (spaziale, spaziale, canale, tempo)
"SSSCT" (spaziale, spaziale, spaziale, canale, tempo)	"SSSCT" (spaziale, spaziale, spaziale, canale, tempo)

Riferimenti

[1] Bishop, C. M. Pattern Recognition and Machine Learning. Springer, New York, NY, 2006.

Funzionalità estese

Generazione di codice C/C++
Genera codice C e C++ con MATLAB® Coder™.

Generazione di codice GPU
Genera codice CUDA® per GPU NVIDIA® con GPU Coder™.

Cronologia versioni

Introdotto in R2016a

Vedi anche

trainnet | trainingOptions | dlnetwork | convolution2dLayer | fullyConnectedLayer | exportNetworkToSimulink | Softmax Layer

Argomenti

• Creazione di una rete neurale semplice di Deep Learning per la classificazione
• Addestramento della rete neurale convoluzionale per la regressione
• Deep Learning in MATLAB
• List of Deep Learning Layers