Glossario delle reti neurali superficiali

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

ADALINE: Acronimo per un neurone lineare: ADAptive LINear Element (elemento adattivo lineare).
adattamento: Metodo di addestramento che procede attraverso la sequenza di input specificata, calcolando l’output, l’errore e la regolazione della rete per ogni vettore di input all’interno della sequenza mano a mano che gli input si presentano.
filtro adattivo: Rete che contiene dei ritardi e i cui pesi vengono regolati dopo la presentazione di ogni nuovo vettore di input. La rete si adatta agli eventuali cambiamenti nelle proprietà del segnale di input. Questo tipo di filtro viene utilizzato nelle linee telefoniche a lunga distanza per eliminare l’eco.
velocità di apprendimento adattivo: Velocità di apprendimento, che durante l’addestramento viene adeguata in base a un algoritmo per minimizzare il tempo di addestramento.
architettura: Descrizione del numero dei livelli di una rete neurale, della funzione di trasferimento di ciascun livello, del numero di neuroni per livello e delle connessioni tra livelli.
regola di apprendimento per retropropagazione: Regola di apprendimento in cui i pesi e i bias vengono regolati mediante la retropropagazione di vettori derivati da errore (delta) all’interno della rete. La retropropagazione viene comunemente applicata alle reti con flusso in avanti (feed-forward) multilivello. Questa regola viene talvolta denominata regola delta generalizzata.
ricerca backtracking: Routine di ricerca lineare che inizia con un moltiplicatore di fase di 1 e procede a ritroso fino ad ottenere una riduzione accettabile nella performance.
batch: Matrice di vettori di input (o target) che vengono applicati alla rete contemporaneamente. Le modifiche ai pesi e ai bias della rete si apportano una sola volta per l’intera serie di vettori appartenenti alla matrice di input. (Si sta sostituendo il termine batch con l’espressione più descrittiva “vettori concorrenti”).
batching: Processo di presentazione di un insieme di vettori di input per il calcolo simultaneo di una matrice di vettori di output e/o di nuovi pesi e bias.
Contesto bayesiano: Presuppone che i pesi e i bias della rete siano variabili casuali con distribuzioni specificate.
Algoritmo BFGS quasi Newton: Variazione dell’algoritmo di ottimizzazione di Newton, in cui si ottiene un’approssimazione della matrice hessiana dai gradienti calcolati ad ogni iterazione dell’algoritmo.
bias: Parametro neurale che viene sommato agli input ponderati del neurone e passato attraverso la funzione di trasferimento del neurone per generare l’output del neurone.
vettore bias: Vettore di colonna dei valori di bias per un livello di neuroni.
Metodo di Brent: Ricerca lineare che rappresenta un ibrido tra la ricerca della sezione aurea e un’interpolazione quadratica.
rete cascade-forward: Rete stratificata in cui ogni livello riceve solo gli input dai livelli precedenti.
Ricerca di Charalambous: Ricerca lineare ibrida che utilizza una interpolazione cubica associata a un tipo di sezionamento.
classificazione: Associazione di un vettore di input con un particolare vettore target.
livello competitivo: Livello di neuroni in cui solo il neurone con il massimo input netto ha un output di 1 e tutti gli altri neuroni hanno un output 0. I neuroni competono tra loro per il diritto di rispondere a un determinato vettore di input.
apprendimento competitivo: Addestramento non supervisionato di un livello competitivo con regola instar o regola di Kohonen. I singoli neuroni imparano a diventare rilevatori di caratteristiche (feature detector). Dopo l’addestramento, il livello classifica i vettori di input tra i suoi neuroni.
funzione di trasferimento competitivo: Accetta un vettore di input netto per un livello e restituisce gli output neurali 0 per tutti i neuroni tranne il vincitore, ovvero il neurone associato all’elemento più positivo dell’input netto n.
vettori di output concorrenti: Nome assegnato a una matrice di vettori di input che sono presentati simultaneamente a una rete. Tutti i vettori della matrice vengono utilizzati per apportare un unico insieme di modifiche ai pesi e ai bias.
algoritmo a gradiente coniugato: Negli algoritmi a gradiente coniugato si esegue una ricerca lungo le direzioni coniugate, che generalmente produce una convergenza più veloce rispetto alla ricerca lungo le direzioni di discesa più ripide.
connessione: Collegamento unidirezionale tra i neuroni all’interno di una rete.
forza di connessione: Forza del collegamento tra due neuroni all’interno di una rete. La forza, spesso denominata peso, determina l’effetto che un neurone esercita su un altro.
ciclo: Presentazione singola di un vettore di input, calcolo dell’output e dei nuovi pesi e bias.
neurone morto: Neurone di livello competitivo che non ha mai vinto una competizione durante l’addestramento e pertanto non è diventato un rilevatore di feature utile. I neuroni morti non rispondono a nessun vettore di addestramento.
limite decisionale: Linea, determinata dai vettori di peso e di bias, per cui l’input netto n è zero.
regola delta: Vedi regola di apprendimento di Widrow-Hoff.
vettore delta: Il vettore delta per un livello è la derivata di un errore di output della rete rispetto al vettore di input netto di quel livello.
distanza: Distanza tra neuroni, calcolata a partire dalla loro posizione tramite una funzione distanza.
funzione distanza: Modo particolare di calcolare la distanza, ad esempio la distanza euclidea tra due vettori.
arresto anticipato: Tecnica basata sulla suddivisione dei dati in tre sottoinsiemi. Il primo sottoinsieme è il set di addestramento, utilizzato per calcolare il gradiente e per aggiornare i pesi e i bias della rete. Il secondo sottoinsieme è il set di convalida. Quando l’errore di convalida aumenta per un numero specificato di iterazioni, l’addestramento si interrompe e vengono ripristinati i pesi e i bias al minimo dell’errore di convalida. Il terzo sottoinsieme è il set di test. Si utilizza per verificare la progettazione della rete.
epoca: Presentazione dei set dei vettori di addestramento (di input e/o target) a una rete e calcolo dei nuovi pesi e bias. I vettori di addestramento possono essere presentati singolarmente o tutti insieme come batch.
salto di errore: Aumento improvviso nell’errore di somma al quadrato durante l’addestramento. Spesso è dovuto a una velocità di apprendimento eccessiva.
tasso di errore: Parametro di addestramento utilizzato con la velocità di apprendimento adattivo e l’addestramento con Momentum delle reti con retropropagazione.
vettore di errore: Differenza tra il vettore di output di una rete in risposta a un vettore di output e un vettore di output target associato.
rete di feedback: Rete con connessioni dall’output di un livello all’input di quello stesso livello. La connessione di feedback può essere diretta o passare attraverso vari livelli.
rete feed-forward: Rete stratificata in cui ogni livello riceve solo gli input dai livelli precedenti.
Aggiornamento di Fletcher-Reeves: Metodo per il calcolo di un set di direzioni coniugate. Tali direzioni vengono utilizzate come direzioni di ricerca nell’ambito di una procedura di ottimizzazione a gradiente coniugato.
approssimazione di una funzione: Attività svolta da una rete addestrata a rispondere agli input con un’approssimazione di una funzione desiderata.
generalizzazione: Attributo di una rete il cui output per un nuovo vettore di input tende ad essere vicino agli output dei vettori di input analoghi all’interno del suo set di addestramento.
rete di regressione generalizzata: Approssimazione di una funzione continua ad una precisione arbitraria, dato un numero sufficientemente grande di neuroni nascosti.
minimo globale: Valore minimo di una funzione lungo l’intero range dei suoi parametri di input. I metodi di discesa del gradiente regolano i pesi e i bias per individuare il minimo globale dell’errore per una rete.
ricerca della sezione aurea: Ricerca lineare che non richiede il calcolo della pendenza. L’intervallo contenente il minimo della performance si suddivide ad ogni iterazione della ricerca, e ad ogni iterazione viene eliminata una suddivisione.
discesa del gradiente: Processo di apportazione di modifiche ai pesi e ai bias, in cui le modifiche sono proporzionali alle derivate dell’errore di rete rispetto ai suddetti pesi e bias. Lo scopo della procedura è minimizzare l’errore di rete.
funzione di trasferimento hard-limit: Funzione di trasferimento che mappa gli input uguali o maggiori di 0 a 1, e tutti gli altri valori a 0.
Regola di apprendimento di Hebb: Storicamente è stata la prima regola di apprendimento proposta per i neuroni. I pesi vengono regolati in proporzione al prodotto degli output dei neuroni prima e dopo l’applicazione dei pesi.
livello nascosto: Livello di una rete che non è collegato all’output della rete (ad esempio, il primo livello di una rete feed-forward a due livelli).
neurone home: Neurone al centro di un neighborhood.
ricerca ibrida di bisezione-cubica: Ricerca lineare che combina il metodo di bisezione e l’interpolazione cubica.
inizializzazione: Processo di impostazione dei pesi e dei bias di una rete ai rispettivi valori originali.
livello di input: Livello di neuroni che ricevono gli input direttamente dall’esterno della rete.
spazio di input: Range di tutti i vettori di input possibili.
vettore di input: Vettore presentato alla rete.
vettore di peso di input: Vettore di riga dei pesi diretti verso un neurone.
pesi di input: I pesi che collegano gli input della rete ai livelli.
Matrice Jacobiana: Contiene le prime derivate degli errori di rete rispetto ai pesi e ai bias.
Regola di apprendimento di Kohonen: Regola di apprendimento che addestra i vettori di peso di un neurone selezionato ad assumere i valori del vettore di input corrente.
livello: Gruppo di neuroni che sono collegati agli stessi input e che inviano gli output alle stesse destinazioni.
diagramma livelli: Figura dell’architettura di rete che mostra i livelli e le matrici di peso che li collegano. La funzione di trasferimento di ciascun livello è indicata da un simbolo. Sono inoltre riportate le dimensioni delle matrici di input, output, bias e peso. Non sono invece rappresentati i singoli neuroni e le singole connessioni.
pesi di livello: I pesi che collegano i livelli ad altri livelli. Questi pesi devono avere ritardi non zero se formano una connessione ricorrente (ovvero un loop).
apprendimento: Processo mediante il quale i pesi e i bias vengono regolati per ottenere un determinato comportamento di rete.
velocità di apprendimento: Parametro di addestramento che controlla le dimensioni delle variazioni dei pesi e dei bias durante l’apprendimento.
regola di apprendimento: Metodo di derivazione delle prossime modifiche che potrebbero essere apportate all’interno di una rete o procedura per modificare i pesi e i bias di una rete.
Levenberg-Marquardt: Algoritmo che addestra una rete neurale da 10 a 100 volte più velocemente rispetto al consueto metodo a discesa del gradiente con retropropagazione. Calcola sempre la matrice hessiana approssimata, che ha le dimensioni n x n.
funzione di ricerca lineare: Procedura di ricerca lungo una determinata direzione di ricerca (linea) per individuare il minimo della performance della rete.
funzione di trasferimento lineare: Funzione di trasferimento che produce i propri input come i propri output.
distanza di collegamento: Numero di collegamenti, o fasi, da compiere per arrivare al neurone desiderato.
minimo locale: Minimo di una funzione all’interno di un range limitato di valori di input. Un minimo locale potrebbe non coincidere con il minimo globale.
funzione di trasferimento a sigmoide logaritmica: Funzione di schiacciamento della forma rappresentata sotto che mappa l’input all’intervallo (0,1). (La funzione toolbox è logsig).
$f (n) = \frac{1}{1 + e^{- n}}$
Distanza di Manhattan: La distanza di Manhattan tra i due vettori x e y si calcola come
D = sum(abs(x-y))
aumento massimo della performance: Aumento massimo consentito per la performance in un’unica iterazione dell’algoritmo di addestramento con velocità di apprendimento variabile.
dimensioni massime di fase: Dimensioni massime di fase consentite durante una ricerca lineare. La grandezza del vettore di peso non può aumentare più delle sue dimensioni massime di fase in un’unica iterazione di un algoritmo di addestramento.
funzione di errore quadratico medio: Funzione di performance che calcola l’errore quadratico medio tra gli output di rete a e gli output target t.
momento: Tecnica spesso utilizzata per limitare le probabilità che una rete con retropropagazione rimanga intrappolata in un minimo superficiale.
costante di momento: Parametro di addestramento che controlla quanto momento viene utilizzato.
parametro mu: Valore iniziale per il µ scalare.
neighborhood: Gruppo di neuroni che si trova entro una distanza specificata da un neurone particolare. Il neighborhood è specificato dagli indici di tutti i neuroni che si trovano all’interno di un raggio d dal neurone vincente i*:
Ni(d) = {j,d_ij ≤ d}
vettore di input netto: Combinazione, all’interno di un livello, di tutti i vettori di input ponderati del livello con il relativo bias.
neurone: Elemento di elaborazione di base di una rete neurale. Comprende pesi e bias, una giunzione sommatoria e una funzione di trasferimento di output. I neuroni artificiali, come quelli simulati e addestrati con questo toolbox, sono astrazioni di neuroni biologici.
diagramma neuronale: Figura dell’architettura di rete che mostra i neuroni e i pesi che li collegano. La funzione di trasferimento di ciascun neurone è indicata da un simbolo.
fase di ordinamento: Periodo di addestramento durante il quale i pesi dei neuroni devono ordinarsi all’interno dello spazio di input in modo coerente rispetto alle posizioni dei neuroni a cui sono associati.
livello di output: Livello il cui output viene passato al mondo esterno alla rete.
vettore di output: Output di una rete neurale. Ogni elemento del vettore di output è l’output di un neurone.
vettore di peso di output: Vettore di colonna dei pesi provenienti da un neurone o da un input. (Vedi anche regola di apprendimento outstar).
regola di apprendimento outstar: Regola di apprendimento che addestra il vettore di peso di output (o di input) di un neurone ad assumere i valori del vettore di output corrente del livello dopo l’applicazione del peso. Le variazioni nei pesi sono proporzionali all’output del neurone.
overfitting: Caso in cui l’errore del set di addestramento è condotto ad un valore molto piccolo, ma diventa grande quando vengono presentati nuovi dati alla rete.
passaggio: Ogni traversa che passa per tutti i vettori di input e target di addestramento.
pattern: Un vettore.
associazione di pattern: Attività svolta da una rete addestrata a rispondere con il vettore di output corretto per ciascun vettore di input presentato.
pattern recognition: Attività svolta da una rete addestrata a rispondere quando viene presentato un vettore di input vicino a un vettore appreso. La rete “riconosce” l’input come uno dei vettori target originali.
perceptron: Rete a livello singolo con una funzione di trasferimento hard-limit. Questa rete viene spesso addestrata con la regola di apprendimento Perceptron.
regola di apprendimento perceptron: Regola di apprendimento per addestrare reti a livello singolo con funzione di trasferimento hard-limit. Garantisce come risultato una rete perfettamente funzionante in un periodo di tempo finito, dato che la rete è in grado di farlo.
performance: Comportamento di una rete.
funzione di performance: Comunemente, l’errore quadratico medio degli output della rete. Tuttavia, il toolbox tiene in considerazione anche altre funzioni di performance. Digitare help nnperformance per un elenco delle funzioni di performance.
Aggiornamento di Polak-Ribiére: Metodo per il calcolo di un set di direzioni coniugate. Tali direzioni vengono utilizzate come direzioni di ricerca nell’ambito di una procedura di ottimizzazione a gradiente coniugato.
funzione di trasferimento lineare positiva: Funzione di trasferimento che produce un output zero per input negativi e un output uguale all’input per gli input positivi.
post-elaborazione: Ritrasforma gli output normalizzati nelle stesse unità che sono state utilizzate per i target originali.
Powell-Beale restarts: Metodo per il calcolo di un set di direzioni coniugate. Tali direzioni vengono utilizzate come direzioni di ricerca nell’ambito di una procedura di ottimizzazione a gradiente coniugato. Inoltre, questa procedura ripristina periodicamente la direzione di ricerca al negativo del gradiente.
pre-elaborazione: Trasformazione dei dati di input o target prima della loro presentazione alla rete neurale.
analisi dei componenti principali: Ortogonalizzazione dei componenti dei vettori di input della rete. Questa procedura è anche in grado di ridurre le dimensioni dei vettori di input eliminando i componenti ridondanti.
Algoritmo quasi Newton: Classe di algoritmo di ottimizzazione basato sul metodo di Newton. Una matrice hessiana approssimata viene calcolata ad ogni iterazione dell’algoritmo sulla base dei gradienti.
reti a base radiale: Rete neurale che può essere progettata direttamente inserendo speciali elementi di risposta nei punti in cui daranno i migliori risultati.
funzione di trasferimento a base radiale: La funzione di trasferimento per un neurone a base radiale è
$r a d b a s (n) = e^{- n^{2}}$
regolarizzazione: Modifica della funzione di performance, che normalmente si decide di far coincidere con la somma dei quadrati degli errori di rete nel set di addestramento, tramite la somma di una frazione dei quadrati dei pesi della rete.
retropropagazione resiliente: Algoritmo di addestramento che elimina l’effetto dannoso di avere una pendenza ridotta alle estremità delle funzioni di trasferimento con schiacciamento sigmoidali.
funzione di trasferimento lineare saturante: Funzione che è lineare nell’intervallo (-1,+1) e che satura al di fuori di questo intervallo a -1 o +1. (La funzione toolbox è satlin).
algoritmo a gradiente coniugato scalato: Evita la lunga ricerca lineare dell’algoritmo a gradiente coniugato standard.
vettori di input sequenziali: Insieme di vettori che devono essere presentati a una rete in sequenza, uno dopo l’altro. I pesi e i bias della rete vengono regolati alla presentazione di ciascun vettore di input.
parametro sigma: Determina la variazione nel peso per il calcolo della matrice hessiana approssimata nell’algoritmo a gradiente coniugato scalato.
sigmoide: Funzione monotona a forma di S che mappa i numeri nell’intervallo (-∞,∞) ad un intervallo finito, ad esempio (-1,+1) o (0,1).
simulazione: Prende l’input di rete p e l’oggetto di rete net e restituisce gli output della rete a.
costante distribuita: Distanza alla quale deve trovarsi un vettore di input dal vettore di peso di un neurone per produrre un output di 0,5.
funzione di schiacciamento: Funzione monotona crescente che prende i valori di input tra -∞ e +∞ e restituisce valori in un intervallo finito.
regola di apprendimento star: Regola di apprendimento che addestra il vettore di peso di un neurone ad assumere i valori del vettore di input corrente. Le variazioni nei pesi sono proporzionali all’output del neurone.
errore di somma al quadrato: Somma delle differenze al quadrato tra i target della rete e gli output effettivi per un determinato vettore di input o insieme di vettori.
apprendimento supervisionato: Processo di apprendimento in cui le modifiche nei pesi e bias di una rete sono dovute all’intervento di un insegnante esterno. Generalmente, l’insegnante fornisce i target degli output.
funzione di trasferimento hard-limit simmetrica: Trasferimento che mappa gli input maggiori o uguali a 0 a +1 e tutti gli altri valori a -1.
funzione di trasferimento lineare saturante simmetrica: Produce l’input come il proprio output a condizione che l’input sia entro il range da -1 a 1. Al di fuori di questo range l’output è rispettivamente -1 e +1.
funzione di trasferimento tan-sigmoidale: Funzione di schiacciamento della forma rappresentata sotto che mappa l’input nell’intervallo (-1,1). (La funzione toolbox è tansig).
$f (n) = \frac{1}{1 + e^{- n}}$
tapped delay line: Insieme sequenziale di ritardi con output disponibili ad ogni output di ritardo.
vettore target: Vettore di output desiderato per un determinato vettore di input.
vettori di test: Insieme di vettori di input (non utilizzati direttamente nell’addestramento) che si utilizzano per testare la rete addestrata.
funzioni di topologia: Modalità di disposizione dei neuroni all’interno di una topologia a griglia, a scatola, esagonale o casuale.
addestramento: Procedura mediante la quale una rete viene regolata per eseguire un compito particolare. Comunemente considerato un compito offline, a differenza di una regolazione effettuata durante ogni intervallo di tempo, in quanto avviene in un addestramento adattivo.
vettore di addestramento: Vettore di input e/o target utilizzato per addestrare una rete.
funzione di trasferimento: Funzione che mappa l’output netto n di un neurone (o di un livello) al suo output effettivo.
fase di sincronizzazione: Periodo dell’addestramento SOFM durante il quale si prevede che i pesi si distribuiscano in modo relativamente uniforme sullo spazio di input pur mantenendo l’ordine topologico che hanno trovato durante la fase di ordinamento.
sistema sottodeterminato: Sistema che ha più variabili che vincoli.
apprendimento senza supervisione: Processo di apprendimento in cui le modifiche nei pesi e bias di una rete non sono dovute all’intervento di un insegnante esterno. Generalmente le modifiche sono una funzione degli attuali vettori di input della rete, dei vettori di output, nonché dei pesi e bias precedenti.
aggiornamento: Apportazione di una modifica nei pesi e nei bias. L’aggiornamento può avvenire dopo la presentazione di un singolo vettore di input o dopo che si siano accumulate le modifiche su svariati vettori di input.
vettori di convalida: Insieme di vettori di input (non utilizzati direttamente nell’addestramento) che si utilizzano per monitorare i progressi dell’addestramento così da preservare la rete dall’overfitting.
funzione ponderale: Le funzioni ponderali applicano i pesi a un input per ottenere input ponderati secondo quanto specificato da una funzione particolare.
matrice ponderale: Matrice contenente le forze di connessione dagli input di un livello ai suoi neuroni. L’elemento w_i,jdi una matrice ponderale W si riferisce alla forza di connessione dall’input j al neurone i.
vettore di input ponderato: Risultato dell’applicazione di un peso ad un input del livello, sia che si tratti di un input della rete che dell’output di un altro livello.
Regola di apprendimento di Widrow-Hoff: Regola di apprendimento utilizzata per addestrare reti lineari ad un solo livello. Questa regola è il predecessore della regola di retropropagazione e viene talvolta denominata regola delta.