Capitolo 4

Applicazione dell’apprendimento con supervisione

Quando prendere in considerazione l’apprendimento con supervisione

Un algoritmo di apprendimento con supervisione usa un set noto di dati di input (set di apprendimento) e di risposte ai dati note (output) e addestra un modello per generare previsioni ragionevoli in merito alla risposta a nuovi dati di input. Usa l’apprendimento con supervisione se disponi di dati esistenti relativi all’output che stai cercando di prevedere.

Tutte le tecniche di apprendimento con supervisione sono una forma di classificazione o di regressione.

Le tecniche di classificazione prevedono risposte discrete, ad esempio se un’email è autentica o è spam oppure se un tumore ha dimensioni piccole, medie o grandi. I modelli di classificazione vengono addestrati per classificare i dati in categorie. Tra le applicazioni compaiono la diagnostica per immagini, il riconoscimento vocale e la valutazione del credito.

Le tecniche di regressione prevedono risposte continue, ad esempio cambi di temperatura o fluttuazioni della domanda di energia elettrica. Tra le applicazioni compaiono la previsione dei prezzi delle azioni, il riconoscimento di testo scritto a mano e l’elaborazione di segnali acustici.

Selezione dell’algoritmo più adatto

Come abbiamo visto nel capitolo 1, per selezionare un algoritmo di Machine Learning è necessario passare per un apprendimento di tentativi ed errori. Si tratta inoltre di trovare il giusto compromesso tra caratteristiche specifiche dell’algoritmo, quali:

  • Velocità di addestramento
  • Utilizzo della memoria 
  • Precisione delle previsioni su dati nuovi
  • Trasparenza o interpretabilità (facilità con cui si è in grado di comprendere i motivi per cui un algoritmo fa determinate previsioni)

Algoritmi di classificazione comuni

  • Regressione logistica

    COME FUNZIONA
    Si adatta a un modello in grado di prevedere la probabilità con cui una risposta binaria appartiene a una classe o all’altra. Per la sua semplicità, in genere la regressione logistica viene utilizzata come punto di partenza per i problemi di classificazione binaria.

    SOLUZIONE MIGLIORE...

    • Quando i dati possono essere separati chiaramente da un unico confine lineare
    • Come base per valutare metodi di classificazione più complessi
    Rappresentazione grafica generica di un esempio di regressione logistica

  • k-Nearest Neighbor (kNN)

    COME FUNZIONA
    Il kNN categorizza gli oggetti in base alle classi degli elementi più vicini (nearest neighbor) nel set di dati. Le previsioni con kNN presuppongono che gli oggetti vicini siano simili tra loro. Per trovare il nearest neighbor vengono utilizzate metriche di distanza, come la distanza euclidea, city-block, del coseno e di Chebyshev.

    SOLUZIONE MIGLIORE...

    • Quando si ha bisogno di un algoritmo semplice per determinare regole di apprendimento di riferimento
    • Quando l’utilizzo della memoria del modello addestrato non è fondamentale
    • Quando la velocità di previsione del modello addestrato non è fondamentale
    Rappresentazione grafica generica di un k nearest neighbor

  • Macchina a vettori di supporto (SVM)

    COME FUNZIONA
    Classifica i dati trovando il confine lineare di decisione (iperpiano) che separa tutti i punti di dati di una classe da quelli dell’altra classe. L’iperpiano migliore per una SVM è quello con il margine più ampio tra le due classi, quando i dati sono linearmente separabili. Se i dati non sono linearmente separabili, si utilizza una funzione di perdita per penalizzare i punti che si trovano sul lato sbagliato dell’iperpiano. Talvolta le SVM usano una trasformata kernel per trasformare i dati non separabili linearmente in dimensioni maggiori in cui sia possibile individuare un confine lineare di decisione.

    SOLUZIONE MIGLIORE...

    • Per i dati che hanno esattamente due classi (si può usare anche per la classificazione multi-classe con una tecnica chiamata ECOC, ovvero codici a correzione di errore)
    • Per dati di grandi dimensioni, che non possono essere separati linearmente
    • Quando occorre un classificatore semplice, facile da interpretare e accurato
    Rappresentazione grafica generica di una macchina a vettori di supporto

  • Rete neurale

    COME FUNZIONA
    Ispirata al cervello umano, una rete neurale è costituita da reti di neuroni altamente connessi che mettono in correlazione gli input agli output desiderati. La rete viene addestrata modificando in modo iterativo la forza delle connessioni in modo tale che determinati input si colleghino alla risposta corretta.

    SOLUZIONE MIGLIORE...

    • Per la modellazione di sistemi altamente non lineari
    • Quando i dati sono disponibili in modo incrementale e si desidera aggiornare con costanza il modello
    • Quando i dati di input potrebbero subire modifiche impreviste
    • Quando l’interpretabilità dei modelli non è un fattore determinante
    Rappresentazione grafica generica di una rete neurale

  • Naive Bayes

    COME FUNZIONA
    Un classificatore naive Bayes presuppone che la presenza di una particolare feature in una classe non sia correlata alla presenza di nessun’altra feature. Classifica i dati nuovi in base alla probabilità più alta che appartengano a una particolare classe.

    SOLUZIONE MIGLIORE...

    • Per un set di dati di piccole dimensioni che contiene molti parametri
    • Quando occorre un classificatore facile da interpretare
    • Quando il modello si troverà in scenari che non erano presenti nei dati di addestramento, come nel caso di molte applicazioni mediche e finanziarie
    Rappresentazione grafica generica di un modello naive Bayes

  • Analisi discriminante

    COME FUNZIONA
    L’analisi discriminante classifica i dati trovando combinazioni di feature lineari. L’analisi discriminante presuppone che classi diverse generino dati in base a distribuzioni gaussiane. Per addestrare un modello di analisi discriminante occorre trovare i parametri di una distribuzione gaussiana per ciascuna classe. I parametri delle distribuzioni vengono utilizzati per calcolare i confini, che possono essere funzioni lineari o quadratiche. Tali confini vengono usati per determinare la classe dei nuovi dati.

    SOLUZIONE MIGLIORE...

    • Quando occorre un modello semplice e facile da interpretare
    • Quando l’utilizzo di memoria durante l’addestramento è un aspetto importante
    • Quando occorre un modello facile da prevedere
    Rappresentazione grafica generica di un modello di analisi discriminante

  • Albero di decisione

    COME FUNZIONA
    Un albero di decisione consente di prevedere risposte ai dati seguendo le decisioni nell’albero dalla radice (inizio) fino a un nodo foglia. Gli alberi sono costituiti da condizioni di diramazione in cui il valore di un predittore viene confrontato con un peso addestrato. Il numero di ramificazioni e i valori dei pesi sono determinati nel processo di addestramento. Una modifica aggiuntiva, o pruning, può essere utilizzata per semplificare il modello.

    SOLUZIONE MIGLIORE...

    • Quando occorre un algoritmo facile da interpretare e veloce da adattare
    • Per ridurre al minimo l’utilizzo di memoria
    • Quando non occorre un’elevata precisione delle previsioni
    Rappresentazione grafica generica di un albero di decisione

  • Alberi di decisione con bagging e boosting

    COME FUNZIONA
    In questi metodi d’insieme, diversi alberi decisionali “più deboli” vengono uniti per creare un insieme “più forte”.

    Un albero di decisione con bagging è costituito da alberi che vengono addestrati in modo indipendente su dati aggregati tramite bootstrap dai dati di input.

    Il boosting prevede la creazione di un learner forte aggiungendo iterativamente learner “deboli” e regolando il peso di ciascun learner debole per focalizzarsi su esempi di classificazione errata.

    SOLUZIONE MIGLIORE...

    • Quando i predittori sono categorici (discreti) o si comportano in modo non lineare
    • Quando il tempo necessario per l’addestramento di un modello non è un fattore determinante
    Rappresentazione grafica generica di alberi di decisione con bagging e boosting

Algoritmi di regressione comuni

  • Regressione lineare

    COME FUNZIONA
    La regressione lineare è una tecnica di modellazione statistica usata per descrivere una variabile di risposta continua come una funzione lineare di una o più variabili di predittori. Poiché i modelli di regressione lineare sono semplici da interpretare e facili da addestrare, spesso sono i primi modelli a essere adattati a un nuovo set di dati.

    SOLUZIONE MIGLIORE...

    • Quando occorre un algoritmo facile da interpretare e veloce da adattare
    • Come base per valutare altri modelli di regressione, più complessi
    Rappresentazione grafica generica di una regressione lineare

  • Regressione non lineare

    COME FUNZIONA
    La regressione non lineare è una tecnica di modellazione statistica che aiuta a descrivere le relazioni non lineari nei dati sperimentali. In genere si presuppone che i modelli di regressione non lineare siano parametrici e il modello è descritto come un’equazione non lineare.

    Per “non lineare” si intende una funzione di fitting che è una funzione non lineare dei parametri. Ad esempio, se i parametri di fitting sono b0, b1 e b2: l’equazione y = b0+b1x+b2x2 è una funzione lineare dei parametri di fitting, mentre y = (b0xb1)/(x+b2) è una funzione non lineare dei parametri di fitting.

    SOLUZIONE MIGLIORE...

    • Quando i dati hanno forti tendenze non lineari e non possono essere facilmente trasformati in uno spazio lineare
    • Per il fitting sui dati di modelli personalizzati
    Rappresentazione grafica generica di una regressione non lineare

  • Modello di regressione del processo gaussiano

    COME FUNZIONA
    I modelli di regressione del processo gaussiano (GPR) sono modelli non parametrici che vengono utilizzati per prevedere il valore di una variabile di risposta continua. Sono ampiamente utilizzati nel campo dell’analisi spaziale per l’interpolazione in presenza di incertezza. Il metodo GPR è chiamato anche Kriging.

    SOLUZIONE MIGLIORE...

    • Per l’interpolazione di dati spaziali, come i dati idrogeologici per la distribuzione dell’acqua del sottosuolo
    • Come modello surrogato per facilitare l’ottimizzazione di progetti complessi, come i motori per il settore automotive
    Rappresentazione grafica generica di un modello di regressione del processo gaussiano

  • Regressione SVM

    COME FUNZIONA
    Gli algoritmi di regressione SVM funzionano come gli algoritmi di classificazione SVM, ma vengono modificati in modo da poter prevedere una risposta continua. Invece di trovare un iperpiano che separa i dati, gli algoritmi di regressione SVM trovano un modello che devia dai dati misurati di un valore non maggiore di una piccola quantità, con valori parametrici quanto più piccoli possibile (per minimizzare la sensibilità all’errore).

    SOLUZIONE MIGLIORE...

    • Per dati di grandi dimensioni (dove saranno presenti numerose variabili di predittori)
    Rappresentazione grafica generica di una regressione S V M

  • Modello lineare generalizzato

    COME FUNZIONA
    Un modello lineare generalizzato è un caso speciale di modello non lineare che usa metodi lineari. Consiste nel fitting di una combinazione lineare degli input in una funzione non lineare (funzione di collegamento) degli output.

    SOLUZIONE MIGLIORE...

    • Quando le variabili di risposta hanno distribuzioni non normali, come una variabile di risposta che ci si aspetta sia sempre positiva
    Rappresentazione grafica generica di un modello lineare generalizzato

  • Albero di regressione

    COME FUNZIONA
    Gli alberi di decisione per la regressione sono simili agli alberi di decisione per la classificazione, ma vengono modificati in modo da poter prevedere risposta continue.

    SOLUZIONE MIGLIORE...

    • Quando i predittori sono categorici (discreti) o si comportano in modo non lineare
    Rappresentazione grafica generica di un albero di regressione