Introduzione

I dati di produzione assumono forme diverse. Alcuni sono già pronti per analisi molto semplici, come la ricerca di anomalie statistiche nel diametro del foro di una rondella. Con altri tipi di dati le analisi possono essere più problematiche, come la categorizzazione umana di motori che creano rumori indesiderati.

I modelli di Machine Learning e di intelligenza artificiale (IA) possono essere utili per gestire questi dati più complessi. Talvolta però gli esiti dei progetti non soddisfano le aspettative, specialmente quando si tenta di sostituire l’interpretazione e la categorizzazione umana. I primi risultati ottenuti con l’IA possono sembrare promettenti, ma non durano nel tempo. Questo aspetto spesso si amplifica per via della mancanza di un legame tra analisi dei dati, esperienza nel dominio e fattori di confondimento, per cui i dati non vengono compresi al meglio.

Tali problemi possono essere attenuati ponendosi domande come queste:

• Esistono fattori di confondimento nei dati?
• I dati hanno una forma compatibile con un modello di IA?
• I dati contengono le informazioni necessarie per addestrare un modello di Machine Learning/IA?
• I dati di input contengono segnali che si correlano solo a intermittenza con i dati di output?
• I dati di addestramento includono interamente il campo operativo del sistema di misurazione?
  
• Ci sono condizioni in cui i dati di addestramento non includono la variabilità necessaria?
• Quanto è accurato il mio attuale processo di classificazione (o regressione) e che livello di accuratezza dovrei prevedere da un modello di IA?

In questo white paper sono indicate otto best practice che possono aiutare gli ingegneri con esperienza limitata nel campo dell’IA e del Machine Learning a rispondere a queste domande e, di conseguenza, a capire meglio i dati grezzi, così da ottenere risultati ottimizzati. Verranno presentate le funzionalità di MATLAB^® utilizzabili per analizzare questi problemi e risolverli. Le best practice sono illustrate in tre scenari in cui vengono usati dati diversi, ovvero dati audio, dati immagine e dati di serie storiche.

Questi otto passaggi suggeriscono gli approcci da adottare per comprendere i dati e trarne il massimo. I passaggi sono organizzati in quattro fasi:

• Informazioni sulla natura dei dati
• Informazioni sui limiti dei dati raccolti
• Pre-elaborazione dei dati e addestramento dei modelli
• Valutazione dei risultati

Informazioni sulla natura dei dati

1. Raccolta di opinioni di esperti

Raccogli informazioni sui meccanismi fisici che portano alla caratteristica misurata da rilevare, nonché qualsiasi caratteristica compresa a livello empirico. Questo passaggio può aiutarti a definire delle strategie di pre-elaborazione e categorizzazione dei dati. Poniti le seguenti domande:

• I dati devono essere normalizzati usando lo scarto medio o lo scarto tipo, oppure tale normalizzazione deteriorerà il segnale? Esiste un metodo di normalizzazione più appropriato?
• L’analisi della frequenza o la trasformazione dei dati mediante altre relazioni matematiche semplificherà il processo di categorizzazione per l’uomo ed eventualmente anche per l’IA?
• L’uso di un metodo statistico o di una visualizzazione grafica renderebbe la separazione delle classi chiara per l’uomo, in modo tale da guidare la selezione delle feature per l’addestramento di un modello di IA?
• Quali sono i comportamenti dei segnali e i livelli di segnali previsti? Quali sono le ipotesi alla base delle previsioni? Com’è possibile verificare i livelli dei segnali con un esperimento?

2. Informazioni sulle ipotesi alla base della raccolta dei dati

Scoprire quali fattori potrebbero influire sul processo di raccolta dei dati può essere utile per progettare strategie di raccolta e pre-elaborazione dei dati in grado di mitigare i possibili artefatti che, se non controllati, potrebbero portare alla mancata riuscita di un approccio basato su Machine Learning/IA. Ecco alcune domande di esempio da porsi durante la fase di raccolta dei dati:

• Esiste un’ipotesi secondo cui un operatore umano sta rilevando dei difetti solo tramite dati audio quando potrebbe ottenere dati tramite ispezione visiva di cui non sei a conoscenza?
• Esiste un’ipotesi secondo cui la velocità di un nastro trasportatore è costante o secondo cui la calibrazione di una macchina viene effettuata sempre in modo uniforme?
• Esiste un’ipotesi secondo cui due amplificatori audio avranno sempre la stessa risposta in frequenza o secondo cui due videocamere avranno la stessa risposta RGB a una scena con la stessa immagine?
• Esiste un’ipotesi secondo cui due operatori stanno facendo funzionare le macchine nello stesso modo o secondo cui la temperatura non ha alcun effetto sui dati?

Informazioni sui limiti dei dati raccolti

3. Raccolta di dati riproducibili

Raccogli i dati in modo da ottimizzare il rilevamento dei meccanismi fisici alla base della quantità misurata desiderata, mitigando al contempo e per quanto possibile l’eventuale variabilità di confondimento. Per farlo, poniti le seguenti domande:

• È possibile ripetere le misurazioni alle stesse condizioni per verificare la riproducibilità dei dati?
• Come cambia la variabilità a livello di segnale tra un’esecuzione ripetuta e l’altra?
• Se un processo viene modificato per adattarvi il sistema di Machine Learning/IA, come un nuovo protocollo per la raccolta dei dati, cosa puoi fare per assicurarti che le modifiche non influenzeranno le informazioni nei dati che servono a creare la previsione?

4. Esecuzione di esperimenti per verificare i dati

Esegui degli esperimenti per valutare l’impatto di fattori non controllati in relazione alla raccolta dei dati sull’addestramento di Machine Learning/IA. Procedi con dei test per valutare il livello delle conseguenze che tali fattori non controllati avrebbero e rispondi alle seguenti domande:

• Se una variabile non è controllata o rappresentata nei tuoi dati, ipotizzando che non avrà ripercussioni sui dati, come fai a eseguire un esperimento per verificare tale ipotesi?
• È possibile avere un campione fisico standard noto che sia stabile per effettuare misurazioni periodiche sul sistema in modo da verificare il drift del sistema, che potrebbe avere ripercussioni sull’accuratezza del Machine Learning/dell’IA?
• Come puoi usare l’apprendimento senza supervisione (clustering) per cercare nuovi cluster che compaiono nel tempo per rilevare la variabilità non controllata che potrebbe influire sul modello finale?
• Cosa puoi fare per mitigare il grande impatto derivante dall’uso di segnali altamente correlati usando componenti principali o altri approcci per la riduzione dei dati per la riduzione della dimensionalità?

Pre-elaborazione dei dati e addestramento dei modelli

5. Pre-elaborazione dei dati

1. La condizione ideale sarebbe quella di pre-elaborare i dati per portarli a uno stato in cui l’uomo sarebbe in grado di eseguire il rilevamento o la classificazione. È più probabile che questi dati pre-elaborati siano adatti ad addestrare un modello di Machine Learning/IA accurato. Pensa a come sfruttare le informazioni apprese ai passaggi 1-4 per definire la tua strategia di pre-elaborazione. Più sarà facile per l’uomo riconoscere un trend nei dati pre-elaborati, più lo sarà anche per il modello di Machine Learning/IA.
2. Se non è possibile individuare un segnale quando le condizioni dell’esperimento vengono portate all’estremo (come le temperature estreme) in casi in cui un segnale dovrebbe essere evidente, i dati potrebbero non contenere le informazioni necessarie per il rilevamento o la misurazione tramite Machine Learning/IA.
3. Usa l’apprendimento senza supervisione per verificare la presenza di segni di clustering previsto, e rileva il clustering non previsto, il che potrebbe essere indice di fattori in grado di confondere il modello finale.

6. Addestramento

Innanzitutto, utilizza l’addestramento esplorativo con modelli semplicistici sui dati, servendoti di dati di test per valutare dove dovrebbe trovarsi il modello probabilmente corretto. In tal modo otterrai una base su cui lavorare. A questo punto procedi all’ottimizzazione svolgendo queste operazioni:

1. Serviti di rapide sessioni di addestramento per valutare vari modelli di Machine Learning/IA e stabilire quali sono i modelli migliori. Per iniziare, usa il tipo di modello più semplice. Una volta selezionato il tipo di modello, ottimizza le opzioni di addestramento servendoti dei dati di convalida per rilevare l’overfitting. Il set di test può essere utilizzato per accertarsi che il modello generalizzi bene rispetto ai dati inosservati.
2. Usa le informazioni ricavate dai risultati di modelli più semplici per determinare l’approccio migliore da adottare per implementare modelli più complessi.

Valutazione dei risultati

7. Studio in cieco

Esegui uno studio in cieco per confrontare le best practice attuali per il rilevamento/la categorizzazione con il nuovo modello di Machine Learning/IA.

1. Usa uno studio in cieco per confrontare il comportamento di Machine Learning/IA con la best practice attuale. Assicurati che lo studio sia in cieco sia per l’approccio precedente che per quello basato su Machine Learning/IA. Se il Machine Learning/IA prenderà il posto di un operatore umano, accertati che i risultati siano nascosti anche per l’uomo.
2. Per i confronti con l’uomo, assicurati di controllare gli indizi provenienti da altre fonti, come un numero di serie non in sequenza, marcature o etichette che potrebbero fornire informazioni aggiuntive all’operatore umano. Usa metriche appropriate, quali matrici di confusione, precisione, richiamo e così via.

8. Analisi, revisione e ripetizione, secondo necessità

1. Analizza i risultati ottenuti ai passaggi 5-6. Se i dati non possono essere pre-elaborati per accentuare le feature da rilevare e i risultati dell’addestramento ottenuti al passaggio 6 non sono adeguati, procedi come segue:
   1. Rivedi (se le conclusioni dell’analisi non sono soddisfacenti) i passaggi 1-4 per valutare i livelli dei segnali e i fattori che stanno mascherando le feature da rilevare, quindi prendi in considerazione l’idea di sviluppare un approccio di raccolta dati migliore o un approccio di pre-elaborazione migliore per accentuare le feature da rilevare.
   2. Ripeti i passaggi 5-7 dopo aver rivisto i passaggi 1-4 per decidere se occorrono test a più lungo termine o se è necessario un ulteriore processo di affinamento.

Scenari di esempio

In questi tre scenari ipotetici in cui vengono usati dati audio, dati immagine e dati di serie storiche, degli utenti fittizi applicano queste best practice ai loro progetti basati su Machine Learning/IA. Usano MATLAB in diversi momenti.

Dati audio nella produzione di macchinari: rilevamento di trapani rumorosi da una linea di produzione

Ken è a capo di una squadra che testa trapani alla fine di una linea di produzione, collegandoli all’alimentazione e mettendoli in funzione manualmente per verificare se emettono rumori insoliti. Ken vuole automatizzare questo processo e usare un modello di IA per stabilire l’eventuale presenza di un rumore insolito. Vuole ridurre i costi ma, per realizzare un business case accettabile, deve individuare >99% di trapani malfunzionanti.

Ken segue l’elenco di best practice:

1. Raccolta di opinioni di esperti

Ken consulta un collega che si occupa della minimizzazione delle vibrazioni. Gli spiega che il rumore proveniente dai trapani cambierà a seconda di come viene maneggiato l’utensile. Il collega di Ken ha un’attrezzatura speciale che gli può prestare per mitigare quel potenziale problema e da usare come piattaforma standardizzata.

2. Informazioni sull’ipotesi alla base della raccolta dei dati

Ken raccoglie i dati sui trapani malfunzionanti durante i tempi di fermo della linea di produzione. Un collega nota che i dati normali sono contaminati dai rumori dei macchinari di produzione. Ken utilizza il rilevamento delle anomalie e conferma che il rumore dei macchinari può essere rilevato come anomalia e, pertanto, potrebbe influenzare eccessivamente l’IA; Ken aggiorna la strategia di raccolta dati per assicurarsi che il rumore dei macchinari sia presente sia nei dati positivi (OK) senza difetti sia nei dati con difetti o negativi (NG). Riesce anche a vedere differenze nei componenti principali dei trapani che funzionano correttamente rispetto a quelli con difetti. Vuole accertarsi che questa differenza sia reale, perciò decide di verificare la riproducibilità dei dati.

3. Raccolta di dati riproducibili

Ken acquisisce il rumore di produzione per incrementare i suoi dati NG che non hanno rumori di produzione di fondo. Raccoglie dati nuovi dal suo set di trapani malfunzionanti con rumore di produzione presente, usando la perforatrice in base alle informazioni tratte dai passaggi 1 e 2. In più, registra un trapano funzionante e uno difettoso più volte per verificare la ripetibilità o i cambiamenti a livello del rumore del trapano, in quanto i trapani NG in genere vengono messi in funzione più volte mentre i trapani OK solo una volta.

4. Esecuzione di esperimenti per verificare i dati

Ken usa l’app Wavelet Time-Frequency Analyzer per accertarsi che vi sia una differenza minima tra le diverse registrazioni dello stesso trapano. In più, può visualizzare la differenza tra i trapani funzionanti e quelli difettosi. Tenta vari approcci per l’estrazione delle feature audio e addestra un classificatore di macchine a vettori di supporto (SVM) per ottenere un buon livello di precisione di classificazione. Potrebbe provare ad aumentare la precisione della classificazione usando fitcauto() o l’app Classification Learner per valutare diversi modelli di Machine Learning e iperparametri.

5. Pre-elaborazione dei dati

Ken standardizza l’elaborazione dei dati e usa audioDataAugmenter per aggiungere una maggiore variazione ai suoi dati. Successivamente, usa Wavelet Time-Frequency Analyzer per fare analisi, usando le wavelet con i parametri migliori, e cwt() per elaborare i dati in codice per l’addestramento.

6. Addestramento

Ken usa cvpartition per suddividere i dati in set di addestramento, convalida e test. Poi usa l’app Experiment Manager per addestrare reti neurali convoluzionali (CNN) con parametri diversi. Fa esperimenti con i parametri di addestramento della CNN e la trasformata wavelet usata per pre-elaborare i dati per formare immagini. Modifica una IA preaddestrata con il transfer learning per eseguire l’addestramento sui dati. Può ulteriormente verificare ed eseguire il debug delle previsioni del modello di IA usando metodi di visualizzazione e spiegabilità.

7. Studio in cieco

Ken raccoglie alcuni dati nuovi, li anonimizza e li fa ascoltare alla sua squadra di lavoro affinché li classifichino come positivi o negativi. Il team di Ken ottiene risultati peggiori servendosi solo dei dati audio per cui Ken scopre che i suoi collaboratori effettuano un’ispezione visiva dei trapani, che influisce sulle loro decisioni.

8. Analisi, revisione e ripetizione, secondo necessità

Ken rileva che la CNN dà gli stessi risultati del suo team in condizioni in cui vengono usati esclusivamente i dati audio, sebbene le prestazioni del team migliorino con la possibilità di effettuare l’ispezione visiva. Aggiungere l’ispezione visiva all’IA è un aspetto che Ken può prendere in considerazione per miglioramenti futuri.

Dati immagine per dispositivi medici: rilevamento di contaminanti in siringhe preriempite

Jen ha ricevuto l’incarico di sviluppare un’IA per individuare la presenza di contaminanti all’interno di siringhe preriempite con insulina. Si procura delle immagini di siringhe difettose, con delle note sul tipo di difetto. Non è in grado di identificare alcuni difetti perché non è esperta in questo campo. L’azienda produce grandi quantità di siringhe e non è possibile effettuare ispezioni manuali al 100%; riconoscere tali difetti aiuterebbe a ridurre i problemi legati ai richiami dei prodotti.

Jen segue l’elenco di best practice:

1. Raccolta di opinioni di esperti

Jen chiede al cliente di cerchiare in modo chiaro il difetto sulle immagini. I difetti possono essere rappresentati da particelle, graffi o macchie sia all’interno che all’esterno della siringa. Per questo motivo deve includere anche l’intero ago. In alcune immagini sono presenti dei riflessi di luce, per cui Jen consiglia al cliente di usare dei polarizzatori per ridurli al minimo.

2. Informazioni sulle ipotesi alla base della raccolta dei dati

Jen standardizza le immagini tramite rotazione, ritaglio e normalizzazione. Rimanda le immagini pre-elaborate e anonimizzate al cliente. Il feedback ricevuto conferma che la pre-elaborazione non ha rimosso le informazioni necessarie alla classificazione da parte di un tecnico esperto.

3. Raccolta di dati riproducibili

Jen chiede più esempi di immagini senza difetti al cliente in modo da farsi un’idea più chiara di ciò che non costituisce un difetto e per ampliare la serie di immagini possibili.

4. Esecuzione di esperimenti per verificare i dati

Jen si serve di imageDatastore per gestire le immagini. Per capire le differenze, usa l’app Registration Estimator, la registrazione delle immagini e imsubtract() per sovrapporre le siringhe e osservare le differenze. Addestra un modello di IA per rilevare anomalie nelle immagini. L’osservazione della mappa di calore delle anomalie aiuta Jen a capire meglio in quali posizioni della siringa potrebbero trovarsi i difetti.

5. Pre-elaborazione dei dati

Jen elabora una strategia di pre-elaborazione in base ai primi tre passaggi. Usa createMask() per rimuovere lo sfondo (ripiano), da escludere in fase di addestramento del modello di IA. Usa Image Labeler per creare un boxLabelDatastore per addestrare l’IA su diversi tipi di difetti. Aumenta le immagini di addestramento usando l’incremento delle immagini in modo da alterare le immagini per creare un set di addestramento più ampio e bboxwarp() per regolare i riquadri di delimitazione delle immagini alterate.

6. Addestramento

Jen usa un rilevatore di oggetti YOLOX per rilevare i tipi di difetti. Dopo una classificazione preliminare, nota che una delle classi viene classificata in modo errato con maggiore frequenza. Aggiunge più dati di addestramento a quella classe e osserva che l’errore di classificazione si riduce.

7. Studio in cieco

Jen pacchettizza l’IA con App Designer e procede alla compilazione con MATLAB Compiler™ affinché il cliente esegua i test. Per l’app compilata non occorre una licenza MATLAB.

8. Analisi, revisione e ripetizione, secondo necessità

Il cliente testa l’app di IA e invia degli esempi di immagini classificate in modo errato in modo che Jen possa procedere a un secondo addestramento.

Previsione dei guasti che si verificano all’inizio del ciclo di vita delle valvole su una turbina a gas

Ben è incaricato di usare il Machine Learning/IA per prevedere se un guasto prematuro (infant mortality) si verificherà dopo la consegna delle microturbine (MT) della sua azienda, sulla base dei dati delle prove al banco effettuate prima della spedizione. Dispone di moltissimi dati di prove al banco, ma un solo set comprende dati che portano a un evento di guasto e registrati durante tale evento. Sebbene i guasti siano rari, hanno gravi ripercussioni sui clienti dell’azienda di Ben.

Ben segue l’elenco di best practice:

1. Raccolta di opinioni di esperti

Ben scopre che il guasto sembra essere associato alla presenza di detriti che causano danni ai cuscinetti nel compressore tre le 100 e le 200 ore di utilizzo, ma l’origine di tale problematica è sconosciuta.

2. Informazioni sulle ipotesi alla base della raccolta dei dati

È stato fatto di tutto per garantire l’uniformità nel corso della prova al banco. Le variazioni rimanenti durante la raccolta dei dati sono dovute a fattori quali la temperatura ambiente, la pressione, la composizione di olio e combustibile e gli operatori umani che sono controllati con meno facilità.

3. Raccolta di dati riproducibili

Ben dispone di un unico esempio di dati relativi a un guasto, per cui crea un gemello digitale. Inizia con il modello di turbina a gas di Simulink^®, lo aggiorna per includere il comportamento dei cuscinetti con i detriti e lo regola con l’app Parameter Estimator per riprodurre la turbina a gas reale.

4. Esecuzione di esperimenti per verificare i dati

Ben simula i danni ai cuscinetti con il modello in base ai dati senza guasti e al suo unico esempio di dati di guasto. Secondo le previsioni, i segnali indicativi di guasto a 100 ore prima del guasto nei dati del modello di simulazione sono inferiori al rumore presente nei dati reali. Ben aggiunge del rumore sintetico, poi scopre che un filtro di Kalman esteso è in grado di rilevare le tendenze dei difetti.

5. Pre-elaborazione dei dati

Ben usa i segnali di vibrazione e le modifiche alla mappa frequenza-RPM per esaminare i dati del modello e osservare in che modo i danni ai cuscinetti si manifestano nel sistema generale e per capire cosa cercare nei dati reali. Alcuni dati reali necessitano di qualche trasformazione dei segnali con unità di tempo (sec) in frequenza (Hz). I dati presentano molti segnali colineari. Ben usa i componenti principali per la riduzione dei dati.

6. Addestramento

Poiché si prevede che il rumore ad alta frequenza nei periodi temporali brevi oscuri il segnale, mentre il drift a bassa frequenza nel tempo rivelerà il difetto, Ben decide di provare con una LSTM, in grado di rilevare trend a più lungo termine. Con periodi di test estesi, la LSTM sembra riuscire a rilevare quel lieve drift (peggioramento) che indica un problema in base ai dati del modello.

7. Studio in cieco

Ben addestra una LSTM su un set di dati più ampio e organizza uno studio in cieco usando i dati del modello per valutare i probabili intervalli di rilevamento su un sistema reale.

8. Analisi, revisione e ripetizione, secondo necessità

Ben capisce di aver bisogno di aumentare i tempi delle prove al banco sulla turbina a gas per rilevare il lieve drift associato ai guasti e prepara un’analisi costi/benefici per giustificare la necessità di tempi di test più lunghi.

Ben utilizza lo strumento per il rilevamento delle anomalie sui dati grezzi senza guasti e capisce che temperature ambiente più elevate e un particolare operatore potrebbero essere associati con maggiore probabilità agli outlier oltre la soglia del rilevatore delle anomalie e, pertanto, essere collegati a eventi che si verificano nelle fasi iniziali del ciclo di vita. Ciò richiede ulteriori indagini.

Scopri di più grazie a suggerimenti che vanno oltre la pulizia dei dati e la pre-elaborazione per il Deep Learning e il Machine Learning per le applicazioni di elaborazione di segnali.

Conclusione

I modelli di Machine Learning/IA possono eliminare la necessità di svolgere procedure manuali di test e QA, noiose e soggette a errori, negli ambienti di produzione. I guasti in produzione sono gravi ma sono anche rari, per cui le cause principali potrebbe non essere del tutto comprese.

Ecco perché le soluzioni basate su Machine Learning/IA sembrano difficili da implementare in modo affidabile. Tuttavia, comprendendo i dati, è possibile generare dei buoni set di dati per l’addestramento.

Usando gli otto passaggi e gli scenari di esempio di cui sopra, è possibile adottare un approccio più sistematico in relazione alla qualità dei dati e ridurre il divario tra il concetto di Machine Learning/IA e la sua effettiva implementazione.

MATLAB può aiutarti a raggiungere questo risultato.