Deep Reinforcement Learning

Applicazione del Deep Learning ai controlli e alle applicazioni decisionali

Il Deep Reinforcement Learning è una branca del Machine Learning che consente di implementare controller e algoritmi decisionali su applicazioni complesse quali i robot e i sistemi autonomi. Il Deep Reinforcement Learning consente di addestrare le reti neurali ad apprendere comportamenti complessi utilizzando dati generati dinamicamente da sistemi simulati o fisici.

Usando MATLAB, Simulink e Reinforcement Learning Toolbox puoi effettuare tutto il workflow per progettare e distribuire un sistema di Deep Reinforcement Learning. Sarà possibile:

Scambiare, valutare e confrontare i più diffusi algoritmi di Deep Reinforcement Learning
Addestrare politiche in modo interattivo con l'applicazione Reinforcement Learning Designer
Modellare l'ambiente di addestramento in MATLAB e Simulink per ridurre il rischio di danneggiare l'hardware
Utilizzare le reti neurali per creare politiche di Deep Reinforcement Learning in modo interattivo o programmatico
Distribuire le politiche di Deep Reinforcement Learning su dispositivi embedded o sul Cloud

"Il 5G è un'infrastruttura critica che dobbiamo proteggere dagli attacchi avversari. Reinforcement Learning Toolbox ci consente di valutare rapidamente le vulnerabilità del 5G e di identificare i metodi di mitigazione".
Ambrose Kam, Lockheed Martin

Analisi delle vulnerabilità 5G con Reinforcement Learning Toolbox

Perché usare MATLAB e Simulink per il Deep Reinforcement Learning?

Schermata dell'applicazione Reinforcement Learning Designer che mostra l'avanzamento dell'addestramento di un agente di Deep Reinforcement Learning.

Workflow interattivo visivo con Reinforcement Learning Designer

Crea, addestra e simula agenti di Deep Reinforcement Learning in modo interattivo con l'applicazione Reinforcement Learning Designer. Sfrutta la guida automatica per la selezione del tipo di agente appropriato. Scegli tra i più diffusi algoritmi di Deep Reinforcement Learning, come Deep Deterministic Policy Gradient (DDPG), Soft Actor Critic (SAC) e Proximal Policy Optimization (PPO).

Creazione e addestramento di agenti di Reinforcement Learning in modo interattivo (5:38)

Agenti di Reinforcement Learning integrati

Progettazione e addestramento di un agente con Reinforcement Learning Designer

Schermata di un modello Simulink che mostra un esempio di Deep Reinforcement Learning per un robot quadrupede che cammina.

Formazione, test a livello di sistema e implementazione con la progettazione Model-Based

Modella l'ambiente di addestramento in Simulink (o MATLAB) per ridurre il rischio di danneggiamento dell'hardware. Integrazione semplice dei modelli ambientali con agenti di Deep Reinforcement Learning utilizzando il RL Agent block. Addestra politiche in serie o in parallelo e verificale attraverso simulazioni (a livello di sistema) e test Software-In-the-Loop (SIL)/Hardware-In-the-Loop (HIL). Distribuisci le politiche addestrata ai dispositivi incorporati o al Cloud.

Creazione di ambienti per il Reinforcement Learning

Verifica di SIL e PIL per il Reinforcement Learning

Distribuzione delle politiche di Deep Reinforcement Learning

Schermata dell'applicazione Deep Network Designer che mostra l'architettura di una rete neurale.

Creazione automatizzata e interattiva di politiche di reti neurali

Utilizza architetture di reti neurali autogenerate specifiche al problema, per creare agenti di Deep Reinforcement Learning senza alcuna esperienza nella progettazione di politiche di reti neurali. Utilizza l'architettura della rete neurale suggerita così com'è, oppure perfezionala con l'applicazione Deep Network Designer (approccio interattivo) o con i livelli di Deep Learning Toolbox (approccio programmatico). Applica funzionalità di importazione ed esportazione per interoperare con le rappresentazioni di reti neurali in framework di terze parti.

Controllo DQN del pendolo inverso con Reinforcement Learning Toolbox (6:51)

Rappresentazione delle politiche in MATLAB con le reti neurali profonde

Creazione di un DQN Agent con Deep Network Designer

Schermata dell'ambiente di simulazione Unreal Engine che mostra un'auto in sosta in un parcheggio.

Esempi e applicazioni di riferimento

Inizia a lavorare con il Deep Reinforcement Learning per progettare controller e algoritmi decisionali per la robotica, la guida autonoma, la calibrazione, la pianificazione e altre applicazioni. Consulta i nostri esempi di riferimento e sperimenta l'addestramento a uno o più agenti, l'apprendimento online e offline, i metodi senza modello e i metodi Model-Based, nonché le strategie di apprendimento basate sul gradiente e sull'evoluzione.

Esempi di Reinforcement Learning

Come addestrare agenti di Reinforcement Learning Model-Based (6:03)

Deep Reinforcement Learning per far camminare un robot (15:52)