Reinforcement Learning Toolbox

Progettazione e apprendimento di politiche mediante Reinforcement Learning

Reinforcement Learning Toolbox™ fornisce un'applicazione, funzioni e un blocco Simulink^® per l'addestramento di politiche utilizzando algoritmi di Reinforcement Learning, inclusi DQN, PPO, SAC e DDPG. È possibile utilizzare queste politiche per implementare controller e algoritmi decisionali per applicazioni complesse come l'allocazione delle risorse, la robotica e i sistemi autonomi.

Il toolbox consente di rappresentare politiche e funzioni di valore utilizzando reti neurali profonde o tabelle di look-up e di addestrarle attraverso interazioni con ambienti modellati in MATLAB^® o Simulink. È possibile valutare gli algoritmi di Reinforcement Learning a uno o più agenti forniti nel toolbox o svilupparne di nuovi. È possibile sperimentare le impostazioni degli iperparametri, monitorare il progresso dell'addestramento e simulare gli agenti addestrati in modo interattivo tramite l'applicazione o in modo programmatico. Per migliorare le prestazioni di addestramento, le simulazioni possono essere eseguite in parallelo su più CPU, GPU, cluster di computer e sul cloud (con Parallel Computing Toolbox™ e MATLAB Parallel Server™).

Il formato del modello ONNX™ consente di importare le politiche esistenti da framework di Deep Learning come TensorFlow™ Keras e PyTorch (con Deep Learning Toolbox™). È possibile generare codice ottimizzato C, C++ e CUDA^® per distribuire le politiche addestrate su microcontrollori e GPU. Il toolbox include esempi di riferimento per aiutarti a muovere i primi passi.

Che cos’è Reinforcement Learning Toolbox?

Agenti di Reinforcement Learning

Crea e configura agenti di Reinforcement Learning per addestrare le politiche in MATLAB e Simulink. Utilizza algoritmi di Reinforcement Learning integrati o sviluppa algoritmi personalizzati.

Algoritmi di Reinforcement Learning

Crea agenti utilizzando Deep Q-Network (DQN), Deep Deterministic Policy Gradient (DDPG), Proximal Policy Optimization (PPO) e altri algoritmi integrati. Utilizza template per sviluppare agenti personalizzati per le politiche di addestramento.

Addestramento di agenti di Reinforcement Learning

Agenti integrati

Creazione di agenti personalizzati

Addestramento di un robot bipede a camminare

Algoritmi di addestramento disponibili in Reinforcement Learning Toolbox.

App Reinforcement Learning Designer

Progetta, addestra e simula in modo interattivo gli agenti di Reinforcement Learning. Esporta gli agenti addestrati in MATLAB per un utilizzo e distribuzione futuri.

Reinforcement Learning Designer

Progettazione e addestramento di un agente con l’app Reinforcement Learning Designer

Creazione e addestramento di agenti di Reinforcement Learning in modo interattivo

Rappresentazione delle politiche e delle funzioni di valore mediante reti neurali profonde

Per sistemi complessi con ampi spazi stato-azione, definisci le politiche delle reti neurali profonde in modo programmatico utilizzando gli strati di Deep Learning Toolbox o in modo interattivo con Deep Network Designer. In alternativa, utilizza l'architettura di rete predefinita suggerita dal toolbox. Inizializza la politica utilizzando l’Imitation Learning per accelerare l'addestramento. Importa ed esporta modelli ONNX per l’interoperabilità con altri framework di Deep Learning.

Creazione e importazione di rappresentazioni di reti neurali profonde

Creazione di un agente con Deep Network Designer

Inizializzazione di una rete di attori DDPG con l’Imitation Learning

Opzioni per l’inizializzazione di agenti di Reinforcement Learning

Costruzione, visualizzazione e modifica interattive di reti di Deep Learning

Reinforcement Learning a uno o più agenti in Simulink

Crea e addestra agenti di Reinforcement Learning in Simulink con il blocco RL Agent. Addestra più agenti simultaneamente (Reinforcement Learning a più agenti) in Simulink utilizzando più istanze del blocco RL Agent.

Creazione di un ambiente Simulink e addestramento di un agente

Blocco RL Agent di Simulink

Addestramento di più agenti per l’area di copertura

Addestramento di più agenti per il controllo del path following

Modello Simulink con un blocco RL Agent.

Il blocco dell'agente di Reinforcement Learning per Simulink.

Modellazione ambientale

Crea modelli ambientali MATLAB e Simulink. Descrivi le dinamiche del sistema e fornisci segnali di osservazione e ricompensa per l'addestramento degli agenti.

Ambienti Simulink e Simscape

Utilizza Simulink e Simscape™ per creare il modello di un ambiente. Specifica i segnali di osservazione, azione e ricompensa all'interno del modello.

Creazione di ambienti di Simulink per il Reinforcement Learning

Caricamento di ambienti Simulink predefiniti

Integrazione di funzionalità di terze parti in Simulink

Reinforcement Learning per il controllo Field-Oriented di un motore sincrono a magneti permanenti (6:12)

Modello ambientale Simulink per un robot bipede.

Ambienti MATLAB

Utilizza funzioni e classi MATLAB per modellare un ambiente. Specifica le variabili di osservazione, azione e ricompensa nel file MATLAB.

Creazione di ambienti MATLAB per il Reinforcement Learning

Caricamento di ambienti MATLAB predefiniti

Integrazione di funzionalità di terze parti in MATLAB

Reinforcement Learning per il trading (4:15)

Ambiente MATLAB per un razzo a tre gradi di libertà (3DoF).

Accelerazione dell’addestramento

Accelera l’addestramento utilizzando GPU, il cloud e le risorse di calcolo distribuito.

Calcolo distribuito e accelerazione multicore

Accelera l’addestramento eseguendo simulazioni parallele su computer multicore, risorse cloud o calcola cluster utilizzando Parallel Computing Toolbox e MATLAB Parallel Server.

Addestramento di agenti con il calcolo parallelo

Opzioni per l’addestramento di agenti di Reinforcement Learning

Addestramento di un agente AC per bilanciare un sistema carrello-palo in MATLAB utilizzando il calcolo parallelo

Addestramento di un agente DQN per l’assistenza al mantenimento della corsia in Simulink utilizzando il calcolo parallelo

Accelerazione dell’addestramento utilizzando il calcolo parallelo.

Accelerazione GPU

Accelera l’addestramento e l'inferenza delle reti neurali profonde con le GPU NVIDIA^® ad alte prestazioni. Utilizza MATLAB con Parallel Computing Toolbox e la maggior parte delle GPU NVIDIA abilitate per CUDA che presentano una capacità di elaborazione pari o superiore a 3.0.

Addestramento di agenti utilizzando GPU

Opzioni per le rappresentazioni di agenti di Reinforcement Learning

Accelera l’addestramento utilizzando le GPU.

Generazione e distribuzione di codici

Distribuisci le politiche addestrate su dispositivi embedded o integrale in una vasta gamma di sistemi di produzione.

Generazione di codice

Utilizza GPU Coder™ per generare codice CUDA ottimizzato dal codice MATLAB che rappresenta le politiche addestrate. Utilizza MATLAB Coder™ per generare codice C/C++ per distribuire le politiche.

Distribuzione delle politiche di Reinforcement Learning addestrate

Schermata di configurazione di GPU Coder.

Generazione di codice CUDA con GPU Coder.

Supporto per MATLAB Compiler

Utilizza MATLAB Compiler™ e MATLAB Compiler SDK™ per distribuire politiche addestrate come applicazioni standalone, librerie condivise C/C++, assembly Microsoft^® .NET, classi Java^® e pacchetti Python^®.

Schermata di MATLAB Compiler per creare applicazioni standalone.

Packaging e condivisione delle politiche come programmi standalone.

Esempi di riferimento

Progetta controller e algoritmi decisionali per la robotica, la guida autonoma, la calibrazione, la pianificazione e altre applicazioni.

Per iniziare

Scopri come sviluppare politiche di Reinforcement Learning per problemi come l'inversione di un pendolo semplice, la navigazione di un mondo a griglia, il bilanciamento di un sistema carrello-palo e la risoluzione dei processi decisionali di Markov (MDP) generici.

Addestramento di un agente DQN per bilanciare un sistema carrello-palo

Addestramento di un agente di Q-Learning per risolvere i problemi di un mondo a griglia

Addestramento di un agente di Reinforcement Learning in un ambiente MDP

Il Reinforcement Learning motiva gli ingegneri esperti nel controllo dei motopropulsori (21:26)

Reinforcement Learning per un pendolo invertito con dati di immagine

Guida autonoma

Progetta politiche di Reinforcement Learning per applicazioni di guida autonoma come il cruise control adattivo, l'assistenza al mantenimento della corsia e il parcheggio automatico.

Addestramento di un agente DDPG per il cruise control adattivo

Addestramento di un agente DQN per l’assistenza al mantenimento della corsia

Addestramento di un agente DDPG per il controllo path following

Addestramento di un agente PPO per il sistema di parcheggio automatico