Reinforcement Learning Toolbox

Progettare e addestrare politiche utilizzando il reinforcement learning

 

Reinforcement Learning Toolbox™ fornisce funzioni e blocchi per le politiche di addestramento utilizzando algoritmi di reinforcement learning tra cui DQN, A2C e DDPG. È possibile utilizzare questi algoritmi per implementare controllori e algoritmi di decision-making per sistemi complessi come robot e sistemi autonomi. È possibile implementare queste politiche utilizzando reti neurali profonde, polinomi o look-up table.

Il toolbox ti permette di addestrare politiche grazie all’interazione con ambienti rappresentati da modelli MATLAB® o Simulink®. È possibile valutare algoritmi, sperimentare le impostazioni degli iperparametri e monitorare il progresso dell’addestramento. Per migliorare le prestazioni di addestramento, è possibile eseguire simulazioni in parallelo nel cloud, in cluster di computer e GPU (con Parallel Computing Toolbox™ e MATLAB Parallel Server™).

Attraverso il formato del modello ONNX™, è possibile importare politiche esistenti da framework di deep learning come TensorFlow™ Keras e PyTorch (con Deep Learning Toolbox™). È possibile generare codice C, C++ e CUDA ottimizzati per distribuire politiche addestrate su microcontrollore e GPU.

Il toolbox include esempi di riferimento per l’uso del reinforcement learning per progettare controllori per applicazioni di robotica e di guida autonoma.

Inizia ora:

Agenti di reinforcement learning

Implementa agenti MATLAB e Simulink per addestrare politiche rappresentate da reti neurali profonde. Utilizza algoritmi di reinforcement learning integrati e personalizzati.

Algoritmi di reinforcement learning

Implementa agenti utilizzando Deep Q-Network (DQN), Advantage Actor Critic (A2C), Deep Deterministic Policy Gradients (DDPG) e altri algoritmi integrati. Utilizza template per implementare agenti personalizzati per le politiche di addestramento.

Gli agenti comprendono una politica e un algoritmo.

Rappresentazione della funzione del valore e della politica utilizzando reti neurali profonde

Utilizza le politiche di una rete neurale profonda per sistemi complessi con ampi spazi azione-stato. Definisci le politiche utilizzando reti e architetture dal Deep Learning Toolbox. Importa modelli ONNX per l’interoperabilità con altri framework di deep learning.

Blocchi Simulink per agenti

Implementa e addestra agenti di reinforcement learning in Simulink.

Blocco Agente di reinforcement learning per Simulink.

Modellazione dell’ambiente

Crea modelli di ambiente in MATLAB e Simulink. Descrivi le dinamiche dei sistemi e fornisci segnali di osservazione e compensazione per gli agenti di addestramento.

Ambienti Simulink e Simscape

Utilizza modelli Simulink e Simscape™ per rappresentare un ambiente. Specifica i segnali di osservazione, azione e compensazione all’interno del modello.

Modello di ambiente Simulink per un pendolo inverso.

Ambienti MATLAB

Utilizza funzioni e classi MATLAB per rappresentare un ambiente. Specifica variabili di osservazione, azione e compensazione all’interno del file MATLAB.

Ambiente MATLAB per il sistema cart-pole.

Accelerazione dell’addestramento

Accelera l’addestramento utilizzando GPU, cloud e funzioni di calcolo distribuito

Calcolo distribuito e accelerazione multicore

Accelera l’addestramento eseguendo simulazioni parallele su computer multicore, risorse cloud o cluster di computer utilizzando Parallel Computing Toolbox e MATLAB Parallel Server.

Accelera l’addestramento utilizzando il calcolo parallelo.

Accelerazione GPU

Accelera l’addestramento delle reti neurali profonde e l’inferenza con GPU NVIDIA® ad alte prestazioni. Utilizza MATLAB con Parallel Computing Toolbox e la maggior parte delle GPU NVIDIA abilitate per CUDA® che hanno una capacità di elaborazione pari o superiore a 3.0.

Accelerazione dell’addestramento utilizzando GPU.

Generazione e distribuzione di codici

Distribuisci politiche addestrate su dispositivi embedded o integrale con una vasta gamma di sistemi di produzione.

Generazione di codice

Utilizza GPU Coder™ per generare codice CUDA ottimizzato dal codice MATLAB che rappresenta le politiche addestrate. Utilizza MATLAB Coder™ per generare codice C/C++ per distribuire politiche.

Generazione di codice CUDA utilizzando GPU Coder.

Supporto per MATLAB Compiler

Utilizza MATLAB Compiler™ e MATLAB Compiler SDK™ per distribuire politiche addestrate come librerie condivise C/C++, assembly Microsoft® .NET, classi Java® e pacchetti Python®.

Pacchetto e condivisione di politiche come programmi standalone.

Esempi di riferimento

Progetta un controllore utilizzando il reinforcement learning per robot, automobili a guida autonoma e altri sistemi.

Risoluzione di un problema di rete globale.

Applicazioni per la guida autonoma

Progetta controllori per sistemi antisbandamento e cruise control adattivo.

Addestramento di un sistema antisbandamento.

Funzionalità recenti

Agente TD3

creazione di agent di gradienti di criteri deterministici profondi twin-delayed (TD3) che spesso mostrano migliori prestazioni e maggiore velocità di apprendimento rispetto agli agenti DDPG

Nuovi agenti per spazi di azione continua

utilizzare gli agenti PPO, TD3, AC e PG con spazi di azione continua

Criteri LSTM

creare criteri per reti neurali utilizzando reti Long Short-Term Memory (LSTM) per agenti DQN e PPO

Consulta le note di rilascio per ulteriori informazioni su queste caratteristiche e sulle funzioni corrispondenti.

Reinforcement Learning Video Series

Watch the videos in this series to learn about reinforcement learning.