Simscape Multibodyを​用いた深層強化学習の​場合、GPUリソース​は活用されないのでし​ょうか？

ヒューマノイド ウォーカーの学習のサンプルドキュメンテーションを参考に、深層強化学習を利用した移動ロボットの学習に挑戦しようとしています。ドキュメンテーションでは、CPUを用いた学習を行っておりますが、この例の場合、GPUリソースを効果的に用いることはできないのでしょうか？rlRepresentationOptions、rlTrainingOptionsのページを参考に、学習する際の計算機をGPUに設定し、学習を行ってみましたが、GPU使用率をタスクマネージャーで確認する限り、GPUはほとんど利用していないように見受けられました。

コードは以下のように書き換えました。

% Define environment
criticOptions.UseDevice = 'gpu';
actorOptions.UseDevice = 'gpu';
useParallel    = false;

強化学習エピソードマネージャーの学習利リソースにて、ハードウェアがGPUに設定されていることを確認しています。

Train Agents Using Parallel Computing and GPUsのページには、

Using GPUs is likely to be beneficial when the deep neural network in the actor or critic representation uses operations such as multiple convolutional layers on input images or has large batch sizes.

との記載があり、本ドキュメンテーションのように、画像を用いない場合はGPUの利用は効果的ではないのでしょうか？

どうぞよろしくお願いいたします。

なお、学習の際には下記のハードウェアを用いました。

Core i7 -9700k,32GB,GTX1660(6GB)

Answer 1

[Toshinobu Shintai]

「Simscape Multibodyを​用いた深層強化学習」に限らず、強化学習の学習アルゴリズムは、並列計算の恩恵があまり得られない計算フローになっていますので、おっしゃる通りGPUリソースを効果的に用いることはできない、ということになります。

[NAOYA NAKAOKA]

計算時間の圧縮には、CPUリソースを強化したほうが良いということですね。

ご回答いただきありがとうございます！