学習時のログの取り出しに関して

reinforcement learning toolboxを使用して学習を行っています．

学習時に

trainingStats = train(agent,env,trainingOpts);

を実行して学習を行っているのですが，学習中の状態，行動，報酬の遷移履歴を確認する方法はないのでしょうか？

よろしくお願いいたします．

[Kenta]

こんにちは、check pointパスの指定をすれば、保存できるかもしれません。

強化学習では試したことがないのですが、深層学習による分類・検出などではエポックごとにパラメータを指定の場所に保存できます。ただ、イテレーションごととなるとこちらでは対応できなさそうです。

https://jp.mathworks.com/help/deeplearning/ref/network.train.html

https://jp.mathworks.com/help/deeplearning/ref/trainingoptions.html;jsessionid=e9b70bdb698c973188ff95d2cb74

参考になれば幸いです。

[Teppei Iwata]

ご回答ありがとうございます．

確認したところ，Deep learning toolboxとtrainの実装が異なっており，check point のオプションがありませんでした...

よろしくお願いいたします．

[Toshinobu Shintai]

確認ですが、学習の設定「rlTrainingOptions」を使ってSave Agentを設定されていますでしょうか。

例えば、以下のようにすると、学習途中の全てのAgentを記録できます。

trainingOpts = rlTrainingOptions(...
    'SaveAgentCriteria','EpisodeReward',...
    'SaveAgentValue',-inf);

記録した情報は「savedAgents」というフォルダにmatファイルとして格納されています。

これには含まれていない情報が知りたいということでしょうか。

[Teppei Iwata]

ご回答ありがとうございます．

attachLogger(this, this.MaxSteps);

を追加することでAgent内に状態遷移履歴が保存されることを失念しておりました．

ご指摘の通り，savaAgentsのオプションを追加することでAgent内に保存してある状態遷移履歴にアクセスすることができました．

ありがとうございます．