動行間時たし要に形成度強の品形成率良不重荷造鍛間時持保点死下度強の品形成.ons/Nk/Nk/s/Nk/s s 0s s 052050132108642000%/005.23210. 2-draweR1-draweR2-draweR1-draweR価を行った．行動の選択に及ぼす罰則係数の影響を調べた結果を図１３に示す．なお，結果は，さまざまな組成，被加工材温度，金型温度における10,000回の評価結果の平均値を示している．Reward-1およびReward-2ともに，罰則係数を大きくして負の報酬の影響を強調することでStep-1での待機時間およびStep-3での下死点保持時間が短くなる行動の選択が増えることがわかる．なお，成形速度については，いずれの場合でも5 mm/sを選択する結果になった． 図１４に，成形品の強度や成形時間，不良率に及ぼす罰則係数の影響を示す．なお，不良率については，成形品の強度が60 kN未満になる場合で求めた．罰則係数を大きくすることで，成形品の強度は低下し，不良率が上昇するが，成形時間は短くなることがわかる．Reward-1やReward-2において，罰則係数を0.2に設定すると，成形時間が短い上に，鍛造荷重および不良率の低い結果が得られた． 以上より，強化学習のプログラムにおいて，報酬の定め方に主観としての罰則係数を設定することで，重要視するパラメータを考慮した行動の選択が可能になることが明らかになった． 図１５に強化学習により知能化したスライドモーションを用いた熱間鍛造の実験結果を示す．鍛造条件としては，鍛造温度，金型温度，被加工材の組成をランダムに設定したものを用いた．知能化スライドモーションであるReward- 1およびReward-2とも，今回実験を行った鍛造条件では，鍛造前の待機時間は0 sで，スライド速度は5 mm/sの動作が採用されたため，違いの生じた下死点保持時間について結果を示している．また，下死点保持時間の違いだけでは，鍛造荷重に影響を及ぼさないため，成形品強度と下死点保持時間の結果のみ示している．下死点保持時間が0 sの場合，成形品強度は44.1 kNであることに対して，下死点保持時間2.5 sおよびReward-1では46.1 kNと強度の高い成形品が得られた．また，Reward-2においても成形品の強度は45.4 kNと高い結果が得られた．一方，下死点保持時間を比較すると，Reward-1では2.2 sの結果が得られ，同等の強度を有する2.5 sよりも10％以上短いことがわかる．また，Reward-2では1.1 sとなり，2.5 sおよびReward-1と比較して下死点保持時間を半減できた．つまり，Reward-1やReward-2では，成形品の強度の上昇と成形時間の短縮を両立でき，強度あるいは成形時間のどちらを重視するかを，実装する知能化モデルの報酬の与え方で選択できた． 本研究では，FEM解析結果から構築した代理モデルを用いて強化学習を行った．代理モデルは，他の事象や学習範囲外に対する汎用性は低く，改めて代理モデルを作成する必要があるが，精度の高い代理モデルを作成できれば，強化学習やその評価の高速化に効果的であった．また，強化学習では，学習の方向性に影響を及ぼす報酬は，ユーザ自身で決めることができる．報酬の決め方により，優先し成形に要した時間および鍛造荷重に関する罰則係数図１３ 行動の選択に及ぼす罰則係数の影響 図１５ 従来の熱間鍛造(thold =0 s and 2.5 s) と知能化たい評価項目，例えば，成形品強度や成形時間，鍛造荷重などを主観的に選ぶことができ，ユーザの意図した知能化に効果的である． 図１４ 鍛造結果に及ぼす報酬の影響 熱間鍛造(Reward-1, Reward-2)の比較 (b) 下死点保持時間 757371696765(a) 成形品の強度 4504254003753504746454443(a) 成形品の強度 成形に要した時間と鍛造荷重に関する罰則係数/-成形に要した時間と鍛造荷重に関する罰則係数/-− 71 −Reward-1Reward-20.220.530.84鍛造前の保持時間(0:0 s, 1:5 s, 2:10 s)成形速度(0:4 mm/s, 1:5 mm/s)下死点保持時間(0:0 s, 1:1 s, 2:2.5 s, 3:5 s)10Reward-1Reward-20.20.40.60.8(b) 成形に要した時間 3.0Reward-22.52.0Reward-11.51.00.50.00.20.40.60.8(c) 鍛造荷重 成形に要した時間と鍛造荷重に関する罰則係数/-成形に要した時間と鍛造荷重に関する罰則係数/-0.260.570.88Reward-1Reward-20.20.40.60.8Reward-1Reward-20.20.40.60.8(d) 不良率
元のページ ../index.html#73