𝑤𝑤𝑡𝑡𝑚𝑚𝑡𝑡𝑣𝑣𝑡𝑡𝑤𝑤𝑡𝑡+1 = 𝑤𝑤𝑡𝑡 −ただし，𝑚𝑚𝑡𝑡𝑡𝑡1−𝛽𝛽1𝑣𝑣𝑡𝑡𝑡𝑡1−𝛽𝛽2𝑚𝑚𝑡𝑡 = 𝛽𝛽1𝑚𝑚𝑡𝑡−1 + (1 − 𝛽𝛽1)𝑣𝑣𝑡𝑡 = 𝛽𝛽2𝑚𝑚𝑡𝑡−1 + (1 − 𝛽𝛽2) (𝑓𝑓に対する重み，𝑐𝑐：Peephole 𝑡𝑡𝑐𝑐𝑡𝑡)𝑜𝑜𝑦𝑦𝑡𝑡𝑥𝑥𝑡𝑡𝑢𝑢𝑣𝑣2𝜂𝜂𝜂𝜂 (𝑡𝑡−1)(𝑡𝑡−1)(𝑡𝑡−1)(𝑡𝑡−1)(𝑡𝑡−1)𝑡𝑡−1𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕)√𝑣𝑣̂𝑡𝑡+∈ 𝑚𝑚̂ 𝑡𝑡図 6 教師データと LSTM 出力の STFT 結果 された推定加工力は，10 Hz 以下の周波数帯において，教師データと同様のスペクトル特性を示しており，本モデルが技能データの主要な周波数成分を適切に学習していることが確認された．一方で，標準化処理については，工具に加わる力と工具の回転位置という異なる単位・スケールを持つ複数のデータを同等に扱うために実施した． LSTM モデルは，MATLAB の Deep Learning Toolboxを用いて実装し，設定したハイパーパラメータは表 5 に示す．なお，LSTM の学習には Adam 最適化手法を採用しており，これは損失関数の勾配の指数移動平均およびその2 乗の移動平均を用いて学習率を動的に調整する手法である．Adam による重み更新の数式は，式(6)～(10)に示す通りである． 𝑚𝑚̂ 𝑡𝑡 =𝑣𝑣̂𝑡𝑡 =対する勾配の指数移動平均，本研究では，Long Short-Term Memory（以降 LSTM）という図 5 に示すような深層学習モデルを用いた．LSTMには CEC(Constant Error Carousel)と呼ばれる記憶セルが存在し，重みを 1 とすることで過去の情報を減衰させない記憶形態を実現している．また，忘却ゲートの自動判別に基づいて CEC の記憶状態をリセットすることで，長期的なデータを正しく記憶し続けることが可能である．各ゲートと CEC による出力は式(1)から(5)のように表せる．添え字は，その変数にかかわる構造部分を入力ゲート(i)，忘却ゲート(f)，出力ゲート(o)および CEC(c)として表している． + 𝑣𝑣𝑖𝑖𝑦𝑦𝑖𝑖 = 𝜎𝜎(𝑤𝑤𝑖𝑖𝑥𝑥𝑡𝑡𝑓𝑓 = 𝜎𝜎(𝑤𝑤𝑓𝑓𝑥𝑥𝑡𝑡+ 𝑣𝑣𝑓𝑓𝑦𝑦𝑡𝑡= 𝑖𝑖 ⊙ 𝜎𝜎𝑐𝑐(𝑤𝑤𝑐𝑐𝑥𝑥+ 𝑣𝑣𝑐𝑐𝑦𝑦(𝑡𝑡−1)𝑜𝑜 = 𝜎𝜎(𝑤𝑤𝑜𝑜𝑥𝑥(𝑡𝑡−1)ここで，𝑦𝑦+ 𝑣𝑣𝑜𝑜𝑦𝑦𝑡𝑡= 𝑜𝑜 ⊙ 𝜎𝜎𝑐𝑐(𝑐𝑐の活性化出力，𝑖𝑖における CEC の状態，：前時刻からの再起入力𝑡𝑡𝑤𝑤connection の重み，𝑣𝑣 ：出力ゲートの活性化出力，：現時刻の入力図 5 LSTM の構造 3・2 熟練技能データを用いた深層学習 本研究では，板厚ごとに 50 回の成形実験を行い，計 50個の作業データを取得した．LSTM がこれらの作業データの特徴を適切に学習できるよう，データに対して間引き処理および標準化処理を施した．作業データは，サンプリング周波数 5 kHz で計測されたが，人間の動作は一般に10 Hz 以下の周波数帯で行われると想定される．そのため，1/100 の間引きを行い，実質的なサンプリング周波数を 50 Hz に設定することで，学習に用いるデータ量を抑えつつも必要な運動情報を保持した．LSTM の出力が人間の動作特性をどの程度再現しているかを評価するために，Short-Time Fourier Transform(STFT)を用いた周波数解析を実施し，その結果を図 6 に示す．LSTM から出力 (a)教師データ (b)LSTM の出力 ............................................. (6) ........................................ (7) ........................................................................... (8) ............................................................................ (9) ...................................................(10) ：学習率の初期値，３．LSTM を用いた熟練技能の獲得 20～22) 3・1 深層学習モデルの LSTM ：損失関数 Eのに：勾配の 2 乗の指数移動平 ....................... (1) + 𝑢𝑢𝑖𝑖𝑐𝑐+ 𝑏𝑏𝑖𝑖) ..................... (2) + 𝑢𝑢𝑓𝑓𝑐𝑐(𝑡𝑡−1)+ 𝑏𝑏𝑓𝑓) ......... (3) + 𝑏𝑏𝑐𝑐) + 𝑓𝑓 ⊙ 𝑐𝑐𝑡𝑡 ........................... (4) ....................................................... (5) + 𝑢𝑢𝑜𝑜𝑐𝑐：入力ゲートの活性化出力，+ 𝑏𝑏𝑜𝑜) ：忘却ゲート：現時刻に対する重み，：バイアスである． − 157 −
元のページ ../index.html#159