JPH03105663A - 強化学習処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （４！ｔ　　要） 教師付き学習を行うニューラルネットワークを使用して
．その出力に対する評価により教師データを自動的に作
成し，当該教師データにもとづいて学習する強化学習処
理方式に関し， ネットワークにゆらぎを与えてより好ましい出力パター
ンが得られることを期待する構或を採用しつつ．システ
ムを安定に動作せしめるようにすることを目的とし， ニューラルネットワークのいわば出力層に近い位置に，
ネットワークの出力を評価する強化信号を学習するユニ
ットをもうけると共に．当該ユニットの出力に応じてネ
ットワークにかけるゆらぎを制御する機構をもつ構成と
する． 〔産業上の利用分野〕 本発明は，教師付き学習を行うニエーラルネツトワーク
を使用して．その出力に対する評価により教師データを
自動的に作戒し．当該教師データにもとづいて学習する
強化学習処理方式に関する．最近二エーラルネットワー
クを用いた学習する装置が用いられるようになり，パタ
ーン認識処理や．適応フィルタや．ロボットの制１ｎな
どに応用される． 〔従来の技術〕 教師付き学習を行うニューラルネットワークを使用して
学習する装置においては，教師パターンを作成すること
が必要となる．このためにこの種の学習システムでは，
実行時のネットワークに乱数を掛けてシステムをゆらし
，その入出力パターンを採取して，教師パターンを作戒
する試みが行われる．しかしこの方式では無条件に乱数
を掛ける形となる． 〔発明が解決しようとする１ｌＩ！！〕このため，“良
”と評価されて十分に学習が行われたパターンが入力さ
れても．乱数の影響で学習データと異なる出力を出すこ
とが生じ，学習を重ねてもシステムが安定しないという
問題がある．ただこれは，学習が進むにつれて乱数の強
さを変化させる手段を取り入れることにより解決できる
が，すべての入力パターンに対して同じように強さを弱
めてゆくようにすると．新たに追加された入力パターン
については色々模索しても仲々良い出力を得ることが出
来ないという問題が出てくる．本発明は．ネットワーク
にゆらぎを与えてより好ましい出力パターンが得られる
ことを期待する構戒を採用しつつ．システムを安定に動
作せしめるようにすることを目的としている． 〔課題を解決するための手段〕 第１図は本発明の原理構戒図を示す．図において，１０
は本発明の対応となる強化学習ネットワークを示してい
る．そして，１１は教師付き学習のニューラルネットワ
ークであって，教師パターンが与えられているとき．入
力された入力パターンに対応して上記教師パターンにも
とづいて学習した結果の出力パターンを出力する．１２
は本発明によってもうけられた強化信号学習ユニットで
あって，強化学習ネットワーク１０の出力が十分に学習
が行われた上での出力か否かにもとづいて後述する乱数
発生ユニット１３への出力が変化するよう構成される．
１３は乱数発生ユニットであって，図示の場合には．強
化信号学習ユニット１２の出力に対応した大きさのゆら
ぎをもつ乱数を図示のニューラルネットワーク１１の出
力ｖＬ：ｑ　”／トに供給する。１４は入出力パターン
記憶メモリであって．ニューラルネットワーク１１の入
カパターンとそれに対応した出力パターンとの組（以下
入出力パターンという）のうちで，いわば“良”とされ
たものを記憶して．それをニューラルネットワーク１１
への教師パターンとして利用するようにするためのもの
である．１５は入力パターンを生戒する入力部であり，
１６は出力パターンに対応して例えば図示しないモータ
を駆動するなどの動作を行う出力部である．またＩ８は
環境であり，例えばロボットの動きなどに対応して変化
する外部環境と考えてよく，１７は当該環境から判断し
て（人間が判断してもよい）上記ニューラルネットワー
ク１１の出力が合目的的であるとみられた場合に“良”
を与える如き強化信号である。

図示の強化信号学習ユニット１２は．ニューラルネット
ワーク１１の出力ユニットに近い位置にユニットとして
用意される．そして．ニューラルネットワーク１１から
の出力が既に十分に学習を受けた結果のものであれば，
当該強化信号学習ユニット１２の出力が値ｒ１，に近づ
くように構成される， 〔作　用〕 環境１日に対応して入力部１５が入力パターンを生成す
る。この人力パターンは．ニューラルネットワーク１１
と入出力パターン記憶メモリｌ４に供給される．ニュー
ラルネットワーク１ｌは教師パターンを学習しており（
十分に学習していないこともある），上記入力パターン
に対して．当該学習の結果に対応した出力パターンを出
力する．図示の場合には，当該出力パターン内に上記乱
数発生ユニット１３からのゆらぎが含まれた形となって
いる．その出力パターンは入出力パターン記憶メモリ１
４に供給され．上記の入力パターンと組にされて入出力
パターンとして蓄えられる．また出力パターンは出力部
ｌ６に供給されて例えば図示しないモータを駆動する． 出力部１６による駆動の結果に対応して澄境ｌ８が変化
するが，当咳変化がニューラルネットワークｌ１にとっ
て合目的的なものであればその旨が強化信号ｌ７の形で
通知される．そして，合目的的な入出力パターンが人出
力パターン記憧メモリｌ４に保持されて．次回以降の教
師パターンとして利用されてゆく．モして５上記強化信
号ｌ７に対応して強化信号学習ユニット１２は，当該強
化信号が“良”である程．値ｒｌＪを出力するように学
習してゆく．現実的には，ニューラルネットワーク１１
において好ましい教師パターンに対して十分に学習が進
んでいれば．それに対応した形で強化信号学習ユニット
１２が値「１」に近い出力を乱数発生ユニット１３に供
給するようにされる． 従来の場合には，システムをゆらすために，実行時のニ
ューラルネットワークの出力層や出力自体に乱数を加え
ている．そして一般にこの乱数の強さ（範囲）は制御さ
れていないため．″良”と評価され十分に学習したパタ
ーンについてもかなり大きな乱数が掛かり，シス亭ムが
不安定になる．そこで．提示パターンの出力に対する強
化信号を学習するユニットを設け．その出力によって乱
数の強さを制御する．これにより．“良”と評価された
パターンに対しては乱数の掛かり方が弱くなり．システ
ムが安定して動作するようになる．〔実施例〕 第２図は．３層のニューラルネットワークを用いた本発
明の実施例を示す． 図中の符号１２．１３は第１図に対応している．モして
２３はニューラルネットワークの入力層．２４はニュー
ラルネットワークの中間層．２５は本発明においてもう
けられた第一出力層であって本発明にいう強化信号学習
ユニット１２を構成するもの．２６は第二出力層であっ
てニューラルネットワークの従来からの出力層に相当す
るものである．また２７は学習時に値「０」が与えられ
実行時に値「ｌ」が与えられる信号Ｌを表している．入
力層，中間層は従来の場合と同じである．出力層は２つ
に分かれており．中間層側のものを第′一出力層，他方
のものを第二出力層と呼ぶ．第一出力層には本発明によ
る強化信号学習ユニット１２のみがあり．第二出力層に
は従来の出力層に相当するユニットがある．乱数発生ユ
ニット１３と第二出力層２６との結合は固定である．動
作を説明する． ■　ネットワークの入力に何らかのパターンが提示され
ると，ニューラルネットワーク１１は強化信号学習ユニ
ット１２への出力を計算する．また，このときに入力パ
ターンをメモリに記憶する． ■　また第二出力１ｊ２６への出力をも計算する．この
とき，第二出力層２６に掛かる乱数は．■で計算した強
化信号学習ユニット１２への出力によって制御される．
第二出力層２６は乱数発生ユニット１３から信号を含め
た計算結果を出力するとともにそれを出力パターンとし
てメモリｌ４に記憶する． ■　出力に対する評価である強化信号が環境１８から与
えられる．この信号をメモリｌ４に記憶する． ■　メモリに記憶された入出力パターン．強化信号を利
用して強化学習ネットワーク１０は学習する． ■　ネットワーク１ｌの出力によって，環境ｌ８が変化
する．変化した環境を入力部ｌ５がセンスし，ネットワ
ーク１１に入力し，上記■ないし■の動作が繰り返され
る． 入力層２３と中間層２４とにおける計算方法は．従来公
知のパックブロパゲーシッン法の場合と同一であると考
えてよい．また，第一出力層２５の強化信号学習ユニッ
ト１２の出力も．従来と同一の方法で求める．したがっ
て，このユニット１２のｐ番目のパターンに対する出力
）’Ｉｌｌは．ｘ＊ｐ（ｔ）　　一Σ）’　ｔｐ（ｔ）
　　ｗｍｔ（ｔ）　　　　一・一・−−−−−　（１）
▲ ｙ　ａｔ（ｔ）　　−　１　／　（　ｉ　＋ｅｘｐ　（
−χＮ．（ｔ）　　）　）（２） ただし． ？＊ｅ：Ｐ番目のパターンに対する，中間層・２４から
本ユニット１２への入力の重みつき総和 ）’ｔｐＦＰ番目のパターンに対する，中間層２４の１
番目のユニットからの出力 Ｗ■：中間１１５２４の１番目のユニットと本ユニット
１２との結合の重み となる．システムに対する乱数の与え方には様々な方法
があるが．一例として第二出力層２６のバイアスとして
乱数をかけるようにしている．この乱数バイアスθ，は
．次式のように定義する．θ，　　（１）　　一γ・（
１　　）’　＊ｐ（ｔ））・ζ（１）・Ｌ　−−−−−
　（３）ここで， γ：乱数の範囲を決定する定数 ζ：−Ｘ．Ｏ〜１．０の範囲の乱数 Ｌ：実行時−１．学習時一〇をとる となる． 第二出力層２６のＰ番目のパターンに対する出力ｙｊｐ
は， ｘｊｐ（ｔ）　　一Σ７　ｉ　ｓ　（　ｔ）　　Ｗ　ｊ
＝　（ｔ）　　　　・−−−−−−−−−｛４）ｙｊｐ
（ｔ）　　−１／　（１　＋ｅｘｐ　（　　ｘａｔ（ｔ
）　＋　０１（ｔ）１（５） ただし． ＸＪｐ’Ｐ番目のパターンに対する．中間層からの第二
出力層への入力の重みつき総和 ３’ｔｐｊＰ番目のパターンに対する９中間層のｉ番目
のユニットからの出力 Ｗｊ！：中間層のｉ番目のユニットと，第二出力層のｊ
番目のユニットとの結合の重み となる． 学習時には，信号Ｌによりｅ，−ｏとなり，また強化信
号学習ユニット１２も第二出力層２６の各ユニットも中
間層２４と完全結合しているので，学習方法はパックプ
ロパゲーシッン法と同一となる． なお勿論，本発明は，階層ネットワーク以外のネットワ
ークにも，またバックプロパゲーシッン法以外の教師付
き学習法に適用することができる．また乱数ζはさまざ
まな分布をもつものが使用できる。また強化信号として
アナログ値を用い゛ることもできる． 第２図図示の場合．強化信号学習ユニット１２は次の如
く動作する．即ち．いま，ある入力パターンに対する出
力が゜良”として評価され．十分に学習したものとする
．ネットワーク１１にこの入力パターンが与えられると
，本発明では（１），　（２）式に従って強化信号学習
ユニッ｝１２の出力が計算される．“良”の強化信号は
，′１”として学習しているので．本ユニット１２の出
力は値「１」または値「１」に非常に近い値になる．従
来の方式の場合には，このステップはない．次に（３）
，　（４）．（５）式に従って，第二出力層の出力が計
算される．強化信号学習ユニット１２の出力はｒ１，付
近の値であるため．たとえ乱数の値ζが大きくても（３
）式は「０」または「０」に非常に近い値となり．（５
）式にほとんど影響を与えない．したがって，第二出力
層２６のユニットは乱数の影響を受けない所の学習した
値を出力し，システムは安定して動作する． 従来方式では（３）式を θｒ　（ｔ）　＝　ｒ・ζ（１）　　・Ｌとして表され
るものを用いていたため．乱数の値ζが大きい場合（５
）式が大きく影響され，学習したものとは異なる値即ち
乱数の影響を大きく受けた値を出力する。この結果，シ
ステムが不安定となる。以上述べたように．本発明は教
師付き学習のネットワークによる強化学習において，シ
ステムを安定に動作させるのに有効である． 〔発明の効果〕 本発明によれば強化信号を学習するユニットを設け，評
価の良否に対応して学習させることにより．ネットワー
ク出力の計算時に．その出力が如何に評価されるかを予
測することを可能とするようにしている．そしてその予
測に従って出力ユニットに掛かる乱数を制御することが
出来る．これは．入力パターンごとに乱数を与える量を
制御出来ることを示している． このように，強化信号を学習するユニット・を設一ける
ことによって，乱数の制御が可能になるが．未学習のパ
ターンに対してはこのユニットも誤った出力を出す．し
かし，その出力に対する強化信号の学習によって．次回
以降正しい出力を出すようになり．システムは正常に動
作するようになる．

【図面の簡単な説明】 第１図は本発明の原理構戒図．第２図は３層のニューラ
ルネットワークを用いた本発明の実施例を示す． １０：強化学習ネットワーク １ｌ：教師付き学習のニューラルネットワーク１２：強
化信号学習ユニット １３：乱数発生ユニット １４：入出力パターン記憶メモリ ｌ５：入力部 １６：出力部 １７：強化信号 ｌ８：環境 ２３：入力層 ２４：中間層 ２５：第一出力層 ２６：第二出力層 ２７：学習制御信号Ｌ

Claims (1)

1. 【特許請求の範囲】 教師付き学習を行うニューラルネットワーク（１１）を
   使用して、その出力に対する外部あるいは内部からの評
   価により、教師データを作成し、当該教師データにもと
   づいて学習する学習処理システムにおいて、 提示パターンに対するネットワークの出力を評価する強
   化信号を学習するユニット（１２）を設け、該ユニット
   （１２）の出力に応じてネットワークに掛けるゆらぎを
   与える乱数発生ユニット（１３）に対して制御量を変化
   する機構を持つよう構成されてなり、 “良”と評価され学習が行われたパターンに対しては、
   上記ゆらぎの程度を少なくするようにした ことを特徴とする強化学習処理方式。