JPH076145A - 神経回路網型適応目標到達装置 - Google Patents

Abstract

(57)【要約】 【目的】 移動指標地図がなくても、移動指標地図を自
ら作成しながら目標に到達することができる神経回路網
型適応目標到達装置を提供する。 【構成】 信号受信部１から現在の状態に関する情報を
受け取るとともに、以前の状態、移動および信号の時間
変化を移動量によって正規化した値である報酬値の関数
を表す関数を学習処理部２において層構造の神経回路網
に学習させ、この学習された関数の勾配方向の要素を神
経回路網の出力層から入力層へ伝搬し、該関数の勾配方
向の要素に基づいて状態を示す入力ユニット以外の入力
ユニットの出力を変化させることを繰り返して、学習処
理部３で学習された関数の最大点を関数最大点探索部４
で求め、この関数の最大点を数値変換部５で移動に変換
し、この移動を動力伝達部６で行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経回路網型自立移動
機械に関し、特に明示的な地図などを予め持ち合わせる
必要がない移動機械である神経回路網型適応目標到達装
置に関する。

【０００２】

【従来の技術】移動機械を目標地点に到達させることを
行う場合には、移動できる空間の地図や目標地点などの
座標データをすべて入力し、その空間の地図を頼りに移
動経路を計算することが行われる。このような場合に
は、移動経路を予め移動前に計算し、その軌道を忠実に
描けるように、移動機械に位置センサーを取り付け、セ
ンサーの値を見ながら移動することが行われる。この場
合、移動機械の一回の移動量は一定にされている。

【０００３】

【発明が解決しようとする課題】従来の移動機械は、移
動機械の移動指標範囲を示した地図を予め与える必要が
ある。また、その移動指標地図のみを頼りに移動するの
で、移動中の地図の変化は許されなかった。しかしなが
ら、機械の移動範囲や移動場所を変える度に、地図を入
力し直すことは多くの手間を要し、更に現実の世界で移
動する移動機械などは予め目標までの地図などが与えら
れたとしても、障害物などが移動することなどが考えら
れるので、地図が変化しないことは考えられない。この
ような場合においても移動機械が自ら移動指標地図を生
成し、地図の変化にも柔軟に適応できる機構が必要であ
る。更に、従来は一回の移動量は予め決められていた
が、これも状況に応じて、一回の移動量を適正に決定す
る必要がある。

【０００４】本発明は、上記に鑑みてなされたもので、
その目的とするところは、移動指標地図がなくても、移
動指標地図を自ら作成しながら目標に到達することがで
きる神経回路網型適応目標到達装置を提供することにあ
る。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の神経回路網型適応目標到達装置は、目標地
点から発信される信号を基に該目標地点に到達する目標
到達装置であって、前記信号を受信する信号受信部と、
前記信号の時間変化を移動量によって正規化し、その値
を報酬とする信号変換部と、以前の状態、移動、および
前記信号変換部により生成された報酬値の関係を表す関
数を層構造の神経回路網に学習させる学習処理部と、前
記信号受信部から現在の状態に関する情報を受け取ると
ともに、前記学習処理部によって学習された関数の勾配
方向の要素を前記神経回路網の出力層から入力層へ伝搬
し、該関数の勾配方向の要素に基づいて状態を示す入力
ユニット以外の入力ユニットの出力を変化させることを
繰り返すことにより、前記学習処理部で学習された関数
の最大点を求める関数最大点探索部と、該関数最大点探
索部によって求められた関数の最大点を移動に変換する
数値変換部と、該数値変換部によって変換された移動を
起こす動力伝達部と、前記信号受信部、前記信号変換
部、前記学習処理部、前記関数最大点探索部、前記数値
変換部および前記動力伝達部を制御する制御部とを有す
ることを要旨とする。

【０００６】

【作用】本発明の神経回路網型適応目標到達装置では、
現在の状態に関する情報を受け取るとともに、以前の状
態、移動および信号の時間変化を移動量によって正規化
した値である報酬値の関係を表す関数を層構造の神経回
路網に学習させ、この学習された関数の勾配方向の要素
を神経回路網の出力層から入力層へ伝搬し、該関数の勾
配方向の要素に基づいて状態を示す入力ユニット以外の
入力ユニットの出力を変化させることを繰り返して、学
習処理部で学習された関数の最大点を求め、この関数の
最大点を移動に変換し、この移動を動力伝達部で行う。

【０００７】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【０００８】図１は、本発明の一実施例に係わる神経回
路網型適応目標到達装置の構成を示すブロック図であ
る。同図に示す神経回路網型適応目標到達装置は、信号
を受信する信号受信部１、信号の時間変化を移動量によ
って正規化し、その値を報酬とする信号変換部２、以前
の状態と移動と前記信号変換部２によって生成された報
酬値の関係を表す関数を学習する学習処理部３、前記信
号受信部１から状態情報を受け取るとともに、現在の状
態から前記学習処理部３によって学習された関数の最大
点を求める関数最大点探索部４、該関数最大点探索部４
によって求められた関数の最大点を移動に変換する数値
変換部５、該数値変換部５によって変換された移動を起
こす動力伝達部６、および前記各部を制御する制御部７
から構成されている。

【０００９】このように構成される神経回路網型適応目
標到達装置として、目標点から電波を出力し、２次元空
間内で、その電波強度のみから目標地点に到達する移動
ロボットを考えると、この移動ロボットは電波を受信す
るアンテナおよび車輪などを駆動してその移動速度を制
御できる機械を有する。

【００１０】この移動ロボットは、電波を信号受信部１
によって受信し、その強度を計測する。また、信号変換
部２では、この計測した強度をＩ^t とし、移動した速度
をＶ＝｛Ｖ_x ，Ｖ_y ｝とすると、次に示す式（１）を計
算し、報酬値Ｒ^t に変換する。

【００１１】

【数１】 以前の状態（ロボットの座標）をＳ^t-1 ＝｛ｘ，ｙ｝と
して、Ｒ^t ＝ｆ（Ｓ^{t- 1} ，Ｖ^t ）を学習処理部３におい
て学習する。学習は、図２に示すような３層の神経回路
網と誤差逆伝搬法を用いて行われる。３層のうち、入力
層に状態Ｓ^t-1とＶ^t を入力し、出力層に教師信号とし
てＲ^t を与える。また、出力層のユニットは１つであ
る。

【００１２】上記学習処理部３によって学習された関数
は、入力層（１層目）と隠れ層（２ とすると、次式のように書き表される。

【００１３】

【数２】 通常、ｇ（ｘ）は以下の式で表させるＳ状関数を用い
る。

【００１４】

【数３】 ここで、式（２）を用いて、現在の状態Ｓ^t を固定し、
Ｒが最大になるＶを求めることを関数最大点探索部４に
おいて行う。これは、神経ユニットに以下のような機構
を設けることによって実現できる。

【００１５】出力層のユニットは、ユニットの現在の出
力をＯ^t とすると、Ｏ^t （１−Ｏ^t）を計算する。この
計算結果を隠れ層のユニットにそれぞれ伝える。隠れ層
のユニットの出力（Ｈ_j とする）は、以下の式に従う。

【００１６】

【数４】 更に、入力ユニットの出力の変化は、以下の式に従う。

【００１７】

【数５】 式（４），（５）を行い、式（５）によって変化した入
力ユニットの値（出力：Ｉ_i ）を用いて、隠れ層のユニ
ットは次式の計算を行い、ユニットの出力を決定する。
このとき、状態Ｓ^t を表すユニットに関しては、式
（５）の操作は行わない。

【００１８】

【数６】 出力ユニットも同様に式（６）で計算された隠れユニッ
トの出力を用いて、次式に従いユニットの出力を決定す
る。

【００１９】

【数７】 この式（４），（５），（６），（７）の繰り返しによ
って、式（２）に示される関数の最大点を求めることが
できる。

【００２０】以上の操作によって得られた関数の最大点
Ｉ＝｛Ｉ_i ｝＝｛Ｖ_x ，Ｖ_y ｝を数値変換部５によって
動力伝達部６の信号に変換する。そして、動力伝達部６
が信号を解釈し、動力を発生し、ロボットを移動させ
る。

【００２１】上述した信号受信部１から動力伝達部６ま
での操作を繰り返すことによって、ロボットは電波強度
の強い方に移動し、最終的には目標へ到達することがで
きる。

【００２２】次に、計算機シミュレーションの結果を示
す。計算機上に作られた５１２×４００の空間の中のあ
る地点（２５６，２００）に目標があり、そこから電波
が出ている時に出発点（２０，２０）から目標に到達さ
せることを行わせた。その時のロボットの軌跡を図３に
示す。動力は移動速度−３以上３以下を発生するものと
した。この時、動力伝達部６に送られた信号の回数は１
１９回であった。更にこの時形成された目標に向かうた
めの速度を表す移動指標地図を図４に示す。同図からわ
かるように、本神経回路網型適応目標到達装置は、移動
指標地図が予め与えられなくても、自ら移動指標地図を
作成し、移動量も決定することができるものである。

【００２３】

【発明の効果】以上説明したように、本発明によれば、
現在の状態に関する情報を受け取り、学習処理部によっ
て学習された関数の勾配方向の要素を神経回路網の出力
層から入力層へ伝搬し、該関数の勾配方向の要素に基づ
いて状態を示す入力ユニット以外の入力ユニットの出力
を変化させることを繰り返して、学習処理部で学習され
た関数の最大点を求め、この関数の最大点を移動に変換
し、この移動を動力伝達部で行うので、予め移動指標地
図を持たなくても、移動指標地図を自ら作成しながら、
目標に到達することができる。また、本発明では、動力
伝達装置の出力を規定していないので、速度を明示的に
指定できない場合においても応用が可能である。摩擦の
ない宇宙空間などでロケットを噴射し姿勢制御を行うこ
とや、多関節ロボットの足を動かして目標に到達するこ
とも可能である。このように、動力伝達装置がどのよう
な出力であっても適応でき、幅広い応用がある。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる神経回路網型適応目
標到達装置の構成を示すブロック図である。

【図２】図１の実施例に使用される層状神経回路網を示
す図である。

【図３】図１の実施例による目標までの軌跡である移動
経路を示す図である。

【図４】図１の実施例において形成される移動指標地図
を示す図である。

【符号の説明】

１ 信号受信部 ２ 信号変換部 ３ 学習処理部 ４ 関数最大点探索部 ５ 数値変換部 ６ 動力伝達部 ７ 制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 曽根原 登 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 目標地点から発信される信号を基に該目
   標地点に到達する目標到達装置であって、 前記信号を受信する信号受信部と、 前記信号の時間変化を移動量によって正規化し、その値
   を報酬とする信号変換部と、 以前の状態、移動、および前記信号変換部により生成さ
   れた報酬値の関係を表す関数を層構造の神経回路網に学
   習させる学習処理部と、 前記信号受信部から現在の状態に関する情報を受け取る
   とともに、前記学習処理部によって学習された関数の勾
   配方向の要素を前記神経回路網の出力層から入力層へ伝
   搬し、該関数の勾配方向の要素に基づいて状態を示す入
   力ユニット以外の入力ユニットの出力を変化させること
   を繰り返すことにより、前記学習処理部で学習された関
   数の最大点を求める関数最大点探索部と、 該関数最大点探索部によって求められた関数の最大点を
   移動に変換する数値変換部と、 該数値変換部によって変換された移動を起こす動力伝達
   部と、 前記信号受信部、前記信号変換部、前記学習処理部、前
   記関数最大点探索部、前記数値変換部および前記動力伝
   達部を制御する制御部とを有することを特徴とする神経
   回路網型適応目標到達装置。