JP4388033B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP4388033B2
JP4388033B2 JP2006135714A JP2006135714A JP4388033B2 JP 4388033 B2 JP4388033 B2 JP 4388033B2 JP 2006135714 A JP2006135714 A JP 2006135714A JP 2006135714 A JP2006135714 A JP 2006135714A JP 4388033 B2 JP4388033 B2 JP 4388033B2
Authority
JP
Japan
Prior art keywords
time
series data
data
prediction error
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006135714A
Other languages
English (en)
Other versions
JP2007305071A (ja
Inventor
淳 谷
隆之助 西本
真人 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
RIKEN Institute of Physical and Chemical Research
Original Assignee
Sony Corp
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, RIKEN Institute of Physical and Chemical Research filed Critical Sony Corp
Priority to JP2006135714A priority Critical patent/JP4388033B2/ja
Priority to US11/803,237 priority patent/US7877338B2/en
Publication of JP2007305071A publication Critical patent/JP2007305071A/ja
Application granted granted Critical
Publication of JP4388033B2 publication Critical patent/JP4388033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、時系列データをより正確に生成することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
本出願人は、リカレント型ニューラルネットワークを用いて、時系列データを、学習した結果に応じて時系列データを発生させることを先に提案した（例えば、特許文献１参照）。
この提案においては、図１に示されるように、情報処理装置が、基本的に、リカレント型ニューラルネットワーク（以下、RNNという）１−１乃至１−ｖを有する下位の階層のネットワークと、RNN１１−１乃至１１−ｖを有する上位の階層のネットワークとで構成される。
下位の階層のネットワークにおいては、RNN１−１乃至１−ｖの出力が、それぞれ対応するゲート２−１乃至２−ｖを介して、合成回路３に供給され、合成される。
上位の階層のネットワークにおいても、RNN１１−１乃至１１−ｖの出力が、対応するゲート１２−１乃至１２−ｖを介して合成回路１３に供給され、合成される。そして、上位の階層の合成回路１３の出力に基づいて、下位の階層のゲート２−１乃至２−ｖのオン、オフが制御される。
図１に示す構成を有する情報処理装置では、下位の階層のRNN１−１乃至１−ｖに、それぞれ時系列データＰ１乃至Ｐｖを発生させ、上位の階層の合成回路１３の出力に基づいて、下位の階層のゲート２−１乃至２−ｖのうちの所定のものをオンまたはオフさせるようにすることで、合成回路３からRNN１−１乃至１−ｖのうちの所定のものが発生した時系列データＰ１乃至Ｐｖのいずれかを選択的に出力させることができる。
これにより、例えば、図２に示されるように、所定の時間、時系列データＰ１を生成させた後、次の所定の時間、時系列データＰ２を生成させ、さらに、その次の所定の時間、再び時系列データＰ１を生成させるなどして、時系列データを生成させることができる。
特開平１１−１２６１９８号公報
しかしながら、先の提案は、ゲート２−１乃至２−ｖのうちのいずれか１つのゲートをオンさせる、いわゆるウィナーテイクオール（Winner-take-all）の動作を実行させるようにしているため、ゲート２−１乃至２−ｖの勝者がはっきりと区別される場合には問題ないが、例えば、勝者を決定するレベルが複数のゲートどうしで拮抗しているような場合には、勝者としてのゲート２−１乃至２−ｖが頻繁に交替することがあり、時系列データをより正確に生成することが困難であった。
本発明は、このような状況に鑑みてなされたものであり、時系列データをより正確に生成することができるようにするものである。
本発明の一側面の情報処理装置は、制御対象の行動をセンサにより検出し、その検出データに基づき前記制御対象を制御する情報処理装置であって、所定の行動部品を実現させる前記制御対象の動作を示す教師用時系列データを用いて、前記制御対象を制御した場合の時刻t（tは任意の整数値）までの前記制御対象の動作を示す検出データである生徒用時系列データを学習し、その学習結果に基づいて、前記時刻tの後の時刻t+1までの動作の予測を示す予測時系列データを各時刻毎に予測演算し、前記時刻t+1までの教師用時系列データに対する前記予測時系列データの誤差を示す予測誤差時系列データを各時刻毎に予測演算する複数の行動部品毎のリカレント型ニューラルネットワークと、各時刻毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークのそれぞれにより予測演算された前記予測時系列データをそれぞれ出力する前記複数の行動部品毎のゲート手段と、各時刻毎に、前記複数の行動部品毎のゲート手段からそれぞれ出力された前記予測時系列データを合成して出力する合成手段とを有する下位時系列データ生成手段と、各時刻毎に、前記時刻t+1までの前記予測誤差時系列データの推定を示す推定予測誤差時系列データに対して、前記推定予測誤差時系列データが小さくなる程大きい値に、前記推定予測誤差時系列データが大きくなる程小さい値となる性質の非線形な変換を施して、変換後のデータに基づいて、前記複数の行動部品毎のゲート手段のそれぞれについて、前記時刻t+1までの前記予測時系列データの出力の度合を制御する変換手段と、各時刻毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークにより予測演算された前記時刻tまでの前記予測誤差時系列データのそれぞれを教師データとして、前記時刻tまでの前記推定予測誤差時系列データを生徒データとして学習し、その学習結果に基づいて、前記時刻t+1までの前記推定予測誤差時系列データを予測演算する連続時間型のリカレント型ニューラルネットワークを有し、前記連続時間型のリカレント型ニューラルネットワークにより生成された前記時刻t+1までの前記推定予測誤差時系列データを前記変換手段に供給する上位時系列データ生成手段とを備える。
前記下位時系列データ生成手段が出力する前記予測誤差時系列データに対して時間フィルタ処理を施す時間フィルタ手段をさらに設けることができる。
前記下位時系列データ生成手段が出力する前記予測誤差時系列データを非線形に変換する非線形フィルタ手段をさらに設けることができる。
前記下位時系列データ生成手段には、既存の行動シーケンスについて前記生徒用時系列データを学習する毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークそれぞれが前記生徒用時系列データの学習時に発生した前記予測誤差時系列データを、前記ソフトマックス関数に入力させ、その出力に応じて、新規の行動シーケンスについて前記生徒用時系列データを学習する場合に用いられる、前記複数の行動部品毎のリカレント型ニューラルネットワークそれぞれの学習の重みを更新させることができる。
前記下位時系列データ生成手段には、既存の行動シーケンスについて前記生徒用時系列データを学習する毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークそれぞれが前記生徒用時系列データの学習時に発生した前記予測誤差時系列データのうち、最も小さい誤差を発生した前記複数の行動部品毎のリカレント型ニューラルネットワークを勝者として、前記勝者からの距離に応じて、新規の行動シーケンスについて前記生徒用時系列データを学習する場合に用いられる、前記複数の行動部品毎のリカレント型ニューラルネットワークそれぞれの前記学習の重みを更新させることができる。
本発明の一側面の情報処理方法は、制御対象の行動をセンサにより検出し、その検出データに基づき前記制御対象を制御する情報処理装置の情報処理方法であって、前記情報処理装置は、複数の行動部品毎のリカレント型ニューラルネットワークと、ゲート手段と、合成手段とを含む下位時系列データ生成手段と、変換手段と、連続時間型のリカレント型ニューラルネットワークを含む下位時系列データ生成手段とを備え、前記複数の行動部品毎のリカレント型ニューラルネットワークが、所定の行動部品を実現させる前記制御対象の動作を示す教師用時系列データを用いて、前記制御対象を制御した場合の時刻t（tは任意の整数値）までの前記制御対象の動作を示す検出データである生徒用時系列データを学習し、その学習結果に基づいて、前記時刻tの後の時刻t+1までの動作の予測を示す予測時系列データを各時刻毎に予測演算し、前記時刻t+1までの教師用時系列データに対する前記予測時系列データの誤差を示す予測誤差時系列データを各時刻毎に予測演算し、前記ゲート手段が、各時刻毎に、予測演算された前記予測時系列データをそれぞれ出力し、前記合成手段が、各時刻毎に、それぞれ出力された前記予測時系列データを合成し、前記変換手段が、各時刻毎に、前記時刻t+1までの前記予測誤差時系列データの推定を示す推定予測誤差時系列データに対して、前記推定予測誤差時系列データが小さくなる程大きい値に、前記推定予測誤差時系列データが大きくなる程小さい値となる性質の非線形な変換を施して、変換後のデータに基づいて、前記時刻t+1までの前記予測時系列データの出力の度合を制御し、前記連続時間型のリカレント型ニューラルネットワークを含む前記上位時系列データ生成手段が、各時刻毎に、予測演算された前記時刻tまでの前記予測誤差時系列データのそれぞれを教師データとして、前記時刻tまでの前記推定予測誤差時系列データを生徒データとして学習し、その学習結果に基づいて、前記時刻t+1までの前記推定予測誤差時系列データを予測演算し、前記時刻t+1までの前記推定予測誤差時系列データを供給するステップを含む。
本発明の一側面のプログラムは、制御対象の行動をセンサにより検出し、その検出データに基づき前記制御対象を制御するプログラムであって、所定の行動部品を実現させる前記制御対象の動作を示す教師用時系列データを用いて、前記制御対象を制御した場合の時刻t（tは任意の整数値）までの前記制御対象の動作を示す検出データである生徒用時系列データを学習し、その学習結果に基づいて、前記時刻tの後の時刻t+1までの動作の予測を示す予測時系列データを各時刻毎に予測演算し、前記時刻t+1までの教師用時系列データに対する前記予測時系列データの誤差を示す予測誤差時系列データを各時刻毎に予測演算する、複数の行動部品毎のリカレント型ニューラルネットワークと、各時刻毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークのそれぞれにより予測演算された前記予測時系列データをそれぞれ出力する、前記複数の行動部品毎のゲート手段と、各時刻毎に、前記複数の行動部品毎のゲート手段からそれぞれ出力された前記予測時系列データを合成して出力する合成手段とを有する下位時系列データ生成手段と、各時刻毎に、前記時刻t+1までの前記予測誤差時系列データの推定を示す推定予測誤差時系列データに対して、前記推定予測誤差時系列データが小さくなる程大きい値に、前記推定予測誤差時系列データが大きくなる程小さい値となる性質の非線形な変換を施して、変換後のデータに基づいて、前記複数の行動部品毎のゲート手段のそれぞれについて、前記時刻t+1までの前記予測時系列データの出力の度合を制御する変換手段と、各時刻毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークにより予測演算された前記時刻tまでの前記予測誤差時系列データのそれぞれを教師データとして、前記時刻tまでの前記推定予測誤差時系列データを生徒データとして学習し、その学習結果に基づいて、前記時刻t+1までの前記推定予測誤差時系列データを予測演算する連続時間型のリカレント型ニューラルネットワークを有し、前記連続時間型のリカレント型ニューラルネットワークにより生成された前記時刻t+1までの前記推定予測誤差時系列データを前記変換手段に供給する上位時系列データ生成手段として機能させるための処理をコンピュータに実行させる。
本発明の一側面においては、所定の行動部品を実現させる制御対象の動作を示す教師用時系列データを用いて、前記制御対象を制御した場合の時刻t（tは任意の整数値）までの動作を示す検出データである生徒用時系列データが学習され、その学習結果に基づいて、前記時刻tの後の時刻t+1までの動作の予測を示す予測時系列データが各時刻毎に予測演算される。前記時刻t+1までの教師用時系列データに対する前記予測時系列データの誤差を示す予測誤差時系列データが各時刻毎に予測演算され、各時刻毎に、予測演算された前記予測時系列データがそれぞれ出力される。各時刻毎に、それぞれ出力された前記予測時系列データが合成され、各時刻毎に、前記時刻t+1までの前記予測誤差時系列データの推定を示す推定予測誤差時系列データに対して、前記推定予測誤差時系列データが小さくなる程大きい値に、前記推定予測誤差時系列データが大きくなる程小さい値となる性質の非線形な変換が施され、変換後のデータに基づいて、前記時刻t+1までの前記予測時系列データの出力の度合が制御され、各時刻毎に、予測演算された前記時刻tまでの前記予測誤差時系列データのそれぞれを教師データとして、前記時刻tまでの前記推定予測誤差時系列データが生徒データとして学習され、その学習結果に基づいて、前記時刻t+1までの前記推定予測誤差時系列データが予測演算され、前記時刻t+1までの前記推定予測誤差時系列データが供給される。
本発明の一側面によれば、時系列データをより正確に生成することができる。
以下、図を参照して、本発明の実施の形態について説明する。
図３は、本発明を適用した情報処理装置の構成例を示している。
図３の情報処理装置５１は、例えば、ロボットなどに組み込まれるものである。情報処理装置５１が組み込まれるロボットには、視認の対象となる対象物を検出するセンサと、ロボットを移動させるために駆動されるモータ（いずれも図示せず）が少なくとも具備されており、センサおよびモータからの信号であるセンサモータ信号が情報処理装置５１に供給される。
情報処理装置５１は、下位時系列予測生成器６１、上位時系列予測生成器６２、およびゲート信号変換部６３により構成され、教師データとして与えられる時系列データを学習する学習処理と、その学習した結果に応じて、入力に対する時系列データを生成（再現）する生成処理を実行する。
本実施の形態では、情報処理装置５１が、ヒューマノイドロボットが行う一連の動作である行動シーケンスを学習および生成する例について説明する。
以下の例では、情報処理装置５１が３つの行動シーケンスA，B、およびCを学習する。
行動シーケンスAとしてのヒューマノイドロボットの動作は、初期状態としての両腕を左右に広げた状態のロボットが、目の前のテーブルに置かれた四角い物体を視認し、物体を両手で掴んで所定の高さだけ持ち上げ、再びテーブルに置く動作を複数回行い、その後、初期状態の位置（以下、ホームポジションともいう）に両腕を戻す動作である。
行動シーケンスBとしてのヒューマノイドロボットの動作は、初期状態から、目の前のテーブルに置かれた四角い物体を視認し、右手で物体に触る、ホームポジションに戻す、左手で物体に触る、ホームポジションに戻るという動作、即ち、物体を片手で交互に触る動作を複数回行う動作である。
行動シーケンスCとしてのヒューマノイドロボットの動作は、初期状態から、目の前のテーブルに置かれた四角い物体を視認し、両手で同時に物体を１回触って、ホームポジションに戻る動作である。
以上のような行動シーケンスA乃至Cそれぞれを実行するときのセンサ（例えば、視覚センサなど）やモータの信号を、情報処理装置５１は学習および生成する。
下位時系列予測生成器６１は、N個のリカレント型ニューラルネットワーク（Recurrent Neural Network;以下、RNNという）７１−１乃至７１−Ｎ、そのRNN７１−１乃至７１−Ｎの後段に配置されるゲート７２−１乃至７２−Ｎ、合成回路７３、演算回路７４、メモリ７５、および制御回路７６により構成される。なお、RNN７１−１乃至７１−Ｎを特に区別する必要がない場合には、単にRNN７１と称する。その他のゲート７２などについても同様である。
下位時系列予測生成器６１には、ヒューマノイドロボットに具備されたセンサおよびモータからのセンサモータ信号が入力される。ここで、時刻ｔに、下位時系列予測生成器６１に入力されるセンサモータ信号をｓｍ（ｔ）と表す。
下位時系列予測生成器６１は、そこに入力される時刻ｔのセンサモータ信号ｓｍ（ｔ）に対して、時刻ｔ＋１のセンサモータ信号ｓｍ（ｔ＋１）を、予め学習した結果に応じて予測して、出力する。
具体的には、RNN７１−ｎ（ｎ＝１，２，・・・，Ｎ）は、入力された時刻ｔのセンサモータ信号ｓｍ（ｔ）に対して、予め学習した結果に応じて時刻ｔ＋１のセンサモータ信号ｓｍ（ｔ＋１）を生成し、ゲート７２−ｎに出力する。
ところで、行動シーケンスは、さまざまな複数の行動部品（運動プリミティブ（primitive））の集まり（連続）で構成されると考えることができる。例えば、上述した行動シーケンスAは、物体を視認する、両腕を物体に（掴むまで）近づける、物体を持ち上げる、持ち上げた物体を下げる、ホームポジションに戻る、等の行動部品の集まりであると考えることができる。RNN７１−１乃至７１−Ｎのそれぞれは、１つの行動部品に対応するセンサモータ信号の時系列データを排他的に学習する。
従って、RNN７１−１乃至７１−Ｎそれぞれに学習されている行動部品が異なるために、RNN７１−１乃至７１−Ｎのそれぞれには、同一のセンサモータ信号ｓｍ（ｔ）が入力されるが、RNN７１−１乃至７１−Ｎのそれぞれが出力するセンサモータ信号ｓｍ（ｔ＋１）は異なるものとなる。ここで、RNN７１−ｎが出力するセンサモータ信号ｓｍ（ｔ＋１）をセンサモータ信号ｓｍn（ｔ＋１）と表す。
RNN７１−ｎの後段に配置されるゲート７２−ｎには、RNN７１−ｎからの時刻ｔ＋１のセンサモータ信号ｓｍn（ｔ＋１）の他に、ゲート信号変換部６３から、ゲート７２−１乃至７２−Ｎの開閉状態の制御信号であるゲート信号gate［Ｎ］＝｛ｇ1，ｇ2，・・・，ｇN｝が供給される。なお、後述するように、ゲート信号gate［Ｎ］を構成するゲート信号ｇnの総和は１（Σｇn＝１）となっている。
ゲート７２−ｎは、ゲート信号ｇnに応じて、RNN７１−ｎからのセンサモータ信号ｓｍn（ｔ＋１）の出力を開閉する。即ち、ゲート７２−ｎは、時刻ｔ＋１において、ｇn×ｓｍn（ｔ＋１）を合成回路７３に出力する。
合成回路７３は、ゲート７２−１乃至７２−Ｎそれぞれからの出力を合成し、その合成の結果を、時刻ｔ＋１のセンサモータ信号ｓｍ（ｔ＋１）として出力する。即ち、合成回路７３は、次式（１）で表されるセンサモータ信号ｓｍ（ｔ＋１）を出力する。
Figure 0004388033
演算回路７４は、センサモータ信号の時系列データの学習時、時刻ｔのセンサモータ信号ｓｍ（ｔ）に対してRNN７１−１乃至７１−Ｎそれぞれが出力した時刻ｔ＋１のセンサモータ信号ｓｍ1（ｔ＋１）乃至ｓｍN（ｔ＋１）と、教師データとして下位時系列予測生成器６１に与えられる時刻ｔ＋１の教師センサモータ信号ｓｍ*（ｔ＋１）との予測誤差errorLt+1［Ｎ］＝｛errorLt+1 1，errorLt+1 2，・・・，errorLt+1 N｝を計算する。なお、予測誤差errorLt+1［Ｎ］は、後述する式（１６）で表されるように、時刻ｔ＋１における誤差だけではなく、時刻ｔ＋１から過去Ｌステップ分を考慮した誤差として計算される。
演算回路７４により計算された時刻ｔ＋１におけるRNN７１−ｎの予測誤差errorLt+1 nは、メモリ７５に供給され、記憶される。
演算回路７４において、予測誤差errorLt+1［Ｎ］の計算が時系列に繰り返され、メモリ７５に記憶されることにより、メモリ７５には、教師データに対する予測誤差の時系列データerrorL［Ｎ］が記憶される。この予測誤差の時系列データerrorL［Ｎ］は、上位時系列予測生成器６２に供給される。なお、演算回路７４は、教師データに対する予測誤差の時系列データerrorL［Ｎ］を、０から１の範囲の値に正規化してから出力する。
メモリ７５は、上述したように、教師データに対する予測誤差の時系列データerrorL［Ｎ］を記憶する。また、メモリ７５は、RNN７１−１乃至７１−Ｎの利用頻度FREQ1乃至FREQNも記憶する。RNN７１−１乃至７１−Ｎの利用頻度FREQ1乃至FREQNについては図６を参照して後述する。
制御回路７６は、RNN７１−１乃至７１−Ｎ、演算回路７４、メモリ７５など、下位時系列予測生成器６１の各部を制御する。
一方、上位時系列予測生成器６２は、１個の連続時間型のRNN（Continuous Time RNN：以下、CTRNNという）８１により構成される。
上位時系列予測生成器６２のCTRNN８１は、下位時系列生成器６１のRNN７１−１乃至７１−Ｎが、生成時にどれくらいの予測誤差を発生させるかを推定（予測）して出力する。
即ち、CTRNN８１は、RNN７１−１乃至７１−Ｎの予測誤差の時系列データerrorL［Ｎ］を教師データとして用いて学習し、その学習した結果に基づいて、RNN７１−１乃至７１−Ｎの推定予測誤差errorPredH［Ｎ］＝｛errorPredH1，errorPredH2，・・・，errorPredHN｝を生成し、出力する。ここで、時刻ｔにおける推定予測誤差errorPredH［Ｎ］を、errorPredHt［Ｎ］＝｛errorPredHt 1，errorPredHt 2，・・・，errorPredHt N｝とする。
また、CTRNN８１には、行動シーケンスA乃至Bのいずれの推定予測誤差errorPredH［Ｎ］を出力するかを切替えるタスク切替信号としてのタスクIDが与えられる。
ゲート信号変換部６３は、ソフトマックス（softmax）関数を用いて、時刻ｔにおける推定予測誤差errorPredHt［Ｎ］を、ゲート信号gatet［Ｎ］＝｛ｇt 1，ｇt 2，・・・，ｇt N｝に変換し、変換した結果をゲート７２−１乃至７２−Ｎに出力する。
時刻ｔにおけるゲート７２−ｎに対するゲート信号ｇt nは、次式（２）で表される。
Figure 0004388033
式（２）によれば、予測誤差の小さいものは大きい値に、予測誤差の大きいものは小さい値となるような非線形の変換が施される。その結果、予測誤差の小さいものほどゲートがより大きく開き、予測誤差の大きいものほどゲートがより小さく開くような制御が、下位時系列生成器６１のゲート７２−１乃至７２−Ｎにおいて行われることになる。
以上のように構成される情報処理装置５１では、上位時系列予測生成器６２が、下位時系列生成器６１のRNN７１−１乃至７１−Ｎが生成時に発生させる予測誤差の推定値である推定予測誤差errorPredH［Ｎ］を出力し、この推定予測誤差errorPredH［Ｎ］が、ゲート７２−１乃至７２−Ｎの開閉状態を制御するゲート信号gate［Ｎ］に変換される。そして、上述の（１）式で表される、開閉状態が制御されたゲート７２−１乃至７２−Ｎから出力されるRNN７１−１乃至７１−Ｎの出力信号ｓｍ1（ｔ＋１）乃至ｓｍN（ｔ＋１）の総和が、時刻ｔ＋１のセンサモータ信号ｓｍ（ｔ＋１）として、ヒューマノイドロボットのセンサおよびモータに供給される。
なお、上位時系列予測生成器６２は、上位時系列予測生成器６２の出力である推定予測誤差errorPredH［Ｎ］が、後段のゲート信号変換部６３においてゲート信号gate［Ｎ］に変換されるから、時刻ｔにおいて、どのゲート７２−１乃至７２−Ｎを（大きく）開放するかを予測しているとも言える。
図４は、RNN７１−ｎの詳細な構成例を示している。
RNN７１−ｎは、図４に示されるように、入力層１０１、中間層（隠れ層）１０２、および出力層１０３により構成されており、入力層１０１は所定数のノード１１１を有し、中間層（隠れ層）１０２は、所定数のノード１１２を有し、出力層１０３は、所定数のノード１１３を有している。
入力層１０１のノード１１１には、時刻ｔにおけるセンサモータ信号ｓｍ（ｔ）と、時刻ｔの１つ前の時刻ｔ−１に出力層１０３の一部のノード１１３から出力され、RNN７１−ｎの内部状態を表すコンテキストｃ（ｔ）としてフィードバックされたデータが、入力される。
中間層１０２のノード１１２は、入力層１０１のノード１１１から入力されたデータと、予め学習によって求められたノード１１１との間の重み係数とを積和する重み付け加算処理を行い、その演算結果を出力層１０３のノード１１３に出力する。
出力層１０３を構成するノード１１３は、中間層１０２のノード１１２から入力されたデータと、予め学習によって求められたノード１１２との間の重み係数とを積和する重み付け加算処理の演算を行う。出力層１０３を構成する一部のノード１１３は、演算結果を、時刻ｔ＋１のセンサモータ信号ｓｍn（ｔ＋１）として出力する。また、出力層１０３を構成するその他の一部のノード１１３は、演算結果を、時刻ｔ＋１のコンテキストｃ（ｔ＋１）として、入力層１０１のノード１１１にフィードバックする。
以上のように、RNN７１−ｎは、予め学習によって求められたノード間の重み係数を用いた重み付け加算処理により、入力された時刻ｔのセンサモータ信号ｓｍ（ｔ）に対して、時刻ｔ＋１のセンサモータ信号ｓｍn（ｔ＋１）を予測して出力する。
なお、ノード間の重み係数を求める学習では、BPTT（Back Propagation Through Time）法が採用される。BPTT法は、コンテキストループを持つRNNの学習アルゴリズムであり、時間的な信号伝播の様子を空間的に展開することで、通常の階層型ニューラルネットワークにおけるバックプロパゲーション（BP）法を適用する手法である。次に後述するCTRNN８１において重み係数を求める場合も同様である。
図５は、CTRNN８１として採用されるCTRNNの詳細な構成例を示している。
図５のCTRNN１４１は、入力層１５１、中間層（隠れ層）１５２、出力層１５３、並びに演算部１５４および１５５により構成されている。
入力層１５１は、入力ノード１６０−ｉ（ｉ＝１，・・・，Ｉ）、パラメータノード１６１−ｒ（ｒ＝１，・・・，Ｒ）、およびコンテキスト入力ノード１６２−ｋ（ｋ＝１，・・・，Ｋ）を有しており、中間層１５２は、隠れノード１６３−ｊ（ｊ＝１，・・・，Ｊ）を有している。また、出力層１５３は、出力ノード１６４−ｉ（ｉ＝１，・・・，Ｉ）と、コンテキスト出力ノード１６５−ｋ（ｋ＝１，・・・，Ｋ）を有している。
なお、入力ノード１６０−ｉ、パラメータノード１６１−ｒ、コンテキスト入力ノード１６２−ｋ、隠れノード１６３−ｊ、出力ノード１６４−ｉ、およびコンテキスト出力ノード１６５−ｋの各ノードを区別する必要がない場合には、単に、入力ノード１６０、パラメータノード１６１、コンテキスト入力ノード１６２、隠れノード１６３、出力ノード１６４、およびコンテキスト出力ノード１６５という。
CTRNN１４１では、そこに入力される時刻ｔの状態ベクトルｘu（ｔ）に対して、時刻ｔ＋１の状態ベクトルｘu（ｔ＋１）を予測して、出力することが学習される。CTRNN１４１は、ネットワークの内部状態を表すコンテキストループと呼ばれる回帰ループをもち、その内部状態に基づく処理が行われることで対象となる時系列データの時間発展法則を学習することができる。
CTRNN１４１に供給される時刻ｔの状態ベクトルｘu（ｔ）は、入力ノード１６０に入力される。パラメータノード１６１には、パラメータtsdatauが入力される。パラメータtsdatauは、CTRNN１４１に供給される状態ベクトルｘu（ｔ）の種類（時系列データのパターン）を識別するデータであり、CTRNN８１では、行動シーケンスを識別するデータとなる。パタメータtsdatauは固定値であるが、継続的に同一の値が入力されていると考えることができるので、時刻ｔにおいてパラメータノード１６１に入力されるデータ（ベクトル）をパラメータtsdatau（ｔ）とする。
入力ノード１６０−ｉには、時刻ｔの状態ベクトルｘu（ｔ）を構成するｉ番目の要素であるデータｘu i（ｔ）が入力される。また、パラメータノード１６１−ｒには、時刻ｔのパラメータtsdatau（ｔ）を構成するｒ番目の要素であるデータtsdatau r（ｔ）が入力される。さらに、コンテキスト入力ノード１６２−ｋには、時刻ｔのCTRNN１４１の内部状態ベクトルｃu（ｔ）を構成するｋ番目の要素であるデータｃu k（ｔ）が入力される。
入力ノード１６０−ｉ、パラメータノード１６１−ｒ、およびコンテキスト入力ノード１６２−ｋのそれぞれにデータｘu i（ｔ）、tsdatau r（ｔ）、およびｃu k（ｔ）が入力された場合に、入力ノード１６０−ｉ、パラメータノード１６１−ｒ、およびコンテキスト入力ノード１６２−ｋが出力するデータｘi（ｔ）、tsdatar（ｔ）、およびｃk（ｔ）は、それぞれ、次の式（３）、式（４）、および式（５）によって表される。
Figure 0004388033
Figure 0004388033
Figure 0004388033
式（３）乃至式（５）における関数ｆは、シグモイド関数などの微分可能な連続関数であり、式（３）乃至式（５）は、入力ノード１６０−ｉ、パラメータノード１６１−ｒ、およびコンテキスト入力ノード１６２−ｋのそれぞれに入力されたデータｘu i（ｔ）、tsdatau r（ｔ）、およびデータｃu k（ｔ）が、関数ｆにより活性化され、データｘi（ｔ）、tsdatar（ｔ）、およびデータｃk（ｔ）として入力ノード１６０−ｉ、パラメータノード１６１−ｒ、およびコンテキスト入力ノード１６２−ｋから出力されることを表している。なお、データｘu i（ｔ）、tsdatau r（ｔ）、およびｃu k（ｔ）の上付きのｕは、活性化される前のノードの内部状態を表す（他のノードについても同様）。
隠れノード１６３−ｊに入力されるデータｈu j（ｔ）は、入力ノード１６０−ｉと隠れノード１６３−ｊの結合の重みを表す重み係数ｗh ij、パラメータノード１６１−ｒと隠れノード１６３−ｊの結合の重みを表す重み係数ｗh jr、およびコンテキスト入力ノード１６２−ｋと隠れノード１６３−ｊの結合の重みを表す重み係数ｗh jkとを用いて、式（６）で表すことができ、隠れノード１６３−ｊが出力するデータｈj（ｔ）は、式（７）で表すことができる。
Figure 0004388033
Figure 0004388033
なお、式（６）の右辺の第１項のΣは、ｉ＝１乃至Ｉの全てについて加算することを表し、第２項のΣは、ｒ＝１乃至Ｒの全てについて加算することを表し、第３項のΣは、ｋ＝１乃至Ｋの全てについて加算することを表す。
同様にして、出力ノード１６４−ｉに入力されるデータｙu i（ｔ）と、出力ノード１６４−ｉが出力するデータｙi（ｔ）、および、コンテキスト出力ノード１６５−ｋに入力されるデータｏu k（ｔ）と、コンテキスト出力ノード１６５−ｋが出力するデータｏk（ｔ）は、次式で表すことができる。
Figure 0004388033
Figure 0004388033
Figure 0004388033
Figure 0004388033
式（８）のｗy ijは、隠れノード１６３−ｊと出力ノード１６４−ｉの結合の重みを表す重み係数であり、Σは、ｊ＝１乃至Jの全てについて加算することを表す。また、式（１０）のｗo jkは、隠れノード１６３−ｊとコンテキスト出力ノード１６５−ｋの結合の重みを表す重み係数であり、Σは、ｊ＝１乃至Jの全てについて加算することを表す。
演算部１５４は、出力ノード１６４−ｉが出力するデータｙi（ｔ）から、時刻ｔのデータｘu i（ｔ）と時刻ｔ＋１のデータｘu i（ｔ＋１）との差分△ｘu i（ｔ＋１）を式（１２）により求め、さらに、式（１３）により、時刻ｔ＋１のデータｘu i（ｔ＋１）を計算して、出力する。
Figure 0004388033
Figure 0004388033
ここで、αおよびτは、任意の係数を表す。
したがって、CTRNN１４１に時刻ｔのデータｘu i（ｔ）が入力されると、時刻ｔ＋１のデータｘu i（ｔ＋１）がCTRNN１４１の演算部１５４から出力される。また、演算部１５４から出力された時刻ｔ＋１のデータｘu i（ｔ＋１）は、入力ノード１６０−ｉにも供給される（フィードバックされる）。
演算部１５５は、コンテキスト出力ノード１６５−ｋが出力するデータｏk（ｔ）から、時刻ｔのデータｃu k（ｔ）と、時刻ｔ＋１のデータｃu k（ｔ＋１）との差分△ｃu k（ｔ＋１）を式（１４）により求め、さらに、式（１５）により、時刻ｔ＋１のデータｃu k（ｔ＋１）を計算して、出力する。
Figure 0004388033
Figure 0004388033
演算部１５５から出力された時刻ｔ＋１のデータｃu k（ｔ＋１）は、コンテキスト入力ノード１６２−ｋにフィードバックされる。
式（１５）は、ネットワークの現在の内部状態を表す内部状態ベクトルｃu（ｔ）に、コンテキスト出力ノード１６５−ｋの出力であるデータｏk（ｔ）を係数αで重み付けて加算する（所定の割合で足しこむ）ことによって次の時刻ｔ＋１のネットワークの内部状態ベクトルｃu（ｔ＋１）とすることを意味しており、その意味で、図５のCTRNN１４１は、連続時間型のRNNであると言うことができる。
以上のように、CTRNN１４１では、時刻ｔのデータｘu（ｔ）およびデータｃu（ｔ）が入力されると、時刻ｔ＋１のデータｘu（ｔ＋１）およびデータｃu（ｔ＋１）を生成して出力する処理を逐次的に行うので、重み係数ｗh ij，ｗh ir，ｗh jk，ｗy ij、およびｗo jkが学習により求められているとすると、入力ノード１６０に入力する入力データｘu（ｔ）の初期値ｘu（ｔ0）＝Ｘ０、パラメータノード１６１に入力するパラメータtsdatau、コンテキスト入力ノード１６２に入力するコンテキスト入力データｃu（ｔ）の初期値ｃu（ｔ0）＝Ｃ０を与えることにより、時系列データを生成することができる。
図５に示したCRTNN１４１を、図３のCRTNN８１として採用し、CRTNN１４１の入力ノード１６０に対してerrorL[Ｎ]が与えられ、パラメータノード１６１に対してタスクIDが与えられる。従って、図５の入力ノード１６０の個数Iは、下位時系列予測生成器６１のRNN７１の個数Ｎと一致する。なお、コンテキスト入力ノード１６２に入力するコンテキスト入力データｃu（ｔ）の初期値ｃu（ｔ0）＝Ｃ０には、例えば、ランダムな所定の値が与えられる。
次に、図６のフローチャートを参照して、下位時系列予測生成器６１における、行動シーケンスに対応するセンサモータ信号の時系列データの学習処理について説明する。
初めに、ステップＳ１において、下位時系列予測生成器６１の制御回路７６は、教師データとして供給された所定の時刻の入力データを読み込む。ここでの入力データは、上述したようにセンサモータ信号であり、例えば、時刻ｔのセンサモータ信号ｓｍ（ｔ）が読み込まれたものとする。読み込まれた時刻ｔのセンサモータ信号ｓｍ（ｔ）は、制御回路７６により、下位時系列予測生成器６１を構成するＮ個のRNN７１−１乃至７１−Ｎそれぞれに供給される。
ステップＳ２において、下位時系列予測生成器６１のRNN７１−ｎ（ｎ＝１，２，・・・，Ｎ）は、時刻ｔのセンサモータ信号ｓｍ（ｔ）に対して、時刻ｔ＋１のセンサモータ信号ｓｍn（ｔ＋１）を算出する。
また、ステップＳ２において、演算回路７４は、RNN７１−ｎの予測誤差errorLt+1 nを算出する。具体的には、演算回路７４は、予測誤差errorLt+1 nとして、式（１６）によって表される、時刻ｔ＋１から過去Ｌ時間ステップ分のセンサモータ信号に対する予測誤差を算出する。
Figure 0004388033
式（１６）において、ｓｍn,i'（Ｔ）は、時刻Ｔのセンサモータ信号ｓｍ（Ｔ）を出力するRNN７１−ｎの出力層１０３のノード１１３（図４）がＩ’個あるうちのｉ’番目のノード１１３が出力するセンサモータ信号を表し、ｓｍ* n,i'（Ｔ）は、それに対する教師データとしてのセンサモータ信号を表す。
式（１６）によれば、時刻Ｔ＝ｔ＋１−Ｌからｔ＋１までの、RNN７１−ｎの出力層１０３のｉ’番目のノード１１３のセンサモータ信号ｓｍn,i'（Ｔ）と教師データｓｍ* n,i'（Ｔ）との誤差の総和が、時刻ｔ＋１におけるRNN７１−ｎの予測誤差errorLt+1 nとされる。なお、過去のセンサモータ信号がＬ時間ステップ分ない場合には、存在する時間ステップ分のデータのみで予測誤差errorLt+1 nが求められる。
ステップＳ３において、演算回路７４は、時刻ｔ＋１におけるRNN７１−ｎの予測誤差errorLt+1 nをメモリ７５に供給する。これにより、メモリ７５には、RNN７１−１乃至７１−Ｎのｎ個の予測誤差errorLt+1 1乃至errorLt+1 Nが供給され、メモリ７５は、予測誤差errorLt+1［Ｎ］＝｛errorLt+1 1，errorLt+1 2，・・・，errorLt+1 N｝を記憶する。また、後述するステップＳ７の処理ＮＯと判定された場合、ステップＳ３の処理が所定時間ステップだけ繰り返されるので、メモリ７５には、教師データに対する予測誤差の時系列データerrorL［Ｎ］が記憶される。
ステップＳ４において、制御回路７６は、予測誤差errorLt+1 nに応じたRNN７１−ｎの学習重みγnを算出する。具体的には、制御回路７６は、ソフトマックス関数（softmax関数）を用いた式（１７）により、学習重みγnを算出する。
Figure 0004388033
ステップＳ５において、制御回路７６は、BPTT（Back Propagation Through Time）法によりRNN７１−ｎの重み係数ｗab,nを更新する。ここで、重み係数ｗab,nは、RNN７１−ｎの入力層１０１のノード１１１と中間層１０２のノード１１２との重み係数、または、RNN７１−ｎの中間層１０２のノード１１２と出力層１０２のノード１１３との重み係数を表す。
RNN７１−ｎの重み係数ｗab,nの更新では、ステップＳ４で算出された学習重みγnに応じてRNN７１−ｎの重み係数ｗab,nが算出される。具体的には、次式（１８）および（１９）により、BPTT法の繰り返し計算におけるｓ回目の重み係数ｗab,n（ｓ）から、ｓ＋１回目の重み係数ｗab,n（ｓ＋１）を求めることができる。
Figure 0004388033
Figure 0004388033
式（１８）において、η1は学習係数を表し、α1は慣性係数を表す。なお、式（１８）において、ｓ＝１の場合の△ｗab,n（ｓ）は、０とする。
ステップＳ６において、制御回路７６は、RNN７１−１乃至７１−Ｎの利用頻度FREQ1乃至FREQNをメモリ７５に供給する。メモリ７５は、供給されたRNN７１−１乃至７１−Ｎの利用頻度FREQ1乃至FREQNを記憶する。上述したステップＳ５において学習重みγnが大きいほど、そのRNN７１−ｎの重み係数ｗab,nが更新され、RNN７１−ｎが利用されたことになる。従って、制御回路７６は、例えば、学習重みγnが所定の値以上であるRNN７１−ｎの利用頻度FREQnをカウントアップさせる。この利用頻度FREQ1乃至FREQNは、図１０を参照して後述する追加学習で使用される。
ステップＳ７において、下位時系列予測生成器６１の制御回路７６は、入力データの供給が終了したかを判定する。
ステップＳ７で、入力データの供給が終了していないと判定された場合、即ち、ステップＳ１で供給された入力データの次の時刻の入力データが供給された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
一方、ステップＳ７で、入力データの供給が終了したと判定された場合、学習処理は終了する。
次に、上位時系列予測生成器６２のCRTNN８１における予測誤差の時系列データの学習について説明する。
情報処理装置５１を搭載したヒューマノイドロボットに、複数の行動シーケンスを学習させる場合、学習の結果得られた入力層１５１と中間層１５２の各ノード間の重み係数ｗh ij，ｗh jr、およびｗh jkと、中間層１５２と出力層１５３の各ノード間の重み係数ｗy ijおよびｗo jkが、すべての行動シーケンスに対応可能な値である必要がある。
そこで、学習処理では、複数の行動シーケンスに対応する時系列データの学習が同時に実行される。即ち、学習処理では、学習させる行動シーケンスの数と同数のCTRNN１４１（図５）が用意され、行動シーケンスごとに重み係数ｗh ij，ｗh jr，ｗh jk，ｗy ij、およびｗo jkをそれぞれ求め、それらの平均値を１つの重み係数ｗh ij，ｗh jr，ｗh jk，ｗy ij、およびｗo jkとする処理を繰り返し実行することによって、生成処理で利用されるCTRNN８１の重み係数ｗh ij，ｗh jr，ｗh jk，ｗy ij、およびｗo jkが求められる。
図７は、Ｑ個の行動シーケンスに対応するＱ個の予測誤差の時系列データを学習する、上位時系列予測生成器６２の学習処理のフローチャートである。なお、本実施の形態では、学習する行動シーケンスは、行動シーケンスA，B、およびCの３つであるので、Ｑ＝３となる。
初めに、ステップＳ３１において、上位時系列予測生成器６２は、教師データとしての、Ｑ個の予測誤差の時系列データerrorL[Ｎ]を下位時系列予測生成器６１のメモリ７５から読み込む。そして、上位時系列予測生成器６２は、読み込んだＱ個の時系列データerrorL[Ｎ]を、Ｑ個のCRTNN１４１にそれぞれ供給する。
ステップＳ３２において、上位時系列予測生成器６２は、Ｑ個の行動シーケンスそれぞれを識別するタスクIDを読み込む。本実施の形態では、３つの行動シーケンスA，B、およびCそれぞれを識別するタスクIDを読み込む。そして、上位時系列予測生成器６２は、行動シーケンスAの教師データを供給したCRT１４１には、行動シーケンスAを識別するタスクIDを供給し、行動シーケンスBの教師データを供給したCRT１４１には、行動シーケンスBを識別するタスクIDを供給し、行動シーケンスCの教師データを供給したCRT１４１には、行動シーケンスCを識別するタスクIDを供給する。
ステップＳ３３において、上位時系列予測生成器６２は、学習回数を表す変数ｓに１を代入する。
ステップＳ３４において、上位時系列予測生成器６２は、Ｑ個の時系列データにそれぞれ対応するCTRNN１４１において、BPTT法を用いて、入力層１５１と中間層１５２の各ノード間の重み係数ｗh ij（ｓ）、ｗh jr（ｓ）、およびｗh jk（ｓ）の誤差量δｗh ij、δｗh jr、およびδｗh jkと、中間層１５２と出力層１５３の各ノード間の重み係数ｗy ij（ｓ）およびｗo jk（ｓ）の誤差量δｗy ijおよびδｗo jkを計算する。ここで、ｑ（＝１，・・・，Ｑ）番目の時系列データが入力されたCTRNN１４１において、BPTT法を用いて得られた誤差量δｗh ij，δｗh jr，δｗh jk，δｗy ij、およびδｗo jkを、それぞれ、誤差量δｗh ij,q，δｗh jr,q，δｗh jk,q，δｗy ij,q、およびδｗo jk,qと表す。
なお、上位時系列予測生成器６２は、ステップＳ３４のBPTT法を用いた計算において、時刻ｔ＋１のコンテキスト入力ノード１６２−ｋのデータｃu k（ｔ＋１）の誤差量δｃu k（ｔ＋１）を、時刻ｔのコンテキスト出力ノード１６５−ｋのデータｏk（ｔ）の誤差量δｏk（ｔ）に逆伝播する際、任意の正の係数ｍで割ることにより、コンテキストデータの時定数の調整を行う。
即ち、上位時系列予測生成器６２は、時刻ｔのコンテキスト出力ノード１６５−ｋのデータｏk（ｔ）の誤差量δｏk（ｔ）を、時刻ｔ＋１のコンテキスト入力ノード１６２−ｋのデータｃu k（ｔ＋１）の誤差量δｃu k（ｔ＋１）を用いた式（２０）によって求める。
Figure 0004388033
BPTT法において式（２０）を採用することにより、CTRNN１４１の内部状態を表すコンテキストデータの１時間ステップ先の影響度を調整することができる。
ステップＳ３５において、上位時系列予測生成器６２は、入力層１５１と中間層１５２の各ノード間の重み係数ｗh ij、ｗh jr、およびｗh jkと、中間層１５２と出力層１５３の各ノード間の重み係数ｗy ijおよびｗo jkのそれぞれを、Ｑ個の時系列データで平均化して、更新する。
即ち、上位時系列予測生成器６２は、式（２１）乃至式（３０）により、入力層１５１と中間層１５２の各ノード間の重み係数ｗh ij（ｓ＋１）、ｗh jr（ｓ＋１）、およびｗh jk（ｓ＋１）と、中間層１５２と出力層１５３の各ノード間の重み係数ｗy ij（ｓ＋１）およびｗo jk（ｓ＋１）を求める。
Figure 0004388033
Figure 0004388033
Figure 0004388033
Figure 0004388033
Figure 0004388033
Figure 0004388033
Figure 0004388033
Figure 0004388033
Figure 0004388033
Figure 0004388033
ここで、η2は学習係数を表し、α2は慣性係数を表す。なお、式（２１）、式（２３）、式（２５）、式（２７）、および式（２９）において、ｓ＝１の場合の△ｗh ij（ｓ），△ｗh jr（ｓ），△ｗh jk（ｓ），△ｗy ij（ｓ）、および△ｗo jk（ｓ）は、０とする。
ステップＳ３６において、上位時系列予測生成器６２は、変数ｓが所定の学習回数以下であるか否かを判定する。ここで設定される所定の学習回数は、学習誤差が十分に小さくなると認められる学習の回数である。
ステップＳ３６で、変数ｓが所定の学習回数以下であると判定された場合、即ち、学習誤差が十分に小さくなると認められるだけの回数の学習をまだ行っていない場合、ステップＳ３７において、上位時系列予測生成器６２は、変数ｓを１だけインクリメントして、ステップＳ３４に処理を戻す。これにより、ステップＳ３４乃至Ｓ３６の処理が繰り返される。一方、ステップＳ３６で、変数ｓが所定の学習回数より大きいと判定された場合、学習処理は終了する。
なお、ステップＳ３６では、学習回数によって処理の終了を判定する以外に、学習誤差が所定の基準値以内となったか否かにより、処理の終了を判定してもよい。
以上のように、上位時系列予測生成器６２の学習処理では、行動シーケンスごとに重み係数ｗh ij，ｗh jr，ｗh jk，ｗy ij、およびｗo jkをそれぞれ求め、それらの平均値を求める処理を繰り返し実行することによって、生成処理で利用されるCTRNN８１の重み係数ｗh ij，ｗh jr，ｗh jk，ｗy ij、およびｗo jkが求められる。
なお、上述した学習処理では、各行動シーケンスの重み係数ｗh ij，ｗh jr，ｗh jk，ｗy ij、およびｗo jkの平均値を求める処理を毎回実行するようにしたが、その処理は、所定回数ごとに実行するようにしてもよい。例えば、学習処理を終了する所定の学習回数が１００００回である場合に、１０回の学習回数ごとに各行動シーケンスの重み係数ｗh ij，ｗh jr，ｗh jk，ｗy ij、およびｗo jkの平均値を求める処理を実行するようにしてもよい。
次に、図８のフローチャートを参照して、図６および図７を参照して説明した学習処理によって求められた重み係数が設定されたRNN７１−１乃至７１−ＮおよびCTRNN８１を含む図３の情報処理装置５１による、時系列データを生成する生成処理について説明する。
初めに、ステップＳ５１において、上位時系列予測生成器６２のCTRNN８１は、入力データの初期値を読み込む。ここでの入力データの初期値とは、入力ノード１６０とコンテキスト入力ノード１６２に供給する初期値であり、そこには、例えば、ランダムな所定の値が供給される。
ステップＳ５２において、上位時系列予測生成器６２のCTRNN８１は、行動シーケンスを識別するタスクIDを読み込む。読み込まれたタスクIDは、パラメータノード１６１に供給される。
ステップＳ５３において、上位時系列予測生成器６２のCTRNN８１は、所定の時刻におけるRNN７１−１乃至７１−Ｎの推定予測誤差errorPredH［Ｎ］の生成処理を実行する。この生成処理の詳細は、図９を参照して後述するが、CTRNN８１は、例えば、時刻ｔ＋１における推定予測誤差errorPredHt+1［Ｎ］を生成し、ゲート信号変換部６３に出力する。
ステップＳ５４において、ゲート信号変換部６３は、上述した式（２）により、供給された推定予測誤差errorPredHt+1［Ｎ］をゲート信号gatet+1［Ｎ］に変換し、変換した結果をゲート７２−１乃至７２−Ｎに出力する。
ステップＳ５５において、時刻ｔのセンサモータ信号ｓｍ（ｔ）が下位時系列予測生成器６１のRNN７１−ｎに入力され、RNN７１−ｎは、入力された時刻ｔのセンサモータ信号ｓｍ（ｔ）に対して、時刻ｔ＋１のセンサモータ信号ｓｍn（ｔ＋１）を生成し、ゲート７２−ｎに出力する。
ステップＳ５６において、ゲート７２−ｎは、ゲート信号変換部６３から供給されたゲート信号gatet+1［Ｎ］のうちのゲート信号ｇt+1 nに応じたセンサモータ信号ｓｍn（ｔ＋１）の出力を行う。即ち、ゲート７２−ｎにおいては、ゲート信号ｇt+1 nが大きいときにはゲートが大きく開かれ、ゲート信号ｇt+1 nが小さいときにはゲートを小さく開かれる。合成回路７３には、ゲート７２−ｎのゲートの開き具合に応じたセンサモータｓｍn（ｔ＋１）が供給される。
ステップＳ５７において、合成回路７３は、式（１）によりゲート７２−１乃至７２−Ｎそれぞれからの出力を合成し、その合成の結果を、時刻ｔ＋１のセンサモータ信号ｓｍ（ｔ＋１）として出力する。
ステップＳ５８において、情報処理装置５１は、時系列データの生成を終了するかを判定する。ステップＳ５８で、時系列データの生成を終了しないと判定された場合、処理はステップＳ５３に戻り、それ以降の処理が繰り返される。その結果、上位時系列予測生成器６２では、前回のステップＳ５３で処理した時刻ｔ＋１の次の時刻ｔ＋２おける推定予測誤差errorPredHt+2［Ｎ］が生成され、下位時系列予測生成器６１では、時刻ｔ＋１のセンサモータ信号ｓｍ（ｔ＋１）に対するセンサモータｓｍ（ｔ＋２）が生成される。
一方、ステップＳ５８で、例えば、所定の時間ステップ数に到達するなどして、時系列データの生成を終了すると判定された場合、生成処理は終了する。
次に、図９のフローチャートを参照して、図８のステップＳ５３における、推定予測誤差errorPredH［Ｎ］の生成処理について説明する。図９では、時刻ｔ＋１における推定予測誤差errorPredHt+1［Ｎ］を生成する例について説明する。
初めに、ステップＳ７１において、入力ノード１６１−ｉは、データｘi（ｔ）を式（３）により計算し、パラメータノード１６１−ｒは、データtsdatar（ｔ）を式（４）により計算し、コンテキスト入力ノード１６２−ｋは、データｃk（ｔ）を式（５）により計算して、それぞれ出力する。
ステップＳ７２において、隠れノード１６３−ｊは、式（６）を計算することによりデータｈu j（ｔ）を得て、データｈj（ｔ）を式（７）により計算して出力する。
ステップＳ７３において、出力ノード１６４−ｉは、式（８）を計算することによりデータｙu i（ｔ）を得て、データｙi（ｔ）を式（９）により計算して出力する。
ステップＳ７４において、コンテキスト出力ノード１６５−ｋは、式（１０）を計算することによりデータｏu k（ｔ）を得て、データｏk（ｔ）を式（１１）により計算して出力する。
ステップＳ７５において、演算部１５４は、差分△ｘu i（ｔ＋１）を式（１２）により求め、時刻ｔ＋１のデータｘu i（ｔ＋１）を式（１３）により計算し、ゲート信号変換部６３に出力する。
ステップＳ７６において、演算部１５５は、差分△ｃu k（ｔ＋１）を式（１４）により求め、時刻ｔ＋１のデータｃu k（ｔ＋１）を式（１５）により計算する。また、演算部１５５は、式（１５）による計算の結果得られた時刻ｔ＋１のデータｃu k（ｔ＋１）を、コンテキスト入力ノード１６２−ｋにフィードバックする。
ステップＳ７７において、演算部１５４は、式（１３）による計算の結果得られた時刻ｔ＋１のデータｘu i（ｔ＋１）を、入力ノード１６１−ｉにフィードバックする。そして、処理は図８のステップＳ５３に戻り、ステップＳ５４に進む。
以上のように、図８の生成処理によれば、上位時系列予測生成器６２が、下位時系列生成器６１のRNN７１−１乃至７１−Ｎが生成時に発生させる予測誤差の推定値である推定予測誤差errorPredH［Ｎ］を出力し、この推定予測誤差errorPredH［Ｎ］が、ゲート７２−１乃至７２−Ｎの開閉状態を制御するゲート信号gate［Ｎ］に変換される。そして、上述の（１）式で表される、開閉状態が制御されたゲート７２−１乃至７２−Ｎから出力されたRNN７１−１乃至７１−Ｎの出力信号ｓｍ1（ｔ＋１）乃至ｓｍN（ｔ＋１）の総和が、時刻ｔ＋１のセンサモータ信号ｓｍ（ｔ＋１）として、ヒューマノイドロボットのセンサおよびモータに供給され、タスクIDで指定された行動シーケンスが実行される。
次に、情報処理装置５１に、これまで学習させた行動シーケンスA，B、およびC以外の行動シーケンスを追加して学習させる追加学習について説明する。以下では、ホームポジションにいるロボットが、物体を両手で掴んで所定の高さだけ持ち上げ、物体が元々置かれていたテーブルより一段高い前方のテーブルに置いて、ホームポジションに戻る動作となる行動シーケンスDを追加学習させる。
下位時系列予測生成器６１のRNN７１−１乃至７１−Ｎには、上述したように、それぞれ異なる行動部品が学習されている。また、一般的には、RNN７１の個数であるＮ個は行動部品の数よりも十分大きく用意されるため、RNN７１−１乃至７１−Ｎの中には、行動部品が学習されていないRNN７１（以下、適宜、未使用のRNN７１とも称する）も存在する。
これまで学習させた行動シーケンスA，B、およびCに追加して、新たな行動シーケンスDを学習させる場合、既に行動部品が学習されているRNN７１は、そのままにして、未使用のRNN７１に、追加の行動シーケンスDに含まれる新たな行動部品を学習させるのが効率が良い。この場合、追加の行動シーケンスDの学習によってこれまで学習させたRNN７１を壊す（RNN７１の重み係数を変更する）ことがなく、新たな行動シーケンスDに、これまで学習させた行動部品が含まれていた場合、その行動部品を共通に利用することもできる。
そこで、下位時系列予測生成器６１は、行動シーケンスDを追加学習する際、既に行動部品が学習されているRNN７１には、その重み係数を変更しにくくするような抵抗を与える。
既に行動部品が学習されているRNN７１とは、即ち、図６のステップＳ６の処理により、メモリ７５に記憶されている利用頻度FREQnが大きいRNN７１−ｎである。
従って、下位時系列予測生成器６１の制御回路７６は、図１０に示すような、利用頻度FREQnが少ないRNN７１−ｎほど重み係数を更新し易く、利用頻度FREQnが大きいRNN７１−ｎは、重み係数を更新しにくい、換言すれば、利用頻度FREQnに負の相関を有する関数ｈ1によって学習重みμnを決定する。図１０に示す関数ｈ1が表す曲線は、利用頻度FREQnが小さいほど傾きが大きく、利用頻度FREQnが大きいほど傾きが小さくなる曲線である。なお、図１０では、関数ｈ1が非線形な曲線として示されているが、負の相関を有する関数であれば、線形な直線であっても勿論よい。
図１１のフローチャートを参照して、情報処理装置５１の追加学習処理について説明する。
初めに、ステップＳ１０１において、下位時系列予測生成器６１の制御回路７６は、メモリ７５に記憶されているRNN７１−１乃至７１−Ｎの利用頻度FREQ1乃至FREQNを読み出す。
ステップＳ１０２において、下位時系列予測生成器６１の制御回路７６は、図１０に示した関数ｈ1を用いて、RNN７１−ｎの利用頻度FREQnに応じた学習重みμnを決定する。決定された学習重みμnは、RNN７１−ｎに供給される。
ステップＳ１０３において、情報処理装置５１は、行動シーケンスDに対応するセンサモータ信号の時系列データを学習する、図６の下位時系列予測生成器６１の学習処理、即ち、ステップＳ１乃至Ｓ７の処理を実行する。但し、ステップＳ１０３の処理での図６のステップＳ５においては、式（１８）に代えて、学習重みμnが含まれる次式（３１）を採用する。
Figure 0004388033
ステップＳ１０３の処理後、行動シーケンスDの予測誤差の時系列データerrorL[Ｎ]がメモリ７５に記憶される。
ステップＳ１０４において、情報処理装置５１は、行動シーケンスA，B、およびCに、追加された行動シーケンスDの予測誤差の時系列データerrorL[Ｎ]をメモリ７５から読み出し、その４個の予測誤差の時系列データについて、図７の上位時系列予測生成器６２の学習処理、即ち、ステップＳ３１乃至Ｓ３７の処理を実行する。そして、追加学習処理は終了する。
以上のように、情報処理装置５１の追加学習処理では、これまでの学習で利用頻度FREQnが大きいRNN７１−ｎについて、その重み係数を変更しにくくするような学習重みμnを与えて、重み係数を学習する。これにより、追加の行動シーケンスDの学習によってこれまで学習させたRNN７１の重み係数をできるだけ変更せずに、追加される行動シーケンスを効率的に学習することができる。
次に、本発明を適用した情報処理装置のその他の構成例について説明する。
図１２は、情報処理装置５１のその他の構成例を示している。図１２において、図３の情報処理装置５１と対応する部分については同一の符号を付してあり、その説明は省略する。
図１２の情報処理装置５１は、時間フィルタ部２０１と非線形フィルタ部２０２が新たに設けられている点を除いては、図３の情報処理装置５１と同様に構成されている。
時間フィルタ部２０１には、下位時系列予測生成器６１が出力する予測誤差の時系列データerrorL［Ｎ］が入力される。時間フィルタ部２０１と非線形フィルタ部２０２は、そこに入力される時系列データに所定のフィルタ処理を施し、処理後の時系列データを後段に出力する。非線形フィルタ部２０２は、処理後の時系列データを、予測誤差の時系列データerrorL’［Ｎ］として、上位時系列予測生成器６２に供給する。
上位時系列予測生成器６２は、予測誤差の時系列データを学習するが、ある程度長い時間ステップでのRNN７１−１乃至７１−Ｎの予測誤差の大まかな変動が分かればよく、短時間での微小な変動はあまり関係しない。
時間フィルタ部２０１は、下位時系列予測生成器６１が出力する予測誤差の時系列データerrorL［Ｎ］に対して、時間フィルタ処理を施す。即ち、時間フィルタ部２０１は、下位時系列予測生成器６１が出力する予測誤差の時系列データerrorL［Ｎ］に、いわゆるローパスフィルタ処理を施し、処理後の時系列データを非線形フィルタ部２０２に供給する。例えば、ローパスフィルタ処理としては、所定の時間ステップ数の移動平均などを用いることができる。これにより、短時間での微小な変動が抑制された、RNN７１−１乃至７１−Ｎの予測誤差の時系列データを上位時系列予測生成器６２に供給することができる。
なお、ある程度長い時間ステップでのRNN７１−１乃至７１−Ｎの予測誤差の大まかな変動を上位時系列予測生成器６２が学習するためには、上位時系列予測生成器６２のCTRNN８１が時系列データをサンプリングするときのサンプリングレートを、下位時系列予測生成器６１のRNN７１のサンプリングレートよりも大きくすることによっても実現可能である。例えば、上位時系列予測生成器６２は、下位時系列予測生成器６１のRNN７１の時系列データを所定の時間間隔で間引いた時系列データを学習することで、RNN７１−１乃至７１−Ｎの予測誤差の大まかな変動を学習することができる。また、式（１３）および式（１５）の係数τを調整することにより、時間サンプリングを調整することができる。この場合、係数τが大きいほど、RNN７１−１乃至７１−Ｎの予測誤差の大まかな変動を学習することができる。
非線形フィルタ部２０２は、図１３に示すような、入力される予測誤差errorLnが小さい範囲では傾きが大きく、入力される予測誤差errorLnが大きくなるほど傾きが小さくなる非線形の曲線で表される関数ｈ2によって、入力される予測誤差errorLnを変換する。非線形フィルタ部２０２は、変換処理後の予測誤差errorL’[Ｎ]を上位時系列予測生成器６２に供給する。
情報処理装置５１の生成処理では、図８を参照して説明したように、予測誤差errorL［Ｎ］の学習によって得られる推定予測誤差errorPredHnがより小さいRNN７２−ｎほどゲートが大きく開くように制御される。反対に、推定予測誤差errorPredHnが大きいRNN７２−ｎが出力するセンサモータ信号ｓｍn（ｔ＋１）は、ほとんど利用されない。
従って、推定予測誤差errorPredHnがより小さいRNN７２−ｎほど、下位時系列予測生成器６１が出力するセンサモータ信号ｓｍ（ｔ＋１）への寄与率は高く、重要であると言うことができる。
例えば、RNN７２−１の予測誤差errorL1とRNN７２−ｎの予測誤差errorLnが、０乃至１の間の小さい値（例えば、０．３など）で拮抗していた場合と、０乃至１の間の大きい値（例えば、０．９など）で拮抗していた場合とを考えると、RNN７２−１の予測誤差errorL1とRNN７２−ｎの予測誤差errorLnが０乃至１の間の小さい値で拮抗していた場合、生成時に、RNN７２−１またはRNN７２−ｎが出力するセンサモータ信号ｓｍ1（ｔ＋１）またはｓｍn（ｔ＋１）の、下位時系列予測生成器６１が出力するセンサモータ信号ｓｍ（ｔ＋１）への寄与率は高いので、RNN７２−１とRNN７２−ｎのセンサモータ信号のどちらが優位であるかは重要になってくる。
一方、RNN７２−１の予測誤差errorL1とRNN７２−ｎの予測誤差errorLnが０乃至１の間の大きい値で拮抗していた場合、RNN７２−１とRNN７２−ｎ以外に、より小さい予測誤差を有するRNN７２がいると考えられ、生成時に、RNN７２−１またはRNN７２−ｎが出力するセンサモータ信号ｓｍ1（ｔ＋１）またはｓｍn（ｔ＋１）が、下位時系列予測生成器６１が出力するセンサモータ信号ｓｍ（ｔ＋１）に含まれる率は少ないので、RNN７２−１とRNN７２−ｎのセンサモータ信号のどちらが優位であるかは、さほど重要ではない。
非線形フィルタ部２０２は、関数ｈ2によって、センサモータ信号ｓｍ（ｔ＋１）の生成に重要な予測誤差errorLの小さいRNN７２どうしの優位差を大きくし、センサモータ信号ｓｍ（ｔ＋１）の生成に重要ではない予測誤差errorLの大きいRNN７２どうしの優位差を小さくする処理を行う。これにより、上位時系列予測生成器６２において、学習に重要なRNN７１が出力した予測誤差errorLを効率的に学習することができる。
時間フィルタ部２０１と非線形フィルタ部２０２の動作は、図７を参照して説明したフローチャートのステップＳ３１の、上位時系列予測生成器６２が、教師データとしての、Ｑ個の予測誤差の時系列データerrorL[Ｎ]を下位時系列予測生成器６１のメモリ７５から読み込む場合において、時間フィルタ部２０１と非線形フィルタ部２０２によって処理された後のＱ個の予測誤差の時系列データerrorL’[Ｎ]を読み込む動作となる。
なお、時間フィルタ部２０１および非線形フィルタブ２０２は、必ずしも両方が同時に設けられる必要はなく、いずれか一方のみでもよい。
ところで、図３および図１２に示した情報処理装置５１では、複数のRNN７１−１乃至７１−ｎを有する下位時系列生成器６１の構成として、複数のRNNの出力をゲート機構により統合して最終的な出力を決定するMixture of RNN Expertというモデルを採用したが、Mixture of RNN Expert以外の構成を採用することもできる。
Mixture of RNN Expert以外の構成としては、例えば、ベクトルパターンのカテゴリ学習に用いられる自己組織化マップ（self-organization map）（以下、ＳＯＭという）を導入し、SOMの各ノードにRNNを採用し、自己組織的に外部入力に対し適切なRNNを選択し、RNNのパラメータ学習を行うRNN-SOMなどを採用することができる。なお、SOMについては、例えば、「T.コホネン、「自己組織化マップ」、シュプリンガー・フェアラーク東京」などにその詳細が記載されている。
図３および図１２に示したMixture of RNN Expertのモデルでは、ある新しい学習サンプル（即ち、時系列データ）に対して、全てのRNNが学習エラー（予測誤差）を算出し、その学習エラーの度合いに応じて各RNNが学習サンプルを学習する。
これに対して、RNN-SOMでは、ある新しい学習サンプル（即ち、時系列データ）に対して、全てのRNNが学習エラー（予測誤差）を算出し、その中で、最も学習エラーの小さいRNNが勝者に決定される。勝者のRNNが決定された後は、各RNNの学習エラーは関係なく、勝者のRNNと距離が近いRNNが、勝者との近傍度合いに応じて学習サンプルを学習するという、各RNNに対して自分以外のRNNとの距離空間の概念が導入されたものである。
図１４は、下位時系列生成器６１の構成としてRNN-SOMを採用した場合の、行動シーケンスに対応するセンサモータ信号の時系列データの学習処理のフローチャートである。
図１４に示される処理は、ステップＳ１２４の処理が、図６のステップＳ４の処理と異なる以外は、図６に示した学習処理と同様である。
即ち、図１４のステップＳ１２１乃至Ｓ１２３およびＳ１２５乃至Ｓ１２７は、図６のステップＳ１乃至Ｓ３およびＳ５乃至Ｓ７と、それぞれ同様である。
ステップＳ１２４では、下位時系列予測生成器６１は、予測誤差errorLt+1が最小のRNN７１を勝者とし、図１５に示す近傍関数ｈ3に基づいて、勝者からの距離（DISTANCEn）に応じた学習重みγnを算出する。
近傍関数ｈ3は、図１５に示されるように、勝者からの距離（DISTANCEn）が近いRNN７１−ｎほど大きい学習重みγnが割り当てられる。
次に、図１６乃至図１９を参照して、上述した情報処理装置５１に、ヒューマノイドロボットが行う行動シーケンスを学習および生成させた実験結果について説明する。
なお、この実験では、下位時系列予測生成器６１が出力する予測誤差の時系列データerrorL［Ｎ］に対して時間フィルタと非線形フィルタを施した、図１２の情報処理装置５１による例を示している。また、下位時系列生成器６１のRNN７１の個数Ｎは、１６（Ｎ＝１６）となっている。
図１６は、行動シーケンスA，B、およびCを学習後、情報処理装置５１が行動シーケンスAを生成した結果を示している。
図１６Ａは、生成処理時の、上位時系列予測生成器６２のCTRNN８１としてのCTRNN１４１のコンテキスト出力ノード１６５の出力データを示している。
図１６Ｂは、上位時系列予測生成器６２のCTRNN８１が出力する推定予測誤差errorPredH［Ｎ］を示している。
図１６Ｃは、図１６Ｂに示される推定予測誤差errorPredH［Ｎ］がゲート信号変換部６３によって変換されたゲート信号gate［Ｎ］を示している。
図１６Ｄは、下位時系列予測生成器６１の合成回路７３から出力されたセンサモータ信号ｓｍ（ｔ）のうちのモータ信号を、図１６Ｅは、下位時系列予測生成器６１の合成回路７３から出力されたセンサモータ信号ｓｍ（ｔ）のうちのセンサ信号を、それぞれ示している。なお、図１６Ｄおよび図１６Ｅでは、４つのモータ信号と２つのセンサ信号のデータが図示されているが、図を見やすくするため、実際のモータ信号およびセンサ信号よりも少ない数のデータを図示している。
図１６Ａ乃至図１６Ｅの横軸は、時間ステップ（step）を表す。また、図１６Ａ，図１６Ｄ，および図１６Ｅの縦軸は、コンテキスト出力ノード１６５、モータ信号、およびセンサ信号それぞれの出力値を表し、０乃至１の範囲の値である。図１６Ｂおよび図１６Ｃは、下位時系列予測生成器６１のRNN７１の番号（１乃至１６）を表している。
図１６ＢおよびＣにおいては、RNN７１−ｎに対応するerrorPredHnまたはゲート信号ｇt nの値とグレイレベルとが対応しており、図１６Ｂでは、errorPredHnの値が小さい（即ち、０に近い）ほど黒く（濃く）表されており、図１６Ｃでは、ゲート信号ｇt nの値が大きい（即ち、１に近い）ほど黒く（濃く）表されている。
図１７は、行動シーケンスA，B、およびCを学習後、情報処理装置５１が行動シーケンスBを生成した結果を、図１８は、行動シーケンスCを生成した結果を、それぞれ示している。
また、図１９は、行動シーケンスA，B、およびCを学習後に行動シーケンスDを追加学習させた後、情報処理装置５１が行動シーケンスDを生成した結果を示している。
図１７乃至図１９において、図示されたデータが、行動シーケンスB乃至Dに関するものである以外は、同様である。
行動シーケンスAに対応する時系列データの生成では、図１６Ｃを見て分かるように、シーケンスの前半では、ゲート７２−１４が開かれることによりRNN７１−１４が有効となり、その後、シーケンスの後半部分では、ゲート７２−４が開かれることによりRNN７１−４が有効となっている。
但し、図１６Ｂに示すデータから図１６Ｃに示すデータへの変換、即ち、推定予測誤差errorPredH［Ｎ］からゲート信号gate［Ｎ］への変換は、errorPredH1乃至errorPredH16のうちの最も値の小さいものが唯一の勝者となるウィナーテイクオール（Winner-take-all）の原理ではなく、上述した式（２）のソフトマックス関数を用いて行われるため、所定の時刻（時間ステップ）から、離散的にRNN７１−１４からRNN７１−４に有効なRNN７１が切替わるのではなく、RNN７１−１４からRNN７１−４への切替が時間の経過とともに緩やかに行われている。
従って、errorPredH1乃至errorPredH16のうちの複数の値が拮抗しているような場合であっても、勝者が頻繁に交替することはなく、拮抗している状態では、そのまま拮抗している状態として出力を行うことができ、これにより、学習された時系列データを正しく生成することができる。
行動シーケンスBの生成では、図１７Ｃを見て分かるように、RNN７１−１４、RNN７１−２、RNN７１−１３、RNN７１−１、RNN７１−１１が、その順で有効となっている。
行動シーケンスCの生成では、図１８Ｃを見て分かるように、RNN７１−２、RNN７１−１２、RNN７１−３が、その順で有効となっている。
行動シーケンスDの生成では、図１９Ｃを見て分かるように、RNN７１−５、RNN７１−１５、RNN７１−３、RNN７１−１６が、その順で有効となっている。
行動シーケンスB乃至Dのゲート７２の切替においても、図１６の行動シーケンスAにおける場合と同様のことが言える。
即ち、所定の時刻に推定予測誤差errorPredHnが最も大きいRNN７１−ｎから、所定時間後に次に推定予測誤差errorPredHn'が最も大きいRNN７１−ｎ’ （ｎ≠ｎ’）へゲート信号gate［Ｎ］が切替わる場合、ゲート信号ｇnは徐々に小さくなると同時に、ゲート信号ｇn'は徐々に大きくなる。即ち、ゲート７２−ｎでは、センサモータ信号ｓｍn（ｔ＋１）の出力が徐々に抑えられ、ゲート７２−ｎ’では、センサモータ信号ｓｍn'（ｔ＋１）の出力が徐々に開放される。
従って、errorPredH1乃至errorPredH16のうちの複数の値が拮抗しているような場合であっても、勝者が頻繁に交替することはなく、拮抗している状態では、そのまま拮抗している状態として出力を行うことができ、これにより、学習された時系列データを正しく生成することができる。
また、図１９に示される追加学習によって学習された行動シーケンスDの生成結果では、行動シーケンスA乃至Cでは有効となっていないRNN７１−５、RNN７１−１５、RNN７１−１６が有効となっており、これまでに学習した行動シーケンスA乃至Cにない行動部品については新しいRNN７１が学習していることが分かる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図２０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して、または直接に接続された外部の装置と通信する。
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。また、プログラムやデータは、通信部３０９を介して取得され、記憶部３０８に記憶されてもよい。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３２１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
上述した例では、生成時の行動シーケンスA乃至Cの切替を、CTRNN８１のタスクIDを変更することによって行うようにしたが、CTRNN８１には、タスクIDの入力を持たせずに、コンテキスト入力ノード１６２に与える初期値を変更することによって、生成時の行動シーケンスA乃至Cの切替を行うようにしてもよい。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
従来の情報処理装置の一例を示す図である。 図１の情報処理装置で生成される時系列データの例を示す図である。 本発明を適用した情報処理装置の一実施の形態の構成例を示す図である。 下位時系列予測生成器に使用されるRNNの詳細な構成例を示す図である。 上位時系列予測生成器に使用されるRNNの詳細な構成例を示す図である。 下位時系列予測生成器の学習処理について説明するフローチャートである。 上位時系列予測生成器の学習処理について説明するフローチャートである。 図３の情報処理装置の生成処理について説明するフローチャートである。 図８のステップＳ５３における生成処理について説明するフローチャートである。 利用頻度FREQnに応じて学習重みμnを決定する関数ｈ1を説明する図である。 図３の情報処理装置の追加学習処理について説明するフローチャートである。 本発明を適用した情報処理装置のその他の構成例を示す図である。 予測誤差errorLnの大きさに応じて非線形の変換を行う関数ｈ2を説明する図である。 下位時系列予測生成器のその他の学習処理について説明するフローチャートである。 図１４の学習処理で使用される近傍関数ｈ3を説明する図である。 情報処理装置５１の実験結果を示す図である。 情報処理装置５１の実験結果を示す図である。 情報処理装置５１の実験結果を示す図である。 情報処理装置５１の実験結果を示す図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
５１ 情報処理装置， ６１ 下位時系列予測生成器， ６２ 上位時系列予測生成器， ６３ ゲート信号変換部， ７１−１乃至７１−Ｎ RNN， ７２−１乃至７２−Ｎ ゲート， ７３ 合成回路， ７４ 演算回路， ７５ メモリ， ７６ 制御回路， ８１ CTRNN， ２０１ 時間フィルタ部， ２０２ 非線形フィルタ部， ３０１ CPU， ３０２ ROM， ３０３ RAM， ３０８ 記憶部

Claims (7)

  1. 制御対象の行動をセンサにより検出し、その検出データに基づき前記制御対象を制御する情報処理装置であって、
    所定の行動部品を実現させる前記制御対象の動作を示す教師用時系列データを用いて、前記制御対象を制御した場合の時刻t（tは任意の整数値）までの前記制御対象の動作を示す検出データである生徒用時系列データを学習し、その学習結果に基づいて、前記時刻tの後の時刻t+1までの動作の予測を示す予測時系列データを各時刻毎に予測演算し、前記時刻t+1までの教師用時系列データに対する前記予測時系列データの誤差を示す予測誤差時系列データを各時刻毎に予測演算する、複数の行動部品毎のリカレント型ニューラルネットワークと、
    各時刻毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークのそれぞれにより予測演算された前記予測時系列データをそれぞれ出力する、前記複数の行動部品毎のゲート手段と、
    各時刻毎に、前記複数の行動部品毎のゲート手段からそれぞれ出力された前記予測時系列データを合成して出力する合成手段と
    を有する下位時系列データ生成手段と、
    各時刻毎に、前記時刻t+1までの前記予測誤差時系列データの推定を示す推定予測誤差時系列データに対して、前記推定予測誤差時系列データが小さくなる程大きい値に、前記推定予測誤差時系列データが大きくなる程小さい値となる性質の非線形な変換を施して、変換後のデータに基づいて、前記複数の行動部品毎のゲート手段のそれぞれについて、前記時刻t+1までの前記予測時系列データの出力の度合を制御する変換手段と、
    各時刻毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークにより予測演算された前記時刻tまでの前記予測誤差時系列データのそれぞれを教師データとして、前記時刻tまでの前記推定予測誤差時系列データを生徒データとして学習し、その学習結果に基づいて、前記時刻t+1までの前記推定予測誤差時系列データを予測演算する連続時間型のリカレント型ニューラルネットワークを有し、前記連続時間型のリカレント型ニューラルネットワークにより生成された前記時刻t+1までの前記推定予測誤差時系列データを前記変換手段に供給する上位時系列データ生成手段と
    を備える情報処理装置。
  2. 前記下位時系列データ生成手段が出力する前記予測誤差時系列データに対して時間フィルタ処理を施す時間フィルタ手段をさらに備える
    請求項１に記載の情報処理装置。
  3. 前記下位時系列データ生成手段が出力する前記予測誤差時系列データを非線形に変換する非線形フィルタ手段をさらに備える
    請求項１に記載の情報処理装置。
  4. 前記下位時系列データ生成手段は、既存の行動シーケンスについて前記生徒用時系列データを学習する毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークそれぞれが前記生徒用時系列データの学習時に発生した前記予測誤差時系列データを、前記ソフトマックス関数に入力させ、その出力に応じて、新規の行動シーケンスについて前記生徒用時系列データを学習する場合に用いられる、前記複数の行動部品毎のリカレント型ニューラルネットワークそれぞれの学習の重みを更新する
    請求項１に記載の情報処理装置。
  5. 前記下位時系列データ生成手段は、既存の行動シーケンスについて前記生徒用時系列データを学習する毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークそれぞれが前記生徒用時系列データの学習時に発生した前記予測誤差時系列データのうち、最も小さい誤差を発生した前記複数の行動部品毎のリカレント型ニューラルネットワークを勝者として、前記勝者からの距離に応じて、新規の行動シーケンスについて前記生徒用時系列データを学習する場合に用いられる、前記複数の行動部品毎のリカレント型ニューラルネットワークそれぞれの前記学習の重みを更新する
    請求項１に記載の情報処理装置。
  6. 制御対象の行動をセンサにより検出し、その検出データに基づき前記制御対象を制御する情報処理装置の情報処理方法において、
    前記情報処理装置は、
    複数の行動部品毎のリカレント型ニューラルネットワークと、
    ゲート手段と、
    合成手段と
    を含む下位時系列データ生成手段と、
    変換手段と、
    連続時間型のリカレント型ニューラルネットワークを含む上位時系列データ生成手段と
    を備え、
    前記複数の行動部品毎のリカレント型ニューラルネットワークが、所定の行動部品を実現させる前記制御対象の動作を示す教師用時系列データを用いて、前記制御対象を制御した場合の時刻t（tは任意の整数値）までの前記制御対象の動作を示す検出データである生徒用時系列データを学習し、その学習結果に基づいて、前記時刻tの後の時刻t+1までの動作の予測を示す予測時系列データを各時刻毎に予測演算し、前記時刻t+1までの教師用時系列データに対する前記予測時系列データの誤差を示す予測誤差時系列データを各時刻毎に予測演算し、
    前記ゲート手段が、各時刻毎に、予測演算された前記予測時系列データをそれぞれ出力し、
    前記合成手段が、各時刻毎に、それぞれ出力された前記予測時系列データを合成し、
    前記変換手段が、各時刻毎に、前記時刻t+1までの前記予測誤差時系列データの推定を示す推定予測誤差時系列データに対して、前記推定予測誤差時系列データが小さくなる程大きい値に、前記推定予測誤差時系列データが大きくなる程小さい値となる性質の非線形な変換を施して、変換後のデータに基づいて、前記時刻t+1までの前記予測時系列データの出力の度合を制御し、
    前記連続時間型のリカレント型ニューラルネットワークを含む前記上位時系列データ生成手段が、各時刻毎に、予測演算された前記時刻tまでの前記予測誤差時系列データのそれぞれを教師データとして、前記時刻tまでの前記推定予測誤差時系列データを生徒データとして学習し、その学習結果に基づいて、前記時刻t+1までの前記推定予測誤差時系列データを予測演算し、前記時刻t+1までの前記推定予測誤差時系列データを供給する
    ステップを含む情報処理方法。
  7. 制御対象の行動をセンサにより検出し、その検出データに基づき前記制御対象を制御するコンピュータを、
    所定の行動部品を実現させる前記制御対象の動作を示す教師用時系列データを用いて、前記制御対象を制御した場合の時刻t（tは任意の整数値）までの前記制御対象の動作を示す検出データである生徒用時系列データを学習し、その学習結果に基づいて、前記時刻tの後の時刻t+1までの動作の予測を示す予測時系列データを各時刻毎に予測演算し、前記時刻t+1までの教師用時系列データに対する前記予測時系列データの誤差を示す予測誤差時系列データを各時刻毎に予測演算する、複数の行動部品毎のリカレント型ニューラルネットワークと、
    各時刻毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークのそれぞれにより予測演算された前記予測時系列データをそれぞれ出力する前記複数の行動部品毎のゲート手段と、
    各時刻毎に、前記複数の行動部品毎のゲート手段からそれぞれ出力された前記予測時系列データを合成して出力する合成手段と
    を有する下位時系列データ生成手段と、
    各時刻毎に、前記時刻t+1までの前記予測誤差時系列データの推定を示す推定予測誤差時系列データに対して、前記推定予測誤差時系列データが小さくなる程大きい値に、前記推定予測誤差時系列データが大きくなる程小さい値となる性質の非線形な変換を施して、変換後のデータに基づいて、前記複数の行動部品毎のゲート手段のそれぞれについて、前記時刻t+1までの前記予測時系列データの出力の度合を制御する変換手段と、
    各時刻毎に、前記複数の行動部品毎のリカレント型ニューラルネットワークにより予測演算された前記時刻tまでの前記予測誤差時系列データのそれぞれを教師データとして、前記時刻tまでの前記推定予測誤差時系列データを生徒データとして学習し、その学習結果に基づいて、前記時刻t+1までの前記推定予測誤差時系列データを予測演算する連続時間型のリカレント型ニューラルネットワークを有し、前記連続時間型のリカレント型ニューラルネットワークにより生成された前記時刻t+1までの前記推定予測誤差時系列データを前記変換手段に供給する上位時系列データ生成手段と
    して機能させるためのプログラム。
JP2006135714A 2006-05-15 2006-05-15 情報処理装置、情報処理方法、およびプログラム Active JP4388033B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006135714A JP4388033B2 (ja) 2006-05-15 2006-05-15 情報処理装置、情報処理方法、およびプログラム
US11/803,237 US7877338B2 (en) 2006-05-15 2007-05-14 Information processing apparatus, method, and program using recurrent neural networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006135714A JP4388033B2 (ja) 2006-05-15 2006-05-15 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2007305071A JP2007305071A (ja) 2007-11-22
JP4388033B2 true JP4388033B2 (ja) 2009-12-24

Family

ID=38686206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006135714A Active JP4388033B2 (ja) 2006-05-15 2006-05-15 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US7877338B2 (ja)
JP (1) JP4388033B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4840483B2 (ja) * 2009-07-13 2011-12-21 トヨタ自動車株式会社 制御目標演算装置
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9730098B2 (en) * 2013-11-25 2017-08-08 At&T Mobility Ii Llc Knowledge discovery and data mining-assisted multi-radio access technology control
US10835146B2 (en) 2014-12-12 2020-11-17 The Research Foundation For The State University Of New York Autonomous brain-machine interface
US10706309B2 (en) * 2016-02-29 2020-07-07 Nec Corporation Recursive neural networks on future event prediction
US10373612B2 (en) * 2016-03-21 2019-08-06 Amazon Technologies, Inc. Anchored speech detection and speech recognition
KR20180003123A (ko) 2016-06-30 2018-01-09 삼성전자주식회사 메모리 셀 유닛 및 메모리 셀 유닛들을 포함하는 순환 신경망
US10387769B2 (en) 2016-06-30 2019-08-20 Samsung Electronics Co., Ltd. Hybrid memory cell unit and recurrent neural network including hybrid memory cell units
CN109844770A (zh) * 2016-08-08 2019-06-04 高盛有限责任公司 用于使用惯性自动编码器来学习和预测时间序列数据的系统和方法
US11353833B2 (en) 2016-08-08 2022-06-07 Goldman Sachs & Co. LLC Systems and methods for learning and predicting time-series data using deep multiplicative networks
US10127921B2 (en) 2016-10-31 2018-11-13 Harman International Industries, Incorporated Adaptive correction of loudspeaker using recurrent neural network
CN106529095A (zh) * 2016-12-12 2017-03-22 广州市扬新技术研究有限责任公司 一种基于Matlab的光伏发电预测研究系统
GB2568030A (en) * 2017-10-24 2019-05-08 Zyzzle Ltd Artificial intelligence systems and autonomous entity apparatuses including artificial intelligence systems
CN111742328A (zh) 2018-02-19 2020-10-02 博朗有限公司 用于对手持式消费装置的使用进行分类的系统
GB2577853B (en) * 2018-06-22 2021-03-24 Moixa Energy Holdings Ltd Systems for machine learning, optimising and managing local multi-asset flexibility of distributed energy storage resources
CN109685203B (zh) * 2018-12-21 2020-01-17 中科寒武纪科技股份有限公司 数据处理方法、装置、计算机系统及存储介质
CN109726797B (zh) * 2018-12-21 2019-11-19 北京中科寒武纪科技有限公司 数据处理方法、装置、计算机系统及存储介质
US11620493B2 (en) 2019-10-07 2023-04-04 International Business Machines Corporation Intelligent selection of time series models
DE102021005214A1 (de) 2021-10-19 2022-01-05 Daimler Ag Verfahren der Transitionsanalyse zur Erkennung von Anomalien in Fahrzeugen

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930754A (en) * 1997-06-13 1999-07-27 Motorola, Inc. Method, device and article of manufacture for neural-network based orthography-phonetics transformation
JP3922407B2 (ja) 1997-10-22 2007-05-30 ソニー株式会社 データ処理装置および方法
US6574587B2 (en) * 1998-02-27 2003-06-03 Mci Communications Corporation System and method for extracting and forecasting computing resource data such as CPU consumption using autoregressive methodology
JP2996952B1 (ja) 1998-07-17 2000-01-11 株式会社エイ・ティ・アール人間情報通信研究所 学習制御方法および学習制御装置
JP2005135287A (ja) 2003-10-31 2005-05-26 National Agriculture & Bio-Oriented Research Organization 予測装置、予測方法および予測プログラム
US20060025931A1 (en) * 2004-07-30 2006-02-02 Richard Rosen Method and apparatus for real time predictive modeling for chronically ill patients

Also Published As

Publication number Publication date
US20070265841A1 (en) 2007-11-15
JP2007305071A (ja) 2007-11-22
US7877338B2 (en) 2011-01-25

Similar Documents

Publication Publication Date Title
JP4388033B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4169063B2 (ja) データ処理装置、データ処理方法、及びプログラム
Papageorgiou et al. Unsupervised learning techniques for fine-tuning fuzzy cognitive map causal links
JP4918207B2 (ja) 経験的プロセスの非線形近似器を制約するコンピュータ装置とその方法
JP5300739B2 (ja) コンピュータ支援によって技術システムを制御および／または調整する方法
JP2007299366A (ja) 学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、認識生成装置および認識生成方法、並びにプログラム
JP2007265345A (ja) 情報処理装置および方法、学習装置および方法、並びにプログラム
CN111260124A (zh) 一种基于注意力机制深度学习的混沌时间序列预测方法
EP3704550B1 (en) Generation of a control system for a target system
CN113138555A (zh) 一种基于遗传算法优化的grnn电主轴热误差建模方法
CN116460860B (zh) 一种基于模型的机器人离线强化学习控制方法
Creighton et al. Towards building a hybrid model for predicting stock indexes
CN114239330B (zh) 基于深度学习的大跨度网壳结构形态创建方法
JP2007305072A (ja) 情報処理装置、情報処理方法、およびプログラム
CN113821724A (zh) 一种基于时间间隔增强的图神经网络推荐方法
JP2009140454A (ja) データ処理装置、データ処理方法、及びプログラム
JPWO2016203757A1 (ja) 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム
Junaid et al. Evolutionary computing approach for the solution of initial value problems in ordinary differential equations
JPH07141313A (ja) 神経回路素子
US7324980B2 (en) Information processing apparatus and method
Chinnam et al. Neural network-based quality controllers for manufacturing systems
JP2545982B2 (ja) パターン認識方法および標準パターン学習方法
JP2674167B2 (ja) 神経回路網モデルを用いたプロセス制御方法
JP2009053782A (ja) データ処理装置、データ処理方法、及びプログラム
Holzmann Echo state networks in audio processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090707

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091001

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3