JPH11126198A - データ処理装置および方法、並びに伝送媒体 - Google Patents
データ処理装置および方法、並びに伝送媒体Info
- Publication number
- JPH11126198A JPH11126198A JP9289692A JP28969297A JPH11126198A JP H11126198 A JPH11126198 A JP H11126198A JP 9289692 A JP9289692 A JP 9289692A JP 28969297 A JP28969297 A JP 28969297A JP H11126198 A JPH11126198 A JP H11126198A
- Authority
- JP
- Japan
- Prior art keywords
- gate
- pattern
- judging
- series data
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 時系列データのパターンを自動的に文節化で
きるようにする。 【解決手段】 リカレント型ニューラルネットワーク１
−１乃至１−ｎに、時系列データの所定のパターンを選
択的に記憶させ、入力された時系列データに学習したパ
ターンが現れたとき、その検出信号を出力させる。この
検出信号は、ゲート２−１乃至２−ｎを介して合成回路
３で合成される。ゲート２−１乃至２−ｎの開放状態に
対応するゲートシーケンスは、上位の階層のリカレント
型ニューラルネットワーク１１−１乃至１１−ｎに入力
される。各リカレント型ニューラルネットワーク１１−
１乃至１１−ｎは、記憶したパターンを検出すると、そ
の検出信号をゲート１２−１乃至１２−ｎを介して出力
する。このように、ネットワークを階層構造にすること
により、時系列データを自動的に文節化することができ
る。
きるようにする。 【解決手段】 リカレント型ニューラルネットワーク１
−１乃至１−ｎに、時系列データの所定のパターンを選
択的に記憶させ、入力された時系列データに学習したパ
ターンが現れたとき、その検出信号を出力させる。この
検出信号は、ゲート２−１乃至２−ｎを介して合成回路
３で合成される。ゲート２−１乃至２−ｎの開放状態に
対応するゲートシーケンスは、上位の階層のリカレント
型ニューラルネットワーク１１−１乃至１１−ｎに入力
される。各リカレント型ニューラルネットワーク１１−
１乃至１１−ｎは、記憶したパターンを検出すると、そ
の検出信号をゲート１２−１乃至１２−ｎを介して出力
する。このように、ネットワークを階層構造にすること
により、時系列データを自動的に文節化することができ
る。
Description
【０００１】
【発明の属する技術分野】本発明は、データ処理装置お
よび方法、並びに伝送媒体に関し、特に、時系列データ
を自動的に文節化し、処理することができるようにし
た、データ処理装置および方法、並びに伝送媒体に関す
る。
よび方法、並びに伝送媒体に関し、特に、時系列データ
を自動的に文節化し、処理することができるようにし
た、データ処理装置および方法、並びに伝送媒体に関す
る。
【０００２】
【従来の技術】データを処理する手法の中に、数理解
析、統計的手法、ニューラルネットなどがある。ジャコ
ブス（R.A.Jacobs）と、ジョーダン（M.I.Jordan）は、
module of experts networkにより、多様な空間的なパ
ターンを有限数のエキスパートに自動的に割り当てる形
で問題を分割し、かつ階層的に学習することを提案して
いる（Adaptive mixtures of local experts. Neural C
omputation, vol. 3, No.1,pp. 79-87,1991）。
析、統計的手法、ニューラルネットなどがある。ジャコ
ブス（R.A.Jacobs）と、ジョーダン（M.I.Jordan）は、
module of experts networkにより、多様な空間的なパ
ターンを有限数のエキスパートに自動的に割り当てる形
で問題を分割し、かつ階層的に学習することを提案して
いる（Adaptive mixtures of local experts. Neural C
omputation, vol. 3, No.1,pp. 79-87,1991）。
【０００３】
【発明が解決しようとする課題】しかしながら、上記し
た提案においては、入力されたデータを時間方向に、自
動的に文節化する手段が開示されておらず、ロボットの
センサモータに代表される連続時系列データから、文節
化の構造を学習したり、その学習した構造から、元の時
系列を再構成することができないという課題があった。
た提案においては、入力されたデータを時間方向に、自
動的に文節化する手段が開示されておらず、ロボットの
センサモータに代表される連続時系列データから、文節
化の構造を学習したり、その学習した構造から、元の時
系列を再構成することができないという課題があった。
【０００４】本発明はこのような状況に鑑みてなされた
ものであり、時系列データのパターンを階層的に学習
し、生成することができるようにするものである。
ものであり、時系列データのパターンを階層的に学習
し、生成することができるようにするものである。
【０００５】
【課題を解決するための手段】請求項１に記載のデータ
処理装置は、入力される時系列データのパターンを判定
する複数の判定手段と、複数の判定手段の判定結果をそ
れぞれゲートする複数のゲート手段と、複数のゲート手
段の出力を合成する合成手段とを備えることを特徴とす
る。
処理装置は、入力される時系列データのパターンを判定
する複数の判定手段と、複数の判定手段の判定結果をそ
れぞれゲートする複数のゲート手段と、複数のゲート手
段の出力を合成する合成手段とを備えることを特徴とす
る。
【０００６】請求項５に記載のデータ処理方法は、入力
される時系列データのパターンを判定する複数の判定ス
テップと、複数の判定ステップの判定結果をそれぞれゲ
ートする複数のゲートステップと、複数のゲートステッ
プの出力を合成する合成ステップとを備えることを特徴
とする。
される時系列データのパターンを判定する複数の判定ス
テップと、複数の判定ステップの判定結果をそれぞれゲ
ートする複数のゲートステップと、複数のゲートステッ
プの出力を合成する合成ステップとを備えることを特徴
とする。
【０００７】請求項６に記載の伝送媒体は、入力される
時系列データのパターンを判定する複数の判定ステップ
と、複数の判定ステップの判定結果をそれぞれゲートす
る複数のゲートステップと、複数のゲートステップの出
力を合成する合成ステップとを備えるコンピュータプロ
グラムを伝送することを特徴とする。
時系列データのパターンを判定する複数の判定ステップ
と、複数の判定ステップの判定結果をそれぞれゲートす
る複数のゲートステップと、複数のゲートステップの出
力を合成する合成ステップとを備えるコンピュータプロ
グラムを伝送することを特徴とする。
【０００８】請求項１に記載のデータ処理装置、請求項
５に記載のデータ処理方法、および請求項６に記載の伝
送媒体においては、入力される時系列データのパターン
が判定され、判定結果がゲートされる。そして、ゲート
後の出力が合成される。
５に記載のデータ処理方法、および請求項６に記載の伝
送媒体においては、入力される時系列データのパターン
が判定され、判定結果がゲートされる。そして、ゲート
後の出力が合成される。
【０００９】
【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
【００１０】請求項１に記載のデータ処理装置は、入力
される時系列データのパターンを判定する複数の判定手
段（例えば、図１のリカレント型ニューラルネットワー
ク１−１乃至１−ｎ）と、複数の判定手段の判定結果を
それぞれゲートする複数のゲート手段（例えば、図１の
ゲート２−１乃至２−ｎ）と、複数のゲート手段の出力
を合成する合成手段（例えば、図１の合成回路３）とを
備えることを特徴とする。
される時系列データのパターンを判定する複数の判定手
段（例えば、図１のリカレント型ニューラルネットワー
ク１−１乃至１−ｎ）と、複数の判定手段の判定結果を
それぞれゲートする複数のゲート手段（例えば、図１の
ゲート２−１乃至２−ｎ）と、複数のゲート手段の出力
を合成する合成手段（例えば、図１の合成回路３）とを
備えることを特徴とする。
【００１１】図１は、本発明を適用したデータ処理装置
の構成例を示している。このデータ処理装置は、例え
ば、ロボットなどに組み込まれるものである。そのロボ
ットには、障害物を検出するセンサと、ロボットを移動
させるために駆動されるモータ（いずれも図示せず）が
具備されている。
の構成例を示している。このデータ処理装置は、例え
ば、ロボットなどに組み込まれるものである。そのロボ
ットには、障害物を検出するセンサと、ロボットを移動
させるために駆動されるモータ（いずれも図示せず）が
具備されている。
【００１２】ｎ個のリカレント型ニューラルネットワー
ク（RNN）１−１乃至１−ｎには、センサとモータの状
態に対応する入力ｘtが入力されている。
ク（RNN）１−１乃至１−ｎには、センサとモータの状
態に対応する入力ｘtが入力されている。
【００１３】図２は、リカレント型ニューラルネットワ
ーク１−１の構成例を表している。なお、図示は省略す
るが、他のリカレント型ニューラルネットワーク１−２
乃至１−ｎも、リカレント型ニューラルネットワーク１
−１と同様に構成されている。
ーク１−１の構成例を表している。なお、図示は省略す
るが、他のリカレント型ニューラルネットワーク１−２
乃至１−ｎも、リカレント型ニューラルネットワーク１
−１と同様に構成されている。
【００１４】図２に示すように、リカレント型ニューラ
ルネットワーク１−１は、所定の数の入力層のニューロ
ン３１を有し、このニューロン３１に、センサの状態に
対応する入力ｓtと、モータの状態に対応する入力ｍtが
入力されている。ニューロン３１の出力は、中間層のニ
ューロン３２を介して、出力層のニューロン３３に供給
されるようになされている。そして、出力層のニューロ
ン３３からは、リカレント型ニューラルネットワーク１
−１のセンサの状態に対応する出力ｓt+1と、モータの
状態に対応する出力ｍt+1が出力されるようになされて
いる。また、出力の一部は、コンテキスト（context）
Ｃtとして、入力層のニューロン３１にフィードバック
されるようになされている。
ルネットワーク１−１は、所定の数の入力層のニューロ
ン３１を有し、このニューロン３１に、センサの状態に
対応する入力ｓtと、モータの状態に対応する入力ｍtが
入力されている。ニューロン３１の出力は、中間層のニ
ューロン３２を介して、出力層のニューロン３３に供給
されるようになされている。そして、出力層のニューロ
ン３３からは、リカレント型ニューラルネットワーク１
−１のセンサの状態に対応する出力ｓt+1と、モータの
状態に対応する出力ｍt+1が出力されるようになされて
いる。また、出力の一部は、コンテキスト（context）
Ｃtとして、入力層のニューロン３１にフィードバック
されるようになされている。
【００１５】リカレント型ニューラルネットワーク１−
１乃至１−ｎの出力は、対応するゲート２−１乃至２−
ｎを介して合成回路３に入力され、合成され、予測出力
ｙt+ 1が出力されるようになされている。
１乃至１−ｎの出力は、対応するゲート２−１乃至２−
ｎを介して合成回路３に入力され、合成され、予測出力
ｙt+ 1が出力されるようになされている。
【００１６】学習時においては、教師信号としての目標
値ｙ* t+1と、各RNN１−１乃至１−ｎの出力の誤差が、
対応するゲート２−１乃至２−ｎの状態を制御するよう
になされている。
値ｙ* t+1と、各RNN１−１乃至１−ｎの出力の誤差が、
対応するゲート２−１乃至２−ｎの状態を制御するよう
になされている。
【００１７】以上の下位のRNN１−１乃至１−ｎ、ゲー
ト２−１乃至２−ｎ、および合成回路３と同様の構成
が、より上位の階層にも形成されている。すなわち、上
位の階層には、RNN１１−１乃至１１−ｎ、ゲート１２
−１乃至１２−ｎ、および合成回路１３が設けられてい
る。そして、RNN１１−１乃至１１−ｎには、下位の階
層のゲート２−１乃至２−ｎの導通状態（開閉度）に対
応するシーケンス（ゲートシーケンス）Ｇtが入力され
るようになされている。そして、各RNN１１−１乃至１
１−ｎからは、出力Ｇ1 T+1乃至Ｇn T+1が出力され、合成
回路１３からは、予測出力ＧT+1が出力されるようにな
されている。また、学習時においては、教師信号とし
て、目標値Ｇ* T+1が入力されている。
ト２−１乃至２−ｎ、および合成回路３と同様の構成
が、より上位の階層にも形成されている。すなわち、上
位の階層には、RNN１１−１乃至１１−ｎ、ゲート１２
−１乃至１２−ｎ、および合成回路１３が設けられてい
る。そして、RNN１１−１乃至１１−ｎには、下位の階
層のゲート２−１乃至２−ｎの導通状態（開閉度）に対
応するシーケンス（ゲートシーケンス）Ｇtが入力され
るようになされている。そして、各RNN１１−１乃至１
１−ｎからは、出力Ｇ1 T+1乃至Ｇn T+1が出力され、合成
回路１３からは、予測出力ＧT+1が出力されるようにな
されている。また、学習時においては、教師信号とし
て、目標値Ｇ* T+1が入力されている。
【００１８】なお、図１には、２つの階層だけが示され
ているが、必要に応じて、さらに、より上位の階層を設
けることも可能である。
ているが、必要に応じて、さらに、より上位の階層を設
けることも可能である。
【００１９】図３は、上位の階層のRNN１１−１の構成
を表している。なお、他のRNN１１−２乃至１１−ｎ
も、RNN１１−１と同様の構成とされている。
を表している。なお、他のRNN１１−２乃至１１−ｎ
も、RNN１１−１と同様の構成とされている。
【００２０】図３に示すように、RNN１１−１は、基本
的に、図２に示したRNN１−１と同様に構成されてお
り、入力層には複数のニューロン４１が、中間層には複
数のニューロン４２が、そして出力層には複数のニュー
ロン４３が配置されている。入力層には、ゲート２−１
乃至２−ｎの導通状態に対応する信号ｇ1 T乃至ｇn Tが入
力されるとともに、ゲートの導通（開放）している周期
（時間）ＩTが入力される。出力層からは、これらの入
力に対応して、出力ｇ1 T+1乃至ｇn T+1と、ＩT+1が出力
される。また、出力層の出力の一部は、コンテキストＣ
Tとして入力層にフィードバックされている。
的に、図２に示したRNN１−１と同様に構成されてお
り、入力層には複数のニューロン４１が、中間層には複
数のニューロン４２が、そして出力層には複数のニュー
ロン４３が配置されている。入力層には、ゲート２−１
乃至２−ｎの導通状態に対応する信号ｇ1 T乃至ｇn Tが入
力されるとともに、ゲートの導通（開放）している周期
（時間）ＩTが入力される。出力層からは、これらの入
力に対応して、出力ｇ1 T+1乃至ｇn T+1と、ＩT+1が出力
される。また、出力層の出力の一部は、コンテキストＣ
Tとして入力層にフィードバックされている。
【００２１】ここで、RNN１−１乃至１−ｎのアルゴリ
ズムについて説明する。ゲートの導通状態は、ソフトマ
ックス（soft-max）のアクティベーションファンクショ
ンを用いて、次式で示すように表される。
ズムについて説明する。ゲートの導通状態は、ソフトマ
ックス（soft-max）のアクティベーションファンクショ
ンを用いて、次式で示すように表される。
【００２２】
【数１】
【００２３】ここで、ｇiは、ｉ番目のゲートの導通状
態に対応するゲート係数を表し、ｓiは、ｉ番目のゲー
トの導通状態の内部状態に対応する値を表している。従
って、合成回路３の出力ｙt+1は、次式で表される。
態に対応するゲート係数を表し、ｓiは、ｉ番目のゲー
トの導通状態の内部状態に対応する値を表している。従
って、合成回路３の出力ｙt+1は、次式で表される。
【００２４】
【数２】
【００２５】ここで、予測学習時に最大の値となる次式
で示す尤度関数を定義する。
で示す尤度関数を定義する。
【００２６】
【数３】
【００２７】なお、ここで、σは、スケーリングパラメ
ータを表している。
ータを表している。
【００２８】学習時、RNN１−１乃至１−ｎの重み係数
とゲート係数ｇは、尤度関数が最大となるように同時に
更新される。認識時においては、ゲート係数だけが更新
される。
とゲート係数ｇは、尤度関数が最大となるように同時に
更新される。認識時においては、ゲート係数だけが更新
される。
【００２９】これらの重み係数とゲート係数を更新する
ルールを確立するために、尤度関数の指数関数の内部変
数ｓiに関する傾きと、ｉ番目のRNNの出力ｙiに関する
傾きを次式のように求める。
ルールを確立するために、尤度関数の指数関数の内部変
数ｓiに関する傾きと、ｉ番目のRNNの出力ｙiに関する
傾きを次式のように求める。
【００３０】
【数４】
【００３１】ここで、ｇ（ｉ｜ｘt，ｙ* t+1）は、ｉ番
目のRNNが入力ｘtのとき、目標出力ｙ* t+1を発生する事
象後確率を意味し、次式で表される。
目のRNNが入力ｘtのとき、目標出力ｙ* t+1を発生する事
象後確率を意味し、次式で表される。
【００３２】
【数５】
【００３３】ここで、||ｙ* t+1−ｙj t+1||2は、現在の
予測の自乗誤差を表している。
予測の自乗誤差を表している。
【００３４】上記（４）式は、ｓiを更新する方向を表
している。また、（５）式に示されるように、尤度関数
の指数関数のｙi t+1に関する傾きは、誤差条件ｙ* t+1−
ｙi t +1の誤差項を含んでいる。この誤差項は、ｉ番目の
RNNの事象後確率により重み付けされている。
している。また、（５）式に示されるように、尤度関数
の指数関数のｙi t+1に関する傾きは、誤差条件ｙ* t+1−
ｙi t +1の誤差項を含んでいる。この誤差項は、ｉ番目の
RNNの事象後確率により重み付けされている。
【００３５】このように、RNN１−１乃至１−ｎの重み
係数は、事象後確率にのみ比例して、ｉ番目のRNNの出
力と目標値の誤差を補正するように調整される。これに
よりｎ個のRNNのうち、１つのエキスパートRNNだけが、
与えられたトレーニングパターンを排他的に学習するよ
うになされる。各RNNの誤差は、次式で表される。
係数は、事象後確率にのみ比例して、ｉ番目のRNNの出
力と目標値の誤差を補正するように調整される。これに
よりｎ個のRNNのうち、１つのエキスパートRNNだけが、
与えられたトレーニングパターンを排他的に学習するよ
うになされる。各RNNの誤差は、次式で表される。
【００３６】
【数６】
【００３７】RNN１−１乃至１−ｎの実際の学習は、上
記式で得られた誤差に基づいてバックプロパゲーション
法により実行される。
記式で得られた誤差に基づいてバックプロパゲーション
法により実行される。
【００３８】これにより、RNN１−１乃至１−ｎは、入
力ｘtのうち、それぞれ他と異なる所定の時系列パター
ンを識別することができるエキスパートとなるように、
学習が行われる。
力ｘtのうち、それぞれ他と異なる所定の時系列パター
ンを識別することができるエキスパートとなるように、
学習が行われる。
【００３９】以上のことは、より上位の階層におけるRN
N１１−１乃至１１−ｎにおいても同様である。ただ
し、この場合における入力は、ゲートシーケンスＧTで
あり、その出力は、Ｇi T+1となる。
N１１−１乃至１１−ｎにおいても同様である。ただ
し、この場合における入力は、ゲートシーケンスＧTで
あり、その出力は、Ｇi T+1となる。
【００４０】このように構成したロボット５１で、図４
または図５に示すようなルームＡまたはルームＢを移動
させる実験を行った。図６は、図４のルームＡを２０方
向の距離センサを持つロボット５１が移動した場合にお
ける２０次元の距離センサの状態の時系列的な変化を表
している。図６においては、四角形の各ドットの大きさ
が、障害物までの距離の近さを表している（四角形が大
きいほど、距離が近い）。
または図５に示すようなルームＡまたはルームＢを移動
させる実験を行った。図６は、図４のルームＡを２０方
向の距離センサを持つロボット５１が移動した場合にお
ける２０次元の距離センサの状態の時系列的な変化を表
している。図６においては、四角形の各ドットの大きさ
が、障害物までの距離の近さを表している（四角形が大
きいほど、距離が近い）。
【００４１】ロボット５１はルームＡとルームＢを移動
し、その間に下位層を自己組織化する。さらに、下位の
階層のネットワークにおける自己組織化を調べるため
に、図７に示すように、異なる形状のルームＣとルーム
Ｄが、ドア５２を介して連結されている空間を、ロボッ
ト５１に移動させる実験を行った。なお、ロボット５１
の各階層のRNN１−１乃至１−ｎとRNN１１−１乃至１１
−ｎの数は、それぞれ５個（ｎ＝５）とされている。
し、その間に下位層を自己組織化する。さらに、下位の
階層のネットワークにおける自己組織化を調べるため
に、図７に示すように、異なる形状のルームＣとルーム
Ｄが、ドア５２を介して連結されている空間を、ロボッ
ト５１に移動させる実験を行った。なお、ロボット５１
の各階層のRNN１−１乃至１−ｎとRNN１１−１乃至１１
−ｎの数は、それぞれ５個（ｎ＝５）とされている。
【００４２】図８は、ロボット５１がルームＣを移動し
た場合のモータへの入力（実線）と、５個のゲートの変
化を表している。同様に、図９は、ロボット５１がルー
ムＤを移動した場合のモータの入力と、各ゲートの変化
を表している。
た場合のモータへの入力（実線）と、５個のゲートの変
化を表している。同様に、図９は、ロボット５１がルー
ムＤを移動した場合のモータの入力と、各ゲートの変化
を表している。
【００４３】図８に示すように、ルームＣにおいては、
ゲート２−２は、ロボット５１が直進するとき開閉度が
高くなり、ゲート２−５は、ロボット５１が分岐点を通
過するとき開閉度が高くなり、ゲート２−１は、ロボッ
ト５１が左方向に曲がるとき開閉度が高くなる。図７に
示すように、ルームＣにおいては、ロボット５１は、最
初に直進するのでゲート２−２が先ず開放し、次に、分
岐点を通過するのでゲート４が開放し、次に、左方向に
曲がるのでゲート２−１が開放し、さらに、直進するの
でゲート２−２が開放し、また、左方向に曲がるのでゲ
ート２−１が開放し、直進するのでゲート２−２が開放
し、左に曲がるのでゲート２−１が開放し、さらに、直
進するのでゲート２−２が開放をする。以上により、ロ
ボット５１がルームＣを１周したことになる。
ゲート２−２は、ロボット５１が直進するとき開閉度が
高くなり、ゲート２−５は、ロボット５１が分岐点を通
過するとき開閉度が高くなり、ゲート２−１は、ロボッ
ト５１が左方向に曲がるとき開閉度が高くなる。図７に
示すように、ルームＣにおいては、ロボット５１は、最
初に直進するのでゲート２−２が先ず開放し、次に、分
岐点を通過するのでゲート４が開放し、次に、左方向に
曲がるのでゲート２−１が開放し、さらに、直進するの
でゲート２−２が開放し、また、左方向に曲がるのでゲ
ート２−１が開放し、直進するのでゲート２−２が開放
し、左に曲がるのでゲート２−１が開放し、さらに、直
進するのでゲート２−２が開放をする。以上により、ロ
ボット５１がルームＣを１周したことになる。
【００４４】従って、この場合は、RNN１−１が左に曲
がるパターンを記憶し、RNN１−２が直進するパターン
を記憶し、RNN１−５が分岐点のパターンを記憶してい
ることになる。
がるパターンを記憶し、RNN１−２が直進するパターン
を記憶し、RNN１−５が分岐点のパターンを記憶してい
ることになる。
【００４５】一方、図９に示すように、ルームＤにおい
ては、ゲート２−１とゲート２−２は、図８におけるル
ームＣの場合と同様に、それぞれ左へ曲がる場合、また
は直進する場合にそれぞれ開放し、ゲート２−４は、右
に曲がる場合に開放する。従って、RNN１−４は、右に
曲がる場合のパターンを記憶していることになる。
ては、ゲート２−１とゲート２−２は、図８におけるル
ームＣの場合と同様に、それぞれ左へ曲がる場合、また
は直進する場合にそれぞれ開放し、ゲート２−４は、右
に曲がる場合に開放する。従って、RNN１−４は、右に
曲がる場合のパターンを記憶していることになる。
【００４６】図１０は、上位の階層のゲート１２−１乃
至１２−５の開放状態を表している。同図に示すよう
に、ルームＣにおけるロボット５１の移動は、ゲート１
２−２とゲート１２−４の開放の繰り返しとして認識さ
れ、ルームＤにおける移動は、ゲート１２−５の開放と
して認識されている。
至１２−５の開放状態を表している。同図に示すよう
に、ルームＣにおけるロボット５１の移動は、ゲート１
２−２とゲート１２−４の開放の繰り返しとして認識さ
れ、ルームＤにおける移動は、ゲート１２−５の開放と
して認識されている。
【００４７】このように、より上位の階層のRNN１１−
１乃至１１−ｎでは、ルーム単位の識別も可能となる。
１乃至１１−ｎでは、ルーム単位の識別も可能となる。
【００４８】図１１は、各ゲートの開放している周期Ｉ
T（実線）と予測誤差（破線）の変化を表している。ル
ームＣからルームＤに、ステップＳ３６で移動すると
き、予測誤差が大きくなっているが、それより前、ある
いはそれより後においては、予測誤差の値は小さくなっ
ている。
T（実線）と予測誤差（破線）の変化を表している。ル
ームＣからルームＤに、ステップＳ３６で移動すると
き、予測誤差が大きくなっているが、それより前、ある
いはそれより後においては、予測誤差の値は小さくなっ
ている。
【００４９】上位の階層のRNN１１−１乃至１１−ｎ
で、ゲート係数の時系列を学習させる場合、ゲート係数
の時系列データは滑らかに変化するので、その特徴を抽
出し、学習させてもよい。また、ゲートの開放する時間
を学習させるようにしてもよい。
で、ゲート係数の時系列を学習させる場合、ゲート係数
の時系列データは滑らかに変化するので、その特徴を抽
出し、学習させてもよい。また、ゲートの開放する時間
を学習させるようにしてもよい。
【００５０】例えば、ゲート１２−１乃至１２−３の開
閉度が、図１２に示すように、時間の経過にともなって
変化するとき、、各ゲートのうち、１つのゲートがウィ
ナーとなったとき、そのウィナーとなっている時間をテ
ーブルに表すと、図１３に示すようになる。同図に示す
ように、ステップＳ１においては、ゲート１２−１がウ
ィナーとなり、その時間は２０秒である。また、ステッ
プＳ２において、ゲート１２−２がウィナーとなり、そ
の時間は３０秒であり、ステップＳ３においては、ゲー
ト１２−３がウィナーとなり、その継続時間は４０秒で
ある。
閉度が、図１２に示すように、時間の経過にともなって
変化するとき、、各ゲートのうち、１つのゲートがウィ
ナーとなったとき、そのウィナーとなっている時間をテ
ーブルに表すと、図１３に示すようになる。同図に示す
ように、ステップＳ１においては、ゲート１２−１がウ
ィナーとなり、その時間は２０秒である。また、ステッ
プＳ２において、ゲート１２−２がウィナーとなり、そ
の時間は３０秒であり、ステップＳ３においては、ゲー
ト１２−３がウィナーとなり、その継続時間は４０秒で
ある。
【００５１】この図１３のデータは、図１４に示すよう
に、正規化して表すことができる。同図において、ゲー
トのウィナーは１．０で表され、時間は、単位時間（１
００秒）に対する割合として示されている。
に、正規化して表すことができる。同図において、ゲー
トのウィナーは１．０で表され、時間は、単位時間（１
００秒）に対する割合として示されている。
【００５２】このような絶対時間または正規化した時間
を学習させるようにしてもよい。
を学習させるようにしてもよい。
【００５３】上記実施の形態においては、RNNを用い
て、時系列データのパターンを判定（記憶）するように
したが、例えば、図１５に示すように、RNN１−１乃至
１−ｎに代えて、回帰型多変量解析の処理を行うモジュ
ール６１−１乃至６１−ｎを用いるようにしてもよい。
すなわち、モジュール６１−ｉは、次式を演算する。
て、時系列データのパターンを判定（記憶）するように
したが、例えば、図１５に示すように、RNN１−１乃至
１−ｎに代えて、回帰型多変量解析の処理を行うモジュ
ール６１−１乃至６１−ｎを用いるようにしてもよい。
すなわち、モジュール６１−ｉは、次式を演算する。
【００５４】
【数７】
【００５５】ここで、ｆは非線形関数であり、Ｗは所定
の係数である。
の係数である。
【００５６】例えば、ｘt+1＝ａｘ2 t＋ｂｘt＋ｃの式で
表すこともできる。この場合、ａ，ｂ，ｃが、係数Ｗに
対応する。
表すこともできる。この場合、ａ，ｂ，ｃが、係数Ｗに
対応する。
【００５７】あるいはまた、各モジュールの行う演算式
を（９）式のように、差分方程式で表したり、（１０）
式で示すように、微分方程式で表現することもできる。
を（９）式のように、差分方程式で表したり、（１０）
式で示すように、微分方程式で表現することもできる。
【００５８】
【数８】
【数９】
【００５９】以上の実施の形態においては、時系列に出
力されるロボットのデータを処理する場合を例として説
明したが、例えば、図１６に示すように、時々刻々と変
化する楽音信号を、各パターンＰ１，Ｐ２，Ｐ１，Ｐ
３，Ｐ２のように、自動的に順次文節化することができ
る。すなわち、上記した各RNN１−１乃至１−ｎが、こ
れらのパターンＰ１，Ｐ２，Ｐ３，・・・をそれぞれ選
択的に記憶し、入力される時系列データから記憶したパ
ターンを検出したとき、検出信号を対応するゲートを介
して出力することになる。このようにして、例えば、音
楽の所定のフレーズを学習し、これを検出することが可
能となる。
力されるロボットのデータを処理する場合を例として説
明したが、例えば、図１６に示すように、時々刻々と変
化する楽音信号を、各パターンＰ１，Ｐ２，Ｐ１，Ｐ
３，Ｐ２のように、自動的に順次文節化することができ
る。すなわち、上記した各RNN１−１乃至１−ｎが、こ
れらのパターンＰ１，Ｐ２，Ｐ３，・・・をそれぞれ選
択的に記憶し、入力される時系列データから記憶したパ
ターンを検出したとき、検出信号を対応するゲートを介
して出力することになる。このようにして、例えば、音
楽の所定のフレーズを学習し、これを検出することが可
能となる。
【００６０】また、以上の原理を利用して、楽音信号を
合成することも可能である。図１７は、この場合の構成
例を表している。
合成することも可能である。図１７は、この場合の構成
例を表している。
【００６１】すなわち、同図に示すように、この構成例
においては、合成回路３の出力が、RNN１−１乃至１−
ｎに帰還されている。また、上位の階層においても、合
成回路１３の出力が、RNN１１−１乃至１１−ｎに帰還
されている。そして、下位のゲート２−１乃至２−ｎ
は、上位の階層の合成回路１３の出力で、その開閉度が
制御される。RNN１−１乃至１−ｎ，１１−１乃至１１
−ｎに所定のパターンを記憶させることで、例えば、図
１６に示したパターンＰ１をRNN１−１に発生させ、パ
ターンＰ２をRNN１−２に発生させ、パターンＰ３をRNN
１−３（図示せず）に発生させることができる。いずれ
のパターンを発生させるかは、上位の階層のゲートシー
ケンスで制御される。
においては、合成回路３の出力が、RNN１−１乃至１−
ｎに帰還されている。また、上位の階層においても、合
成回路１３の出力が、RNN１１−１乃至１１−ｎに帰還
されている。そして、下位のゲート２−１乃至２−ｎ
は、上位の階層の合成回路１３の出力で、その開閉度が
制御される。RNN１−１乃至１−ｎ，１１−１乃至１１
−ｎに所定のパターンを記憶させることで、例えば、図
１６に示したパターンＰ１をRNN１−１に発生させ、パ
ターンＰ２をRNN１−２に発生させ、パターンＰ３をRNN
１−３（図示せず）に発生させることができる。いずれ
のパターンを発生させるかは、上位の階層のゲートシー
ケンスで制御される。
【００６２】この図１７の構成をロボットに応用すれ
ば、そのロボットは、実際に移動を行わなくても、移動
を連想することができることになる。
ば、そのロボットは、実際に移動を行わなくても、移動
を連想することができることになる。
【００６３】本発明は、このほか、例えば、人間の動き
を学習し、コンピュータシステム上のエージェントに学
習させ、同一の動きを生成する場合にも、応用すること
が可能である。
を学習し、コンピュータシステム上のエージェントに学
習させ、同一の動きを生成する場合にも、応用すること
が可能である。
【００６４】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに伝送する伝送媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。
ータプログラムをユーザに伝送する伝送媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。
【００６５】
【発明の効果】以上の如く、請求項１に記載のデータ処
理装置、請求項５に記載のデータ処理方法、および請求
項６に記載の伝送媒体によれば、入力される時系列デー
タのパターンを判定し、その判定結果をゲートし、ゲー
ト後の出力を合成するようにしたので、時系列データの
パターンを時間方向に文節化し、検出処理することが可
能となる。
理装置、請求項５に記載のデータ処理方法、および請求
項６に記載の伝送媒体によれば、入力される時系列デー
タのパターンを判定し、その判定結果をゲートし、ゲー
ト後の出力を合成するようにしたので、時系列データの
パターンを時間方向に文節化し、検出処理することが可
能となる。
【図１】本発明のデータ処理装置の構成例を示すブロッ
ク図である。
ク図である。
【図２】図１のRNN１−１の構成例を示す図である。
【図３】図１のRNN１１−１の構成例を示す図である。
【図４】ロボットの移動するルームの例を示す図であ
る。
る。
【図５】ロボットの移動するルームの例を示す図であ
る。
る。
【図６】ロボットの移動に対応して発生する時系列のデ
ータを示す図である。
ータを示す図である。
【図７】ロボットの移動するルームの例を示す図であ
る。
る。
【図８】ロボットが図７のルームＣを移動した場合のゲ
ートの変化を示す図である。
ートの変化を示す図である。
【図９】ロボットが図７のルームＤを移動した場合のゲ
ートの変化を示す図である。
ートの変化を示す図である。
【図１０】ロボットが図７のルームＣとルームＤを移動
した場合の上位の階層のゲートの開閉度の変化を示す図
である。
した場合の上位の階層のゲートの開閉度の変化を示す図
である。
【図１１】ロボットが図７のルームＣとルームＤを移動
した場合のゲートの開放している時間の周期の変化と予
測誤差の変化を示す図である。
した場合のゲートの開放している時間の周期の変化と予
測誤差の変化を示す図である。
【図１２】ゲートの開閉度の変化を示す図である。
【図１３】図１２の開放しているゲートとその開放時間
の対応関係を表す図である。
の対応関係を表す図である。
【図１４】図１３の対応関係を正規化した状態を示す図
である。
である。
【図１５】本発明のデータ処理装置の他の構成例を示す
図である。
図である。
【図１６】音声データの変化を示す図である。
【図１７】本発明のデータ処理装置のさらに他の構成例
を示すブロック図である。
を示すブロック図である。
１−１乃至１−ｎ リカレント型ニューラルネットワー
ク， ２−１乃至２−ｎ ゲート， ３ 合成回路，
１１−１乃至１１−ｎ リカレント型ニューラルネット
ワーク， １２−１乃至１２−ｎ ゲート， １３ 合
成回路
ク， ２−１乃至２−ｎ ゲート， ３ 合成回路，
１１−１乃至１１−ｎ リカレント型ニューラルネット
ワーク， １２−１乃至１２−ｎ ゲート， １３ 合
成回路
Claims (6)
- 【請求項１】 入力される時系列データのパターンを判
定する複数の判定手段と、 複数の前記判定手段の判定結果をそれぞれゲートする複
数のゲート手段と、 複数の前記ゲート手段の出力を合成する合成手段とを備
えることを特徴とするデータ処理装置。 - 【請求項２】 前記判定手段、ゲート手段、および合成
手段は、階層構造とされていることを特徴とする請求項
１に記載のデータ処理装置。 - 【請求項３】 前記判定手段は、リカレント型ニューラ
ルネットワークであることを特徴とする請求項１に記載
のデータ処理装置。 - 【請求項４】 前記判定手段は、回帰型多変量解析によ
り判定を行うことを特徴とする請求項１に記載のデータ
処理装置。 - 【請求項５】 入力される時系列データのパターンを判
定する複数の判定ステップと、 複数の前記判定ステップの判定結果をそれぞれゲートす
る複数のゲートステップと、 複数の前記ゲートステップの出力を合成する合成ステッ
プとを備えることを特徴とするデータ処理方法。 - 【請求項６】 入力される時系列データのパターンを判
定する複数の判定ステップと、 複数の前記判定ステップの判定結果をそれぞれゲートす
る複数のゲートステップと、 複数の前記ゲートステップの出力を合成する合成ステッ
プとを備えるコンピュータプログラムを伝送することを
特徴とする伝送媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28969297A JP3922407B2 (ja) | 1997-10-22 | 1997-10-22 | データ処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28969297A JP3922407B2 (ja) | 1997-10-22 | 1997-10-22 | データ処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11126198A true JPH11126198A (ja) | 1999-05-11 |
| JP3922407B2 JP3922407B2 (ja) | 2007-05-30 |
Family
ID=17746522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28969297A Expired - Fee Related JP3922407B2 (ja) | 1997-10-22 | 1997-10-22 | データ処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3922407B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002081157A1 (fr) * | 2001-04-03 | 2002-10-17 | Sony Corporation | Robot mobile a deux jambes, procede de commande de mouvement et support de stockage |
| JP2005056340A (ja) * | 2003-08-07 | 2005-03-03 | Sony Corp | 情報処理装置および方法、プログラム格納媒体、並びにプログラム |
| US7725412B2 (en) | 2006-04-06 | 2010-05-25 | Sony Corporation | Identifying temporal sequences using a recurrent self organizing map |
| US7877338B2 (en) | 2006-05-15 | 2011-01-25 | Sony Corporation | Information processing apparatus, method, and program using recurrent neural networks |
| US7953683B2 (en) | 2006-04-06 | 2011-05-31 | Sony Corporation | Learning apparatus, learning method, and program for efficiently learning dynamics |
-
1997
- 1997-10-22 JP JP28969297A patent/JP3922407B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002081157A1 (fr) * | 2001-04-03 | 2002-10-17 | Sony Corporation | Robot mobile a deux jambes, procede de commande de mouvement et support de stockage |
| US7024276B2 (en) | 2001-04-03 | 2006-04-04 | Sony Corporation | Legged mobile robot and its motion teaching method, and storage medium |
| JP2005056340A (ja) * | 2003-08-07 | 2005-03-03 | Sony Corp | 情報処理装置および方法、プログラム格納媒体、並びにプログラム |
| US7725412B2 (en) | 2006-04-06 | 2010-05-25 | Sony Corporation | Identifying temporal sequences using a recurrent self organizing map |
| US7953683B2 (en) | 2006-04-06 | 2011-05-31 | Sony Corporation | Learning apparatus, learning method, and program for efficiently learning dynamics |
| US7877338B2 (en) | 2006-05-15 | 2011-01-25 | Sony Corporation | Information processing apparatus, method, and program using recurrent neural networks |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3922407B2 (ja) | 2007-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bengio et al. | Learning a synaptic learning rule | |
| Levin | Word recognition using hidden control neural architecture | |
| CN109131348B (zh) | 一种基于生成式对抗网络的智能车驾驶决策方法 | |
| CN106897268A (zh) | 文本语义理解方法、装置和系统 | |
| WO2005024718A1 (en) | An artificial neural network | |
| KR100306848B1 (ko) | 신경회로망을 이용한 선택적 주의집중 방법 | |
| Nauck | Beyond neuro-fuzzy: perspectives and directions | |
| Santini et al. | Block-structured recurrent neural networks | |
| JPH11126198A (ja) | データ処理装置および方法、並びに伝送媒体 | |
| Su et al. | Incremental learning with balanced update on receptive fields for multi-sensor data fusion | |
| Xue et al. | Analyses of the hidden units of the multi-layer perceptron and its application in acoustic-to-articulatory mapping | |
| Lockett et al. | Temporal convolution machines for sequence learning | |
| Artuñedo et al. | Machine learning based motion planning approach for intelligent vehicles | |
| Guo et al. | Temporal difference learning applied to sequential detection | |
| Stavrakoudis et al. | A recurrent fuzzy neural network for adaptive speech prediction | |
| Bakker et al. | Neural learning of chaotic dynamics: the error propagation algorithm | |
| JPH06175998A (ja) | 時系列予測方法 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| Tomar et al. | Deep Learning Classifiers used in Speech Processing: A Literature Review | |
| Wahab et al. | HCMAC amplitude spectral subtraction for noise cancellation | |
| Sudharsanan | Equilibrium characterization for a class of dynamical neural networks with applications to learning and synthesis | |
| Tlemsani et al. | A Hybrid Evolutionary Neural Networks Training applied to Phonetic Classification | |
| TW202328983A (zh) | 基於混合神經網絡的目標跟蹤學習方法及系統 | |
| Ecimovic et al. | Delay-driven contrast enhancement using a cellular neural network with state-dependent delay | |
| Apolloni et al. | Processing of instrumentation tracks via Recurrent Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |