JPH08305820A - 能動的物体認識方法および装置 - Google Patents
能動的物体認識方法および装置Info
- Publication number
- JPH08305820A JPH08305820A JP7105942A JP10594295A JPH08305820A JP H08305820 A JPH08305820 A JP H08305820A JP 7105942 A JP7105942 A JP 7105942A JP 10594295 A JP10594295 A JP 10594295A JP H08305820 A JPH08305820 A JP H08305820A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- state
- action
- history
- recognition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 対象物体を認識するために生成された物体モ
デルを用いて行動生成を行い能動的に物体認識を行うこ
と。 【構成】 各物体毎に物体状態推定部２を学習させ、セ
ンサ部１よりシステムに情報を入力する。物体状態推定
部２はこの情報をもとに各物体の状態を推定し、物体識
別部３は物体状態推定部２の出力結果から、もっとも矛
盾のない出力結果を示した物体状態推定部２の表す物体
が対象物体であると識別する。また、物体状態推定部２
の出力結果に差がないため区別がつかないとき、物体状
態予測部４は、動作可能な範囲内で行動したときの識別
不能物体群のそれぞれの状態を予測する。行動決定部５
は、予測された状態の中で識別不能物体間の物体状態が
最も異なるような行動を選択する。この選択された行動
を実行することにより、物体状態が同じ値であった場合
にも、次の観測により識別できるようになる。
デルを用いて行動生成を行い能動的に物体認識を行うこ
と。 【構成】 各物体毎に物体状態推定部２を学習させ、セ
ンサ部１よりシステムに情報を入力する。物体状態推定
部２はこの情報をもとに各物体の状態を推定し、物体識
別部３は物体状態推定部２の出力結果から、もっとも矛
盾のない出力結果を示した物体状態推定部２の表す物体
が対象物体であると識別する。また、物体状態推定部２
の出力結果に差がないため区別がつかないとき、物体状
態予測部４は、動作可能な範囲内で行動したときの識別
不能物体群のそれぞれの状態を予測する。行動決定部５
は、予測された状態の中で識別不能物体間の物体状態が
最も異なるような行動を選択する。この選択された行動
を実行することにより、物体状態が同じ値であった場合
にも、次の観測により識別できるようになる。
Description
【０００１】
【産業上の利用分野】本発明は、システム自らが能動的
に動作することで効率的に対象物体を認識する能動的物
体認識方法および装置に関し、さらに詳細には、対象物
体の効率的な認識をするために、まず、システムに対象
物体に対するセンサ情報を入力することで自動的に対象
物体のモデルを内部に構築し（物体状態推定動作）、つ
づいて、認識時には必要な情報を得るために、システム
自らが判断して能動的に動作することで効率的に対象物
体を認識する能動的物体認識方法および装置に関するも
のである。
に動作することで効率的に対象物体を認識する能動的物
体認識方法および装置に関し、さらに詳細には、対象物
体の効率的な認識をするために、まず、システムに対象
物体に対するセンサ情報を入力することで自動的に対象
物体のモデルを内部に構築し（物体状態推定動作）、つ
づいて、認識時には必要な情報を得るために、システム
自らが判断して能動的に動作することで効率的に対象物
体を認識する能動的物体認識方法および装置に関するも
のである。
【０００２】工場などの固定環境化で動作するシステム
では、環境が変動しないため、必要とされているシステ
ム能力に合わせてあらかじめ動作手順を記述しておくこ
とが可能である。しかし、実環境で動作するシステムの
場合には、環境が未知あるいは変動するため、動作手順
をあらかじめ記述しておくことは困難である。そのた
め、環境に適応的な動作するシステムが要求されてい
る。
では、環境が変動しないため、必要とされているシステ
ム能力に合わせてあらかじめ動作手順を記述しておくこ
とが可能である。しかし、実環境で動作するシステムの
場合には、環境が未知あるいは変動するため、動作手順
をあらかじめ記述しておくことは困難である。そのた
め、環境に適応的な動作するシステムが要求されてい
る。
【０００３】例えば、実環境で３次元物体の認識する問
題を考えると、対象とする物体がある視点から見た時に
は他の物体に隠れて一部しか見えない場合や、ある視点
から見た時には他の物体と区別がつかない場合などは、
頻繁に起こることであり、これらを解決するためにシス
テムがその時の対象の状態に応じて能動的に動作して情
報を入手する必要がある。
題を考えると、対象とする物体がある視点から見た時に
は他の物体に隠れて一部しか見えない場合や、ある視点
から見た時には他の物体と区別がつかない場合などは、
頻繁に起こることであり、これらを解決するためにシス
テムがその時の対象の状態に応じて能動的に動作して情
報を入手する必要がある。
【０００４】また、３次元物体を認識するためにはシス
テムが内部にその対象物体のモデルを持つ必要がある。
このモデル構築をするのに人間がＣＡＤなどを用いて構
築したのでは非常に手間がかかり、現実的でない。そこ
で、これら対象物体のモデルを事例の提示により自動的
に構築でき、かつ、構築された物体モデルを上記の能動
的な動作に直接結び付けることが可能なシステムが必要
とされている。
テムが内部にその対象物体のモデルを持つ必要がある。
このモデル構築をするのに人間がＣＡＤなどを用いて構
築したのでは非常に手間がかかり、現実的でない。そこ
で、これら対象物体のモデルを事例の提示により自動的
に構築でき、かつ、構築された物体モデルを上記の能動
的な動作に直接結び付けることが可能なシステムが必要
とされている。
【０００５】
【従来の技術】従来、対象物体のモデル構築をＣＡＤな
どにより人間が行う場合が多く、これは作成に非常に手
間がかかり、対象が限られている環境（工場など）にし
か実用できなかった。また、この方法により構築された
物体モデルは、ある視点から見た時に違う物体が同じ見
え方をするためのシステム動作へと直接結び付ける（例
えば違う見え方をするようにシステムを動作させる）こ
とは難しかった。
どにより人間が行う場合が多く、これは作成に非常に手
間がかかり、対象が限られている環境（工場など）にし
か実用できなかった。また、この方法により構築された
物体モデルは、ある視点から見た時に違う物体が同じ見
え方をするためのシステム動作へと直接結び付ける（例
えば違う見え方をするようにシステムを動作させる）こ
とは難しかった。
【０００６】一方、砂時計ニューラルネットワークを各
物体に使用し、またそれらをゲートネットワークで切り
分けながら学習する方法が提案されている。この手法で
は、対象物体のモデル構築が自動的に行えるものの、あ
る視点から見た時に違う物体が同じ見え方をする問題を
解決できず、そのための行動の生成などは行えなかっ
た。さらにこの方法では、対象物体が増えるごとにゲー
トネットワークを学習仕直さなければならず、現実的で
はないという問題がある。
物体に使用し、またそれらをゲートネットワークで切り
分けながら学習する方法が提案されている。この手法で
は、対象物体のモデル構築が自動的に行えるものの、あ
る視点から見た時に違う物体が同じ見え方をする問題を
解決できず、そのための行動の生成などは行えなかっ
た。さらにこの方法では、対象物体が増えるごとにゲー
トネットワークを学習仕直さなければならず、現実的で
はないという問題がある。
【０００７】
【発明が解決しようとする課題】以上のように、従来は
対象モデルの構築を人間が行う、または学習で行う場合
にも、ある視点で同じような見え方をする場合に、それ
を解決するための行動を生成することはできなかった。
本発明は上記した従来技術の問題的を考慮してなされた
ものであって、学習による対象モデル生成と、その対象
物体を認識するために生成された物体モデルを用いて行
動生成を行うことができる能動的物体認識方法および装
置を提供することを目的とする。
対象モデルの構築を人間が行う、または学習で行う場合
にも、ある視点で同じような見え方をする場合に、それ
を解決するための行動を生成することはできなかった。
本発明は上記した従来技術の問題的を考慮してなされた
ものであって、学習による対象モデル生成と、その対象
物体を認識するために生成された物体モデルを用いて行
動生成を行うことができる能動的物体認識方法および装
置を提供することを目的とする。
【０００８】すなわち、本発明においては、まず、各対
象物体毎に事例の提示により物体モデルを生成する。そ
して、それらの認識時には、異なる物体がある視点から
見たときには同じように見えることから生じる識別不能
問題を、生成した物体モデルからシステムの行動を生成
することで解決する。また、本発明では新たに対象物体
を加えたときに、その物体に対してのモデル生成するだ
けで、システムの行動生成の部分を作成しなおす必要が
ない。
象物体毎に事例の提示により物体モデルを生成する。そ
して、それらの認識時には、異なる物体がある視点から
見たときには同じように見えることから生じる識別不能
問題を、生成した物体モデルからシステムの行動を生成
することで解決する。また、本発明では新たに対象物体
を加えたときに、その物体に対してのモデル生成するだ
けで、システムの行動生成の部分を作成しなおす必要が
ない。
【０００９】
【課題を解決するための手段】図１〜図４は本発明の原
理を説明する図であり、図１において、１はセンサ部で
あり、このセンサ部１によりシステム情報が入力され
る。２は物体状態推定部であり、物体状態推定部２は、
各物体毎に事前に与えるか、あるいは、学習により生成
されるシステムが保持している物体モデルであり、セン
サ部１からの入力情報を基に現在の物体の状態を推定す
る。
理を説明する図であり、図１において、１はセンサ部で
あり、このセンサ部１によりシステム情報が入力され
る。２は物体状態推定部であり、物体状態推定部２は、
各物体毎に事前に与えるか、あるいは、学習により生成
されるシステムが保持している物体モデルであり、セン
サ部１からの入力情報を基に現在の物体の状態を推定す
る。
【００１０】３は物体識別部であり、各物体に対応した
物体状態推定部２の出力結果から、センサ部１より与え
られた情報がどの物体を表しているか識別する。また、
まだ識別するに十分な情報が得られていない場合には、
その旨を出力する。４は物体状態予測部であり、ある状
態においてある行動をとった時に変化する物体状態を予
測する。
物体状態推定部２の出力結果から、センサ部１より与え
られた情報がどの物体を表しているか識別する。また、
まだ識別するに十分な情報が得られていない場合には、
その旨を出力する。４は物体状態予測部であり、ある状
態においてある行動をとった時に変化する物体状態を予
測する。
【００１１】５は行動決定部であり、物体状態予測部４
の結果を基に対象物体を識別するために最適な行動を決
定する。また、図２は物体状態予測部４を省略した構成
を示す図、図３は物体状態推定部を構成する砂時計ニュ
ーラルネットワークの中間層を共通とするように学習さ
せることで物体状態予測部を一つに統合した構成を示す
図である。また、図４は、物体状態推定部２を構成する
砂時計ニューラルネットワークの中間層を共通化した構
成を示している。
の結果を基に対象物体を識別するために最適な行動を決
定する。また、図２は物体状態予測部４を省略した構成
を示す図、図３は物体状態推定部を構成する砂時計ニュ
ーラルネットワークの中間層を共通とするように学習さ
せることで物体状態予測部を一つに統合した構成を示す
図である。また、図４は、物体状態推定部２を構成する
砂時計ニューラルネットワークの中間層を共通化した構
成を示している。
【００１２】前記課題を解決するため、本発明の請求項
１の発明は、物体の認識方法において、物体が識別可能
になるまで、センサ部からの入力情報を基に、各物体の
状態を推定し、推定された状態からシステムがある行動
後、どのような物体状態が得られるかを予測し、該予測
結果に基づき最も識別に効果的な行動を決定し行動する
ことで、効率的に物体を識別するようにしたものであ
る。
１の発明は、物体の認識方法において、物体が識別可能
になるまで、センサ部からの入力情報を基に、各物体の
状態を推定し、推定された状態からシステムがある行動
後、どのような物体状態が得られるかを予測し、該予測
結果に基づき最も識別に効果的な行動を決定し行動する
ことで、効率的に物体を識別するようにしたものであ
る。
【００１３】本発明の請求項２の発明は、図１に示すよ
うに、認識の対象となる物体の状態を検出するセンサ部
と、センサ部からの入力情報を基に物体を識別する物体
識別部と、上記物体識別部が物体識別可能になるまで各
物体の状態を推定する物体状態推定部と、物体状態推定
部により推定された状態から、システムがある行動後、
どのような物体状態が得られるかを予測する物体状態予
測部と、上記物体状態予測部の予測に基づき、最も識別
に効果的な行動を決定する行動決定部とを設け、上記行
動決定部が決定した行動を実行することで、効率的に物
体を識別するように構成したものである。
うに、認識の対象となる物体の状態を検出するセンサ部
と、センサ部からの入力情報を基に物体を識別する物体
識別部と、上記物体識別部が物体識別可能になるまで各
物体の状態を推定する物体状態推定部と、物体状態推定
部により推定された状態から、システムがある行動後、
どのような物体状態が得られるかを予測する物体状態予
測部と、上記物体状態予測部の予測に基づき、最も識別
に効果的な行動を決定する行動決定部とを設け、上記行
動決定部が決定した行動を実行することで、効率的に物
体を識別するように構成したものである。
【００１４】本発明の請求項３の発明は、請求項２の発
明において、物体状態推定部として、提示された事例を
学習することにより機能を獲得する学習装置を用いたも
のである。本発明の請求項４の発明は、請求項２または
請求項３の発明において、物体状態推定部として、ニュ
ーラルネットワークを用いたものである。
明において、物体状態推定部として、提示された事例を
学習することにより機能を獲得する学習装置を用いたも
のである。本発明の請求項４の発明は、請求項２または
請求項３の発明において、物体状態推定部として、ニュ
ーラルネットワークを用いたものである。
【００１５】本発明の請求項５の発明は、請求項２，３
または請求項４の発明において、物体状態予測部とし
て、提示された事例を学習することにより機能を獲得す
る学習装置を用いたものである。本発明の請求項６の発
明は、請求項２，３，４または請求項５の発明におい
て、物体状態予測部として、ニューラルネットワークを
用いたものである。
または請求項４の発明において、物体状態予測部とし
て、提示された事例を学習することにより機能を獲得す
る学習装置を用いたものである。本発明の請求項６の発
明は、請求項２，３，４または請求項５の発明におい
て、物体状態予測部として、ニューラルネットワークを
用いたものである。
【００１６】本発明の請求項７の発明は、請求項２，
３，４，５または請求項６の発明において、物体識別部
に、システムが複数回行動したときの物体状態推定部の
出力とセンサ情報値の履歴を蓄積する履歴蓄積手段を設
け、上記履歴蓄積手段に蓄積された履歴情報に基づき対
象物体を識別するように構成したものである。本発明の
請求項８の発明は、請求項７の発明において、各物体の
物体状態推定部の出力値の履歴に差がないために物体識
別部で物体識別ができないとき、行動決定部が、物体状
態予測部の予測結果を基に、各物体の物体状態推定部の
出力値が最も異なるような次の行動を決定するように構
成したものである。
３，４，５または請求項６の発明において、物体識別部
に、システムが複数回行動したときの物体状態推定部の
出力とセンサ情報値の履歴を蓄積する履歴蓄積手段を設
け、上記履歴蓄積手段に蓄積された履歴情報に基づき対
象物体を識別するように構成したものである。本発明の
請求項８の発明は、請求項７の発明において、各物体の
物体状態推定部の出力値の履歴に差がないために物体識
別部で物体識別ができないとき、行動決定部が、物体状
態予測部の予測結果を基に、各物体の物体状態推定部の
出力値が最も異なるような次の行動を決定するように構
成したものである。
【００１７】本発明の請求項９の発明は、請求項４，
５，６，７または請求項８の発明において、物体状態推
定部として、恒等写像を学習させる砂時計ニューラルネ
ットワークを用い、該砂時計ニューラルネットワークに
複数視点から物体を見たときの見え方を学習させ、物体
識別部が、各物体の恒等写像の入出力間誤差が十分に小
さいものを対象物体と判別するように構成したものであ
る。
５，６，７または請求項８の発明において、物体状態推
定部として、恒等写像を学習させる砂時計ニューラルネ
ットワークを用い、該砂時計ニューラルネットワークに
複数視点から物体を見たときの見え方を学習させ、物体
識別部が、各物体の恒等写像の入出力間誤差が十分に小
さいものを対象物体と判別するように構成したものであ
る。
【００１８】本発明の請求項１０の発明は、請求項９の
発明において、図２に示すように物体状態予測部を省略
し、可動範囲内でランダムに次の行動を生成する手段を
設け、生成された行動の内誤差が最も大きくなる行動を
次の行動として決定するようにしたものである。本発明
の請求項１１の発明は、請求項９の発明において、各物
体毎の物体状態推定部を構成している砂時計ニューラル
ネットワークの中間層を共通するように学習させ、図３
に示すように、物体状態予測部を一つに統合したもので
ある。
発明において、図２に示すように物体状態予測部を省略
し、可動範囲内でランダムに次の行動を生成する手段を
設け、生成された行動の内誤差が最も大きくなる行動を
次の行動として決定するようにしたものである。本発明
の請求項１１の発明は、請求項９の発明において、各物
体毎の物体状態推定部を構成している砂時計ニューラル
ネットワークの中間層を共通するように学習させ、図３
に示すように、物体状態予測部を一つに統合したもので
ある。
【００１９】本発明の請求項１２の発明は、請求項１０
または請求項１１の発明において、ある一つの物体に対
して物体状態推定部の砂時計ニューラルネットワークを
学習させ、学習後の砂時計ニューラルネットワークの中
間層の値を教師値として、他の物体を学習させることに
より、中間層を共通化した砂時計ニューラルネットワー
クを学習させるようにしたものである。
または請求項１１の発明において、ある一つの物体に対
して物体状態推定部の砂時計ニューラルネットワークを
学習させ、学習後の砂時計ニューラルネットワークの中
間層の値を教師値として、他の物体を学習させることに
より、中間層を共通化した砂時計ニューラルネットワー
クを学習させるようにしたものである。
【００２０】本発明の請求項１３の発明は、請求項１０
または請求項１１の発明において、共通化された中間層
の部分にのみ、全ての砂時計ニューラルネットワークの
誤差を両方向逆伝播させ、各砂時計ニューラルネットワ
ークの他の部分には、それぞれの砂時計ニューラルネッ
トワークの誤差のみを逆伝播することにより、中間層を
共通化した砂時計ニューラルネットワークを学習させる
ようにしたものである。
または請求項１１の発明において、共通化された中間層
の部分にのみ、全ての砂時計ニューラルネットワークの
誤差を両方向逆伝播させ、各砂時計ニューラルネットワ
ークの他の部分には、それぞれの砂時計ニューラルネッ
トワークの誤差のみを逆伝播することにより、中間層を
共通化した砂時計ニューラルネットワークを学習させる
ようにしたものである。
【００２１】本発明の請求項１４の発明は、請求項９，
１０，１１，１２または請求項１３の発明において、一
部の値が欠損したセンサ情報に対して、欠損した値に対
応する物体状態推定部の出力ユニットからの誤差逆伝播
を省略することにより、値の欠損したセンサ情報により
学習するようにしたものである。本発明の請求項１５の
発明は、請求項９，１０，１１，１２または請求項１３
の発明において、一部の値が欠損したセンサ情報に対し
て、誤差を欠損した値に対応する物体状態推定部の入力
ユニットに逆伝播し、欠損した値を修正することによ
り、センサ情報を推定しながら学習するようにしたもの
である。
１０，１１，１２または請求項１３の発明において、一
部の値が欠損したセンサ情報に対して、欠損した値に対
応する物体状態推定部の出力ユニットからの誤差逆伝播
を省略することにより、値の欠損したセンサ情報により
学習するようにしたものである。本発明の請求項１５の
発明は、請求項９，１０，１１，１２または請求項１３
の発明において、一部の値が欠損したセンサ情報に対し
て、誤差を欠損した値に対応する物体状態推定部の入力
ユニットに逆伝播し、欠損した値を修正することによ
り、センサ情報を推定しながら学習するようにしたもの
である。
【００２２】本発明の請求項１６の発明は、請求項９，
１０，１１，１２または請求項１３の発明において、一
部の値が欠損したセンサ情報に対して、欠損した値に対
応する物体状態推定部の入力ユニットに結合した重みを
変更しないで学習するようにしたものである。本発明の
請求項１７の発明は、請求項９，１０，１１，１２また
は請求項１３の発明において、物体識別部に、システム
が複数回行動したときの物体状態推定部の出力とセンサ
情報値の履歴を蓄積する履歴蓄積手段を設け、該履歴蓄
積手段に蓄積された履歴情報に基づき対象物体を識別す
る際、各物体状態推定部の出力誤差の履歴に差がないた
め、物体識別ができないとき、行動決定部が、各物体状
態推定部の誤差が最も異なるようにシステムの行動範囲
を探索して次の行動を決定するようにしたものである。
１０，１１，１２または請求項１３の発明において、一
部の値が欠損したセンサ情報に対して、欠損した値に対
応する物体状態推定部の入力ユニットに結合した重みを
変更しないで学習するようにしたものである。本発明の
請求項１７の発明は、請求項９，１０，１１，１２また
は請求項１３の発明において、物体識別部に、システム
が複数回行動したときの物体状態推定部の出力とセンサ
情報値の履歴を蓄積する履歴蓄積手段を設け、該履歴蓄
積手段に蓄積された履歴情報に基づき対象物体を識別す
る際、各物体状態推定部の出力誤差の履歴に差がないた
め、物体識別ができないとき、行動決定部が、各物体状
態推定部の誤差が最も異なるようにシステムの行動範囲
を探索して次の行動を決定するようにしたものである。
【００２３】本発明の請求項１８の発明は、請求項９，
１０，１１，１２または請求項１３の発明において、物
体識別部に、システムが複数回行動したときの物体状態
推定部の出力とセンサ情報値の履歴を蓄積する履歴蓄積
手段を設け、該履歴蓄積手段に蓄積された履歴情報に基
づき対象物体を識別する際、各物体状態推定部の出力誤
差の履歴に差がないため、物体識別ができないとき、各
物体状態推定部の誤差値の差がより異なる時に値が小さ
くもしくは大きくなる評価関数を定め、行動決定部が、
上記評価関数が最も小さくもしくは、大きくなる状態
を、誤差逆伝播法を拡張したイタレイティブ・インバー
ジョン法により求めて次の行動を決定するようにしたも
のである。
１０，１１，１２または請求項１３の発明において、物
体識別部に、システムが複数回行動したときの物体状態
推定部の出力とセンサ情報値の履歴を蓄積する履歴蓄積
手段を設け、該履歴蓄積手段に蓄積された履歴情報に基
づき対象物体を識別する際、各物体状態推定部の出力誤
差の履歴に差がないため、物体識別ができないとき、各
物体状態推定部の誤差値の差がより異なる時に値が小さ
くもしくは大きくなる評価関数を定め、行動決定部が、
上記評価関数が最も小さくもしくは、大きくなる状態
を、誤差逆伝播法を拡張したイタレイティブ・インバー
ジョン法により求めて次の行動を決定するようにしたも
のである。
【００２４】本発明の請求項１９の発明は、請求項１８
の発明において、評価関数として、誤差の２乗をガウス
関数の因子として用いるようにしたものである。
の発明において、評価関数として、誤差の２乗をガウス
関数の因子として用いるようにしたものである。
【００２５】
【作用】図１において、まずはじめに、各物体毎に物体
状態推定部２を、事例の提示により学習させるか、ある
いは、事前に記述する等の方法で作成する。物体認識を
行う場合には、センサ部１よりシステムに情報を入力す
る。各物体に対応した物体状態推定部２はこの情報をも
とに各物体の状態を推定する。
状態推定部２を、事例の提示により学習させるか、ある
いは、事前に記述する等の方法で作成する。物体認識を
行う場合には、センサ部１よりシステムに情報を入力す
る。各物体に対応した物体状態推定部２はこの情報をも
とに各物体の状態を推定する。
【００２６】物体識別部３は各物体に対応した物体状態
推定部２の出力結果から、もっとも矛盾のない出力結果
を示した物体状態推定部２の表す物体が対象物体である
と識別する。ここで、識別するには情報が不十分である
場合や、複数物体における物体状態推定部２の出力結果
に差がないため区別がつかない場合、物体識別部３は現
時点では識別不能であることを出力する。
推定部２の出力結果から、もっとも矛盾のない出力結果
を示した物体状態推定部２の表す物体が対象物体である
と識別する。ここで、識別するには情報が不十分である
場合や、複数物体における物体状態推定部２の出力結果
に差がないため区別がつかない場合、物体識別部３は現
時点では識別不能であることを出力する。
【００２７】識別不能の結果を受け取った物体状態予測
部４は、システムの動作可能な範囲内で行動したときに
識別不能物体群のそれぞれの状態を予測し、それぞれを
行動決定部５へ渡す。行動決定部５では、予測された状
態の中で識別不能物体間の物体状態が最も異なるような
行動を選択する。
部４は、システムの動作可能な範囲内で行動したときに
識別不能物体群のそれぞれの状態を予測し、それぞれを
行動決定部５へ渡す。行動決定部５では、予測された状
態の中で識別不能物体間の物体状態が最も異なるような
行動を選択する。
【００２８】この選択された行動を実行することによ
り、例えば、物体Ａと物体Ｂのどちらかが一回の観測で
は識別できなかった場合、すなわち、物体状態が同じ値
であった場合にも、次の観測したときに両者の物体状態
が最も異なるような行動を選択することになるので、２
回目の観測により識別できるようになる。実際には、物
体識別が可能となるまで、何回もこの操作を繰り返す。
り、例えば、物体Ａと物体Ｂのどちらかが一回の観測で
は識別できなかった場合、すなわち、物体状態が同じ値
であった場合にも、次の観測したときに両者の物体状態
が最も異なるような行動を選択することになるので、２
回目の観測により識別できるようになる。実際には、物
体識別が可能となるまで、何回もこの操作を繰り返す。
【００２９】以上のように、本発明の請求項１〜請求項
１９の発明においては、物体を識別できないとき、各物
体の状態を推定し、推定された状態からシステムがある
行動後、どのような物体状態が得られるかを予測し、該
予測結果に基づき最も識別に効果的な行動を決定し行動
するようにしたので、効率的に物体を識別することがで
きる。
１９の発明においては、物体を識別できないとき、各物
体の状態を推定し、推定された状態からシステムがある
行動後、どのような物体状態が得られるかを予測し、該
予測結果に基づき最も識別に効果的な行動を決定し行動
するようにしたので、効率的に物体を識別することがで
きる。
【００３０】
【実施例】次に本発明の実施例について説明する。図５
は物体状態推定部（物体モデル）を学習させるために用
いた物体の事例の提示の条件を示す図である。本実施例
では、学習させたい物体それぞれについて、図５に示す
ように、視点（テレビカメラ）をθ＝０〜３６０度の範
囲で３０度おき、φ＝０〜６０度の範囲で３０度おきに
変化させた場合に見える対象物体Ａの座標値を、砂時計
ニューラルネットワークから構成される物体状態推定部
に提示し、その恒等写像を学習させた。また、本実施例
では５層の砂時計ニューラルネットワークを用い、中間
層を２層とした。
は物体状態推定部（物体モデル）を学習させるために用
いた物体の事例の提示の条件を示す図である。本実施例
では、学習させたい物体それぞれについて、図５に示す
ように、視点（テレビカメラ）をθ＝０〜３６０度の範
囲で３０度おき、φ＝０〜６０度の範囲で３０度おきに
変化させた場合に見える対象物体Ａの座標値を、砂時計
ニューラルネットワークから構成される物体状態推定部
に提示し、その恒等写像を学習させた。また、本実施例
では５層の砂時計ニューラルネットワークを用い、中間
層を２層とした。
【００３１】なお、本実施例では、上記のように、セン
サとしてテレビカメラを用い、カメラにより受像された
原画像を直接学習させているが、センサ部でカメラ画像
のエッジ処理、ラベリング処理等の前処理を行い、対象
物体の面積情報、色情報、重心位置などの２次特徴量を
用いることもできる。上記のように砂時計モデルを十分
学習させたのち、視点を５度おきに変更した場合の中間
層の出力値を求めて表したのが図６である（なお、同図
は１０−１０−２−１０−１０層の砂時計モデルにおけ
る中間層の値を示している）。
サとしてテレビカメラを用い、カメラにより受像された
原画像を直接学習させているが、センサ部でカメラ画像
のエッジ処理、ラベリング処理等の前処理を行い、対象
物体の面積情報、色情報、重心位置などの２次特徴量を
用いることもできる。上記のように砂時計モデルを十分
学習させたのち、視点を５度おきに変更した場合の中間
層の出力値を求めて表したのが図６である（なお、同図
は１０−１０−２−１０−１０層の砂時計モデルにおけ
る中間層の値を示している）。
【００３２】同図では、物体の一例として、対象物体Ａ
を五角形としたときの中間層の出力値を表しているが、
図より中間層にθとφの滑らかな空間が形成されている
ことが分かる。このことから、各物体を学習させた砂時
計ニューラルネットワークの中間層の値はカメラに対す
る物体の位置関係を表していることがわかり、後述する
ように、上記中間層の値を物体状態を予測するためのデ
ータとして利用することができる。
を五角形としたときの中間層の出力値を表しているが、
図より中間層にθとφの滑らかな空間が形成されている
ことが分かる。このことから、各物体を学習させた砂時
計ニューラルネットワークの中間層の値はカメラに対す
る物体の位置関係を表していることがわかり、後述する
ように、上記中間層の値を物体状態を予測するためのデ
ータとして利用することができる。
【００３３】図７は本実施例における物体状態予測部の
構成を示す図であり、本実施例において物体状態予測部
４は、図７に示すニューラルネットワークから構成され
る。そして、上記ニューラルネットワークに、ある時点
である状態のときにある行動を行うと次にどのような状
態に移るかを全て提示して学習させる。すなわち、物体
状態予測部４のニューラルネットワークに、ある時点に
おける物体の状態Ｓ（ｔ）と行動ａ（ｔ）を与え、ま
た、教師信号として次の状態Ｓ（ｔ＋１）を与え、誤差
逆伝播法により物体状態予測部のニューラルネットワー
クを学習させた。
構成を示す図であり、本実施例において物体状態予測部
４は、図７に示すニューラルネットワークから構成され
る。そして、上記ニューラルネットワークに、ある時点
である状態のときにある行動を行うと次にどのような状
態に移るかを全て提示して学習させる。すなわち、物体
状態予測部４のニューラルネットワークに、ある時点に
おける物体の状態Ｓ（ｔ）と行動ａ（ｔ）を与え、ま
た、教師信号として次の状態Ｓ（ｔ＋１）を与え、誤差
逆伝播法により物体状態予測部のニューラルネットワー
クを学習させた。
【００３４】図８に物体認識の第１の実施例を、また、
図９に行動生成の第１の実施例を示す。なお、同図は２
つの物体Ａ，Ｂを認識する場合を示しており、図８、図
９は別々に示されているが、両者は実際には一つのシス
テム内にあり、図８、図９の物体状態推定部２，２’は
共通のものである。
図９に行動生成の第１の実施例を示す。なお、同図は２
つの物体Ａ，Ｂを認識する場合を示しており、図８、図
９は別々に示されているが、両者は実際には一つのシス
テム内にあり、図８、図９の物体状態推定部２，２’は
共通のものである。
【００３５】図８において、１はセンサ部、２，２’は
それぞれ物体Ａ，物体Ｂの物体状態推定部であり、物体
状態推定部２，２’は例えば上記したように砂時計ニュ
ーラルネットワークから構成されている。３は物体識別
部であり、物体識別部３は恒等写像を出力するように学
習された物体状態推定部２，２’のそれぞれの出力とセ
ンサ１の出力との誤差が最も少ない砂時計ニューラルネ
ットワークに対応した物体を認識対象物体とみなす。
それぞれ物体Ａ，物体Ｂの物体状態推定部であり、物体
状態推定部２，２’は例えば上記したように砂時計ニュ
ーラルネットワークから構成されている。３は物体識別
部であり、物体識別部３は恒等写像を出力するように学
習された物体状態推定部２，２’のそれぞれの出力とセ
ンサ１の出力との誤差が最も少ない砂時計ニューラルネ
ットワークに対応した物体を認識対象物体とみなす。
【００３６】また、図９において、２，２’はそれぞれ
図８に示した物体Ａ，物体Ｂの物体状態推定部、４，
４’はそれぞれ物体Ａ，物体Ｂの物体状態予測部であ
り、物体状態予測部は前記したようにニューラルネット
ワークから構成され、ある時点である状態のときにある
行動を行うと次にどのような状態に移るかを学習させて
ある。
図８に示した物体Ａ，物体Ｂの物体状態推定部、４，
４’はそれぞれ物体Ａ，物体Ｂの物体状態予測部であ
り、物体状態予測部は前記したようにニューラルネット
ワークから構成され、ある時点である状態のときにある
行動を行うと次にどのような状態に移るかを学習させて
ある。
【００３７】また、物体状態推定部２，２’の中間層の
値を物体の状態を表す信号ＳA(ｔ），ＳB(ｔ) として物
体状態予測部４，４’に与えている。次に図８、図９に
より本実施例における物体認識と行動決定について説明
する。図８は本実施例の能動的物体認識装置の物体認識
時の動作を示している。図８において、まず、センサ部
１からの入力情報を各物体の物体状態推定部２，２’に
入力する。各物体の物体状態推定部である砂時計ニュー
ラルネットワーク２，２’は、センサ部１からの入力値
から出力値を計算し、両者の誤差を求め、誤差を物体識
別部３に渡す。
値を物体の状態を表す信号ＳA(ｔ），ＳB(ｔ) として物
体状態予測部４，４’に与えている。次に図８、図９に
より本実施例における物体認識と行動決定について説明
する。図８は本実施例の能動的物体認識装置の物体認識
時の動作を示している。図８において、まず、センサ部
１からの入力情報を各物体の物体状態推定部２，２’に
入力する。各物体の物体状態推定部である砂時計ニュー
ラルネットワーク２，２’は、センサ部１からの入力値
から出力値を計算し、両者の誤差を求め、誤差を物体識
別部３に渡す。
【００３８】物体識別部３では各物体の物体状態推定部
２，２’から受け取った誤差値が最もかつ十分に小さい
場合には、その誤差値を出力した物体状態推定部が表す
物体を、対象物体と認識して終了する。誤差が十分に小
さくない場合、もしくは、複数の物体状態推定部からの
誤差値に差がなく最小の誤差値を決定できない場合に
は、次の説明する行動決定へと進む。
２，２’から受け取った誤差値が最もかつ十分に小さい
場合には、その誤差値を出力した物体状態推定部が表す
物体を、対象物体と認識して終了する。誤差が十分に小
さくない場合、もしくは、複数の物体状態推定部からの
誤差値に差がなく最小の誤差値を決定できない場合に
は、次の説明する行動決定へと進む。
【００３９】図９は本実施例の能動的物体認識装置の行
動決定時の動作を示している。行動決定においては、区
別がつかなかった複数物体の推定された状態に対して、
ある行動を起こした結果、各物体の状態がどのように変
化するかを物体状態予測部４，４’により予測する。す
なわち、前記したように、物体状態予測部４，４’は、
ある時点における物体の状態Ｓ（ｔ）と行動ａ（ｔ）お
よび次の状態Ｓ（ｔ＋１）を与えて学習させてあり、物
体状態予測部４，４’は、物体状態推定部の２，２’の
中間層から与えられる物体の状態ＳA(t)，ＳB(t)から、
ある行動を行うと次にどのような状態に移るかを予測す
る。
動決定時の動作を示している。行動決定においては、区
別がつかなかった複数物体の推定された状態に対して、
ある行動を起こした結果、各物体の状態がどのように変
化するかを物体状態予測部４，４’により予測する。す
なわち、前記したように、物体状態予測部４，４’は、
ある時点における物体の状態Ｓ（ｔ）と行動ａ（ｔ）お
よび次の状態Ｓ（ｔ＋１）を与えて学習させてあり、物
体状態予測部４，４’は、物体状態推定部の２，２’の
中間層から与えられる物体の状態ＳA(t)，ＳB(t)から、
ある行動を行うと次にどのような状態に移るかを予測す
る。
【００４０】そして、図示しない行動決定部は、区別が
つかなかった複数物体に対して予測された状態の中で区
別がつかなかった物体状態が最も異なるような行動を選
択する。行動選択のアルゴリズムとしては、次のような
アルゴリズムを用いることができる。 システムの行動可能範囲に対して、全数探索して、
最も物体状態が異なるような行動を選択する。 最も物体状態が異なる場合に小さくなるような評価
関数を設け、その評価関数が小さくなるように、イタレ
イティブ・インバージョン法により誤差を戻すことで、
次の行動を決定する。
つかなかった複数物体に対して予測された状態の中で区
別がつかなかった物体状態が最も異なるような行動を選
択する。行動選択のアルゴリズムとしては、次のような
アルゴリズムを用いることができる。 システムの行動可能範囲に対して、全数探索して、
最も物体状態が異なるような行動を選択する。 最も物体状態が異なる場合に小さくなるような評価
関数を設け、その評価関数が小さくなるように、イタレ
イティブ・インバージョン法により誤差を戻すことで、
次の行動を決定する。
【００４１】イタレイティブ・インバージョン法は、ニ
ューラルネットワークにおいて、出力ユニットの値と教
師信号の誤差を逆伝播しながら、出力ユニットの値と教
師信号が一致するように入力ユニットの値を修正する方
法であり、例えば本実施例においては、上記評価関数を
計算して物体状態が最も異なるような次の状態を求め、
誤差を上記イタレイティブ・インバージョン法により、
入力側に戻して次の行動ａ（ｔ）を決定する。
ューラルネットワークにおいて、出力ユニットの値と教
師信号の誤差を逆伝播しながら、出力ユニットの値と教
師信号が一致するように入力ユニットの値を修正する方
法であり、例えば本実施例においては、上記評価関数を
計算して物体状態が最も異なるような次の状態を求め、
誤差を上記イタレイティブ・インバージョン法により、
入力側に戻して次の行動ａ（ｔ）を決定する。
【００４２】なお、イタレイティブ・インバージョン法
については、先に出願した特開平６−９６０４７号公
報、特開平６−９６２２０号公報、あるいは、次の参考
文献を参照されたい。(D.Masumoto 他,"A Sensory Info
rmation Processing System Using Neural Networks-Th
ree-Dimensional Object Recognition with Sensorimot
or Fusion,"In Proceeding of 1993 IEEE Internationa
l Conference on NeuralNetworks,VOL,II,655/660(199
3)) 。 上記評価関数としては、例えば、２つの砂時計ニュ
ーラルネットワークに対して、それぞれの入出力誤差を
Ｅ１，Ｅ２とするとき、次の式等を用いることができ
る。
については、先に出願した特開平６−９６０４７号公
報、特開平６−９６２２０号公報、あるいは、次の参考
文献を参照されたい。(D.Masumoto 他,"A Sensory Info
rmation Processing System Using Neural Networks-Th
ree-Dimensional Object Recognition with Sensorimot
or Fusion,"In Proceeding of 1993 IEEE Internationa
l Conference on NeuralNetworks,VOL,II,655/660(199
3)) 。 上記評価関数としては、例えば、２つの砂時計ニュ
ーラルネットワークに対して、それぞれの入出力誤差を
Ｅ１，Ｅ２とするとき、次の式等を用いることができ
る。
【００４３】Ｅ＝exp （−｜Ｅ1 −Ｅ2 ｜2 ） なお、上記図９に示した実施例では、物体状態推定部
２，２’の砂時計ニューラルネットの中間層を物体毎に
別々にしているが、これを前記した図４に示したように
共通化することもできる。このような構成することによ
り、物体状態予測部を一つに統合することができる。
２，２’の砂時計ニューラルネットの中間層を物体毎に
別々にしているが、これを前記した図４に示したように
共通化することもできる。このような構成することによ
り、物体状態予測部を一つに統合することができる。
【００４４】図１０は中間層を共通化させるように砂時
計ニューラルネットワークを学習させる方法を示す図で
ある。中間層が共通化するように学習させるには、ま
ず、物体Ａの砂時計ニューラルネットワークに物体Ａを
学習させたのち、その中間層の値を利用して物体Ｂの砂
時計ニューラルネットワークに物体Ｂを学習させる。
計ニューラルネットワークを学習させる方法を示す図で
ある。中間層が共通化するように学習させるには、ま
ず、物体Ａの砂時計ニューラルネットワークに物体Ａを
学習させたのち、その中間層の値を利用して物体Ｂの砂
時計ニューラルネットワークに物体Ｂを学習させる。
【００４５】すなわち、同図に示すように、物体Ｂの砂
時計ニューラルネットワークの下半分については、物体
Ａの砂時計ニューラルネットワークの中間層の値を教師
値、物体Ｂのセンサ情報を入力値として学習させる。ま
た、物体Ｂの砂時計ニューラルネットワークの上半分に
ついては、物体Ａの砂時計ニューラルネットワークの中
間層の値を入力値、物体Ｂのセンサ情報を教師値として
学習させる。
時計ニューラルネットワークの下半分については、物体
Ａの砂時計ニューラルネットワークの中間層の値を教師
値、物体Ｂのセンサ情報を入力値として学習させる。ま
た、物体Ｂの砂時計ニューラルネットワークの上半分に
ついては、物体Ａの砂時計ニューラルネットワークの中
間層の値を入力値、物体Ｂのセンサ情報を教師値として
学習させる。
【００４６】また、中間層が共通化された砂時計ニュー
ラルネットワークを学習させるには、図１１に示すよう
に学習させることができる。すなわち、物体Ａの砂時計
ニューラルネットワークと、物体Ｂの砂時計ニューラル
ネットワークとも通常の誤差逆伝播法により学習を行
う。この場合には、中間層が一致しており、その中間層
にだけは両者から誤差が逆伝播されるので、中間層を共
通化した状態で物体Ａ，Ｂの砂時計ニューラルネットワ
ークをそれぞれ学習させることができる。
ラルネットワークを学習させるには、図１１に示すよう
に学習させることができる。すなわち、物体Ａの砂時計
ニューラルネットワークと、物体Ｂの砂時計ニューラル
ネットワークとも通常の誤差逆伝播法により学習を行
う。この場合には、中間層が一致しており、その中間層
にだけは両者から誤差が逆伝播されるので、中間層を共
通化した状態で物体Ａ，Ｂの砂時計ニューラルネットワ
ークをそれぞれ学習させることができる。
【００４７】ところで、砂時計ニューラルネットワーク
を学習させる際、センサ情報が一部観測できない等の理
由により欠損する場合がある。次にこのようにセンサ情
報が一部欠損している場合における砂時計ニューラルネ
ットワークの学習方法について説明する。図１２，図１
３はセンサ情報が一部欠損している場合の学習方法を示
す図である。同図に示すように、一部が欠損したセンサ
情報を砂時計ニューラルネットワークの入力層に与える
とともに、出力層の出力値と、一部が欠損したセンサ情
報の誤差を計算し、誤差を逆伝播して重みを更新する。
その際、図１２に示すように、欠損したセンサ情報に対
しては、欠損した値に対応する出力ユニットからの誤差
逆伝播を省略したり、図１３に示すように、欠損した値
に対応する入力ユニットに結合した重みを変更しないよ
うにする。
を学習させる際、センサ情報が一部観測できない等の理
由により欠損する場合がある。次にこのようにセンサ情
報が一部欠損している場合における砂時計ニューラルネ
ットワークの学習方法について説明する。図１２，図１
３はセンサ情報が一部欠損している場合の学習方法を示
す図である。同図に示すように、一部が欠損したセンサ
情報を砂時計ニューラルネットワークの入力層に与える
とともに、出力層の出力値と、一部が欠損したセンサ情
報の誤差を計算し、誤差を逆伝播して重みを更新する。
その際、図１２に示すように、欠損したセンサ情報に対
しては、欠損した値に対応する出力ユニットからの誤差
逆伝播を省略したり、図１３に示すように、欠損した値
に対応する入力ユニットに結合した重みを変更しないよ
うにする。
【００４８】上記のように学習させることにより、セン
サ情報が一部欠損していてもそれに影響されることなく
砂時計ニューラルネットワークを学習させることができ
る。図１４はセンサ情報が一部欠損している場合に、前
記したイタレイティブ・インバージョン法により欠損値
を推定しながら砂時計ニューラルネットワークを学習さ
せる方法を示す図である。
サ情報が一部欠損していてもそれに影響されることなく
砂時計ニューラルネットワークを学習させることができ
る。図１４はセンサ情報が一部欠損している場合に、前
記したイタレイティブ・インバージョン法により欠損値
を推定しながら砂時計ニューラルネットワークを学習さ
せる方法を示す図である。
【００４９】欠損値を推定しながら砂時計ニューラルネ
ットワークを学習させるには、同図に示すように、一部
が欠損したセンサ情報に適当な初期値を代入した学習デ
ータを用いて誤差逆伝播して砂時計ニューラルネットワ
ーク重みを更新し、学習させる。また、これと並行して
上記欠損値の値を更新し、欠損値を推定しながら学習を
進めていく。
ットワークを学習させるには、同図に示すように、一部
が欠損したセンサ情報に適当な初期値を代入した学習デ
ータを用いて誤差逆伝播して砂時計ニューラルネットワ
ーク重みを更新し、学習させる。また、これと並行して
上記欠損値の値を更新し、欠損値を推定しながら学習を
進めていく。
【００５０】上記のようにイタレイティブ・インバージ
ョン法により反復的に入力ユニットの値を更新しながら
学習を進めていくことにより、観測されたセンサ情報の
誤差を最小化するような適切な欠損値の推定が行われ、
砂時計ニューラルネットワークは恒等写像を実現できる
ようになる。ここで、欠損した入力データに対応する出
力ユニットについては誤差計算を省略することができ、
これにより、欠損値に影響されることなく、適切な欠損
値推定を行うことができる。
ョン法により反復的に入力ユニットの値を更新しながら
学習を進めていくことにより、観測されたセンサ情報の
誤差を最小化するような適切な欠損値の推定が行われ、
砂時計ニューラルネットワークは恒等写像を実現できる
ようになる。ここで、欠損した入力データに対応する出
力ユニットについては誤差計算を省略することができ、
これにより、欠損値に影響されることなく、適切な欠損
値推定を行うことができる。
【００５１】図１５は本発明における物体認識の第２の
実施例を示す図であり、本実施例においては、物体識別
部３に履歴蓄積バッファ３ａを設けている。上記履歴蓄
積バッファ３ａは、物体状態推定部２，２’の出力値と
実際のセンサ情報の値を蓄積するとともに、これまでに
何回測定したかを数えるカウンタを備えており、本実施
例においては、このカウント値が予め設定された値にな
るまで、何度も認識対象の物体の測定を繰り返す。
実施例を示す図であり、本実施例においては、物体識別
部３に履歴蓄積バッファ３ａを設けている。上記履歴蓄
積バッファ３ａは、物体状態推定部２，２’の出力値と
実際のセンサ情報の値を蓄積するとともに、これまでに
何回測定したかを数えるカウンタを備えており、本実施
例においては、このカウント値が予め設定された値にな
るまで、何度も認識対象の物体の測定を繰り返す。
【００５２】そして、上記カウント値が設定値に達した
とき、それまでの物体推定部の出力値と実際のセンサ情
報の差を比較し、差が最も小さいものが対象物体を表す
物体推定部であると決定する。また、履歴に差がない場
合には、前記したように行動決定部において、物体状態
予測部の予測結果を基に、各物体の状態推定部の出力値
が最も異なるような次の行動を決定して行動し、上記の
ように物体推定部の出力値と実際のセンサ情報の差に基
づき対象物体を認識する。
とき、それまでの物体推定部の出力値と実際のセンサ情
報の差を比較し、差が最も小さいものが対象物体を表す
物体推定部であると決定する。また、履歴に差がない場
合には、前記したように行動決定部において、物体状態
予測部の予測結果を基に、各物体の状態推定部の出力値
が最も異なるような次の行動を決定して行動し、上記の
ように物体推定部の出力値と実際のセンサ情報の差に基
づき対象物体を認識する。
【００５３】また、上記行動の決定は前記したように評
価関数を用いて、評価関数が最も小さくなる状態を、誤
差逆伝播法を拡張したイタレイティブ・インバージョン
法により求め行動を選択する。なお、上記のようにシス
テムが複数回行動したときの各物体の物体状態の出力の
履歴を蓄積し、蓄積された履歴が、物体状態予測部４，
４’で予測した行動による履歴と最も矛盾のないものを
対象物体として識別するようにしてもよい。
価関数を用いて、評価関数が最も小さくなる状態を、誤
差逆伝播法を拡張したイタレイティブ・インバージョン
法により求め行動を選択する。なお、上記のようにシス
テムが複数回行動したときの各物体の物体状態の出力の
履歴を蓄積し、蓄積された履歴が、物体状態予測部４，
４’で予測した行動による履歴と最も矛盾のないものを
対象物体として識別するようにしてもよい。
【００５４】図１６は本発明における行動生成の第２の
実施例を示す図であり、本実施例は、物体状態予測部
４，４’を省略した実施例を示している。同図におい
て、４１は可動範囲内ランダム探索手段であり、本実施
例においては、物体状態を予測する部分は特になく、上
記可動範囲内ランダム探索手段４１によりランダムに行
動を生成して次の行動を決定する。
実施例を示す図であり、本実施例は、物体状態予測部
４，４’を省略した実施例を示している。同図におい
て、４１は可動範囲内ランダム探索手段であり、本実施
例においては、物体状態を予測する部分は特になく、上
記可動範囲内ランダム探索手段４１によりランダムに行
動を生成して次の行動を決定する。
【００５５】すなわち、前記したように物体識別部３で
物体を識別できないとき、可動範囲ランダム探索手段４
１は物体状態推定部４，４’の中間層の値に基づき、可
動範囲内でランダムに次の行動を生成し、生成された行
動の中で最も誤差が大きくなるものを次の行動として決
定する。
物体を識別できないとき、可動範囲ランダム探索手段４
１は物体状態推定部４，４’の中間層の値に基づき、可
動範囲内でランダムに次の行動を生成し、生成された行
動の中で最も誤差が大きくなるものを次の行動として決
定する。
【００５６】
【発明の効果】以上説明したように、本発明において
は、ある視点から見たときに違う物体が同じに見え方を
するために起こる不定問題に対して、それらを区別する
ための必要な情報を得るためのシステム動作を生成する
ことで効率的に物体認識を行うことが可能となる。
は、ある視点から見たときに違う物体が同じに見え方を
するために起こる不定問題に対して、それらを区別する
ための必要な情報を得るためのシステム動作を生成する
ことで効率的に物体認識を行うことが可能となる。
【００５７】また、対象物体が増える毎に全てのネット
ワークの学習をしなおす問題についても、対象物体のモ
デルを作成するだけでよく、行動生成のしくみを同じ再
作成する必要がなくなる。
ワークの学習をしなおす問題についても、対象物体のモ
デルを作成するだけでよく、行動生成のしくみを同じ再
作成する必要がなくなる。
【図１】本発明の原理説明図（その１）である。
【図２】本発明の原理説明図（その２）である。
【図３】本発明の原理説明図（その３）である。
【図４】中間層を共通化した物体状態推定部の原理説明
図である。
図である。
【図５】物体状態推定部を学習させる事例の提示の条件
を示す図である。
を示す図である。
【図６】砂時計ニューラルネットワークの中間層の値を
示す図である。
示す図である。
【図７】物体状態予測部を構成するニューラルネットワ
ークを示す図である。
ークを示す図である。
【図８】本発明における物体認識の第１の実施例を示す
図である。
図である。
【図９】本発明における行動生成の第１の実施例を示す
図である。
図である。
【図１０】中間層を共通化した物体状態推定部を学習さ
せる方法を示す図である。
せる方法を示す図である。
【図１１】中間層を共通化した物体状態推定部を学習さ
せる方法を示す図である。
せる方法を示す図である。
【図１２】センサ情報が一部欠損している場合の学習方
法を示す図である。
法を示す図である。
【図１３】センサ情報が一部欠損している場合の学習方
法を示す図である。
法を示す図である。
【図１４】欠損値を推定しながら学習させる方法を示す
図である。
図である。
【図１５】本発明における物体認識の第２の実施例を示
す図である。
す図である。
【図１６】本発明における行動生成の第２の実施例を示
す図である。
す図である。
１ センサ部 ２，２’ 物体状態推定部 ３ 物体識別部 ３ａ 履歴蓄積バッファ ４，４’ 物体状態予測部 ４１ 可動範囲内ランダム探索手段 ５ 行動決定部
Claims (19)
- 【請求項１】 物体が識別可能になるまで、センサ部か
らの入力情報を基に、各物体の状態を推定し、 推定された状態からシステムがある行動後、どのような
物体状態が得られるかを予測し、 該予測結果に基づき最も識別に効果的な行動を決定し行
動することで、効率的に物体を識別することを特徴とす
る能動的物体認識方法。 - 【請求項２】 認識の対象となる物体の状態を検出する
センサ部と、 センサ部からの入力情報を基に物体を識別する物体識別
部と、 上記物体識別部が物体識別可能になるまで各物体の状態
を推定する物体状態推定部と、 物体状態推定部により推定された状態から、システムが
ある行動後、どのような物体状態が得られるかを予測す
る物体状態予測部と、 上記物体状態予測部の予測に基づき、最も識別に効果的
な行動を決定する行動決定部とを備え、 上記行動決定部が決定した行動を実行することで、効率
的に物体を識別することを特徴とする能動的物体認識装
置。 - 【請求項３】 物体状態推定部として、提示された事例
を学習することにより機能を獲得する学習装置を用いた
ことを特徴とする請求項２の能動的物体認識装置。 - 【請求項４】 物体状態推定部として、ニューラルネッ
トワークを用いたことを特徴とする請求項２または請求
項３の能動的物体認識装置。 - 【請求項５】 物体状態予測部として、提示された事例
を学習することにより機能を獲得する学習装置を用いた
ことを特徴とする請求項２，３または請求項４の能動的
物体認識装置。 - 【請求項６】 物体状態予測部として、ニューラルネッ
トワークを用いたことを特徴とする請求項２，３，４ま
たは請求項５の能動的物体認識装置。 - 【請求項７】 物体識別部に、システムが複数回行動し
たときの物体状態推定部の出力とセンサ情報値の履歴を
蓄積する履歴蓄積手段を設け、 上記履歴蓄積手段に蓄積された履歴情報に基づき対象物
体を識別することを特徴とする請求項２，３，４，５ま
たは請求項６の能動的物体認識装置。 - 【請求項８】 各物体の物体状態推定部の出力値の履歴
に差がないために物体識別部で物体識別ができないと
き、 行動決定部が、物体状態予測部の予測結果を基に、各物
体の物体状態推定部の出力値が最も異なるような次の行
動を決定することを特徴とする請求項７の能動的物体認
識装置。 - 【請求項９】 物体状態推定部として、恒等写像を学習
させる砂時計ニューラルネットワークを用い、該砂時計
ニューラルネットワークに複数視点から物体を見たとき
の見え方を学習させ、 物体識別部が、各物体の恒等写像の入出力間誤差が十分
に小さいものを対象物体と判別することを特徴とする請
求項４，５，６，７または請求項８の能動的物体認識装
置。 - 【請求項１０】 物体状態予測部を省略し、可動範囲内
でランダムに次の行動を生成する手段を設け、生成され
た行動の内誤差が最も大きくなる行動を次の行動として
決定することを特徴とする請求項９の能動的物体認識装
置。 - 【請求項１１】 各物体毎の物体状態推定部を構成して
いる砂時計ニューラルネットワークの中間層を共通する
ように学習させ、物体状態予測部を一つに統合したこと
を特徴とする請求項９の能動的物体認識装置。 - 【請求項１２】 ある一つの物体に対して物体状態推定
部の砂時計ニューラルネットワークを学習させ、学習後
の砂時計ニューラルネットワークの中間層の値を教師値
として、他の物体を学習させることにより、中間層を共
通化した砂時計ニューラルネットワークを学習させるこ
とを特徴とする請求項１０または請求項１１の能動的物
体認識装置。 - 【請求項１３】 共通化された中間層の部分にのみ、全
ての砂時計ニューラルネットワークの誤差を両方向逆伝
播させ、各砂時計ニューラルネットワークの他の部分に
は、それぞれの砂時計ニューラルネットワークの誤差の
みを逆伝播することにより、中間層を共通化した砂時計
ニューラルネットワークを学習させることを特徴とする
請求項１０または請求項１１の能動的物体認識装置。 - 【請求項１４】 一部の値が欠損したセンサ情報に対し
て、欠損した値に対応する物体状態推定部の出力ユニッ
トからの誤差逆伝播を省略することにより、値の欠損し
たセンサ情報により学習することを特徴とする請求項
９，１０，１１，１２または請求項１３の能動的物体認
識装置。 - 【請求項１５】 一部の値が欠損したセンサ情報に対し
て、誤差を欠損した値に対応する物体状態推定部の入力
ユニットに逆伝播し、欠損した値を修正することによ
り、センサ情報を推定しながら学習することを特徴とす
る請求項９，１０，１１，１２または請求項１３の能動
的物体認識装置。 - 【請求項１６】 一部の値が欠損したセンサ情報に対し
て、欠損した値に対応する物体状態推定部の入力ユニッ
トに結合した重みを変更しないで学習することを特徴と
する請求項９，１０，１１，１２または請求項１３の能
動的物体認識装置。 - 【請求項１７】 物体識別部に、システムが複数回行動
したときの物体状態推定部の出力とセンサ情報値の履歴
を蓄積する履歴蓄積手段を設け、該履歴蓄積手段に蓄積
された履歴情報に基づき対象物体を識別する際、 各物体状態推定部の出力誤差の履歴に差がないため、物
体識別ができないとき、行動決定部が、各物体状態推定
部の誤差が最も異なるようにシステムの行動範囲を探索
して次の行動を決定することを特徴とする請求項９，１
０，１１，１２または請求項１３の能動的物体認識装
置。 - 【請求項１８】 物体識別部に、システムが複数回行動
したときの物体状態推定部の出力とセンサ情報値の履歴
を蓄積する履歴蓄積手段を設け、該履歴蓄積手段に蓄積
された履歴情報に基づき対象物体を識別する際、 各物体状態推定部の出力誤差の履歴に差がないため、物
体識別ができないとき、各物体状態推定部の誤差値の差
がより異なる時に値が小さくもしくは大きくなる評価関
数を定め、行動決定部が、上記評価関数が最も小さくも
しくは大きくなる状態を、誤差逆伝播法を拡張したイタ
レイティブ・インバージョン法により求めて次の行動を
決定することを特徴とする請求項９，１０，１１，１２
または請求項１３の能動的物体認識装置。 - 【請求項１９】 評価関数として、誤差の２乗をガウス
関数の因子として用いることを特徴とする請求項１８の
能動的物体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7105942A JPH08305820A (ja) | 1995-04-28 | 1995-04-28 | 能動的物体認識方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7105942A JPH08305820A (ja) | 1995-04-28 | 1995-04-28 | 能動的物体認識方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08305820A true JPH08305820A (ja) | 1996-11-22 |
Family
ID=14420910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7105942A Withdrawn JPH08305820A (ja) | 1995-04-28 | 1995-04-28 | 能動的物体認識方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08305820A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000040079A (ja) * | 1998-07-24 | 2000-02-08 | Fujitsu Ltd | 並列データ分析装置 |
| CN109308481A (zh) * | 2017-07-27 | 2019-02-05 | 丰田自动车株式会社 | 识别装置 |
| JP2020074211A (ja) * | 2016-04-26 | 2020-05-14 | 株式会社日立製作所 | 情報処理システムおよびその運用方法 |
| CN111246292A (zh) * | 2020-01-19 | 2020-06-05 | 中国石油大学(华东) | 基于片段一致性的压缩视频动作识别方法及装置 |
| JP2021181948A (ja) * | 2020-05-20 | 2021-11-25 | Ckd株式会社 | 外観検査用照明装置、外観検査装置及びブリスター包装機 |
-
1995
- 1995-04-28 JP JP7105942A patent/JPH08305820A/ja not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000040079A (ja) * | 1998-07-24 | 2000-02-08 | Fujitsu Ltd | 並列データ分析装置 |
| JP2020074211A (ja) * | 2016-04-26 | 2020-05-14 | 株式会社日立製作所 | 情報処理システムおよびその運用方法 |
| CN109308481A (zh) * | 2017-07-27 | 2019-02-05 | 丰田自动车株式会社 | 识别装置 |
| JP2019028616A (ja) * | 2017-07-27 | 2019-02-21 | トヨタ自動車株式会社 | 識別装置 |
| US11176416B2 (en) | 2017-07-27 | 2021-11-16 | Toyota Jidosha Kabushiki Kaisha | Perception device |
| CN109308481B (zh) * | 2017-07-27 | 2022-08-30 | 丰田自动车株式会社 | 识别装置 |
| CN111246292A (zh) * | 2020-01-19 | 2020-06-05 | 中国石油大学(华东) | 基于片段一致性的压缩视频动作识别方法及装置 |
| JP2021181948A (ja) * | 2020-05-20 | 2021-11-25 | Ckd株式会社 | 外観検査用照明装置、外観検査装置及びブリスター包装機 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110134774B (zh) | 一种基于注意力决策的图像视觉问答模型、方法和系统 | |
| EP3735625B1 (en) | Method and system for training the navigator of an object tracking robot | |
| Duque et al. | Prediction of abnormal behaviors for intelligent video surveillance systems | |
| KR102177412B1 (ko) | 이미지와 텍스트간 유사도 매칭 시스템 및 방법 | |
| Hayes et al. | New metrics and experimental paradigms for continual learning | |
| Spaan et al. | Active cooperative perception in network robot systems using POMDPs | |
| WO2017154655A1 (ja) | 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラムを記憶する記憶媒体 | |
| CN110465089A (zh) | 基于图像识别的地图探索方法、装置、介质及电子设备 | |
| EP2363251A1 (en) | Robot with Behavioral Sequences on the basis of learned Petri Net Representations | |
| Zhao et al. | Clust: simulating realistic crowd behaviour by mining pattern from crowd videos | |
| Dao et al. | Deep reinforcement learning monitor for snapshot recording | |
| WO2021200392A1 (ja) | データ調整システム、データ調整装置、データ調整方法、端末装置及び情報処理装置 | |
| WO2020213099A1 (ja) | オブジェクト検出・追跡装置、方法、およびプログラム記録媒体 | |
| Elfar et al. | Security-aware synthesis of human-UAV protocols | |
| JPH08305820A (ja) | 能動的物体認識方法および装置 | |
| Mazzu et al. | A cognitive control-inspired approach to object tracking | |
| US20230260259A1 (en) | Method and device for training a neural network | |
| Tchuiev et al. | Inference over distribution of posterior class probabilities for reliable bayesian classification and object-level perception | |
| CN109902729B (zh) | 基于序列状态演进的行为预测方法及装置 | |
| JPH09185595A (ja) | 砂時計ニューラルネットワークの引き延ばし学習方法および能動的物体認識装置 | |
| Ma et al. | Exploiting bias for cooperative planning in multi-agent tree search | |
| Corbalán et al. | Evolving neural arrays: a new mechanism for learning complex action sequences | |
| CN115909027A (zh) | 一种态势估计方法及装置 | |
| KR102258206B1 (ko) | 이종 데이터 융합을 이용한 이상 강수 감지 학습 장치, 이상 강수 감지 학습 방법, 이종 데이터 융합을 이용한 이상 강수 감지 장치 및 이상 강수 감지 방법 | |
| CN112906785B (zh) | 基于融合的零样本物体种类识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20020702 |