JP4164737B2 - 物体認識装置及び方法並びにロボット装置 - Google Patents
物体認識装置及び方法並びにロボット装置 Download PDFInfo
- Publication number
- JP4164737B2 JP4164737B2 JP2002151616A JP2002151616A JP4164737B2 JP 4164737 B2 JP4164737 B2 JP 4164737B2 JP 2002151616 A JP2002151616 A JP 2002151616A JP 2002151616 A JP2002151616 A JP 2002151616A JP 4164737 B2 JP4164737 B2 JP 4164737B2
- Authority
- JP
- Japan
- Prior art keywords
- authenticated
- predetermined
- image
- recognition
- predetermined angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、物体認識装置及び方法並びにロボット装置に関し、例えばエンターテインメントロボットに適用して好適なものである。
【０００２】
【従来の技術】
従来、ロボット等における３次元物体の認識処理には、３次元物体の外観的な特徴を学習する学習モードと、この学習結果に基づいてその後その３次元物体を認識する認識モードとがある。
【０００３】
この場合において、かかる学習モードでは、例えば背景が既知等の理想的な環境のもとで、予め人間が選択した学習対象の３次元物体をロボットに搭載されたＣＣＤ（Charge Coupled Device）カメラ等により撮像させることにより、当該ＣＣＤカメラから出力される画像データに基づきその３次元物体の特徴をロボットに学習させる方法（以下、これを第１の学習方法と呼ぶ）が広く用いられている。
【０００４】
またこれとは別に、３次元物体を機器に学習させる方法として、認識させたい３次元物体の周りをカメラに移動させながら、その３次元物体を一定角度間隔で撮像し、かくして得られたその３次元物体の複数方向からの画像の画像データに基づき３次元物体の特徴を学習させるいわゆるアクティブビジョンと呼ばれる方法（以下、これを第２の学習方法と呼ぶ）も知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、かかる第１の学習方法では、上述のように学習させたい３次元物体を人間が選択するものであり、ロボット自身が学習すべき３次元物体を選択し、これを学習するものではない。
【０００６】
また第２の方法も、学習すべき３次元物体の存在する範囲や大きさに対する事前知識が必要となり、第１の方法と同様に、かかる事前知識なしにロボット自身が学習すべき３次元物体を選択し、学習することはできない。
【０００７】
これは、実環境下での３次元物体の学習画像を適切に選ぶことが困難であり、その結果、望むような認識結果が得られないことによるものである。つまり、従来の３次元物体認識方法では、ロボット等が３次元物体を学習し易い都合の良い理想的な環境を人間が予め設定することでロボット等が３次元物体を学習できるのである。
【０００８】
従って、必ずしもそのような環境をユーザから与えられないであろう一般家庭環境でロボットが動作することを考えると、３次元物体の認識がうまく行われないおそれがあった。
【０００９】
本発明は以上の点を考慮してなされたもので、どのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識装置及び方法並びにロボット装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明の物体認識装置においては、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けるようにした。
【００１１】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【００１２】
また本発明の物体認識方法においては、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持ステップと、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習ステップとを設けるようにした。
【００１３】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【００１４】
さらに本発明のロボット装置においては、周囲を撮像する撮像手段と、認証対象の物体を、撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けるようにした。
【００１５】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【００１６】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１７】
（１）本実施の形態によるロボットの構成
図１及び図２において、１は全体として本実施の形態による２足歩行型のロボットを示し、胴体部ユニット２の上部に頭部ユニット３が配設されると共に、当該胴体部ユニット２の上部左右にそれぞれ腕部ユニット４Ａ、４Ｂがそれぞれ配設され、かつ胴体部ユニット２の下部左右にそれぞれ脚部ユニット５Ａ、５Ｂがそれぞれ所定位置に取り付けられることにより構成されている。
【００１８】
胴体部ユニット２においては、体幹上部を形成するフレーム１０及び体幹下部を形成する腰ベース１１が腰関節機構１２を介して連結することにより構成されており、体幹下部の腰ベース１１に固定された腰関節機構１２の各アクチュエータＡ１、Ａ２をそれぞれ駆動することによって、体幹上部を図３に示す直交するロール軸１３及びピッチ軸１４の回りにそれぞれ独立に回転させ得るようになされている。
【００１９】
また頭部ユニット３は、フレーム１０の上端に固定された肩ベース１５の上面中央部に首関節機構１６を介して取り付けられており、当該首関節機構１６の各アクチュエータＡ３、Ａ４をそれぞれ駆動することによって、図３に示す直交するピッチ軸１７及びヨー軸１８の回りにそれぞれ独立に回転させ得るようになされている。
【００２０】
さらに各腕部ユニット４Ａ、４Ｂは、それぞれ肩関節機構１９を介して肩ベース１５の左右に取り付けられており、対応する肩関節機構１９の各アクチュエータＡ５、Ａ６をそれぞれ駆動することによって図３に示す直交するピッチ軸２０及びロール軸２１の回りにそれぞれ独立に回転させ得るようになされている。
【００２１】
この場合、各腕部ユニット４Ａ、４Ｂは、それぞれ上腕部を形成するアクチュエータＡ７の出力軸に肘関節機構２２を介して前腕部を形成するアクチュエータＡ８が連結され、当該前腕部の先端に手部２３が取り付けられることにより構成されている。
【００２２】
そして各腕部ユニット４Ａ、４Ｂでは、アクチュエータＡ７を駆動することによって前腕部を図３に示すヨー軸２４の回りに回転させ、アクチュエータＡ８を駆動することによって前腕部を図３に示すピッチ軸２５の回りにそれぞれ回転させることができるようになされている。
【００２３】
これに対して各脚部ユニット５Ａ、５Ｂにおいては、それぞれ股関節機構２６を介して体幹下部の腰ベース１１にそれぞれ取り付けられており、それぞれ対応する股関節機構２６の各アクチュエータＡ９〜Ａ１１をそれぞれ駆動することによって、図３に示す互いに直交するヨー軸２７、ロール軸２８及びピッチ軸２９の回りにそれぞれ独立に回転させ得るようになされている。
【００２４】
この場合各脚部ユニット５Ａ、５Ｂは、それぞれ大腿部を形成するフレーム３０の下端に膝関節機構３１を介して下腿部を形成するフレーム３２が連結されると共に、当該フレーム３２の下端に足首関節機構３３を介して足部３４が連結されることにより構成されている。
【００２５】
これにより各脚部ユニット５Ａ、５Ｂにおいては、膝関節機構３１を形成するアクチュエータＡ１２を駆動することによって、下腿部を図３に示すピッチ軸３５の回りに回転させることができ、また足首関節機構３３のアクチュエータＡ１３、Ａ１４をそれぞれ駆動することによって、足部３４を図３に示す直交するピッチ軸３６及びロール軸３７の回りにそれぞれ独立に回転させ得るようになされている。
【００２６】
一方、胴体部ユニット２の体幹下部を形成する腰ベース１１の背面側には、図４に示すように、当該ロボット１全体の動作制御を司るメイン制御部４０と、電源回路及び通信回路などの周辺回路４１と、バッテリ４５（図５）となどがボックスに収納されてなる制御ユニット４２が配設されている。
【００２７】
そしてこの制御ユニット４２は、各構成ユニット（胴体部ユニット２、頭部ユニット３、各腕部ユニット４Ａ、４Ｂ及び各脚部ユニット５Ａ、５Ｂ）内にそれぞれ配設された各サブ制御部４３Ａ〜４３Ｄと接続されており、これらサブ制御部４３Ａ〜４３Ｄに対して必要な電源電圧を供給したり、これらサブ制御部４３Ａ〜４３Ｄと通信を行うことができるようになされている。
【００２８】
また各サブ制御部４３Ａ〜４３Ｄは、それぞれ対応する構成ユニット内の各アクチュエータＡ１〜Ａ１４と接続されており、当該構成ユニット内の各アクチュエータＡ１〜Ａ１４をメイン制御部４０から与えられる各種制御コマンドに基づいて指定された状態に駆動し得るようになされている。
【００２９】
さらに頭部ユニット３には、図５に示すように、それぞれこのロボット１の「目」として機能する一対のＣＣＤカメラ５０Ａ、５０Ｂと、「耳」として機能するマイクロホン５１と、「口」として機能するスピーカ５２となどがそれぞれ所定位置に配設され、制御ユニット４２内には、バッテリセンサ５３及び加速度センサ５４などが配設されている。
【００３０】
そしてＣＣＤカメラ５０Ａ、５０Ｂは、それぞれロボット１の前方の状況を撮像し、得られた画像信号Ｓ１Ａ、Ｓ１Ｂをメイン制御部４０に送出する一方、マイクロホン５１は、ユーザから音声入力として与えられる「歩け」、「伏せ」又は「ボールを追いかけろ」等の各種命令音声を集音し、かくして得られた音声信号Ｓ２をメイン制御部４０に送出するようになされている。
【００３１】
またバッテリセンサ５３は、バッテリ４５のエネルギ残量を所定周期で検出し、検出結果をバッテリ残量検出信号Ｓ３としてメイン制御部４０に送出する一方、加速度センサ５４は、３軸方向（ｘ軸、ｙ軸及びｚ軸）の加速度を所定周期で検出し、検出結果を加速度検出信号Ｓ４としてメイン制御部４０に送出する。
【００３２】
メイン制御部部４０は、ＣＣＤカメラ５０Ａ、５０Ｂ及びマイクロホン５１からそれぞれ供給される画像信号Ｓ１Ａ、Ｓ１Ｂ及び音声信号Ｓ２と、バッテリセンサ５３及び加速度センサ５４からそれぞれ供給されるバッテリ残量検出信号Ｓ３及び加速度検出信号Ｓ４に基づいて、ロボット１の周囲及び内部の状況や、ユーザからの指令、ユーザからの働きかけの有無などを判断する。
【００３３】
そしてメイン制御部４０は、この判断結果と、予め内部メモリ４０Ａに格納されている制御プログラム及び各種制御パラメータに基づいて続く行動を決定し、決定結果に基づく制御コマンドを対応するサブ制御部４３Ａ〜４３Ｄに送出する。
【００３４】
この結果、この制御コマンドに基づき、そのサブ制御部４３Ａ〜４３Ｄの制御のもとに、対応するアクチュエータＡ１〜Ａ１４が駆動され、かくして頭部ユニット３を上下左右に揺動させたり、腕部ユニット４Ａ、４Ｂを上にあげたり、歩行するなどの行動がロボット１により発現されることとなる。
【００３５】
またこの際メイン制御部４０は、必要に応じて所定の音声信号Ｓ３をスピーカ５４に与えることにより当該音声信号Ｓ５に基づく音声を外部に出力させたり、外見上の「目」として機能する頭部ユニット３の所定位置に設けられたＬＥＤ（図示せず）に駆動信号を出力することによりこれを点滅させる。
【００３６】
このようにしてこのロボット１においては、周囲及び内部の状況や、ユーザからの指令などに基づいて自律的に行動することができるようになされている。
【００３７】
（２）ロボット１における３次元物体認識機能
（２−１）本実施の形態による３次元物体認識機能の構成
次に、このロボット１に搭載された３次元物体認識機能について説明する。
【００３８】
このロボット１においては、認識対象の３次元物体を自動学習し、当該学習結果に基づいてその後その３次元物体を認識する３次元物体認識機能が搭載されている。
【００３９】
この場合、かかる３次元物体認識機能は、モードとして学習モード及び認識モードの２つのモードを有している。そして学習モードでは、図６に示すように、所定の一方のＣＣＤカメラ５０Ａから出力される画像信号Ｓ１Ａに基づく画像Ｐ１中から学習対象の３次元物体の画像領域を切り出し（ステップＳＰ１）、当該切り出された画像領域の画像信号に基づいてその３次元物体の特徴を抽出し、当該抽出した特徴に基づいてその３次元物体を学習器に学習させる（ステップＳＰ２）。
【００４０】
また認識モードでは、図７に示すように、画像信号Ｓ１Ａに基づく画像Ｐ２中から認識対象の３次元物体の画像領域を切り出し（ステップＳＰ３）、当該切り出された画像領域の画像信号に基づいてその３次元物体の特徴を抽出し、当該抽出した特徴とそのときまでに学習している各３次元物体の特徴とに基づいてその認識対象の３次元物体を認識して（ステップＳＰ４）、その認識結果を出力する（ステップＳＰ５）。
【００４１】
ここで、このような３次元物体の認識学習処理は、メイン制御部４０におけるソフトウェア処理により図８に示す３次元物体認識処理手順ＲＴ１に従って行われる。
【００４２】
実際上、メイン制御部４０は、ＣＣＤカメラ５０Ａからの画像信号Ｓ１Ａに基づいて、持ち上げ可能な大きさ及び距離にある３次元物体６０（図９）を検出すると、この３次元物体認識処理手順ＲＴ１をステップＳＰ１０において開始し、続くステップＳＰ１１において認識モードに遷移して、まず各ＣＣＤカメラ５０Ａ、５０Ｂからの画像信号Ｓ１Ａ、Ｓ１Ｂに基づいてその３次元物体までの距離を算出し、当該算出結果に基づいて対応するアクチュエータＡ１〜Ａ１４を駆動することにより、その３次元物体をロボット１に持たせ、これを当該ロボット１の予め定められた一方の腕部ユニット４Ｂにおける手のひら２３Ａ（図１０）上の所定位置に載置させる。
【００４３】
次いでメイン制御部４０は、ステップＳＰ１２に進んで、対応するアクチュエータＡ１〜Ａ１４を駆動してロボット１の腕部ユニット４Ｂを動かすことにより、図９に示すように、その一方の腕部ユニット４Ｂにおける手のひら２３Ａ上に載置させた３次元物体をＣＣＤカメラ５０Ａに対して予め設定された所定の空間位置にまで移動させる。またこの際、メイン制御部４０は、首関節機構１６のアクチュエータＡ４、Ａ５等を駆動することにより、ＣＣＤカメラ５０Ａの光学軸をこの手のひら２３Ａ上に載置された３次元物体６０に向けさせる。
【００４４】
続いてメイン制御部４０は、ステップＳＰ１３に進んで、対応するアクチュエータＡ１〜Ａ１４を駆動して、かかる３次元物体６０を載置した手のひら２３Ａをその中心位置を中心として回転させることにより、その３次元物体を上述の空間位置において４５度ずつ３６０度だけ回転させる。またメイン制御部４０は、これと共にＣＣＤカメラ５０Ａから出力されるその４５度間隔の３次元物体６０を撮像した画像の画像信号Ｓ１Ａを順次記憶する。
【００４５】
そしてメイン制御部４０は、この後ステップＳＰ１４に進んで、このようにして得られた４５度間隔の合計８枚分の画像（以下、これを原画像と呼ぶ）からそれぞれ認識対象であるその３次元物体６０の画像領域を切り出す画像切出し処理を実行する。
【００４６】
なお、この画像切出し処理は、かかる３次元物体６０を載置した自己の手のひら２３Ａよりも近くにあるものを抜き出すという画像処理により行うことができる。具体的には、ＣＣＤカメラ５０Ａからその３次元物体６０を載置している手のひら２３Ａまでの距離がその一方の腕部ユニット４Ｂにおける肩関節機構１９や肘関節機構２２との関係により分かっているので、かかる８枚分の原画像を撮像する際にこれと合わせて距離画像を生成して保存し、この距離画像に基づいて求めた距離が当該手のひら２３Ａよりも近い画像領域を中心として矩形状に切り出すことにより行うことができる。
【００４７】
またメイン制御部４０は、この後このようにして８枚の原画像からそれぞれ切り出した各画像領域（以下、これを切出し画像と呼ぶ）を、計算の都合上同じ次元にするため、例えば縦横３０画素程度の大きさで正規化する。
【００４８】
続いてメイン制御部４０は、ステップＳＰ１５に進んで、この正規化した８枚の切出し画像に基づいてその３次元物体６０を認識する認識処理を実行し、この後ステップＳＰ１６に進んで、その３次元物体６０を認識できたか否かを判断する。
【００４９】
そしてメイン制御部４０は、このステップＳＰ１６において肯定結果を得ると、ステップＳＰ１８に進んでその認識結果を３次元物体認識機能用のオブジェクトとは異なる他のオブジェクトに出力し、この後ステップＳＰ１９に進んでこの３次元物体認識処理手順ＲＴ１を終了する。
【００５０】
これに対してメイン制御部４０は、ステップＳＰ１６において否定結果を得ると、ステップＳＰ１７に進んで学習モードに遷移し、ステップＳＰ１４において得られた８枚の切出し画像の画像データに基づいてその３次元物体６０の特徴を抽出してこれを記憶するようにして当該３次元物体６０を学習する。この学習結果は、この後その３次元物体６０を認識する際等に利用される。そしてメイン制御部４０は、この後ステップＳＰ１９に進んで、この３次元物体認識処理手順ＲＴ１を終了する。
【００５１】
このようにしてこのロボット１においては、実環境にある３次元物体６０を自己学習し、当該学習結果に基づいてその後その３次元物体６０を認識し得るようになされている。
【００５２】
（２−２）３次元物体の特徴抽出処理及び認識処理
ここで、このロボット１の場合、原画像から切り出された切出し画像の画像データに基づいて認識対象や学習対象となっている３次元物体６０の特徴を抽出する処理に「ガボア・フィルタリング（Gabor Filtering）」を採用し、また当該ガボア・フィルタリングにより抽出したその３次元物体の特徴に基づいてその３次元物体６０を認識したり学習する処理に「サポート・ベクタ・マシーン（ＳＶＭ：Support Vector Machine）」を採用している。
【００５３】
以下に、ガボア・フィルタリング及びサポート・ベクタ・マシーンについて、それぞれ詳細に説明する。
【００５４】
（２−２−１）ガボア・フィルタリング
人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判っている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタリングは、これと同様に、方位選択性を持つ複数のフィルタで構成される空間フィルタである。
【００５５】
ガボア・フィルタは、ガボア関数によって空間表現される。ガボア関数ｇ（ｘ，ｙ）は、次式
【００５６】
【数１】
【００５７】
示すように、コサイン成分からなるキャリアｓ（ｘ，ｙ）と、２次元ガウス分布状のエンベローブｗｒ（ｘ，ｙ）とで構成される。キャリアｓ（ｘ，ｙ）は、複索関数を用いて、次式
【００５８】
【数２】
【００５９】
のように表現される。ここで、座標値（ｕ０，ｖ０）は空間周波数を表し、またＰはコサイン成分の位相を表す。
【００６０】
この（２）式に示すキャリアは、次式
【００６１】
【数３】
【００６２】
に示すように、実数成分Ｒｅ（ｓ（ｘ，ｙ））と虚数成分Ｉｍ（ｓ（ｘ，ｙ））に分離することができる。
【００６３】
一方、２次元ガウス分布からなるエンベロープは、次式
【００６４】
【数４】
【００６５】
のように表現される。
【００６６】
ここで、座標値（ｕ０，ｖ０）はこの関数のピークであり、定数ａ及びｂはガウス分布のスケール・パラメータである。また、添え字ｒは、次式
【００６７】
【数５】
【００６８】
に示すような回転操作を意味する。
【００６９】
従って、（２）式及び（４）式より、ガボア・フィルタは、次式
【００７０】
【数６】
【００７１】
に示すような空間関数として表現される。
【００７２】
本実施の形態の場合、認識モードや学習モード時には、８種類の方向と３通りの周波数を採用して、合計２４個のガボア・フィルタを用いて３次元物体の特徴抽出を行う。本実施の形態で使用されるガボア・フィルタの空間領域での様相を図１１〜図１３に示す。このうち、図１１（Ａ）〜（Ｈ）は、方向を２２．５度ずつずらした高周波成分のガボア・フィルタである。また、図１２（Ａ）〜（Ｈ）は、方向を２２．５度ずつずらした中周波成分のガボア・フィルタである。また、図１３（Ａ）〜（Ｈ）は、方向を２２．５度ずつずらした低周波成分のガボア・フィルタである。但し、各図における濃淡は紙面に直交する座標軸方向の成分に相当する。
【００７３】
ガボア・フィルタのレスポンスは、Ｇｉをｉ番目のガボア・フィルタとし、ｉ番目のガボアの結果（Ｇａｂｏｒ Ｊｅｔ）をＪｉとし、入力イメージをＩとし、すると、次式
【００７４】
【数７】
【００７５】
で表される。この（７）式の演算は、実際には高速フーリエ変換を用いて高速化することができる。
【００７６】
図１４に示すような入力画像（但し、入力画像を２０×２０画素とする）を、図１１〜図１３に示す各ガボア・フィルタでフィルタリングされた結果を、図１５〜図１７に示す。また図１８に周波数領域でのガボア・フィルタの構成を示す。図１８（Ａ）は２０×２０画素、図１８（Ｂ）は６４×６４画素の画像に対するフィルタであるが、どちらでも大体全ての周波数を埋め尽くすことが分かり、理論通りにガボア・フィルタが構成されていることが分かる。
【００７７】
作成したガボア・フィルタの性能は、フィルタリングして得られた画像を再構築することによって調べることができる。再構築されたイメージＨは、次式
【００７８】
【数８】
【００７９】
のように表される。
【００８０】
そして、入力画像Ｉと再構築された画像ＨとのエラーＥは、次式
【００８１】
【数９】
【００８２】
のように表される。
【００８３】
このエラーＥを最小にするような最適なａを求めることにより再構築することができる。
【００８４】
なお、図１９（Ａ）に示す画像を上述のようにして再構築した結果を図１９（Ｂ）に示す。このときのエラーは0.3426であり、ガボア・フィルタをかけた結果が欠損せず、良いガボア・フィルタが構成されていることが分かる。タスクによりフィルタの構成を変えるとき（例えば顔認識や３次元物体認識によって変えるとき）にこの再構築を用いることができる。
【００８５】
（２−２−２）サポート・ベクタ・マシーン
本実施の形態では、３次元物体の認識処理に関して、パターン認識の分野で最も学習汎化能力が高いとされるサポート・ベクタ・マシーン（ＳＶＭ）を用いて学習済みの３次元物体６０であるか否かの識別を行う。
【００８６】
ＳＶＭ自体に関しては、例えばＢ．ｓｈｏｌｋｏｐ外著の報告（B. Sholkop f, C. Burges, A. Smola, "Advance in Kernel Methods Support Vector Learning", The MIT Press, 1999.）を挙げることができる。本発明者らが行った予備実験の結果からは、ＳＶＭによる物体認識方法は、主成分分析（ＰＣＡ）やニューラル・ネットワークを用いる手法に比べ、良好な結果を示すことが判っている。
【００８７】
ＳＶＭは、識別関数に線形識別器（バーセプトロン）を用いた学習機械であり、カーネル関数を使うことで非線形空間に拡張することができる。また、識別関数の学習では、クラス間分離のマージンを最大にとるように行われ、その解は、２次数理計画法を解くことで得られるため、グローバル解に到達できることを理論的に保証することができる。
【００８８】
通常、パターン認識の問題は、テスト・サンプルｘ＝（ｘ１，ｘ２，…，ｘｎ）に対して、次式
【００８９】
【数１０】
【００９０】
で与えられる識別関数ｆ（ｘ）を求めることである。
【００９１】
ここで、ＳＶＭの学習用の教師ラベルを次式
【００９２】
【数１１】
【００９３】
のようにおく。
【００９４】
すると、ＳＶＭにおける顔パターンの認識を次式
【００９５】
【数１２】
【００９６】
に示す制約条件の下での重み因子ｗの二乗を最小化する問題としてとらえることができる。
【００９７】
このような制約のついた問題は、ラグランジュの未定定数法を用いて解くことができる。すなわち、次式
【００９８】
【数１３】
【００９９】
のようにラグランジュをまず導入し、次いで、次式
【０１００】
【数１４】
【０１０１】
のように、ｂ，ｗの各々について偏微分する。
【０１０２】
この結果、ＳＶＭにおける３次元物体の識別を次式
【０１０３】
【数１５】
【０１０４】
に示す２次計画問題としてとらえることができる。
【０１０５】
特微空間の次元数が、訓練サンプルの数よりも少ない場合は、スラック変数ζ≧０を導入して、制約条件を次式
【０１０６】
【数１６】
【０１０７】
のように変更する。
【０１０８】
最適化については、以下の目的関数を最小化する、次式
【０１０９】
【数１７】
【０１１０】
のように変更する。
【０１１１】
この（１７）式において、Ｃは、制約条件をどこまで緩めるかを指定する係数であり、実験的に値を決定する必要がある。
【０１１２】
ラグランジュ定数αに関する問題は次式器
【０１１３】
【数１８】
【０１１４】
のように変更される。
【０１１５】
しかし、この（１８）式のままでは、非線形の問題を解くことはできない。そこで、本実施の形態では、カーネル関数Ｋ（ｘ，ｙ′）を導入して、一旦、高次元の空間に写像して（カーネル・トリック）、その空間で線形分離することにしている。従って、元の空間では非線形分離していることと同様となる。
【０１１６】
カーネル関数は、ある写像Φを用いて次式
【０１１７】
【数１９】
【０１１８】
のように表される。
【０１１９】
また、上述の（１０）式に示した識別関数も、次式
【０１２０】
【数２０】
【０１２１】
のように表すことができる。
【０１２２】
また、学習に関しても、次式
【０１２３】
【数２１】
【０１２４】
に示す２次計画問題としてとられることができる。
【０１２５】
カーネルとしては、次式
【０１２６】
【数２２】
【０１２７】
に示すガウシアン・カーネル（ＲＢＦ（Radius Basic Function ））などを用いることができる。
【０１２８】
なお、ガボア・フィルタリングに関しては、認識タクスに応じてフィルタの種類を変更するようにしてもよい。
【０１２９】
低周波でのフィルタリングでは、フィルタリング後のイメージすべてをベクトルとして持っているのは冗長である。そこで、ダウンサンプリングして、ベクトルの次元を落すようにしてもよい。ダウンサンプリングされた２４種類のベクトルを一列に並べ、長いベクトルにする。
【０１３０】
また、本実施の形態において３次元物体の認識に適用されるＳＶＭは、特徴空間を２分する識別器であり、「物体Ａ」か「物体Ａでない」かを判別するように学習する。そのため、データベースの画像中から、まず物体Ａの画像を集め、ガボア・フィルタリング後のベクトルに「物体Ａでない」というラベルを貼る。一般に、集める画像の数は、特徴空間の次元より多い方がよい。例えば１０個の３次元物体を認識したい場合は、同様に、「物体Ｂである」、「物体Ｂでない」…のように、それぞれの３次元物体に対して１つの識別器を構成する。
【０１３１】
このような学習により、例えば、「物体Ａ」と「物体Ａでない」を分けるサポート・ベクタが求まる。ＳＶＭは、特徴空間を２つに仕切る識別器であり、新しい画像が入力されてきたときに、やはりガボア・フィルタリングのベクトルが、求めたサポート・ベクタが構成する境界面のどちら側にあるかで認識結果を出力する。そして、境界に対して、「物体Ａ」の領域であれば、「物体Ａ」と認識することができる。また、「物体Ａではない」領域であれば「物体Ａでない」と認識される。
【０１３２】
また認識性能を上げるために、ブートストラップ手法を採用することができる。学習に用いる画像とは別に画像を撮影して、ブートストラップに用いる。これは、学習した識別器が誤った認識結果を出したときに、その入力画像を学習セットに投入して学習し直すことを意味する。
【０１３３】
また、認識性能を上げるために、認識結果の時間変化を見る方法もある。最も簡単な方法では、１０回中８回「物体Ａ」と認識されたら「物体Ａ」と認識するなどである。他に、カルマン・フィルタを用いた予測法なども利用できる。
【０１３４】
（３）本実施の形態の動作及び効果
以上の構成において、ロボット１は、３次元物体６０を見つけると、当該３次元物体６０を一方の腕部ユニット４Ｂの手のひら２３Ａ上に載置して、これをＣＣＤカメラ５０Ａに対して所定の空間位置に位置させる。
【０１３５】
そして、その状態でその腕部ユニット４Ｂを駆動して３次元物体６０をその空間位置において４５度間隔で３６０度回転させることにより、その３次元物体６０を４５度ごとにずらした方向から見たときの画像データを収集し、当該収集した合計８枚分の画像の画像データに基づいてその３次元物体６０を認識するための認識処理を実行すると共に、この際その３次元物体６０を認識できなかったときには、その合計８枚分の画像の画像データに基づいてその３次元物体６０を学習する。
【０１３６】
従って、このロボット１は、３次元物体６０に対する認識処理及び学習処理を常に一定条件（ＣＣＤカメラ５０Ａに対して常に一定の位置関係）の下で行うことができるため、例えば一般家庭等の実環境においても精度良く３次元物体６０の認識を行うことができる。
【０１３７】
またこのロボット１においては、このように認識対象の３次元物体６０を自発的にＣＣＤカメラ５０Ａに対して一定の位置関係にある空間位置に持ってきてから認識処理及び学習処理を行うため、ユーザの手を煩わせることなく極めて自然に３次元物体６０の認識及び学習を行うことができる。
【０１３８】
さらにロボット１においては、このように自発的に３次元物体６０の認識及び学習を行うため、ユーザの家庭環境に合った物体認識を行えるようになることから、よりインタラクションを取れるようになる。
【０１３９】
以上の構成によれば、ロボット１が認識対象の３次元物体６０を持ち、これをＣＣＤカメラ５０Ａに対して所定の位置関係を有する空間位置にもってきてから当該３次元物体６０の認識処理や学習処理を行うようにしたことにより、３次元物体６０に対する認識処理及び学習処理を常に一定条件下で行うことができ、かくして一般家庭等の実環境においても精度良くかつ自然に３次元物体６０の認識を行い得るロボットを実現できる。
【０１４０】
（４）他の実施の形態
なお上述の実施の形態においては、本発明を図１〜図５のように構成された２足歩行型のロボット１に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のロボット装置及びロボット装置以外の他の装置に広く適用することができる。
【０１４１】
この場合において、上述の実施の形態においては、認識対象の物体を、ＣＣＤカメラ５０Ａに対して予め定められた所定の空間位置に移動させて、当該空間位置において所定状態に保持する保持手段としての腕部ユニット４Ｂを図１〜図３について説明した構成とするようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を広く適用することができる。
【０１４２】
また上述の実地の形態においては、ＣＣＤカメラ５０Ａの出力に基づいて３次元物体６０を認識し、認識できなかったときには当該３次元物体６０を学習する認識学習手段としてロボット１全体の動作を司るメイン制御部４０を適用するようにした場合について述べたが、本発明はこれに限らず、例えばかかる機能を有する学習認識手段をメイン制御部４０とは別に設けるようにしても良い。
【０１４３】
またこの場合において、上述の実施の形態においては、かかる３次元物体６０の特徴を抽出するための手法としてガボア・フィルタを用い、当該抽出した特徴に基づいて３次元物体６０を認識する手法としてサポート・ベクタ・マシーン（ＳＶＭ）を用いるようにした場合について述べたが、本発明はこれに限らず、この他種々の手法を広く適用することができる。
【０１４４】
因みに、３次元物体６０の特徴を抽出するための手法としてガボア・フィルタを用いる場合においても、上述の実施の形態のように８種類の方向と３通りの周波数に固定されるものではなく、その方向及び周波数の組み合せとしては、この他種々の組み合わせを広く適用することができる。
【０１４５】
さらに上述の実施の形態においては、認識対象の３次元物体６０を撮像する撮像手段としてＣＣＤカメラ５０Ａを適用するようにした場合について述べたが、本発明はこれに限らず、ＭＯＳ形固定撮像デバイス等この他種々の撮像素子を広く適用することができる。
【０１４６】
以上のように本発明によれば、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識装置を実現できる。
【０１４７】
また本発明によれば、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持ステップと、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習ステップとを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識方法を実現できる。
【０１４８】
さらに本発明によれば、周囲を撮像する撮像手段と、認証対象の物体を、撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得るロボット装置を実現できる。
【図面の簡単な説明】
【図１】本実施の形態によるロボットの外部構成を示す斜視図である。
【図２】ロボットの外部構成を示す斜視図である。
【図３】ロボットの外部構成の説明に供する略線図である。
【図４】ロボットの内部構成の説明に供するブロック図である。
【図５】ロボットの内部構成の説明に供するブロック図である。
【図６】学習モード時の処理手順の説明に供する略線図である。
【図７】認識モード時の処理手順の説明に供する略線図である。
【図８】３次元物体認識処理手順の説明に供するフローチャートである。
【図９】３次元物体画像の切り出しの説明に供する略線図である。
【図１０】３次元物体画像の切り出しの説明に供する略線図である。
【図１１】ガボア・フィルタの空間領域での様相を示した図である。
【図１２】ガボア・フィルタの空間領域での様相を示した図である。
【図１３】ガボア・フィルタの空間領域での様相を示した図である。
【図１４】元の３次元物体画像を示す図である。
【図１５】図１４の３次元物体画像を図１１に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図１６】図１４の３次元物体画像を図１２に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図１７】図１４の３次元物体画像を図１３に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図１８】周波数領域でのガボア・フィルタの構成を示す図である。
【図１９】画像の再構築の説明に供する図である。
【符号の説明】
１……ロボット、４Ａ、４Ｂ……腕部ユニット、２３Ａ……手のひら、４０……メイン制御部、５０Ａ、５０Ｂ……ＣＣＤカメラ、６０……３次元物体。
【発明の属する技術分野】
本発明は、物体認識装置及び方法並びにロボット装置に関し、例えばエンターテインメントロボットに適用して好適なものである。
【０００２】
【従来の技術】
従来、ロボット等における３次元物体の認識処理には、３次元物体の外観的な特徴を学習する学習モードと、この学習結果に基づいてその後その３次元物体を認識する認識モードとがある。
【０００３】
この場合において、かかる学習モードでは、例えば背景が既知等の理想的な環境のもとで、予め人間が選択した学習対象の３次元物体をロボットに搭載されたＣＣＤ（Charge Coupled Device）カメラ等により撮像させることにより、当該ＣＣＤカメラから出力される画像データに基づきその３次元物体の特徴をロボットに学習させる方法（以下、これを第１の学習方法と呼ぶ）が広く用いられている。
【０００４】
またこれとは別に、３次元物体を機器に学習させる方法として、認識させたい３次元物体の周りをカメラに移動させながら、その３次元物体を一定角度間隔で撮像し、かくして得られたその３次元物体の複数方向からの画像の画像データに基づき３次元物体の特徴を学習させるいわゆるアクティブビジョンと呼ばれる方法（以下、これを第２の学習方法と呼ぶ）も知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、かかる第１の学習方法では、上述のように学習させたい３次元物体を人間が選択するものであり、ロボット自身が学習すべき３次元物体を選択し、これを学習するものではない。
【０００６】
また第２の方法も、学習すべき３次元物体の存在する範囲や大きさに対する事前知識が必要となり、第１の方法と同様に、かかる事前知識なしにロボット自身が学習すべき３次元物体を選択し、学習することはできない。
【０００７】
これは、実環境下での３次元物体の学習画像を適切に選ぶことが困難であり、その結果、望むような認識結果が得られないことによるものである。つまり、従来の３次元物体認識方法では、ロボット等が３次元物体を学習し易い都合の良い理想的な環境を人間が予め設定することでロボット等が３次元物体を学習できるのである。
【０００８】
従って、必ずしもそのような環境をユーザから与えられないであろう一般家庭環境でロボットが動作することを考えると、３次元物体の認識がうまく行われないおそれがあった。
【０００９】
本発明は以上の点を考慮してなされたもので、どのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識装置及び方法並びにロボット装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明の物体認識装置においては、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けるようにした。
【００１１】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【００１２】
また本発明の物体認識方法においては、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持ステップと、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習ステップとを設けるようにした。
【００１３】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【００１４】
さらに本発明のロボット装置においては、周囲を撮像する撮像手段と、認証対象の物体を、撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けるようにした。
【００１５】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【００１６】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１７】
（１）本実施の形態によるロボットの構成
図１及び図２において、１は全体として本実施の形態による２足歩行型のロボットを示し、胴体部ユニット２の上部に頭部ユニット３が配設されると共に、当該胴体部ユニット２の上部左右にそれぞれ腕部ユニット４Ａ、４Ｂがそれぞれ配設され、かつ胴体部ユニット２の下部左右にそれぞれ脚部ユニット５Ａ、５Ｂがそれぞれ所定位置に取り付けられることにより構成されている。
【００１８】
胴体部ユニット２においては、体幹上部を形成するフレーム１０及び体幹下部を形成する腰ベース１１が腰関節機構１２を介して連結することにより構成されており、体幹下部の腰ベース１１に固定された腰関節機構１２の各アクチュエータＡ１、Ａ２をそれぞれ駆動することによって、体幹上部を図３に示す直交するロール軸１３及びピッチ軸１４の回りにそれぞれ独立に回転させ得るようになされている。
【００１９】
また頭部ユニット３は、フレーム１０の上端に固定された肩ベース１５の上面中央部に首関節機構１６を介して取り付けられており、当該首関節機構１６の各アクチュエータＡ３、Ａ４をそれぞれ駆動することによって、図３に示す直交するピッチ軸１７及びヨー軸１８の回りにそれぞれ独立に回転させ得るようになされている。
【００２０】
さらに各腕部ユニット４Ａ、４Ｂは、それぞれ肩関節機構１９を介して肩ベース１５の左右に取り付けられており、対応する肩関節機構１９の各アクチュエータＡ５、Ａ６をそれぞれ駆動することによって図３に示す直交するピッチ軸２０及びロール軸２１の回りにそれぞれ独立に回転させ得るようになされている。
【００２１】
この場合、各腕部ユニット４Ａ、４Ｂは、それぞれ上腕部を形成するアクチュエータＡ７の出力軸に肘関節機構２２を介して前腕部を形成するアクチュエータＡ８が連結され、当該前腕部の先端に手部２３が取り付けられることにより構成されている。
【００２２】
そして各腕部ユニット４Ａ、４Ｂでは、アクチュエータＡ７を駆動することによって前腕部を図３に示すヨー軸２４の回りに回転させ、アクチュエータＡ８を駆動することによって前腕部を図３に示すピッチ軸２５の回りにそれぞれ回転させることができるようになされている。
【００２３】
これに対して各脚部ユニット５Ａ、５Ｂにおいては、それぞれ股関節機構２６を介して体幹下部の腰ベース１１にそれぞれ取り付けられており、それぞれ対応する股関節機構２６の各アクチュエータＡ９〜Ａ１１をそれぞれ駆動することによって、図３に示す互いに直交するヨー軸２７、ロール軸２８及びピッチ軸２９の回りにそれぞれ独立に回転させ得るようになされている。
【００２４】
この場合各脚部ユニット５Ａ、５Ｂは、それぞれ大腿部を形成するフレーム３０の下端に膝関節機構３１を介して下腿部を形成するフレーム３２が連結されると共に、当該フレーム３２の下端に足首関節機構３３を介して足部３４が連結されることにより構成されている。
【００２５】
これにより各脚部ユニット５Ａ、５Ｂにおいては、膝関節機構３１を形成するアクチュエータＡ１２を駆動することによって、下腿部を図３に示すピッチ軸３５の回りに回転させることができ、また足首関節機構３３のアクチュエータＡ１３、Ａ１４をそれぞれ駆動することによって、足部３４を図３に示す直交するピッチ軸３６及びロール軸３７の回りにそれぞれ独立に回転させ得るようになされている。
【００２６】
一方、胴体部ユニット２の体幹下部を形成する腰ベース１１の背面側には、図４に示すように、当該ロボット１全体の動作制御を司るメイン制御部４０と、電源回路及び通信回路などの周辺回路４１と、バッテリ４５（図５）となどがボックスに収納されてなる制御ユニット４２が配設されている。
【００２７】
そしてこの制御ユニット４２は、各構成ユニット（胴体部ユニット２、頭部ユニット３、各腕部ユニット４Ａ、４Ｂ及び各脚部ユニット５Ａ、５Ｂ）内にそれぞれ配設された各サブ制御部４３Ａ〜４３Ｄと接続されており、これらサブ制御部４３Ａ〜４３Ｄに対して必要な電源電圧を供給したり、これらサブ制御部４３Ａ〜４３Ｄと通信を行うことができるようになされている。
【００２８】
また各サブ制御部４３Ａ〜４３Ｄは、それぞれ対応する構成ユニット内の各アクチュエータＡ１〜Ａ１４と接続されており、当該構成ユニット内の各アクチュエータＡ１〜Ａ１４をメイン制御部４０から与えられる各種制御コマンドに基づいて指定された状態に駆動し得るようになされている。
【００２９】
さらに頭部ユニット３には、図５に示すように、それぞれこのロボット１の「目」として機能する一対のＣＣＤカメラ５０Ａ、５０Ｂと、「耳」として機能するマイクロホン５１と、「口」として機能するスピーカ５２となどがそれぞれ所定位置に配設され、制御ユニット４２内には、バッテリセンサ５３及び加速度センサ５４などが配設されている。
【００３０】
そしてＣＣＤカメラ５０Ａ、５０Ｂは、それぞれロボット１の前方の状況を撮像し、得られた画像信号Ｓ１Ａ、Ｓ１Ｂをメイン制御部４０に送出する一方、マイクロホン５１は、ユーザから音声入力として与えられる「歩け」、「伏せ」又は「ボールを追いかけろ」等の各種命令音声を集音し、かくして得られた音声信号Ｓ２をメイン制御部４０に送出するようになされている。
【００３１】
またバッテリセンサ５３は、バッテリ４５のエネルギ残量を所定周期で検出し、検出結果をバッテリ残量検出信号Ｓ３としてメイン制御部４０に送出する一方、加速度センサ５４は、３軸方向（ｘ軸、ｙ軸及びｚ軸）の加速度を所定周期で検出し、検出結果を加速度検出信号Ｓ４としてメイン制御部４０に送出する。
【００３２】
メイン制御部部４０は、ＣＣＤカメラ５０Ａ、５０Ｂ及びマイクロホン５１からそれぞれ供給される画像信号Ｓ１Ａ、Ｓ１Ｂ及び音声信号Ｓ２と、バッテリセンサ５３及び加速度センサ５４からそれぞれ供給されるバッテリ残量検出信号Ｓ３及び加速度検出信号Ｓ４に基づいて、ロボット１の周囲及び内部の状況や、ユーザからの指令、ユーザからの働きかけの有無などを判断する。
【００３３】
そしてメイン制御部４０は、この判断結果と、予め内部メモリ４０Ａに格納されている制御プログラム及び各種制御パラメータに基づいて続く行動を決定し、決定結果に基づく制御コマンドを対応するサブ制御部４３Ａ〜４３Ｄに送出する。
【００３４】
この結果、この制御コマンドに基づき、そのサブ制御部４３Ａ〜４３Ｄの制御のもとに、対応するアクチュエータＡ１〜Ａ１４が駆動され、かくして頭部ユニット３を上下左右に揺動させたり、腕部ユニット４Ａ、４Ｂを上にあげたり、歩行するなどの行動がロボット１により発現されることとなる。
【００３５】
またこの際メイン制御部４０は、必要に応じて所定の音声信号Ｓ３をスピーカ５４に与えることにより当該音声信号Ｓ５に基づく音声を外部に出力させたり、外見上の「目」として機能する頭部ユニット３の所定位置に設けられたＬＥＤ（図示せず）に駆動信号を出力することによりこれを点滅させる。
【００３６】
このようにしてこのロボット１においては、周囲及び内部の状況や、ユーザからの指令などに基づいて自律的に行動することができるようになされている。
【００３７】
（２）ロボット１における３次元物体認識機能
（２−１）本実施の形態による３次元物体認識機能の構成
次に、このロボット１に搭載された３次元物体認識機能について説明する。
【００３８】
このロボット１においては、認識対象の３次元物体を自動学習し、当該学習結果に基づいてその後その３次元物体を認識する３次元物体認識機能が搭載されている。
【００３９】
この場合、かかる３次元物体認識機能は、モードとして学習モード及び認識モードの２つのモードを有している。そして学習モードでは、図６に示すように、所定の一方のＣＣＤカメラ５０Ａから出力される画像信号Ｓ１Ａに基づく画像Ｐ１中から学習対象の３次元物体の画像領域を切り出し（ステップＳＰ１）、当該切り出された画像領域の画像信号に基づいてその３次元物体の特徴を抽出し、当該抽出した特徴に基づいてその３次元物体を学習器に学習させる（ステップＳＰ２）。
【００４０】
また認識モードでは、図７に示すように、画像信号Ｓ１Ａに基づく画像Ｐ２中から認識対象の３次元物体の画像領域を切り出し（ステップＳＰ３）、当該切り出された画像領域の画像信号に基づいてその３次元物体の特徴を抽出し、当該抽出した特徴とそのときまでに学習している各３次元物体の特徴とに基づいてその認識対象の３次元物体を認識して（ステップＳＰ４）、その認識結果を出力する（ステップＳＰ５）。
【００４１】
ここで、このような３次元物体の認識学習処理は、メイン制御部４０におけるソフトウェア処理により図８に示す３次元物体認識処理手順ＲＴ１に従って行われる。
【００４２】
実際上、メイン制御部４０は、ＣＣＤカメラ５０Ａからの画像信号Ｓ１Ａに基づいて、持ち上げ可能な大きさ及び距離にある３次元物体６０（図９）を検出すると、この３次元物体認識処理手順ＲＴ１をステップＳＰ１０において開始し、続くステップＳＰ１１において認識モードに遷移して、まず各ＣＣＤカメラ５０Ａ、５０Ｂからの画像信号Ｓ１Ａ、Ｓ１Ｂに基づいてその３次元物体までの距離を算出し、当該算出結果に基づいて対応するアクチュエータＡ１〜Ａ１４を駆動することにより、その３次元物体をロボット１に持たせ、これを当該ロボット１の予め定められた一方の腕部ユニット４Ｂにおける手のひら２３Ａ（図１０）上の所定位置に載置させる。
【００４３】
次いでメイン制御部４０は、ステップＳＰ１２に進んで、対応するアクチュエータＡ１〜Ａ１４を駆動してロボット１の腕部ユニット４Ｂを動かすことにより、図９に示すように、その一方の腕部ユニット４Ｂにおける手のひら２３Ａ上に載置させた３次元物体をＣＣＤカメラ５０Ａに対して予め設定された所定の空間位置にまで移動させる。またこの際、メイン制御部４０は、首関節機構１６のアクチュエータＡ４、Ａ５等を駆動することにより、ＣＣＤカメラ５０Ａの光学軸をこの手のひら２３Ａ上に載置された３次元物体６０に向けさせる。
【００４４】
続いてメイン制御部４０は、ステップＳＰ１３に進んで、対応するアクチュエータＡ１〜Ａ１４を駆動して、かかる３次元物体６０を載置した手のひら２３Ａをその中心位置を中心として回転させることにより、その３次元物体を上述の空間位置において４５度ずつ３６０度だけ回転させる。またメイン制御部４０は、これと共にＣＣＤカメラ５０Ａから出力されるその４５度間隔の３次元物体６０を撮像した画像の画像信号Ｓ１Ａを順次記憶する。
【００４５】
そしてメイン制御部４０は、この後ステップＳＰ１４に進んで、このようにして得られた４５度間隔の合計８枚分の画像（以下、これを原画像と呼ぶ）からそれぞれ認識対象であるその３次元物体６０の画像領域を切り出す画像切出し処理を実行する。
【００４６】
なお、この画像切出し処理は、かかる３次元物体６０を載置した自己の手のひら２３Ａよりも近くにあるものを抜き出すという画像処理により行うことができる。具体的には、ＣＣＤカメラ５０Ａからその３次元物体６０を載置している手のひら２３Ａまでの距離がその一方の腕部ユニット４Ｂにおける肩関節機構１９や肘関節機構２２との関係により分かっているので、かかる８枚分の原画像を撮像する際にこれと合わせて距離画像を生成して保存し、この距離画像に基づいて求めた距離が当該手のひら２３Ａよりも近い画像領域を中心として矩形状に切り出すことにより行うことができる。
【００４７】
またメイン制御部４０は、この後このようにして８枚の原画像からそれぞれ切り出した各画像領域（以下、これを切出し画像と呼ぶ）を、計算の都合上同じ次元にするため、例えば縦横３０画素程度の大きさで正規化する。
【００４８】
続いてメイン制御部４０は、ステップＳＰ１５に進んで、この正規化した８枚の切出し画像に基づいてその３次元物体６０を認識する認識処理を実行し、この後ステップＳＰ１６に進んで、その３次元物体６０を認識できたか否かを判断する。
【００４９】
そしてメイン制御部４０は、このステップＳＰ１６において肯定結果を得ると、ステップＳＰ１８に進んでその認識結果を３次元物体認識機能用のオブジェクトとは異なる他のオブジェクトに出力し、この後ステップＳＰ１９に進んでこの３次元物体認識処理手順ＲＴ１を終了する。
【００５０】
これに対してメイン制御部４０は、ステップＳＰ１６において否定結果を得ると、ステップＳＰ１７に進んで学習モードに遷移し、ステップＳＰ１４において得られた８枚の切出し画像の画像データに基づいてその３次元物体６０の特徴を抽出してこれを記憶するようにして当該３次元物体６０を学習する。この学習結果は、この後その３次元物体６０を認識する際等に利用される。そしてメイン制御部４０は、この後ステップＳＰ１９に進んで、この３次元物体認識処理手順ＲＴ１を終了する。
【００５１】
このようにしてこのロボット１においては、実環境にある３次元物体６０を自己学習し、当該学習結果に基づいてその後その３次元物体６０を認識し得るようになされている。
【００５２】
（２−２）３次元物体の特徴抽出処理及び認識処理
ここで、このロボット１の場合、原画像から切り出された切出し画像の画像データに基づいて認識対象や学習対象となっている３次元物体６０の特徴を抽出する処理に「ガボア・フィルタリング（Gabor Filtering）」を採用し、また当該ガボア・フィルタリングにより抽出したその３次元物体の特徴に基づいてその３次元物体６０を認識したり学習する処理に「サポート・ベクタ・マシーン（ＳＶＭ：Support Vector Machine）」を採用している。
【００５３】
以下に、ガボア・フィルタリング及びサポート・ベクタ・マシーンについて、それぞれ詳細に説明する。
【００５４】
（２−２−１）ガボア・フィルタリング
人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判っている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタリングは、これと同様に、方位選択性を持つ複数のフィルタで構成される空間フィルタである。
【００５５】
ガボア・フィルタは、ガボア関数によって空間表現される。ガボア関数ｇ（ｘ，ｙ）は、次式
【００５６】
【数１】
示すように、コサイン成分からなるキャリアｓ（ｘ，ｙ）と、２次元ガウス分布状のエンベローブｗｒ（ｘ，ｙ）とで構成される。キャリアｓ（ｘ，ｙ）は、複索関数を用いて、次式
【００５８】
【数２】
のように表現される。ここで、座標値（ｕ０，ｖ０）は空間周波数を表し、またＰはコサイン成分の位相を表す。
【００６０】
この（２）式に示すキャリアは、次式
【００６１】
【数３】
に示すように、実数成分Ｒｅ（ｓ（ｘ，ｙ））と虚数成分Ｉｍ（ｓ（ｘ，ｙ））に分離することができる。
【００６３】
一方、２次元ガウス分布からなるエンベロープは、次式
【００６４】
【数４】
のように表現される。
【００６６】
ここで、座標値（ｕ０，ｖ０）はこの関数のピークであり、定数ａ及びｂはガウス分布のスケール・パラメータである。また、添え字ｒは、次式
【００６７】
【数５】
に示すような回転操作を意味する。
【００６９】
従って、（２）式及び（４）式より、ガボア・フィルタは、次式
【００７０】
【数６】
に示すような空間関数として表現される。
【００７２】
本実施の形態の場合、認識モードや学習モード時には、８種類の方向と３通りの周波数を採用して、合計２４個のガボア・フィルタを用いて３次元物体の特徴抽出を行う。本実施の形態で使用されるガボア・フィルタの空間領域での様相を図１１〜図１３に示す。このうち、図１１（Ａ）〜（Ｈ）は、方向を２２．５度ずつずらした高周波成分のガボア・フィルタである。また、図１２（Ａ）〜（Ｈ）は、方向を２２．５度ずつずらした中周波成分のガボア・フィルタである。また、図１３（Ａ）〜（Ｈ）は、方向を２２．５度ずつずらした低周波成分のガボア・フィルタである。但し、各図における濃淡は紙面に直交する座標軸方向の成分に相当する。
【００７３】
ガボア・フィルタのレスポンスは、Ｇｉをｉ番目のガボア・フィルタとし、ｉ番目のガボアの結果（Ｇａｂｏｒ Ｊｅｔ）をＪｉとし、入力イメージをＩとし、すると、次式
【００７４】
【数７】
で表される。この（７）式の演算は、実際には高速フーリエ変換を用いて高速化することができる。
【００７６】
図１４に示すような入力画像（但し、入力画像を２０×２０画素とする）を、図１１〜図１３に示す各ガボア・フィルタでフィルタリングされた結果を、図１５〜図１７に示す。また図１８に周波数領域でのガボア・フィルタの構成を示す。図１８（Ａ）は２０×２０画素、図１８（Ｂ）は６４×６４画素の画像に対するフィルタであるが、どちらでも大体全ての周波数を埋め尽くすことが分かり、理論通りにガボア・フィルタが構成されていることが分かる。
【００７７】
作成したガボア・フィルタの性能は、フィルタリングして得られた画像を再構築することによって調べることができる。再構築されたイメージＨは、次式
【００７８】
【数８】
のように表される。
【００８０】
そして、入力画像Ｉと再構築された画像ＨとのエラーＥは、次式
【００８１】
【数９】
のように表される。
【００８３】
このエラーＥを最小にするような最適なａを求めることにより再構築することができる。
【００８４】
なお、図１９（Ａ）に示す画像を上述のようにして再構築した結果を図１９（Ｂ）に示す。このときのエラーは0.3426であり、ガボア・フィルタをかけた結果が欠損せず、良いガボア・フィルタが構成されていることが分かる。タスクによりフィルタの構成を変えるとき（例えば顔認識や３次元物体認識によって変えるとき）にこの再構築を用いることができる。
【００８５】
（２−２−２）サポート・ベクタ・マシーン
本実施の形態では、３次元物体の認識処理に関して、パターン認識の分野で最も学習汎化能力が高いとされるサポート・ベクタ・マシーン（ＳＶＭ）を用いて学習済みの３次元物体６０であるか否かの識別を行う。
【００８６】
ＳＶＭ自体に関しては、例えばＢ．ｓｈｏｌｋｏｐ外著の報告（B. Sholkop f, C. Burges, A. Smola, "Advance in Kernel Methods Support Vector Learning", The MIT Press, 1999.）を挙げることができる。本発明者らが行った予備実験の結果からは、ＳＶＭによる物体認識方法は、主成分分析（ＰＣＡ）やニューラル・ネットワークを用いる手法に比べ、良好な結果を示すことが判っている。
【００８７】
ＳＶＭは、識別関数に線形識別器（バーセプトロン）を用いた学習機械であり、カーネル関数を使うことで非線形空間に拡張することができる。また、識別関数の学習では、クラス間分離のマージンを最大にとるように行われ、その解は、２次数理計画法を解くことで得られるため、グローバル解に到達できることを理論的に保証することができる。
【００８８】
通常、パターン認識の問題は、テスト・サンプルｘ＝（ｘ１，ｘ２，…，ｘｎ）に対して、次式
【００８９】
【数１０】
で与えられる識別関数ｆ（ｘ）を求めることである。
【００９１】
ここで、ＳＶＭの学習用の教師ラベルを次式
【００９２】
【数１１】
のようにおく。
【００９４】
すると、ＳＶＭにおける顔パターンの認識を次式
【００９５】
【数１２】
に示す制約条件の下での重み因子ｗの二乗を最小化する問題としてとらえることができる。
【００９７】
このような制約のついた問題は、ラグランジュの未定定数法を用いて解くことができる。すなわち、次式
【００９８】
【数１３】
のようにラグランジュをまず導入し、次いで、次式
【０１００】
【数１４】
のように、ｂ，ｗの各々について偏微分する。
【０１０２】
この結果、ＳＶＭにおける３次元物体の識別を次式
【０１０３】
【数１５】
に示す２次計画問題としてとらえることができる。
【０１０５】
特微空間の次元数が、訓練サンプルの数よりも少ない場合は、スラック変数ζ≧０を導入して、制約条件を次式
【０１０６】
【数１６】
のように変更する。
【０１０８】
最適化については、以下の目的関数を最小化する、次式
【０１０９】
【数１７】
のように変更する。
【０１１１】
この（１７）式において、Ｃは、制約条件をどこまで緩めるかを指定する係数であり、実験的に値を決定する必要がある。
【０１１２】
ラグランジュ定数αに関する問題は次式器
【０１１３】
【数１８】
のように変更される。
【０１１５】
しかし、この（１８）式のままでは、非線形の問題を解くことはできない。そこで、本実施の形態では、カーネル関数Ｋ（ｘ，ｙ′）を導入して、一旦、高次元の空間に写像して（カーネル・トリック）、その空間で線形分離することにしている。従って、元の空間では非線形分離していることと同様となる。
【０１１６】
カーネル関数は、ある写像Φを用いて次式
【０１１７】
【数１９】
のように表される。
【０１１９】
また、上述の（１０）式に示した識別関数も、次式
【０１２０】
【数２０】
のように表すことができる。
【０１２２】
また、学習に関しても、次式
【０１２３】
【数２１】
に示す２次計画問題としてとられることができる。
【０１２５】
カーネルとしては、次式
【０１２６】
【数２２】
に示すガウシアン・カーネル（ＲＢＦ（Radius Basic Function ））などを用いることができる。
【０１２８】
なお、ガボア・フィルタリングに関しては、認識タクスに応じてフィルタの種類を変更するようにしてもよい。
【０１２９】
低周波でのフィルタリングでは、フィルタリング後のイメージすべてをベクトルとして持っているのは冗長である。そこで、ダウンサンプリングして、ベクトルの次元を落すようにしてもよい。ダウンサンプリングされた２４種類のベクトルを一列に並べ、長いベクトルにする。
【０１３０】
また、本実施の形態において３次元物体の認識に適用されるＳＶＭは、特徴空間を２分する識別器であり、「物体Ａ」か「物体Ａでない」かを判別するように学習する。そのため、データベースの画像中から、まず物体Ａの画像を集め、ガボア・フィルタリング後のベクトルに「物体Ａでない」というラベルを貼る。一般に、集める画像の数は、特徴空間の次元より多い方がよい。例えば１０個の３次元物体を認識したい場合は、同様に、「物体Ｂである」、「物体Ｂでない」…のように、それぞれの３次元物体に対して１つの識別器を構成する。
【０１３１】
このような学習により、例えば、「物体Ａ」と「物体Ａでない」を分けるサポート・ベクタが求まる。ＳＶＭは、特徴空間を２つに仕切る識別器であり、新しい画像が入力されてきたときに、やはりガボア・フィルタリングのベクトルが、求めたサポート・ベクタが構成する境界面のどちら側にあるかで認識結果を出力する。そして、境界に対して、「物体Ａ」の領域であれば、「物体Ａ」と認識することができる。また、「物体Ａではない」領域であれば「物体Ａでない」と認識される。
【０１３２】
また認識性能を上げるために、ブートストラップ手法を採用することができる。学習に用いる画像とは別に画像を撮影して、ブートストラップに用いる。これは、学習した識別器が誤った認識結果を出したときに、その入力画像を学習セットに投入して学習し直すことを意味する。
【０１３３】
また、認識性能を上げるために、認識結果の時間変化を見る方法もある。最も簡単な方法では、１０回中８回「物体Ａ」と認識されたら「物体Ａ」と認識するなどである。他に、カルマン・フィルタを用いた予測法なども利用できる。
【０１３４】
（３）本実施の形態の動作及び効果
以上の構成において、ロボット１は、３次元物体６０を見つけると、当該３次元物体６０を一方の腕部ユニット４Ｂの手のひら２３Ａ上に載置して、これをＣＣＤカメラ５０Ａに対して所定の空間位置に位置させる。
【０１３５】
そして、その状態でその腕部ユニット４Ｂを駆動して３次元物体６０をその空間位置において４５度間隔で３６０度回転させることにより、その３次元物体６０を４５度ごとにずらした方向から見たときの画像データを収集し、当該収集した合計８枚分の画像の画像データに基づいてその３次元物体６０を認識するための認識処理を実行すると共に、この際その３次元物体６０を認識できなかったときには、その合計８枚分の画像の画像データに基づいてその３次元物体６０を学習する。
【０１３６】
従って、このロボット１は、３次元物体６０に対する認識処理及び学習処理を常に一定条件（ＣＣＤカメラ５０Ａに対して常に一定の位置関係）の下で行うことができるため、例えば一般家庭等の実環境においても精度良く３次元物体６０の認識を行うことができる。
【０１３７】
またこのロボット１においては、このように認識対象の３次元物体６０を自発的にＣＣＤカメラ５０Ａに対して一定の位置関係にある空間位置に持ってきてから認識処理及び学習処理を行うため、ユーザの手を煩わせることなく極めて自然に３次元物体６０の認識及び学習を行うことができる。
【０１３８】
さらにロボット１においては、このように自発的に３次元物体６０の認識及び学習を行うため、ユーザの家庭環境に合った物体認識を行えるようになることから、よりインタラクションを取れるようになる。
【０１３９】
以上の構成によれば、ロボット１が認識対象の３次元物体６０を持ち、これをＣＣＤカメラ５０Ａに対して所定の位置関係を有する空間位置にもってきてから当該３次元物体６０の認識処理や学習処理を行うようにしたことにより、３次元物体６０に対する認識処理及び学習処理を常に一定条件下で行うことができ、かくして一般家庭等の実環境においても精度良くかつ自然に３次元物体６０の認識を行い得るロボットを実現できる。
【０１４０】
（４）他の実施の形態
なお上述の実施の形態においては、本発明を図１〜図５のように構成された２足歩行型のロボット１に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のロボット装置及びロボット装置以外の他の装置に広く適用することができる。
【０１４１】
この場合において、上述の実施の形態においては、認識対象の物体を、ＣＣＤカメラ５０Ａに対して予め定められた所定の空間位置に移動させて、当該空間位置において所定状態に保持する保持手段としての腕部ユニット４Ｂを図１〜図３について説明した構成とするようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を広く適用することができる。
【０１４２】
また上述の実地の形態においては、ＣＣＤカメラ５０Ａの出力に基づいて３次元物体６０を認識し、認識できなかったときには当該３次元物体６０を学習する認識学習手段としてロボット１全体の動作を司るメイン制御部４０を適用するようにした場合について述べたが、本発明はこれに限らず、例えばかかる機能を有する学習認識手段をメイン制御部４０とは別に設けるようにしても良い。
【０１４３】
またこの場合において、上述の実施の形態においては、かかる３次元物体６０の特徴を抽出するための手法としてガボア・フィルタを用い、当該抽出した特徴に基づいて３次元物体６０を認識する手法としてサポート・ベクタ・マシーン（ＳＶＭ）を用いるようにした場合について述べたが、本発明はこれに限らず、この他種々の手法を広く適用することができる。
【０１４４】
因みに、３次元物体６０の特徴を抽出するための手法としてガボア・フィルタを用いる場合においても、上述の実施の形態のように８種類の方向と３通りの周波数に固定されるものではなく、その方向及び周波数の組み合せとしては、この他種々の組み合わせを広く適用することができる。
【０１４５】
さらに上述の実施の形態においては、認識対象の３次元物体６０を撮像する撮像手段としてＣＣＤカメラ５０Ａを適用するようにした場合について述べたが、本発明はこれに限らず、ＭＯＳ形固定撮像デバイス等この他種々の撮像素子を広く適用することができる。
【０１４６】
以上のように本発明によれば、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識装置を実現できる。
【０１４７】
また本発明によれば、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持ステップと、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習ステップとを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識方法を実現できる。
【０１４８】
さらに本発明によれば、周囲を撮像する撮像手段と、認証対象の物体を、撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得るロボット装置を実現できる。
【図面の簡単な説明】
【図１】本実施の形態によるロボットの外部構成を示す斜視図である。
【図２】ロボットの外部構成を示す斜視図である。
【図３】ロボットの外部構成の説明に供する略線図である。
【図４】ロボットの内部構成の説明に供するブロック図である。
【図５】ロボットの内部構成の説明に供するブロック図である。
【図６】学習モード時の処理手順の説明に供する略線図である。
【図７】認識モード時の処理手順の説明に供する略線図である。
【図８】３次元物体認識処理手順の説明に供するフローチャートである。
【図９】３次元物体画像の切り出しの説明に供する略線図である。
【図１０】３次元物体画像の切り出しの説明に供する略線図である。
【図１１】ガボア・フィルタの空間領域での様相を示した図である。
【図１２】ガボア・フィルタの空間領域での様相を示した図である。
【図１３】ガボア・フィルタの空間領域での様相を示した図である。
【図１４】元の３次元物体画像を示す図である。
【図１５】図１４の３次元物体画像を図１１に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図１６】図１４の３次元物体画像を図１２に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図１７】図１４の３次元物体画像を図１３に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図１８】周波数領域でのガボア・フィルタの構成を示す図である。
【図１９】画像の再構築の説明に供する図である。
【符号の説明】
１……ロボット、４Ａ、４Ｂ……腕部ユニット、２３Ａ……手のひら、４０……メイン制御部、５０Ａ、５０Ｂ……ＣＣＤカメラ、６０……３次元物体。
Claims (7)
- 認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、上記保持した認証対象の物体を、上記撮像手段に対する上記所定の空間位置において所定角度ごとに回転させることにより、上記撮像手段に上記所定角度ごとに上記保持した認証対象の物体を撮像させる保持手段と、
上記撮像手段によって上記所定角度ごとに撮像された複数の画像情報からそれぞれ生成され上記認証対象の物体の上記所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の上記所定角度ごとの複数の特徴情報とに基づいて上記認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには上記認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段と
を有する物体認識装置。 - 上記保持手段は、
上記認証対象の物体を３６０度回転させる
請求項１に記載の物体認識装置。 - 上記保持手段は、
上記認証対象の物体を４５度ごとに回転させて上記撮像手段によって上記認証対象の物体を８回に亘って撮像し、
上記認識学習手段は、
８の上記画像情報から生成された上記認証対象の物体の８の上記特徴情報と、予め記憶された物体の８の上記特徴情報とに基づいて上記認証対象の物体が予め記憶された物体であるか否かを認識する
請求項２に記載の物体認識装置。 - 上記認識学習手段は、
上記撮像結果から上記認証対象の物体に対応する部分が切り出されてなる切出画像情報に基づいて上記画像情報を生成する
請求項１に記載の物体認識装置。 - 上記認識学習手段は、
ガボア・フィルタを用いて上記物体の特徴を抽出し、
当該抽出した物体の特徴に基づき、サポート・ベクター・マシーン（ＳＶＭ）を用いて上記認証対象の物体が予め記憶された物体であるか否かを認識する
請求項１に記載の物体認識装置。 - 認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、上記保持した認証対象の物体を、上記撮像手段に対する上記所定の空間位置において所定角度ごとに回転させることにより、上記撮像手段に上記所定角度ごとに上記保持した認証対象の物体を撮像させる保持ステップと、
上記撮像手段によって上記所定角度ごとに撮像された複数の画像情報からそれぞれ生成され上記認証対象の物体の上記所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の上記所定角度ごとの複数の特徴情報とに基づいて上記認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには上記認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習ステップと
を有する物体認識方法。 - 周囲を撮像する撮像手段と、
認証対象の物体を、上記撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、上記保持した認証対象の物体を、上記撮像手段に対する上記所定の空間位置において所定角度ごとに回転させることにより、上記撮像手段に上記所定角度ごとに上記保持した認証対象の物体を撮像させる保持手段と、
上記撮像手段によって上記所定角度ごとに撮像された複数の画像情報からそれぞれ生成され上記認証対象の物体の上記所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の上記所定角度ごとの複数の特徴情報とに基づいて上記認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには上記認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段と
を有するロボット装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151616A JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151616A JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003346152A JP2003346152A (ja) | 2003-12-05 |
| JP4164737B2 true JP4164737B2 (ja) | 2008-10-15 |
Family
ID=29769132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002151616A Expired - Fee Related JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4164737B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101811626B (zh) * | 2010-02-08 | 2013-01-02 | 广州御新软件有限公司 | 挖钞模块驱动机构 |
| EP3239878A1 (en) | 2012-02-24 | 2017-11-01 | Nant Holdings IP LLC | Content activation via interaction-based authentication, systems and method |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4439927B2 (ja) * | 2004-01-19 | 2010-03-24 | 三菱電機株式会社 | 検出対象識別装置 |
| JP4217664B2 (ja) * | 2004-06-28 | 2009-02-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP2006167902A (ja) * | 2004-12-20 | 2006-06-29 | Yaskawa Electric Corp | 双腕ロボットの制御装置および制御方法 |
| US7248952B2 (en) * | 2005-02-17 | 2007-07-24 | Northrop Grumman Corporation | Mixed integer linear programming trajectory generation for autonomous nap-of-the-earth flight in a threat environment |
| JP4877810B2 (ja) * | 2007-04-02 | 2012-02-15 | 株式会社国際電気通信基礎技術研究所 | 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム |
| EP2249286A1 (en) * | 2009-05-08 | 2010-11-10 | Honda Research Institute Europe GmbH | Robot with vision-based 3D shape recognition |
| US8706299B2 (en) * | 2011-08-02 | 2014-04-22 | GM Global Technology Operations LLC | Method and system for controlling a dexterous robot execution sequence using state classification |
| JP5895569B2 (ja) * | 2012-02-08 | 2016-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP6164319B2 (ja) * | 2016-03-02 | 2017-07-19 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP7051287B2 (ja) | 2016-12-05 | 2022-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、および情報処理方法 |
| JP6705738B2 (ja) | 2016-12-05 | 2020-06-03 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、およびプログラム |
| CN110945537B (zh) * | 2017-07-28 | 2023-09-22 | 索尼互动娱乐股份有限公司 | 训练装置、识别装置、训练方法、识别方法和程序 |
| KR102193329B1 (ko) * | 2019-03-27 | 2020-12-22 | 한국원자력 통제기술원 | 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법 |
| US11584004B2 (en) | 2019-12-17 | 2023-02-21 | X Development Llc | Autonomous object learning by robots triggered by remote operators |
-
2002
- 2002-05-24 JP JP2002151616A patent/JP4164737B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101811626B (zh) * | 2010-02-08 | 2013-01-02 | 广州御新软件有限公司 | 挖钞模块驱动机构 |
| EP3239878A1 (en) | 2012-02-24 | 2017-11-01 | Nant Holdings IP LLC | Content activation via interaction-based authentication, systems and method |
| EP3413222A1 (en) | 2012-02-24 | 2018-12-12 | Nant Holdings IP, LLC | Content activation via interaction-based authentication, systems and method |
| US10432601B2 (en) | 2012-02-24 | 2019-10-01 | Nant Holdings Ip, Llc | Content activation via interaction-based authentication, systems and method |
| US10841292B2 (en) | 2012-02-24 | 2020-11-17 | Nant Holdings Ip, Llc | Content activation via interaction-based authentication, systems and method |
| US11503007B2 (en) | 2012-02-24 | 2022-11-15 | Nant Holdings Ip, Llc | Content activation via interaction-based authentication, systems and method |
| US12015601B2 (en) | 2012-02-24 | 2024-06-18 | Nant Holdings Ip, Llc | Content activation via interaction-based authentication, systems and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003346152A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4164737B2 (ja) | 物体認識装置及び方法並びにロボット装置 | |
| US7369686B2 (en) | Robot apparatus, face recognition method, and face recognition apparatus | |
| US20210197384A1 (en) | Robot control method and apparatus and robot using the same | |
| Ruesch et al. | Multimodal saliency-based bottom-up attention a framework for the humanoid robot icub | |
| Van den Bergh et al. | Real-time 3D hand gesture interaction with a robot for understanding directions from humans | |
| Fang et al. | Adaptive active visual servoing of nonholonomic mobile robots | |
| US20170266019A1 (en) | Control of Limb Device | |
| JP4329398B2 (ja) | 顔検出装置及び方法、並びにプログラム及び記録媒体 | |
| JP4526639B2 (ja) | 顔認識装置およびその方法 | |
| WO2022227664A1 (zh) | 机器人姿态的控制方法、机器人、存储介质及计算机程序 | |
| CN106625673A (zh) | 狭小空间装配系统及装配方法 | |
| JP2003271933A (ja) | 顔検出装置及び顔検出方法並びにロボット装置 | |
| Metta et al. | Learning to track colored objects with log-polar vision | |
| JP2008009999A (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置 | |
| Ude et al. | Making object learning and recognition an active process | |
| CN110060295A (zh) | 目标定位方法及装置、控制装置、跟随设备及存储介质 | |
| CN109531578B (zh) | 仿人机械手臂体感控制方法及装置 | |
| CN107756402A (zh) | 一种基于深度学习的智能型避障抓取系统 | |
| WO2017179136A1 (ja) | 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム | |
| Welke et al. | Active multi-view object search on a humanoid head | |
| CN210121851U (zh) | 一种机器人 | |
| CN115890693A (zh) | 一种基于沉浸式感知和仿生控制的移动排爆装置及方法 | |
| Boehme et al. | Person localization and posture recognition for human-robot interaction | |
| Gomes et al. | Towards real time data reduction and feature abstraction for robotics vision | |
| Su | Vision Based Surgical Tool Tracking and Force Estimation with Robot Kinematics Prior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080501 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080610 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080703 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |