JP4193098B2

JP4193098B2 - TRACKING DEVICE, TRACKING DEVICE TRACKING METHOD, AND ROBOT DEVICE

Info

Publication number: JP4193098B2
Application number: JP2002211408A
Authority: JP
Inventors: 献太河本; 浩太郎佐部; 厚志大久保; 正樹福地
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-19
Filing date: 2002-07-19
Publication date: 2008-12-10
Anticipated expiration: 2022-07-19
Also published as: JP2004054610A

Description

【０００１】
【発明の属する技術分野】
本発明はトラッキング装置、トラッキング装置のトラッキング方法及びロボット装置に関し、例えばエンターテインメントロボットに適用して好適なものである。
【０００２】
【従来の技術】
近年、エンターテインメントロボットの開発及び商品化が盛んに行われている。そして、このようなエンターテインメントロボットとして、ＣＣＤカメラ、マイクロホン及びタッチセンサ等の各種センサが搭載され、これらセンサの出力に基づいて外部環境やユーザからの働きかけの有無を判断し、当該判断結果に基づいて自律的に行動し得るようになされたものが本願出願人により商品化されている。
【０００３】
【発明が解決しようとする課題】
ところで、かかるエンターテインメントロボットのように、外部環境等に応じて行動するロボットにおいて、最も多くの情報を与える外部センサは、通常、ＣＣＤカメラ等の視覚センサであり、中でも色情報の利用は、その低い計算コストからこれまでも盛んに行われてきた。
【０００４】
実際上、エンターテインメントロボットにおいては、インタラクションのためにユーザ（人）を発見できることが決定的に重要であり、そのようなタスクにおけるキューとして「色」が広く利用されている。これは、かかるタスクのキューとして「視差」や「テクスチャ（模様、構造）」等の情報を利用する場合に比べて計算コスト的に有利であり、また例えば「動き」情報に比べてノイズが少なく安定した処理を行えるという理由によるものである。
【０００５】
しかし、その一方で、色情報には対象依存の面が強く、例えば動き情報を用いた場合の「一定以上の速さをもつ物体を抽出する」などのような、対象に依存しない指定が難しい。このため色情報を利用したユーザの発見及び追従（トラッキング）のタスクでは、動作環境、特に照明条件の影響を非常に受け易いという欠点を抱えていた。
【０００６】
かかる欠点を補うため、環境の変化を補償できるだけの処理を組み込むことも考えられるが、この方法によると、処理速度が犠牲となる問題があり、また、そもそも太陽光から室内光までの幅広い照明環境のいずれにおいても特定対象を確実にトラッキングするためには「色の恒常性」という未だに解かれていない問題に対処する技術が必要となる。
【０００７】
このため現状では、ある特定範囲の環境条件でのみ動作を保証するか、逆に精度を犠牲にして広い範囲の条件で概ね動作するようにコントロールするのが精一杯であった。
【０００８】
またカラートラッキングは、処理コストが低いとはいえ、同時に多数のターゲットを追跡しようとした場合、トータルでの処理コストが線形に増加し、実時間内に処理が完了しないことも十分あり得る。
【０００９】
このため従来は、同時にトラッキングできるターゲット数を制限するなどの方法によって実時間性を保ってきたが、この視覚処理モジュール外の処理負荷によってトラッキングの性能が左右される危険があり、根本的な解決方法とは言い得ない問題があった。
【００１０】
本発明は以上の点を考慮してなされたもので、実時間性を保証しつつ複数のトラッキング対象を確実にトラッキングし得るトラッキング装置、トラッキング装置のトラッキング方法及びロボット装置を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、撮像手段から供給される第１の画像データに基づき画像内に存在するトラッキング対象を当該画像内において追従するトラッキング処理を行なうトラッキング装置において、第１の画像データに対し所定のフィルタリング処理を行なうことにより、当該第１の画像データとはそれぞれ異なる複数の解像度を有する第２の画像データを生成する画像データ生成手段と、第１の画像データに存在するトラッキング対象のうち、指定されたトラッキング対象については、指定された処理頻度で行う第１のループによるトラッキング処理を行い、指定されていないトラッキング対象については、第１のループとは当該処理頻度が異なる第２のループによるトラッキング処理を行うトラッキング処理手段とを具え、トラッキング処理手段は、指定されたトラッキング対象については、指定された解像度を有する第２の画像データを用い、指定された処理頻度でトラッキング処理を実行するようにした。
【００１２】
この結果このトラッキング装置では、指定されたトラッキング対象については実時間を保証した精度の良いトラッキングを行うことができる。
【００１３】
また本発明においては、トラッキング装置のトラッキング方法において、トラッキング装置は、撮像手段から供給される第１の画像データに対し所定のフィルタリング処理を行なうことにより、当該第１の画像データとはそれぞれ異なる複数の解像度を有する第２の画像データを生成する画像データ生成ステップと、第１の画像データに存在するトラッキング対象のうち、指定されたトラッキング対象については、指定された処理頻度で行う第１のループによるトラッキング処理を行い、指定されていないトラッキング対象については、第１のループとは当該処理頻度が異なる第２のループによるトラッキング処理を行うトラッキング処理ステップとを具え、トラッキング処理ステップは、指定されたトラッキング対象については、指定された上記解像度を有する第２の画像データを用い、指定された処理頻度でトラッキング処理を実行するようにした。
【００１４】
この結果このトラッキング方法によれば、指定されたトラッキング対象については実時間を保証した精度の良いトラッキングを行うことができる。
【００１５】
さらに本発明においては、ロボット装置において、撮像手段から供給される第１の画像データに対し所定のフィルタリング処理を行なうことにより、当該第１の画像データとはそれぞれ異なる複数の解像度を有する第２の画像データを生成する画像データ生成手段と、第１の画像データに存在するトラッキング対象のうち、指定されたトラッキング対象については、指定された処理頻度で行う第１のループによるトラッキング処理を行い、指定されていないトラッキング対象については、第１のループとは当該処理頻度が異なる第２のループによるトラッキング処理を行うトラッキング処理手段とを具え、トラッキング処理手段は、指定されたトラッキング対象については、指定された解像度を有する第２の画像データを用い、指定された上記処理頻度でトラッキング処理を実行するようにした。
【００１６】
この結果このロボット装置では、指定されたトラッキング対象については実時間を保証した精度の良いトラッキングを行うことができる。
【００１７】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１８】
（１）本実施の形態によるロボットの構成
（１−１）ロボットの構成
図１において、１は全体として本実施の形態によるロボットを示し、胴体部ユニット２の前後左右にそれぞれ脚部ユニット３Ａ〜３Ｄが連結されると共に、胴体部ユニット２の前端部及び後端部にそれぞれ頭部ユニット４及び尻尾部ユニット５が連結されることにより構成されている。
【００１９】
胴体部ユニット２には、図２に示すように、ＣＰＵ（Central Processing Unit）１０、ＤＲＡＭ（Dynamic Random Access Memory）１１、フラッシュＲＯＭ（Read Only Memory）１２、ＰＣ（Personal Computer）カードインターフェース１３及び信号処理回路１４が内部バス１５を介して相互に接続されることにより形成されたコントロール部１６と、このロボット１の動力源としてのバッテリ１７とが収納されている。また胴体部ユニット２には、ロボット１の向きや動きの加速度を検出するための角加速度センサ１８及び加速度センサ１９なども収納されている。
【００２０】
また頭部ユニット４には、このロボット１の「耳」に相当するマイクロホン１６、「目」に相当するＣＣＤ（Charge Coupled Device ）カメラ１７、距離センサ１８、フェイスタッチセンサ１９及びヘッドタッチセンサ２０などの各種センサと、「口」に相当するスピーカ２１となどがそれぞれ所定位置に配置されると共に、頂上部にリトラクタブルヘッドライト２２が飛出し及び収納自在に配置され、かつ中段部の周囲に沿って一定間隔で複数のＬＥＤ２３が配設されている。
【００２１】
さらに各脚部ユニット３Ａ〜３Ｄの膝関節や、各脚部ユニット３Ａ〜３Ｄ及び胴体部ユニット２をそれぞれ連結する各肩関節、頭部ユニット４及び胴体部ユニット２を連結する首関節、並びにリトラクタブルヘッドライト２２の開閉駆動部（図示せず）などには、それぞれ自由度数分や必要数のアクチュエータ２４_１〜２４_ｎ及びこれらアクチュエータ２４_１〜２４_ｎとそれぞれ対をなすポテンショメータ２５_１〜２５_ｎが配設されている。
【００２２】
そしてこれら角速度センサ１８、加速度センサ１９、タッチセンサ２１、距離センサ２２、マイクロホン２３、スピーカ２４、ＬＥＤ、各アクチュエータ２５（２５_１、２５_２、２５_３……）及び各ポテンショメータ２６（２６_１、２６_２、２６_３……）は、それぞれハブ２７（２７_１〜２７_ｎ）を介してコントロール部１６の信号処理回路１４にツリー状に接続されている。またＣＣＤカメラ２０及びバッテリ１７は、それぞれ信号処理回路１４と直接接続されている。
【００２３】
このとき信号処理回路１４は、角速度センサ１８、加速度センサ１９、タッチセンサ２１、距離センサ２２及び各ポテンショメータ２６（２６_１、２６_２、２６_３……）等の各種センサからそれぞれハブ２７（２７_１〜２７_ｎ）を介して供給されるセンサデータや、ＣＣＤカメラ２０から供給される画像データ及びマイクロホン２３から与えられる音声データを順次取り込み、これらをそれぞれ内部バス１５を介してＤＲＡＭ１１内の所定位置に順次格納する。また信号処理回路１４は、バッテリ１７から供給されるバッテリ残量を表すバッテリ残量データを順次取り込み、これをＤＲＡＭ１１内の所定位置に格納する。
【００２４】
そしてこのようにＤＲＡＭ１１に格納された各センサデータ、画像データ、音声データ及びバッテリ残量データは、この後ＣＰＵ１０がこのロボット１の動作制御を行う際に利用される。
【００２５】
実際上ＣＰＵ１０は、ロボット１の電源が投入された初期時、胴体部ユニット２の図示しないＰＣカードスロットに装填されたメモリカード２８又はフラッシュＲＯＭ１２に格納された制御プログラムをＰＣカードインターフェース１３を介して直接読み出し、これをＤＲＡＭ１１に展開する。
【００２６】
またＣＰＵ１０は、この後上述のように信号処理回路１４よりＤＲＡＭ１１に順次格納される各種センサデータ、画像データ、音声データ及びバッテリ残量データに基づいて自己及び周囲の状況や、ユーザからの指示及び働きかけの有無などを判断する。
【００２７】
さらにＣＰＵ１０は、この判断結果及びＤＲＡＭ１１に展開した制御プログラムに基づいて続く行動を決定すると共に、当該決定結果に応じた第１の駆動信号を生成してこれを必要なアクチュエータ２５（２５_１、２５_２、２５_３……）に送出することにより、頭部ユニット４を上下左右に振らせたり、尻尾部ユニット５の尻尾５Ａを動かせたり、各脚部ユニット３Ａ〜３Ｄを駆動させて歩行させるなどの行動を行わせる。
【００２８】
またこの際ＣＰＵ１０は、必要に応じて音声信号や第２の駆動信号を生成し、これらを信号処理回路１４を介してスピーカ２４や「目」のＬＥＤに与えることにより、当該音声信号に基づく音声を外部に出力させたり、第２の駆動信号に基づいて当該ＬＥＤを所定パターンで点滅させる。
【００２９】
このようにしてこのロボット１においては、自己及び周囲の状況や、ユーザからの指示及び働きかけ等に応じて自律的に行動し得るようになされている。
【００３０】
なお信号処理回路１４の具体構成を図３に示す。この図３からも明らかなように、信号処理回路１４は、ＤＭＡ（Direct Memory Access）コントローラ３０、ＤＳＰ（Digital Signal Processor）３１、ペリフェラルインターフェース３２、タイマ３３、ＦＢＫ／ＣＤＴ（Filter Bank/Color Detection）３４、ＩＰＥ（Inner Product Engine）３５、シリアルバスホストコントローラ３６及びシリアルバス３７がバス３８及び当該バス３８の使用権の調停を行うバスアービタ３９を順次介してバス４０に接続されると共に、当該バス４０がそれぞれＤＲＡＭインターフェース４１、ホストインターフェース４２及びＲＯＭインターフェース４３を介してＤＲＡＭ１１（図２）、ＣＰＵ１０（図２）及びフラッシュＲＯＭ１２（図２）と接続され、かつペリフェラルインターフェース３２にパラレルポート４４、バッテリマネージャ４５及びシリアルポート４６が接続されることにより構成されている。
【００３１】
この場合図２について上述した角速度センサ１８、加速度センサ１９、タッチセンサ２１、距離センサ２２、マイクロホン２３、スピーカ２４、各アクチュエータ２５（２５_１、２５_２、２５_３……）及び各ポテンショメータ２６（２６_１、２６_２、２６_３……）等のデバイスは、それぞれハブ２７（２７_１〜２７_ｎ）を介してシリアルホストコントローラ３６と接続されると共に、ＣＣＤカメラ２０（図２）はＦＢＫ／ＣＤＴ３４と接続され、かつバッテリ１７（図２）はバッテリマネージャ４５と接続されている。
【００３２】
そしてシリアルホストコントローラ３６は、接続された各デバイスのうち、角速度センサ１８、加速度センサ１９、タッチセンサ２１、距離センサ２２及び各ポテンショメータ２６（２６_１、２６_２、２６_３……）等の各センサからそれぞれ与えられるセンサデータを順次取り込み、データの転送を司るバスマスタとして機能するＤＭＡコントローラ３０の制御のもとに、これらセンサデータをバス３８、バスアービタ３９、バス４０及びＤＲＡＭインターフェース４１を順次介してＤＲＡＭ１１に与えて記憶させる。
【００３３】
またシリアルホストコントローラ３６は、マイクロホン２３から与えられる音声データをＤＳＰ３１に送出すると共に、ＤＳＰ３１は、この音声データに対して所定の信号処理を施し、その処理結果でなる音声データを、ＤＭＡコントローラ３０の制御のもとに、バス３８、バスアービタ３９、バス４０及びＤＲＡＭインターフェース４１を順次介してＤＲＡＭ１１に転送し、これを当該ＤＲＡＭ１１内の所定の記憶領域に格納する。
【００３４】
さらにＦＢＫ／ＣＤＴ３４は、ＣＣＤカメラ２０から供給される画像データに基づいて、解像度の異なる複数の画像データを生成すると共に、これら画像データに基づく各画像について予め設定された色の抽出処理を行い、当該処理結果及び各解像度の画像データを、ＤＭＡコントローラ３０の制御のもとに、バス３８、バスアービタ３９、バス４０及びＤＲＡＭインターフェース４１を順次介してＤＲＡＭ１１（図２）に転送し、これを後述のように当該ＤＲＡＭ１１内の指定された記憶領域に格納する。
【００３５】
さらにバッテリマネージャ４５は、バッテリ１７から通知されるエネルギ残量を表すバッテリ残量データを、ＤＭＡコントローラ３０の制御のもとに、ペリフェラルインターフェース３２、バス３８、バスアービタ３９、バス４０及びＤＲＡＭインターフェース４１を順次介してＤＲＡＭ１１に転送し、これを当該ＤＲＡＭ１１内の所定の記憶領域に格納する。
【００３６】
一方、信号処理回路１４は、上述のようにＣＰＵ１０（図２）からバス１５（図２）を介して与えられる各アクチュエータ２５（２５_１、２５_２、２５_３……）を駆動するための第１の駆動信号や、音声信号及びＬＥＤを駆動するための第２の駆動信号をホストインターフェース４２を介して入力する。
【００３７】
そして信号処理回路１４は、これらをバス４０、バスアービタ３９、バス３８及びシリアルバスホストコントローラ３７並びに対応するハブ２７（２７_１〜２７_ｎ）（図２）を順次介して対応するアクチュエータ２５（２５_１、２５_２、２５_３……）（図２）や、スピーカ２４（図２）又はＬＥＤに送出する。
【００３８】
このようにして信号処理回路１４においては、各センサ、ＣＣＤカメラ２０、マイクロホン２３、スピーカ２４、各アクチュエータ２５（２５_１、２５_２、２５_３……）などの各デバイスと、ＣＰＵ１０との間において、ＣＰＵ１０がロボット１の行動を制御するために必要な各種信号処理を行い得るようになされている。
【００３９】
（１−２）制御プログラムのソフトウェア構成
次に、このロボット１における制御プログラムのソフトウェア構成について説明する。
【００４０】
図４は、ロボット１における上述の制御プログラムのソフトウェア構成を示すものである。この図４において、デバイス・ドライバ・レイヤ５０は、この制御プログラムの最下位層に位置し、複数のデバイス・ドライバからなるデバイス・ドライバ・セット５１から構成されている。この場合各デバイス・ドライバは、ＣＣＤカメラ２０（図２）やタイマ等の通常のコンピュータで用いられるハードウェアに直接アクセスすることを許されたオブジェクトであり、対応するハードウェアからの割り込みを受けて処理を行う。
【００４１】
またロボティック・サーバ・オブジェクト５２は、デバイス・ドライバ・レイヤ５０の上位層に位置し、例えば上述の各種センサやアクチュエータ２５（２５₁〜２５ｎ等のハードウェアにアクセスするためのインターフェースを提供するソフトウェア群でなるバーチャル・ロボット５３と、電源の切換えなどを管理するソフトウェア群でなるパワーマネージャ５４と、他の種々のデバイス・ドライバを管理するソフトウェア群でなるデバイス・ドライバ・マネージャ５５と、ロボット１の機構を管理するソフトウェア群でなるデザインド・ロボット５６とから構成されている。
【００４２】
マネージャ・オブジェクト５７は、オブジェクト・マネージャ５８及びサービス・マネージャ５９から構成されている。この場合オブジェクト・マネージャ５８は、ロボティック・サーバ・オブジェクト５２、ミドル・ウェア・レイヤ６０、及びアプリケーション・レイヤ６１に含まれる各ソフトウェア群の起動や終了を管理するソフトウェア群であり、サービス・マネージャ５９は、メモリカード２８（図２）に格納されたコネクションファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウェア群である。
【００４３】
ミドル・ウェア・レイヤ６０は、ロボティック・サーバ・オブジェクト５２の上位層に位置し、画像処理や音声処理などのこのロボット１の基本的な機能を提供するソフトウェア群から構成されている。またアプリケーション・レイヤ６１は、ミドル・ウェア・レイヤ６０の上位層に位置し、当該ミドル・ウェア・レイヤ４０を構成する各ソフトウェア群によって処理された処理結果に基づいてロボット１の行動を決定するためのソフトウェア群から構成されている。
【００４４】
なおミドル・ウェア・レイヤ６０及びアプリケーション・レイヤ６１の具体なソフトウェア構成をそれぞれ図５及び図６に示す。
【００４５】
ミドル・ウェア・レイヤ６０においては、図５からも明らかなように、音階認識用、距離検出用、姿勢検出用、タッチセンサ用、動き検出用及び色認識用の各信号処理モジュール７０〜７５並びに入力セマンティクスコンバータモジュール７６などを有する認識系７７と、出力セマンティクスコンバータモジュール７７並びに姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰、ＬＥＤ点灯用及び音再生用の各信号処理モジュール７８〜８４などを有する出力系８５とから構成されている。
【００４６】
この場合認識系７７の各信号処理モジュール７０〜７５は、ロボティック・サーバ・オブジェクト５２のバーチャル・ロボット５３によりＤＲＡＭ１１（図２）から読み出される各センサデータや画像データ及び音声データのうちの対応するデータを取り込み、当該データに基づいて所定の処理を施して、処理結果を入力セマンティクスコンバータモジュール７６に与える。
【００４７】
入力セマンティクスコンバータモジュール７６は、これら各信号処理モジュール７０〜７５から与えられる処理結果に基づいて、「ボールを検出した」、「転倒を検出した」、「撫でられた」、「叩かれた」、「ドミソの音階が聞こえた」、「動く物体を検出した」又は「障害物を検出した」などの自己及び周囲の状況や、ユーザからの指令及び働きかけを認識し、認識結果をアプリケーション・レイヤ６１（図４）に出力する。
【００４８】
アプリケーション・レイヤ６１においては、図６に示すように、行動モデルライブラリ９０、行動切換えモジュール９１、学習モジュール９２、感情モデル９３及び本能モデル９４の５つのモジュールから構成されている。
【００４９】
この場合行動モデルライブラリ９０には、図７に示すように、「バッテリ残量が少なくなった場合」、「転倒復帰する場合」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」などの予め選択されたいくつかの条件項目にそれぞれ対応させて、それぞれ独立した行動モデル９０_１〜９０_ｎが設けられている。
【００５０】
そしてこれら行動モデル９０_１〜９０_ｎは、それぞれ入力セマンティクスコンバータモジュール７６から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、必要に応じて後述のように感情モデル９３に保持されている対応する情動のパラメータ値や、本能モデル９４に保持されている対応する欲求のパラメータ値を参照しながら続く行動をそれぞれ決定し、決定結果を行動切換えモジュール９１に出力する。
【００５１】
なおこの実施の形態の場合、各行動モデル９０_１〜９０_ｎは、次の行動を決定する手法として、図８に示すような１つのノード（状態）ＮＯＤＥ_０〜ＮＯＤＥ_ｎから他のどのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移するかを各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎ間を接続するアークＡＲＣ_１〜ＡＲＣ_ｎ ₊ _１に対してそれぞれ設定された遷移確率Ｐ_１〜Ｐ_ｎ ₊ _１に基づいて確率的に決定する確率オートマトンと呼ばれるアルゴリズムを用いる。
【００５２】
具体的に、各行動モデル９０_１〜９０_ｎは、それぞれ自己の行動モデル９０_１〜９０_ｎを形成する各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにそれぞれ対応させて、これらノードＮＯＤＥ_０〜ＮＯＤＥ_ｎごとの図９に示すような状態遷移表１００を有している。
【００５３】
この状態遷移表１００では、そのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の行に優先順に列記され、その遷移条件についてのさらなる条件が「データ名」及び「データ範囲」の行における対応する列に記述されている。
【００５４】
従って図９の状態遷移表１００で表されるノードＮＯＤＥ_１００では、「ボールを検出（ＢＡＬＬ）」という認識結果が与えられた場合に、当該認識結果と共に与えられるそのボールの「大きさ（ＳＩＺＥ）」が「０から1000」の範囲であることや、「障害物を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与えられた場合に、当該認識結果と共に与えられるその障害物までの「距離（ＤＩＳＴＡＮＣＥ）」が「０から100 」の範囲であることが他のノードに遷移するための条件となっている。
【００５５】
またこのノードＮＯＤＥ_１００では、認識結果の入力がない場合においても、行動モデル９０_１〜９０_ｎが周期的に参照する感情モデル９３及び本能モデル９４にそれそれ保持された各情動及び各欲求のパラメータ値のうち、感情モデル９３に保持された「喜び（ＪＯＹ）」、「驚き（ＳＵＲＰＲＩＳＥ）」若しくは「悲しみ（ＳＵＤＮＥＳＳ）」のいずれかのパラメータ値が「50から100 」の範囲であるときには他のノードに遷移することができるようになっている。
【００５６】
また状態遷移表１００では、「他のノードへの遷移確率」の欄における「遷移先ノード」の列にそのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎから遷移できるノード名が列記されると共に、「入力イベント名」、「データ値」及び「データの範囲」の行に記述された全ての条件が揃ったときに遷移できる他の各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎへの遷移確率が「他のノードへの遷移確率」の欄内の対応する箇所にそれぞれ記述され、そのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移する際に出力すべき行動が「他のノードへの遷移確率」の欄における「出力行動」の行に記述されている。なお「他のノードへの遷移確率」の欄における各行の確率の和は100 〔％〕となっている。
【００５７】
従って図９の状態遷移表１００で表されるノードＮＯＤＥ_１００では、例えば「ボールを検出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大きさ）」が「０から1000」の範囲であるという認識結果が与えられた場合には、「30〔％〕」の確率で「ノードＮＯＤＥ_１２０（node 120）」に遷移でき、そのとき「ＡＣＴＩＯＮ１」の行動が出力されることとなる。
【００５８】
そして各行動モデル９０_１〜９０_ｎは、それぞれこのような状態遷移表１００として記述されたノードＮＯＤＥ_０〜ＮＯＤＥ_ｎがいくつも繋がるようにして構成されており、入力セマンティクスコンバータモジュール７６から認識結果が与えられたときなどに、対応するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎの状態遷移表１００を利用して確率的に次の行動を決定し、決定結果を行動切換えモジュール９１に出力するようになされている。
【００５９】
行動切換えモジュール９１は、行動モデルライブラリ９０の各行動モデル９０_１〜９０_ｎからそれぞれ出力される行動のうち、予め定められた優先順位の高い行動モデル９０_１〜９０_ｎから出力された行動を選択し、当該行動を実行すべき旨のコマンド（以下、これを行動コマンドと呼ぶ）をミドル・ウェア・レイヤ６０の出力セマンティクスコンバータ７７に送出する。なおこの実施の形態においては、図７において下側に表記された行動モデル９０_１〜９０_ｎほど優先順位が高く設定されている。
【００６０】
また行動切換えモジュール９１は、行動完了後に出力セマンティクスコンバータ７７から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール９２、感情モデル９３及び本能モデル９４に通知する。
【００６１】
一方、学習モジュール９２は、入力セマンティクスコンバータ７６から与えられる認識結果のうち、「叩かれた」や「撫でられた」など、ユーザからの働きかけとして受けた教示の認識結果を入力する。
【００６２】
そして学習モジュール９２は、この認識結果及び行動切換えモジュール９１からの通知に基づいて、「叩かれた（叱られた）」ときにはその行動の発現確率を低下させ、「撫でられた（誉められた）」ときにはその行動の発現確率を増加させるように、行動モデルライブラリ７０における対応する行動モデル９０_１〜９０_ｎの対応する遷移確率を変更する。
【００６３】
他方、感情モデル９３は、「喜び（joy ）」、「悲しみ（sadness ）」、「怒り（anger ）」、「驚き（surprise）」、「嫌悪（disgust ）」及び「恐れ（fear）」の合計６つの情動について、情動ごとにその情動の強さを表すパラメータを保持している。そして感情モデル９３は、これら各情動のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール７６から与えられる「叩かれた」及び「撫でられた」などの特定の認識結果と、経過時間及び行動切換えモジュール９１からの通知となどに基づいて順次更新するようになされている。
【００６４】
具体的に感情モデル９３は、入力セマンティクスコンバータ７６からの認識結果及びそのときのロボット１の行動がその情動に対して作用する度合い（予め設定されている）と、本能モデル９４が保持している各欲求のパラメータ値及びそのときのロボット１の行動がその情動に対して作用する度合い（予め設定されている）と、他の情動から受ける抑制及び刺激の度合いと、経過時間となどに基づいて所定の演算式により算出されるその情動の変動量をΔＥ〔ｔ〕、現在のその情動のパラメータ値をＥ〔ｔ〕、認識結果等に応じてその情動を変化させる割合（以下、これを感度と呼ぶ）を表す係数をｋ_ｅとして、所定周期で次式
【００６５】
【数１】

【００６６】
を用いて次の周期におけるその情動のパラメータ値Ｅ〔ｔ＋１〕を算出する。
【００６７】
そして感情モデル９３は、この演算結果を現在のその情動のパラメータ値Ｅ〔ｔ〕と置き換えるようにしてその情動のパラメータ値を更新する。なお各認識結果や行動切換えモジュール９１からの通知に対してどの情動のパラメータ値を更新するかは予め決められており、例えば「叩かれた」といった認識結果が与えられた場合には「怒り」の情動のパラメータ値が上がり、「撫でられた」といった認識結果が与えられた場合には「喜び」の情動のパラメータ値が上がる。
【００６８】
これに対して本能モデル７４は、「運動欲（exercise）」、「愛情欲（affection）」、「食欲（appetite）」及び「好奇心（curiosity ）」の互いに独立した４つの欲求について、これら欲求ごとにその欲求の強さを表すパラメータを保持している。そして本能モデル９４は、これら欲求のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール７６から与えられる認識結果や、経過時間及び行動切換えモジュール９１からの通知などに基づいて順次更新するようになされている。
【００６９】
具体的に本能モデル９４は、「運動欲」、「愛情欲」及び「好奇心」については、ロボット１の行動出力、経過時間及び認識結果などに基づいて所定の演算式により算出されるその欲求の変動量をΔＩ〔ｋ〕、現在のその欲求のパラメータ値をＩ〔ｋ〕、その欲求の感度を表す係数をｋ_ｉとして、所定周期で次式
【００７０】
【数２】

【００７１】
を用いて次の周期におけるその欲求のパラメータ値Ｉ〔ｋ＋１〕を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ〔ｋ〕と置き換えるようにしてその欲求のパラメータ値を更新する。なお行動出力や認識結果等に対してどの欲求のパラメータ値を変化させるかは予め決められており、例えば行動切換えモジュール７１からの通知（行動を行ったとの通知）があったときには「運動欲」のパラメータ値が下がる。
【００７２】
また本能モデル９４は、「食欲」については、入力セマンティクスコンバータモジュール７６を介して与えられるバッテリ残量データに基づいて、バッテリ残量をＢ_Ｌとして、所定周期で次式
【００７３】
【数３】

【００７４】
により「食欲」のパラメータ値Ｉ〔ｋ〕を算出し、この演算結果を現在の食欲のパラメータ値Ｉ〔ｋ〕と置き換えるようにして当該「食欲」のパラメータ値を更新する。
【００７５】
なお本実施の形態においては、各情動及び各欲求のパラメータ値がそれぞれ０から100 までの範囲で変動するように規制されており、また係数ｋ_ｅ、ｋ_ｉの値も情動ごと及び欲求ごとにそれぞれ個別に設定されている。
【００７６】
一方、ミドル・ウェア・レイヤ４０の出力セマンティクスコンバータモジュール７７は、図５に示すように、上述のようにしてアプリケーション・レイヤ６１の行動切換えモジュール９１から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラッキング」といった抽象的な行動コマンドを出力系８５の対応する信号処理モジュール７８〜８４に与える。
【００７７】
そしてこれら信号処理モジュール７８〜８４は、行動コマンドが与えられると当該行動コマンドに基づいて、その行動を行うために対応するアクチュエータ２５_１〜２５_ｎ（図２）に与えるべきサーボ指令値や、スピーカ２４（図２）から出力する音の音声データ及び又は「目」のＬＥＤに与える駆動データを生成し、これらのデータをロボティック・サーバ・オブジェクト５２のバーチャル・ロボット５３及び信号処理回路１４（図２）を順次介して対応するアクチュエータ２５_１〜２５_ｎ、スピーカ２４又はＬＥＤに順次送出する。
【００７８】
このようにしてこのロボット１においては、制御プログラムに基づいて、自己及び周囲の状況や、ユーザからの指示及び働きかけに応じた自律的な行動を行うことができるようになされている。
【００７９】
（２）ロボット１におけるトラッキングシステム１１０の構成
（２−１）トラッキングシステム１１０の全体構成
次に、このロボット１におけるトラッキングシステム１１０の構成について説明する。
【００８０】
図１０は、このロボット１におけるトラッキングシステム１１０を示すものである。この図１０からも明らかなように、ロボット１においては、ＣＣＤカメラ２０（図２）から与えられる画像データをＦＢＫ３４Ａにおいてフィルタリングすることにより解像度の異なる複数種類の画像の画像データＤ１Ａ〜Ｄ１Ｃをそれぞれ生成し、これら画像データＤ１Ａ〜Ｄ１ＣをＭＣＴ（Multi-color Tracker）モジュール１１１に供給すると共に、このうち所定解像度の画像データＤ１ＢをＣＤＴ３４Ｂに供給するようになされている。
【００８１】
ＣＤＴ３４Ｂは、カラートラッキングに必要な色抽出処理の一部を行うために設けられた色抽出専用のハードウェアであり、供給される画像データＤ１Ｂに基づく画像から予めＭＣＴモジュール１１１により設定された８色を高速に抽出し、当該抽出結果を色抽出画像データＤ２としてＭＣＴモジュール１１１に送出する。
【００８２】
ＭＣＴモジュール１１１は、予めメモリカード２８に格納された制御プログラムに基づき、ＣＰＵ１０（図２）によって実行されるソフトウェアモジュールであり、図１０に示すように、パラメータリスト１１２及びターゲットリスト１１３を有している。
【００８３】
ここで、パラメータリスト１１２は、他のモジュールによって設定及び更新される当該ＭＣＴモジュール１１１のトラッキング処理に関する各種パラメータが記述されたリストであり、例えば図１１に示すように、当該ＭＣＴモジュール１１１が抽出すべき色のＩＤを表す「色ＩＤ（Color-ID）」や、注目すべきターゲットに対するトラッキングの優先度を表す「プライオリティ」、優先度の高いターゲット等をトラッキング処理する際にどの解像度の画像データを使用すべきか、またそのトラッキング処理をどのぐらいの頻度で行うかをそれぞれ表す「希望処理レイヤ」及び「希望処理頻度」等のパラメータが他のモジュールからの要求に応じて順次登録される。またパラメータリスト１１２には、ＭＣＴモジュール１１１が抽出できる各色の色モデルパラメータの初期値を表す「色空間パラメータ」等も予め登録されている。
【００８４】
これに対してターゲットリスト１１３は、そのときＦＢＫ３４Ａから供給される画像データＤ１Ａ〜Ｄ１Ｃに基づく画像内に存在している各ターゲットにそれぞれ対応させて設けられるリストであり、当該ターゲットの色や画像内における位置及び当該ターゲットに付与されたＩＤ等の属性情報が記述される。
【００８５】
そしてＭＣＴモジュール１１１は、これらパラメータリスト１１２に記述された各種パラメータ設定及び各ターゲットリスト１１３に記述された属性情報等に基づいて、当該ターゲットリスト１１３が作成された各ターゲットに対するトラッキング処理を実行する。
【００８６】
具体的に、ＭＣＴモジュール１１１は、これらターゲットリスト１１３が作成されたターゲットのうち、他のモジュールによりパラメータリスト１１２において「プライオリティ」、「希望処理レイヤ」及び「希望処理頻度」等が設定された注目すべき色（以下、これを注目色と呼ぶ）や注目すべきターゲット（以下、これを注目ターゲットと呼ぶ）については、トラッキングの探索範囲を制限した速いループで高速にトラッキング処理し、それ以外のターゲットについては画像全体を探索範囲とする全画面探索による遅いループでのトラッキング処理を実行する。
【００８７】
ただし、遅いループによるトラッキング処理では、最も解像度が低い画像の画像データを用い、さらにトラッキング処理の頻度をも抑えて行うようになされ、これによりトラッキングすべきターゲットが複数ある場合のＣＰＵの処理負荷を軽減し得るようになされている。
【００８８】
またＭＣＴモジュール１１１は、各ターゲットリスト１１３にそれぞれ記述されたそのターゲットの色の色モデルパラメータを過去の色モデルパラメータの観測結果に基づいて順次更新するようになされ、これによりターゲットの姿勢や位置関係の変化・照明条件の穏やかな変化などによる色の変動にも実用上十分に対応し得るようになされている。
【００８９】
ところが、照明条件等が急激に変化した場合、かかる枠組みだけでは対処しきれない。そこで、このトラッキングシステム１１０では、外部モジュールとの連帯により、特に肌色について、この問題に対処し得るようになされている。
【００９０】
具体的に、このトラッキングシステム１１０においては、照明条件の変動に伴うカラー画像の変化に影響を受け難い輝度情報にのみ依存して顔を検出する顔検出モジュール（図示せず）による顔検出結果が比較的低い頻度で定期的にＭＣＴモジュール１１１に与えられる。
【００９１】
そしてＭＣＴモジュール１１１は、この顔検出モジュールの顔検出結果を肌色領域の信頼すべき教師入力として、当該顔検出モジュールにより検出された領域の色分布を解析し、当該解析結果に基づいて現在の自己の肌色の色モデルパラメータを更新するようになされている。
【００９２】
このようにしてこのトラッキングシステム１１０においては、環境条件の急激な変化にも十分に対応でき、かくしてより一層と精度良くトラッキングを行い得るようになされている。
【００９３】
（２−２）ＭＣＴモジュール１１１の具体的処理
ここで、実際上、ＭＣＴモジュール１１１は、ロボット１の電源が投入された初期時、ＣＤＴ３４Ｂが予め定められた８色の色抽出処理を行うように当該ＣＤＴ３４Ｂを設定すると共に、上述の遅いループによるトラッキング処理の際の「希望処理レイヤ」、「希望処理頻度」及び「注目色」等として、それぞれ予め定められた初期設定値をパラメータリスト１１２に登録する。
【００９４】
なお、この実施の形態においては、遅いループでのトラッキング処理の「希望処理レイヤ」としては、最も低い解像度が設定され、「希望処理頻度」としては、３〜１０フレーム程度の頻度が設定される。またこの遅いループによるトラッキング処理は、画像内に現れる新たなターゲットを検出するための意味合いもあることから、遅いループでのトラッキング処理時の「注目色」として、顔検出のための肌色、ピンク色のボール検出のためのピンク色等が設定される。
【００９５】
そしてＭＣＴモジュール１１１は、この後他のモジュールからの要求に応じて、指定されたターゲット（注目ターゲット）の「プライオリティ」、「希望処理レイヤ」及び「希望処理頻度」など、指定された状態でのトラッキング処理を行うための各種パラメータを順次パラメータリスト１１２に登録する。
【００９６】
またＭＣＴモジュール１１１は、遅いループによるトラッキング処理時等に新たなターゲットを検出すると、そのターゲットに対するターゲットリスト１１３を作成して、当該ターゲットリスト１１３にそのときのそのターゲットの位置や大きさ及びそのターゲットの色の色モデルパラメータ（パラメータリスト１１２に記述された対応する色モデルパラメータの初期値）等を当該ターゲットの属性情報として記述すると共に、これらターゲットリスト１１３に記述された属性情報をその後のトラッキング処理結果に応じて順次更新する。
【００９７】
そしてＭＣＴモジュール１１１は、このようにして作成され、順次更新されるこれらパラメータリスト１１２及びターゲットリスト１１３に基づき、図に示すトラッキング処理手順ＲＴ１に従って、遅いループによるトラッキング処理及び速いループによるトラッキング処理を平行して実行する。
【００９８】
実際上、ＭＣＴモジュール１１１は、遅いループによるトラッキング処理時には、このトラッキング処理手順ＲＴ１をステップＳＰ０において開始後、続くステップＳＰ１において、パラメータリスト１１２に登録された遅いループに対する「希望処理レイヤ」及び「希望処理頻度」に従って、解像度の最も低い画像データＤ１Ｂを用い、全画面を探索範囲として、指定された色の抽出処理を行う。なお、指定された色がＣＤＴ３４Ｂにより抽出される色である場合には、ＭＣＴモジュール１１１は、このステップＳＰ１を省略して直ちにステップＳＰ２に進む。
【００９９】
そして、ＭＣＴモジュール１１１は、続くステップＳＰ２において、ステップＳＰ１における色抽出処理により抽出したその色の領域を分布に応じて一塊の領域ごとに分ける領域セグメント処理を実行する。
【０１００】
具体的には、ステップＳＰ１において抽出された一塊の領域ごとに、その領域を最も適合した状態で取り囲む楕円を、その大きさ、位置及び傾き等を変化させながら求める。なお、このように楕円の大きさ、位置及び傾きを変化させるのは、例えば、ターゲットまでの距離が変化したり、ターゲットが移動したり、ターゲットが傾いたりすること等に対応するためである。
【０１０１】
そしてＭＣＴモジュール１１１は、この後ステップＳＰ３に進んで、このようにして得られた各楕円と、そのときターゲットリスト１１２が作成されているターゲット（以下、適宜、これを既知のターゲットと呼ぶ）との対応付けを行う。なお、初期段階や新たなターゲットについては、ターゲットリスト１１２がないので、この場合には既知のターゲットとの対応付けは行われない。
【０１０２】
続いてＭＣＴモジュール１１１は、ステップＳＰ４に進んで、各楕円の大きさ及び位置等を、それぞれステップＳＰ３において対応付けられた各ターゲットの大きさ及び位置等として計算し、当該計算結果に基づいて対応するターゲットリスト１１２をそれぞれ更新する。なお、この際、既知のターゲットとの対応付けが行われなかった楕円については新たなターゲットとしてターゲットリスト１１２が作成されることとなる。
【０１０３】
またＭＣＴモジュール１１１は、かかるターゲットリスト１１３の更新の際には、そのターゲットリスト１１３に記述された対応するターゲットの色の色モデルパラメータについても、最大尤度適合法（maximum likelihood adaptation）を利用して更新する。
【０１０４】
すなわちＭＣＴモジュール１１１は、そのターゲットに対する過去ｎステップの観測結果（色モデルパラメータ）の履歴から、次のステップにおける色モデルのパラメータを過去の既知パラメータの線形和との制約条件のもとに推定し、推定された結果を用いてその色の色領域の抽出を行い、そのサンプルによって今回の観測結果（色モデルパラメータ）を確定し、これをもとの色モデルパラメータと置き換えるようにしてターゲットリスト１１３の色モデルパラメータを更新する。モデル推定には、過去の観測結果の履歴（サンプルセット）から予測される最大尤度をもつパラメータを採用する。
【０１０５】
具体的には、次のステップにおける色モデルパラメータを、次式
【０１０６】
【数４】

【０１０７】
及び次式
【０１０８】
【数５】

【０１０９】
として表現し、重み係数α_ｎ，β_ｎの更新規則を最尤推定により導出する。なお、（４）式は平均であり、（５）式は分散である。またｍ_ｎ，ｓ_ｎはそれぞれ過去ｎステップ前の平均値と分散値であり、ｒは最大履歴数である。
【０１１０】
そして、このようにターゲットリスト１１３に記述されている色モデルパラメータを順次更新することによって、注目ターゲットの姿勢や位置変化及び照明条件の緩やかな変化などによる色の変動に実用上十分に対応することができる。
【０１１１】
次いでＭＣＴモジュール１１１は、ステップＳＰ１に戻り、この後はパラメータリスト１１２に登録された頻度でステップＳＰ１〜ステップＳＰ４を上述と同様にして繰り返す。このようにしてＭＣＴモジュール１１１は、遅いループによるトラッキング処理を実行する。
【０１１２】
一方、ＭＣＴモジュール１１１は、速いループによるトラッキング処理時、このトラッキング処理手順ＲＴ１をステップＳＰ０において開始後、続くステップＳＰ１において、他のモジュールによりパラメータリスト１１２において指定された注目色や注目ターゲットのうち、まず最も「プライオリティ」の高い注目ターゲットを選択し、その色のパラメータ（色モデルパラメータ）を対応するターゲットリスト１１３から読み出し、当該読み出した色モデルパラメータに基づいて、パラメータリスト１１２において指定されている対応する解像度の画像データＤ１Ａ〜Ｄ１Ｃを用いてその色の抽出処理を実行する。
【０１１３】
この際ＭＣＴモジュール１１１は、かかる色抽出処理を、対応するターゲットリスト１１３に登録されている当該注目ターゲットの直前の位置の周囲近傍、例えば直前の位置から上下左右に５〜１０画素分だけ広げた領域にのみ範囲（探索範囲）を限定して実行する。
【０１１４】
なお、速いループによるトラッキング処理の場合にも、抽出すべき色がＣＤＴ３４Ｂにより抽出される色である場合には、ＭＣＴモジュール１１１は、ステップＳＰ１を省略して直ちにステップＳＰ２に進む。
【０１１５】
そしてＭＣＴモジュール１１１は、続くステップＳＰ２において、ステップＳＰ１における色抽出処理の処理結果に対して上述した領域セグメント処理を実行し、この後ステップＳＰ３に進んで、当該領域セグメント処理により検出された楕円と、かかる注目ターゲットとの対応付けを行う。
【０１１６】
さらにＭＣＴモジュール１１１は、ステップＳＰ４に進んで、上述のようにステップＳＰ２において得られた楕円の大きさや位置等を計算し、当該計算結果に基づいて、対応するターゲットリスト１１３に記述されているその注目ターゲットの位置や大きさ等を更新する。またＭＣＴモジュール１１１は、当該ターゲットリスト１１３に記述されているその注目ターゲットの色の色モデルパラメータについても、上述と同様にして最大尤度適合法（maximum likelihood adaptation）方式による更新を行う。
【０１１７】
そしてＭＣＴモジュール１１１は、このようにして対応するターゲットリスト１１３の更新を行うと、この後そのターゲットのトラッキングを依頼してきた他のモジュールに対してそのターゲットの現在の位置や色等の属性情報をターゲット情報として出力する。かくしてかかる他のモジュールは、このターゲット情報に基づいて、そのターゲットの動きに合わせてロボット１の頭部ユニット４を動かす等の各種処理を実行できる。
【０１１８】
さらにＭＣＴモジュール１１１は、この後この注目ターゲットについて、パラメータリスト１１２に登録された対応する「希望処理頻度」に応じた頻度で同様の処理を繰り返す。このようにしてＭＣＴモジュール１１１は、この注目ターゲットについて、指定された「希望処理レイヤ」及び「希望処理頻度」でトラッキング処理を実行する。
【０１１９】
またＭＣＴモジュール１１１は、これと平行してパラメータリスト１１２において指定された他の注目色及び注目ターゲットについても、そのときのＣＰＵ１０（図２）の処理能力に応じた数だけ「プライオリティ」の高いものから順番に、探索範囲（対応する色の抽出範囲）を制限しながら、上述と同様にしてその注目ターゲットについて指定された「希望処理レイヤ」に応じた解像度の画像データを用い、当該注目ターゲットについて指定された「希望処理頻度」に応じた頻度でトラッキング処理を実行する。
【０１２０】
このようにしてＭＣＴモジュール１１１は、他のモジュールにより指定されたターゲットについては探索範囲を制限した速いループでのトラッキング処理を行い、他のターゲットについては全画面探索による遅いループでのトラッキング処理を行い得るようになされている。
【０１２１】
一方、ＭＣＴモジュール１１１には、上述のように顔検出モジュール（図示せず）による顔検出結果が比較的低い頻度で定期的に与えられる。
【０１２２】
このときＭＣＴモジュール１１１は、この顔検出モジュールの顔検出結果に基づいて、当該顔検出モジュールにより顔領域として検出された画像平面上の領域部分の色をヒストグラム解析することにより、その領域部分の色の色モデルパラメータを取得する。
【０１２３】
そしてＭＣＴモジュール１１１は、このようにして取得した色モデルパラメータを、そのときパラメータリスト１１２に登録されている肌色の色モデルパラメータと置き換えるようにして肌色の色モデルパラメータを更新する。
【０１２４】
このようにしてＭＣＴモジュール１１１は、顔検出モジュールによる顔検出結果に基づき肌色の色モデルパラメータを順次更新するようになされ、これにより環境条件の急激な変化にも実用上十分に対応して、より一層と精度良くトラッキングを行い得るようになされている。
【０１２５】
（３）本実施の形態の動作及び効果
以上の構成において、トラッキングシステム１１０では、ＭＣＴモジュール１１１が、他のモジュールにより指定されたターゲットについては、探索範囲が制限された速いループによりトラッキング処理し、これ以外のターゲットについては全画面探索による遅いループによりトラッキング処理する。
【０１２６】
従って、このトラッキングシステム１１０においては、他のモジュールにより指定されたターゲットについては実時間を保証した精度の良いトラッキングを行いつつ、他のターゲットについても確実にトラッキングを行うことができる。
【０１２７】
またこのトラッキングシステム１１０では、顔検出モジュールによる顔検出結果を定期的にＭＣＴモジュール１１１に与えられ、ＭＣＴモジュール１１１が、この顔検出モジュールの顔検出結果に基づいてパラメータリスト１１２に記述された肌色の色モデルパラメータを修正するようにしているため、環境条件の急激な変化にも十分に対応でき、その分より一層と精度良くトラッキングを行うことができる。
【０１２８】
さらにこのトラッキングシステム１１０では、ＭＣＴモジュール１１１におけるトラッキング処理に必要な一部の色の抽出処理を専用のハードウェアであるＣＤＴ３４Ｂに任せているため、全ての色抽出処理をＭＣＴモジュール１１１において行う場合に比べてカラートラッキング処理をより高速に行うことができ、その分注目ターゲットに対するトラッキング処理の実時間性をより確実に保証できるという利点をも有している。
【０１２９】
以上の構成によれば、ＭＣＴモジュール１１１が、他のモジュールにより指定されたターゲットについては、探索範囲が制限された速いループによりトラッキング処理し、これ以外のターゲットについては全画面探索による遅いループによりトラッキング処理するようにしたことにより、他のモジュールにより指定されたターゲットについては実時間を保証した精度の良いトラッキングを行いつつ、他のターゲットについても確実にトラッキングを行うことができ、かくして実時間性を保証しつつ複数の対象を確実にトラッキングし得る。
【０１３０】
（４）他の実施の形態
なお上述の実施の形態においては、本発明を図１のように構成された４脚歩行型のロボット１に適用するようにした場合について述べたが、本発明はこれに限らず、例えばヒューマノイド型のロボット装置等、この他種種の形態のロボット装置に広く適用することができ、またロボット装置以外のこの他種々の装置にも広く適用することができる。
【０１３１】
また上述の実施の形態においては、ＣＣＤカメラ２０からの画像データに基づいてそれぞれ解像度の異なる複数の画像データＤ１Ａ〜Ｄ１Ｃを生成するフィルタ手段としてのＦＢＫ３４Ａ（図１０）が３種類の解像度の画像データＤ１Ａ〜Ｄ１Ｃを生成するようにした場合について述べたが、本発明はこれに限らず、ＦＢＫ３４Ａが３種類以上の解像度の画像データＤ１Ａ〜Ｄ１Ｃを生成するようにしても良く、このようにすることによって他のモジュールがそのターゲットの重要度に応じてトラッキング処理精度をより細かく設定できるようにすることができる。
【０１３２】
さらに上述の実施の形態においては、ＭＣＴモジュール１１１が顔検出モジュールと連携して、パラメータリスト１１２に記述された肌色の色モデルパラメータを修正することで、環境条件の急激な変化にも十分に対応し得るようにした場合について述べたが、本発明はこれに限らず、ＭＣＴモジュール１１１が例えば動き検出モジュールの検出結果を利用してすばやく動くものの動きに追従できるようにしたり、視差やテクスチャを分析して物体をセグメントするモジュールの出力を利用して任意の対象物体をトラッキングできるようにしても良く、要は、ＭＣＴモジュール１１１とは異なるトラッキング対象に関する所定情報を検出する他のモジュールから与えられる当該情報に基づいて、トラッキング処理動作を規定するパラメータリスト１１２やターゲットリスト１１３を更新するようにすることによって、色以外の他の環境条件の急激な変化にも実用上十分に対応し得るトラッキングシステムを構築することができる。
【０１３３】
さらに上述の実施の形態においては、トラッキング対象のうち、一部のトラッキング対象については、探索範囲を制限した速いループによるトラッキング処理を行い、他のトラッキング対象については、画像全体を探索範囲とした遅いループによるトラッキング処理を行うトラッキング処理手段としてのＭＣＴモジュール１１１を、このロボット１全体の動作制御を司るＣＰＵ１０（図２）によって実行されるソフトウェアモジュールとして構成するようにした場合について述べたが、本発明はこれに限らず、当該ＣＰＵ１０以外の演算手段を設け、当該演算手段により実行されるソフトウェアモジュールとして構成するようにしても良い。
【０１３４】
さらに上述の実施の形態においては、速いループによるトラッキング処理時における探索範囲の制限として、探索範囲をそのターゲットの直前の位置から上下左右に５〜１０画素分だけ広げた範囲とするようにした場合について述べたが、本発明はこれに限らず、探索範囲の制限としてはこの他種々の範囲を設定することができる。
【０１３５】
【発明の効果】
上述のように本発明によれば、撮像手段から供給される第１の画像データに基づき画像内に存在するトラッキング対象を当該画像内において追従するトラッキング処理を行なうトラッキング装置において、第１の画像データに対し所定のフィルタリング処理を行なうことにより、当該第１の画像データとはそれぞれ異なる複数の解像度を有する第２の画像データを生成する画像データ生成手段と、第１の画像データに存在するトラッキング対象のうち、指定されたトラッキング対象については、指定された処理頻度で行う第１のループによるトラッキング処理を行い、指定されていないトラッキング対象については、第１のループとは当該処理頻度が異なる第２のループによるトラッキング処理を行うトラッキング処理手段とを具え、トラッキング処理手段は、指定されたトラッキング対象については、指定された解像度を有する第２の画像データを用い、指定された処理頻度でトラッキング処理を実行するようにしたことにより、指定されたトラッキング対象については実時間を保証した精度の良いトラッキングを行うことができ、かくして実時間性を保証しつつ複数の対象を確実にトラッキングし得るトラッキング装置を実現できる。
【０１３６】
また本発明によれば、トラッキング装置のトラッキング方法において、トラッキング装置は、撮像手段から供給される第１の画像データに対し所定のフィルタリング処理を行なうことにより、当該第１の画像データとはそれぞれ異なる複数の解像度を有する第２の画像データを生成する画像データ生成ステップと、第１の画像データに存在するトラッキング対象のうち、指定されたトラッキング対象については、指定された処理頻度で行う第１のループによるトラッキング処理を行い、指定されていないトラッキング対象については、第１のループとは当該処理頻度が異なる第２のループによるトラッキング処理を行うトラッキング処理ステップとを具え、トラッキング処理ステップは、指定されたトラッキング対象については、指定された上記解像度を有する第２の画像データを用い、指定された処理頻度でトラッキング処理を実行するようにしたことにより、指定されたトラッキング対象については実時間を保証した精度の良いトラッキングを行うことができ、かくして実時間性を保証しつつ複数の対象を確実にトラッキングし得るトラッキング装置のトラッキング方法を実現できる。
【０１３７】
さらに本発明においては、ロボット装置において、撮像手段から供給される第１の画像データに対し所定のフィルタリング処理を行なうことにより、当該第１の画像データとはそれぞれ異なる複数の解像度を有する第２の画像データを生成する画像データ生成手段と、第１の画像データに存在するトラッキング対象のうち、指定されたトラッキング対象については、指定された処理頻度で行う第１のループによるトラッキング処理を行い、指定されていないトラッキング対象については、第１のループとは当該処理頻度が異なる第２のループによるトラッキング処理を行うトラッキング処理手段とを具え、トラッキング処理手段は、指定されたトラッキング対象については、指定された解像度を有する第２の画像データを用い、指定された上記処理頻度でトラッキング処理を実行するようにしたことにより、指定されたトラッキング対象については実時間を保証した精度の良いトラッキングを行うことができ、かくして実時間性を保証しつつ複数の対象を確実にトラッキングし得るロボット装置を実現できる。
【図面の簡単な説明】
【図１】本実施の形態によるロボットの構成を示す斜視図である。
【図２】ロボットの回路構成を示すブロック図である。
【図３】信号処理回路の構成を示すブロック図である。
【図４】制御プログラムのソフトウェア構成を示すブロック図である。
【図５】ミドル・ウェア・レイヤのソフトウェア構成を示すブロック図である。
【図６】アプリケーション・レイヤのソフトウェア構成を示すブロック図である。
【図７】行動モデルライブラリの構成を示す概念図である。
【図８】確率オートマトンの説明に供する概念図である。
【図９】状態遷移表の説明に供する概念図である。
【図１０】本実施の形態によるトラッキングシステムの構成を示すブロック図である。
【図１１】パラメータリストにおける設定パラメータの説明に供する略線図である。
【図１２】トラッキング処理手順を示すフローチャートである。
【符号の説明】
１……ロボット、１０……ＣＰＵ、２０……ＣＣＤカメラ、３４Ａ……ＦＢＫ、３４Ｂ……ＣＤＴ、１１１……ＭＣＴモジュール、１１２……パラメータリスト、１１３……ターゲットリスト、Ｄ１Ａ〜Ｄ１Ｃ……画像データ、ＲＴ１……トラッキング処理手順。[0001]
BACKGROUND OF THE INVENTION
  The present invention is a tracking device., Tracking device trackingMethodas well asThe robot apparatus is suitable for application to, for example, an entertainment robot.
[0002]
[Prior art]
In recent years, entertainment robots have been actively developed and commercialized. As such an entertainment robot, various sensors such as a CCD camera, a microphone, and a touch sensor are mounted. Based on the output of these sensors, the presence or absence of an action from the external environment or the user is determined, and based on the determination result. What has been made to be able to act autonomously has been commercialized by the present applicant.
[0003]
[Problems to be solved by the invention]
By the way, in such a robot that acts in accordance with the external environment, such as an entertainment robot, the external sensor that gives the most information is usually a visual sensor such as a CCD camera, and the use of color information is particularly low. From the calculation cost, it has been done actively.
[0004]
In fact, in entertainment robots, it is crucial to be able to find a user (person) for interaction, and “color” is widely used as a queue in such tasks. This is advantageous in terms of calculation cost compared to the case where information such as “parallax” and “texture (pattern, structure)” is used as a queue for such tasks, and has less noise than, for example, “movement” information. This is because stable processing can be performed.
[0005]
On the other hand, however, color information has a strong object-dependent aspect, and it is difficult to specify an object-independent specification such as “extract an object with a certain speed or more” when using motion information. . For this reason, the task of user discovery and tracking (tracking) using color information has a drawback that it is very susceptible to the operating environment, particularly the lighting conditions.
[0006]
In order to compensate for this drawback, it is possible to incorporate processing that can compensate for environmental changes, but this method has a problem that the processing speed is sacrificed, and in the first place a wide lighting environment from sunlight to room light In any of these cases, in order to reliably track a specific target, a technique for dealing with an unsolved problem of “color constancy” is required.
[0007]
For this reason, at present, it has been perfect to guarantee the operation only in a certain range of environmental conditions, or conversely, to control the operation so as to generally operate in a wide range of conditions at the expense of accuracy.
[0008]
In addition, although the color tracking is low in processing cost, when trying to track a large number of targets at the same time, the total processing cost may increase linearly, and the processing may not be completed in real time.
[0009]
For this reason, in the past, real-time performance has been maintained by limiting the number of targets that can be tracked at the same time, but there is a risk that the tracking performance will be affected by the processing load outside this visual processing module, and this is the fundamental solution. There was a problem that could not be said to be a method.
[0010]
  The present invention has been made in consideration of the above points, and is a tracking device that can reliably track a plurality of tracking objects while guaranteeing real-time performance., Tracking device trackingMethodas well asThe robot device is to be proposed.
[0011]
[Means for Solving the Problems]
  In order to solve this problem, in the present invention,Based on the first image data supplied from the image pickup means, a tracking process for tracking a tracking target existing in the image in the image is performed.In the tracking device,Image data generating means for generating second image data having a plurality of resolutions different from the first image data by performing a predetermined filtering process on the first image data; and the first image data Exist inOf the tracking targets,DesignatedFor tracking,Specified processingPerform the tracking process by the first loop performed at a frequency,not specifiedFor the tracking target, what is the first loop?ConcernedTracking processing means for performing tracking processing by a second loop having different processing frequenciesThe tracking processing means executes the tracking process at the designated processing frequency using the second image data having the designated resolution for the designated tracking target.I did it.
[0012]
  As a result, with this tracking device,DesignatedFor tracking objects, it is possible to perform accurate tracking that guarantees real time.wear.
[0013]
  In the present invention,Tracking deviceIn the tracking method,The tracking device performs a predetermined filtering process on the first image data supplied from the imaging unit, thereby generating second image data having a plurality of resolutions different from the first image data. Present in the data generation step and the first image dataOf the tracking targets,DesignatedFor tracking,Specified processingPerform the tracking process by the first loop performed at a frequency,not specifiedFor the tracking target, what is the first loop?ConcernedTracking process by second loop with different processing frequencyThe tracking processing step performs tracking processing at the designated processing frequency using the second image data having the designated resolution for the designated tracking target.I did it.
[0014]
  As a result, according to this tracking method,DesignatedFor tracking objects, it is possible to perform accurate tracking that guarantees real time.wear.
[0015]
  Furthermore, in the present invention, in the robot apparatus,Image data generating means for generating second image data having a plurality of resolutions different from the first image data by performing predetermined filtering processing on the first image data supplied from the imaging means; Present in the first image dataOf the tracking targets,DesignatedFor tracking,Specified processingPerform the tracking process by the first loop performed at a frequency,not specifiedFor the tracking target, what is the first loop?ConcernedPerform tracking processing by the second loop with different processing frequencyTracking processing means, and for the designated tracking target, the tracking processing means uses the second image data having the designated resolution and executes the tracking process at the designated processing frequency.I did it.
[0016]
  As a result, with this robotic device,DesignatedFor tracking objects, it is possible to perform accurate tracking that guarantees real time.wear.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0018]
(1) Configuration of the robot according to this embodiment
(1-1) Robot configuration
In FIG. 1, reference numeral 1 denotes a robot according to the present embodiment as a whole. Leg units 3 </ b> A to 3 </ b> D are connected to the front, rear, left, and right of the body unit 2, and the front and rear ends of the body unit 2 are connected. The head unit 4 and the tail unit 5 are connected to each other.
[0019]
As shown in FIG. 2, the body unit 2 includes a CPU (Central Processing Unit) 10, a DRAM (Dynamic Random Access Memory) 11, a flash ROM (Read Only Memory) 12, a PC (Personal Computer) card interface 13 and signals. A control unit 16 formed by connecting the processing circuit 14 to each other via an internal bus 15 and a battery 17 as a power source of the robot 1 are housed. The body unit 2 also houses an angular acceleration sensor 18 and an acceleration sensor 19 for detecting the orientation of the robot 1 and acceleration of movement.
[0020]
The head unit 4 includes a microphone 16 corresponding to the “ear” of the robot 1, a CCD (Charge Coupled Device) camera 17 corresponding to the “eye”, a distance sensor 18, a face touch sensor 19, a head touch sensor 20, and the like. And a speaker 21 corresponding to the “mouth” are disposed at predetermined positions, respectively, and a retractable headlight 22 is disposed on the top so as to be able to fly out and retract, and along the periphery of the middle section. A plurality of LEDs 23 are arranged at regular intervals.
[0021]
Further, the knee joints of the leg units 3A to 3D, the shoulder joints connecting the leg units 3A to 3D and the torso unit 2, respectively, the neck joints connecting the head unit 4 and the torso unit 2, and retractable The opening / closing drive unit (not shown) of the headlight 22 has a number of degrees of freedom and a required number of actuators 24 respectively.₁~ 24_nAnd these actuators 24₁~ 24_nAnd potentiometer 25₁~ 25_nIs arranged.
[0022]
And these angular velocity sensor 18, acceleration sensor 19, touch sensor 21, distance sensor 22, microphone 23, speaker 24, LED, each actuator 25 (25₁, 25₂, 25₃......) and each potentiometer 26 (26₁, 26₂, 26₃......) is the hub 27 (27₁~ 27_n) To the signal processing circuit 14 of the control unit 16 in a tree shape. The CCD camera 20 and the battery 17 are each directly connected to the signal processing circuit 14.
[0023]
At this time, the signal processing circuit 14 includes an angular velocity sensor 18, an acceleration sensor 19, a touch sensor 21, a distance sensor 22, and each potentiometer 26 (26).₁, 26₂, 26₃……) etc. to each hub 27 (27₁~ 27_n), The image data supplied from the CCD camera 20 and the audio data supplied from the microphone 23 are sequentially fetched and stored in a predetermined position in the DRAM 11 via the internal bus 15, respectively. . Further, the signal processing circuit 14 sequentially takes in battery remaining amount data representing the remaining amount of battery supplied from the battery 17 and stores it in a predetermined position in the DRAM 11.
[0024]
The sensor data, image data, audio data, and remaining battery data stored in the DRAM 11 in this way are used when the CPU 10 controls the operation of the robot 1 thereafter.
[0025]
In practice, the CPU 10 receives the control program stored in the memory card 28 or the flash ROM 12 loaded in the PC card slot (not shown) of the body unit 2 via the PC card interface 13 when the power of the robot 1 is turned on. Directly read out and developed in the DRAM 11.
[0026]
In addition, the CPU 10 thereafter, based on various sensor data, image data, audio data, and battery remaining amount data sequentially stored in the DRAM 11 by the signal processing circuit 14 as described above, instructions from the user, Judge whether there is any action.
[0027]
Further, the CPU 10 determines the action to be continued based on the determination result and the control program developed in the DRAM 11, and generates a first drive signal corresponding to the determination result to obtain the necessary actuator 25 (25).₁, 25₂, 25₃……), the head unit 4 is swung up and down, left and right, the tail 5A of the tail unit 5 is moved, and the leg units 3A to 3D are driven to walk. Make it.
[0028]
At this time, the CPU 10 generates an audio signal and a second drive signal as needed, and supplies them to the speaker 24 and the “eye” LED via the signal processing circuit 14, thereby generating the audio based on the audio signal. Is output to the outside, or the LED is blinked in a predetermined pattern based on the second drive signal.
[0029]
In this way, the robot 1 can act autonomously according to the situation of itself and surroundings, instructions and actions from the user, and the like.
[0030]
A specific configuration of the signal processing circuit 14 is shown in FIG. As is clear from FIG. 3, the signal processing circuit 14 includes a DMA (Direct Memory Access) controller 30, a DSP (Digital Signal Processor) 31, a peripheral interface 32, a timer 33, and an FBK / CDT (Filter Bank / Color Detection). 34, an IPE (Inner Product Engine) 35, a serial bus host controller 36, and a serial bus 37 are connected to the bus 40 via a bus 38 and a bus arbiter 39 for arbitrating the right to use the bus 38 in sequence. Are connected to the DRAM 11 (FIG. 2), the CPU 10 (FIG. 2), and the flash ROM 12 (FIG. 2) via the DRAM interface 41, the host interface 42, and the ROM interface 43, respectively, and the peripheral interface 32 is connected to the parallel port 44, the battery manager. The charger 45 and the serial port 46 are connected to each other.
[0031]
In this case, the angular velocity sensor 18, the acceleration sensor 19, the touch sensor 21, the distance sensor 22, the microphone 23, the speaker 24, and each actuator 25 (25 described above with reference to FIG.₁, 25₂, 25₃......) and each potentiometer 26 (26₁, 26₂, 26₃......) and the like are respectively connected to the hub 27 (27₁~ 27_n), The CCD camera 20 (FIG. 2) is connected to the FBK / CDT 34, and the battery 17 (FIG. 2) is connected to the battery manager 45.
[0032]
The serial host controller 36 includes the angular velocity sensor 18, the acceleration sensor 19, the touch sensor 21, the distance sensor 22, and the potentiometers 26 (26) among the connected devices.₁, 26₂, 26₃..)) Is sequentially fetched, and the sensor data is transferred to the bus 38, bus arbiter 39, bus 40 and DRAM under the control of the DMA controller 30 functioning as a bus master for controlling the data transfer. The interface 41 is sequentially supplied to the DRAM 11 for storage.
[0033]
In addition, the serial host controller 36 sends audio data given from the microphone 23 to the DSP 31, and the DSP 31 performs predetermined signal processing on the audio data, and converts the audio data obtained as a result of the processing to the DMA controller 30. Under the control, the bus 38, the bus arbiter 39, the bus 40 and the DRAM interface 41 are sequentially transferred to the DRAM 11 and stored in a predetermined storage area in the DRAM 11.
[0034]
Further, the FBK / CDT 34 generates a plurality of image data having different resolutions based on the image data supplied from the CCD camera 20, and performs a preset color extraction process for each image based on the image data. The processing results and the image data of each resolution are transferred to the DRAM 11 (FIG. 2) through the bus 38, the bus arbiter 39, the bus 40, and the DRAM interface 41 in order under the control of the DMA controller 30. As described above, the data is stored in a designated storage area in the DRAM 11.
[0035]
In addition, the battery manager 45 sends the remaining battery level data notified from the battery 17 to the peripheral interface 32, the bus 38, the bus arbiter 39, the bus 40, and the DRAM interface 41 under the control of the DMA controller 30. The data is sequentially transferred to the DRAM 11 and stored in a predetermined storage area in the DRAM 11.
[0036]
On the other hand, the signal processing circuit 14 has each actuator 25 (25 given from the CPU 10 (FIG. 2) via the bus 15 (FIG. 2) as described above.₁, 25₂, 25₃... Are input via the host interface 42, the first drive signal for driving (...), the audio signal, and the second drive signal for driving the LED.
[0037]
The signal processing circuit 14 then converts these into a bus 40, a bus arbiter 39, a bus 38, a serial bus host controller 37, and a corresponding hub 27 (27₁~ 27_n) (FIG. 2) through corresponding actuators 25 (25₁, 25₂, 25₃...) (FIG. 2), the speaker 24 (FIG. 2) or the LED.
[0038]
Thus, in the signal processing circuit 14, each sensor, the CCD camera 20, the microphone 23, the speaker 24, and each actuator 25 (25₁, 25₂, 25₃..)) And the CPU 10, the CPU 10 can perform various signal processing necessary for controlling the behavior of the robot 1.
[0039]
(1-2) Control program software configuration
Next, the software configuration of the control program in the robot 1 will be described.
[0040]
FIG. 4 shows a software configuration of the above-described control program in the robot 1. In FIG. 4, a device driver layer 50 is located in the lowest layer of this control program, and is composed of a device driver set 51 composed of a plurality of device drivers. In this case, each device driver is an object that is allowed to directly access hardware used in a normal computer such as the CCD camera 20 (FIG. 2) or a timer, and receives an interrupt from the corresponding hardware and performs processing. I do.
[0041]
The robotic server object 52 is located in an upper layer of the device driver layer 50. For example, the above-described various sensors and actuators 25 (25₁Manages the virtual robot 53, which is a software group that provides an interface for accessing hardware such as -25n, the power manager 54, which is a software group that manages power supply switching, and other various device drivers. The device driver manager 55 is a software group that manages the mechanism of the robot 1, and the designed robot 56 is a software group that manages the mechanism of the robot 1.
[0042]
The manager object 57 includes an object manager 58 and a service manager 59. In this case, the object manager 58 is a software group that manages activation and termination of each software group included in the robotic server object 52, the middleware layer 60, and the application layer 61. Is a software group for managing the connection of each object based on the connection information between the objects described in the connection file stored in the memory card 28 (FIG. 2).
[0043]
The middleware layer 60 is located in an upper layer of the robotic server object 52 and is composed of a software group that provides basic functions of the robot 1 such as image processing and sound processing. In addition, the application layer 61 is located in an upper layer of the middleware layer 60, and determines the behavior of the robot 1 based on the processing result processed by each software group constituting the middleware layer 40. It consists of software groups.
[0044]
Specific software configurations of the middleware layer 60 and the application layer 61 are shown in FIGS. 5 and 6, respectively.
[0045]
In the middleware layer 60, as is clear from FIG. 5, the signal processing modules 70 to 75 for scale recognition, distance detection, posture detection, touch sensor, motion detection and color recognition are used. A recognition system 77 having an input semantic converter module 76 and the like, an output semantic converter module 77 and signal processing modules 78 to 78 for posture management, tracking, motion reproduction, walking, recovery from falling, LED lighting, and sound reproduction. And an output system 85 having 84 and the like.
[0046]
In this case, the signal processing modules 70 to 75 of the recognition system 77 correspond to each of the sensor data, image data, and audio data read from the DRAM 11 (FIG. 2) by the virtual robot 53 of the robotic server object 52. Data is fetched, predetermined processing is performed based on the data, and the processing result is given to the input semantic converter module 76.
[0047]
Based on the processing result given from each of these signal processing modules 70 to 75, the input semantic converter module 76 “detects a ball”, “detects a fall”, “struck”, “struck”, Recognize self and surrounding situations such as “I heard Domiso's scale”, “Detected moving object”, “Detected obstacle”, commands and actions from the user, and the recognition result is the application layer 61 (FIG. 4).
[0048]
As shown in FIG. 6, the application layer 61 includes five modules: a behavior model library 90, a behavior switching module 91, a learning module 92, an emotion model 93, and an instinct model 94.
[0049]
In this case, in the behavior model library 90, as shown in FIG. 7, “when the remaining battery level is low”, “when returning to fall”, “when avoiding an obstacle”, and “when expressing emotion” Independent behavior models 90 corresponding to several preselected condition items such as “when a ball is detected”.₁~ 90_nIs provided.
[0050]
And these behavior models 90₁~ 90_nAre stored in the emotion model 93 as described later as necessary when a recognition result is given from the input semantic converter module 76 or when a certain time has passed since the last recognition result was given. The subsequent behavior is determined while referring to the corresponding emotion parameter value and the corresponding desire parameter value held in the instinct model 94, and the determination result is output to the behavior switching module 91.
[0051]
In the case of this embodiment, each behavior model 90₁~ 90_nIs a node (state) NODE as shown in FIG. 8 as a method for determining the next action.₀~ NODE_nTo any other node NODE₀~ NODE_nEach node NODE₀~ NODE_nArc ARC connecting the two₁~ ARC_n ₊ ₁Transition probability P set for each₁~ P_n ₊ ₁An algorithm called a stochastic automaton that is determined probabilistically based on the above is used.
[0052]
Specifically, each behavior model 90₁~ 90_nEach has its own behavior model 90₁~ 90_nEach node NODE forming₀~ NODE_nCorrespond to each of these nodes NODE₀~ NODE_nEach state transition table 100 as shown in FIG. 9 is provided.
[0053]
In this state transition table 100, the node NODE₀~ NODE_nInput events (recognition results) as transition conditions in are listed in priority order in the “input event name” row, and further conditions for the transition conditions are described in the corresponding columns in the “data name” and “data range” rows Has been.
[0054]
Therefore, the node NODE represented by the state transition table 100 of FIG.₁₀₀Then, when the recognition result “ball detected (BALL)” is given, the “size (SIZE)” of the ball given together with the recognition result is in the range of “0 to 1000”, “ When the recognition result “OBSTACLE” is given, the other node has a “distance” to the obstacle given together with the recognition result within the range of “0 to 100”. It is a condition for transition to.
[0055]
This node NODE₁₀₀Then, even when there is no input of the recognition result, the behavior model 90₁~ 90_nOf the emotion and the desire parameter values that are periodically stored in the emotion model 93 and the instinct model 94 that are periodically referred to, “joy (joy)” and “surprise (surprise)” stored in the emotion model 93. Alternatively, when one of the parameter values of “Sadness (SUDNESS)” is in the range of “50 to 100”, it is possible to transition to another node.
[0056]
In the state transition table 100, the node NODE appears in the “transition destination node” column in the “transition probability to other node” column.₀~ NODE_nNode names that can be transitioned from are listed, and each other node NODE that can transition when all the conditions described in the “input event name”, “data value”, and “data range” lines are met.₀~ NODE_nThe transition probabilities to are respectively described in the corresponding locations in the “transition probabilities to other nodes” column, and the node NODE₀~ NODE_nThe action to be output when transitioning to is described in the “output action” line in the “transition probability to other node” column. Note that the sum of the probabilities of each row in the “probability of transition to another node” field is 100 [%].
[0057]
Therefore, the node NODE represented by the state transition table 100 of FIG.₁₀₀Then, for example, when “ball is detected (BALL)” and a recognition result is given that the “SIZE (size)” of the ball is in the range of “0 to 1000”, “30 [%]” The probability of “node NODE₁₂₀(Node 120) ", and the action of" ACTION 1 "is output at that time.
[0058]
And each behavior model 90₁~ 90_nAre node NODE described as such state transition table 100, respectively.₀~ NODE_nAre connected to each other, and when the recognition result is given from the input semantic converter module 76, the corresponding node NODE₀~ NODE_nThe next action is determined probabilistically using the state transition table 100 and the determination result is output to the action switching module 91.
[0059]
The behavior switching module 91 includes the behavior models 90 in the behavior model library 90.₁~ 90_nAmong the behaviors output from the behavior model 90, the behavior model 90 having a predetermined high priority is selected.₁~ 90_nAnd outputs a command to the effect of executing the action (hereinafter referred to as an action command) to the output semantic converter 77 of the middleware layer 60. In this embodiment, the behavior model 90 shown on the lower side in FIG.₁~ 90_nThe higher the priority is set.
[0060]
The behavior switching module 91 notifies the learning module 92, the emotion model 93, and the instinct model 94 that the behavior is completed based on the behavior completion information given from the output semantic converter 77 after the behavior is completed.
[0061]
On the other hand, the learning module 92 inputs the recognition result of the teaching received from the user, such as “struck” or “boiled”, among the recognition results given from the input semantic converter 76.
[0062]
Based on the recognition result and the notification from the action switching module 91, the learning module 92 reduces the probability of the action when “struck (struck)” and “struck (praised)”. "The corresponding behavior model 90 in the behavior model library 70 so as to increase the probability of occurrence of the behavior.₁~ 90_nChange the corresponding transition probability of.
[0063]
On the other hand, the emotion model 93 is the sum of “joy”, “sadness”, “anger”, “surprise”, “disgust” and “fear”. For six emotions, a parameter representing the strength of the emotion is held for each emotion. Then, the emotion model 93 obtains parameter values of these emotions from specific recognition results such as “struck” and “boiled” given from the input semantic converter module 76, elapsed time and action switching module 91. It is made to update sequentially based on the notification and the like.
[0064]
Specifically, the emotion model 93 holds the recognition result from the input semantic converter 76 and the degree to which the action of the robot 1 at that time acts on the emotion (preset) and the instinct model 94. Based on the parameter value of each desire and the degree to which the action of the robot 1 at that time acts on the emotion (preset), the degree of suppression and stimulation received from other emotions, the elapsed time, etc. The amount of change in the emotion calculated by a predetermined arithmetic expression is ΔE [t], the current parameter value of the emotion is E [t], and the ratio of changing the emotion according to the recognition result (hereinafter referred to as sensitivity). The coefficient that represents_eAs follows:
[0065]
[Expression 1]

[0066]
Is used to calculate the parameter value E [t + 1] of the emotion in the next cycle.
[0067]
Then, the emotion model 93 updates the parameter value of the emotion so as to replace the calculation result with the current parameter value E [t] of the emotion. It should be noted that the emotion parameter value to be updated for each recognition result or notification from the action switching module 91 is determined in advance. For example, when a recognition result such as “struck” is given, “anger” is given. The parameter value of the emotion of “risk” increases when the recognition parameter “boiled” is given.
[0068]
The instinct model 74, on the other hand, has four independent needs for “exercise”, “affection”, “appetite”, and “curiosity”. Each holds a parameter representing the strength of the desire. The instinct model 94 sequentially updates the parameter values of these desires based on the recognition result given from the input semantic converter module 76, the elapsed time and the notification from the behavior switching module 91, and the like.
[0069]
Specifically, the instinct model 94 has a desire for “exercise greed”, “love lust”, and “curiosity” calculated by a predetermined arithmetic expression based on the action output, elapsed time, recognition result, and the like of the robot 1. ΔI [k], the current parameter value of the desire is I [k], and the coefficient representing the sensitivity of the desire is k_iAs follows:
[0070]
[Expression 2]

[0071]
Is used to calculate the parameter value I [k + 1] of the desire in the next cycle, and the parameter value of the desire is updated so that the calculation result is replaced with the current parameter value I [k] of the desire. Note that the parameter value of the desire to be changed with respect to the action output, the recognition result, or the like is determined in advance. For example, when there is a notification from the action switching module 71 (notification that an action has been performed), “exercise desire” The parameter value decreases.
[0072]
Further, the instinct model 94 sets the remaining battery level for “appetite” based on the remaining battery level data provided via the input semantic converter module 76._LAs follows:
[0073]
[Equation 3]

[0074]
The parameter value I [k] of “appetite” is calculated by the above, and the parameter value of “appetite” is updated so as to replace the calculation result with the parameter value I [k] of the current appetite.
[0075]
In the present embodiment, the parameter values of each emotion and each desire are regulated so as to fluctuate in the range of 0 to 100, respectively, and the coefficient k_e, K_iThe value of is also set individually for each emotion and desire.
[0076]
On the other hand, the output semantic converter module 77 of the middleware layer 40, as shown in FIG. 5, “forward”, “joy”, “ring” given from the action switching module 91 of the application layer 61 as described above. "Or" tracking "is given to the corresponding signal processing modules 78-84 of the output system 85.
[0077]
When the action command is given, the signal processing modules 78 to 84 perform the action based on the action command.₁~ 25_nThe servo command value to be given to (FIG. 2), the sound data of the sound output from the speaker 24 (FIG. 2) and / or the drive data to be given to the “eye” LED are generated, and these data are stored in the robotic server object. The corresponding actuator 25 through the virtual robot 53 of 52 and the signal processing circuit 14 (FIG. 2) in order.₁~ 25_n, Sequentially sent to the speaker 24 or LED.
[0078]
In this way, the robot 1 can perform autonomous actions in accordance with the self and surrounding conditions, instructions from the user, and actions based on the control program.
[0079]
(2) Configuration of tracking system 110 in robot 1
(2-1) Overall configuration of tracking system 110
Next, the configuration of the tracking system 110 in the robot 1 will be described.
[0080]
FIG. 10 shows a tracking system 110 in the robot 1. As apparent from FIG. 10, the robot 1 generates image data D1A to D1C of a plurality of types of images having different resolutions by filtering the image data given from the CCD camera 20 (FIG. 2) in the FBK 34A. The image data D1A to D1C are supplied to an MCT (Multi-color Tracker) module 111, and among these, image data D1B having a predetermined resolution is supplied to the CDT 34B.
[0081]
The CDT 34B is dedicated hardware for color extraction provided to perform part of the color extraction processing necessary for color tracking. The eight colors preset by the MCT module 111 from the image based on the supplied image data D1B. Are extracted at high speed, and the extraction result is sent to the MCT module 111 as color extraction image data D2.
[0082]
The MCT module 111 is a software module executed by the CPU 10 (FIG. 2) based on a control program stored in advance in the memory card 28, and has a parameter list 112 and a target list 113 as shown in FIG. Yes.
[0083]
Here, the parameter list 112 is a list in which various parameters related to the tracking processing of the MCT module 111 set and updated by other modules are described. For example, as shown in FIG. 11, the MCT module 111 extracts the parameters. “Color ID (Color-ID)” representing an ID of a power color, “Priority” representing a priority of tracking with respect to a target to be noticed, and which resolution image data is used when tracking a target with a high priority. Parameters such as “desired processing layer” and “desired processing frequency” that indicate whether to use and how often the tracking processing is performed are sequentially registered in response to requests from other modules. In the parameter list 112, “color space parameters” indicating initial values of color model parameters of each color that can be extracted by the MCT module 111 are registered in advance.
[0084]
On the other hand, the target list 113 is a list provided in correspondence with each target existing in the image based on the image data D1A to D1C supplied from the FBK 34A at that time. And attribute information such as an ID assigned to the target is described.
[0085]
The MCT module 111 executes a tracking process for each target for which the target list 113 is created based on various parameter settings described in the parameter list 112 and attribute information described in each target list 113.
[0086]
Specifically, the MCT module 111 is a target in which “priority”, “desired processing layer”, “desired processing frequency”, etc. are set in the parameter list 112 by other modules among the targets for which the target list 113 is created. The color to be tracked (hereinafter referred to as the target color) and the target to be focused on (hereinafter referred to as the target target) are tracked at high speed in a fast loop with a limited tracking search range. For the target, tracking processing in a slow loop is performed by full screen search with the entire image as the search range.
[0087]
However, in tracking processing by a slow loop, image data of the image with the lowest resolution is used and the frequency of tracking processing is also suppressed, thereby reducing the CPU processing load when there are multiple targets to be tracked. It is made so that it can be reduced.
[0088]
Further, the MCT module 111 sequentially updates the color model parameters of the target color described in each target list 113 based on the observation results of the past color model parameters, and thereby the posture and positional relationship of the target. Color variation due to changes in lighting and gentle changes in lighting conditions can be handled sufficiently.
[0089]
However, when the lighting conditions change rapidly, such a framework alone cannot handle it. In view of this, the tracking system 110 can cope with this problem, particularly with respect to skin color, through solidarity with external modules.
[0090]
Specifically, in the tracking system 110, a face detection result by a face detection module (not shown) that detects a face depending only on luminance information that is not easily affected by a change in color image due to a change in illumination conditions. It is given to the MCT module 111 periodically at a relatively low frequency.
[0091]
The MCT module 111 analyzes the color distribution of the area detected by the face detection module using the face detection result of the face detection module as a reliable teacher input of the skin color area, and based on the analysis result, The skin color model parameters have been updated.
[0092]
In this manner, the tracking system 110 can sufficiently cope with a sudden change in environmental conditions, and thus can perform tracking with higher accuracy.
[0093]
(2-2) Specific processing of the MCT module 111
Here, in practice, the MCT module 111 sets the CDT 34B so that the CDT 34B performs a predetermined eight color extraction process at the initial time when the power of the robot 1 is turned on. Predetermined initial setting values are registered in the parameter list 112 as “desired processing layer”, “desired processing frequency”, “attention color”, etc. in the tracking process.
[0094]
In this embodiment, the lowest resolution is set as the “desired processing layer” of tracking processing in the slow loop, and the frequency of about 3 to 10 frames is set as the “desired processing frequency”. . The tracking process using the slow loop also has implications for detecting new targets that appear in the image. Therefore, the skin color and pink for face detection are used as the “focused colors” during tracking processing in the slow loop. A pink color or the like for detecting the ball is set.
[0095]
The MCT module 111 then responds to a request from another module in the designated state such as “priority”, “desired processing layer”, and “desired processing frequency” of the designated target (target target). Various parameters for performing the tracking process are sequentially registered in the parameter list 112.
[0096]
When the MCT module 111 detects a new target at the time of tracking processing by a slow loop or the like, the MCT module 111 creates a target list 113 for the target, and the target list 113 shows the position and size of the target and the target. Color model parameters (initial values of corresponding color model parameters described in the parameter list 112) and the like are described as attribute information of the target, and the attribute information described in the target list 113 is subjected to subsequent tracking processing. Update sequentially according to the results.
[0097]
The MCT module 111 parallels the tracking processing by the slow loop and the tracking processing by the fast loop in accordance with the tracking processing procedure RT1 shown in the drawing based on the parameter list 112 and the target list 113 that are created and updated sequentially as described above. And run.
[0098]
In practice, the MCT module 111 performs the tracking processing procedure RT1 at the time of tracking processing by the slow loop, and after starting the tracking processing procedure RT1 at step SP0, at the subsequent step SP1, “desired processing layer” and “desired” for the slow loop registered in the parameter list 112. In accordance with the “processing frequency”, the image data D1B having the lowest resolution is used, and the extraction process for the designated color is performed using the entire screen as the search range. If the designated color is a color extracted by the CDT 34B, the MCT module 111 skips this step SP1 and immediately proceeds to step SP2.
[0099]
In step SP2, the MCT module 111 executes region segment processing that divides the color region extracted by the color extraction processing in step SP1 into a group of regions according to the distribution.
[0100]
Specifically, for each lump area extracted in step SP1, an ellipse that best surrounds the area is obtained while changing its size, position, inclination, and the like. The reason why the size, position, and inclination of the ellipse are changed in this way is to cope with, for example, a change in the distance to the target, a movement of the target, and a tilt of the target.
[0101]
The MCT module 111 then proceeds to step SP3, and each ellipse thus obtained and the target for which the target list 112 has been created (hereinafter referred to as a known target as appropriate). Is associated. Since there is no target list 112 for an initial stage or a new target, in this case, association with a known target is not performed.
[0102]
Subsequently, the MCT module 111 proceeds to step SP4, calculates the size and position of each ellipse as the size and position of each target associated in step SP3, and responds based on the calculation result. The target list 112 to be updated is updated. At this time, the target list 112 is created as a new target for an ellipse that is not associated with a known target.
[0103]
Further, when updating the target list 113, the MCT module 111 uses the maximum likelihood adaptation for the color model parameter of the corresponding target color described in the target list 113. Update.
[0104]
That is, the MCT module 111 estimates the color model parameters in the next step from the history of observation results (color model parameters) in the past n steps for the target under the constraint condition with the linear sum of the past known parameters. Then, the color region of the color is extracted using the estimated result, the current observation result (color model parameter) is determined by the sample, and the target list 113 is replaced with the original color model parameter. Update the color model parameters. The model estimation employs a parameter having the maximum likelihood predicted from the history of past observation results (sample set).
[0105]
Specifically, the color model parameters in the next step are
[0106]
[Expression 4]

[0107]
And the following formula
[0108]
[Equation 5]

[0109]
And the weighting factor α_n, Β_nThe update rule is derived by maximum likelihood estimation. In addition, (4) Formula is an average and (5) Formula is dispersion | distribution. M_n, S_nAre the average value and the variance value before the previous n steps, and r is the maximum number of histories.
[0110]
Then, by sequentially updating the color model parameters described in the target list 113 in this manner, it is practically sufficient to cope with color fluctuations caused by a gradual change in the orientation and position of the target target and a lighting condition. Can do.
[0111]
Next, the MCT module 111 returns to step SP1, and thereafter repeats steps SP1 to SP4 in the same manner as described above at the frequency registered in the parameter list 112. In this way, the MCT module 111 executes tracking processing by a slow loop.
[0112]
On the other hand, at the time of tracking processing by a fast loop, the MCT module 111 starts this tracking processing procedure RT1 in step SP0, and in the following step SP1, among the attention colors and targets designated in the parameter list 112 by other modules, First, the target of interest having the highest “priority” is selected, the color parameter (color model parameter) is read from the corresponding target list 113, and the correspondence specified in the parameter list 112 is based on the read color model parameter. The color extraction processing is executed using the image data D1A to D1C having the resolution to be processed.
[0113]
At this time, the MCT module 111 expands the color extraction process by 5 to 10 pixels in the vicinity of the position immediately before the target of interest registered in the corresponding target list 113, for example, up, down, left, and right from the immediately preceding position. Only the area (search range) is limited and executed.
[0114]
Even in the case of tracking processing by a fast loop, if the color to be extracted is a color extracted by the CDT 34B, the MCT module 111 skips step SP1 and immediately proceeds to step SP2.
[0115]
In step SP2, the MCT module 111 executes the above-described region segment processing on the processing result of the color extraction processing in step SP1, and then proceeds to step SP3 to detect the ellipse detected by the region segment processing. The association with the target of interest is performed.
[0116]
Further, the MCT module 111 proceeds to step SP4 to calculate the size, position, etc. of the ellipse obtained in step SP2 as described above, and based on the calculation result, the MCT module 111 described in the corresponding target list 113 Update the position and size of the target of interest. The MCT module 111 also updates the color model parameters of the target target color described in the target list 113 by the maximum likelihood adaptation method in the same manner as described above.
[0117]
Then, when the MCT module 111 updates the corresponding target list 113 in this way, the attribute information such as the current position and color of the target is sent to other modules that have requested the tracking of the target thereafter. Output as target information. Thus, the other module can execute various processes such as moving the head unit 4 of the robot 1 in accordance with the movement of the target based on the target information.
[0118]
Further, the MCT module 111 thereafter repeats the same processing for the target of interest at a frequency corresponding to the corresponding “desired processing frequency” registered in the parameter list 112. In this way, the MCT module 111 executes the tracking process for the target of interest with the designated “desired process layer” and “desired process frequency”.
[0119]
In parallel with this, the MCT module 111 also has other “high priority” as many as the other target colors and targets specified in the parameter list 112 according to the processing capacity of the CPU 10 (FIG. 2) at that time. The image data of the resolution corresponding to the “desired processing layer” specified for the target of interest is used in the same manner as described above while limiting the search range (corresponding color extraction range) in order from The tracking process is executed at a frequency corresponding to the designated “desired process frequency”.
[0120]
In this way, the MCT module 111 performs tracking processing in a fast loop with a limited search range for targets specified by other modules, and performs tracking processing in a slow loop by full screen search for other targets. Has been made to get.
[0121]
On the other hand, as described above, the face detection result by the face detection module (not shown) is periodically given to the MCT module 111 at a relatively low frequency.
[0122]
At this time, based on the face detection result of the face detection module, the MCT module 111 performs histogram analysis on the color of the area portion on the image plane detected by the face detection module as the face area, thereby determining the color of the area portion. Get the color model parameters for.
[0123]
The MCT module 111 updates the skin color model parameters by replacing the color model parameters acquired in this way with the skin color model parameters registered in the parameter list 112 at that time.
[0124]
In this way, the MCT module 111 is configured to sequentially update the skin color model parameters based on the face detection result by the face detection module, thereby sufficiently responding to a sudden change in environmental conditions in practice. The tracking can be performed with higher accuracy.
[0125]
(3) Operation and effect of the present embodiment
In the above configuration, in the tracking system 110, the MCT module 111 performs tracking processing for a target specified by another module by a fast loop with a limited search range, and the other targets are slow due to full screen search. Tracking processing is performed by a loop.
[0126]
Therefore, in the tracking system 110, it is possible to reliably perform tracking for other targets while performing accurate tracking with guaranteed real time for targets specified by other modules.
[0127]
Further, in this tracking system 110, the face detection result by the face detection module is periodically given to the MCT module 111, and the MCT module 111 has the skin color described in the parameter list 112 based on the face detection result of this face detection module. Since the color model parameters are corrected, it is possible to sufficiently cope with a sudden change in environmental conditions, and tracking can be performed with higher accuracy.
[0128]
Furthermore, in this tracking system 110, since the extraction process of a part of colors necessary for the tracking process in the MCT module 111 is left to the dedicated hardware CDT 34B, when all the color extraction processes are performed in the MCT module 111, Compared with this, the color tracking process can be performed at higher speed, and the real-time performance of the tracking process for the target of interest can be assured more reliably.
[0129]
According to the above configuration, the MCT module 111 performs tracking processing for a target specified by another module by a fast loop with a limited search range, and other targets are tracked by a slow loop by full screen search. As a result of processing, it is possible to accurately track other targets while ensuring accurate tracking that guarantees real time for targets specified by other modules. Multiple objects can be reliably tracked while guaranteeing.
[0130]
(4) Other embodiments
In the above-described embodiment, the case where the present invention is applied to the four-legged walking robot 1 configured as shown in FIG. 1 has been described. However, the present invention is not limited to this, for example, a humanoid type The present invention can be widely applied to other types of robot devices such as the above-mentioned robot devices, and can also be widely applied to various other devices other than robot devices.
[0131]
In the above-described embodiment, the FBK 34A (FIG. 10) serving as filter means for generating a plurality of image data D1A to D1C having different resolutions based on the image data from the CCD camera 20 is image data with three types of resolutions. Although the case of generating D1A to D1C has been described, the present invention is not limited to this, and the FBK 34A may generate image data D1A to D1C having three or more types of resolution. This allows other modules to set the tracking processing accuracy more finely according to the importance of the target.
[0132]
Furthermore, in the above-described embodiment, the MCT module 111 cooperates with the face detection module to correct the skin color model parameters described in the parameter list 112, thereby sufficiently dealing with a sudden change in environmental conditions. Although the present invention is not limited to this, the present invention is not limited to this. For example, the detection result of the motion detection module can be used to enable the MCT module 111 to quickly follow the movement of the object, or to analyze parallax and texture. Then, an arbitrary target object may be tracked using the output of the module for segmenting the object. In short, the target given from another module for detecting predetermined information related to the tracking target different from the MCT module 111 is applicable. Based on the information, the parameter list that defines the tracking processing operation By to update the door 112 and the target list 113, it is possible to construct a tracking system that can practically sufficiently respond to rapid changes in other environmental conditions other than the color.
[0133]
Furthermore, in the above-described embodiment, a tracking process using a fast loop with a limited search range is performed for some of the tracking targets, and the entire image is a slow search range for the other tracking targets. The case where the MCT module 111 as the tracking processing means for performing the tracking processing by the loop is configured as a software module executed by the CPU 10 (FIG. 2) that controls the operation of the entire robot 1 has been described. However, the present invention is not limited thereto, and a calculation unit other than the CPU 10 may be provided and configured as a software module executed by the calculation unit.
[0134]
Furthermore, in the above-described embodiment, as a limitation of the search range at the time of tracking processing by a fast loop, the search range is set to a range that is expanded by 5 to 10 pixels vertically and horizontally from the position immediately before the target. However, the present invention is not limited to this, and various other ranges can be set as limitations on the search range.
[0135]
【The invention's effect】
  As described above, according to the present invention,By performing a predetermined filtering process on the first image data in a tracking device that performs a tracking process in which the tracking target existing in the image follows in the image based on the first image data supplied from the imaging means The image data generating means for generating the second image data having a plurality of resolutions different from the first image data, and the first image data.Of the tracking targets,DesignatedFor tracking,Specified processingPerform the tracking process by the first loop performed at a frequency,not specifiedFor the tracking target, what is the first loop?ConcernedTracking processing means for performing tracking processing by a second loop having different processing frequenciesThe tracking processing means uses the second image data having the specified resolution for the specified tracking target and executes the tracking process at the specified processing frequency.ByDesignatedFor tracking objects, it is possible to perform accurate tracking that guarantees real time.OrThus, it is possible to realize a tracking device that can reliably track a plurality of objects while guaranteeing real-time performance.
[0136]
  Also according to the invention,Tracking deviceIn the tracking method,The tracking device performs a predetermined filtering process on the first image data supplied from the imaging unit, thereby generating second image data having a plurality of resolutions different from the first image data. Present in the data generation step and the first image dataOf the tracking targets,DesignatedFor tracking,Specified processingPerform the tracking process by the first loop performed at a frequency,not specifiedFor the tracking target, what is the first loop?ConcernedTracking processing step for performing tracking processing by a second loop having different processing frequenciesIn the tracking processing step, for the designated tracking target, the second image data having the designated resolution is used, and the tracking processing is executed at the designated processing frequency.By doing so,DesignatedFor tracking objects, it is possible to perform accurate tracking that guarantees real time.OrCan reliably track multiple objects while guaranteeing real-time performanceTracking deviceA tracking method can be realized.
[0137]
  Furthermore, in the present invention, in the robot apparatus,Image data generating means for generating second image data having a plurality of resolutions different from the first image data by performing predetermined filtering processing on the first image data supplied from the imaging means; Present in the first image dataOf the tracking targets,DesignatedFor tracking,Specified processingPerform the tracking process by the first loop performed at a frequency,not specifiedFor the tracking target, what is the first loop?ConcernedPerform tracking processing by the second loop with different processing frequencyTracking processing means, and for the designated tracking target, the tracking processing means uses the second image data having the designated resolution and executes the tracking process at the designated processing frequency.By doing so,DesignatedFor tracking objects, it is possible to perform accurate tracking that guarantees real time.OrThus, it is possible to realize a robot apparatus that can reliably track a plurality of objects while guaranteeing real-time performance.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a configuration of a robot according to an embodiment.
FIG. 2 is a block diagram showing a circuit configuration of a robot.
FIG. 3 is a block diagram illustrating a configuration of a signal processing circuit.
FIG. 4 is a block diagram showing a software configuration of a control program.
FIG. 5 is a block diagram showing a software configuration of a middleware layer.
FIG. 6 is a block diagram showing a software configuration of an application layer.
FIG. 7 is a conceptual diagram showing a configuration of a behavior model library.
FIG. 8 is a conceptual diagram for explaining a stochastic automaton.
FIG. 9 is a conceptual diagram for explaining a state transition table.
FIG. 10 is a block diagram showing a configuration of a tracking system according to the present embodiment.
FIG. 11 is a schematic diagram for explaining setting parameters in a parameter list;
FIG. 12 is a flowchart showing a tracking processing procedure.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Robot, 10 ... CPU, 20 ... CCD camera, 34A ... FBK, 34B ... CDT, 111 ... MCT module, 112 ... Parameter list, 113 ... Target list, D1A-D1C ... Image Data, RT1 ... Tracking processing procedure.

Claims

In a tracking device that performs tracking processing for tracking a tracking target existing in an image based on first image data supplied from an imaging unit in the image,
Image data generating means for generating second image data having a plurality of resolutions different from the first image data by performing a predetermined filtering process on the first image data;
Among the tracking targets existing in the first image data , the specified tracking target is subjected to the tracking process by the first loop performed at the specified processing frequency, and the tracking target that is not specified is specified. , above the first loop comprises a tracking processing unit for performing the tracking processing the processing frequency by different second loop,
The tracking processing means includes
For the specified tracking target, the tracking processing is executed at the specified processing frequency using the second image data having the specified resolution.
Tracking devices.

In a tracking method of a tracking device that performs tracking processing for tracking a tracking target existing in an image based on first image information supplied from an imaging unit in the image,
The tracking device
An image data generation step of generating second image data having a plurality of resolutions different from the first image data by performing a predetermined filtering process on the first image data supplied from the imaging means; ,
Among the tracking targets existing in the first image data , the specified tracking target is subjected to the tracking process by the first loop performed at the specified processing frequency, and the tracking target that is not specified is specified. , above the first loop comprises a tracking processing step of performing the tracking processing the processing frequency by different second loop,
The tracking process step
For the specified tracking target, the tracking processing is executed at the specified processing frequency using the second image data having the specified resolution.
Tracking method of the tracking device .

In a robot apparatus that performs tracking processing for tracking a tracking target existing in an image based on first image data supplied from an imaging unit that images the outside in the image,
Image data generating means for generating second image data having a plurality of resolutions different from the first image data by performing a predetermined filtering process on the first image data supplied from the imaging means. When,
Among the tracking targets existing in the first image data , the specified tracking target is subjected to the tracking process by the first loop performed at the specified processing frequency, and the tracking target that is not specified is specified. , above the first loop comprises a tracking processing unit for performing the tracking processing the processing frequency by different second loop,
The tracking processing means includes
For the specified tracking target, the tracking processing is executed at the specified processing frequency using the second image data having the specified resolution.
Robot apparatus.