JP4429680B2 - 適応型人工視覚方法及びシステム - Google Patents

Description

本発明は、適応型人工視覚方法及び適応型人工視覚システムに関する。

多くの人工視覚システムにおいて、対象物は予め与えられているか又は存在しない。

幾つかのシステムでは、画像の特定の特徴（色、境界など）に基づいて画像のセグメンテーションが実行されているが、このようなシステムでは、対象物を概念的に把握しているわけではない。これらのシステムでは、そのシステム自体において関心があるように見える領域が抽出されているだけである。この方法は、「対象物」が提示されているバックグランドが既知であるか又は強調されている（例えば、白いフロア上の着色された対象物）場合にはうまく機能する。このようなケースでは、自動的に抽出されたセグメンテーション要素は、ある対象物の「輪郭」と見なすことができる。

また他のシステムでは、モデルとして使用されるように与えられた所定の対象物のセットにより、対象物の識別が実行される。モデルが十分に優れた品質である場合、このようなシステムの性能は、非常に優れたものになり得る（例えば非特許文献１を参照）。

エス ウルマン（S. Ullman）著、「ハイレベルビジョン：対象物認識と視覚認知」ハンドブック、１９９６年、米国マサチューセッツ州ボストン、ＭＩＴプレス。

しかしながら、残念なことに、ある状況下では、上述した２つの条件のいずれも適合しない場合がある。これは特に、事前に知らされていない「対象物」の存在の発見を試みる、よくある未知の環境で動作するロボットの状況に該当する。この場合、対象物のセグメンテーション及び認識では、以下のように要約できるブートストラップ（bootstrapping）の問題がある。

・セグメンテーションアルゴリズムは、対象物のテンプレートが提示されないと、現実の条件下ではうまく動作しない。

・対象物のテンプレートは、優れたセグメンテーションアルゴリズムがないと構築できない。

このような状況は、技術的な行き詰まりを招くこととなる。

本発明は、前述の問題点を解消するとともに、事前に把握してない対象物が現れる未知の環境でも、人工視覚認識の効率的なブートストラップを可能にすることを目的にしている。

本発明の一実施形態によれば適応型人工視覚方法が提供される。この適応型人工視覚方法においては、
（ａ）同期された時間ステップの対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）を、対に含まれる２つの同期時間ステップの時間差τが予め定めた遅延時間τ_０となるように、連続的に設定し、
（ｂ）予め定めた遅延時間τ_０で隔てられた同期時間ステップの各対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）における２つの連続する画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）を比較し、２つの連続画像間での対象物の動きを特徴化を考慮して、２つの連続画像の各画素間の距離を算出することによってデルタ画像Δ_ｔを取得し、
（ｃ）デルタ画像Δ_ｔから特徴部分を抽出することで、空白の初期レパートリーにおいてリアルタイムで順次構築されてきた第１のレパートリー（repertory）Ｒ_ｄに予め記憶されていた動的パッチと比較されるべき、動的パッチ候補Ｐ_ｔを求め、
（ｄ）第１のレパートリーＲ_ｄの中から類似性が最も高い動的パッチＤ_ｉを選択するか、あるいは、類似性が高い動的パッチが無い場合には動的パッチ候補Ｐ_ｔを第１のレパートリーＲ_ｄに加えることで、同期時間ステップの各対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）における２つの連続画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）の比較から動的パッチＤ_ｉを取得して保存し、
（ｅ）第１のレパートリーＲｄに保存された動的パッチＤ_ｉを時間的に統合（integrate）して、観測された再発生している動き又はイベントの特徴を示すアクティブな動的パッチの安定セットを検出し、保存する。

適応型人工視覚方法において、再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された場合、動きの中心が識別され、動きの中心から予め定めた距離ｄにおける静的パターンの認識処理により静的パッチが取得され、第２のレパートリーＲ_ｓに格納される与えられた時間ステップでのアクティブな静的パッチＳ_ｉのセットを構成するように、静的パッチが分析される構成としてもよい。

また適応型人工視覚方法において、観測された既知の再発生している動きに繰り返し関与している対象物の特徴を示すアクティブな静的パッチの安定セットを検出し格納するために、第２のレパートリーＲ_ｓに格納された静的パッチＳ_ｉを空間的に統合（integrate）してもよい。

本発明の他の実施形態においては、静的パターン認識及び静的パッチ生成の処理が、再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された後、開始される。

本発明のさらに他の実施形態においては、静的パターン認識及び静的パッチ生成の処理は、動的動き認識及び動的パッチ生成の処理と同時に開始され、再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された場合、静的パターン認識処理は、識別された動きの中心を中心とする限定された画像領域に位置する静的パッチについてのみ継続される。

本発明のさらに他の実施形態においては、２つの連続画像（Ｉ_ｔ−１、Ｉ_ｔ）の各ピクセル間の距離の算出の際には、最も顕著な差だけを残すためにフィルタ関数ｆ_ｔｈが用いられ、デルタ画像Δ_ｔは
Δ_ｔ＝ｆ_ｔｈ（｜｜（Ｉ_ｔ−１、Ｉ_ｔ）｜｜）
により求められる。

フィルタ関数ｆ_ｔｈは閾値関数であってもよい。

本発明のさらに他の実施形態においては、デルタ画像Δ_ｔから特徴を抽出するステップには、各色要素に対する分布のガウス色モデルの算出が含まれる。また、デルタ画像Δ_ｔから特徴を抽出するステップに、色要素、形状及びテクスチャのいずれかに対する分布をモデル化するヒストグラムを用いてもよい。

本発明のさらに他の実施形態においては、静的パッチは、１つの特徴点（salient point）が検出された場合、同期時間ステップｔにおいて提供された画像Ｉ_ｔでの特徴点群（ｘ、ｙ）に基づき取得されるものであり、囲んでいるピクセルに対応する領域Ｒ_ｘ、ｙが定義され、領域Ｒ_ｘ、ｙから特徴を抽出することで静的パッチの候補Ｓ_ｘ，ｙを決定する。

上述のような場合、領域Ｒ_ｘ、ｙからの特徴抽出では、隣接ピクセルに対する色変化を測定し、領域Ｒ_ｘ、ｙにおける色分布の色モデルを算出してもよい。

また、同期時間ステップ（ｔ_−１、ｔ；Ｔ＋ｔ_−１；Ｔ＋ｔ；・・・）の連続する時間ステップは、予め定めた遅延時間τ_０のｎ倍に等しい時間Ｔで隔てられているものであり、ｎはゼロ又は正の整数であるよう構成されていてもよい。

しかしながら、同期時間ステップの連続する対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）は連続的であり、連続する同期時間ステップの２対の間が断続的ではないことがより好ましい。

本発明の一実施形態による方法においては、上記構成に加えて、再発生している動きの特徴を示すアクティブな動的パッチの安定セット間での状態遷移を検出するステップと、識別された一連の動きを含む複雑なイベントを予想するための状態遷移グラフを構築するステップとをさらに備えるよう構成されていてもよい。

本発明のさらに他の実施形態によれば、適応型人工視覚システムが提供される。本適応型人工視覚システムは、
同期された時間ステップの対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）を、対に含まれる２つの同期時間ステップの時間差τが予め定めた遅延時間τ_０となるように、連続的に設定するクロックと、
カメラにより提供された同期時間ステップ（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）での画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）を入力する入力手段と、
予め定めた遅延時間τ_０で隔てられた同期時間ステップの各対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）に入力された２つの連続する画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）を比較し、２つの連続画像の各画素間の距離を算出することによってデルタ画像Δ_ｔを取得する第１の比較手段と、
対象物の特徴化された動きを記述するための、可視要素部分（elementary visual part）を示す動的パッチを格納する第１の記憶手段と、
デルタ画像Δ_ｔから特徴部分を抽出し、動的パッチ候補Ｐ_ｔを生成する特徴抽出手段と、
比較されるべき動的パッチ候補Ｐ_ｔと、第１の記憶手段に予め格納されている動的パッチとを比較する第２の比較手段と、
第１の記憶手段の中から最も近い動的パッチＤ_ｉを選択するか、あるいは、充分に近い動的パッチが無い場合には動的パッチ候補Ｐ_ｔを第１の記憶手段に格納することで、同期時間ステップの各対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）における２つの連続画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）の比較する毎に動的パッチＤ_ｉを第１の記憶手段に格納する選択手段と、
予め定めた個数Ｎ１の同期時間ステップの対に対応する時間Ｔ_Ｆ１において第１の記憶手段に格納されている動的パッチＤ_ｉの各々の頻度を算出する算出手段と、予め定めた閾値よりも高い頻度を示した動的パッチＤ_ｉから構成されるアクティブな動的パッチのセットを決定する閾値手段とを備える第１の時間的統合手段と、
予め定めた個数Ｎ２の同期時間ステップの対に対応する時間Ｔ_Ｆ２において決定されたアクティブな動的パッチのセット各々の頻度を算出する算出手段と、予め定めた閾値よりも高い頻度を示したアクティブな動的パッチのセット各々を、再発生している動きに対応する動的パッチの安定セットとして決定する閾値手段とを備える第２の時間的統合手段とを備える。

また、上記システムは、アクティブな動的パッチの安定セットによって示されている再発生している動きの中心を識別する手段と、再発生している動きの中心から予め定めた距離ｄにある静的パッチを分析するために静的パターン解析を開始させる手段とをさらに備える構成としてもよい。

本発明によれば、事前に把握してない対象物が現れる未知の環境でも、人工視覚認識の効率的なブートストラップを可能にする適応型人工視覚方法及び／又はシステムが提供される。

本発明に係る適応型人工視覚方法及びシステムは、対象物及びイベントの認識をブートストラップ（bootstrapping）できるように考案されている。

本発明に係る適応型人工視覚方法及びシステムは、非常に大まかな認識性能から開始される。この適応型人工視覚システムは、動的又は静的イベントを示す可視要素部分である、パッチ（patch）を認識するように適応されているため、印象主義的（impressionist）であるとも言える。動的イベントは、通常、動きにより設定され、静的イベントは対象物により設定される。

パッチは、その視覚的な認識を最低限のレベルで表すために、本発明に係る適応型人工視覚方法及びシステムによって構築されるものである。この適応型人工視覚システムでの視覚体験が積み重ねられるにつれて、この適応型人工視覚システムは、安定セット（stable set）を見出すために、これらのパッチを統合するよう動作する。この統合処理は、時間的及び空間的な領域の両方で行われる。しばらくすると、適応型人工視覚システムは、再発生している動きの認識が可能になる。この段階に達した後、適応型人工視覚システムは、検出された動きに関与している対象物の構造の抽出を試みる。この手法により、適応型人工視覚システムは、これらの対象物の動きがない場合でも、その認識が可能になる。適応型人工視覚システムは、何も無い状態からスタートし、段階を経る毎に学習して、より複雑な表現も認識できるように構成される。

パッチの安定セットは、環境中に発生したり存在している事物（イベントや対象物）についての、より高いレベルの表現形式を構成している。更に、動的パッチのセットが構築される方法は、静的パッチのセットが処理される方法に直接影響する。実際、優れた動的認識がまず前提となり、これに基づいて静的認識が開始されることになる。

図１、２、７を参照して、動的認識処理を更に詳細に説明する。

クロック１０１は、ｔ_−１、ｔのような同期された時間ステップの連続する対を設定する。２つの同期時間ステップ、例えば同期時間ステップの対のｔ_−１、ｔの間の時間差τは、予め定めた遅延時間τ_０に等しい。

同期時間ステップの連続する対、例えばｔ_−１、ｔ；Ｔ＋ｔ_−１、Ｔ＋ｔ；・・・は、予め定めた遅延時間τ_０のｎ倍に等しい時間Ｔの期間で、分離される。ここで、ｎは正の整数であるか又はゼロに等しい。好ましくは、ｎ＝０であり、同期時間ステップの連続する対ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・は、同期時間ステップの２つの連続する対の間に任意の時間的な中断がない状態で連続している。

環境の画像は、ビデオカメラのようなカメラ１０３によって取得され、クロック１０１によって同期された入力回路１０２を介して、この適応型人工視覚システムへ入力される。すなわち、カメラ１０３が撮像した場面のデジタル画像Ｉ_ｔ−１、Ｉ_ｔ、Ｉ_ｔ＋１、・・・の入力は、設定した連続時間ステップｔ_−１、ｔ；ｔ、ｔ_＋１；・・・での入力回路１０２による第１のコンパレータ１０４への入力によって実施される。

以下では、同期時間ステップの連続する対ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・は、連続している（すなわちｎ＝０、Ｔ＝ｎτ_０＝０）と想定している。

動的パッチは、予め定めた遅延時間τ_０で隔てられた同期時間ステップｔ_−１、ｔ；ｔ、ｔ_＋１；・・・の各対で第１のコンパレータ１０４に入力した２つの連続画像Ｉ_ｔ−１、Ｉ_ｔ；Ｉ_ｔ、Ｉ_ｔ＋１；・・・を比較して得られている。

デルタ画像△_ｔは、２つの連続する画像Ｉ_ｔ−１、Ｉ_ｔ；Ｉ_ｔ、Ｉ_ｔ＋１、・・・間で生じた特徴イベント（対象物の動き）を鑑みて、２つの連続画像Ｉ_ｔ−１、Ｉ_ｔ；Ｉ_ｔ、Ｉ_ｔ＋１、・・・の各画素間での距離の計算の結果得られる。

第１のコンパレータ１０４は、最も顕著な差分だけを保持するように、閾値関数ｆ_ｔｈのようなフィルタ関数を含んでいてもよい。このような場合、画像の対Ｉ_ｔ−１、Ｉ_ｔを考慮すると、△_ｔ＝ｆ_ｔｈ（｜｜Ｉ_ｔ−Ｉ_ｔ−１｜｜）である。

メモリＭ_ｄは、対象物の動きを特徴化した可視要素部分を表す動的パッチＤ_ｉを保存するために用いられる。

デルタ画像△_ｔは、該デルタ画像△_ｔから特徴を抽出するとともに動的パッチ候補Ｐ_ｔを生成するモジュール１０５へ送られる。デルタ画像△_ｔの特徴を抽出するモジュール１０５は、異なる周知の技術を使用することができる。例えば、色成分毎の分布に関するガウス色モデルは、モジュール１０５で計算することができる。また代わりに、モジュール１０５でデルタ画像△_ｔから特徴を抽出するステップには、色の成分、形状又はテクスチャの分布をモデル化するヒストグラムを用いる処理が含まれていてもよい。色モデルが使用される場合、動的パッチ候補Ｐ_ｔは、デルタ画像△_ｔの色の分布を表している。

メモリＭ_ｄは、初期の空白レパートリーからリアルタイムで継続的に構築されるレパートリーＲ_ｄを含んでいる。

モジュール１０６では、動的パッチ候補Ｐ_ｔがメモリＭ_ｄのレパートリーＲ_ｄに既に格納されている動的パッチと比較される。

選択モジュール１０７は、メモリＭ_ｄで最も類似している動的パッチＤ_ｉの選択を可能とするか、又は、これが最初のステップである場合あるいは十分に類似する動的パッチが存在しない場合、選択モジュール１０７は、メモリＭ_ｄ内のレパートリーＲ_ｄに動的パッチ候補Ｐ_ｔの格納を可能とするように構成されている。したがって、動的パッチＤ_ｉは、同期時間ステップの各対における２つの連続する画像の比較のために、各比較のたびにメモリＭ_ｄに保存される。

図２において、参照番号２０Ａ、２０Ｂは、ある色（例えば赤）のボールを持つ手の第１の動きを示す２つの連続した画像の一例を示す。参照番号２０Ｃは、連続する画像２０Ａ、２０Ｂに対応するデルタ画像△_ｔを示す。動的パッチＤ_２０は、デルタ画像２０Ｃから構築されて、メモリＭ_ｄのレパートリーＲ_ｄに保存される。

同様に、参照番号２２Ａ、２２Ｂは、同じ赤色のボールを持つ手の第２の動きを示す２つの連続した画像の一例を示す。参照番号２２Ｃは、画像２２Ａ、２２Ｂに対応するとともに、動的パッチＤ_２２の生成を可能にするデルタ画像Δ_ｔを示している。

参照番号２６Ａ、２６Ｂは、他の色のボール、例えば黄色のボールを持つ手の第３の動きを示す２つの連続画像の他の対の一例を示す。参照番号２６Ｃは、画像２６Ａ、２６Ｂに対応するとともに、動的パッチＤ_２６の生成を可能にするデルタ画像Δ_ｔを示している。

動的パッチＤ_２０、Ｄ_２２、Ｄ_２６は、メモリＭ_ｄのレパートリーＲ_ｄに全て保存される。

図７のモジュール１０８は、第１の時間的統合手段を構成するとともに、同期時間ステップの対に関して予め定めた数Ｎ１に対応する時間Ｔ_Ｆ１中に、レジスタからなるレパートリーＲ_ｄに保存されていた各動的パッチＤ_ｉの頻度を計算する計算手段１０８Ａを備えている。閾値手段１０８Ｂは、その頻度が予め定めた閾値より高い動的パッチＤ_ｉを有するアクティブな動的パッチのセットを設定するように構成されている。

次に、時間ステップの最後のＮ１番目の対におけるレパートリーＲ_ｄの各動的パッチＤ_ｉの頻度が計算される。頻度がある閾値を超えている動的パッチＤ_ｉの全てが、アクティブと呼ばれる。任意の時間ステップにおいて、適応型人工視覚システムが検出したイベントを特徴付けたとされるアクティブな動的パッチのセットが提供される。

例えば、時間ステップｔでは、図１の画像１から、３つの動的パッチがアクティブと見なされる（Ａ_ｔ＝Ｄ_２０、Ｄ_２２、Ｄ_２６）。図１の画像１は、黄色のボールを持って動いている手を示すとともに、デルタ画像２０Ｃ（赤のボールを持つ手の第１の動き）と、デルタ画像２２Ｃ（赤のボールを持つ手の第２の動き）と、デルタ画像２６Ｃ（黄のボールを持つ手の第３の動き）とにそれぞれ対応する動的パッチＤ_２０、Ｄ_２２、Ｄ_２６とから設定されると考えることができる。

図７に示した適応型人工視覚システムは、第２の時間的統合手段を構成するモジュール１０９を更に備えている。モジュール１０９は、同期時間ステップの対に関して予め定めた数Ｎ２に対応する時間Ｔ_Ｆ２中に、動的パッチＤ_２０、Ｄ_２２、Ｄ_２６のように設定したアクティブな動的パッチの各セットＡ_ｔの頻度を計算する計算手段１０９Ａを備えている。閾値手段１０９Ｂは、その頻度が予め定めた閾値より高い、アクティブな動的パッチのセットＡ_ｔの各々について、再発生している動きに対応する動的パッチの安定セットを設定するよう構成されている。

以上のように、アクティブな各動的パッチの頻度が計算される。あるアクティブな動的パッチのセットが非常に頻繁に再発する場合、それは安定していると見なされる。これは、この環境内で定期的に生じることに対応すると想定された場合である。すなわち、単なるパッチより高いレベルとなるイベントが生成される。このような動的イベントは、例えば図１での「黄色のボールを示す」イベントとして設定されるように生成されて、再発生している動きに関与するパッチのセットにより設定される。図１の例では、イベントが動的パッチＤ_２０、Ｄ_２２、Ｄ_２６のセットで設定され、これらのデータがメモリＭ_ｄに保存される。

このような動的イベントが構築されると、特別な検出器が直ちに形成され、アクティブな動的パッチのセットの１つが、このイベントに対応するたびに起動がされる。図２は、このような検出の一例を示す図である。ユーザは、黄色のボールをカメラに示している。適応型人工視覚システムは、このイベントをアクティブな動的パッチのセットＡ_ｔ＝（Ｄ_２０、Ｄ_２２、Ｄ_２６）で特徴付ける。適応型人工視覚システムは、既に過去に数回現れた動的イベントとして、このセットを認識する。どのように認識が行われるかについてより明確に示すために、図２に初期パッチの生成に使用された２つの画像を、検出に関与するパッチ毎に示している。動的パッチＤ_２０、Ｄ_２２は、赤色のボールがカメラに示された時に生成されていた。動的パッチＤ_２６は、この時に黄色のボールを伴う類似のイベントに対するものであった。最初の２つは、丸い形状の対象物を示す時に行われた手の特別な動きの特徴であり、最後のものは、関与していた黄色に関して更に特定したものである。パッチの記述は、適応型人工視覚システムが発生しているものをより簡潔に記すために生成する、非常に単純な「言語」と見なすことができる。新しいイベントが感知されるたびに、この適応型人工視覚システムは、該イベントを説明するために、レパートリーに存在するパッチをできるだけ利用する。

したがって、背景の部分にすぎない特徴に対して、関心のある対象物を移動できると想定される場合には、動的認識処理で得た結果を用いて、静的認識処理をブートストラップ又は再フォーカスすることができる。

動きからなる動的イベントに反復性があると高い信頼性で検出した場合、適応型人工視覚システムは、図７のモジュール１１０で識別した動きの中心に直ちにフォーカスをあて、モジュール１１２で実現する静的パターン認識がトリガ手段１１１によってトリガされる。このため、再発生する動きの中心から予め定めた距離ｄに位置する静的パッチが分析されて、ある時間ステップにおけるアクティブな動的パッチのセットが構成される。

図３では、手の動きに対応する既知のイベントが検出された画像（画像３）を示す図である。その場合、４つの静的パッチが、その部分と見なされる（Ｓ１６、Ｓ２９、Ｓ３４、Ｓ４０）。

適応型人工視覚システムは、動的ケースと全く同じようにアクティブな各静的パッチのセットの頻度を計算してもよい。あるセットが既知の動きに規則的に関与している場合、それらは実際に存在する対象物に対応していると想定される。そこで静的な対象物が生成される。この静的対象物は、規則的に感知される静的パッチのセットによって設定される。

第１の静的対象物が構築されると直ちに、適応型人工視覚システムは、各時間ステップにおいて該第１の静的対象物が存在するかどうかを調べる。適応型人工視覚システムは、画像分析中に検出したパッチを検索して、対象物の定義に対応している構成を探す。対象物は、再発生している動きの部分だったために、最初に生成されていたが、ここでは動いていない場合でも検出することができる。図１の例では、適応型人工視覚システムは、既知の動き（動きを示す手）及び既知の対象物（ボール）の両方を検出する。

図４は、図３の画像３０を含めた画像群から、適応型人工視覚システムが構築できる静的パッチのセットに対応する対象物の例を示している。対象物１１〜１４は、この具体例では、各々手、首、ボール、犬型ロボットを表している。

次に、静的認識システムの具体的な例について説明する。

静的パッチは、視覚感知Ｉ_ｔにおける特徴点に基づいている。例えば、人の顔での特徴点は目と口である。これらの特徴点は、例えば隣接画素との比較によって得られる色変化を測定することで判定することができる。これは、一般的に、エッジ検出のために用いる方法である。

特徴点（ｘ、ｙ）を検出すると、周囲の画素に対応する領域Ｒ_ｘ、ｙが、下記のように定められる。

Ｒ_ｘ、ｙ＝ｒｅｇｉｏｎａｒｏｕｎｄ（ｘ、ｙ）
動的ケースのように異なる特徴が抽出できるが、一実施形態によれば、この領域の画素の色モデルが計算される。これが静的パス候補Ｓ_ｘ、ｙを構成する。

Ｓ_ｘ、ｙ＝ｃｏｌｏｒｄｉｓｔｒｉｂｕｔｉｏｎ（Ｒ_ｘ、ｙ）
このパッチが、メモリＭ_ｄに存在するパッチと比較される。メモリＭ_ｄで最も類似するパッチＳ_ｉが選択される。十分に類似するパッチが存在しない場合、Ｓ_ｘ、ｙがメモリＭ_ｄに加えられる。

Ｓ_ｉ＝ｃｌｏｓｅｔｐａｔｃｈ（Ｓ_ｘ、ｙ、Ｍ_ｓ）
各時間ステップｔで、適応型人工視覚システムは、画像Ｉ_ｔを分析して、それを記す静的パッチＳ_ｉのセットを生成する。静的パッチＳ_ｉの数が大きければ大きいほど、認識性能が高まる。しかしながら、このような処理が全ての時間ステップで進むにつれて、過度に時間を費やす分析とならないように注意しなければならない。したがって、実施する際には、可能性のある静的パッチＳ_ｉの数を制限することがより好ましい。これは、次に示すような様々な方式により実現できる。

１．低い分解能で分析を行う；
２．時間ステップ毎に画像のある部分だけに集中するフォーカス設定機構を導入する；
３．各特徴点間の最短距離を指定する；
４．画像を事前にフィルタリングして、関心のある事物（飽和色又は肌のような色）を含んでいると思われる部分を抽出する；
５．特徴点を固定した数に限定して、最も特徴的な点だけ取り出す。

動的パッチの安定セットにより設定された既に認識済みのイベントＥ_１の一例を、図５の画像５０に示す。このイベントＥ_１の例は、２つの動的パッチＤ_１、Ｄ_４から設定した手の動きから成り立っている。

図５の画像５１、５２、５３は、動的パッチの他の安定セット、すなわちＤ_１−Ｄ_４−Ｄ_９、Ｄ_１−Ｄ_４−Ｄ_５、Ｄ_１−Ｄ_４−Ｄ_１１から各々設定した他のイベントＥ_２、Ｅ_３、Ｅ_４を示している。

画像５１、５２、５３は、手に保持したボールから構成された、対象物を持つ手の更なる動きを示している。画像５１と画像５３は、異なる色のボールを持つ手の非常に似た動きを示している。画像５１と画像５２は、同じ色のボールを持つ手の少し異なる動きを示している。

イベントＥ_２、Ｅ_３、Ｅ_４の形状は全て、イベントＥ_１を設定する動的パッチＤ_１、Ｄ_４を含んでいるが、第３の動的パッチの追加だけによるイベントＥ_１の設定とは異なっている（各々Ｄ_９、Ｄ_５、Ｄ_１１）。したがって、動的パッチの安定セットによって設定した、それらの構造から始まる、異なるイベントＥ_１、Ｅ_２、Ｅ_３、Ｅ_４の間での類似性が識別できる。すなわちイベントＥ_２、Ｅ_３、Ｅ_４は全て、他の自律的なイベントＥ_１に構造的に関連しているので、類似イベントの同じファミリーに属すると認識できる。

図６は、イベント空間を構成する他の方法を示している。

動的パッチの安定セットによって設定したイベントＥ_ｉが時間ステップｔ_１で認識される場合、本発明を適用した適応型人工視覚システムでは、動的パッチの安定セットによって設定したイベントＥ_ｊが認識された更なる時間ステップｔ_２で生成された新たな状況が観察される。

時間ステップｔ_２と時間ステップｔ_１との間の時間差が、予め定めた時間間隔△_ｔ（△_ｔは同期時間ステップｔ_−１、ｔ；ｔ、ｔ_＋１；・・・との間の予め定めた遅延時間τ_０よりはるかに長く、かつ、動的パッチの安定セットの統合時間よりも長い）より短い場合、イベントＥ_ｉとイベントＥ_ｊとの間での状態遷移が識別され、状態遷移アーク（transition arc）が生成される。状態遷移グラフは、イベントＥ_ｉ、Ｅ_ｊ、・・・の間での状態遷移アークにより順次構成され、動的パッチの安定セットによって識別した動きのタイプを設定していく。

なお、ある長さの時間中に同じ動きが継続し、状態遷移アークが異なる時間ステップｔ_１、ｔ_２で観察された類似イベントＥ_ｉの間に存在することがある。もちろん、状態遷移アークは、連続する時間ステップｔ_１、ｔ_２で観察された異なるイベントＥ_ｉとイベントＥ_ｊの間でも構成できる。

異なるイベントが複数回観察されたある長さの時間の後、観察した状態遷移の頻度を用いて、同じ状態の検出時に各々識別した状態遷移が生じる確率を予測できる。

図６は、３つの異なるイベントＥ_５、Ｅ_６、Ｅ_７をそれぞれ示す３つの画像６１、６２、６３を示す。

図６の例で、画像６１は、最上部から対象物を保持して前後に動かしている手を示していて、この動きは動的パッチＤ_４、Ｄ_２の安定セットによって設定されたイベントＥ_５を構成している。

画像６２は、底部から対象物を保持して振り回している手を示していて、この動きは動的パッチＤ_３、Ｄ_２の安定セットによって設定したイベントＥ_６を構成している。

画像６３は、最上部から対象物を保持して回転させている手を示していて、この動きは動的パッチＤ_４、Ｄ_３、Ｄ_２の安定セットによって設定したイベントＥ_７を構成している。

図６には、状態遷移アークが、各々新しい変化の確率が既に観察済みの状態遷移とその頻度とから各々算出された新しい状態遷移の確率と共に図示してある。

この具体例では、イベントＥ_５がそれ自体に続く確率は７０％であるが、イベントＥ_７がイベントＥ_５に続く確率は３０％であり、イベントＥ_６がイベントＥ_５に続く確率は１０％である。イベントＥ_６がそれ自体に続く確率は８５％であるが、イベントＥ_５がイベントＥ_６に続く確率は１０％であり、イベントＥ_７がイベントＥ_６に続く確率は５％である。最後に、イベントＥ_７がそれ自体に続く確率は６５％であるが、イベントＥ_５がイベントＥ_７に続く確率は３０％であり、イベントＥ_６がイベントＥ_７に続く確率は５％である。

本発明に係る適応型人工視覚システムでは、パッチ又はパッチのセットがメモリＭ_ｄ、Ｍ_ｓに保存されるため、膨大な量のデータを保存する必要はない。さらに、必要に応じて、保存するデータの量を減少するために、パッチの安定セットに用いられない一部のプロトタイプパッチＤ_ｉを一定の間隔で消去してもよい。

本発明に係る適応型人工視覚システムは、過度に大きな処理パワーを必要とせず、埋込型のシステムにおいて実行できることが確認されている。例えば、適応型人工視覚システムは、４９２×３６２画素のカラーＣＣＤカメラを具備するロボットに埋め込みが可能であり、他のコンピュータに無線ＬＡＮを経由して接続することができる。このようなコンピュータとしては、例えば、リナックスで動作するソニー株式会社のバイオノート（商標）ＰＣＧＣＩＸＮがある。

ロボットは、家屋のような未知に環境において進化している。このような条件では、従来のセグメンテーション方法は不十分な結果しか提供しないのに対し、本発明によれば大きな改良をもたらすことができる。特に本発明に係る適応型人工視覚方法システムがロボットが対象物の名前の学習を試みるアプリケーションで使用される場合、特定の対象物に対する注意を共有させるための優れた機構は、この適応型人工視覚システムの重要な構成要素となる。本発明に係る適応型人工視覚方法システムを具備するロボットでは、印象主義的な視覚モジュールが、ロボットの頭部を制御する注意マネージャ（attention manager）と結合している。したがって、ロボットは移動する事物や自身が知っている事物とに向けて、その頭部を旋回させることができる。ブートストラップ処理が進むにつれて、ロボットがより鋭い注意深さを示すことで、ロボットの認識処理の進行状態が示される。

本発明に係る適応型人工視覚方法システムによって観察され検出される、再発生しているイベントの一例を描く画像である。 図１に示したイベントの認識に関与する３つの異なる動的パッチの構築処理を描く画像のセットを示す。 動的パッチのセットによって既に認識されていたイベントの検出中にアクティブな静的パッチのセットの構造を描く一例として与えられた画像である。 イベントと対象物の認識の処理中に構築された静的パッチのセットに対応する対象物の画像の例を示す。 パッチの２つの安定セットによって識別された基準となる動きを描く画像と、基準となる動きにリンクする３つのパッチのセットによって識別された更なる動きを描く３つの更なる画像とを示す。 ある動きから他の動きへの状態遷移を生じるとともに、状態遷移グラフの構築を可能にする異なる動きを描く画像を示す。 本発明に係る適応型人工視覚システムのアーキテクチュアの一例を示す略図である。

符号の説明

１０１ クロック、１０２ 入力回路、１０３ カメラ、１０４ 第１のコンパレータ、１０５ モジュール、１０６ モジュール、１０７ 選択モジュール、１０８ モジュール、１０９ モジュール

Claims (16)

1. 適応型人工視覚方法において、
   （ａ）同期された時間ステップの対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）を、該対に含まれる２つの同期時間ステップの時間差τが予め定めた遅延時間τ_０となるように、連続的に設定し、
   （ｂ）前記予め定めた遅延時間τ_０で隔てられた同期時間ステップの各対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）における２つの連続する画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）を比較し、該２つの連続画像の各画素間の距離を算出することによってデルタ画像Δ_ｔを取得し、
   （ｃ）前記２つの連続画像（Ｉ _−１ 、Ｉ；Ｉ、Ｉ _＋１ ；・・・）間での対象物の動きを特徴化して、前記デルタ画像Δ_ｔから特徴部分を抽出することで、空白の初期レパートリーに、対象物の動きを特徴化した可視要素部分を表す動的パッチＤ _ｉ を順次記憶して第１のレパートリーＲ _ｄ を構築しておき、当該第１のレパートリーＲ _ｄ の構築後に新たな２つの連続画像（Ｉ _−１ 、Ｉ；Ｉ、Ｉ _＋１ ；・・・）の比較により取得された前記デルタ画像Δ _ｔ から前記特徴部分を抽出することで、前記第１のレパートリーＲ_ｄに既に記憶されていた前記動的パッチと比較されるべき動的パッチ候補Ｐ_ｔを求め、
   （ｄ）前記第１のレパートリーＲ_ｄの中から類似性が最も高い動的パッチＤ_ｉを選択するか、あるいは、類似性が高い動的パッチが無い場合には前記動的パッチ候補Ｐ_ｔを前記第１のレパートリーＲ_ｄに加えることで、前記新たな２つの連続画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）の前記比較に対応する動的パッチＤ_ｉを取得して保存し、
   （ｅ）予め定めた個数Ｎ１の前記同期時間ステップの対に対応する時間Ｔ _Ｆ１ において前記第１のレパートリーＲ _ｄ に保存された動的パッチＤ _ｉ の各々の頻度を算出し、予め定めた閾値よりも高い頻度を示した動的パッチＤ _ｉ から構成されるアクティブな動的パッチのセットを決定し、
   （ｆ）予め定めた個数Ｎ２の前記同期時間ステップの対に対応する時間Ｔ _Ｆ２ において前記決定されたアクティブな動的パッチのセット各々の頻度を算出し、予め定めた閾値よりも高い頻度を示すアクティブな動的パッチのセット各々を、前記新たな２つの連続画像（Ｉ _−１ 、Ｉ；Ｉ、Ｉ _＋１ ；・・・）において再発生している動きまたはイベントの特徴を示すアクティブな動的パッチの安定セットＡ _ｔ として検出し保存する
   適応型人工視覚方法。
2. 前記再発生している動きの特徴を示すアクティブな動的パッチの安定セットＡ _ｔ が検出された場合、該動きの中心が識別され、該動きの中心から予め定めた距離ｄにおける静的パターンの認識処理により静的パッチが取得され、第２のレパートリーＲ_ｓに格納される与えられた時間ステップでのアクティブな静的パッチＳ_ｉのセットを構成するように、該静的パッチが分析されることを特徴とする請求項１に記載の適応型人工視覚方法。
3. 観測された既知の再発生している動きに繰り返し関与している対象物の特徴を示すアクティブな静的パッチの安定セットを検出し格納するために、前記第２のレパートリーＲ_ｓに格納された静的パッチＳ_ｉが空間的に統合されることを特徴とする請求項２に記載の適応型人工視覚方法。
4. 前記静的パターン認識及び前記静的パッチ生成の処理は、前記再発生している動きの特徴を示すアクティブな動的パッチの安定セットＡ _ｔ が検出された後、開始されることを特徴とする請求項２又は３に記載の適応型人工視覚方法。
5. 前記静的パターン認識及び前記静的パッチ生成の処理は、前記動的動き認識及び動的パッチ生成の処理と共に開始され、前記再発生している動きの特徴を示すアクティブな動的パッチの安定セットＡ _ｔ が検出された場合、前記静的パターン認識処理は、前記識別された動きの中心を中心とする限定された画像領域に位置する静的パッチについてのみ継続されることを特徴とする請求項２又は３に記載の適応型人工視覚方法。
6. 前記２つの連続画像（Ｉ_ｔ−１、Ｉ_ｔ）の各ピクセル間の距離の算出の際には、最も顕著な差だけを残すためにフィルタ関数ｆ_ｔｈが用いられ、前記デルタ画像Δ_ｔは
   Δ_ｔ＝ｆ_ｔｈ（｜｜（Ｉ_ｔ−１、Ｉ_ｔ）｜｜）
   により求められることを特徴とする請求項１乃至５のいずれか１項に記載の適応型人工視覚方法。
7. 前記フィルタ関数ｆ_ｔｈは閾値関数であることを特徴とする請求項６に記載の適応型人工視覚方法。
8. 前記デルタ画像Δ_ｔから特徴を抽出するステップには、各色要素に対する分布のガウス色モデルの算出が含まれることを特徴とする請求項１乃至７のいずれか１項に記載の適応型人工視覚方法。
9. 前記デルタ画像Δ_ｔから特徴を抽出するステップには、色要素、形状及びテクスチャのいずれかに対する分布をモデル化するヒストグラムを用いることを特徴とする請求項１乃至７のいずれか１項に記載の適応型人工視覚方法。
10. 前記静的パッチは、１つの特徴点が検出された場合、同期時間ステップｔにおいて提供された画像Ｉ_ｔでの特徴点群（ｘ、ｙ）に基づき取得されるものであり、囲んでいるピクセルに対応する領域Ｒ_ｘ、ｙが定義され、該領域Ｒ_ｘ、ｙから特徴を抽出することで静的パッチの候補Ｓ_ｘ、ｙを決定することを特徴とする請求項２乃至５のいずれか１項に記載の適応型人工視覚方法。
11. 前記領域Ｒ_ｘ、ｙからの特徴抽出では、隣接ピクセルに対する色変化を測定し、該領域Ｒ_ｘ、ｙにおける色分布の色モデルを算出することを特徴とする請求項１０に記載の適応型人工視覚方法。
12. 前記同期時間ステップ（ｔ_−１、ｔ；Ｔ＋ｔ_−１；Ｔ＋ｔ；・・・）の連続する時間ステップは、前記予め定めた遅延時間τ_０のｎ倍に等しい時間Ｔで隔てられているものであり、該ｎはゼロ又は正の整数であることを特徴とする請求項１乃至１１のいずれか１項に記載の適応型人工視覚方法。
13. 前記同期時間ステップの連続する対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）は連続的であり、連続する同期時間ステップの２対の間が断続的ではないことを特徴とする請求項１２に記載の適応型人工視覚方法。
14. 再発生している動きの特徴を示すアクティブな動的パッチの安定セットＡ _ｔ 間での状態遷移を検出するステップと、
    識別された一連の動きを含む複雑なイベントを予想するための状態遷移グラフを構築するステップとをさらに有する請求項１乃至１３のいずれか１項に記載の適応型人工視覚方法。
15. 適応型人工視覚システムにおいて、
    同期された時間ステップの対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）を、該対に含まれる２つの同期時間ステップの時間差τが予め定めた遅延時間τ_０となるように、連続的に設定するクロックと、
    カメラにより提供された前記同期時間ステップ（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）での画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）を入力する入力手段と、
    前記予め定めた遅延時間τ_０で隔てられた同期時間ステップの各対（ｔ_−１、ｔ；ｔ、ｔ_＋１；・・・）において入力された２つの連続する画像（Ｉ_−１、Ｉ；Ｉ、Ｉ_＋１；・・・）を比較し、該２つの連続画像の各画素間の距離を算出することによってデルタ画像Δ_ｔを取得する第１の比較手段と、
    前記２つの連続画像（Ｉ _−１ 、Ｉ；Ｉ、Ｉ _＋１ ；・・・）間での対象物の動きを特徴化して、前記デルタ画像Δ _ｔ から特徴部分を抽出することで生成された、対象物の動きを特徴化した可視要素部分を示す動的パッチを格納する第１の記憶手段と、
    前記動的パッチの格納後に入力された新たな２つの連続画像（Ｉ _−１ 、Ｉ；Ｉ、Ｉ _＋１ ；・・・）の比較により取得された前記デルタ画像Δ_ｔから特徴部分を抽出し、動的パッチ候補Ｐ_ｔを生成する特徴抽出手段と、
    前記動的パッチ候補Ｐ_ｔと、前記第１の記憶手段に既に格納されている動的パッチとを比較する第２の比較手段と、
    前記第１の記憶手段の中から類似性が最も高い動的パッチＤ_ｉを選択するか、あるいは、類似性が高い動的パッチが無い場合には前記動的パッチ候補Ｐ_ｔを前記第１の記憶手段に格納することで、前記新たな２つの連続画像（Ｉ _−１ 、Ｉ；Ｉ、Ｉ _＋１ ；・・・）の比較に対応する動的パッチＤｉを前記第１の記憶手段に格納する選択手段と、
    予め定めた個数Ｎ１の前記同期時間ステップの対に対応する時間Ｔ_Ｆ１において前記第１の記憶手段に格納されている動的パッチＤ_ｉの各々の頻度を算出する第１の算出手段と、予め定めた閾値よりも高い頻度を示した動的パッチＤ_ｉから構成されるアクティブな動的パッチのセットを決定する第１の閾値手段とを有する第１の時間的統合手段と、
    予め定めた個数Ｎ２の前記同期時間ステップの対に対応する時間Ｔ_Ｆ２において前記決定されたアクティブな動的パッチのセット各々の頻度を算出する第２の算出手段と、予め定めた閾値よりも高い頻度を示したアクティブな動的パッチのセット各々を、前記新たな２つの連続画像（Ｉ _−１ 、Ｉ；Ｉ、Ｉ _＋１ ；・・・）において再発生している動きまたはイベントの特徴を示すアクティブな動的パッチの安定セットＡ _ｔ として決定する第２の閾値手段とを有する第２の時間的統合手段と
    を備える適応型人工視覚システム。
16. 前記アクティブな動的パッチの安定セットＡ _ｔ によって示されている再発生している動きの中心を識別する手段と、
    前記再発生している動きの中心から予め定めた距離ｄにある静的パッチを分析するために静的パターン解析を開始させる手段とをさらに備える請求項１５に記載の適応型人工視覚システム。

Images