JP3178719B2 - 動的物体認識方法及びその画像処理システム - Google Patents

Description

【発明の詳細な説明】 発明の背景 本発明は、比較的高解像度の画像データフレームの時
系列中に図式表示された所定クラスの物体を認識するた
めの動的画像処理技術に関する。

画像データ中に図式表示された物体のパターン形状を
認識するための技術が当該技術分野で周知である。ま
た、予め選択された角方位を持つ移動物体と静止物体と
を区別し、又は他の所定の興味ある特徴をもつ物体を区
別する技術も、当業界では周知である。

これら技術の例としては、米国特許第4,692,806号
（発明者：アンダーソン他；登録日:1987年９月８日）
及び米国特許第4,385,322号（発明者：ヒュバッチ他；
登録日1983年５月24日）に開示されている。

アンダーソン特許には、第１所定ピクセル数から成る
元々広視野且つ高解像度の画像を処理して、第１所定数
よりも小さい第２所定ピクセル数の広視野低解像度画像
を派生させる画像データ圧縮技術が示されている。この
派生した低解像度画像中の検出された興味ある特徴の位
置に基づき、第２所定ピクセル数のみを含む可動ウィン
ドウを用い、検出された興味ある特徴を含む元の高解像
度画像の狭視野部の位置を得ることができる。アンダー
ソン特許では、いわゆるマルチ解像度ピラミッドプロセ
ッサ技術を採用して、画像データ圧縮を行っている。

アンダーソン特許のデータ圧縮技術は、連続した比較
的高解像度の画像データフレームに対して時系列的に繰
り返し行われるが、この各圧縮作用中における目的特徴
の検出は、相互に変わるところはない（即ち、各繰り返
し作用中、目的特徴は、一つ前の繰り返し作用上で検出
されるか否かにかかわらず、検出又は非検出される）。

ヒュバッチ特許には、データ圧縮技術を用いたパター
ン認識方法が開示されている。まず基準シーンがファイ
ン（細）フォーマットで記録保持され、次いでコース
（粗）フォーマットで記録保持される。記憶された基準
シーンの粗情報は、広視野対象シーンからの粗情報とリ
アルタイムで比較され、合致パーセントを示す相関番号
（確率）を用いて対象シーンと基準シーンとの最高合致
位置が定められる。粗合致部位近傍に存在する対象シー
ンの狭視野領域のみが、基準シーンの記憶された細情報
と比較される。最適合致位置は、対象シーンと基準シー
ンの細記憶情報との合致の最大相関番号（確率）に従っ
て正確に決定される。ヒュバッチ特許では、記憶された
粗及び細基準情報は固定されたままであることに留意さ
れたい。

今、認識されるべき物体が３次元可動物体である場合
を考える。この物体は、連続した画像データフレームの
時系列中に図式表示される。各画像データフレームは、
３次元物体の２次元投写により構成される。このような
場合、各フレーム中における２次元投写の大きさ及び形
状は、３次元物体の投写方向に対する垂直方向への距
離、及び当該フレームにおける３次元物体の投写の角方
向により変化する。もし３次元物体が移動すれば、その
図式表示の大きさ及び形状がフレーム毎に塩化する。こ
のように、３次元移動物体に関して単一フレームから得
られる情報は、完全とは程遠いものとなる。しかし、単
一フレームから得た情報に時系列上の全ての前フレーム
から得られた情報を累積付加してゆくことにより、その
ような３次元可動物体を選択的に高精度で照合認識する
に十分な情報を収集することができる。本発明に係る動
的画像処理方法は、この種の認識における問題を効率よ
く解決することを意図して為されたものである。

発明の要約 具体的に言えば、本発明に係る動的に画像を処理する
方法では、所定クラスの物体が認識される。所定クラス
の物体の全ては、既知の一群の包括的属性を有し、この
一群の包括的属性が、全体として、所定クラスの物体と
それ以外のクラスの物体とを区別する。この方法では、
本画像処理を制御すると共に、一組の決定基準を特定す
るための手段に応答を示す。この方法では、また、この
一群の包括的属性に関する限定された数の個別特徴を初
期に規定している記憶データに応答を示す。所定クラス
の物体が一又は複数の連続画像データフレームのシーケ
ンス中にグラフィカルに表示されている場合、任意の初
期記憶された特徴は、当該シーケンス中に存在する可能
性がある。この方法は、次の各ステップを含む。

先ず、相対的に高解像度であり時系列の連続した画像
データフレームが、この高解像度フレームの解像度より
も低い解像度を示す少なくとも一レベルから成るマルチ
解像度ピラミッドプロセッサにおいて解析される。格納
されたプログラムによる制御下で、且つ記憶データによ
って初期に規定された個別特徴のうち少なくとも第１の
特徴に応じて、第１の確率に関する決定基準に従って第
１の決定が行われる。この第１の確率では、時系列上の
相対的に初期に発生する一又は複数のフレームのシーケ
ンス中におけるマルチ解像度ピラミッドプロセッサの低
い方の解像度の任意のレベルは、所定クラスの物体の固
定特徴のうち少なくとも第１の特徴を、その画像データ
の部分として含んでいる。この第１の確率が第１の所定
閾値と少なくとも等しい場合、シーケンスの最初の方で
の発生フレーム内における画像データの当該部分の少な
くとも相対位置を決定するデータは、記憶データに追加
され、これによって記憶データが増大されることにな
る。

その後、格納プログラムによる制御下で、且つ増大さ
れた記憶データに応じて、第２の確率に関する決定基準
に従って第２の決定が行われる。この第２の確率は、時
系列上の相対的に後に発生する一又は複数のフレームの
シーケンスのマルチ解像度ピラミッドプロセッサのレベ
ルのうちの何れかによって、少なくとも個別特徴のうち
の第２の特徴を第１の特徴に加えて画像データ中の上記
部分が更に含むことが照合される確率である。第２の確
率が第２の所定閾値以上であるならば、画像データの上
記部分は、所定クラスの物体のグラフィカル表示である
と認識される。しかしながら、第２の所定閾値よりもか
なり小さい第３の所定閾値よりも、第２の確率が小さい
場合には、画像データの上記部分は、所定クラスの物体
のグラフィカル表示でないと認識される。第２の確率が
第２および第３の所定の閾値の間の範囲内にある場合に
は、前記照合ステップにより規定される更なるデータが
記憶データに追加され、これによって記憶データが一層
増大されることとなる。更に、もし第２の確率がこの範
囲にあるならば、照合ステップ及びこれに応じた記憶デ
ータの蓄積は、時系列上の一又は複数のフレームのもっ
と後に発生するシーケンスに対して再帰的にくり返され
る。これは、そのような繰り返しステップが第２の閾値
より上昇するか、或いは第３の閾値より小さく降下する
まで続けられる。

図面の簡単な説明 図１は、本発明の原理を描いた機能図； 図２は、図１中の撮像手段の特定の構成例を用いた本
発明の一例を示す図； 図３は、図１のプリプロセッサの例を示す図； 図４は、図１の物体認識手段及び記憶データの例を示
す図である。

好適な実施例の説明 人間の観察者は、複雑なシーン（場面）に存在する所
定クラスの物体（例：他の人間）を認識するのに困難を
覚えることはない。事実、観察者が何百もの個体を知っ
ていたとしても、観察シーン中に存在する任意の一個体
を認識することに困難はない。

全ての人間は、一群の既知の包括的属性（以下、包括
的特徴ともいう）を備えており、これらの包括的属性
は、全体として、人間を人間以外の他の物体から識別す
る作用を果たす。しかしながら、これは、主として、一
個体を他個体から識別する顔相上の特徴における差に基
づく。

図１に示した本発明に係る動的画像処理方法は、その
全てが一群の既知の包括的特徴をもつ所定クラスの物体
を認識するという人間の能力を模倣したものである。こ
れらの属性は、全体として、この所定クラスの物体をそ
れ以外のクラスの物体から識別する作用を果たす。更
に、本発明の動的画像処理では、所定クラスに属する予
め選択された複数のメンバー中からの識別を行なうこと
も可能である。予め選択されたメンバーの各々は、少な
くとも一つのサブグループの既知の包括的特徴の各々に
おける既知の種属性（以下、種ともいう）の特有の組を
もつということによって、個々に規定されている。

図１には、視野102を有する撮像手段100が示されてい
る。撮像手段100は、外部照射器にて照射される視野102
内の物体から反射した輻射線を受ける構造を備える。或
いは、撮像手段100は、視野102内で物体を輻射線で照射
するための手段及び物体からの反射エコーを受ける手段
を含む構成とすることもできる（これらのエコー（反射
波）は、物体距離情報を提供することもできる）。更
に、撮像手段100は、電磁、超音波及び／又はあらゆる
他の種類の波−エネルギースペクトルの所定波長の任意
の部分の輻射に応答を示すことができる。視野102内に
は、所定クラス104に属する２個の可動物体が配置され
ている（図１では可動の立方体として示す）。両物体
は、立方体の全ての包括的属性を備えているが、具体的
には、上側の立方体の面は「＋」が記され、下側の立方
体の面には「０」が記されているという点で両者は相違
する。更に、視野102内には、所定クラス104以外の種々
の静止物体106が複数存在する。

撮像手段100は、各３次元立方体104の２次元投射像を
生成する。立方体104は可動であるので、各立方体の投
写された形状及び大きさは、いずれの時間においても、
撮像手段100からの立方体の方向及び距離に従って変化
する。

撮像手段100の出力は、時系列上に連続した相対的に
高解像度の画像データフレームを含む。各フレームは、
クラス104に属する各立方体及び物体106の２次元投写を
アナログ形式でグラフィカルに表現する。この表現は、
時系列上に当該フレーム発生時点における立方体及び物
体が存在する空間位置における２次元投影像を表す。ア
ナログ／デジタル（A/D）コンバータ108は、プリプロセ
ッサ110、マルチ解像度ピラミッドプロセッサ112、物体
認識手段114、記憶プログラム116、及び記憶データ118
を備えるデジタルプロセッサによる処理に供するため
に、連続した各フレームにおける画像データをデジタル
形式に変換する。

図１において、デジタルプロセッサは、相互に接続さ
れた機能ブロックのシステムとして示されている。その
システムでは、各ブロックがサブシステムに対応してい
る。実際には、デジタルプロセッサシステムは、ソフト
ウェア（即ち、プログラムされたコンピュータシステ
ム）及び／又はハードウェア（即ち、ハード配線された
素子）中に組み込まれることができる。プリプロセッサ
（以下、前プロセッサともいう）110のサブシステムの
詳細例は図３に示され、移体認識手段114及び記憶デー
タ118の詳細例は図４に示されている。両図に関しては
後述する。

記憶プログラム116は、制御入力をプリプロセッサ11
0、マルチ解像度ピラミッドプロセッサ112、物体認識手
段114及び記憶データ118へ提供して、該入力に従ってこ
れらサブシステムの動作シーケンスを制御する。この動
作シーケンスは、物体認識手段114から記憶プログラム1
16へフィードバックされた情報に従って修正される。制
御情報はまた、撮像手段100、プリプロセッサ110及びマ
ルチ解像度ピラミッドプロセッサ112の各々を介して物
体認識手段114からフィードバックされる。加えて、物
体認識手段114は、記憶データ118へ増大されたデータ蓄
積を提供する。

デジタル形式の画像データは、信号入力としてプリプ
ロセッサ110へ供給される。プリプロセッサ110は、物体
認識手段114及び記憶プログラム116から加えられる制御
情報に従って、入力として加えられる画像データを変更
すると共に、この変更された画像データをマルチ解像度
ピラミッドプロセッサ112に対する入力として与える。

マルチ解像度ピラミッドプロセッサ112は、上記のア
ンダーソン特許に教示された機能の対応を実行可能であ
って、米国特許第4,703,514号（登録日:1087年10月27
日；発明者：バン・デア・バル；発明の名称「リアルタ
イムマルチ解像度信号処理装置のプログラム構造」）の
開示内容に従って構成されることができる。

ピラミッドプロセッサ112からの出力データは、第１
の信号入力として物体認識手段114へ供給される。加え
て、物体認識手段114は、プリプロセッサ110から直接に
第２の信号入力情報を受ける。また、情報は撮像手段10
0からフィードバックされ、物体認識手段114への入力と
なる。更に、格納プログラム116による制御下で、格納
データ118は、選択された格納データを物体認識手段114
への入力として供給する。

物体認識プログラム114からの出力情報は、出力使用
手段120へ入力として供給される。図１にはまた、オプ
ションであるが、撮像手段100からの画像出力を表示す
るための（破線で示した）表示モニタ122が配置されて
いる。表示モニタ122は、また、出力使用手段120から受
けた情報を表示することができる（例：画像中の認識さ
れた物体を確認するために役立つキャプション及び他の
標識）。

図１は、本発明システムの全般的な構成を示す。本発
明をよりよく理解できるように、具体的な図示例（図
２）について以下説明する。図２において、認識手段10
0は、カラーテレビカメラ200a及び距離測定手段200bを
備える。カメラ200a及び距離測定手段200b双方の視野
は、ドア通路203を有する部屋201の内部にある。ジョン
204a、ビル204b及びメアリー204cの３人のうち誰かは、
あるとき、部屋201内に居ないかもしれない。そして、
エンドテーブル206a、ソファー206b及び振動ファン208
から成る３個の物品は、図２に示すようにずっと部屋20
1内に置かれている。図２に示した状態時では、ジョン2
04aは、テレビカメラ200a及び距離測定手段200bから成
る撮像手段に比較的近くであって部屋102内の位置に起
立している。ソファ206b上に座ったビル204bは、部屋10
2内の撮像手段100から比較的離れた場所に位置してい
る。そして、メアリー204cは、矢印205で示すようにド
ア通路203から部屋201を出たばかりである。

図２に示した実施例の場合に、本発明の目的は、
（１）部屋201内にいる任意の人間を全体的に認識する
こと；（２）次いで、全体的に認識された任意の人間が
ジョン204aであるか、ビル204bであるか、或いはメアリ
ー204cであるか、具体的に認識すること；（３）及びそ
の後、具体的に認識された各人の部屋201内における位
置と追跡すること、の３点である。

図示上の事情から、プリプロセッサ110は図３に示す
形態を採用しており、また物体認識手段114及び記憶デ
ータ118は図４に示すように構成されている。明瞭化の
ため、図３及び４において、記憶プログラム116とプリ
プロセッサ110、物体認識手段114及び記憶データ118と
の個々の接続関係は図示を省略した。しかし、各サブシ
ステムのシーケンスは記憶プログラム116により制御さ
れていることが理解されなければならない。

図３に示すように、プリプロセッサ110はカラーフィ
ルタ、フレーム及び距離メモリ300、画像方向変換手段3
02、そして移動物体手段304を備える。図４に示すよう
に、物体認識手段114は、大きさ調整手段400、テンプレ
ート方向変換手段401、指向パターン形状相関手段402、
確率決定手段404、フレッシュトーン検出器406、ゲート
408、ウィンドウ制御手段410及びゲート412を備える。
更に図４に示すように、記憶データ118は、初期記憶さ
れたマルチ視野マルチ解像度テンプレート118a、静止物
体の記憶位置118b、及び後に記憶された認識増大データ
118cを備える。

初期的に記憶されたテンプレート118aは、ジョン204
a、ビル204b及びメアリー204cの各人の顔全体、頭部の
左及右側面またはその部分をいくつかの異なる解像度で
規定している予め記憶された画像データを含む。低解像
度のテンプレートは、特定個人の頭全体又は顔全体を包
含することができるが、高解像度のテンプレートは、各
人の顔の比較的高情報部のみに限定される。例えば、高
解像度テンプレートは、各人の顔を横切る水平ストリッ
プを含む。このストリップ（細長い領域）はその人の
耳、眼、及び鼻梁を示す（即ち、特定個人と他の個人と
を認識するために使用されることができる高識別情報を
含む）。加えて、好ましくは低解像度のみにおいて、テ
ンプレート118aは、人体形状、包括的な（構成員全てに
当てはまる）頭部、又は人間の各部の形状を他の物体の
形状から図形的に識別する他のパターン形状からなる一
又は複数のテンプレートを含む。

図３に戻って、カラーテレビカメラ200aからのリアル
タイム出力に対応するA/Dコンバータ108からの入力の部
分は、デジタル形式で、まずブロック300のカラーフィ
ルタ部によってカラーフィルタリングを受けて、クロミ
ナンス（I,Q）部から輝度（Ｙ）部を分離する（カラー
テレビカメラ200aからの出力は、標準NTSC形式であると
想定している）。テレビカメラ200aからの出力の分離さ
れた輝度部及びクロミナンス部は、デジタル形式で直接
ブロック300に（赤、緑及び青の別個の信号として、或
いはL,I,Qの別個の信号として）供給される場合には、
ブロック300のカラーフィルタ部は省略されることがで
きる。いずれにせよ、輝度及びクロミナンス情報の一又
は複数の連続フレームは、ブロック300のフレームメモ
リ部内に一時的に記憶される。

距離測定手段200b及びカラーテレビカメラ200aは、同
じ視野102に対して水平及び垂直方向に走査される。た
だし、フレームレートは必ずしも同一でなくてよい。距
離測定手段200bは、赤外パルスの送信とそのエコーの受
信との間の時間インターバルを測定することによって作
用を果たす。距離は、レーダーと同様に、このインター
バルの長さによって定められることとなる。距離測定手
段200bのために可視光線ではなく赤外線を用いる理由
は、距離測定手段200bの感度に対して部屋201内の環境
光の強度変化が影響を及ぼすのを回避するためである。
いずれにしても、距離測定手段200bからのデジタル形式
の出力情報は、ブロック300の距離メモリ部内へ一時的
に記憶されることとなる。

或いはまた、パターンマッチング処理によって大きさ
及び距離情報を得ることも可能である。このパターンマ
ッチング処理は、記憶されたテンプレート又は現在の画
像の大きさを調整することによって、両者間の最適マッ
チングを得るものである。

テレビ情報及び距離情報に対するサンプルレートが同
一であるとすると、距離メモリは、テレビフレームメモ
リの各テレビピクセル記憶位置に対応する個々の距離記
憶位置を有することとなる。従って、テレビフレームメ
モリ及び対応する距離メモリの双方を同期して読み出す
期間中、水平（Ｘ）及び垂直（Ｙ）のピクセル座標は、
フレームメモリの読み出されたアドレスから求められ
る。また、各読み出されたピクセルに対する距離（Ｚ）
座標は、当該ピクセルの距離メモリ内位置に記憶されて
いる情報から得られる。このように、ブロック300から
の各出力の一つは、図３に示すごとく、読み出された連
続の各ピクセルのX,Y、及びＺピクセル座標である。更
に、クロミナンス（基準色）情報がブロック300内に標
準IQ形式で記憶されていると仮定すれば、ブロック300
のテレビフレームメモリの読み出し結果によって、ブロ
ック300からカラー出力が導き出されることになる。こ
のカラー出力より、連続的に読み出された各ピクセルの
対応するIQ値が得られる。

静止物体から移動物体を分離するための単純で周知の
技術は、テレビ画像情報の連続して発生する２個のフレ
ームの対応ピクセルを差演算し、静止物体のピクセルを
実質的に除去することである、これにより、差フレーム
のピクセルは、移動物体のみに対応することとなる。こ
の差フレームのピクセルを現在フレームのピクセルから
差し引けば、その結果生じるフレームは静止物体のみを
含む。移動移体手段304にこの単純な周知の方法を適用
することはできるが、これが本発明の目的に対する移動
物体手段304の最適な適用方法ではない。本発明の目的
に対しては、人間は、人間とそれ以外の物体とを識別す
る特徴として、移動物体であるという事実を利用するこ
とが望ましい。エンドテーブル206a及びソファー206bと
同様に振動ファン208も部屋201内における永久背景物体
であり、振動ファン208は移動物体でもある。本発明の
観点からすれば、その内部では移動しているにもかかわ
らず、振動ファン208といった移動背景物体を静止物体
であるとみなす移動物体手段304を備えることが望まし
い。従って、このような移動物体手段304が移動前景物
体と全ての背景物体（静止していると考えられる）とを
識別することとなる。

上述のように、静止物体の配置は、記憶データ118の
セクション118bに格納されている。システムの予備動作
として、記憶データ118のセクション118b内に保持され
るデータを得るために、カラーテレビカメラ200a及び距
離測定手段200bは、全３名の人間ジョン204a、ビル204
b、及びメアリー204cの誰もが部屋201内にいない状態で
動作するようにしてもよい。これにより、この予備動作
中に部屋201内に存在する永久静止背景物体のみの画像
を導出することができる。この予備動作によって得られ
た画像は、この目的のために移動物体手段304を用いる
ことにより、記憶データ118の静止物体118bセクション
の記憶位置へ保持されるために転送される。

移動物体手段304のより望ましい実現物としては、記
憶データ118のセクション118bに記憶されるために移動
物体手段304から転送された静止物体情報が移動物体手
段304自体によっても使用できるようにすることが考え
られる。システムの動作中、移動（前景）物体を得るた
めに現フレームのピクセルから背景のピクセルを差し引
くことによって背景を除去することは、前景から背景を
差し引くことになり、こうして前景画像が歪むこととな
る。あまり簡単ではないが優れた移動物体手段304の実
現法では、まず条件差演算を実行することによってこの
歪を回避する。この差演算では、背景中の一ピクセルと
現画像の対応ピクセルとが十分に近接した値である場合
にのみ、後者から前者が差し引かれる。もし両ピクセル
の値が近接していないならば、現画像の対応ピクセル自
体が使用される。しかも、もし両者の値が近接している
ならば、その結果として差演算が行われて、当該ピクセ
ルの代わりに０値が仮に使用される。仮にピクセルの仮
の値が０であるならば、該ピクセルの値に対する評価
は、その周囲の与えられた領域にわたって該ピクセルを
包囲するピクセルの重み付け平均値に基づいて演算され
る。もし、重み付け平均が所定の閾値より大きければ、
現画像の対応ピクセル値は代入され、それ以外の場合に
は該ピクセルに対して０という仮の値が使用される。こ
のような優れた移動物体手段の利点は、前景ピクセルの
ピクセル値が背景ピクセルのピクセル値に近接している
ときに生じる偽の差演算（これによって穴だらけで引き
続く処理に不適切な前景画像となる）、並びに歪および
ノイズを最小限に抑制できるということである。

その特別な構成にかかわらず、移動物体手段304は、
物体認識手段114により使用される移動する（前景）物
体を表すそれらのピクセルを示す出力を供給する。更
に、移動物体の情報は、記憶保持されるためにブロック
300へ戻される、つまり、直接あるいは、望まれる場合
には、ブロック300内で更に記憶された後に、マルチ解
像度ピラミッドプロセッサ112へ転送される。

画像方向変換手段302は、標準の方向変換アルゴリズ
ムを用いて画像データを回転させる。この回転は、一又
は複数の軸の周りに、調整可能な作用点のいずれかの側
の所定の小角で該軸に関して行われる（即ち、画像は作
用点に関して両方向に移動される）。物体認識手段114
のブロック402は、変換手段302へ制御入力をフィードバ
ックし、この制御入力に従って各軸に対する作用点の値
を調整する。そのフレームメモリ内に記憶される前又は
後にカラーテレビカメラ200aからブロック300により受
信された画像データは、ブロック302に供給されてその
向き（指向）が変換される。変換された画像データは、
ブロック300へ戻されてそのフレームメモリ内に記憶さ
れる。更に、ブロック302は、物体認識手段114のテンプ
レート方向変換手段401に接続される。

好ましくは、画像方向変換手段302及び移動物体手段3
04による修正の後にブロック300内に記憶された画像デ
ータは、ブロック300のフレームメモリから読み出され
て、マルチ解像度ピラミッドプロセッサ112への入力と
して供給される。

図４には、物体認識手段114及び記憶データ118の図示
例が示されている。図４に示すように、色情報（例:I情
報及びＱ情報）がプリプロセッサ110からフレッシュト
ーン検出器406への第１の入力として供給され、Ｘ及び
Ｙピクセル座標は、プリプロセッサ110からフレッシュ
トーン検出器406への第２の入力として供給される。フ
レッシュトーン検出器406は、もし存在するならば、色
においてフレッシュトーン（肌の色）である画像色差
（クロミナンス）の部分のＸ及びＹピクセル座標を出力
として導出する。好適には、フレッシュトーン検出器40
6は、Ｑの値に対するＩの値をグラフで計算すると共
に、また適用色を規定するＩ及びＱの各値が矩形内にお
さまる場合にのみ、フレッシュトーン出力を導出する。
この矩形内では、Ｉの値は比較的小さい所定の正の値と
比較的大きな所定の正の値との間に存在する。また、Ｑ
の値は、比較的小さい所定の絶対値以下の値である。検
出器406から出力されたフレッシュトーンX,Yピクセル座
標は、いずれも、３入力のうちの一として、確実決定手
段404及びゲート408へ供給される。

プリプロセッサ110から供給される共に動画像データ
のＸ及びＹピクセル座標を定める移動物体情報は、確率
決定手段404及びゲート408双方へ第２の信号入力として
直接に供給される。

全体的には上記の画像方向変換手段302と類似したテ
ンプレート方向変換手段401は、記憶データ118のセクシ
ョン118aから３入力（それぞれL,C及びＲと命名され
た）の内の一又は複数からの任意の組合せを同時に受信
可能である。加えて、プリプロセッサ110の変換302から
制御入力が変換手段401へ供給され、また相関手段402か
らの相関値出力からも制御入力が変換手段401へ供給さ
れる。変換手段401からの出力は、記憶データ118から大
きさ調整手段400を介して３入力の内の第１の入力とし
て相関手段402へ供給される。記憶データ118からの第２
及び第３の入力は、記憶データ118のセクション118b及
び118cから相関手段402へ直接に供給される。更に、Ｚ
ピクセル座標は、大きさ調整手段400へ制御入力として
供給され、Ｘ及びＹピクセル座標は相関手段402へ入力
として供給される。相関手段402は、マルチ解像度ピラ
ミッドプロセッサ112の出力から追加の入力を受ける。

相関手段402の基本機能は、高識別特性を以って、マ
ルチ解像度ピラミッドプロセッサ112からの画像データ
と記憶データ118のセクション118aからのテンプレート
画像データとの相関を求めることである。相関されたパ
ターン形状が指向される（向き付けされる）という事実
によって、相関の精度が増大する。更に、記憶データ11
8であるセクション118bからの静止物体のピクセル位置
を利用することにより、相関手段402がピラミッドプロ
セッサ112から供給される画像データで静止物体の存在
を考慮する必要がなくなる。また、相関手段402は、画
像情報を利用することもできる。この画像情報は、必ず
しもマルチ解像度ピラミッドプロセッサ112から供給さ
れる現在の入力中に存在しているのではなく、記憶デー
タ118のセクション118c中に記憶された本発明の物体認
識システムの初期動作からも利用される。相関手段のよ
り詳細な動作に関しては後述する。いずれにしても、相
関手段は、その時点における現在の演算された相関値を
表す第１の出力を導出する。この第１の出力は、確率決
定手段404への３入力の内の第３の入力として供給さ
れ、また上述のように、各変換手段302及び401へフィー
ドバックされる。また、相関手段402は、第２の出力を
ゲート408へ３つの信号入力のうちの第３の入力として
供給する。相関手段402からのこの第２の入力は、画像
領域のＸ及びＹピクセル座標から成る。これらのピクセ
ル座標は、その後、相関手段402へ供給される大きさ調
整された現在のテンプレートに対応する。このテンプレ
ートは、マルチ解像度ピラミッドプロセッサ112からの
画像データの相関がとられる際の基準パターン形状とし
て働く。

確率決定手段404は、格納プログラム116から現在供給
されている決定基準に従って制御される。これらの決定
基準に従って、手段104は、各相関値、フレッシュトー
ン、及び自身への移動入力に対して所定の重み付けを付
与する。３入力の重み付け値から演算された確率が記憶
プログラム116からの現在の決定基準により定められた
所定閾値より小さい状態である限り、確率決定手段404
から「使用可能（エネイブル）」出力が導出されること
はない。しかし、もし演算された確率がこの閾値を超え
ているが（まだ、現在の決定基準により定められる高閾
値よりは低い状態である）場合、確率決定手段404は、
「使用可能１（エネイブル１）」出力を導出する。確率
決定手段404は、上記の高閾値を越えて上昇する演算さ
れた確率に応じて、「使用可能２（エネイブル２）」出
力を導出する。

「使用可能１」出力は、ゲート408へ制御入力として
供給される。この制御入力に応答して、ゲート408は、
現在の相関X,Yピクセル座標、現在のフレッシュトーン
X,Yピクセル座標、及び現在の移動ピクセルX,Y座標を記
憶データ118のセクション118cへの第１、第２及び第３
の入力として、そこへ記憶させるための供給する。ま
た、相関Ｘ及びＹピクセル座標は、（好適にはアンダー
ソン特許の開示内容に従って作用する）ウィンドウ制御
手段410への入力として供給され、ウィンドウ制御手段4
10からの出力は、ピラミッドプロセッサ112へ制御入力
としてフィードバックされる。更に、確率決定手段404
からの使用可能１及び使用可能２のそれぞれの出力の所
定閾値と高閾値との間の範囲内における確率を計算する
手段404に応答して、該確率決定手段404は、記憶プログ
ラム116がシステム動作の新たなサイクルを開始すべき
ことを表示するために制御信号を記憶プログラム116へ
フィードバックする。

「使用可能２」出力の発生は、例えばジョン204a又は
ビル204bといった撮像されたシーン中の対象物が、記憶
データ118のセクション118a上に初期的に記憶されてい
る一又は複数の特定テンプレート中に描かれた物体であ
るとして認識されたという事実を示している。「使用可
能２」出力は、ゲート412へ制御入力として供給され
る。これに応答して、ゲート412は、記憶データ118から
信号を出力使用手段120へ供給する。この（グラフィッ
クデータ及び／又は英数字データを含む）信号は、その
画像中において認識された物体と位置（即ち、認識され
たピクセル座標）の確認のために役立つ。出力利用手段
120は、転送された照合信号に応答を示し或る所定の機
能を実行するための手段を含む。図示例において、出力
使用手段120は、中央ロケーションへ、受信時間と共に
その内部に格納される情報を記録又は転送することがで
き、及び／又は特定の認識された物体の表示画像に非常
に近接した位置において表示モニタ122上に表示される
識別キャプションを提供する。

図示上の都合から、本実施例の動作説明においては、
ジョン204a、ビル204b及びメアリー204cをそれぞれ描い
たテンプレートを含み記憶データ118のセクション118a
中に初期記憶されたマルチ視野マルチ解像度テンプレー
トが導出され、その後に、以下に記す方法でセクション
118a中に組織化されたデータベースとして記憶される。

３名の各個人の各々に対する画像の一セットは、記憶
データ118のセクション118a中に記憶されたテンプレー
トを導出するために使用されるトレーニングフェイズに
おいて撮像される。各セットは、各正面（即ち全顔
面）、左横顔及び右横側のサブセットを含む。各サブセ
ットは、当該個人が伴う本質的な種々の具体的な表情を
含むことができる。しかし、トレーニングフェイズ中に
は、いくつかの可変パラメータは固定された状態におか
れる。これらの拘束条件としては、均一光照射、カメラ
からの距離の固定、及び予め与えられた正面、左横顔及
び右横顔の各位置から頭部を回転または傾斜させないこ
とが含まれる。トレーニングフェイズの画像の各々は変
形されて、ラプラシアンピラミッド、つまりバンドパス
ピラミッドになる。このピラミッドは、256×256のピク
セル解像度をもつレベル１から、わずか16×16の解像度
であるレベル５から構築されている。そして、頭部及び
顔面の輪郭をとり囲む16×16のレベル５画像のうちの一
つの８×８セクションは、記憶データ118のセクション1
18aの初期記憶データベース中に含まれるべき図像とし
て保存される。次に、３個の８×８セクションは、32×
32のレベル４のピラミッド画像から取られることができ
る。これらは、頭頂部、顔面中央部、及びあご領域をカ
バーする。これらもまた、初期記憶データベース中に含
まれることができる。最後に、64×64のレベル３ピラミ
ッド画像の５個の８×８セクションが初期記憶データベ
ース中に含まれる。これらの後者のピラミッド画像は、
両目、鼻、及び口の左右端の各領域をカバーすることが
できる。このようにして、全９個の図像が、各人（即
ち、ジョン、ビル及びメアリー）が伴う元の256×256ピ
クセル解像度のサブセット画像の各々に対するトレーニ
ングセットを構成することとなる。

また、各図像に関連してデータベースには、各図像が
取り出された特定レベルのピラミッド画像中における水
平及び垂直オフセット位置を定めるデータが格納され
る。

上記の初期的に記憶された図像テンプレートに加え
て、記憶データ118のセクション118aは、一般的な人間
の形状を規定するテンプレートをも含む。このような包
括的テンプレートは、ピラミッド画像のレベル５または
それ以上の画像でなければならず、一又は複数の位置
（例えば、立位、座位）における普遍化された人間の頂
部における頭部の普遍的形状を示すにとどまる。

上記システムの第２の予備動作（既述）は、部屋201
内における静止（背景）物体（例：エンドテーブル206
a、ソファー206b及び振動ファン208）の位置を記憶デー
タ118のセクション118b内に記憶することである。

フレッシュトーンは、各人から成る撮像された物体及
び他種の撮像された物体を識別するための周知の包括的
属性である。本システムにより使用されるフレッシュト
ーン検出器406により対象の一特徴としてフレッシュト
ーンを検出することは、関連する全ての個人のこの包括
的属性に関している。

人間の他の包括的属性は、動くということである。も
ちろん、常に動き続ける必要はない。更に、対象物体が
全て人間というわけではない。しかし、移動物体手段30
4からの移動物体出力は、システムによって、関連する
全ての個人の包括的属性に関連している別の対象の一特
徴として使用される。

人間の更に他の識別性をもつ包括的属性は、人体のパ
ターン形状である。記憶データ118のセクション118a中
に初期記憶された上述の包括的テンプレートは、この人
間の包括的属性に関する対象の特徴である。

ブロック300のフレーム及び距離メモリは、カメラ200
a及び距離測定手段200bの連続フレームの各々に対する
アドレシングに従って読み出されると、これと同時にシ
ステムはこれら３個の対象の特徴のいずれかが存在する
ことを調査する。移動（前景）物体の対象特徴又はフレ
ッシュトーンの対象特徴の各読み出しフレームのＸ及び
Ｙ座標の決定は、直接に行われる。しかし、読み出しフ
レームの識別ピクセルを人体パターン形状に属するもの
として取り扱うことは、一層複雑性を増す。まず、人間
の２次元画像パターン形状は、カメラ200aに対する３次
元の人間の指向（向き）に依存する。次に、この２次元
で撮像されたパターンの大きさは、カメラ200aから人間
までの距離と、その時に存在する視野102の大きさ（こ
れらは、カメラ200aにズーム機能が付いている場合には
調整可能）の双方に依存して変化するということであ
る。本実施例においては、視野102は固定されているも
のとする。しかし、上述したような、大きさ調整手段40
0は、供給される距離測定されたＺピクセル座標に従っ
て、画像データの大きさにおけるあらゆる相違を補償す
ることができる。このことは、記憶データ118のセクシ
ョン118a内に初期記憶されることが必要なテンプレート
数が大幅に減少されることを意味する。

包括的な物体の認識の場合には、テンプレート変換手
段401は使用されない。しかし、（それぞれ立姿及び座
姿の一般的な人間の）２個の包括的テンプレートが連続
フレーム中において順次に作用され、もしある場合に
は、この２個のテンプレートのうちのどちらが高い相関
値を与えるかを決定する。この後、高い方の相関値を示
すテンプレートのみが考慮されることとなる。

相関値を決定することは、数個のフレームを読み出す
ことを伴う。フレーム毎に、画像方向（オリエンテーシ
ョン）変換手段302が、初期のゼロ作用点に関して前後
に移動される。相関手段402は、指向パターン形状の相
関を求めるので、２個の変動位置の一方に関して導出さ
れた相関値は、通常他方の相関値よりもはるかに高くな
る。これに応答して、変換手段302の作用点は、高い方
の相関値により示される方向へゼロから徐々にオフセッ
トされる。この処理は、特定オフセット点の各相関値が
ほぼ互いに等しくなるまで続けられる。このようにし
て、一般的な人間形状の画像パターンの傾斜が補償され
ることとなる。

あるいは、例えば単純相関、規格化相関、平均自乗誤
差及び絶対誤差を含む当該技術分野において周知の他の
技術は、与えられたパターンと記憶パターンとの間の一
致性を決定するために使用することができる。

上述のように、マルチ解像度ピラミッドプロセッサ11
2及び適用相関手段402からの初期入力は、一般的な人間
を認識する場合には低解像度（即ち、ピラミッドプロセ
ッサの高レベル）となる。初期においては、フレームの
全領域が考慮される。しかし、上記アンダーソン特許に
教示されている中心化技術に従って、ウィンドウ制御手
段410は、与えられた相関値を達成する相関手段402の出
力に応答して、ピラミッドプロセッサ112からの出力を
次段の低（解像度は高くなる）ピラミッドプロセッサレ
ベルに切り替えると共に、ピラミッドプロセッサ112か
ら出力された画像フレームの領域を、上記の達成された
相関値を提供する相関パターン形状の近隣の局部ウィン
ドウ領域のみに限定する。

相関手段402は、記憶データ118の各セクション118bお
よび118cからの各入力を用いてその動作を変更する。こ
れにより、静止（背景）物体位置がパターン形状相関に
及ぼす寄与が無視され、また相関手段402により導出さ
れた相関値の重み付けが、それに供給され既に得られた
記憶された認識増大情報に従って増大される。

システム動作の初期を想定すると、図２におけるジョ
ン及びビルは、部屋201内の図示された位置にいる。ジ
ョンはカメラから離れた位置で静止して立っており、一
方、ビルはカメラに向かって静止して座った状態にあ
る。更に、ジョンの場合には、マルチ解像度ピラミッド
プロセッサ112からのジョンの低解像度画像と、立姿で
の包括的な人間テンプレートとの間の相違は、（確率決
定手段404へのフレッシュトーン及び移動物体入力は、
ジョンに対しては無視可能であるが）確率決定手段404
からの「使用可能１（エネイブル１）」出力を発生する
に十分であり、またこの相関値はウィンドウ制御手段41
0によってマルチ解像度ピラミッドプロセッサ112を次の
段階の高いピラミッドプロセッサレベルに切り替えさせ
るのに十分であると仮定する。ビルの場合には、フレッ
シュトーン入力に対して、確率決定手段404により決定
される確率は、（確率決定手段404への相関値及び移動
物体入力はビルの場合には無視可能であるが）「使用可
能１（エネイブル１）」出力を発生するのに十分である
と仮定する。ビルの場合に低相関値となる理由は、彼が
ソファーに座った状態にあるから、（カメラからの距離
は実質的にビルと同じ）ソファーの画像と組み合わされ
たマルチ解像度ピラミッドプロセッサ112からのビルの
画像を低解像度にすると、座姿の人間の包括的なパター
ン形状とは著しく相違する組み合わされたパターン形状
となる。（また、このパターン形状は、この低解像度で
は、相関手段402へ供給される静止物体情報の記憶位置
を用いては効果的に修正できない）。

手段404からの「使用可能１（エネイブル１）」出力
はゲート408を開き、記憶データ118のセクション118cに
おける蓄積が増大された認識データに、ジョン及びビル
の各位置のピクセル座標を送出する。従って、システム
動作の次サイクルにおいては、相関値は、これらの各位
置において一層大きく重み付けされることとなる。更
に、ジョンの場合には、ジョンの位置近傍の局在ウィン
ドウ内のみにおける高解像度画像の、立姿の人間の包括
的な形状パターンに対する相関が計算されることとな
る。これからは、高解像度に対して高相関値が得られ、
（従ってより高精度の）ジョン位置の決定になる。更
に、システム動作の第１サイクルと第２サイクルとの間
において、ジョンは、（１）移動物体情報が、現在、確
率決定手段への入力として存在することとなり、また
（２）フレッシュトーンが撮像される状態になるよう
に、その位置を変えることができた。これによって、ジ
ョンの画像が少なくとも人間の包括的な画像であること
をシステムが結論として推定する点まで、確率が増大す
る。これに応答して、確率決定手段404は信号を記憶プ
ログラム116へ戻す。この信号により記憶プログラム116
は、人間のこの包括的なパターン形状（この時は、実際
にはジョンの画像）により示される特定の人を、もし存
在するならば、システムの動作シーケンスをその後のサ
イクル中において決定するために必要な方式で制御す
る。

ビルの場合には、システム動作の第２サイクルでは、
ビルの撮像された頭部近傍において、高相関値となり、
または、相関があるＸ及びＹピクセルが得られる。これ
は、システム動作の第１サイクル中に記憶データ118の
セクション118c内にフレッシュトーンＸ及びＹピクセル
座標が記憶されていることによる。システム動作の第２
サイクル中に得られた相関値は、システム動作の第３サ
イクル中に使用される次段のより低い（高解像度）ピラ
ミッドプロセッサレベルへ、マルチ解像度プロセッサ11
2からの出力を、ウィンドウ制御手段410によって切り替
えさせるのに十分な程度に高い。更に、この高解像度に
おいては、相関されている画像パターン形状上のソファ
ー206bの影響は、記憶データ118のセクション118bから
相関手段402に供給される静止物体情報により確実に除
去できる。従って、フレッシュトーン情報と共に、シス
テム動作の第３サイクルにより得られた相関値は、人間
の包括的な画像としてビルの画像を認識し得る十分に高
い確率を提供する。

「使用可能１（エネイブル１）」出力が手段404から
導出されるシステム動作の連続した各サイクル中に、追
加の増大情報が記憶データ118のセクション118c中に記
憶されるために送出され、これがシステム動作の次のサ
イクル中に使用される。更に、その属の構成物に当ては
まる一般的な特徴を持つ包括的な人間が画像の確定され
た位置に存在することを示す確率が任意のサイクル中に
手段404により達成されていることに応答して、手段404
は信号を記憶プログラム116へ戻す。これにより、シス
テムは、次の動作サイクル中に、もし存在するならば、
個々のうちのどの特定の一人がそのような包括的人間に
よって表されるかという決定を開始する。

含まれる各人のうちの任意の一人の同一性を決定する
に際し、当該個人に対する全顔面（Ｃ）、左横顔（Ｌ）
及び右横顔（Ｒ）の上記の初期記憶テンプレートが、記
憶データ118のセクション118aから変換手段401へ各入力
として供給される。変換手段401は、上記の変換手段302
の場合と同様に作用する。すなわち、その３入力へ供給
された（Ｃ）、（Ｌ）及び（Ｒ）のテンプレートデータ
の混合の変換を現在の作用点の左右で前後に移動させ
る。そして、その３入力の混合変換の最大相関値が生成
される方向に、各連続フレーム間の作用点を常に変化さ
せる。この変化作用は、作用点が、左側移動と右側移動
とがほぼ等しい相関値を生成する場所に到達するまで続
けられる。加えて、変換手段302の作用点を示す変換手
段302からの信号は、変換手段401へ入力として供給され
ることができる。これにより、変換手段302により補償
されている画像の傾斜量に従って、変換手段401の混合
変換が高精細度で調整される。これらの全ての情報によ
り、変換手段401は合成テンプレート（例:3/4左顔面テ
ンプレート）出力を導出することができる。この出力
は、大きさ調整手段400へ入力として送出される。大き
さ調整手段400は、当該個人の頭部の２次元画像を大幅
に補償する。これは、３次元空間内における該個人の頭
部の姿勢（向き）の現在の変化によって行われる。

撮像された包括的人間の位置が認識された後、相関手
段402は、その特定の包括的に認識された人間によっ
て、もし存在するならば、どの個人（ジョン、ビル又は
メアリー）が表わされるかを具体的に認識する目的のた
めに、上述した初期記憶されマルチ視野及びマルチ解像
度をもちデータベースを構成する図像テンプレートを利
用する。この具体的認識処理の初期において、セクショ
ン118c内に既に記憶されている増大データは、その包括
的に認識された人間の位置を含む16×16の画像ピクセル
ウィンドウを供給する。

引き続く具体的認識の処理は、図示上の都合から、相
関手段402自体は、この特定個人に関する相関値増分を
順次に全体的に導出するために使用される一時記憶手段
を含む（しかしながら、この目的のために、具体的認識
処理において記憶データ118のセクション118cを使用す
ることを理解されるべきである）。具体的には、ピラミ
ッドプロセッサ112からの16×16画像ウィンドウ、レベ
ル５は、各人毎にデータベース中の初期記憶レベル５図
像と比較される。そして、その結果得られる規格化され
た（−1.0〜＋１、０の間で変わり得る）相関値は、各
人毎に別個に一時記憶される。各人に対する同様の比較
処理は、データベース中の３個のレベル４図像の各々に
対して、レベル４解像度で行われ、次いで、データベー
ス中の５個のレベル３図像の各々に対してレベル３解像
度で行われる。

上述のように、データベース中に記憶された各図像に
関連して、該図像の特定レベルピラミッドの撮られた画
像中における水平及び垂直オフセット位置を規定するデ
ータが格納されている。従って、各人に対して、データ
ベース中の３個のレベル４解像度の図像の各々、及び５
個のレベル３解像度の図像の各々が既知であり、またこ
れらはセクション118a中の記憶情報の一部分となる。こ
れらレベル４及びレベル３解像度比較の各々及びその各
オフセットは、各人に関するレベル４及びレベル３解像
度の各比較において15×15のセル画像ウィンドウの位置
を規定する際に考慮される。これは、図像が存在しそう
にない領域を不必要に調査することを防止することによ
って、システム速度を向上させるため役割を果たす。

高解像度において図像の数が増大する理由は、高解像
度図像はより大きな可変性を有しており、これによりト
レーニングフェイズ中における刻々の撮像された人間の
表情の微妙な変化の影響を一層受けやすいからである。
図像数が多いことにより、高い周波数の特徴における小
さな変化を理由として特定のトレーニングセットが考慮
されない可能性が減少される。いずれにしても、各人に
対する３個のレベル４図像の内の一つが規格化された最
大の相関値を示し、この一の図像が、格納されているレ
ベル５の規格化された相関値に追加される規格化相関値
を有することになる。同様に、５個のレベル３図像の規
格化された最大の相関値は、規格化されたレベル５相関
値と規格化された最大のレベル４相関値との総和に追加
される。このようにして、各人に対して、−3.0〜＋
３、０の範囲内で変化する規格化された相関値の総和が
存在する。これがどのような値であっても、確率決定手
段404へ供給される。そして、もしその値が第２の閾値
と少なくとも等しいならば、確率決定手段404は、ゲー
ト412を開く「使用可能２（エネイブル２）」出力を導
出する。これに応答して、ゲート412は、３人（すなわ
ちジョン、ビル又はメアリー）の内の具体的に認識され
た一人の同一性及びピクセル位置を出力使用手段120へ
送出する。もし最高相関値が閾値より小さいならば、構
成物に特有なものとして包括的に認識された人間は、該
３名の内の誰でもないということになる。

以上の説明は、３名の内の誰も予め具体的に認識され
なかったことを仮定している。もし３名の内の第３番目
の人間が具体的に認識されたならば、システムは確率決
定手段404へ供給された移動物体（前景）情報を全面的
に利用して、具体的に認識された当該個人の位置と、記
憶データ118（連続的に更新されている）のセクション1
18c内に格納されている具体的に認識された当該個人の
位置（すなわち、認識されたピクセル座標）とを連続的
に追跡するよう動作する。したがって、もしメアリー
が、以前、具体的に認識されておりその後（図２中の矢
印205により示されるように）ドア通路203から部屋201
を出たと仮定するならば、メアリーの画像が突然消え去
ったことは、システム動作の追跡モードで認識されるこ
ととなる。

更に、各人の内の一人がシステムによって既に具体的
に認識されている場合、包括的に認識された他の撮像化
人間を具体的に認識する試みに際して当該人間のデータ
ベース図像を考慮することは、システムのための目的に
は十分ではない。従って、具体的認識の上記処理は、現
在の画像において既に具体的に認識された全人間の以前
に記憶された図像を考慮対象から排除することによっ
て、第２の人間に対してはスピードアップすることがで
きる。

端的に言えば、本発明に係る物体認識のための動的画
像処理技術は、先に詳述した図示例のみにその使用を限
定されることはない（すなわち、（１）部屋内における
包括的な人間の存在を認識すること、及び（２）包括的
に認識された人間が既知の人間群の中の特定一個人であ
るかどうかを認識すること、のみには限定されない）。
本発明を適用することによって極めて大きな利点が得ら
れる他の例としては、監視テレビカメラ、ロボットシス
テム及び目標追跡システム等の複合自動制御システムが
挙げられる。或いはまた、製造に使用される機械的な視
覚において、自動組み立て又は分類されるべき種々の所
定部品の各々を個別に認識するためなどにも、本発明は
極めて適している。

図１に戻って、上述以外の本発明の他の特徴を示す。
これらの特徴は、本発明の図示例及び本発明の他の動作
例の両方にも使用可能である。例えば、物体認識手段11
4により導出された情報は、撮像手段100の視野の方向性
及び／又はズーミングの制御のために使用することがで
きる。この場合、撮像手段100は、物体認識手段114にサ
ーボ情報へ戻す。更に、出力使用手段120は、物体認識
手段114から供給された物体認識情報を記録するための
記録機器を後日の使用に供するための装備することもで
きる。つまり、このような情報は、物体認識情報が収集
された位置から離隔した位置へ出力利用手段120によっ
て遠隔計測で伝達されることも可能である。

図１に広範に示した本発明の実施例は、その最も効率
的な実施態様と考えることができる。まず、開示された
実施例においては、新規画像情報は、リアルタイムで継
続的に収集され、物体認識処理が発生する。次に、マル
チ解像度ピラミッドプロセッサは、動きが制御可能な可
動ウィンドウを組み込み、このウィンドウは考慮必要性
が最小と考えられる画像データを効率よく減少するよう
に使用される。

リアルタイムで得られているような画像データに関す
る処理以外には、多数の連続フレームから成る画像デー
タの全ブロックを記録することも可能であり、これは、
物体認識の目的のために、この画像データブロック内に
おける画像データを動的処理する前に行われる。更にま
た、データ減縮はマルチ解像度ピラミッドプロセッサに
よって実行される必要はない。理由は、物体認識のため
に使用され得る他のデータ圧縮技術が本技術分野に存在
するからである。

図１において、現実の３次元物体を撮像する撮影手段
は、画像データを得るために使用されている。しかし、
このような画像データを他の手段で得ることも可能であ
る。一例として、コンピュータで生成したり、あるいは
アニメ漫画技術にて得ることが可能である。

以上詳述した本発明に係る物体認識システムの動作の
図示は、確率決定手段404により使用される対象の特徴
として、（１）色（すなわち、フレッシュトーン）、
（２）パターン形状、及び（３）前景物体の移動、を用
いる。これら色、パターン形状、又は移動物体情報に代
えてまたはこれらに加えて、対象の他の特徴も、物体認
識のための識別要素として使用されることができるを理
解すべきである。

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】時系列に連続した第１の解像度の画像デー
   タフレームにグラフィカル表示された所定クラスの物体
   を認識するための動的な画像処理の方法であって、 該方法は、（Ａ）前記画像処理を制御すると共に一組の
   決定基準の特定を行うための記憶プログラムと、（Ｂ）
   記憶データとによって実現されるものであり； 前記所定クラスの物体は、全て、既知の一群の包括的属
   性をもち、前記一群の包括的属性によって、全体とし
   て、前記所定クラスに属する物体はそれ以外の物体から
   区別され； 前記記憶データによって、前記一群の包括的属性に関連
   した限定された数の個別特徴が初期的に規定されてお
   り、初期的に記憶された前記個別特徴の少なくとも１つ
   は、前記所定クラスの物体が画像データの一又は複数の
   連続したフレームのシーケンス中にグラフィカル表示さ
   れている場合に、当該シーケンス中に存在しており； 時系列に連続した第１の解像度の画像データフレーム
   は、一又は複数の第１のフレームと、該第１のフレーム
   の後に発生する一又は複数の第２のフレームとを含み、 前記方法は： ａ）前記記憶プログラムによる制御の下で、且つ前記記
   憶データにより初期的に規定される前記個別特徴のうち
   の少なくとも第１の個別特徴に応じて、第１の確率に関
   する第１の決定を前記決定基準に従って行なうステップ
   であって、前記時系列の前記第１のフレームは、前記第
   １の確率で、前記画像データの部分として、前記所定ク
   ラスの物体の前記個別特徴のうちの少なくとも前記第１
   の個別特徴を含み； ｂ）前記第１の確率が第１の所定閾値以上であることに
   応じて、前記時系列の前記第１のフレーム内における前
   記部分の少なくとも相対位置を規定するデータを前記記
   憶データに追加し、これによって前記記憶データを増加
   させるステップ； ｃ）前記記憶プログラムによる制御の下で、且つ前記増
   加された記憶データに応じて、前記第１の個別特徴に加
   えて前記個別特徴のうちの少なくとも第２の個別特徴を
   前記部分に含むことが前記第２のフレームによって照合
   される、という第２の確率に関する第２の決定を決定基
   準に従って行なうステップ； ｄ）前記第２の確率が第２の所定閾値よりも大きいこと
   に応じて、前記部分を前記所定クラスの物体がグラフィ
   カル表示されたものであると認識するステップ； ｅ）前記第２の所定閾値よりも小さい第３の所定閾値よ
   り前記第２の確率が小さいことに応じて、前記所定クラ
   スの物体のグラフィカル表示ではないものとして前記部
   分を認識するステップ； ｆ）前記第２の確率が前記第２の所定閾値と第３の所定
   閾値との間の範囲内に存在することに応じて、前記ステ
   ップｃ）の照合における前記部分の少なくとも相対位置
   を規定する更なるデータを前記記憶データへ追加し、こ
   れによって前記記憶データを更に増加させるステップを
   備え； ｇ）前記第２の確率が前記範囲内にある場合、前記第２
   のフレームの後に発生する前記時系列の一又は複数のフ
   レームのシーケンスに対して前記ステップｃ）からｆ）
   を、このような繰り返しステップｄ）により決定される
   確率が前記第２の所定閾値を越えるか又は前記第３の所
   定閾値よりも小さくなるまで、再帰的に繰り返すステッ
   プと、 を備える方法。
2. 【請求項２】前記ステップａ）に先立って、前記連続し
   た第１の解像度の画像データフレームの各々を解析し
   て、前記第１の解像度のフレームの解像度よりも低い第
   ２の解像度を示す少なくとも一レベルから成るマルチ解
   像度ピラミッドにする解析ステップを含み、 前記ステップａ）において、前記第１の確率は、前記時
   系列の前記第１のフレームのシーケンスの該マルチ解像
   度ピラミッドのうちの任意の第２の解像度レベルが、前
   記所定クラスの物体の前記個別特徴のうちの少なくとも
   前記第１の個別特徴を前記画像データの部分として含
   む、という確率であり； 前記ステップｃ）において、前記第２の確率は、前記時
   系列の前記第２のフレームのシーケンスのマルチ解像度
   ピラミッドのうちの任意のレベルにより、前記第１の個
   別特徴に加えて前記個別特徴のうちの少なくとも第２の
   個別特徴を前記部分に含むことが照合される、という確
   率である、請求項１に記載の方法。
3. 【請求項３】前記所定クラスの物体は予め選択された複
   数のメンバーより成り、前記所定クラスの予め選択され
   た該メンバーの各々は、既知の具体的属性からなる固有
   グループを各メンバーが有することにより個々に規定さ
   れ、前記固有グループは、全体として、既知のメンバー
   を前記所定クラスの他のメンバーから区別するものであ
   り、該固有グループは、前記既知の包括的属性の少なく
   とも各サブグループであり、 前記サブグループの前記包括的属性夫々である各具体的
   属性に関して、前記記憶データは、前記連続したフレー
   ムの特定のピラミッドレベルにおける当該包括的属性で
   ある具体的属性のグラフィカル表示に関連する別個の具
   体的特徴を含み、 前記方法は、 ｈ）前記記憶プログラムによる制御の下で、且つ前記所
   定クラスの物体のグラフィカル表示として前記部分が認
   識されることに応じて、特定のピラミッドレベルにおけ
   る前記サブグループの前記包括的属性のうちの第１の所
   定属性である異なる具体的属性の各々に関連した個別の
   記憶された具体的特徴の各々を前記部分と順次に比較し
   て、前記比較された具体的特徴のどれが前記部分に対応
   するかを所定閾値の確率よりも大きい最も大きい確率で
   決定するステップ； ｉ）特定のピラミッドレベルにおいて前記サブグループ
   の前記包括的属性のうちそれぞれ別の所定属性である異
   なる具体的属性に関連する個別の記憶された具体的特徴
   毎に、前記ステップｈ）を繰り返し、これによって、前
   記部分によりグラフィカル表示された既知の具体的属性
   の固有グループと、該固有グループによって規定される
   該予め選択された個別のメンバーと、を決定するステッ
   プを更に備える含む請求項２に記載の方法。
4. 【請求項４】時系列に連続した第１の解像度の画像デー
   タフレームにグラフィカル表示された所定クラスの物体
   を動的に認識するための画像処理システムであって、前
   記所定クラスの各物体は、全て、前記所定クラスの物体
   をそれ以外の物体から全体として区別する既知の包括的
   属性の第１の群をもち、前記所定クラスの既知メンバー
   の各々は、前記所定クラスの既知メンバーを他のメンバ
   ーから全体として区別する既知の具体的特徴の第２の群
   を持ち； 時系列に連続した第１の解像度の画像データフレーム
   は、一又は複数の第１のフレームと、前記第１のフレー
   ムの後に発生する一又は複数の第２のフレームとを含
   み、 前記システムは： 前記画像処理を制御するための記憶プログラムを格納す
   ると共に、一組の決定基準を特定するための第１の手段
   を備え； 一組の初期データを含むデータを記憶する第２の手段を
   備え、前記初期データにより、包括的属性の少なくとも
   前記第１の群に関連する限定された数の個別特徴が規定
   され、初期的に記憶された少なくとも一つの前記個別特
   徴は、前記所定クラスの物体が一又は複数の連続する画
   像データフレームのシーケンスにグラフィカル表示され
   る場合に、当該シーケンスに存在しており； 前記第１の手段及び第２の手段に結合された第３の手段
   を備え、該第３の手段は、 （１）前記時系列の前記第１のフレームが、前記所定ク
   ラスの物体の前記個別特徴のうちの少なくとも前記第１
   の個別特徴を前記画像データの部分として含む、という
   第１の確率に関する第１の決定を前記決定基準に従って
   行い； （２）第１の所定閾値以上の前記第１の確率に応じて、
   前記時系列の前記第１のフレーム内における前記部分の
   少なくとも相対位置を規定する追加データを前記第２の
   手段に記憶し、これにより該第２の手段に記憶されたデ
   ータを増加させ； （３）前記第１の個別特徴に加えて前記個別特徴のうち
   の少なくとも第２の個別特徴を前記部分に含むことが前
   記時系列の前記第２のフレームにより照合される、とい
   う第２の確率に関する決定を前記決定基準に従って行な
   い； （４）第２の所定閾値を越えた前記第２の確率に応じ
   て、前記所定クラスの物体のグラフィカル表示であると
   前記部分を認識し； （５）前記第２の所定閾値よりも小さい第３の所定閾値
   より小さい前記第２の確率に応じて、前記所定クラスの
   物体のグラフィカル表示ではないと前記部分を認識し； （６）前記第２の所定閾値と第３の所定閾値との間の範
   囲内に存在する前記第２の確率に応じて、前記第２の決
   定により定められた更なる追加データを前記第２の手段
   に記憶し、それによって前記第２の手段に記憶データを
   増加させ； （７）前記第２の確率が前記範囲内に存在する場合、前
   記第２のフレームの後に発生する前記時系列の一又は複
   数のフレームのシーケンスに対して追加の決定を、最終
   の追加の決定により規定される確率が前記第２の所定閾
   値を越えて増大するか、又は前記第３の所定閾値より小
   さく減少するまで再帰的に行う、システム。
5. 【請求項５】請求項４に記載のシステムにおいて、更
   に、 前記連続した第１の解像度の画像データフレームの各々
   を解析して、前記第１の解像度フレームのレベルよりも
   低い第２の解像度を示す少なくとも一つのレベルより成
   るマルチ解像度ピラミッドにするための解析手段を更に
   含み、 前記第３の手段は、前記第１の手段、第２の手段、及び
   解析手段に結合されて、 （１）前記時系列の前記第１のフレームのシーケンスの
   該マルチ解像度ピラミッドの任意の第２の解像度レベル
   が、前記所定クラスの物体の前記個別特徴のうちの少な
   くとも前記第１の個別特徴をその画像データの部分とし
   て含む、という第１の確率に関する第１の決定を前記決
   定基準に従って行ない； （２）第１の所定閾値以上の前記第１の確率に応じて、
   前記時系列の前記第１のフレームにおける前記部分の少
   なくとも相対位置を規定する追加データを前記第２の手
   段に記憶し、それによって前記第２の手段に記憶された
   データを増加し、 （３）前記第１の個別特徴に加えて前記個別特徴のうち
   の少なくとも第２の個別特徴を前記部分に含むことが、
   前記第２のフレームのシーケンスの該マルチ解像度ピラ
   ミッドのうちの任意のレベルにより照合される、という
   第２の確率に関する決定を前記決定基準に従って行な
   い； （４）前記第２の閾値より大きい前記第２の確率に応じ
   て、前記所定クラスの物体のグラフィカル表示であると
   して前記部分を認識し； （５）前記第２の所定閾値よりも小さい第３の所定閾値
   より小さい前記第２の確率に応じて、所定クラスの物体
   のグラフィカル表示ではないとして前記部分を認識し、 （６）前記第２の所定閾値と第３の所定閾値との間の範
   囲内に存在する前記第２の確率に応じて、前記第２の決
   定により規定される更なる追加データを前記第２の手段
   に記憶し、それによって該第２の手段に記憶データを更
   に増加させ、 （７）前記第２の確率が前記範囲内にある場合、前記第
   ２のフレームの後に発生する前記時系列の一又は複数の
   フレームのシーケンスに対する追加の決定を、最終の追
   加の決定により定められる確率が前記第２の所定閾値を
   越えて増大するか又は前記第３の所定閾値以下に減少す
   るまで、再帰的に行なう、 システム。
6. 【請求項６】前記所定クラスの物体の前記グラフィカル
   表示は、可動物体の２次元表示を含み、それによって前
   記可動物体のフレームにおける前記２次元表示の位置は
   フレーム毎に変化し得るものであり、前記システムは、 前記連続した画像データフレームに応答を示し、移動す
   る物体のグラフィカル表示を規定するピクセルからなる
   フレームにおいてピクセル位置を導き出すための移動対
   象物手段、を含み、 前記第３の手段は、前記移動対象物手段に結合されて、
   前記確率の決定を行う際に追加特徴として前記移動物体
   の各ピクセル位置を採用すると共に、前記範囲内にある
   と決定される確率に応じて、前記移動する物体のピクセ
   ル位置を追加データとして前記第２の手段に記憶する、
   請求項４に記載のシステム。
7. 【請求項７】前記所定クラスの物体の前記グラフィカル
   表示は、所定の色相特性を有する物体の２次元表示を含
   み；前記システムは、 前記連続した画像データフレームに応答を示し、前記所
   定の色相特性を有する物体のグラフィカル表示を規定す
   るピクセルからなるフレームにおいて各ピクセル位置を
   導き出すための色検出手段、を更に含み； 前記第３の手段は、前記色検出手段に結合されて、前記
   所定の色相特性をもつ前記物体の各ピクセル位置を前記
   確率決定を行う際に追加特徴として採用すると共に、前
   記範囲内にあると決定された確率に応じて、前記移動す
   る物体のピクセル位置を前記第２の手段に追加データと
   して記憶する、請求項４に記載のシステム。
8. 【請求項８】前記第２の手段に記憶された該初期データ
   により規定される該特徴中には、前記所定クラスの前記
   物体の２次元グラフィカル表示に関連づけられた所定の
   パターン形状があり、前記第３の手段は、 連続した各画像データフレームを構成する該ピクセルに
   より規定されるパターン形状を所定の解像度において前
   記所定のパターン形状の各々に対して相関をとると共
   に、これにより得られた相関値を前記確率決定を行う際
   に採用するためのマッチング手段と、 前記範囲内にあると決定された確率に応じて、相関ピク
   セル位置を前記第２の手段に記憶するための手段と、を
   含む請求項４に記載のシステム。