JPH05501770A - 動的物体認識方法及びその画像処理システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 髪ｍ　？ｊＦ−’　４　Ｕ＋Ｏ＠＠％　’ｙＺｆＬ３」Ａｌ１東 本発明は、比較的高解像度の画像データフレームの時系列中に図式表示さｎた所 定クラスの物体を認識するための動的画像処理技術に関する。

画像データ中に図式表示された物体のパターン形状を認識するための技術が当該 技術分野で世知である。また、予め選択された角方位を持つ移動物体と静止物体 とを区別し、又は他の所定の興味ある特徴をもつ物体を区別する技術も、当業界 では周知である。

これら技術の例としては、米国特許第４，６９２．８０６号（発明者：アンダー ソン他：登縁日＋１９８７年９月８日）及び米国特許第４．３８５．３２２号（ 発明者：ヒュバソチ他；登録日：１９８３年５月２４日）に開示されている。

アンダーソン特許には、第１所定ビクセル数から成る元々広視野且つ高解像度の 画像を処理して、第１所定数よりも小さい第２所定ビクセル数の広視野低解像度 画像を派生させる画像データ圧縮技術が示されている。この派生した低解像度画 像中の検出された興味ある特徴の位置に基づき、第２所定ビクセル数のみを含む 可動ウィンドウを用い、検出された興味ある特徴を含む元の高解像度画像の狭視 野部の位置を得ることができる。

アンダーソン特許では、いわゆるマルチ解像度ピラミッドプロセッサ技術を採用 して、画像データ圧縮を行っている。

アンダーソン特許のデータ圧縮技術は、連続した比較的高解像度の画像データフ レームに対して時系列的に繰り返し行われるが、この各圧縮作用中における目的 特徴の検出は、相互に変わるところはない（即ち、各繰り返し作用中、目的特徴 は、一つ前の繰り返し作用上で検出されるか否かにかかわらず、検出又は非検出 される）。

ヒュバ、チ特許には、データ圧縮技術を用いたパターン認識方法が開示されてい る。まず基準シーンがファイン（細）フォーマ、トで記録保持され、次いでコー ス（粗）フォーマットで記録保持される。記憶された基準シーンの粗情報は、広 視野対象シーンからの粗情報とリアルタイムで比較され、合致パーセントを示す 相関番号（確率）を用いて対象シーンと基準シーンとの最高合致位置が定められ る。粗合成部位近傍に存在する対象シーンの狭視野領域のみが、基準シーンの記 憶された線情報と比較される。最適合致位置は、対象シーンと基準シーンの線記 憶情報との合致の最大相間番号（確率）に従って正確に決定される。ヒュバッチ 特許では、記憶された粗及び細基準情報は固定されたままであることに留意され たい。

今、認識されるべき物体が３次元可動物体である場合を考える。この物体は、連 続した画像データフレームの時系列中に図式表示される。各画像データフレーム は、３次元物体の２次元投写により構成される。このような場合、各フレーム中 における２次元投写の大きさ及び形状は、３次元物体の投写方向に対する垂直方 向への距離、及び当該フレームにおける３次元物体の投写の角方向により変化す る。もし３次元物体が移動すれば、その図式表示の大きさ及び形状がフレーム毎 に変化する。このように、３次元移動物体に関して単一フレームから得られる情 報は、完全とは程遠いものとなる。しかし、単一フレームから得た情報に時系列 上の全ての前フレームから得られた情報を累積付加してゆくことにより、そのよ うな３次元可動物体を選択的に高精度で照合認識するに十分な情報を収集するこ とができる。本発明に係る動的画像処理方法は、この種の認識における問題を効 率よく解決することを意図して為されたものである凡に１カ 具体的に言えば、本発明に係る動的画像処理方法は、所定クラスの物体を認識す る。全ての物体は、既知の包括的特徴群を有し、この群が全体として所定クラス の物体とそれ以外のクラスの物体とを区別する。この方法は、本画像処理の制御 及び決定基半組の特定を行うための手段に応答する。この方法はまた、包括的特 徴群に関する個別特徴の限定数を初期特定する記憶データに応答する。もし、所 定クラスの物体が−又は複数の連続画像データフレームのシーケンス中に図式表 示されているならば、初期記憶された特徴は当該シーケンス中に存在し得る。

この方法は、次の各ステップを含む： 先ず、時系列上にある連続した比較的高解像度の画像データフレームが、高解像 度フレームの解像度よりも低い解像度を示す少なくとも一レベルから成るマルチ 解像度ピラミッドプロセッサ中で解析される。記憶されたプログラムによる制御 下で、且つ記憶データによって初期に特定された個別特徴のうち少なくとも最初 の−に応答して、第１確率に関する決定基準に従って第１決定が行われる。この 第１確率で、時系列上の比較的初期に発生する−又は複数のフレームシーケンス 中におけるマルチ解像度ピラミッドプロセッサの各低解像度レベルのうちのいず れかは、所定クラスの物体の個別特徴のうち少なくとも最初の−をその画像デー タの一部として含むことになる。もし、この第１確率が第１の所定閾値と少なく とも等しいならば、シーケンスの初期発生フレーム内における画像データの当該 部分の少なくとも相対位置を定めるデータが記憶データに付加され、これによっ て記憶データが増大されることになる。

その後、記憶されたプログラムによる制御下で、且つ増大された記憶データに応 答して、第２決定が行われる。この第２決定は、第２確率に関する決定基準に従 って行われる。第２確率は、時系列上の比較的後期に発生する−又は複数のフレ ームンーケンスノマルチ解像度ピラミッドプロセッサの各レベルのうちの何れか が、８＠データ中の前記部分は各個別特徴の門弟１特徴に加えて更に少なくとも 第２特徴をも含むことを証明する確率である。もし、第２Ｒ率が第２の所定闇値 以上であるならば、画像データの前記部分は、所定クラスの物体の図式表示とし て認識される。しかし、もし第２ｉ１率が第３の所定閾値（第２の所定閾値より もかなり小さい）より小さい場合には、画像データの前記部分は、所定クラスの 物体の図式表示としては認識されない。第２確率が第２確率と第３確率との間の 範囲内にある場合には、前記証明ステップにより特定される更に他のデータが記 憶データに付加され、これによって記憶データが一層増大されることとなる。更 に、もし第２確率がこの範囲にあるならば、証明ステップ及びこれに応答した記 憶データの増大は、時系列上の−又は複数のフレームのもっと後に発生するシー ケンスに対して帰納的にくり返される。これは、そのような繰り返しステップが 第２の閾値より大きくなるか、或いは第３の闇値より小さくなるかするまで続け られる。

図面の簡単な説明 図１は、本発明の原理を描いた機能図：図２は、図１中の撮像手段の特定の構成 例を用いた本発明の一例を示す図； 図３は、図１の前プロセッサの例を示す図；図４は、図１の物体認識手段及び記 憶データの例を示す図である。

゛な　１の 人間の観察者は、複合シーン中に存在する所定クラスの物体（例：他の人間）を 認識するのに困難を覚えることはない。事実、観察者が何百もの個体を知ってい たとしても、観察シーン中に存在するーの個体を容易に認識できる。

全ての人間は、一群の既知の包括的特徴を備えており、これらは全体として人間 を人間以外の物体から識別する作用を果たす。しかしながら、これは単に−の個 人と他人とを識別するという面相上の特徴差に基づくものにすぎない。

図１に示した本発明に係る動的画像処理方法は、その全てが一層の既知の包括的 特徴をもつ所定クラスの物体を認識するという人間の能力を模倣したものである 。これらの特徴は、全体として、所定クラスの物体をそれ以外の物体から識別す る作用を果たす、更に、本発明の動的画像処理方法は、所定クラスに属する前選 択された複数のメンバー中からの識別を行なうことも可能である。各前選択され たメンバーは、既知の包括的特徴の少なくとも各下位群の唯一の周知種紐をもつ ことによって、個々が特定されている。

図１には、視野１０２を有する撮像手段１００が示されている。ｉｅ手段１００ は、外部ラジェータにて照射される視野１０２内の物体から反射した輻射線を受 信する構造から成る。或いは、撮像手段１００は、視野１０２内で物体を輻射線 で照射するための手段及び物体からの反射エコーを受信する手段を含む構成とす ることもできる（これらのエコーは、物体距離情報を提供することもできる）。

更に、撮像手段１００は、電磁、超音波及び／又はあらゆる他の種類の波−エネ ルギースペクトルの所定波長部分の輻射に応答させることができる。視野１０２ 内には、所定クラス１０４に属する２個の可動物体が配置されている（図１では 可動立方体として示す）。両物体は、立方体の全ての包括的特徴を備えているが 、上側の立方体の面は「＋」が記され、下側の立方体の面にはｒ　ＯＪが記され ているという点で両者は相違する。更に、視野１０２内には、所定クラス１０４ 以外の、種々の静止物体１０６が複数存在する。

撮像手段１００は、各３次元立方体１０４の２次元投写を生成する。立方体１０ ４は可動であるので、各立方体の投写の形状及び大きさは、成る時間における撮 像手段１００からの立方体の方向及び距離に従って変化する。

撮像手段１００の出力は、時系列上に連続した比較的高解像度の画像データフレ ームを含む。各フレームは、クラス１０４に厘する各立方体及び各物体１０６の ２次元投写をアナログ形式で図式表示する。この表示は、時系列上における当該 フレーム発生時点において立方体及び物体が存在する空間位置における２次元投 写を表す。

アナログ／デジタル（Ａ／Ｄ）コンバータ１０８は、連続した各フレームにおけ る画像データをデジタル形式に変換し、これによって前プロセッサ１１０、マル チ解像度ピラミッドプロセッサ１１２、物体認識手段１１４、記憶プログラム１ １６、及び記憶データ１１８から成るデジタルプロセッサによる処理に供される 。

図１において、デジタルプロセッサは、相互に接続された機能ブロックのシステ ムとして示されている。各ブロックがサブシステムに対応している。実際には、 デジタルプロセッサシステムは、ソフトウェア（即ち、プログラムされたコンピ ュータシステム）及び／又はハードウェア（即ち、ハード配線された素子）中に 組み込むことができる。前プロセッサ１１０のサブシステムの詳細例は図３に、 物体認識手段１１４及び記憶データ１１８の詳細例は図４に、それぞれ示す。両 図に関しては後述する。

記憶プログラム１１６は、制御入力を前プロセッサ１１０、マルチ解像度ピラミ ッドプロセッサ１１２、物体認識手段１１４及び記憶データ１１８へ供給し、該 入力に従ってこれらサブシステムの作用シーケンスがｔｅＩＪｍされることとな る。この作用シーケンスは、物体認識手段１１４から記憶プログラム１１６ヘフ イードバソクされた情報に従って変更される。制御情報はまた、撮像手段１００ 、前プロセッサ１１０及びマルチ解像度ピラミッドプロセッサ１１２の各々を介 して物体認識手段１１４からフィードバックされる。加えて、物体認識手段１１ ４は、記憶データ１１８へ増大されたデータ記憶を供給する。

デジタル形式の画像データが信号入力として前プロセッサ１１０へ供給される。

前プロセッサ１１０は、物体認識手段１１４及び記憶プログラム１１６から供給 された＋１１ｍ情報に従って、入力として伝送されてきた画像データを変更する と共に、この変更された画像データをマルチ解像度ピラミッドプロセッサ１１２ に対する入力として出力する。

前記アンダーソン特許に教示された作用を実行可能なマルチ解像度ピラミッドプ ロセッサ１１２は、米国特許第４．７０３．５１４号（登録日：１９８７年１０ 月２７日；発明者：パン・デア・パル：発明の名称「リアルタイムマルチ解像度 信号処理装置のプログラム構造、）の開示内容に従って構成される。

ピラミッドプロセッサ１１２からの出力データは、第１信号入力として物体認識 手段１１４へ供給される。加えて、物体認識手段１１４は、前プロセッサ１１０ から直接用２　（Ｍ号入力情報を受信する。また、情報は撮像手段１００からフ ィートッテツクされ、物体認識手段１１４への入力となる。更に、記憶プログラ ム１１６による制御下で、記憶データ１１８は、選択された記憶データを物体認 識手段１１４への入力として供給する。

物体認識プログラム１１４からの出力情報は、出力使用手段１２０への入力とし て供給される。図１にはまた、撮像手段１００からの画像を表示するための選択 表示モニター１２２（破線で示した）が配置されている。ディスプレイモニタ１ ２２（ま、出力使用手段１２０から受信した情報も表示することができる（例・ 画像中の認コされた物体を確認するキャプション及び他の標識）。

図１は、本発明システムの全般的な構成を示す。本発明をよりよく理解できるよ うに、具体的な図示ｆｊ！！　（図２）につ４ｔて以下説明する。図２において 、認識手段１００は、カラーテレビカメラ２００ａ及び距離測定手段２００ｂか ら成る。カメラ２００ａ及び距離測定手段２００ｂ双方の視野は、ドア通路２０ ３を有する部層２０１の内部になっている。ジョン２０４ａ、ビル２０４ｂ及び メアリー２０４ｃの３人のうち誰かは、いつでも部屋２０１内に居ても居なくて もよい。そして、エンドテーブル２０６ａ、ソファ−２０６ｂ及び振動ファン２ ０８から成る３個の物品は、図２に示すようにずっと部屋２０１内に置かれたま まである。図２に示した状態時では、ジョン２０４ａは、テレビカメラ２００ａ 及び距離測定手段２００ｂから成る撮像手段に比較的近い部屋１０２内の位置に 立っている。ソファ２０６ｂ上に座ったビル２０４ｂは、部屋１０２内の撮像手 段１００から比較的離れた場所に位置している。そして、メアリー２０４ｃは、 矢印２０５で示すようにドア通路２０３から部屋２０１を出たばかりである。

図２に示した実施例における本発明の目的は、（１）部屋２０１内にいる任意の 人間を包括的に認識すること：　（２）次いで、包括的に認−された人間のうち の任意の−がジョン２０４ａであるか、ビル２０４ｂであるか、或いはメアリー ２０４０であるか、具体的に認識すること：　（３）及びその後、具体的に認識 された各人の部屋２０１内における位置を追跡すること、の３点である。

図示上の事情から、前プロセッサ１１０は図３に示す形態を採っており、また物 体認識手段１１４及び記憶データ１１８は図４に示すように構成されている。明 瞭化のため、図３及び４にδいて、記憶プログラム１１６と前プロセッサ１１０ 、物体認１手段１１４及び記憶データ１１８との接続関係は図示を省略した。し かし、各サブンステムのシーケンスは記憶プログラム１１６により制御されてい ることが理解されなければならない。

図３に示すように、前プロセッサ１１０はカラーフィルタ、フレーム及び距離メ モリ３００、画像方向変換手段３０２、そして移動物体手段３０４から成る。図 ４において、物体認識手段１１４は、大きさ調整手段４００、テンプレート方向 変換手段４０１、指向パターン形状相関手段４０２、確率決定手段４０４、フレ ノノユトーン［［Ｈ４０６、ゲート４０８、ウィンドウ制御手段４１０及びゲー ト４１２から成る。更に図４に示すように、記憶データ１１８は、初期記憶され たマルチ視野マルチ解像度テンブレー）１１８ａ、静止物体の記憶位置１１８ｂ 、及び後記憶認識増大データ１１８Ｃから成る。

初期記憶テンプレート１１８ａは、ジ９ン２０４ａ、ビル２０４ｂ及びメアリー ２０４Ｃの各人の顔全体、頭部の左及び右側面またはその部分を異なる解像度で 定める予め記録された画像データを含む。低解像度のテンプレートは特定個人の 顔全体又は顔全体を包含するが、高解像度のテンプレートは、各人の顔の比較的 高情報部のみに限定される。例えば、高解像度テンプレートは、各人の顔を横切 る水平ストリップを含む。このストリップはその人の耳、眼、及び鼻のブリッジ を示す（即ち、−の特定個人と他の個人とを識別するために使用される高認識情 報を含む）。加えて、好ましくは低解像度の時のみにおいて、テンブレー）１１ ８ａは、人間の各部の形状を他の物体の形状から図形的に識別するための、人体 形状、包括頭部又は他のパターン形状の−又は複数のテンプレートを含む。

図３に戻って、カラーテレビカメラ２００ａからのりアルタイム出力に対応する Ａ／Ｄコンバータ１０８からのデジタル形式での入力の部分は、まずブロック３ ００のカラーフィルタ部によってカラーフィルタリングを受ける。これにより、 色（１、Ｑ）部と輝度（Ｙ）８とが分離される（カラーテレビカメラ２００ａか らの出力は、標卓＼ＴＳＣ形式であると想定）。テレビカメラ２００ａからの出 力の分離された輝度部及び色部は、デジタル形式で直接ブロック３００に供給さ れる（赤、緑及び青の別個の信号として、或いはし、■、Ｑの別個の信号として ）。ブロック３００のカラーフィルタ部は省略している。いずれにせよ、輝度及 び色情報の−又は複数の連続フレームは、ブロック３００のフレームメモリ部内 に一時的に記憶される。

距離測定手段２００ｂ及びカラーテレビカメラ２００ａは、同じ視野１０２に対 して水平及び垂直方向に走査される。ただし、フレームレートは必ずしも同一で なくてよい。距離測定手段２００ｂは、下部赤パルスの送信とそのエコーの受信 との間の時間インターバルを測定する作用を果たす。距離は、レーダーと同様に 、このインターバルの長さによって定められることとなる。距離測定手段２００ ｂに可視光線ではなく赤外線を用いる理由は、距離測定手段２００ｂの感度に対 して部屋２０１内の環境光の強度変化が影響を及ぼすのを回避するためである。

いずれにしても、距離測定手段２００ｂからのデジタル形式の出力情報は、ブロ ック３００の距離メモリ部内へ一時的に記憶されることとなる。

或いはまた、パターンマツチング処理によって大きさ及び距離情報を得ることも 可能である。このパターンマツチング処理は、記憶されたテンプレート又は現在 の画像の大きさを調整することによって、両者間の最適マツチングを得るもので ある。

テレビ情報及び距離情報に対するサンプルレートが同一であるとすると、距離メ モリはテレビフレームメモリの各テレビビクセル記憶位置を持つこととなる。従 って、テレビフレームメモリ及び対応する距離メモリ双方を同時に読み出す間、 水平（Ｘ）及び垂直（Ｙ）のビクセル座標は、フレームメモリの読み出されたア ドレスからめられる。また、各読み出されたビクセルに対する距離（Ｚ）座標は 、当該ビクセルの距離メモリ内位置に記憶されている情報から得られる。このよ うに、ブロック３００からの各出力の−は、図３に示すごとく、連続した読み出 されたビクセルの各々のＸ、Ｙ、及びＺビクセル座標となる。更に、色情報がブ ロック３００内に標準ＩＱ形式で記憶されていると仮定すれば、ブロック３００ からのテレビフレームメモリの読み出し作用によって、ブロック３００がらカラ ー出力が派生することになる。このカラー出力より、連続的に読み出された各ビ クセルの対応ＩＱ値が得られる。

静止物体から移動物体を分離させるための単純で周知の技術は、テレビ画像情報 の２個の連続発生フレームの対応ビクセルを差演算し、静止物体のビクセルを実 質的に除去することである。これにより、差フレームのビクセルは、移動物体の みに対応することとなる。もしこの差フレームのビクセルをその後現在フレーム のビクセルから差し引けば、その結果生じるフレームは静止物体のみに関するも のとなる。移動物体手段３０４にこの単純な周知の方法を通用することはできる が、これが本発明の目的に対する移動物体手段３０４の最適な通用方法ではない 。本発明の目的に対しては、人間は、人間とそれ以外の物体とを識別する特徴と して、移動物体であるという事実を利用することが望まれる。エンドテーブル２ ０６ａ及びソファ−２０６ｂと同様に振動ファン２０８も部屋２０１内における 永久背景物体であり、振動ファン２０８は移動物体でもある。本発明の観点から すれば、その内部では移動しているにもががねらず、静止物体であるとみなされ る振動ファン２０８のような移動背景物体をもつ移動物体手段３０４を備えるこ とが望ましい。

従って、このような移動物体手段３０４が移動＃景物体と全ての背景物体（静止 していると考えられる）とを識別することとなる。

上述のように、静止物体の配置は、記憶データ１１８のセクション１１８ｂに保 持されている。システムの予備作用として、記憶データ１１８のセクション１１ ８ｂ内に保持されているデータを得るため、カラーテレビカメラ２００ａ及び距 離測定手段２００ｂは、全３名の人間ジｖ７２０４ａ、ビル２０４ｂ、及びメア リ−２０４０の誰も部屋２０１内にいない状態で動作可能である。これにより、 この予備動作中に部屋２０１内に存在する永久静止背景物体のみの！！像を派生 させることができる。この予備作用によって得られた画像は、この目的のために 移動物体手段３０４を用いることにより、記憶データ１１Ｂの静止物体１１８ｂ セクン３ンの記憶位置へ保持されるために伝送される。

移動物体手段３０４のより望ましい構成としては、記憶データ１１８のセクショ ン１１８ｂに記憶されるために移動物体手段３０４から伝送された静止物体情報 が、移動物体手段３０４自体によっても使用できるようにすることが考えられる 。システムの動作中、現フレームのビクセルから背景のビクセル座標し引くこと によって背景を除去し移動（前景）物体を得ることによって、前景から背景を差 し引くことになり、こうしてｍｌｌ両画像歪むこととなる。もっと簡単でありな がらより優れた移動物体手段３０４の構成では、まず条件差演算を実行すること によってこの歪を回避する。この差演算では、背景中の一ピクセルと現画像の対 応ビクセルとが十分に近接した値である場合にのみ、後者から前者が差し引かれ る。もし両ビクセルの値が離れているならば、現画像の対応ビクセル自体が使用 される。

しかし、もし両者の値が近接しているならば、差演算が行われるよう、当該ビク セルの代わりにＯ値が仮に使用される。ビクセルの仮の値が０であるならば、該 ビクセルの値に対する評価は、その周囲の与えられた領域にわたって該ビクセル を包囲するビクセルの重み付は平均値に基づいて演算される。もし、重み付は平 均が所定の＠値より大きければ、現画像の対応ビクセル値はさしかえられ、それ 以外の場合には該ビクセルに対して０の仮の値が使用される。このような優れた 移動物体手段の利′点は、前景ビクセルのビクセル値が背景ビクセルのビクセル 値に近接している時に生じる偽差演算（これによって穴だらけで後段の処理に不 適な前景画像となる）、及び歪やノイズを最小限に抑制できるということである 。

その特別な構成にかかわらず、移動物体手段３０４は、物体認識手段１１４によ り使用される移動（前景）物体を表すそれらのビクセルを示す出力を供給する。

更に、移動物体情報は、記憶保持されるためにブロック３００へ戻され、又は直 接あるいは望まれる場合にはプロ、り３００内で更に記憶された後にマルチ解像 度ビラミノドプロセ、す１１２へ伝送される。

画像形態及び変形手段は、標準形態変形アルゴリズムを用いて画像データを回転 させる。この回転：よ、可調整作用ポイントのいずれかの側において−又は複数 の軸に対する所定の小角を介して該軸を中心として行われる（即ち、画像は作用 点に関して前後に移動される）、物体認識手段１１４のブロック４０２は、変形 手段３０２へ制御入力をフィードバックし、この制御入力に従って各軸に対する 作用点の値が調整される。そのフレームメモリ内に記憶される前又は後にカラー テレビカメラ２００ａからブロック３００により受信された画像データは、ブロ ック３０２に供給されてその形態が変形される。変形された画像データは、ブロ ック３００へ戻されてそのフレームメモリ内に起憶される。更に、ブロック３０ ２は、物体認識手段１１４のテンプレート形態変形手段４０１に接続される。

好ましくは画像形態変形手段３０２及び移動物体手段３０４による変換を受けた 後にブロック３００内に記憶された画像データは、ブロック３００のフレームメ モリから読み出されてマルチ解像度ピラミッドプロセッサ１１２への人力として 供給される。

図４には、物体認識手段１１４及び記憶データ１１８の図示例が示されている。

図４に示すように、色情報（例：Ｉ及びＱ）が前プロセッサ１１０からフレッシ ュトーン検出器４０６への第１人力として供給され、Ｘ及びＹピクセル座標は、 前プロセッサ１１０からフレッシュトーン検出器４０６への第２人力として供給 される。フレッシュトーン検出器４０６は、色がフレッシュトーンの画像色差（ クロミナンス）がもし存在するならば、その部分のＸ及びＹビクセル座標を出力 として派生する、好適に：よ、フＬノノンｓ　Ｉ□−ン検出器４０６はＱの値に 対するＩの値を定め、また適用色を特定するＩ及びＱの各値が直角内に才〕さま 乙場舎にのみ、フレッ／ヱトーン出力を派生させる。

この直角内では、Ｉの値は比較的小さい所定の正の値と比較的大きな所定の正の 値との間に存在する。また、Ｑの値は、比較的小さい所定の絶対値以下の値であ る。検出器４０６から出力されたフレノンコトーンＸ、Ｙビクセル座標は、いず れも、確犯決定−ｆ、ｕ４０４及びゲート４０Ｂ−１の５３人力のうちの−とＬ こ供給される。

前ブ「Ｊセフづ１１０から供給され移動画像データのＸ及びＹ−°クセル座Ｆｔ を定める移動物体情報は、確率決定手段４０４及びゲート４０８双力への第２信 号入力として直接供給される。

全体的に−Ｆ記画像形１３変形手段３０２と類似したテンブレ−１形管変形手段 ４０１は、記憶データ１１８のセクション１１８ａから３人力くそれぞれ１１、 Ｃ及びＲと付された）の内の−又は複数の組合せを同時に受信可能である。加え て、前ブロモｙ　＋　Ｉ　Ｉ　Ｏの変形３０２から制御ベカが変形１段４０１へ 供給され、土た相関−を段４０２からの相関値出力からも′ＩＡ御入力が変形丁 一段４０１＼供給される。変形手段４０１からの出力は、記憶デー々１１８から 大きさ調整手段４００を介して３人力の内の第１）、力とｌ−ご相関１段４０２ へ供給される。記憶データ１１８かろの第２及び第；３入力は、記憶データ１１ ８のセクノヨ゛、・１１８ｂ及び１１８ｃから相関手段４０２へ直接供給・）ね る６Ｊ＋こ、７−゛々ナセル標：よ、大きさ調整ｆ−ｔｃ↓００へ（７）制御役 ＋１．−どで供給さね、Ｘ々Σびｒ′ビ・ブセル座標：よ相［ａｌ下Ｇ　４　（ ］　２への人力として供給される。相関手段４０２は、マルチ解像度ピラミッド プロセフ・す１１２の出力からの付加入力を受信する相関手段４０２の基本機能 は、マルチ解像度ピラミッドプロセッサ１】２かちの画像データと記憶データ１ １８のセクション１１８ａからのテンプレート画像データとを、高品別特性を以 って相関させることである。相関されたパターン形状が指向されるという事実に よって、相関の精度が増大する。更に、静止物体のピクセル位置の記憶データ１ １８のセクション１１８ｂからの有用性により、相関手段４０２がピラミッドプ ロセッサ１１２から供給される画像データにおけるそうｊ〜た静止物体の存在を 考慮する必要がなくなる。また、相関手段４０２は、画像情報を利用することも できる。この画像情報は、必ずしもマルチ解像度ピラミッドプロセッサ１１２が ら供給される現在の入力中に存在しているのではなく、記憶データ１１８のセフ −・タン１１８ｃ中に記憶された本発明の物体認識システムの初期作用中から得 られる。相関手段のより詳細な作用に関しては後述する。いずれにしても、相関 手段は、その時点における現在の演算された相関値を表す第１出力を派生する１ 、この第１出力は、確率決定手段４０４への３人力の内の第３人力として供給さ れ、また上述のように各変形手段３０２及び４０１ヘフイード・へ゛ツクされる 。また、相関手段４０２は、第２出力をゲート４０８への３信号入力のうちの第 ３人力として供給３−る。相関手段４０２からのこの第２人力は、画像領域のＸ 及びＹピクセル座標から成る。これらの座標は、その後相関手段４０２へ供給さ れる大きさ調整された現在のテンプレートに対応する。

この相関手段４０　；：　ｉ；ｊ　マルチ解像度ピラミ、ドブロセ７・す１１２ からの画像データが相関さｎる際の基準バ々−゛、・形状とＬで機能する。

確率決定手段４０．４は、記憶−″″ログラム１１６ら現在供給されている決定 基準に従って′＠御される。これらの決定基準に従い、手段１０４は、各相関値 、−アシ・ノ５・１トーン、及び自身・−の移動人力に対と、て重み付けを行な う。３人力の重み付は値から７膚算された確率が記憶プログラム１１６からの現 在の決定基ｆにより定められた所定闇値以下である限り、確率決定手段４０４か ら一使用可能」出力が派生することはない、′−かし、もし演算された確率がこ の閾値を越えた（ただ１−尚現在の決定基準により定められるａ閾値よりは低い ）ならば、確率決定手段４０４は、「使用可能１４出力を派依する。確率決定手 段４０４は、前記高閾値を越える演算された確率に応答して、「使用可能２１・ 出力を派生する。

′使用可能１」出力：才、ゲート４０８への制御人力として供給される。この制 御入力に応答してゲート４０８は、現在の相関Ｘ、Ｙビクセル座標、現在のフレ 、シュトーンＸ、Ｙビクセル座標、及び現在の移動ビクセルＸ、Ｙ座標をそれぞ れ記憶データ１１８のセクション１１８ｃへの＄１、第２及び第３人力として供 給し、そこへ記憶させる。また、相関χ及びＹビクセル座標は、ウィンドウ制御 手段４１０（好適にはアンダーソン特許の開示内容に従って作用する）への入力 として供給され、ウィンドウ制御手段４１０からの出力はピラミッドプロセッサ １１２への＄ＩＩ御入力としてフィードバックされる。更に、確率決定手段４０ ４からの各使用可能１及び使用可能２出力の所定闇値と畠閃値との間の範囲内： こｈける確率が１段４０４により演算きれると、該確率決定手段４０４は制〕信 号を記憶プログニム１１ε・・、フィードパ・りし、こｎによって記憶ブログニ １人１１６が７・ステ六作用の新たなサイクルを開始すべきことが表示さｈ乙。

使用可能２出力の発生は、撮像されたノーン中の対象物、例え、２ジーｉ　ン２ ０４　ａ　ｌ＝＝ル２０４　ｂｒ；トカ、記憶デー！７１１８のセクノ−３：１ １８　ａ十に初期記憶された−・又は複数の特定テンプレート中二二描かれた物 体であるとして認識される。使用可能２出力は、Ｙ−ト４１２への制御入力とし て供給される。

これに応答して、ゲート４１２は、記憶データ１１８から信号を出力使用手段１ ２０へ供給する。この信号（図式データ及び／又は英数字データを含む）は、認 識された物体とその画像中の位置（部ち、確認されたビクセル座標）とを照合す る。出力利用手段１２０は、成る所定の機能を実行するための供給された照合信 号に応答する手段を含む。図示例における出力使用手段１２０は、その内部に含 む情報を受信時間と共に中央位置へ記録又は伝送し、及び／又は特定の認識され た物体の表示画像に直隣接した位置で表示モニタ１２２上に表示される照合キャ ブシコンを発生する。

図示上の都合から、本実施例の作用説明においては、シコン２０４ａ、ビル２０ ４ｂ及びメアリー２０４０をそれぞれ描いたテンプレートを含む記憶データ１１ ８のセクション１１８ａ中に初期記憶されたマルチ視野マルチ解像度テンプレー トが派生され、その後以下に記す方法でセタン３ン１１８ａ中に組織化されたデ ータベースとして記憶される。

３名の各個人に対する画像の一組は、記憶データ１１８のセクション１】８ａ中 に記憶されたテンプレートを派生させるために使用されるトレーニング相で撮像 される。各セットは、各正面（即ち全顔面）、左横顔及び右横顔のサブセットを 含む。

各サブセットは、当該個人の本質的な種々の特徴的表情を含むことができる。し かし、トレーニング相の間は、い（つかの可変パラメータは固定された状態にお かれる。これらの固定内容としては、均一光照射、カメラからの距離の固定、及 び予め与えられた正面、左横顔及び右横顔の各位置から頭部を回転または傾斜さ せないこと、などが含まれる。各トレーニング相画像は、ラプラス又はバンドパ スピラミッドに変形される。このピラミッドは、２５６Ｘ２５６のビクセル解像 度をもつレベル１から、わずか１６Ｘ１６の解像度であるレベル５によって構成 される。そして、頭部及び顔面の輪郭をとり囲む１６Ｘ１６のレベル５画像の８ ×８セクションは、記憶データ１１８のセクション１１８ａの初期記憶データベ ース中に含まれるべき画像として保存される。次に、３個の８×８セクシヨンは 、３２×３２のレベル４のピラミッド画像から取り出される。これらは、頭頂部 、顔面中央部、及びあご領域をカバーする。これらもまた、初期記憶データベー ス中に包含されることとなる。最後に、６４Ｘ６４のレベル３ピラミッド画像の ５個の８×８セクン３ンが初期記憶データベース中に含まれる。これらの後者の ピラミッド画像は、両目、鼻、及び口の左右端の各領域をカバーする。このよう にして、全９個の図像が、各人（即ち、ジョン、ビル及びメアリー）に対する環 ２５６×２５６ビクセル解像度のサブセット画像の各々に対するトレーニングセ ットを構成することとなる。

また、データベース中の各図像に付随して、各図像が取り出された特定レベルの ピラミッド画像中における水平及び垂直オフセット位置を定めるデータが格納さ れる。

上記の初期記憶図像テンプレートに加え、記憶データ１１８のセクション１１８ ａは、包括的人間の形状を特定するテンプレートをも含む。このような包括的テ ンプレートは、ピラミッド画像のレベル５またはそれ以上の画像でなければなら ず、−又は複数の位置における標準化された人間の頂部における頭部の普遍的形 状を示すにとどまる。

上記システムの第２予備作用（既述）は、部屋２０１内における静止（背り物体 （例：エンドテーブル２０６ａ、ソファ−２０６ｂ及び振動ファン２０８）の位 置を記憶データ１１８のセクション１１８ｂ内に記憶することである。

フレッシュトーンは、各人から成る撮像物体及び他種の撮像物体を識別するため の周知の包括的特徴である。本システムにより使用されるフレッシュトーン検出 器４０６による−の対象特徴としてのフレッシュトーンの検出は、全ての各人の この包括的特徴に関するものである。

人間の他の包括的特徴は、動くということである。もちろん、常に動き続ける必 要はない。更に、対象物体が全て人間というわけではない。しかし、移動物体手 段３０４からの移動物体出力は、システムによって、各人の包括的特徴に関する 他の目的特徴として使用される。

人間の更に他の識別性をもつ包括的特徴は、人体のパターン形状である。記憶デ ータ１１８のセクション１１８ａ内に初期記憶された上述の包括的テンプレート は、この人間の包括的特性に関する目的特徴である。

ブロック３００のフレーム及び距離メモリは、カメラ２００ａ及び距離測定手段 ２００ｂの連続フレームの各々に対するアドレシングに従って読み出されると、 これと同時にシステムはこれら３個の目的特徴のいずれかが存在するか否か調査 する。

移動（前景）物体の目的特徴又はフレッンユトーンの目的特徴の各読み出しフレ ームのＸ及びＹ座標の決定は、正面で行われる。しかし、読み出しフレームの照 合ビクセルが人体パターン形状に厘するものとして取り扱うことは一層複雑性を 増す。まず、人間の２次元画像パターン形状は、カメラ２００ａに対する３次元 の人間の姿勢により変化するということ。次に、この２次元画像パターンの大き さは、カメラ２００ａから人間までの距離とその時に存在する視野１０２の大き さくこれらは、カメラ２００ａにズーム機能が付いている場合には調整可能）の 双□方に依存して変化するということである。本実施例においては、視野１０２ は固定されているものとする。しかし、上述の大きさ調整手段４００は、供給さ れる距離測定されたＺビクセル座標に従って画像データ中のあらゆる大きさの相 違を補償することができる。このことは、記憶データ１１８のセクション１１８ ａ内に初期記憶されるべきテンプレート数が大幅に減少のいずれが高い相関値を 与えられるがが決定される。この後、高い方の相関値を示すテンプレートのみが 考慮されることとなる。

相関値を決定するには、数個のフレームを読み出すことが行われる。フレーム毎 に、画像オリエンテーション変形手段３０２が、初期ゼロ作用ポイントに関して 前後に画像を移動させる。相関手段４０２は、指定されたパターン形状を相関す るので、２個の変動位置の−に対する派生相関値は通常他方の相関値よりもはる かに高くなる。これに応答して、変形手段３０２の作用点は、高相関値により示 される方向へゼロから増分オフセットする。この処理は、特定オフセットポイン トのずれの各相関値がほぼ互いに等しくなるまで続けられる。このようにして、 包括的人間形状画像パターンの傾斜が補償されることとなるあるいは、当該技術 分野において周知の他の技術、例えば単純相関、標準化相関、平均平方エラー及 び絶対エラー等も、与えられたパターンと記憶パターンとの間の適合性を決定す るために使用することができる。

上述のように、マルチ解像度ピラミッドプロセッサ１１２及び適用相関手段４０ ２からの初期入力は、包括的人間を認識する場合には低解像度となる（即ち、ピ ラミッドプロセンサの高レベル）。初期においては、フレームの全領域が考慮さ れる。

しかし、上記アンダーソン特許に教示されている中心化技術に従って、ウィンド ウ制御手段４１０は、与えられた相関値を達成する相関手段４０２の出力に応答 して、ピラミッドプロセッサ１１２からの出力を次段の低（解像度は高くなる） ビラミフドプロセ・升りべ′しふ、二切り替Ａると共に、ビラミノドブロセ。

井１１２から出力、された画像フレーヘムの領域を、上記の達成された相関値を 示す相関パターン形状の近隣の局部ウィンドウ領域のみに固定する。

相間手段４０２は、記憶データ１１８の各セ々ンｊン１１８ｂ及び１１８ｃから の各入力を用いてその作用を変更する。こｈ（こより、静＋Ｌ、　（背景）物体 位置の・ぐ９−ン形状相関に及ぼす影響が無視さｔｌ、また相間手段４０２０こ より派生された相関値の重、；、　（」けが、供給さねた既に得られた記憶認識 増大情報に従、３ご増友する。

・ステムの作用初期をセ、定す？）と、図２にＦける。′コニ及びヒールは、部 屋２０１内の図示された位置にいる。ジョンはカメ−！からａｈた付置で静止し て立っており、一方ビルはカメラに向かって静ｔＬと、で座った状セＳ二ある。

更に１，２−ｌンの場合には、’；−Ｊ＞のフルチ解（象度−ラミ７・ドブロ七 ）升１１２からの低解像文画像、と立姿の包括的人間テンプレートとの間の相違 は確＋渣定ｒ４段４０□４からの１使用可能１．・出力を発生するに一ト分であ り（確率決定手段４０４への）［ツノ；トーン及び移動物体情報は、′−Ｊご・ にｔｌ（２て：よ無視可能であるが）、またこの相関値；よウィンド＜ｌ　ｆｉ 制御手段４１０によってマルチ解像度ビラミノドプロセ、・′ｌ＋１１２を次の 段階のｐ己）ドピラミノドブロセフサレベルに切り替えさせる二、−十分である と仮定する６−′ルの場合には、−・し　−□トーンノ＼力に対しで、確率決定 手段４０４により決定される確犯は、−使用可能１」出力を発生するの０こ十分 であると仮定す？）（確率決定り段４０４への相関値ルーぐ移動物体べ力；よビ ールの場合〇、二：よ無視可能であるが）。ビルの場合に低相関値となる理由は 、彼がソファ−に座、また状態にあるから、マルチ解像度ビ５　ミツドプロセッ サ１１２からのヒ゛ルの画像とソファ−（力ｌうからの距離はビ゛ルと同し）の 画像とが組み合わきねた低解像度が組み合わされたパターン形状となり、このパ ターン形状：ま産資の包括的人間のパターン形状とは著ｊ〜く相違するからであ る。（また、このパターン形状；ま、相関手段４０２へ供給さｎた静止物体情報 の記憶位置においては、この低解像度で：：効甲的に修正できない）６手段４０ ４か島の゛使用可能１４出力がケ゛−ト４０８を開き、記憶データ１１８のセク 、／ヨン１１８らにおける記憶増大認識データ：こ従って、２２３ン及び−二゛ ルの各位置のぜクセル座標を送出する。従って、システム作用の次サイクルにお いては、これらの各位置に２．いて、相関値は−Ｉ’４大さく重みイ」けされる こととなる。更に、ジョンの場合には、ジョンの位置近傍の局在ウィンドウ内の みユこおける高解像度歯骨が、立姿の包括的人間形状パターンに対して相関され ることとなる。これにより、ジョン位置の決定の高解像度（従ってより高精度） の決定に対して高相関値が得られることとなる。更に、システム作用の第１４ノ イクルと第２づイクルとの間において、ジ９ンはその位置を変化させることがで き、これによって、（１）移動物体情報が確率決定手段−１の人力として現在存 在することとなり２　（２）フレノノユトーンが撮像されている状態になる。こ れによって１．′１ンの画像が少なくとも包括的人間の画像となることをシステ ムが結論として仮定する屯まで、確率が増大する。これに１、ｔ、答して、確率 決定手段４０４は信号を記憶プログラム１１６・＼戻す。この信号により、記憶 プログラム１１６は、その後のツ１゛クル中ＨＨにいて、７・ステムの作用７− ケンスを、この包括的人間・マター二形状（この時：よ−２３ンの画像）により 示される特定人を決定子るためＳ、二必要な方法でｔｉ！Ｉ御する。

ヒ′ルの場合り゛は、２ステム作用の第２サイクルによって、′二゛／Ｌ、　（ ７１１撮（象された頭部近傍におけるＸ及びＹビクセルが高相関値となＪつ或： よ相関されることとなる。これは、システム作用の第１す１′クル中に２惇ぞ一 タ１１８のセフシコン１１８Ｃ中に〕し・ノ１、／ニドー・、・Ｘ及び）′ピク セル座標が記憶されていること！−よる。２・ス】−ム作用の第２サイクル中に 得られた相関値は、マルチ解像度ブロセ・す１１２からの出力を次段の低（高解 像度）ピラミ、ドブロセ、すし・ベルへウィンドウ制御手段４１０によっＣ切り 替えさせるに十分な程度に高いものとし、これがシステム作用の第３サイクル中 に使用される。更に、この高解像度においては、相関される画像パターン形状上 のソファ−２０６ｂの影響は、記憶データ１１８のセフシロン１１８ｂから相関 １段４０２に供給される静止物体情報により確実に除去できる。従って、システ ム作用の第３サイクルにより得られた相関値は、フレッシュトーン情報と共に、 包括的人間の画像と同様にビルの画像を認識し得る上針に高い確率を発生する。

７使用可能１」出力が手段４０４から派生するシステム作用の連続した各づイク ル中、新たな増大情報が記憶データ１１８のセフシコン１１８Ｃ中に記憶される ために送出され、これ力くシステム作用の第４サイクル中に使用される。更に、 任意のサイクル中に包括的人間が画像の確定された位置に存在することを示す確 率の達成に応答して、手段４０４は信号を記憶ブロク゛ラム１１６へ戻す。これ により、システムは、作用の次サイクル中に各人のうちの誰をそのような包括的 人間によって表すかの決定を開始することとなる。

各人の−の照合決定に際し、当該個人に対する全顔面（Ｃ）、左横顔（Ｌ）及び 右横！　（Ｒ）の上記初期記憶テンプレートが、記憶データ１１８のセクション １１８ａから変形手段４０１への各入力として供給される。変形手段４０１は、 上記変形手段３０２の場合と同様に作用する。すなわち、その３人力へ供給され た（Ｃ）、（Ｌ　）及び（Ｒ）のテンプレートデータの変形混合を現在の作用点 の左右で前後に移動させる。そして、その３人力の変形混合の最大相関値が生成 される方向に、各連続フ、レーム間で作用点を常時変化さゼる。この変化作用は 、作用へか、左側移動と右側移動とがほぼ等しい相関値を発生する場所に到達す るまで続けられる。加えて、変形手段３０２の作用点を示す変形手段３０２から の信号は、変形手段４０１への入力として供給される。これにより、変形手段３ ０２により補償される画像の傾斜量に従って、変形手段４０１の変形混合が高精 細度で同調される。これら全ての情報により、変形手段４０１は合成テンプレー ト　（例：３／４左顔面テンブレー日出力を派生することができる。この出力は 、大きさ調整手段４００への入力として送出される。大きさ調整手段４００は、 当該個人の頭部の２次元画像を大幅に補償する。これは、３次元空間内におｌ− する該個人の頭部の姿態の現在の変化によって行われる。

撮像された包括的人間の位置が認識された後、相関手段４０２は、上述した初期 記憶されマルチ視野及びマルチ解像度をもちデータベースを構成する図像テンプ レートを用い、その特定の包括認識された人間によってどの個人（ジョン、ビル 又はメアリー）が表わされるか具体的に認識する。この具体的認識処理の初期に おいて、セクション１１８ｃ内に既に記憶されている増大データは、その包括的 に認識された人間の位置を含む１６×１６の画像ビクセルウィンドウを供給する 。

次に記す具体的認識処理作用は、図示上の都合から、相関手段４０２自体が、こ の特定個人に対する総合順次派生相関値増分に使用される一時記憶手段を含むよ う構成されている（具体的認識処理において記憶データ１１８のセクション１１ ８ｃをこの目的のために使用することは可能であるが）。具体的には、ピラミッ ドプロセッサ１１２からの１６×１６画像ウィンドウ、レベル５は、各人毎にデ ータベース中の初期記憶レベル５図像と比較される。そして、その結果得られた 標準化相関値（−１，０〜＋１．０の間で可変）は、各人毎に別個に一時記憶さ れる。各人に対する同様の比較処理がデータベース中の３個のレベル４図像の各 々に対するレベル４解像度で、次いでデータベース中の５個のレベル３図像の各 々に対するレベル３解像度で、それぞれ行われる。

上述のように、データベース中に記憶された各図像に付随して、該図像の特定レ ベルピラミッド画像中における水平及び垂直オフセット位置を定めるデータが格 納されている。従って、各人に対するデータベース中の各３個のレベル４解像度 図像及び各５個のレベル３解像度図像が既知でありかつこれらはセクション１１ ８ａ中の記憶情報の一部となる。これらレベル４及びレベル３解像度比較の各々 及びその各オフセットは、各人に対するレベル４及びレベル３解像度比較の各々 における１５×１５のセル画像ウィンドウの位置を定める際に考慮される。これ は、図像が存在しそうにない領域を不必要に調査することを防止することによっ て、システム速度を向上させる役割を果たす。

高解像度において図像の数が増大する理由は、高解像度図像はより大きな可変性 を有しており、これによりトレーニング相の間における刻々の撮像された人間の 表情の微妙な変化の影響を一層受けやすいからである。図像数が多いことは、高 鋲度特徴における小変化のために特定トレーニングセットがディスカウントされ る可能性が減少することを意味する。いずれにしても、各人に対する３個のレベ ル４図像の内の−が最大標準化相関値を示し、この−の図像が記憶されているレ ベル５標準化相関値に付加された標準化相関値を有することとなる。同様に、５ 個のレベル３図像の最大標準化相関値は、レベル５標準化相関値と最大レベル４ 標準化相関値との和に付加される。このようにして、各人に対し、標準化相関値 の総和が存在し、この総和は−３，０−＋３．０の範囲内で変化する。これがど のような値であっても、確率決定手段４０４へ供給される。そして、もしその値 が第２閾値と少なくとも等しいならば、確率決定手段４０４は、ゲート４１２を 開く　「使用可能２」出力を派生する。これに応答して、ゲート４１２は３人（ すなわちジョン、ビル又はメアリー）の内の特定認識されたーの照合及びビクセ ル位置を出力使用手段１２０へ送出する。もし最高相関値が閾値より小さいなら ば、包括的認識された人間は該３名の内の誰でもないということになる。

以上の説明は、３名の内の誰も予め具体的に認識されなかったことを示唆してい る。もし３名の内の第３番目の人間が特定認識されたならば、システムは確率決 定手段４０４へ供給された移動物体（前景）情報を全面利用して当該特定認識個 人の位置及び記憶データ１１８　（連続的に更新されている）のセクション１１ ８ｃ内に格納されている当該特定認識個人の位置（すなわち、確認されたビクセ ル座標）を連続的に追跡するよう作用する。したがって、もしメアリーが予め特 定認識されておりその後ドア通路２０３から部屋２０１を出た（図２中の矢印２ ０５により示されるように）と仮定するならば、メアリーの画像が突ｆ８消え去 ったことは、システム作用の追跡モードで認識されることとなる。

更に、もし各人の内の−がシステムによって既に特定ｔ？［されているならば、 このことは他の包括的に認識された撮像された人間を具体的に認識するための当 該人間のデータベース図像をシステムが考慮することには全く役に立たない。従 って、上記特定認識処理は、現在の画像における全ての特定認識された人間の予 め記憶された図像を考慮対象から排除することによって、第２の人間に対しては スピードアップすることができる。

端的に言えば、本発明に係る物体認識のための動的画像処理技術は、先に詳述し た図示例のみにその使用を限定されることはない（すなわち、（１）部屋内にお ける包括的人間の存在、及び（２）包括的認識された人間が既知の人間群の中の 特定−個人であるかどうか、の認識のみには限定されない。本発明を適用するこ とによって極めて大きな利点が得られる他の例としては、監視テレビカメラ、ロ ボットシステム及び目標追跡システム等の複合自動制御システムが挙げられる。

或いはまた、製造に使用される機械視野において、自動組み立て又は分類される 種々の所定部品の各々を個別に認識するためなどにも、本発明は極めて適してい る。

図１に戻って、上述２外の本発明の他の特徴を示す。これらの特徴は、本発明の 図示例及び本発明作用の他の例のいずれにおいても使用可能である。例えば、物 体認識手段１１４により派生された情報は、撮像手段１００の視野の方向性及び ／又はズーミングの制御のために使用することができる。更に、出力使用手段１ ２０は、物体認識手段１１４から供給された物体認識情報を記録するための記録 機器を装備して後日の使用に供することもできる。また、このような情報を、物 体認識情報が収集された位置から離隔した位置へ出力利用手段１２０によってテ レメータすることも可能である。

図１に広範に示した本発明の実施例は、その鼓動率実施態様と考えることができ る。まず、開示された実施例においては、新規画像情報はリアルタイムで継続的 に収集され、物体認識処理が発生する。次に、マルチ解像度ピラミッドプロセッ サは制御可能可動ウィンドウを組み込み、このウィンドウが考慮必要性が最小と 考えられる画像データを効率よく減少させる作用を果たす。

画像データを、リアルタイムで得られるに従って処理する方法の他、物体認識の ために画像データのこのブロック内において画像データを動的処理する前に、多 数の連続フレームから成る画像データの全ブロックを記録することも可能である 。更にまた、データ減縮はマルチ解像度ピラミッドプロセッサによって実行され る必要はない。理由は、物体認識のために使用できる他のデータ圧縮技術が本技 術分野に存在するからである。

図１において、現実の３次元物体を撮像する撮像手段は、画像デ〜りを得るため に使用されている。しかし、このような画像データを他の手段で得ることも可能 である。−例として、コンピュータで生成したり、あるいはアニメ漫画技術にて 得ることなどが可能である。

以−ｈ詳述した本発明に係る物体認識システムの作用例は、確率決定１段４０４ により使用される目的特徴として、（１）色（ずなわち、フレ・ンユトーン）、 （２）パターン形状及びく３）前景物体の移動、を用いる。これら色、パターン 形状又は移動物体情報の他、他の目的特徴も物体認識のための識別要素として使 用することができる。

Ｆｉｇ、　３ 手続補正書 平成　４年　５月２５日

Claims (1)

1. 【特許請求の範囲】 １．連続した比較的高解像度の画像データフレームの時系列的に図式表示された 所定クラスの物体を認識するための動的画像処理方法であって、該画像処理方法 は、（Ａ）前記画像処理の制御及び一組の決定規準の特定を行なう記憶プログラ ム、及び（Ｂ）記憶データに応答し； ここで、前記所定クラスの各物体は、全て一群の周知の包括的特徴をもち、これ ら特徴は全体として、前記所定クラスに属する物体をそれ以外の物体から識別し ；前記記憶データは、まず前記一群の包括的特徴に関する限定された数の個別の 特徴を定め、初期記憶された各特徴のいずれもがもし前記所定クラスの物体がそ のシーケンス中に図式表示されているならば、一又は複数の画像データの連続フ レームのシーケンス中に存在し；そして、 前記動的画像処理方法は、以下の各ステップを含むことを特徴とする： ａ）前記記憶プログラムによる制御下で且つ前記記憶データにより初期に定めら れる前記個別特徴のうちの第１の一に少なくとも応答し、前記決定規準に従って 第１決定を行なうステップであり、核決定規準は、前記時系列上の一又は複数の より比較的初期に発生したフレームが、前記画像データの部分として、前記所定 クラスの物体の各個別特徴の内の第１の一を少なくとも含むか否かの第１確率に 関するステップ；ｂ）第１所定閾値と少なくとも等しい前記第１確率に応答し、 前記シーケンスの比較的初期発生フレーム内における前記部分の少なくとも相対 位置を定めるデータを前記記憶データに付加し、これによって前記記憶データを 増大させるステップ；ｃ）前記記憶プログラムによる制御の下で且つ前記増大記 憶データに応答して、第２確率に関する決定規準に従って第２決定を行なうステ ップであり、この第２確率は、前記時系列上の比較的後期に発生する一又は複数 のフレームが、前記部分が前記個別特徴のうちの第１特徴に加えて少なくとも第 ２の特徴を含むことを証明する確率であるステップ；ｄ）第２所定閾値よりも大 きい前記第２確率に応答して、前記部分を前記所定クラスの図式表示として認識 するステップ；ｅ）前記第２の所定閾値よりも大幅に小さい第３の閾値より更に 小さい前記第２確率に応答して、前記部分が前記所定クラスの物体の図式表示で はないことを認識するステップ；ｆ）前記第２確率と第３確率との間の範囲内に 存在する前記第２確率に応答して、上記ステップｃ）における証明によって定め られたデータを更に前記記憶データヘ付加し、これによって前記記憶データを更 に増大させるステップ；及びｇ）前記第２確率が前記範囲内にある時に、前記時 系列上の比較的後期に発生する一又は複数のフレームのシーケンスに対し、前記 繰り返しステツプｄ）により定められる確率が、前記第２の所定閾値を越えるか 、又は前記第３の所定閾値よりも小さくなるまで、上記ステップＣ）及びｆ）を 帰納的に繰り返すステップ。 ２．請求項１に記載の方法であって、更に、ステップａ）に先立ち、前記連続し た比較的高解像度の画像データフレームを、前記高解像度フレームの解像度より も低い解像度を示す少なくとも一のレベルから成るマルチ解像度ピラミッドに解 析するステツプ； を含み、ステップａ）における第１確率は、前記時系列上の一又は複数の比較的 初期に発生するフレームのシーケンスのマルチ解像度ピラミッドの低解像度レベ ルが、前記画像データの一部として、前記所定クラスの物体の個別特徴の第１特 徴を少なくとも含み；及び ステップｃ）において、第２確率は、前記時系列上における−又は複数の比較的 後期に発生するシーケンスのマルチ解像度ピラミッドの任意のレベルが、前記部 分が前記個別特徴のうちの第１特徴の他に、少なくとも第２特徴を含むことを証 明する確率であることを特徴とする動的画像処理方法。 ３．請求項２に記載の方法において、前記所定クラスの物体の図式表示は、可動 ３次元物体の２次元表示を含み、前記可動物体のフレーム内における２次元表示 の位置、大きさ及び／又は形状は、フレーム毎に異なることを特徴とする動的画 像処理方法。 ４．請求項３に記載の方法において、前記連続フレームの時系列は、カメラを通 して視認された現３次元物体の２次元表現から成り、前記視認された物体の内の 少なくとも一は可動であることを特徴とする動的画像処理方法。 ５．請求項４に記載の方法において、前記所定クラスの物体は人間であり、前記 既知の特徴には、人間の顔の特徴を含むことを特徴とする動的画像処理方法。 ６．請求項４に記載の方法において、更に以下の各ステップを含むことを特徴と する動的画像処理方法：ｈ）前記可動物体を視認するテレビカメラと前記可動物 体との間の距離を連続的に測定して該距離の現在の必定データを得るステツプ； ｉ）前記現測定データ及び前記増大記憶データをステップｃ）の作用に用いて前 記第２決定を行なうステップ。 ７．請求項２に記載の方法において、 前記所定クラスの物体は複数の前選択された部材から成り、該各部材は前記既知 の包括的特徴の少なくとも一のサブグループの唯一の既知種を有することによっ て個々に特定され；そして 前記サブグループの各包括的特徴の各種に対し、前記記憶データは、前記連続フ レームの特定ピラミッドレベルにおける当該一の包括的特徴の種の図式表示に関 する個別の種特徴を含み前記方法は、更に以下の各ステップを含むことを特徴と するｈ）前記記憶プログラムによる制御の下で且つ前記部分が前記所定クラスの 物体の図式表示として認識されることに応答して、特定のピラミッドレベルにお ける前記サブグループの前記包括的特徴のうちの第１の一の各異なる種に関連し た各個別記憶種特徴と、所定の閾値確率よりも大きい最大確率をもつ前記部分に 対応するのは前記比較された種のどれであるかを決定する前記部分と比較するス テップ；及び ｉ）特定のピラミッドレベルにおいて前記サブグループの前記包括的特徴の所定 の一の各異なる種に関連する各個別の記憶種−特徴に対してステップｈ）を繰り 返し、これによって前記部分及び前選択された個人により図示表示された既知の 種の唯一の組を決定し、該個人は唯一の組で定められることもあるステップ。 ８．請求項７に記載の方法において、前記所定クラスの物体の図式表示は、可動 ３次元物体の２次元表示を含み、これによって前記可動物体のフレーム中におけ る２次元表示はフレーム毎に異なることを特徴とする動的画像処理方法。 ９．請求項８に記載の方法において、前記連続フレームの時系列は、テレビカメ ラにより視認された現３次元物体のテレビフレームを含み、前記視認された現３ 次元物体のうちの少なくとも一が可動であることを特徴とする動的画像処理方法 。 １０．請求項９に記載の方法において、前記物体の所定クラスは人間から成り、 前記既知特徴のグループは人間顔面の特徴を含み、前記所定クラスの前選択され た各個人は、前選択された人間であることを特徴とする動的画像処理方法。 １１．連続した比較的高解像度の画像データフレームの時系列上に図式表示され た所定クラスの物体を動的に認識するための画像処理システムであって、前記所 定クラスの各物体は全て、既知の包括的特徴の第１群をもち、これらの特徴は、 全体として前記所定クラスの物体をそれ以外の物体から識別する作用を果たし； また前記所定クラスの各周知部材は、既知の具体的特徴の第２群をもち、この第 ２群の特徴は、全体として前記所定クラスの既知のメンバーを他のメンバーから 識別する作用を果たし；そして、前記システムは、以下の各要素を含むことを特 徴とする： 前記画像処理作用を制御するために記憶プログラムを格納すると共に、一組の決 定規準を特定する第１手段；一組の初期データを含むデータを記憶する第２手段 、ここで、前記初期データは、包括的特徴の少なくとも前記第１群に関する限ら れた数の個別特徴を定め、初期記憶された各特徴のいずれかは、前記所定クラス の対象物が当該シーケンス中に図式表示された場合に、一又は複数の連続画像フ レームシーケンス中に存在し得るようになっており： 前記第１手段及び第２手段に接続された第３手段、ここで、該第３手段は、（１ ）前記決定規準に従って、前記時系列上の比較的初期に発生する一又は複数のフ レームが、前記画像データの一部として前記所定クラスの対象物の前記個別特徴 のうちの少なくとも第１特徴を含むという第１確率に関して第１決定を行い；（ ２）第１の所定閾値と少なくとも等しい前記第１確率に応答して、前記シーケン スの比較的初期に発生するフレーム内における前記部分の少なくとも相対位置を 定める付加データを前記第２手段内に記憶し、これにより該第２手段内に記憶さ れたデータを増大させ；（３）前記時系列上の比較的後期に発生する一又は複数 のフレームが、前記部分が前記各個別特徴のうちの第１特徴に加えて少なくとも 第２特徴を含むという第２確率に関する決定を、前記決定規準に従って行ない； （４）第２の所定閾値を越えた前記第２確率に応答して、前記部分を前記所定ク ラスの対象物の図式表示であると認識し；（５）前記第２の所定閾値よりも大幅 に小さい第３の所定閾値より更に小さい前記第２確率に応答して、前記部分を前 記所定クラスの対象物の図式表示ではないと認識し；（６）前記第２確率と第３ 確率との間の範囲内に存在する前記第２確率に応答し、前記第２手段内に前記第 ２決定により定められた付加データを記憶して前記第２手段内の記憶データを増 大させ；そして（７）もし前記第２確率か前記範囲内に存在するならば、最終付 加決定により定められる確率が前記第２の所定閾値を越えて増大するか又は前記 第３の所定閾値より小さく減少するまで、前記時系列上の比較的より後期に発生 する一又は複数のフレームに対する付加決定をくり返し行なうようになっている こと。 １２．請求項１１に記載のシステムにおいて、更に、前記連続した比較的高解像 度の画像データフレームの各々を、前記高解像度フレームのレベルよりも低い解 像度を示す少なくとも一レベルから成るマルチ解像度ピラミッドに解析する手段 ；を含み、そして、 前記第１、第２及び解析手段に接続された第３手段は、（１）前記決定規準に従 い、前記時系列上における比較的初期に発生した一又は複数のフレームシーケン スのマルチ解像度ピラミッドの各低解像度レベルのいずれかが、その画像データ の一部として前記所定クラスの対象物の各個別特徴のうちの少なくとも第１特徴 を含むという第１確率に関する第１決定を行ない；（２）第１の所定閾値と少な くとも等しい前記第１確率に応答して、前記シーケンスの比較的初期に発生する フレーム内における前記部分の少なくとも相対位置を定める付加データを前記第 ２手段内に記憶し、（３）前記決定規準に従い、前記時系列上における比較的後 期に発生する一又は複数のフレームシーケンスのマルチ解像度ピラミッドのうち のいずれかが前記部分が前記各個別特徴のうちの前記第１特徴に加えて少なくと も第２特徴を含むことを証明するという第２確率に関する第２決定を行ない、（ ４）前記第２の閾値より大きい前記第２確率に応答して、前記部分を前記所定ク ラスの対象物の図式表示であると認識し、（５）前記第２の所定閾値よりも大幅 に小さい第３の所定閾値より更に小さい前記第２確率に応答して、前記部分が所 定クラスの対象物の図式表示ではないと認識し、（６）前記第２確率と第３破牢 との間の範囲内に存在する前記第２確率に応答して、前記第２決定により定めら れた付加データを前記第２手段内に記憶し、該第２手段内における記憶データを 増大させ；そして（７）前記第２確率が前記範囲内にある時に、最終付加決定に より定められる確率が前記第２の所定閾値を越えて増大するか又は前記第３の所 定閾値以下に減少するまで、前記時間軸上における比較的より後期に発生したフ レームシーケンスに対して付加決定をくり返し行なうようになっていることを特 徴とする画像処理システム。 １３．請求項１１に記載のシステムにおいて、前記所定クラスの対象物の図式表 示は、可動対象物の２次元表示を含み、該２次元表示の前記可動対象物のフレー ム内における位置はフレーム毎に変化し、前記フレームは更に、 前記連続した画像データフレームに応答して、移動対象物の図式表示を定める各 ピクセルのフレーム内位置を派生する移動対象物手段、を含み、 前記第３手段は、前記確率決定を行う際の付加特徴として前記移動物体の各ピク セル位置を使用するために前記移動対象物手段に接続され、前記範囲内において 決定される確率に応答して、これらのピクセル位置を付加データとして前記第２ 手段内に記憶させることを特徴とする画像処理システム。 １４．請求項１１に記載のシステムにおいて、前記所定クラスの物体の図式表示 は、所定の色相特性を持つ対象物の２次元表示を含み；前記システムが、前記画 像データの前記連続フレームに応答して、前記所定の色相特性をもつ対象物の図 式表示を定める各ピクセルのフレーム内位置を派生させる色検出手段、を更に含 み； 前記第３手段は、前記所定の色相特性をもつ各対象物の各ピクセル位置を、前記 確率決定を行う際の付加特徴として使用するために前記色検出手段に接続され、 前記範囲内で決定される確率に応答して、これらのピクセル位置を前記第２手段 内に付加データとして記憶させるようになっていることを特徴とする画像処理シ ステム。 １５．請求項１１に記載のシステムにおいて、前記第２手段内に記憶された初期 データにより定められた各特徴には、前記所定クラスの対象物の２次元図式表示 に伴う所定のパターン形状が含まれ、前記第３手段は、前記各所定のパターン形 状に対して、連続した各画像データフレームを構成するピクセルにより定められ るパターン形状を所定の解像度で相関させ、またこれにより得られた相関値を用 いて前記確率決定を行なうマッチング手段と、 前記範囲内で定められた確率に応答して、前記第２手段内に相関ピクセル位置を 記憶する手段と、を含むことを特徴とする画像処理システム。 １６．請求項１５に記載のシステムにおいて、前記連続フレームの時系列は、カ メラ及び距離測定手段を含む撮像手段により視認された現３次元対象物の２次元 対象物から成り、前記視認された現３次元対象物のうちの少なくとも１つは可動 であり、現３次元可動物体の２次元表示の大きさは、前記現３次元可動対象物の カメラ．からの距離に応じて変化し、各フレームに対する前記画像データは、該 フレームの各２次元ピクセル位置に対応する距離データを含み、前記第３手段は 、更に、前記距離データに応答して、前記距離データに応じて前記相関手段によ り相関された前記所定のパターン形状の大きさを増減し、これによって初期記憶 されるべき各所定のパターン形状の増減された大きさの数を量小限に抑制する大 きさ調整手段と、を含むことを特徴とする画像処理システム。 １７．請求項１５に記載のシステムにおいて、前記連続フレームの時系列は、カ メラを含む撮像手段により視認された現３次元対象物の２次元表示から成り、前 記視認された現３次元対象物のうちの少なくとも１つは可動であり、現３次元可 動対象物の２次元表示のパターン形状は、カメラに対する現３次元可動対象物の 方向性に応じて変化し、前記第３手段は更に、前記マッチング手段により派生し た相関値に応答して、２個のパターン形状のうちの少なくとも一の方向性を連続 的に変化させ、次いで相関値が最大となるまで両パターン形状を互いに相関させ る方向性変形手段を含むことを特徴とする画像処理システム。 １８．請求項１７に記載のシステムにおいて、前記初期記憶されたパターン形状 は、複数の記憶パターン形状を含み、該各パターン形状は、その異なる所定の姿 勢における所定クラスの同一３次元対象物の２次元表示に対応し、前記姿勢変形 手段は、前記複数の記憶パターン形状の各異なる姿勢の可変混合である姿勢をも つ前記複数のパターン形状から演算されたパターン形状を派生させる混合手段を 含み、該混合手段は、前記画像データから派生したパターン形状に対して前記演 算されたパターン形状を相関させることによって派生した相関値に応答して、そ の後相関される２個のパターン形状の相関値が最大となるまで、前記複数の記憶 されたパターン形状の混合を連続的に変化させることを特徴とする画像処理シス テム。 １９．請求項１５に記載のシステムにおいて、前記連続フレームの時系列は、カ メラを含む撮像手段により視認されたシーンの現在の３次元静止及び可動対象物 の２次元表示から成り、前記シーンにおける所定クラスの全対象物が可動であり 、前記第２手段は、カメラにより視認された前記シーン中の各静止対象物の２次 元表示のパターン形状の各ピクセル位置を記憶し、前記マッチング手段は、各静 止対象物の２次元表示のパターン形状の記憶された各ピクセル位置に応答して、 画像データの各フレーム中に存在する静止対象物パターン形状が前記各所定のパ ターン形状に対して相関することを排除することを特徴とする画像処理システム 。