JPS6184785A - イメージ認識システムとその動作法 - Google Patents

イメージ認識システムとその動作法

Info

Publication number
JPS6184785A
JPS6184785A JP60209028A JP20902885A JPS6184785A JP S6184785 A JPS6184785 A JP S6184785A JP 60209028 A JP60209028 A JP 60209028A JP 20902885 A JP20902885 A JP 20902885A JP S6184785 A JPS6184785 A JP S6184785A
Authority
JP
Japan
Prior art keywords
image
area
matching
memory
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP60209028A
Other languages
English (en)
Other versions
JPH0661107B2 (ja
Inventor
アラン　ナラヤン　ネトラヴアリ
ジヤクブ　セジエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc filed Critical American Telephone and Telegraph Co Inc
Publication of JPS6184785A publication Critical patent/JPS6184785A/ja
Publication of JPH0661107B2 publication Critical patent/JPH0661107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は対象認識システム、より詳細にはイメージを基
準パターンに対してスクリーニングし、そのイメージと
最も一致する基準パターンを選択するための装置及び方
法に関する。
対象あるいはパターン認識は産業界にますます広い用途
を持つようになった。対象の分類あるいは認識のために
使用される２つの主要な方法としてテンプレート突合せ
法と特色による認識法とがある。テンプレート突合せ法
における目、漂は変換、例えば、移行などによって観察
されたイメージに最も当てはまるテンプレートサブイメ
ージを発見することにある。実際には、１つのアプロー
チとして、対象のビュー（あるいは他のイメージ記述子
）のデンスセットを格納し、任意の感知されたイメージ
とこのビューのデンスセットの１つの構成要素とがパ十
分に類似する″か検出する方法が採用される。このアプ
ローチは多くの実際のアプリケーションにおいて少なく
とも２つの問題を持つ。第１の問題はセットのビューの
基本数が格納及び効率的な検索が困難になるほど大きく
なることである。第２の問題は、テンプレート突合せ（
全イメージの特定の突合せ）法はテンプレートライブラ
リが大きくなると専用ハードウェアを使用しないかぎり
非常に長時間を消費することである。
−万、特色による認識法は、特に単純な特色が使用され
る場合には認識の精度に欠けるという問題を持つ。精度
は多数のセットの高度な特色を含むことによって向上で
きるが、これは繁雑さを増すことになる。従って、迅速
で精度の高い対象認識システムの実現が要求される。
本発明による方法においては、最初にイメージから単純
な特色が抽出され、次にこれら−７−ｆ色（で基づいて
メモリ内に格納された基準イメージのサブセットが検索
され・格納された最も類似するイメージがそれに匹敵す
るものとして選択される。
より具体的には、ビデオイメージ（あるいは任意の二次
元データ）が２個あるいはそれ以上の区域に区分化され
、個々の区域の特色あるいは属性が計算され、そして属
性メモリ内に格納された基準パターンの属性に対してス
クリーニングされる。基準パターンが同定されメモリか
ら検索されビデオイメージの個々の区域に最も類似する
基準パターンが強度突合せ法を使用して同定される。つ
まり、本発明による方法によると、最初に大雑把な検索
を行なうために特色あるいは属性突合せ法を使用して一
群の基準イメージが選択され、次に綿密な突合せを行な
うために強度あるいはテンプレート突合せ法を使用して
この一群から最も類似する基準イメージが選択される。
このアプローチによるとテンプレート突合せ法による長
時間を要する非効率な検索に頼ることなく認識の精度を
高く保つことができる。
ざらに、ここに開示のイメージ認識システムな内ｄＫ基
づく検索システムとして使用することもできる。本発明
の詳細な説明は以下の一夕１］としての実施態様の図面
を参照しての説明からより明白となる。
第１図は不発明の慎能ブロック図あるいはアーキテクチ
ャ−を示す。通常、今日の対象認識システムはトレーニ
ングモードと認識モードを含む。トレーニングモードの
最初の所で、ビデオディスク１０１は認識モードにおい
て同定されるべき対象のイメージを含む。
各々のディスクフレームは対象（型板）の１つのヒユー
’ｔｔ＆ｉｎする。各々のフレーム、あるい（はそのデ
ィスクアドレスと関連して、対象の同定、位置、オリエ
ンテーション、ビュー角１変及びカメラとの関係におけ
る距離に１列する追加の情報が含まれる。この情報はフ
レーム内に符号化されるか、あるいは独立したメモリ内
に格納される。１つの対象が異なるオリエンテーション
及び距離を表わす多数のヒユーにて俗情される。オリエ
ンテーション及び距離の範囲並びにこれらの分解能はア
プリケーション袈件に依存する（例えば、認識されるべ
き任意のパートが常に特定のオリエンテーション±２０
度にて与えられるときけ、この範囲の角変の格納のみが
必要である）。
１つの対象の全てのビューは選択プロセスを簡単にする
ためにディスクの連続フレーム内に格納される。
認識モードにおいて、入力装置（例えば、カメラ）から
受信されるイメージはフレームバッファ１０２内に格納
され、次に対象、あるいは区域を表わすイメージの部分
が区域イソレータ１０３によって抽出され、特色分析器
１０４に送くられる。特色分析５１０４は個々の区域に
対するセットのグローバル的特色及びローカル的特色を
計算し、これら特色に基づいて関連する属性メモリ１０
６からその特色がその区域の特色と最も一致する幾つか
の基準パターンを選択する。−この区域が次にアイコニ
ック突合せ器１０５にて二次元相関、あるいはテンプレ
ート突合せを使用して選択された基準パターンと比較さ
れ、各々の基準パターンとの一致の程度が計算される。
このアーキテクチャ−は対象認識に対する２つの主菱な
アプローチ、つまシ、特色による認識法及びテンプレー
ト突合せ法の２つを併用する。つまシ、本発明による方
法は特色に基づく認識法を使用してそのイメージと大ま
かに類似する全ての基準パターンを迅速に選択した後に
、これより速度の遅いテンプレート突合せ法を使用して
選択された基準イメージのどれがそのイメージに最も一
致するか厳密に選択する。
４２図は本発明による対象認識システムの１つのハード
ウェア構成を示す。これはビデオディスク１０１及びデ
ィスクコントローラ裏ｒ７’１２０１、カメラ２０３、
イメージのアナログデジタルＡ／Ｄｆｉ換器を持つフレ
ームバッファ１０２、あるいはデジタイザ２０２、薫性
メモリ１０６を含むプログラムメモリ２０５とともにシ
ステムコントローラとして便用されるモトローラＭ　Ｃ
６８０００プロセツサ２０４、及び高速イメージプロセ
ッサ２０６を含む。イメージデジタイザ、フレームバッ
ファ及びイメージプロセッサはデジタル化されたイメー
ジを送信するための高速バス２０γによって接続される
が、これらはマルチパス２０８によってシステムコント
ローラ２０４と接続される。ここに開示の実施態様はビ
デオディスクを使用するが、この他のタイプの大容量メ
モリを使用することもできる。システムの対象認識時間
は夏用されるディスクあるいは他のメモリのアクセス時
間に大きく依存する。
フレームバッファ２０３は５２１Ｘ５１２の１フレーム
あるいは２５６Ｘ２５６の４フレーム８ビツトビクセル
（画素）ヲ洛納し、またこれは内蔵パン及びスクロール
オペレーション（水平及び垂直）を持つ。
第９図のアルゴリズムを実現するイメージプロセッサ２
０６は１つの高速ＡＬＵ（Ｓ算嫡理装置）、５つの加算
器、３つのマルチプレクサ、２つのイメージを格納する
ための１つの静的メモリを含むが、これら全てはプログ
ラマブルシーケンサによって制御される。
区分化、突合せ及びグローバル的特色の計算はイメージ
プロセッサ２０４内で遂行され、一方、特色の分析、初
期テンプレートの選択及びシステム制御はプロセッサ２
０６内において遂行される。従って、イメージプロセッ
サは第１図に示される区域イソレータ１０３及びアイコ
ニック突合せ器１０４の機能を遂行し、一方、プロセッ
サ２０４は第１図に示される特色分析器１０４の機能を
遂行する。
以下の説明において、参照される項目の最初の数字はそ
の参照される項目が示される図面の番号を表わす（例え
ば、８０１は第８図に発見される）。
まず最初に、第１図、第３図及び第６図を参照して、ト
レーニングモードの説明を行なう。トレーニングモード
は、通常、新たなディスクを使用しようとするときにこ
のモードに入れられる。ディスクはシステムによって認
識されるべき異なるオリエンテーション及び距離を表わ
す複数のビューあるいはパターンを含む。
ステップ３０１において、ディスクの基準フレームがフ
レームバッファ１０２に読込まれる。ステップ３０２に
おいて、区域イソレータ１０３が起動され、フレームか
らテンプレート（その対象を含むフレームの部分）が抽
出される。トレーニングモードにおいては、ディスクの
個々のイメージ基準フレーム上には１つのテンプレート
あるいはパターンのみが存在することに注意する。区域
イソレータ１０３の詳細な動作に関しては第５図と関連
して説明される。区域イソレータ１０３はこのテンプレ
ートから抽出された情報を特色分析器３０３に送くる。
特色分析器はさらにステップ３０３において、このフレ
ームのデイスフアドレスを受信する。
特色分析器１０４はテンプレートあるいはパターンに対
するグローバル的及びローカル的特色るるいは男性を計
−録し、第８図の８０１によって示されるごとくこれら
をそのテンプレートを含むディスクフレームのアドレス
とともに残件メモリ１０６内のリストに格納する。特色
分析器１０４の詳細な動作は第６図に示される。ステッ
プ３０４において、ディスク１０１上に他のイメージ基
準フレームが存在するときは、これらもまたステップ３
０１．３０２及び３０３によって示されるように処理さ
れる。最後のイメージ基準フレームの処理が完了すると
、゛分類子構築（ｂｕｉｌｄ　ｃｌａ−ｓｓｉｆｉｅｒ
　）　　”命令が特色分析器１０４に送くられ、ステッ
プ３０６において動作が完了する。時色分析器１０４は
これに応答して第６１Ｚ　Ｋζ示されるごとく属性デー
タを使用して分項ツリーを構築し、これによって認識モ
ードにおいて類１以のパターンを含むフレームへの高速
論理アクセス全行なうことを可能にする。
この外項ツリーは属性データと関連するアドレス情報を
含むが、このアドレス情報は属性データを使用してディ
スク上のフレーム上に置かれる突会せイメージの位置を
決定するのに使用される。
次に第１図、第２図、第４図及び第６図を参照しながら
このシステムの認識モードについて説明する。認識モー
ドのステップ４０１において、カメラあるいは類似の装
置からのイメージがフレームバッファ１０２に読込まれ
る。ステップ４０２において、区域インレータが起動さ
れイメージが複数の区域に区分化されるが、各々の区域
は特色分析器１０４によって分析されるべき１つの主要
な対象を持つ。ステップ４０３において、特色分析器１
０４及びアイコニック突合せ器１０５が起動される。ス
テップ１０４において、認識された対象のリストが″空
″にセットされるが、このリストの構成要素は認識され
た対象に対応する。これは突甘せテンプレートを含むフ
レームのディスクアドレス、及びイメージ内の一双が見
られるところのカメラからの位置を指定するＸ、Ｙオフ
セットを含む。ステップ４０５において、コントローラ
、によって特色分析器から読出されるべきデータがある
か否かがチェックされる。読出されるべきデータが存在
するときは、これは、ステップ４０６にち・いて、４熾
されたテンプレートの所のディスクアドレス及びＸＸ　
Ｙｆフセットを含む１つの部分子４出す。ステップ４０
７において、リストＳ内に最後に読出された値と同一の
ディスクアドレス及びＸ、Ｙオフセットを持つ構成恍素
刀：存在しないかチェックされる。
存在する揚台は、その最後の値は使用されず、制御がス
テップ４０５に戻され、特色分析器から読出ざｎるべき
他のデータが存在するか否かチェックされる。ｓＭに読
出されるべき間の部成安素が存在しないとぎは、ステッ
プ４０８において、ディスクアドレス及びＸ１Ｙオフセ
ツトの最後の読値を含む新たな構成要素が生成され、リ
ストＳＫ加えられ、そして制御がステップ４０５に戻さ
れ特色分析器からの他のデータが存在するかチェックさ
れる。
ステップ４０５のテストにおいて、特色分析器からの他
のデータが存在しないことが示されると、ステップ４０
９において、リストＳが空であるか否かのチェックが行
なわれるが、これが空であることは、特色分析器がデー
タを全く送っていないことを意味する。ここで、Ｓが空
でないときは、ステップ４１１においてメツセージ°′
イメージ認識されず″が出力される。ステップ４１０に
おいて、リストＳの構成要素の各々に対してＸ、Ｙオフ
セット及びディスクアドレスと関連する対象の同定、あ
るいは名前、対象のその位置からの距離、オリエンテー
ション、ビュー角ｔＡｔ、ディスクアドレスを含む情報
を含むメツセージが生成されるが、この画報の具体的な
構造はアプリケーションによって異なる。プロセスはス
テップ４１２において停止する。第４図のシステムコン
トローラによって生成される全てのメツセージはユーザ
装置あるいはこのシステムとプロセッサを共有するソフ
トウェアのユーザ部分に送〈られる。
次に第５図を参照しながら区域イソレータ１０３の動作
を説明する。区域イソレータプロセスは第３図のステッ
プ３０２においてトレーニングプログラムによって、あ
るいは第４図のステップ４０２において認識プログラム
によって呼出される。区域イソレータ１０３はステップ
５０１においてカメラ２０３によって見うれるイメージ
をフレームバッファ１０２を介して分析し、ステップ５
０２においてこのイメージを区分化する。区域イソレー
タはアプリケーション上の要件に従って最小町知差異法
、イメージいき値法あるいはエッジフオロイング法を含
む各種の方法の１つｒｉ更用して区分化を行なう。これ
ら周知の技術はり、　Ｈ，バラード（Ｄ、　Ｈ，Ｂａ１
ｌａｒｄ　）　　及びＣ，Ｍ、ブラウン（Ｃ，Ｍ、　Ｂ
ｒｏｗｎ　）　　による著書「コンピュータビジョン（
Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ）Ｊカリフォルニア州
エンジェルウッド（Ｅｎｇｌｅ−ｗｏｏｄ　）　　所在
、プレンティスホール（Ｐｒｅｎｔ−１ｃｅ　Ｈａｌｌ
　）　　社、１９８２年出版１において説明されている
。
基本的には、最小可知差異法においては、フレームバッ
ファ内のイメージが前に格納された背景イメージから減
じられる。この場合、絶対差異がいき値を越える全ての
接続する区域が減じられる。
イメージいき値法においては、イメージ強度がいき値よ
シ大きな（あるいは小さな）接続する領域が区域として
抽出される。この場合、いき値は強度ピストグラムから
計算、あるいはローカル強度に基づいて適応的に更＃”
ｔすることによってプリセットされる。
以下のステップは本発明によって使用されるエツジフオ
ロイングアルゴリズムを説明する。
■、　ローカルエツジオペレータによって最初の十分に
強いエツジ値が発見されるまでイメージを走置する。
２、　現在のエツジピクセルに隣接するところを炭素す
ることによって、現在及び前のピクセルからの予測に最
も近い勾配、位置及び強度を待つ次のエツジピクセルを
探す。
３、　この新たなピクセルを現在ピクセルとし、ステッ
プ２に戻どる。
この追跡手順はエツジピクセルがある領域を完全に包囲
したとき、あるいは累積エツジ守匣が任意の値以下に落
ちたときに終了する。
抽出された境界が完全Ｖこある領域を包囲するとその領
域が抽出され、完全に包囲されない場合は、その境界の
露頭さｎた部分を包囲する長方形・領域が抽出でれる。
ステップ５０４．５０５．５０６及び５０７において、
各々の区域に対して境界長方形及び境界ポイントのリス
トが計算される。ステップ５０６において、境界長方形
情報がフィコニック突合せ器１０５に送くられ、そして
境界ポイントのリストが特色分析器１０４に送くられる
。ステップ５０８において、システムコントローラ２０
４によって制＋ｌＪが第３図のステップ３０３あるいは
第４図のステップ４０３において区域イソレータ１０３
を呼出したプログラムに戻される。
次に第６図を参照しながら特色分析器１０４の動作を説
明する。前述したごとく、特色分析器は第３図のステッ
プ３０３においてトレーニングプログラムによって呼出
されるか、あるいは第４図のステップ４０３において認
識プログラムによって呼出される。
特色分析器はそれ自体が対象認識システムであり、高速
ではあるが高い精度は持たない。
これは本発明においては、稔識されるべき対象と大雑把
に類似するディスクフレームを迅速に同定することによ
って探索時間を減少するのに使用される。特色分析器は
分離された区域と一致しセうなディスクフレームｒビデ
オディスク上に格納されたイメージから計算された＋：
ｆ色と比較することによって選択する。
この特色とは、簡単に計算できるが、通常、その対象に
関する情報を完全に表わすことのない区域の特性である
。ステップ６０１において、特色分析器は分類子構築メ
ツセージ（第３図のステップ３０５）がトレーニングモ
ードのあいだに受信されたか否かをチェックする。受信
された場合は、ステップ６０２１こおいて１＠層分拳ツ
リーが構築されるが、これに嗜別して蝶、ＩＩＥ、Ｍ、
　　ラウンズ（Ｅ、　Ｍ、Ｒｏｕｎｄｓ　）、でよる論
文「特色の選択及び２進決定ツリー（Ｑ計のための結合
非パラメトリックアプローチ（Ａ　Ｃｏｍｂｉｎｅｄ　
Ｎｏｎｐａｒｍｅｔｒｉｃ　Ａｐｐｒｏａｃｈ　ｔ。
ＦｅａｔｕｒｅＳｅｌｅｃｔｉｏｎａｎｄＢｉｎａｒｙ
ＤｅｃｉｓｉｏｎＴｒｅｅ　Ｄｅｓｉｇｎ　）　Ｊ、Ｐ
ＲＩＰ会帳録、シカゴ、１９７９年８月、ページ３８−
４３及びり、Ｅ。
カスターフ゛ソン（Ｄ、　Ｅ、　Ｇｕｓｔａｆｓｏｎ　
）　　及びＳ。
ゲルバンド（Ｓ、Ｇｅ１ｆａｎｄ　）による論文［分類
のための非パラメトリックマルチクラス区分化方伝（Ａ
　Ｎｏｎｐａｒａｍｅｔｒｉｃ　Ｍｕｌｔｉｃｌａｓｓ
　Ｐａｒ−ｔｉｔｉｏｎｉｎｇ　Ｍｅｔｈｏｄ　ｆｏｒ
　Ｃ１ａｓｓｉｆｉｃａｔｉｏｎ　）、パターン認識に
関するｇ５回国際会議、マイヤミビーチ、１９８０年１
２月、ページ６５４−６５９において説明されている。
分類子ツリーの構築が終了すると、ステップ６０３にお
いて、制（財）がシステムコントローラに戻される。分
類子メツセージが受信されてない場合は、区域イソレー
タ１０３から境界ポイントが続出きれる。
区域イソレータにデータが存在しないときは、ステップ
６０５のテストは制御をステップ６０３に向けるが、ス
テップ６０３は制御をシステムコントローラに戻どす。
ステップ６０６において、グローバル的特色及びローカ
ル的特色が計算され″る。グローバル的特色は水平サイ
ズ、垂直サイズ、面積及び区域内の強度の分散を含む。
ローカル的特色は推定境界曲率の最大及び最低、これら
の値、オリエンテーション伎ひ位置？含む。ローカル曲
率は境界曲婦上に引かれた２つの弦の間に形成される角
度によって推定できる。各々のグローバル的特色及びロ
ーカル的特色はそのタイプ及びスカラーあるいけベクト
ル１直によって表わされる。
ステップ６０８においてシステムがトレーニンクプログ
ラムにある場合は、これら特色はステップ３０３におい
てシステムコントローラから受信されたフレームのディ
スクアドレスとともに特色分析器１０４の属性メモリ８
０１に格期される。この属性メモリ８０１はビデオディ
スク１０１上に格納される全てのテンプレートのリスト
を含む。谷々のテンプレートの記述はそのフレームアド
レス、及び特色のリストから成る。リスト上の特色はタ
イプ及び（ローカル的特色については）その頃に促って
並べられる。属性メモリからの＋ｉｔ　Ｒ；ｉ　、ステ
ップ３０５において全てのフレームが処理さｉた扱にシ
ステムコントローラが°゛分類子構築″メツセージを送
信したときに、ステップ６０２において階層分類ツリー
を構築するのに使用される。
認識モードにおいて、個々の区分化された区域について
個々の抽出された区域の特色のがメモリ８０１の全ての
テンプレートの特色と比較される。個々のテンプレート
について一致する特色の数が計算され、一致する特色を
最も多く持つｎ　ｆｉｌのテンプレートがさらに突合せ
を行なうために選択される。テンプレートの数が数千以
上であるときは、速度を向上するために前述した階層分
類法が期用される。選択されたテンプレートがステップ
６１０．６１１．６１２．６１４．６１５及び６１６に
おいて、１度に１１［ｉ！ｉｔっつその区域と比較され
る。
ステップ６１１において、その区域と個々の選択された
テンプレートの間のそれらを整合するのに必要なＸオフ
セット値及びｙオフセット直がローカル的特色のペアを
突合せることによって生成されたオフセット値の中間値
を取ることによって計算される。
ステップ６１１において、特色分析器によって選択きれ
たテンプレートのアドレスがティスフコントローラ２０
１に送くられるが、これによってこれらをビデオディス
クから模索し、アイコニック突合せ器１０５に送くられ
ることか可能になる。テンプレートは一致する特色の奴
の順に並べられる。同時に、個々の選択されたテンプレ
ートに対するＸ及びｙオフセット値が位置の整合を行な
うためにアイコニック突合せ仝に送くられる。
次に第７図及び＠９図を参照しながらアイコニック突合
せ器１０５の動作について説明する。アイコニック突合
せ器１０５はゆがめられたり変形されたりしていないイ
メージに対して正確な同定で与６える。従って、このシ
ステムはまたその特定のビューに対応するテンプレート
るるいはフレームがビデオディスク上に俗４ｆｌされて
いるかさ°り対象を同定する働きを持つ。
ステップ７０１において区分化された区域を定義する境
界長方形が区域イソレータ１０３（第５図のステップ５
０６から）読出される。
ステップ７０２において、特色分析器１０４（第６図の
ステップ６１１）からＸ及びｙオフセット値が得られる
。ステップ７０３に２いて、ビデオディスクから受信さ
れた個々のテンプレートがステップ１０２において特色
分析器から受信されたＸ及びｙオフセット値に従って整
合される。ステップ７０４において、Ｒ（ＩＪ）の値が
テンプレートの境界長方形を通じて計算される。アイコ
ニック突合せ器は分離された区分化された区域とビデオ
ディスク１０１から模索されたテンプレートの間の正規
化された相関を計算する。第９図のステップ９０１に２
つのイメージＩ（ｘ。
ｙ）及びＪ（ＸＸｙ）の間の正規化された相関を計算す
るための式が示される。Ｒ（ＩＪ）を計算するのに第９
図の等値の弐９０２を使用することによってハードウェ
アの実現を簡単にすることができる。
「硯化相関Ｒ（ＩＪ）はあるテンプレートがイメージの
区分化あるいは分離された区域と一致する程度を表わし
、その値が太きければ犬さい程良い一致を示す。値Ｒ（
ＩＪ）は−１から１の間で、これはイメージの強度の線
形変化（オフセット及び利得）によって影響ケ受けるこ
とはない。
ステップ７０５において、正規化相関Ｒが特色分析器に
戻される。ステップ７０６において、特色分析器から追
加のオフセット値が受信されるときはステップ７０２が
反復され、受信されないとさけアイコニック突合せ器の
＋ｔＭＭｅがステップ７０γにおいて完了する。
アイコニック突合せ器は特色分析器（第６図）と会話的
に動作する。より具体的にはステップ７０２−７０５は
特色分析器のステップ６１１と６１２の闇に美行される
。ステップ６１２において、狩色分析器はステップ７０
５においてアイコニック突合せ器から送信された相関値
Ｒ’ｉ読出す。ステップ６１４において、アイコニック
突合せ器から受信されたＲの値がいき値と比奴される。
そのＲが一定のいき１直を越える破初のテンプレートが
認識された対象として扱わｎそれ以上の突甘せは枚葉さ
れる。ステップ６１３において、フレームアドレス及び
位置情報が検索されシステム応答として出力されるため
にシステムコントローラに戻される。しかし、るるアプ
リケーションにおいては、ビデオディスクから選択され
たテンプレートの全の突合せ行ない最も強い相関を示す
テンプレートを認識された対象として選択する方が好都
合である。
ステップ６１３の後に、特色分析器はステップ６０４に
戻どり、存在する場合は、イメージの次の区域あるいは
区分を定義する次のセットの境界ポイントを読出す。
Ｒの値がいさｉ直を越えないときは、ステップ６１５．
６１６において、ｎ１Ｉｎの最も近い全てのテンプレー
トのチェックが済んでいないと＠ば、次のテンプレート
ｉ　＋　１が選択さｆＬる。ステップ６１６においてｎ
　１ｔ１６のテンプレートの全てがチェックされている
とさは、ステップ６０４において区域イソレータから仄
のセットの境界ポイントが続出きれ、このプロセスが反
復される。ステップ６０５において全てのセットの境界
ポイントが処理されていると判定されると、ステップ６
０３において制御１がシステムコントローラに戻される
。
上述のプロセスは区分化された区域と完全に一致するテ
ンプレートは発見するが、対象イメージの一部が欠けた
り（閉塞）、変形したりしているときは、一致を検出す
ることは不可能である。以下では、テンプレート（基漬
イメージ）と同一対象の部分的に閉塞あるいは〈形され
たイメージとの間の対応（一致）ｒ発見するために炉用
さｎる閉基イメージ突せせアルゴリズムについて説明す
る。
１　両方のイメージ１ｋｘｋ個のブロックに分ＷＩＪし
、ｎ／ｋ　　ｘ　　ｎ／に個の最初はゼロで繭された２
進アレイＳを形成する。ピクセル５（ｉｓ、＋）はその
左上ピクセルが（＋　　ｘ　　ｊｓ　Ｊ　　Ｘ　　ｋ）
であるブロックに対応する。
２、個々のブロック内の正規化された相関を計算し、こ
れがいき値を越えるときはアレイＳの対応するピクセル
内に°１　″を置く。
３、　　Ｓ内の”　１　”の値を持つピクセルの全ての
接続された領域を検出する。
４、個々の接続された領域に対して接続された領域のピ
クセルに対応するブロックによってガバーされるテンプ
レートの領域を通じて値 を計算する。
５　ｖがＳの任意の接ｆｉされた領域に対するいき埴を
越える場合はこれは部分的な一致金忽味する。・龍Ｖは
領域内の総合分散を示す。これは犬さな相関を与える犬
さな均一゛領域による疑似一致を避けるために調べられ
る。
上述のアルゴリズムは必要であれば突合せ器の拡張バー
ジョン内に実現することができる。
不発明による回路の特徴及び機能の一部あるいは全てを
他の周知の装置あるいは回路を２．１４４して実現する
ことも考えられる。従って、上記に開示された事項は単
に本発明を説明する一ｐ　、ｖ）のものであり、当業者
にとっては本発明の精神及び範囲から逸脱することなく
この曲の構成及び方法を実現できるものと理解されるべ
きである。
【図面の簡単な説明】
４１図（は不発明を使用する対象認識システムの惟相フ
ロック図； 來２図はこの対策認ｈ１とシステムのハードウェア溝５
’にと示すＩＡ； 第３図はシステムコントローラのトレーニングモードの
動作シーケンスを説明する流れ図； 第４図はシステムコントローラの認識モードの動作シー
ケンスを説明する流れ図；第５図は区域イソレータの動
作を説明する流れ図； 爾６図は特色分析器の動作を説明する流れ図； 第７図はアイコニック突合せ器の動作を説明する流れ図
； 第８図は本発明によって使用される属性メモリを示す図
、そして 第９図はアイコニック突合せ器によって）炉用される正
規化相関式を示す図である。 〔主要部分の符号の説明〕

Claims (1)

  1. 【特許請求の範囲】 １、イメージ認識システムを動作する方法において、該
    方法が ビデオイメージを該ビデオイメージの強 度の差異に基づいて２つあるいはそれ以上 の区域に区分化するステツプ； 区域の選択された特色の属性を属性メモ リ内に格納された基準特色と比較すること によつて該区域の各々の特性をスクリーニ ングし、そして該属性メモリから個々の区 域から計算されたセツトの特色とよく類似 する１つあるいは複数のセツトの基準特色 を同定するステツプ； 該スクリーニング及び同定ステツプから のアドレスを使用してイメージメモリから 個々の区域に対する１つあるいは複数の基 準イメージを検索するステツプ、及び 該区域の各々の強度を検索されたその区 域に対する基準イメージの各々の強度と整 合及び突合せすることによつてその区域と 最も一致する１つの基準イメージを決定す るステツプを含むことを特徴とする方法。 ２、特許請求の範囲第１項に記載の方法において、該シ
    ステムが該基準イメージと関連 する位置情報を含み、該システムがさらに 該基準イメージのアドレスを使用して該 位置情報を検索するステツプを含むことを 特徴とする方法。 ３、特許請求の範囲第１項に記載の方法において、 該区分化ステツプが該区域を同定するた めのエツジフオロイングアルゴリズムを含 むことを特徴とする方法。 ４、特許請求の範囲第１項に記載の方法において、 該区分化ステツプが該区域を同定するた めの最小可知アルゴリズムを含むことを特 徴とする方法。 ５、特許請求の範囲第１項に記載の方法において、 該区分化ステツプが該区域を同定するた めのイメージいき値アルゴリズムを含むこ とを特徴とする方法。 ６、特許請求の範囲第１項に記載の方法において、該属
    性が ローカル的特色あるいはグローバル的特 色の属性のリストからの１つあるいは複数 の属性であることを特徴とする方法。 ７、特許請求の範囲第１項に記載の方法において、該ス
    クリーニング及び同定ステツプ が セツトの基準特色を同定するための階層 分類法を使用することを特徴とする方法。 ８、特許請求の範囲第１項に記載の方法において、整合
    及び突合せステツプが 基準イメージと該区域との間の一致の程 度を決定するための二次元正規化相関を使 用することを特徴とする方法。 ９、特許請求の範囲第１項に記載の方法において、該整
    合及び突合せステツプが 基準イメージと該区域内の閉塞対象との 間の一致の程度を決定するための閉塞イメ ージ突合せアルゴリズムを使用することを 特徴とする方法。 １０、特許請求の範囲第１項に記載の方法において、 該イメージメモリが高速順次アクセスで あることを特徴とする方法。 １１、特許請求の範囲第１項に記載の方法において、 該イメージメモリが低速直接アクセスで あることを特徴とする方法。 １２、特許請求の範囲第１１項に記載の方法において、 該イメージメモリがビデオデイスクであ ることを特徴とする方法。 １３、イメージ認識システムにおいて、該システムが ビデオイメージを該ビデオイメージの強 度の差異に基づいて２つあるいはそれ以上 の区域に区分化するための装置； 区域の選択された特色の属性を属性メモ リ内に格納された基準特色と比較すること によつて該区域の各々の特性をスクリーニ ングし、そして該属性メモリから個々の区 域から計算されたセツトの特色とよく類似 する１つあるいは複数のセツトの基準特色 を同定するための装置； 該スクリーニング及び同定ステツプから のアドレスを使用してイメージメモリから 個々の区域に対する１つあるいは複数の基 準イメージを検索するための装置、及び 該区域の各々の強度を検索されたその区 域に対する基準イメージの各々の強度と整 合及び突合せすることによつてその区域と 最も一致する１つの基準イメージを決定す るための装置を含むことを特徴とする方法。
JP60209028A 1984-09-24 1985-09-24 イメージ認識システムとその動作法 Expired - Fee Related JPH0661107B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US653213 1984-09-24
US06/653,213 US4611347A (en) 1984-09-24 1984-09-24 Video recognition system

Publications (2)

Publication Number Publication Date
JPS6184785A true JPS6184785A (ja) 1986-04-30
JPH0661107B2 JPH0661107B2 (ja) 1994-08-10

Family

ID=24619951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP60209028A Expired - Fee Related JPH0661107B2 (ja) 1984-09-24 1985-09-24 イメージ認識システムとその動作法

Country Status (5)

Country Link
US (1) US4611347A (ja)
EP (1) EP0183347B1 (ja)
JP (1) JPH0661107B2 (ja)
CA (1) CA1235514A (ja)
DE (1) DE3581173D1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60254279A (ja) * 1984-05-31 1985-12-14 Fuji Electric Co Ltd ２値化しきい値の決定方法
JPS61183716A (ja) * 1985-02-08 1986-08-16 Hitachi Ltd 誘導装置
US4760604A (en) * 1985-02-15 1988-07-26 Nestor, Inc. Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier
US4773099A (en) * 1985-10-10 1988-09-20 The Palantir Corporation Pattern classification means for use in a pattern recognition system
US5077807A (en) * 1985-10-10 1991-12-31 Palantir Corp. Preprocessing means for use in a pattern classification system
US5060277A (en) * 1985-10-10 1991-10-22 Palantir Corporation Pattern classification means using feature vector regions preconstructed from reference data
US4809347A (en) * 1986-07-18 1989-02-28 Hughes Aircraft Company Computer vision architecture
JP2832008B2 (ja) * 1988-07-29 1998-12-02 キヤノン株式会社 画像処理システム
US5031228A (en) * 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
US5248873A (en) * 1991-06-10 1993-09-28 Synaptics, Incorporated Integrated device for recognition of moving objects
US5380428A (en) * 1992-04-22 1995-01-10 Product Research & Development Pump for reverse osmosis system
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
JP3549569B2 (ja) * 1993-04-27 2004-08-04 ソニー エレクトロニクス インコーポレイテッド 映像内の目標パターン探知方法
DE4322803C2 (de) * 1993-07-08 1998-09-10 Mohndruck Reinhard Mohn Ohg Verfahren zum Überwachen der Vollständigkeit individuell bedruckter Erzeugnisse in der Online-Fertigung
US5530483A (en) * 1994-10-11 1996-06-25 Pixel Instruments Corp. Delay detector apparatus and method for plural image sequences
TW367447B (en) * 1994-12-21 1999-08-21 Canon Kk Block selection review and editing system
DE19713521B4 (de) * 1997-04-02 2004-09-23 Festo Ag & Co Vorrichtung zur Erkennung falsch orientierter und/oder von einem vorgegebenen Muster abweichender Teile
JP3053607B2 (ja) * 1998-04-08 2000-06-19 三菱電機株式会社 データ照合方法およびその装置
US6134298A (en) * 1998-08-07 2000-10-17 Schick Technologies, Inc. Filmless dental radiography system using universal serial bus port
KR100311952B1 (ko) * 1999-01-11 2001-11-02 구자홍 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법
US6229541B1 (en) 1999-09-03 2001-05-08 Isurftv Use of templates for cost-effective secure linking of video stream objects
KR100447268B1 (ko) * 2001-12-18 2004-09-07 한국전자통신연구원 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출방법
US20040038169A1 (en) * 2002-08-22 2004-02-26 Stan Mandelkern Intra-oral camera coupled directly and independently to a computer
JP4218319B2 (ja) * 2002-11-19 2009-02-04 日本電気株式会社 映像閲覧システムおよび方法
CA2509644A1 (en) 2002-12-11 2004-06-24 Nielsen Media Research, Inc. Detecting a composition of an audience
US7203338B2 (en) * 2002-12-11 2007-04-10 Nielsen Media Research, Inc. Methods and apparatus to count people appearing in an image
US6908307B2 (en) 2003-02-03 2005-06-21 Schick Technologies Dental camera utilizing multiple lenses
US7245779B2 (en) * 2003-07-23 2007-07-17 Marvell International Technology Ltd. Image enhancement employing partial template matching
US8411963B2 (en) 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
US8049643B2 (en) 2009-02-04 2011-11-01 Pete Ness Vehicle tracking system for vehicle washing
US8260055B2 (en) 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
US8620088B2 (en) 2011-08-31 2013-12-31 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US10152627B2 (en) 2017-03-20 2018-12-11 Microsoft Technology Licensing, Llc Feature flow for video recognition
US20190236348A1 (en) * 2018-01-30 2019-08-01 Ncr Corporation Rapid landmark-based media recognition
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring
US12088882B2 (en) 2022-08-26 2024-09-10 The Nielsen Company (Us), Llc Systems, apparatus, and related methods to estimate audience exposure based on engagement level

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4980947A (ja) * 1972-12-11 1974-08-05

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2106843A5 (ja) * 1970-09-25 1972-05-05 Thomson Csf
US3930231A (en) * 1974-06-10 1975-12-30 Xicon Data Entry Corp Method and system for optical character recognition
US3947833A (en) * 1974-11-20 1976-03-30 The United States Of America As Represented By The Secretary Of The Navy Automatic target detection system
US4030068A (en) * 1976-01-12 1977-06-14 Decision Data Computer Corporation Optical character recognition system
US4385322A (en) * 1978-09-01 1983-05-24 View Engineering, Inc. Pattern recognition apparatus and method
US4410916A (en) * 1979-08-24 1983-10-18 Compression Labs, Inc. Dual mode facsimile coding system and method
US4288782A (en) * 1979-08-24 1981-09-08 Compression Labs, Inc. High speed character matcher and method
GB2112130B (en) * 1981-12-04 1985-04-03 British Robotic Syst Component identification systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4980947A (ja) * 1972-12-11 1974-08-05

Also Published As

Publication number Publication date
CA1235514A (en) 1988-04-19
EP0183347B1 (en) 1990-12-27
EP0183347A2 (en) 1986-06-04
JPH0661107B2 (ja) 1994-08-10
US4611347A (en) 1986-09-09
EP0183347A3 (en) 1987-10-28
DE3581173D1 (de) 1991-02-07

Similar Documents

Publication Publication Date Title
JPS6184785A (ja) イメージ認識システムとその動作法
KR100708067B1 (ko) 디지털 영상 검색 장치 및 그 방법
US8031947B2 (en) Method and system for rapid matching of video streams
US5644765A (en) Image retrieving method and apparatus that calculates characteristic amounts of data correlated with and identifying an image
US5987456A (en) Image retrieval by syntactic characterization of appearance
US6181817B1 (en) Method and system for comparing data objects using joint histograms
US7194134B2 (en) Hierarchical, probabilistic, localized, semantic image classifier
US6556710B2 (en) Image searching techniques
US7489804B2 (en) Apparatus and method for trajectory-based identification of digital data content
US6778697B1 (en) Color image processing method and apparatus thereof
US20070071323A1 (en) Apparatus and method for processing user-specified search image points
JP4545641B2 (ja) 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
US7006714B2 (en) Image retrieval device, image retrieval method and storage medium storing similar-image retrieval program
US10373014B2 (en) Object detection method and image search system
WO1999035596A1 (en) Fast image retrieval using multi-scale edge representation of images
JP2001202523A (ja) 画像処理方法及びその装置
JP2002288219A (ja) 情報検索システムおよび方法
US20010024517A1 (en) Method and device for seeking images based on the content taking into account the content of regions of interest
JPH11312248A (ja) 画像検索装置及び方法
WO2001008098A1 (en) Object extraction in images
GB2454213A (en) Analyzing a Plurality of Stored Images to Allow Searching
JP3311077B2 (ja) 画像検索装置
US6522779B2 (en) Representing an image with a posterized joint histogram
KR100229810B1 (ko) 영상 데이터베이스 검색방법
KR19990016894A (ko) 영상 데이터베이스 검색방법

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees