JPS6184785A - イメージ認識システムとその動作法 - Google Patents

イメージ認識システムとその動作法

Info

Publication number
JPS6184785A
JPS6184785A JP60209028A JP20902885A JPS6184785A JP S6184785 A JPS6184785 A JP S6184785A JP 60209028 A JP60209028 A JP 60209028A JP 20902885 A JP20902885 A JP 20902885A JP S6184785 A JPS6184785 A JP S6184785A
Authority
JP
Japan
Prior art keywords
image
area
matching
memory
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP60209028A
Other languages
English (en)
Other versions
JPH0661107B2 (ja
Inventor
アラン ナラヤン ネトラヴアリ
ジヤクブ セジエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc filed Critical American Telephone and Telegraph Co Inc
Publication of JPS6184785A publication Critical patent/JPS6184785A/ja
Publication of JPH0661107B2 publication Critical patent/JPH0661107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は対象認識システム、より詳細にはイメージを基
準パターンに対してスクリーニングし、そのイメージと
最も一致する基準パターンを選択するための装置及び方
法に関する。
対象あるいはパターン認識は産業界にますます広い用途
を持つようになった。対象の分類あるいは認識のために
使用される2つの主要な方法としてテンプレート突合せ
法と特色による認識法とがある。テンプレート突合せ法
における目、漂は変換、例えば、移行などによって観察
されたイメージに最も当てはまるテンプレートサブイメ
ージを発見することにある。実際には、1つのアプロー
チとして、対象のビュー(あるいは他のイメージ記述子
)のデンスセットを格納し、任意の感知されたイメージ
とこのビューのデンスセットの1つの構成要素とがパ十
分に類似する″か検出する方法が採用される。このアプ
ローチは多くの実際のアプリケーションにおいて少なく
とも2つの問題を持つ。第1の問題はセットのビューの
基本数が格納及び効率的な検索が困難になるほど大きく
なることである。第2の問題は、テンプレート突合せ(
全イメージの特定の突合せ)法はテンプレートライブラ
リが大きくなると専用ハードウェアを使用しないかぎり
非常に長時間を消費することである。
−万、特色による認識法は、特に単純な特色が使用され
る場合には認識の精度に欠けるという問題を持つ。精度
は多数のセットの高度な特色を含むことによって向上で
きるが、これは繁雑さを増すことになる。従って、迅速
で精度の高い対象認識システムの実現が要求される。
本発明による方法においては、最初にイメージから単純
な特色が抽出され、次にこれら−7−f色(で基づいて
メモリ内に格納された基準イメージのサブセットが検索
され・格納された最も類似するイメージがそれに匹敵す
るものとして選択される。
より具体的には、ビデオイメージ(あるいは任意の二次
元データ)が2個あるいはそれ以上の区域に区分化され
、個々の区域の特色あるいは属性が計算され、そして属
性メモリ内に格納された基準パターンの属性に対してス
クリーニングされる。基準パターンが同定されメモリか
ら検索されビデオイメージの個々の区域に最も類似する
基準パターンが強度突合せ法を使用して同定される。つ
まり、本発明による方法によると、最初に大雑把な検索
を行なうために特色あるいは属性突合せ法を使用して一
群の基準イメージが選択され、次に綿密な突合せを行な
うために強度あるいはテンプレート突合せ法を使用して
この一群から最も類似する基準イメージが選択される。
このアプローチによるとテンプレート突合せ法による長
時間を要する非効率な検索に頼ることなく認識の精度を
高く保つことができる。
ざらに、ここに開示のイメージ認識システムな内dK基
づく検索システムとして使用することもできる。本発明
の詳細な説明は以下の一夕1]としての実施態様の図面
を参照しての説明からより明白となる。
第1図は不発明の慎能ブロック図あるいはアーキテクチ
ャ−を示す。通常、今日の対象認識システムはトレーニ
ングモードと認識モードを含む。トレーニングモードの
最初の所で、ビデオディスク101は認識モードにおい
て同定されるべき対象のイメージを含む。
各々のディスクフレームは対象(型板)の1つのヒユー
’tt&inする。各々のフレーム、あるい(はそのデ
ィスクアドレスと関連して、対象の同定、位置、オリエ
ンテーション、ビュー角1変及びカメラとの関係におけ
る距離に1列する追加の情報が含まれる。この情報はフ
レーム内に符号化されるか、あるいは独立したメモリ内
に格納される。1つの対象が異なるオリエンテーション
及び距離を表わす多数のヒユーにて俗情される。オリエ
ンテーション及び距離の範囲並びにこれらの分解能はア
プリケーション袈件に依存する(例えば、認識されるべ
き任意のパートが常に特定のオリエンテーション±20
度にて与えられるときけ、この範囲の角変の格納のみが
必要である)。
1つの対象の全てのビューは選択プロセスを簡単にする
ためにディスクの連続フレーム内に格納される。
認識モードにおいて、入力装置(例えば、カメラ)から
受信されるイメージはフレームバッファ102内に格納
され、次に対象、あるいは区域を表わすイメージの部分
が区域イソレータ103によって抽出され、特色分析器
104に送くられる。特色分析5104は個々の区域に
対するセットのグローバル的特色及びローカル的特色を
計算し、これら特色に基づいて関連する属性メモリ10
6からその特色がその区域の特色と最も一致する幾つか
の基準パターンを選択する。−この区域が次にアイコニ
ック突合せ器105にて二次元相関、あるいはテンプレ
ート突合せを使用して選択された基準パターンと比較さ
れ、各々の基準パターンとの一致の程度が計算される。
このアーキテクチャ−は対象認識に対する2つの主菱な
アプローチ、つまシ、特色による認識法及びテンプレー
ト突合せ法の2つを併用する。つまシ、本発明による方
法は特色に基づく認識法を使用してそのイメージと大ま
かに類似する全ての基準パターンを迅速に選択した後に
、これより速度の遅いテンプレート突合せ法を使用して
選択された基準イメージのどれがそのイメージに最も一
致するか厳密に選択する。
42図は本発明による対象認識システムの1つのハード
ウェア構成を示す。これはビデオディスク101及びデ
ィスクコントローラ裏r7’1201、カメラ203、
イメージのアナログデジタルA/Dfi換器を持つフレ
ームバッファ102、あるいはデジタイザ202、薫性
メモリ106を含むプログラムメモリ205とともにシ
ステムコントローラとして便用されるモトローラM C
68000プロセツサ204、及び高速イメージプロセ
ッサ206を含む。イメージデジタイザ、フレームバッ
ファ及びイメージプロセッサはデジタル化されたイメー
ジを送信するための高速バス20γによって接続される
が、これらはマルチパス208によってシステムコント
ローラ204と接続される。ここに開示の実施態様はビ
デオディスクを使用するが、この他のタイプの大容量メ
モリを使用することもできる。システムの対象認識時間
は夏用されるディスクあるいは他のメモリのアクセス時
間に大きく依存する。
フレームバッファ203は521X512の1フレーム
あるいは256X256の4フレーム8ビツトビクセル
(画素)ヲ洛納し、またこれは内蔵パン及びスクロール
オペレーション(水平及び垂直)を持つ。
第9図のアルゴリズムを実現するイメージプロセッサ2
06は1つの高速ALU(S算嫡理装置)、5つの加算
器、3つのマルチプレクサ、2つのイメージを格納する
ための1つの静的メモリを含むが、これら全てはプログ
ラマブルシーケンサによって制御される。
区分化、突合せ及びグローバル的特色の計算はイメージ
プロセッサ204内で遂行され、一方、特色の分析、初
期テンプレートの選択及びシステム制御はプロセッサ2
06内において遂行される。従って、イメージプロセッ
サは第1図に示される区域イソレータ103及びアイコ
ニック突合せ器104の機能を遂行し、一方、プロセッ
サ204は第1図に示される特色分析器104の機能を
遂行する。
以下の説明において、参照される項目の最初の数字はそ
の参照される項目が示される図面の番号を表わす(例え
ば、801は第8図に発見される)。
まず最初に、第1図、第3図及び第6図を参照して、ト
レーニングモードの説明を行なう。トレーニングモード
は、通常、新たなディスクを使用しようとするときにこ
のモードに入れられる。ディスクはシステムによって認
識されるべき異なるオリエンテーション及び距離を表わ
す複数のビューあるいはパターンを含む。
ステップ301において、ディスクの基準フレームがフ
レームバッファ102に読込まれる。ステップ302に
おいて、区域イソレータ103が起動され、フレームか
らテンプレート(その対象を含むフレームの部分)が抽
出される。トレーニングモードにおいては、ディスクの
個々のイメージ基準フレーム上には1つのテンプレート
あるいはパターンのみが存在することに注意する。区域
イソレータ103の詳細な動作に関しては第5図と関連
して説明される。区域イソレータ103はこのテンプレ
ートから抽出された情報を特色分析器303に送くる。
特色分析器はさらにステップ303において、このフレ
ームのデイスフアドレスを受信する。
特色分析器104はテンプレートあるいはパターンに対
するグローバル的及びローカル的特色るるいは男性を計
−録し、第8図の801によって示されるごとくこれら
をそのテンプレートを含むディスクフレームのアドレス
とともに残件メモリ106内のリストに格納する。特色
分析器104の詳細な動作は第6図に示される。ステッ
プ304において、ディスク101上に他のイメージ基
準フレームが存在するときは、これらもまたステップ3
01.302及び303によって示されるように処理さ
れる。最後のイメージ基準フレームの処理が完了すると
、゛分類子構築(build cla−ssifier
 )  ”命令が特色分析器104に送くられ、ステッ
プ306において動作が完了する。時色分析器104は
これに応答して第61Z Kζ示されるごとく属性デー
タを使用して分項ツリーを構築し、これによって認識モ
ードにおいて類1以のパターンを含むフレームへの高速
論理アクセス全行なうことを可能にする。
この外項ツリーは属性データと関連するアドレス情報を
含むが、このアドレス情報は属性データを使用してディ
スク上のフレーム上に置かれる突会せイメージの位置を
決定するのに使用される。
次に第1図、第2図、第4図及び第6図を参照しながら
このシステムの認識モードについて説明する。認識モー
ドのステップ401において、カメラあるいは類似の装
置からのイメージがフレームバッファ102に読込まれ
る。ステップ402において、区域インレータが起動さ
れイメージが複数の区域に区分化されるが、各々の区域
は特色分析器104によって分析されるべき1つの主要
な対象を持つ。ステップ403において、特色分析器1
04及びアイコニック突合せ器105が起動される。ス
テップ104において、認識された対象のリストが″空
″にセットされるが、このリストの構成要素は認識され
た対象に対応する。これは突甘せテンプレートを含むフ
レームのディスクアドレス、及びイメージ内の一双が見
られるところのカメラからの位置を指定するX、Yオフ
セットを含む。ステップ405において、コントローラ
、によって特色分析器から読出されるべきデータがある
か否かがチェックされる。読出されるべきデータが存在
するときは、これは、ステップ406にち・いて、4熾
されたテンプレートの所のディスクアドレス及びXX 
Yfフセットを含む1つの部分子4出す。ステップ40
7において、リストS内に最後に読出された値と同一の
ディスクアドレス及びX、Yオフセットを持つ構成恍素
刀:存在しないかチェックされる。
存在する揚台は、その最後の値は使用されず、制御がス
テップ405に戻され、特色分析器から読出ざnるべき
他のデータが存在するか否かチェックされる。sMに読
出されるべき間の部成安素が存在しないとぎは、ステッ
プ408において、ディスクアドレス及びX1Yオフセ
ツトの最後の読値を含む新たな構成要素が生成され、リ
ストSK加えられ、そして制御がステップ405に戻さ
れ特色分析器からの他のデータが存在するかチェックさ
れる。
ステップ405のテストにおいて、特色分析器からの他
のデータが存在しないことが示されると、ステップ40
9において、リストSが空であるか否かのチェックが行
なわれるが、これが空であることは、特色分析器がデー
タを全く送っていないことを意味する。ここで、Sが空
でないときは、ステップ411においてメツセージ°′
イメージ認識されず″が出力される。ステップ410に
おいて、リストSの構成要素の各々に対してX、Yオフ
セット及びディスクアドレスと関連する対象の同定、あ
るいは名前、対象のその位置からの距離、オリエンテー
ション、ビュー角tAt、ディスクアドレスを含む情報
を含むメツセージが生成されるが、この画報の具体的な
構造はアプリケーションによって異なる。プロセスはス
テップ412において停止する。第4図のシステムコン
トローラによって生成される全てのメツセージはユーザ
装置あるいはこのシステムとプロセッサを共有するソフ
トウェアのユーザ部分に送〈られる。
次に第5図を参照しながら区域イソレータ103の動作
を説明する。区域イソレータプロセスは第3図のステッ
プ302においてトレーニングプログラムによって、あ
るいは第4図のステップ402において認識プログラム
によって呼出される。区域イソレータ103はステップ
501においてカメラ203によって見うれるイメージ
をフレームバッファ102を介して分析し、ステップ5
02においてこのイメージを区分化する。区域イソレー
タはアプリケーション上の要件に従って最小町知差異法
、イメージいき値法あるいはエッジフオロイング法を含
む各種の方法の1つri更用して区分化を行なう。これ
ら周知の技術はり、 H,バラード(D、 H,Ba1
lard )  及びC,M、ブラウン(C,M、 B
rown )  による著書「コンピュータビジョン(
Computer Vision)Jカリフォルニア州
エンジェルウッド(Engle−wood )  所在
、プレンティスホール(Prent−1ce Hall
 )  社、1982年出版1において説明されている
基本的には、最小可知差異法においては、フレームバッ
ファ内のイメージが前に格納された背景イメージから減
じられる。この場合、絶対差異がいき値を越える全ての
接続する区域が減じられる。
イメージいき値法においては、イメージ強度がいき値よ
シ大きな(あるいは小さな)接続する領域が区域として
抽出される。この場合、いき値は強度ピストグラムから
計算、あるいはローカル強度に基づいて適応的に更#”
tすることによってプリセットされる。
以下のステップは本発明によって使用されるエツジフオ
ロイングアルゴリズムを説明する。
■、 ローカルエツジオペレータによって最初の十分に
強いエツジ値が発見されるまでイメージを走置する。
2、 現在のエツジピクセルに隣接するところを炭素す
ることによって、現在及び前のピクセルからの予測に最
も近い勾配、位置及び強度を待つ次のエツジピクセルを
探す。
3、 この新たなピクセルを現在ピクセルとし、ステッ
プ2に戻どる。
この追跡手順はエツジピクセルがある領域を完全に包囲
したとき、あるいは累積エツジ守匣が任意の値以下に落
ちたときに終了する。
抽出された境界が完全Vこある領域を包囲するとその領
域が抽出され、完全に包囲されない場合は、その境界の
露頭さnた部分を包囲する長方形・領域が抽出でれる。
ステップ504.505.506及び507において、
各々の区域に対して境界長方形及び境界ポイントのリス
トが計算される。ステップ506において、境界長方形
情報がフィコニック突合せ器105に送くられ、そして
境界ポイントのリストが特色分析器104に送くられる
。ステップ508において、システムコントローラ20
4によって制+lJが第3図のステップ303あるいは
第4図のステップ403において区域イソレータ103
を呼出したプログラムに戻される。
次に第6図を参照しながら特色分析器104の動作を説
明する。前述したごとく、特色分析器は第3図のステッ
プ303においてトレーニングプログラムによって呼出
されるか、あるいは第4図のステップ403において認
識プログラムによって呼出される。
特色分析器はそれ自体が対象認識システムであり、高速
ではあるが高い精度は持たない。
これは本発明においては、稔識されるべき対象と大雑把
に類似するディスクフレームを迅速に同定することによ
って探索時間を減少するのに使用される。特色分析器は
分離された区域と一致しセうなディスクフレームrビデ
オディスク上に格納されたイメージから計算された+:
f色と比較することによって選択する。
この特色とは、簡単に計算できるが、通常、その対象に
関する情報を完全に表わすことのない区域の特性である
。ステップ601において、特色分析器は分類子構築メ
ツセージ(第3図のステップ305)がトレーニングモ
ードのあいだに受信されたか否かをチェックする。受信
された場合は、ステップ6021こおいて1@層分拳ツ
リーが構築されるが、これに嗜別して蝶、IIE、M、
  ラウンズ(E、 M、Rounds )、でよる論
文「特色の選択及び2進決定ツリー(Q計のための結合
非パラメトリックアプローチ(A Combined 
Nonparmetric Approach t。
FeatureSelectionandBinary
DecisionTree Design ) J、P
RIP会帳録、シカゴ、1979年8月、ページ38−
43及びり、E。
カスターフ゛ソン(D、 E、 Gustafson 
)  及びS。
ゲルバンド(S、Ge1fand )による論文[分類
のための非パラメトリックマルチクラス区分化方伝(A
 Nonparametric Multiclass
 Par−titioning Method for
 C1assification )、パターン認識に
関するg5回国際会議、マイヤミビーチ、1980年1
2月、ページ654−659において説明されている。
分類子ツリーの構築が終了すると、ステップ603にお
いて、制(財)がシステムコントローラに戻される。分
類子メツセージが受信されてない場合は、区域イソレー
タ103から境界ポイントが続出きれる。
区域イソレータにデータが存在しないときは、ステップ
605のテストは制御をステップ603に向けるが、ス
テップ603は制御をシステムコントローラに戻どす。
ステップ606において、グローバル的特色及びローカ
ル的特色が計算され″る。グローバル的特色は水平サイ
ズ、垂直サイズ、面積及び区域内の強度の分散を含む。
ローカル的特色は推定境界曲率の最大及び最低、これら
の値、オリエンテーション伎ひ位置?含む。ローカル曲
率は境界曲婦上に引かれた2つの弦の間に形成される角
度によって推定できる。各々のグローバル的特色及びロ
ーカル的特色はそのタイプ及びスカラーあるいけベクト
ル1直によって表わされる。
ステップ608においてシステムがトレーニンクプログ
ラムにある場合は、これら特色はステップ303におい
てシステムコントローラから受信されたフレームのディ
スクアドレスとともに特色分析器104の属性メモリ8
01に格期される。この属性メモリ801はビデオディ
スク101上に格納される全てのテンプレートのリスト
を含む。谷々のテンプレートの記述はそのフレームアド
レス、及び特色のリストから成る。リスト上の特色はタ
イプ及び(ローカル的特色については)その頃に促って
並べられる。属性メモリからの+it R;i 、ステ
ップ305において全てのフレームが処理さiた扱にシ
ステムコントローラが°゛分類子構築″メツセージを送
信したときに、ステップ602において階層分類ツリー
を構築するのに使用される。
認識モードにおいて、個々の区分化された区域について
個々の抽出された区域の特色のがメモリ801の全ての
テンプレートの特色と比較される。個々のテンプレート
について一致する特色の数が計算され、一致する特色を
最も多く持つn filのテンプレートがさらに突合せ
を行なうために選択される。テンプレートの数が数千以
上であるときは、速度を向上するために前述した階層分
類法が期用される。選択されたテンプレートがステップ
610.611.612.614.615及び616に
おいて、1度に11[i!itっつその区域と比較され
る。
ステップ611において、その区域と個々の選択された
テンプレートの間のそれらを整合するのに必要なXオフ
セット値及びyオフセット直がローカル的特色のペアを
突合せることによって生成されたオフセット値の中間値
を取ることによって計算される。
ステップ611において、特色分析器によって選択きれ
たテンプレートのアドレスがティスフコントローラ20
1に送くられるが、これによってこれらをビデオディス
クから模索し、アイコニック突合せ器105に送くられ
ることか可能になる。テンプレートは一致する特色の奴
の順に並べられる。同時に、個々の選択されたテンプレ
ートに対するX及びyオフセット値が位置の整合を行な
うためにアイコニック突合せ仝に送くられる。
次に第7図及び@9図を参照しながらアイコニック突合
せ器105の動作について説明する。アイコニック突合
せ器105はゆがめられたり変形されたりしていないイ
メージに対して正確な同定で与6える。従って、このシ
ステムはまたその特定のビューに対応するテンプレート
るるいはフレームがビデオディスク上に俗4flされて
いるかさ°り対象を同定する働きを持つ。
ステップ701において区分化された区域を定義する境
界長方形が区域イソレータ103(第5図のステップ5
06から)読出される。
ステップ702において、特色分析器104(第6図の
ステップ611)からX及びyオフセット値が得られる
。ステップ703に2いて、ビデオディスクから受信さ
れた個々のテンプレートがステップ102において特色
分析器から受信されたX及びyオフセット値に従って整
合される。ステップ704において、R(IJ)の値が
テンプレートの境界長方形を通じて計算される。アイコ
ニック突合せ器は分離された区分化された区域とビデオ
ディスク101から模索されたテンプレートの間の正規
化された相関を計算する。第9図のステップ901に2
つのイメージI(x。
y)及びJ(XXy)の間の正規化された相関を計算す
るための式が示される。R(IJ)を計算するのに第9
図の等値の弐902を使用することによってハードウェ
アの実現を簡単にすることができる。
「硯化相関R(IJ)はあるテンプレートがイメージの
区分化あるいは分離された区域と一致する程度を表わし
、その値が太きければ犬さい程良い一致を示す。値R(
IJ)は−1から1の間で、これはイメージの強度の線
形変化(オフセット及び利得)によって影響ケ受けるこ
とはない。
ステップ705において、正規化相関Rが特色分析器に
戻される。ステップ706において、特色分析器から追
加のオフセット値が受信されるときはステップ702が
反復され、受信されないとさけアイコニック突合せ器の
+tMMeがステップ70γにおいて完了する。
アイコニック突合せ器は特色分析器(第6図)と会話的
に動作する。より具体的にはステップ702−705は
特色分析器のステップ611と612の闇に美行される
。ステップ612において、狩色分析器はステップ70
5においてアイコニック突合せ器から送信された相関値
R’i読出す。ステップ614において、アイコニック
突合せ器から受信されたRの値がいき値と比奴される。
そのRが一定のいき1直を越える破初のテンプレートが
認識された対象として扱わnそれ以上の突甘せは枚葉さ
れる。ステップ613において、フレームアドレス及び
位置情報が検索されシステム応答として出力されるため
にシステムコントローラに戻される。しかし、るるアプ
リケーションにおいては、ビデオディスクから選択され
たテンプレートの全の突合せ行ない最も強い相関を示す
テンプレートを認識された対象として選択する方が好都
合である。
ステップ613の後に、特色分析器はステップ604に
戻どり、存在する場合は、イメージの次の区域あるいは
区分を定義する次のセットの境界ポイントを読出す。
Rの値がいさi直を越えないときは、ステップ615.
616において、n1Inの最も近い全てのテンプレー
トのチェックが済んでいないと@ば、次のテンプレート
i + 1が選択さfLる。ステップ616においてn
 1t16のテンプレートの全てがチェックされている
とさは、ステップ604において区域イソレータから仄
のセットの境界ポイントが続出きれ、このプロセスが反
復される。ステップ605において全てのセットの境界
ポイントが処理されていると判定されると、ステップ6
03において制御1がシステムコントローラに戻される
上述のプロセスは区分化された区域と完全に一致するテ
ンプレートは発見するが、対象イメージの一部が欠けた
り(閉塞)、変形したりしているときは、一致を検出す
ることは不可能である。以下では、テンプレート(基漬
イメージ)と同一対象の部分的に閉塞あるいは〈形され
たイメージとの間の対応(一致)r発見するために炉用
さnる閉基イメージ突せせアルゴリズムについて説明す
る。
1 両方のイメージ1kxk個のブロックに分WIJし
、n/k  x  n/に個の最初はゼロで繭された2
進アレイSを形成する。ピクセル5(is、+)はその
左上ピクセルが(+  x  js J  X  k)
であるブロックに対応する。
2、個々のブロック内の正規化された相関を計算し、こ
れがいき値を越えるときはアレイSの対応するピクセル
内に°1 ″を置く。
3、  S内の” 1 ”の値を持つピクセルの全ての
接続された領域を検出する。
4、個々の接続された領域に対して接続された領域のピ
クセルに対応するブロックによってガバーされるテンプ
レートの領域を通じて値 を計算する。
5 vがSの任意の接fiされた領域に対するいき埴を
越える場合はこれは部分的な一致金忽味する。・龍Vは
領域内の総合分散を示す。これは犬さな相関を与える犬
さな均一゛領域による疑似一致を避けるために調べられ
る。
上述のアルゴリズムは必要であれば突合せ器の拡張バー
ジョン内に実現することができる。
不発明による回路の特徴及び機能の一部あるいは全てを
他の周知の装置あるいは回路を2.144して実現する
ことも考えられる。従って、上記に開示された事項は単
に本発明を説明する一p 、v)のものであり、当業者
にとっては本発明の精神及び範囲から逸脱することなく
この曲の構成及び方法を実現できるものと理解されるべ
きである。
【図面の簡単な説明】
41図(は不発明を使用する対象認識システムの惟相フ
ロック図; 來2図はこの対策認h1とシステムのハードウェア溝5
’にと示すIA; 第3図はシステムコントローラのトレーニングモードの
動作シーケンスを説明する流れ図; 第4図はシステムコントローラの認識モードの動作シー
ケンスを説明する流れ図;第5図は区域イソレータの動
作を説明する流れ図; 爾6図は特色分析器の動作を説明する流れ図; 第7図はアイコニック突合せ器の動作を説明する流れ図
; 第8図は本発明によって使用される属性メモリを示す図
、そして 第9図はアイコニック突合せ器によって)炉用される正
規化相関式を示す図である。 〔主要部分の符号の説明〕

Claims (1)

  1. 【特許請求の範囲】 1、イメージ認識システムを動作する方法において、該
    方法が ビデオイメージを該ビデオイメージの強 度の差異に基づいて2つあるいはそれ以上 の区域に区分化するステツプ; 区域の選択された特色の属性を属性メモ リ内に格納された基準特色と比較すること によつて該区域の各々の特性をスクリーニ ングし、そして該属性メモリから個々の区 域から計算されたセツトの特色とよく類似 する1つあるいは複数のセツトの基準特色 を同定するステツプ; 該スクリーニング及び同定ステツプから のアドレスを使用してイメージメモリから 個々の区域に対する1つあるいは複数の基 準イメージを検索するステツプ、及び 該区域の各々の強度を検索されたその区 域に対する基準イメージの各々の強度と整 合及び突合せすることによつてその区域と 最も一致する1つの基準イメージを決定す るステツプを含むことを特徴とする方法。 2、特許請求の範囲第1項に記載の方法において、該シ
    ステムが該基準イメージと関連 する位置情報を含み、該システムがさらに 該基準イメージのアドレスを使用して該 位置情報を検索するステツプを含むことを 特徴とする方法。 3、特許請求の範囲第1項に記載の方法において、 該区分化ステツプが該区域を同定するた めのエツジフオロイングアルゴリズムを含 むことを特徴とする方法。 4、特許請求の範囲第1項に記載の方法において、 該区分化ステツプが該区域を同定するた めの最小可知アルゴリズムを含むことを特 徴とする方法。 5、特許請求の範囲第1項に記載の方法において、 該区分化ステツプが該区域を同定するた めのイメージいき値アルゴリズムを含むこ とを特徴とする方法。 6、特許請求の範囲第1項に記載の方法において、該属
    性が ローカル的特色あるいはグローバル的特 色の属性のリストからの1つあるいは複数 の属性であることを特徴とする方法。 7、特許請求の範囲第1項に記載の方法において、該ス
    クリーニング及び同定ステツプ が セツトの基準特色を同定するための階層 分類法を使用することを特徴とする方法。 8、特許請求の範囲第1項に記載の方法において、整合
    及び突合せステツプが 基準イメージと該区域との間の一致の程 度を決定するための二次元正規化相関を使 用することを特徴とする方法。 9、特許請求の範囲第1項に記載の方法において、該整
    合及び突合せステツプが 基準イメージと該区域内の閉塞対象との 間の一致の程度を決定するための閉塞イメ ージ突合せアルゴリズムを使用することを 特徴とする方法。 10、特許請求の範囲第1項に記載の方法において、 該イメージメモリが高速順次アクセスで あることを特徴とする方法。 11、特許請求の範囲第1項に記載の方法において、 該イメージメモリが低速直接アクセスで あることを特徴とする方法。 12、特許請求の範囲第11項に記載の方法において、 該イメージメモリがビデオデイスクであ ることを特徴とする方法。 13、イメージ認識システムにおいて、該システムが ビデオイメージを該ビデオイメージの強 度の差異に基づいて2つあるいはそれ以上 の区域に区分化するための装置; 区域の選択された特色の属性を属性メモ リ内に格納された基準特色と比較すること によつて該区域の各々の特性をスクリーニ ングし、そして該属性メモリから個々の区 域から計算されたセツトの特色とよく類似 する1つあるいは複数のセツトの基準特色 を同定するための装置; 該スクリーニング及び同定ステツプから のアドレスを使用してイメージメモリから 個々の区域に対する1つあるいは複数の基 準イメージを検索するための装置、及び 該区域の各々の強度を検索されたその区 域に対する基準イメージの各々の強度と整 合及び突合せすることによつてその区域と 最も一致する1つの基準イメージを決定す るための装置を含むことを特徴とする方法。
JP60209028A 1984-09-24 1985-09-24 イメージ認識システムとその動作法 Expired - Fee Related JPH0661107B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US653213 1984-09-24
US06/653,213 US4611347A (en) 1984-09-24 1984-09-24 Video recognition system

Publications (2)

Publication Number Publication Date
JPS6184785A true JPS6184785A (ja) 1986-04-30
JPH0661107B2 JPH0661107B2 (ja) 1994-08-10

Family

ID=24619951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP60209028A Expired - Fee Related JPH0661107B2 (ja) 1984-09-24 1985-09-24 イメージ認識システムとその動作法

Country Status (5)

Country Link
US (1) US4611347A (ja)
EP (1) EP0183347B1 (ja)
JP (1) JPH0661107B2 (ja)
CA (1) CA1235514A (ja)
DE (1) DE3581173D1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60254279A (ja) * 1984-05-31 1985-12-14 Fuji Electric Co Ltd 2値化しきい値の決定方法
JPS61183716A (ja) * 1985-02-08 1986-08-16 Hitachi Ltd 誘導装置
US4760604A (en) * 1985-02-15 1988-07-26 Nestor, Inc. Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier
US5060277A (en) * 1985-10-10 1991-10-22 Palantir Corporation Pattern classification means using feature vector regions preconstructed from reference data
US5077807A (en) * 1985-10-10 1991-12-31 Palantir Corp. Preprocessing means for use in a pattern classification system
US4773099A (en) * 1985-10-10 1988-09-20 The Palantir Corporation Pattern classification means for use in a pattern recognition system
US4809347A (en) * 1986-07-18 1989-02-28 Hughes Aircraft Company Computer vision architecture
JP2832008B2 (ja) * 1988-07-29 1998-12-02 キヤノン株式会社 画像処理システム
US5031228A (en) * 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
US5248873A (en) * 1991-06-10 1993-09-28 Synaptics, Incorporated Integrated device for recognition of moving objects
US5380428A (en) * 1992-04-22 1995-01-10 Product Research & Development Pump for reverse osmosis system
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
JP3549569B2 (ja) * 1993-04-27 2004-08-04 ソニー エレクトロニクス インコーポレイテッド 映像内の目標パターン探知方法
DE4322803C2 (de) * 1993-07-08 1998-09-10 Mohndruck Reinhard Mohn Ohg Verfahren zum Überwachen der Vollständigkeit individuell bedruckter Erzeugnisse in der Online-Fertigung
US5530483A (en) * 1994-10-11 1996-06-25 Pixel Instruments Corp. Delay detector apparatus and method for plural image sequences
TW367447B (en) * 1994-12-21 1999-08-21 Canon Kk Block selection review and editing system
DE19713521B4 (de) * 1997-04-02 2004-09-23 Festo Ag & Co Vorrichtung zur Erkennung falsch orientierter und/oder von einem vorgegebenen Muster abweichender Teile
JP3053607B2 (ja) * 1998-04-08 2000-06-19 三菱電機株式会社 データ照合方法およびその装置
US6134298A (en) * 1998-08-07 2000-10-17 Schick Technologies, Inc. Filmless dental radiography system using universal serial bus port
KR100311952B1 (ko) * 1999-01-11 2001-11-02 구자홍 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법
US6229541B1 (en) 1999-09-03 2001-05-08 Isurftv Use of templates for cost-effective secure linking of video stream objects
KR100447268B1 (ko) * 2001-12-18 2004-09-07 한국전자통신연구원 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출방법
US20040038169A1 (en) * 2002-08-22 2004-02-26 Stan Mandelkern Intra-oral camera coupled directly and independently to a computer
JP4218319B2 (ja) * 2002-11-19 2009-02-04 日本電気株式会社 映像閲覧システムおよび方法
US7203338B2 (en) * 2002-12-11 2007-04-10 Nielsen Media Research, Inc. Methods and apparatus to count people appearing in an image
WO2004054255A1 (en) * 2002-12-11 2004-06-24 Nielsen Media Research, Inc. Detecting a composition of an audience
US6908307B2 (en) 2003-02-03 2005-06-21 Schick Technologies Dental camera utilizing multiple lenses
US7245779B2 (en) * 2003-07-23 2007-07-17 Marvell International Technology Ltd. Image enhancement employing partial template matching
US8411963B2 (en) 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
US8049643B2 (en) 2009-02-04 2011-11-01 Pete Ness Vehicle tracking system for vehicle washing
US8260055B2 (en) * 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
US8620088B2 (en) 2011-08-31 2013-12-31 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US10152627B2 (en) 2017-03-20 2018-12-11 Microsoft Technology Licensing, Llc Feature flow for video recognition
US20190236348A1 (en) * 2018-01-30 2019-08-01 Ncr Corporation Rapid landmark-based media recognition
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4980947A (ja) * 1972-12-11 1974-08-05

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2106843A5 (ja) * 1970-09-25 1972-05-05 Thomson Csf
US3930231A (en) * 1974-06-10 1975-12-30 Xicon Data Entry Corp Method and system for optical character recognition
US3947833A (en) * 1974-11-20 1976-03-30 The United States Of America As Represented By The Secretary Of The Navy Automatic target detection system
US4030068A (en) * 1976-01-12 1977-06-14 Decision Data Computer Corporation Optical character recognition system
US4385322A (en) * 1978-09-01 1983-05-24 View Engineering, Inc. Pattern recognition apparatus and method
US4410916A (en) * 1979-08-24 1983-10-18 Compression Labs, Inc. Dual mode facsimile coding system and method
US4288782A (en) * 1979-08-24 1981-09-08 Compression Labs, Inc. High speed character matcher and method
GB2112130B (en) * 1981-12-04 1985-04-03 British Robotic Syst Component identification systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4980947A (ja) * 1972-12-11 1974-08-05

Also Published As

Publication number Publication date
US4611347A (en) 1986-09-09
EP0183347A2 (en) 1986-06-04
EP0183347A3 (en) 1987-10-28
DE3581173D1 (de) 1991-02-07
CA1235514A (en) 1988-04-19
EP0183347B1 (en) 1990-12-27
JPH0661107B2 (ja) 1994-08-10

Similar Documents

Publication Publication Date Title
JPS6184785A (ja) イメージ認識システムとその動作法
KR100708067B1 (ko) 디지털 영상 검색 장치 및 그 방법
US8031947B2 (en) Method and system for rapid matching of video streams
US5644765A (en) Image retrieving method and apparatus that calculates characteristic amounts of data correlated with and identifying an image
US6181817B1 (en) Method and system for comparing data objects using joint histograms
US6556710B2 (en) Image searching techniques
US7489804B2 (en) Apparatus and method for trajectory-based identification of digital data content
US6778697B1 (en) Color image processing method and apparatus thereof
US20070071323A1 (en) Apparatus and method for processing user-specified search image points
JP4545641B2 (ja) 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体
US7006714B2 (en) Image retrieval device, image retrieval method and storage medium storing similar-image retrieval program
US10373014B2 (en) Object detection method and image search system
WO1999035596A1 (en) Fast image retrieval using multi-scale edge representation of images
JP2002288219A (ja) 情報検索システムおよび方法
KR100390866B1 (ko) 컬러 영상 처리 방법 및 그 장치
US20010024517A1 (en) Method and device for seeking images based on the content taking into account the content of regions of interest
EP2058741A2 (en) A method and apparatus for analysing a plurality of stored images
WO2001008098A1 (en) Object extraction in images
JPH11312248A (ja) 画像検索装置及び方法
JP3311077B2 (ja) 画像検索装置
US6522779B2 (en) Representing an image with a posterized joint histogram
KR100229810B1 (ko) 영상 데이터베이스 검색방법
KR19990016894A (ko) 영상 데이터베이스 검색방법
US6671402B1 (en) Representing an image with weighted joint histogram
de Dampos et al. Improved face/spl times/non-face discrimination using Fourier descriptors through feature selection

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees