JP4202271B2

JP4202271B2 - パターンの比較

Info

Publication number: JP4202271B2
Application number: JP2003579167A
Authority: JP
Inventors: ステンティフォード、フレデリック・ワーウィック・マイケル
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 2002-03-22
Filing date: 2003-03-21
Publication date: 2008-12-24
Anticipated expiration: 2023-03-21
Also published as: ES2256768T3; DE60303138D1; CA2479223A1; KR20040105793A; KR100976930B1; US20050169535A1; CN1643540A; US7570815B2; CN1322471C; AU2003215755A1; JP2005521165A; DE60303138T2; EP1488371B1; ATE315257T1; WO2003081523A1; EP1488371A1; CA2479223C

Description

本発明は、あるパターンを別のパターンと比較することに関し、一次元のパターン及び三次元または四次元以上を有するパターンにも適用可能であるが、視覚映像などの二次元のパターンの比較において特に重要である。

パターン認識に対する標準的な方法はパターンを認識し、分類するためにテンプレートを使用する［１］。このようなテンプレートは多くの形を取るが、それらは通常、トレーニングデータの統計的な分析により作成され、類似性測度を使用して未知のデータと照合される［２］。統計分析は、通常、認識タスクのニーズを満足させると考えられる多くの直感的に選択された特徴に関して実行される。例えば、音声認識においては、テンプレートは周波数領域で引き出される非表示マルコフモデル(Hidden Markov Models)としてカプセル化(encapsulated)することが可能で、光学文字認識においては、テンプレートは文字フォント自体の形を取る。顔認識のケースでは、肌のきめ、皮膚色及び目鼻立ち登録などの直感的に選ばれる多くの特徴が顔テンプレートを定義するために使用される。ＣＣＴＶ監視応用では、通常、侵入者はフレーム減算及び動きを検出し、処理から背景の影響を除去する背景テンプレートモデリングによって検出される［３］。多くのケースでは、特徴の数は計算上扱いにくいプロセスにつながり、性能を大幅に削減することなく問題を縮小するためには主成分分析（ＰＣＡ）及び他の技法が使用される［ｈｔｔｐ：／／ｗｗｗ．ｐａｒｔｅｋ．ｃｏｍ／ｉｎｄｅｘ．ｈｔｍｌ］。これらの方法はノイズのない環境では大きな成功を収めるが、パターンの可変性及びパターンクラスの数が増加すると失敗する。

パターンが同じパターンの他の部分と比較される画像または他のパターンの分析のためのいくつかの技法は、以下に示すように我々の初期の特許出願に説明されている。

欧州特許出願第００３０１２６２．２号（公開番号第１１２６４１１号）（出願人参照Ａ２５９０４ＥＰ＃）、国際特許出願ＰＣＴ／ＧＢ第０１／００５０４号（公開番号ＷＯ第０１／６１６４８号）（出願人参照第Ａ２５９０４ＷＯ）。

国際特許出願ＰＣＴ／ＧＢ第０１／０３８０２号（公開番号ＷＯ第０２／２１４４６号）（出願人参照Ａ２５０５５ＷＯ）。

２００１年１０月１６日に出願された米国特許出願第９７７，２６３／０９号（公開番号第２００２００８１０３３号）（出願人参照Ａ２５９０４ＵＳ１）。

以下の発明者により公開された論文も同様。

ＳｔｅｎｔｉｆｏｒｄＦＷＭ「画像圧縮に対する応用により他に負けない新規性による視覚的な注意のための推定量（Ａｎｅｓｔｉｍａｔｏｒｆｏｒｖｉｓｕａｌａｔｔｅｎｔｉｏｎｔｈｒｏｕｇｈｃｏｍｐｅｔｉｔｉｖｅｎｏｖｅｌｔｙｗｉｔｈａｐｐｌｉｃａｔｉｏｎｔｏｉｍａｇｅｃｏｍｐｒｅｓｓｉｏｎ）」、２００１年ピクチャコーディングシンポジウム議事録、ソウル、４月２５日から２７日、１０１−１０４ページ、２００１年
ＳｔｅｎｔｉｆｏｒｄＦＷＭ（視覚的な注意のシミュレーションに対する漸進的なプログラミング方法（Ａｎｅｖｏｌｕｔｉｏｎａｒｙｐｒｏｇｒａｍｍｉｎｇａｐｐｒｏａｃｈｔｏｔｈｅｓｉｍｕｌａｔｉｏｎｏｆｖｉｓｕａｌａｔｔｅｎｔｉｏｎ））、２００１年漸進的計算法議会、ソウル、８５１−８５８ページ、２００１年５月２７日から３０日

本発明のある態様によると、第１の順序集合の複数の要素のそれぞれに対して、
（ｉ）第１の順序集合から検討中の要素に近接して複数の要素を選択する工程であって、選択された要素が検討中の要素に関連したそれぞれ相互に異なる位置を有するものと、
（ｉｉ）第２の順序集合の要素を選択する工程と、
（ｉｉｉ）第１の順序集合の選択された複数の要素を、第２の順序集合の中に、第１の順序集合の選択された複数の要素のそれぞれの要素が検討中の要素に関して有するのと同じ位置を第２の順序集合の選択された要素に関して有する、第２の順序集合の各類似した複数の要素と比較する工程であって、前記比較が、第１の順序集合の複数の要素が第２の順序集合の複数の要素と一致するという決定を下すために、所定の位置基準に従って、第１の順序集合の選択された複数の要素のそれぞれの値を第２の順序集合の類似した複数の要素の相応して配置される要素の値とを比較することを含むものと、
（ｉｖ）第１の順序集合の複数の要素の新たな選択と第２の順序集合の要素の新たな選択との少なくとも一方との前記比較を繰り返す工程と、
（ｖ）該比較が一致を示す比較の数の関数としての類似性基準を検討中の要素について作成する工程と、
を実行することを備える、それぞれが値を有する要素の第１の順序集合により表される第１のパターンと、それぞれが値を有する要素の第２の順序集合によって表される第２のパターンとを比較する方法が提供される。

本発明の他の態様は請求項に定義される。

本発明のいくつかの実施形態は、添付図面に関してここで説明されるであろう。

図１は、本発明の第１の実施形態による画像分析を実行するようにプログラミングされた汎用コンピュータから構成される装置を示す。それは、バス１を有し、それに中央演算処理装置２と、画像表示３、キーボード４、画像の入力のためのスキャナ５（または他の装置、図示されず）、及びメモリ６とが接続される。

メモリ６には、オペレーティングシステム６０１、画像分析を実行するためのプログラム６０２、及び画像Ａと画像Ｂと呼ばれる２つの画像を記憶するための記憶領域６０３、６０４が記憶されている。各画像は、それぞれの値がアレイ内のピクチャエレメントの輝度を表す、値の二次元アレイとして記憶される。

画像アレイは、図２ａ及び図２ｂに概略して示される。画像Ａは、ｘ_１とｘ_２が画像内での要素の水平位置と垂直位置であるピクチャエレメントｘ＝（ｘ_１、ｘ_２）の２０ｘ２０アレイから構成されている。各要素はそれぞれの値ａ＝ａ（ｘ）により表される輝度を有する。同様に、画像Ｂは輝度値ｂを有するピクチャエレメントｙ＝（ｙ_１、ｙ_２）の２０ｘ２０アレイから構成されている。

プログラム６０２によって実行される画像分析の方法は、図３に図示されるフローチャートに従って実行される。それはその目的として画像間の類似性の測度Ｖを生成することを有する。つまりさらに詳細には、Ｖが高い値を有することは、画像Ｂが画像Ａのコンテンツに類似する視覚材料を含むことを示している。

画像は、幅ｘｍａｘ_１とｙｍａｘ_１、高さｘｍａｘ_２とｙｍａｘ_２を有し、ピクチャエレメント座標はｘ_１＝０．．．ｘｍａｘ_１−１、ｘ_２＝０．．．ｘｍａｘ_２−１であると想定される。

工程１００では、画像Ａの中のピクチャエレメントｘが選択される。それらは任意の順序で処理できるが、最初に要素ｘ＝（ε、ε）を選択し、及び画像の端縁のε内での要素を除き、すべてが処理されるまで、つまり（ｘｍａｘ_１−ε−１, ｘｍａｘ_２−ε−１）まで以後の反復ではラスタスキャン様式で連続する要素を選択することが便利である。

工程１０１では、スコアＶ及びカウンタのトライがゼロに設定される。

工程１０２では、要素ｙ＝（ｙ_１，ｙ_２）が、ｘの位置の最大距離ｓ内で画像Ｂから無作為に選ばれ、すなわち
すべてのｉについて

オプションであるこの制限は図２ｂで点線の正方形Ｓで表される。それは、２つの画像内の対応するオブジェクトがどちらかの座標方向でのｓ個のピクチャエレメントより多くによって所定の位置にシフトされないことが既知である場合には効率を改善する。事実上、ｓは２つの画像の間の最大位置決め不良または局所的な歪みを表している。

ｙの選択も、それが画像の端縁からεを超えずに位置するという制限を受ける。つまり、ｉ＝１，２について、

この場合ｙｍａｘ_ｉはピクチャエレメント内の画像の幅または高さである（この例では２０）。

工程１０３では、ピクチャエレメントｘの近接Ｎで画像Ａから無作為に選択されたｍ個からなる少なくとも１つの追加の要素を加えた要素を比較するための、ピクチャエレメントｘ’の集合Ｓ_ｘが選択される。近接Ｎはｘに中心を置く２ε＋１ｘ２ε＋１の四角形である。すなわち、要素ｘ’＝（ｘ_１’，ｘ’_２）は、以下の場合にＮ内にある。

すべてのｉについて、

近接集合Ｓ_ｘが要素ｘ自体を含むのが好ましいが、これは実際には絶対必要というわけではない。次に画像Ｂで近接集合Ｓ_ｙが定義され、ｍ＋１要素ｙ’＝（ｙ_１’,ｙ_２’）は、それぞれが要素ｙに関してＳ_ｘの対応する要素ｘ’がｘから有するのと同じ位置を有する。つまり、すべてのｉについて、

（前述された端縁制限の理由とは、言うまでもなく画像領域外に広がる近接を選ぶことを回避することである。）工程１０４では、カウンタのトライが増分され、工程１０５ではその値は十分な比較が実行されたかどうかを確かめるために調べられる。

今はこれが当てはまらないと想定すると、次に工程１０６では２つの集合Ｓ _ｘ、Ｓ _ｙが比較される。集合Ｓ _ｘの要素ｘ’の値と集合Ｓ_ｙの相応して配置された要素ｙ’の値の差異が閾値δ未満であれば、つまり

である場合、２つの要素は一致すると考えられる。２つの集合は、集合Ｓ_ｘのあらゆる要素ｘ’が集合Ｓ_ｙの対応する要素ｙ’に一致する場合にだけ一致すると考えられる。

集合が一致しない場合、要素ｙは追加の比較の候補として廃棄され、プロセスは工程１０２で再開し、新たな点ｙが選ばれている。他方、それらが一致すると、ｙは追加の反復のために保持される。いまは工程１０７を無視し、プロセスはスコアＶが増分される工程１０８で進む。異なる近接集合が工程１０３で生成され、プロセスはその点から反復される。

工程１０５では、比較の数のカウントトライが閾値を超えると、現在のｘのプロセスが終了される。工程１０９では、Ｖの値はメモリ６に記憶され、次に工程１１０ですべての点ｘが対処されたかどうかのチェックが実行される。対処されている場合には、最初に（画像Ａの中のピクチャエレメントｘに対するすべての個別スコアＶの平均である）平均スコアＶａが工程１１１で計算され、プロセスは１１２で終了した。それ以外の場合、プロセス全体が工程１００から新たな点ｘについて反復される。

工程１０５で使用される閾値は、比較ｔの所望される数に設定することができ、工程１０７が省略される。しかしながら、実際問題として、我々は早期の比較が多くの場合一致を検出しないが、いったん一致が検出されると、かなりの数の異なる近接集合が同じｙとの一致を示すことに気付いた。容易に解釈されるスコアＶを提供するために、最初のわずかな反復は得点されない。つまり、図示されるようにプロセスは、最初のｉｎｉｔ比較の間にスコアが増分されるのを防ぐ試験１０７を含む。工程１０５で使用された閾値は、このようにして、最大潜在スコアがｔとなるようにｉｎｉｔにより増分される。このようにして、我々は非常に類似しているかまたは同一である画像の高いスコアまたは最大のスコアを得る確率が大いに増加することに気付く。

試験で使用される多様なパラメータに関する特定の値は以下のとおりであった。
画像Ａサイズｘｍａｘ_１ｘｘｍａｘ_２：２０ｘ２０
画像Ｂサイズｘｍａｘ_１ｘｘｍａｘ_２：２０ｘ２０
近接パラメータε：４
近接集合サイズｍ：３
最大Ａ−Ｂシフトｓ：７
比較の数ｔ：５０
初期比較ｉｎｉｔ：２０
通常、より高い鮮明度の画像の場合、εとｓの相応してさらに大きな値が選ばれるであろう。等しく信頼できる、統計的に重大な結果を得るためにｓが増加するにつれて、ｔとｉｎｉｔの値は増加されなければならない。

これらの試験の結果は後に示される。つまり使用されたパラメータは前記に引用されたパラメータとは異なり、これが注記される。

パターンＡの中のピクチャエレメントｘのスコアは、多くの無作為に選択されたＳ _ｘがパターンＢの所与のｙのＳ _ｙに一致する場合高いことが分かるであろう。パターンＡのピクチャエレメントｘの（我々の初期の特許出願に説明される）視覚的な注意(Visual Attention)のスコアが、Ｓ _ｘがＳ _ｙに不一致の場合に高くなる。このとき、ｙは保持されず、パターンＡから無作為に選択される。視覚的注意は単独画像Ａを除いてメモリを必要としないのに対し、本方法は共通性を検出するためにパターンＢに含まれる情報も必要とする。

ｔ個の近接集合ＳｘのシーケンスがパターンＢの中のいくつかのｙを取り囲む同じ近接の高い割合に一致する場合に、ロケーションｘは認知注意(cognitive attention)に値するであろう。図２ではｍ＝３ピクチャエレメントｘ’がパターンＡのピクチャエレメントｘの近接で選択され、パターンＢのピクチャエレメントｙの近接での３つのピクチャエレメントと一致される。ピクチャエレメントのそれぞれが３つの色の輝度を所有するため、ａ＝（ａ_ｒ，ａ_ｇ，ａ_ｂ）であり、第２のピクチャエレメントｙの近接集合は、すべてのｍ＋１個の対応するピクチャエレメントの色の輝度が互いのδ内の値を有する場合には第１に一致する。ｔ個の近接集合Ｓｘの範囲で多数の一致を達成し、近接集合ＳｙがＢ内でｙの回りにあるＡのピクチャエレメントｘには高いスコアが割り当てられる。つまり、Ｂに存在する構造を所有するＡの近接集合は高いスコアを割り当てられる。

いくつかの画像分析の技法は、すべてのピクチャエレメントが採用される近接であるパッチを使用して画像間で比較計算を実行する。相関の測定がある閾値を超えるとパッチが一致する。この方法は、相関測定が特定のテクスチャ(texture)を識別するように設計されたケースを除き、パッチのサイズより小さい詳細を最大限に利用することができない。この方法で使用される無作為なピクチャエレメント近接Ｓｘは、この不利な点に苦しまない。

得点機構の利得は、一致が検出されるとピクチャエレメントロケーションｙを保持し、ｔ個の近接集合の次との比較のためにｙを再利用することにより大幅に増加される。一致するピクチャエレメント構成が生成されると、他の構成は再び同じ点で一致し、シーケンスが以後不一致により妨害されないのであれば、このロケーションｙはいったん検出され、再利用されると、スコアの上昇を加速するであろう。

しかしながら、Ｓｘが以後そのロケーションで不一致になると、スコアは増分されず、パターンＢのまったく新しいロケーションｙが無作為に選択され次の比較に準備が整う。このようにして、パターンＢの競合するロケーションは、それらがパターンＡのｘの近接とほとんど共通性を含まない場合には不利に選択される。

いくつかの可能な変形がここで説明される。

ａ）すべてのピクチャエレメントｘが分析されることは必須ではない。したがって所望される場合―おそらく規則正しいグリッド上の―部分集合が選ばれるであろう。

ｂ）前記方法はピクチャエレメントに単一の（輝度）値を想定する。カラー画像の場合には、画像は最初に白黒に変換できるであろう。代わりに各ピクチャエレメントが、赤、緑及び青のような３つの値、又は色差が加えられた輝度で表現される場合には、一致のための試験は３つの次元での要素値の間の距離の考慮を伴うであろう。例えば、色成分値が２つの画像についてａ＝（ａ_ｒ，ａ_ｇ，ａ_ｂ）、ｂ＝（ｂ_ｒ、ｂ_ｇ、ｂ_ｂ）である場合には、一致の基準は（ａ_ｒ−ｂ_ｒ）＜δ及び｜ａ_ｇ−ｂ_ｇ｜＜δ及び｜ａ_ｂ−ｂ_ｂ｜＜δとなる可能性がある。距離測定の追加の説明については以下を参照せよ。

ｃ）無作為にｙを選ぶ戦略は、要素ｘ＝（ｘ_１,ｘ_２）が要素ｙに反して高い値Ｖを生じさせ、隣接する要素ｘ（例えば（ｘ_１＋１, ｘ_２））が対処されなければならないときには、画像Ｂで選択される第１の要素ｙは相応して隣接する要素（つまり（ｙ_１＋１, ｙ_２））となるであろうと規定することにより修正できるであろう。ｙの追加の選択は、前述のように無作為となるであろう。複数のｙとの比較の結果として要素ｘの高いスコアが生成される場合には、高いスコアに最大の貢献をした方のｙに隣接する要素を選ぶであろう。これを実現することは、一時的に異なるピクチャエレメントｙとその部分的なスコアの座標を追跡調査するために必要となるであろう。

ｄ）プロセスは画像全体に必ずしも実行される必要はない。例えば、画像Ａの領域が―おそらく前記に参照された我々の初期の特許出願の１つにて説明された方法を使用して―特に重要であると識別されている場合には、対処されるピクチャエレメントｘは識別された領域内にあるエレメントにすぎない可能性がある。

ここでの無作為な選択に対する参照は、擬似ランダムプロセスを使用する選択の可能性を含む。

方法は画像、または三次元のパターンだけに適用可能ではなく、１次元、２次元、３次元または４次元以上の次元の値の任意の順序集合にも使用できる。

さらに一般的には、パターン内の値の両方のパターンと個別のパターンが１次元、２次元または３次元以上を有する、２つのパターンＡとＢの類似性の測定を作成したいと仮定する。

パターンＡ上の測定値ａの集合を、境界のあるｎ−空間（ｘ_１，ｘ_２，ｘ_３．．．，ｘ_ｎ）内のＡのロケーションｘに一致させ、この場合次の式が成立する。

及び

ａが存在する場合はどこでもａ＝Ｆ（ｘ）となるように関数Ｆを定義する。Ｆの性質、例えば連続性について仮定がなされないことに注意することが重要である。ａが存在する場合はｘが存在すると仮定される。

以下の場合にｘの近接Ｎを検討する。

Ｎにおけるｍ＋１の無作為な点の集合Ｓ_ｘを選択し、この場合、ｘ’のどれか１つが好ましくはｘに等しくなるように制約されていようと、

及び

が定義される。

しかしながら、ここでｘ’が好適にはｘに同等に制約される。それは、同じ点の２回の選択を回避するために無作為な選択を制約するために必要となるために実際には検出されない。つまりｘ’_ｉは別個である必要はない。事実上、ｘ’_ｉはｘまたはｘ’_１とすべて一致するであろう。

Ｆが定義されるパターンＢ上の測定値ｂの集合に対応するロケーションｙを選択する。
集合

を定義し、その場合

及び

が存在する。

ｘの近接集合Ｓｘは、以下の場合にｙの近接集合に一致すると言われている。

及び

一般的には、δ_ｊは定数ではなく、比較されている測定値に依存する。つまり、

いくつかの問題については、個別構成要素ａ_ｊ＝Ｆ_ｊ（）及びｂ_ｊ＝Ｆ_ｊ（）が一致するのを要求するように一致を定義するよりむしろ、人は都市ブロック距離などのようなａとｂの間のベクタ距離に閾値を適用する方を好む可能性がある。

またはユークリッド距離

図３のフローチャートに説明されている方法の動作は、以下の試験結果により説明されるであろう。

試験では、２０ｘ２０の黒の画像と白の画像が使用された（つまり、ａとｂの値はつねに０または１のどちらかであった）。しかしながら、試験は、黒のピクチャエレメントが得点される―つまり、一致基準は単に｜ａ−ｂ｜＜δではなくａ＝ｂ＝１であるという点で前述の説明とは異なる。

各ケースでは、添付の図が第1の画像Ａ、及びＢ１、Ｂ２等と印が付けられる第1の画像が比較された複数の第２の画像Ｂを示している（あるケースでは、２つの第１の画像Ａ１、Ａ２が１つの画像Ｂに比較される）。座標ｘ_１、ｙ_１は左から右に測定され、座標ｘ_２、ｙ_２は上から下に測定される。第２の画像のそれぞれは平均スコアＶａで印を付けられる。いくつかの図は画像領域上の個々のスコアＶの三次元プロットを示している。つまり、それぞれのケースで右側の軸は印の水平軸を表し、前の軸は画像の垂直軸を表している。プロットの垂直軸はＶの値を表している（例２の埋め込まれた認識のケースで、及び他のケースでは５０−Ｖ）。

例１．光学文字認識（図４）
文字Ｂの画像Ａは、文字Ａ、Ｂ、Ｃ、Ｄ及びＥの画像Ｂ１からＢ５と比較される。ランク順序付け平均スコアＶａはＢ、Ｄ、Ｅ、Ｃ及びＡに一致する。結果はｔ＝５０、ｓ＝３及びε＝２で生成された。

例２．埋め込まれた認識（図５）
「Ｘ」形状の画像Ａは「Ｘ」を含む９のさらに小さな形状を含む別の画像Ｂ１と比較される。「Ｘ」形状は、改変される小さな「Ｘ」を除き同じ９の形状を有する画像Ｂ２と再び比較される。平均スコアＶ_ａはそれぞれ２７．５と１１．９であり、第１では「Ｘ」特徴の存在、及び第２ではより少数を示す。それぞれの比較の個々のスコアＶはチャートに示されている。結果はｔ＝５０、ｓ＝７及びε＝２で生成された。埋め込まれた認識のより複雑な例は、人ごみの中での既知の顔の識別である。

例３．トレードマークの検索（図６）
特殊な十字形の画像Ａは、最初に大きな十字形を含む４つの基本的な形状Ｂ１からＢ４に比較され、各基本パターンは互いの間の高いスコアで類似した形状のクラスタを表している。大きな十字形は最大の平均スコアＶ_ａ（４３．６）を生成する。同じ特殊な十字架は次に、５０という最大スコアを得るそれ自体（Ｂ５）の小さなバージョンを含む４種類の十字形Ｂ５からＢ８とに比較される。チャートは大きな十字形との比較においてピクチャエレメントごとに（５０−Ｖ）という値を提供する―背の高い柱は十字形の下部脚部の端部との不均衡を示している。結果はｔ＝５０、ｓ＝７及びε＝２で生成された。

例４．指紋認識（図７）
いくつかが大量の類似した材料を所有するさらに複雑なパターンは、商標の例でのように判別、検索できる。簡略化されたアーチＡは代表的なアーチＢ４（４９．３）ともっともよく一致し、次に他のアーチの中で同一のパターン（４９．９）と一致する。チャートは代表的なアーチパターンとの比較におけるピクチャエレメントごとに（５０−Ｖ）の値を提供する―背の高い柱は隆起端部との及び境界線上での不均衡を示す。結果は、ｔ＝５０、ｓ＝３、及びε＝３で生成された。

例５．顔の認識（図８）
データはきわめて簡略化されているが、この例は顔の認識の実現を示している。顔Ａは４つの代表的な顔Ｂ１からＢ４と照合されてから、最もよく適合する代表的な顔Ｂ２（４５．７）によって表されるサブクラスタＢ５からＢ８の４つの顔と照合される。サブクラスタ（４９．６）の非同一顔Ｂ７とが、もっとも適合している。チャートは２番目に近いパターンＢ６（４８．２）との比較でピクチャエレメントごとに（５０−Ｖ）の値を提供する―背の高い柱は口の領域での不均衡を示している。結果は、ｔ＝５０、ｓ＝３及びε＝２で生成された。

例６．監視（図９）
この例は、侵入者が可変背景を背にしてどのようにして検出される可能性があるのかを示している。移動する雲、木及びフェンスを表すパターンＡ１は、標準的な背景Ｂに対して高い平均スコアＶ_ａ（４８．０）を得るが、侵入者が存在するバージョン（Ａ２）ははるかに低いスコア（３３．１）を得る。チャートは侵入者画像（３３．１）のピクチャエレメントごとに（５０−Ｖ）という値を出す―最も背の高い柱が侵入者の場所を示している。結果は、ｔ＝５０、ｓ＝３及びε＝２で生成された。

この方法は、尺度の差によって、及び局所的な相対的な歪み及び変形によって影響を及ぼされずに知覚的に重大な共通の特徴及び差異を識別する２つの画像の分析を実行する。つまり、これは、この方法が、認識される対象が別の画像の中に埋め込まれている認識の問題に応用できることを意味する。それは、画像が互いとの特徴の類似性の測度に従って分類されてよく、これらの値が多クラス認識システム及びＱＢＥ(Query By Example)検索システムを定義するために使用されてよいことも意味する。同様に、この方法は侵入者の検出または偽造の検出のケースでも不同性を検出するために使用されてよい。それは、運動または視差を検出するために画像間の不均衡を検出するために使用されてよい。それは必ずしも画像のコンテンツの過去の知識には依存せず、トレーニングプロセスも必要ではない。上記アルゴリズムは並列処理化に著しく適している。

記述してきた方法の多様な優位点がここで説明される。

パターン認識
パターン認識の標準的な方法は、分類器(classifier)のトレーニングプロセスの要件を満たすためにすべてのクラスからの多数の代表的なパターンを必要とする。このような分類器は、選択された特徴がトレーニング集合の中で適切に表現されていない未知のパターンを特徴付けしない場合に依然として失敗するであろう。この方法は、比較中の２つの画像をのぞいてトレーニング集合を必要としない。

分類すべきパターン間の縮尺の差異に特に備えることはパターン認識の技法にとって普通である。視覚領域におけるこのような差異は、知覚要因及び他の要因のために発生する場合があり、補償するために分類器に過去の知識が組み込まれるのは一般的である。これは、εがもし多大でなければ、この方法においては必要ではない。

別の優位点は、飛躍的に高まる計算需要または雑音の影響を被らずに、さらに大きなデータ構造内に埋め込まれたパターンを識別する能力である。したがってこの方法はさらに大きな（例えば芸術の）作品から題材の部分が切り取られてきた著作権侵害を検出する問題、及び複製が蔓延していることが既知であるデータベースのサイズを縮小するというタスクに応用例がある。それは、一致のために全体的なプリントの一部だけが使用可能である犯罪現場の指紋を識別する問題にも直接応用できる。顔の認識のケースでは、方法は未知の顔の制限されている部分に基づいた検索に役立っている。これは、例えば、顎鬚及び口髭が不明瞭に繋がる可能性があるケースでは目と鼻の領域に基づいて純粋に検索を実行できることを意味する。

特定のパターンコンテンツに備えない限り、パターン認識の標準的なテンプレート方法は、例えばサラサラいう木、移動する雲、顔の表情の変化、でこぼこした表面での犯罪現場の指紋、あるいは雑音などがある視覚的なケースの場合でのように局所的な歪みまたは小さな移動のために比較中のパターンが異なるときには失敗する。このような準備には用途を事前に知っていることが必要となり、未知のパターンの歪みがシステム設計の要件に適合しない場合にはシステムは依然として失敗するであろう。この方法は、歪みの種類を事前に知らなくても局所的な歪みの影響を無視することができる。

方法は、一次元の音声信号、三次元のビデオデータ（ｘ、ｙ、時間）またはセンサアレイなどの任意のソースからのｎ次元の時間に依存したベクタなどの任意の次元のパターンに応用されてよい。音声認識のケースでは、特殊な経験則を使用しなくても音声の速度の変動を処理できる。従来の方法はこの問題を克服するために動的時間的歪み(Dynamic Time Warping)を使用するが、さらに大きな計算作業及び特に大きなマルチクラス問題においては誤判別の増加につながるワーピングプロセスの危険を呼び起こす。さらに発話の部分は、それらが談話の領域（例えば、最後の歯擦音を失った、「イエス（ｙｅｓ）」の代わりの「イェー（ｙｅａｈ）」）内で一意であるのならば、本発明を使用するワード識別に十分となるであろう。

この方法は、各画像内の近接のスコアを測定することによってこれらの問題に対処する。ピクチャエレメントが、（前述された我々の初期の特許出願に説明されるように）その近接が同じ画像の大部分の他の部分と大きく異なるならば、単一の画像内で重要であるのに対して、その近接が第２の画像の近接内のピクチャエレメントにかなり類似している場合にはそれは認知的に重要である。位置決め不良及び局所的な歪みの影響は、スコアが特定の制限内で影響を及ぼされないために大きく削減される。

スコアは互いを基準にして高いスコアを所有するパターンのグループを集めるために使用できる。各クラスタから取り出される代表的なパターンはそれ自体集められ、スーパクラスタを形成してよく、プロセスは非常に大きなパターンデータベースを構造化するために続行されてよい。ＱＢＥ(Query-By-Example)検索は、トップレベルの代表的なパターンのそれぞれに対して、及び次に過去のクラスタの最も高い得点を得た代表的なパターンに対応するサブクラスタ内の代表的なパターンのそれぞれに対してスコアを測定することによって実行できる。いくつかの代表的なパターンが、それらの代表的なパターンで高いスコアをたまたま有するパターンを含む重複するクラスタを表す可能性がある。該方法はパターン内で関心がある領域を迅速に定義してから、この制限された領域と基準パターン（Ｂパターン）の集合の間でスコアを引き出すために視覚的な注意の機構と組み合わせて使用されてよい。航空術の文脈(context)では、飛行物体は視覚的な注意を使用して迅速に検出される可能性があり、以後計算されたスコアが物体が鳥である可能性があるのか、あるいは飛行機である可能性があるのかを明らかにするであろう。

不均衡の検出
不均衡検出の標準的な方法は、（全体的な画像の小さな領域について区分的に実行されてよい）減法が２つの画像内で描写される元のオブジェクト上の同じ点に一致するピクチャエレメントの間で発生するように２つの画像間の正確な位置合わせ(registration)に大きく依存している。結果として生じる相違点−画像は、元の画像の相違点に一致するそれらの領域を強調表示する。これは、不確実性が正しい位置合わせ位置に生じ、結果として多くの見かけ上の(spurious)差異を生じさせる場合があるため、雑音が存在する場合にはきわめて困難になる。

雑音がない場合にも、局所的な歪みまたはわずかな被写体の移動が位置決め不良を引き起こし、歪みまたは移動自体が測定されていない場合にはほとんど重要ではない差異の領域が強調表示されるであろう。減法の前の線形または非線形のデジタル画像位置合わせ技法は部分的にはこの問題を補償するが、ケースの大きな割合でではこの問題を排除しない［４］。

従来の方法が直面した厳しい問題は、２つの画像が作成されたさまざまな条件から生じる。このような差異は、照明、気象条件、わずかに異なる視座、異なるフィルムの製造元、または異なる光学システムを備えた異なるカメラに由来することがある。これらの干渉はすべてコンテンツに関係しない画像間の見かけ上の差異を生じさせる。

画像キャプチャの条件により引き起こされる２つの画像間の差異は、このような差異が画像のすべての部分にわたり等しくスコアに影響を及ぼし、個々のスコアのランク順序付けを乱さないであろうために、この方法によって要因として除外される。２つの画像の間の大きな照度の差はピクチャエレメント照合のためにさらに大きな閾値（δ _ｊ上記参照）を利用することにより補償される。これは、例えばＸ線照射回数が２つの画像の間で異なる場合には必要となるであろう。

この方法には、画像Ａが画像Ｂ１、Ｂ２、Ｂ３等に比較される、複数の不均衡を検出できるという優位点もある。これは、画像フレームＢ１、Ｂ２、Ｂ３等が異なる待機条件及び他の通常の背景状態の典型的な例となるＣＣＴＶ侵入者検出のケースで有効となり、不均衡がすべての通常の画像フレームで検出される場合にだけ警報が生じるであろう。

これらの方法がパターン認識を必要とする以下のほぼすべての応用例に関連していることがわかるであろう。

顔認識、指紋認識、ＯＣＲ、画像検索、商標識別、偽造検出、監視、医療診断及び他。

それらは特に、病状の進行を追跡調査するために非常に可変且つ雑音が覆い画像の比較が必要である医療産業に関連している。例えば、乳房撮影の癌性増殖の可能性の識別は多くの場合異なるときに撮影されたＸ線から拾い集められ、自動的な補助はレントゲン技師のスループットを高めるであろう。別の例では、コントラストの強化は通常、コントラスト注入の後に撮影された画像から通常の胸のＸ線画像を差し引くことにより得られ、適切な位置合わせを得ることは得るのが困難であるだけではなく、プロセスの成功にも重大である。我々が説明してきた方法は、付随する位置合わせの問題なしにより鮮明な結果を提供できる。

乳房撮影のための高度ソフトウェア検出システム（例えば、ｈｔｔｐ：//ｗｗｗ．ｒ２ｔｅｃｈ．ｃｏｍ／ｐｒｄ／）は癌に一般的に関連付けられる特定の特徴を指摘することができるが、時間的な比較の問題はおおむね処理されていない。

（参考文献）
（１）ＶａiｌａｙａＡら、コンテンツベースのインデックスのための画像分類、ＩＥＥＥ技報、画像処理、第１０巻、第１号、１１７から１３０頁、２００１年１月
（２）ＳａｎｔｉｎｉＳおよびＪａｉｎＲ、相似マッチング、第２回コンピュータ画像についてのアジア会議、第２巻５４４から５４８頁、ＩＥＥＥ、１９９５年
（３）ＩＥＥＥ技法ＰＡＭＩ、画像監視に関する特別項目、第２２巻、第８号、２０００年８月
（４）ＢｒｏｗｎＬＧ、画像レジストレーション技法についての研究、ＡＣＭＣｏｍｐｕｔｉｎｇＳｕｒｖｅｙｓ、第２４巻、第４号、１９９２年１２月、３２５から３７６頁

本発明を実行するための装置のブロック図である。本発明の動作を描く図である。本発明のある実施形態による図１の装置によって実行される工程のフローチャートである。いくつかの画像及びそれらのために得られた数値結果を描く。いくつかの画像及びそれらのために得られた数値結果を描く。いくつかの画像及びそれらのために得られた数値結果を描く。いくつかの画像及びそれらのために得られた数値結果を描く。いくつかの画像及びそれらのために得られた数値結果を描く。いくつかの画像及びそれらのために得られた数値結果を描く。

Claims

それぞれが値を有するディジタルで記憶された要素の第１の順序集合により表される第１のパターンを、それぞれが値を有するディジタルで記憶された要素の第２の順序集合により表される第２のパターンと比較する方法であって、ディジタル演算処理手段によって、該第１の順序集合の複数の要素のそれぞれに対して、
（ｉ）第１の順序集合から検討中の要素に近接して複数の要素を選択する工程であって、該選択された要素が、順序集合内で、検討中の要素に関連したそれぞれ互いに異なる位置
を有する、工程と、
（ｉｉ）第２の順序集合の要素を選択する工程と、
（ｉｉｉ）第１の順序集合の選択された複数の要素を、第１の順序集合の選択された複数の要素のそれぞれの要素が検討中の要素に関して持つのと同じ位置を第２の順序集合の選択された要素に関して、第２の順序集合の中で有する第２の順序集合の各類似した複数の要素と比較する工程であって、前記比較が、所定の一致基準に従って、第２の順序集合の類似する複数の要素の相応して配置される要素の値と、第１の順序集合の選択された複数の要素のそれぞれの値とを比較して、第１の順序集合の複数の要素が第２の順序集合の複数の要素に一致するという結論を出す工程を含む、工程と、
（ｉｖ）前記比較を反復する工程であって、前記比較の少なくとも幾つかは、第１の順序集合の複数の要素の新たな選択に関わるものもあり、前記比較の少なくとも幾つかは、第２の順序集合の複数の要素の新たな選択に関わるものもある、工程と、
（ｖ）該比較が一致を示す比較の数の関数として類似性測度を検討中の要素について生成する工程と、
を実行することを備える、方法。
第１の順序集合の複数の要素が検討中の要素を含む、請求項１に記載の方法。
第１の順序集合の複数の要素の選択が無作為または擬似ランダムである、請求項１または請求項２に記載の方法。
第２の順序集合の要素の選択が無作為または擬似ランダムである、請求項１乃至請求項３のいずれか１項に記載の方法。
一致の決定を生じさせる比較に続いて、第１の順序集合の複数の要素の新たな選択及び第２の順序集合の要素の同じ選択とのさらなる比較が実行される、請求項１乃至請求項４のいずれか１項に記載の方法。
一致がないという結論を生じさせる比較に続いて、第２の順序集合の要素の新たな選択及び第１の順序集合の複数の要素の同じ選択とのさらなる比較が実行される、請求項１乃至請求項５のいずれか１項に記載の方法。
それぞれの値が複数の構成要素を備える、請求項１乃至請求項６のいずれか１項に記載の方法。
該比較が所定の回数実行される、請求項１乃至請求項７のいずれか１項に記載の方法。
類似性測度が、該比較が、比較の初期の数を除き、一致を示す比較の数の関数である、請求項１乃至請求項８のいずれか１項に記載の方法。
検討中の要素が多数の一致を示す類似性測度を生じ、第１の順序集合のさらなる要素が検討されるときに、それと比較される第２の順序集合の要素の第１の選択が、第２の順序集合の要素であって、前記多数の一致をした第２の順序集合の要素に対する第２の順序集合内の該要素の位置が、検討中の前の要素に対する第１の順序集合の該さらなる要素の位置と同じである、請求項１乃至請求項９のいずれか１項に記載の方法。