JP4909479B2 - ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法 - Google Patents

Description

【０００１】
（発明の分野）
本発明は、色とパターンの情報に関してテンプレート画像と一致するターゲット画像領域を突き止めるためのシステムおよび方法に関し、本発明は、テンプレート画像を特徴付けする効率的な方法と、色とパターンのマッチング（一致）を行う改良型の方法と、回転された場合および／または拡大縮小された場合の一致を突き止める改良型の方法を含む。
【０００２】
（関連技術の説明）
多くの用途において、より大きなターゲット画像中にテンプレート画像と一致する１つまたは複数の画像を見つけることが必要であるか望まれる。このような用途としてはとりわけ、プロセス監視、フィードバック制御、およびラボラトリ・オートメーションを含めたマシン・ビジョン用途と、画像／ビデオ圧縮と、ビデオ・カメラにおけるジッタ補償が挙げられる。ターゲット画像中の位置を一致として分類する際、色とパターンの情報を含めた様々な特性を使用することができる。
【０００３】
従来技術のパターン認識システムは通常、テンプレート・マッチング技法を用いてきたが、この技法では、突き止めるべき記憶された画像またはパターンが、テンプレートを突き止めようとするターゲット画像の様々な部分とテンプレートとを反復的に比較する。図１に、従来技術で知られているパターン一致の問題を示す。図示のように、パターン一致の問題はテンプレート画像に関係し、テンプレート画像の１つまたは複数のインスタンスをターゲット画像中で突き止めることが望まれる。テンプレート画像とターゲット画像がパターン一致・アルゴリズムに提供され、パターン一致・アルゴリズムがパターン一致を行う。パターン一致・アルゴリズムは一般に、テンプレート画像中のピクセル、例えばピクセルに関連するグレースケール値を、またはサンプル・ピクセルの選択されたサブセットを、ターゲット画像中の可能性ある様々な位置と比較するように動作する。
【０００４】
通常、パターン一致・アルゴリズムは、テンプレート画像、またはテンプレート画像を表すサンプル・ピクセルのサブセットを、水平なピクセル列ごとに、かつ水平な走査線ごとにターゲット画像中の位置と比較する。言い換えれば、２Ｄ相関などを用いて、テンプレート画像を表すサンプル・ピクセルをターゲット画像中のピクセルの一部と比較し、次いで、テンプレートを表すサンプル・ピクセルをターゲット画像中のピクセル走査線またはピクセル列の１つ下または向こうに移動させ、パターン一致・アルゴリズムを繰り返し、以後同様にする。したがって、パターン一致・アルゴリズムは一般に、テンプレート画像ピクセルを反復的な方式でターゲット画像中の可能なすべての位置と比較する。パターン一致は、画像中の一致の位置と、一致の品質と、おそらくは一致の配向、サイズ、および／またはスケーリングをもたらすことができる。
【０００５】
テンプレートは通常、相関に基づくパターン一致を利用して、すなわち正規化された２次元相関（正規化２Ｄ相関）を用いて、ターゲット画像の一部と比較する。この２Ｄ相関は、テンプレートを画像のそれぞれの部分に配置し、テンプレート中のピクセルと画像の対応部分中のピクセルとの間で、グレースケール値などピクセルに関連する値を使用して完全な正規化２Ｄ相関を行うことによって実施する。この相関は、通常、相関または一致の度合いを示す相関値をもたらす。例えば、相関値の範囲は−１と＋１の間であり、＋１は完全な一致を示す。０は一致しないこと、すなわち２つの画像が相関しないことを示し、−１は２つの画像が逆相関すること、すなわち一致の正反対であることを示す。
【０００６】
正規化２Ｄ相関のオペレーションは点別乗算(point-wise multipkication）に基づくが、まず画像の一部の上にテンプレートを概念的に配置し、テンプレートの各ポイントまたはピクセルに関連する値に、ターゲット画像のそれぞれの部分における対応するピクセル値を掛け、この結果をテンプレート全体にわたって合計する。また前述のように、テンプレート画像は一般に、反復的な方式でターゲット画像の可能な各部分と比較する。したがって、この手法は非常に計算集約的である。
【０００７】
より効率的なパターン一致技法を実現するために、様々な最適化またはアルゴリズムが開発されてきた。ある従来技術は、サンプル・ピクセルと呼ばれる、テンプレート画像から選択されたサンプルまたはピクセルを使用してテンプレート画像を表し、それにより相関における計算の数を削減するものである。
【０００８】
図２に、サンプル・ピクセル数を削減してテンプレートの特徴付けを行うことを含む従来技術のパターン一致プロセスを示す。このプロセスでは、テンプレートの特徴付けを行って、テンプレート画像から特徴を抽出する。言い換えれば、テンプレート画像の特徴を正確に表すと考えられるより少数のポイントまたはピクセル（サンプル・ピクセルと呼ばれる）でテンプレート画像を表すために、テンプレートを特徴付けする。テンプレート画像をこのようにして特徴付けするのは、パターン一致に必要な時間が一般に、パターン一致で使用されるテンプレート画像を表すポイントまたはピクセルの数に直接に比例するからである。したがって、テンプレートを特徴付けして、相関オペレーションに使用するサンプルまたはピクセルの数を削減し、それにより計算量を削減する。より少ない数のサンプル・ピクセルを生成した後、次いでこれらのサンプル・ピクセルをパターン一致・アルゴリズム中で使用して、ターゲット画像中でテンプレート画像のインスタンスを突き止める。
【０００９】
テンプレート画像を特徴付けする従来技術の技法は、テンプレートのグリッド・ベースのサンプリングなど、テンプレートの均一サンプリングを利用してきた。別の従来技術の技法は、テンプレート画像内のランダムなポイントまたはピクセルを利用し、これらのランダムなサンプル・ピクセルを相関ベースのパターン一致に使用するものである。しかし、以上の従来技術の技法はそれぞれ、必ずしもテンプレート画像をよく表すまたは特徴付けるとは限らないピクセルのサブセットをテンプレート画像中で選択するように作用する。言い換えれば、テンプレート画像の均一サンプリングまたはランダム・サンプリングは、テンプレート画像のパターン情報を最もよく表す最適なサンプルまたはピクセルのサブセットを生み出さないことが多い。
【００１０】
したがって、相関ベースのパターン一致のための改良型のシステムおよび方法が望まれている。より具体的には、なるべく少ないサンプルでテンプレート画像を最もよく表すサンプルまたはピクセルをテンプレート画像から特徴付けするまたは選択するための、改良型のシステムおよび方法が望まれている。加えて、パターン一致オペレーションで必要とされる相関オペレーションの数を削減する改良型のシステムおよび方法もまた望まれている。さらに、回転された画像、平行移動された画像、およびサイズが拡大縮小された画像に対してパターン一致を行うための改良型の技法も望まれている。
【００１１】
グレースケール・パターン一致の問題、例えばコントラストが増加したり物体が背景から分離したりすることによる問題を単純にするために、色情報をしばしば利用することができる。また、用途によっては、色情報をそれだけで、すなわちパターン情報を伴わずに利用して、ターゲット画像の一致を突き止めることもできる。これは例えば、ある領域内にどのように色が配列されているかということやその領域の空間的配向ではなく、その領域の累積的な色情報に用途が依存する場合である。
【００１２】
マシン・ビジョンの用途において、色は、物体を識別することおよび場面から抽出することをしばしば単純にする強力な記述子である。色の特徴付け、位置決め、および比較は、マシン・ビジョンの重要な部分であり、多くの種類の組立ておよび包装検査の用途で使用される。検査は、正しい構成要素が正しい位置にあることを検証することを含む。例えば、色情報は、ダイオード、抵抗器、集積回路、コンデンサを含めた様々な構成要素を備えるプリント回路板の検査で使用することができる。これらの構成要素は通常、自動装置を使用して回路板上に配置されるが、マシン・ビジョン・システムは、すべての構成要素が適切な位置に配置されたことを検証するのに有用である。
【００１３】
別の例として、色情報は、自動車産業で自動車の組立て品に正しい構成要素があることを検証するのに広く使用されている。これらの組立て品の中の構成要素は複数の色が付いていることが非常に多い。例えば、色の特徴付けを用いて、接続箱の中のヒューズを特徴付けして検査することができる。すなわち、すべてのヒューズがあり、かつ正しい位置にあると決定することができる。別の例として、複数の色が付いた自動車内部の一部にある生地に一致させることが必要な場合がしばしばある。色の特徴付け方法を用いて、いくつかの生地のどれを使用するか決定することができる。
【００１４】
色空間（またはカラー・モデル）は、色、および色の相互関係を表す方式の１つである。色空間は本質的に、多次元（例えば３Ｄ）座標系と、この座標系内の、各色が単一のポイントまたはベクトルで表される部分空間とである。画像処理システムおよびマシン・ビジョン・システムは、ＲＧＢ、ＨＳＩ（またはＨＳＬ）、およびＣＭＹを含め異なるいくつかの色空間を使用する。ＲＧＢ空間では、各色は、その主要スペクトル成分の赤、緑、および青として現れる。このＲＧＢ色空間はデカルト座標系に基づく。ＲＧＢモデルは３次元立方体で表され、各軸の辺に赤、緑、青がある。立方体の中の各点が色を表し、この点の座標が、その色の中にある赤、緑、青の成分の量を表す。ＲＧＢ色空間中の赤、緑、青の色成分は相関が強いので、輝度／明るさに依存しない特徴で色を特徴付けするのは困難である。
【００１５】
Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｉｎｔｅｎｓｉｔｙ（輝度）（ＨＳＩ）、またはＨｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｌｕｍｉｎａｎｃｅ（明るさ）（ＨＳＬ）の色空間は、人間にとってより定量化しやすい観点から色を配置するために開発されたものである。色相成分は、橙、緑、紫など、我々が通常考える色である（虹は、色相の範囲を視覚化した形の１つである）。したがって色相は、見る人によって知覚される優勢な色を表す。彩度は、存在する色の深さを指す。彩度は色相に混合された白色光の量によって測定する。純粋なスペクトルでは、色は完全に飽和している。ピンク（赤と白）やラベンダー（紫と白）などの色は、飽和度がより低い。輝度または光の成分は、画像中に存在するグレイネスの量を指す。
【００１６】
ＨＳＩモデル空間で表された色は、２つの理由で、マシン・ビジョン用途に理想的な場合がある。第１に、ＨＳＩは、色情報とは別に輝度（明るさ）成分を含む。第２に、色相と彩度が密接に関係することにより、人間がどのように色を知覚するかがより厳密に表される。したがって、色測定および色一致では、ＨＳＩ空間で色を特徴付けすることが望ましい。
【００１７】
ＨＳＩは、円柱座標でモデリングされる。可能なモデリングの１つは、ダブル・コーン・モデル、すなわち、２つの円錐の端と端が接している、または一方の円柱の下に他方の円柱が逆向きに付いているモデルを含む（図４参照）。ダブル・コーン・モデルに関する情報については、「Ａ Ｓｉｍｐｌｉｆｉｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」，Ｒａｎｄｙ Ｃｒａｎｅ，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，１９９７を参照されたい。色相は、角度θとして表され、０°から３６０°まで変動する。彩度は、半径方向または放射状方向に対応し、０から１まで変動する。輝度は、ｚ軸に沿って変化し、０が黒であり１が白である。Ｓ＝０のとき、この色は、上部円錐の底部の境界上にあり、完全に飽和している。Ｉ＝０のとき、この色は黒であり、したがってＨは定義されない。
【００１８】
Ｒ、Ｇ、Ｂの値が０〜１の範囲に正規化されていると仮定すると、以下の式を使用してＲＧＢ色空間からＨＳＩ（またはＨＳＬ）色空間に変換することができる。
【数１】

【００１９】
輝度Ｉ（または明るさＬ）もまた、以下の式で表すことができる。
Ｌ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
これは、ＲＧＢの値の重み付き合計である。
【００２０】
Ｈに対する式は、間隔［０°，１８０°］中の値をもたらす。Ｂ／Ｉ＞Ｇ／Ｉである場合は、Ｈは１８０°よりも大きく、Ｈ＝３６０°−Ｈとして得られる。
【００２１】
カラー・マシン・ビジョン・システムにおける従来技術では、様々な技法を用いて色を測定し一致させる。当業者なら、画像の「しきい値処理」についてよく知っているであろう。カラー画像にしきい値処理を施すには、画像を構成する３つの面のそれぞれにしきい値を適用する。ＲＧＢモードでは、特定の色を選択するには、その色を構成する赤、緑、青の値を知る必要がある。ＲＧＢモードでは、色を輝度から分離させることは不可能である。したがって、ＲＧＢ空間に基づくヒストグラム・インターセクションなどの特徴付けアルゴリズムは、輝度の影響を受けやすいことになる。このことに関するこれ以上の情報については、「Ｃｏｌｏｒ Ｉｎｄｅｘｉｎｇ」，Ｍｉｃｈａｅｌ Ｊ．Ｓｗａｉｎ，Ｉｎｔｅｒｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．７：１，１１〜３２ページ，１９９１を参照されたい。
【００２２】
ＨＳＩ色空間では、色と輝度の情報を分離することができるので、普通はカラー画像を色相の面でしきい値処理して、優勢な色（色相）を識別する。しかし、しきい値処理の技法によって複数のカラー物体を区別するのは困難であり、特に、彩度を考慮しなければならないときは困難である。さらに、多くのマシン・ビジョン用途では黒および白の色が背景色であり、これらを表すのに色度（すなわち色相および彩度）を用いることができない。したがってマシン・ビジョン用途では、黒および白の色を表すのにも、輝度値を使用しなければならない。
【００２３】
従来技術の色一致技法では普通、ターゲット物体とテンプレート物体との対応ピクセル間の色の違いを計算する。これらの従来技術の技法は一般に、ターゲット物体のピクセルとテンプレート物体のピクセルとで、ピクセルごとの比較またはピクセル間の引き算を行う。次いで、これらのピクセルごとの比較結果をまとめて、ターゲット物体とテンプレート物体の全体の間における、色の類似性のレベルを決定する。ピクセルごとに比較する計算コストは非常に高く、リアルタイムで達成することは困難である。より効率的な色一致方法が望ましい。より具体的には、マシン・ビジョン用途で画像中の色をより効果的に特徴付けし、比較することができるようにするのが望ましい。
【００２４】
米国特許第５４１０６３７号（Ｋｅｒｎ）は、ファジィ論理を用いて、製造サンプルまたは在庫サンプルに対する、受け入れられる合格／不合格の許容度を確立する。このプロセスは、最初に、視覚的検査に従って合格または不合格の符号が付けられた一連の訓練画像サンプルを記憶する。許容度の初期値は、訓練セット中の合格サンプルの高い／低い値によって決定される超楕円である。クラシファイア・テンプレートが、超楕円許容度を用いて、訓練セット中のあらゆるサンプルをランク付けする。次いでプロセスは、ファジィ論理を採用して、最適化された許容度を得るが、この許容度は、クラシファイア・テンプレートと視覚ランクとの間のランク付けエラー合計を最小限に抑えるものである。本質的にこのプロセスは、合格／不合格の色分類を構築する。このプロセスを使用すると、画像中の色を定量的に測定すること、あるいは１つの画像または別々の２つの画像中にある２つの物体間の定量的な色の類似性を測定することができない。
【００２５】
米国特許第５０８５３２５号（Ｊｏｎｅｓ）は、色をソートするシステムおよび方法を実施する。この方法は、良いサンプル画像および悪いサンプル画像に基づいて、一連の０（受諾）および１（拒否）を含むルックアップ・テーブルを生み出す。ソート・プロセス中に、入力画像のピクセル値を使用してルックアップ・テーブルをアドレス指定するが、ルックアップ・テーブルの出力は１か０のいずれかである。拒否（１）を累計した数が指定の数Ｋよりも大きい場合、入力画像は拒否される。この色ソート方法は、ピクセルごとの比較に基づく。ルックアップ・テーブルを記憶するために、大きなメモリが必要である。特別なハードウェア・アドレス指定方法によれば処理速度を上げることができるものの、複雑な色の物体をソートするための計算コストはやはり非常に高い。
【００２６】
米国特許第５７５１４５０号（Ｒｏｂｉｎｓｏｎ）は、２つのディジタル画像の色の違いを単一の「距離」として測定する方法を提供する。この「距離」は、２つの画像の、対応するピクセルの色の違いすべての平均である。前述のＪｏｎｅｓの特許と同様、距離を計算するコストは非常に高い。このテンプレート画像は、オンラインで色一致を行うためにコンピュータのメモリに記憶する必要がある。テンプレートとターゲットの画像サイズが同じでない場合は、一致プロセスを開始できるようになる前に、画像を整合またはサイズ変更するための特別なオペレーションを行わなければならない。この手法のもう１つの欠点は、「距離」測定に基づいた場合、拡大縮小されても回転されても変わらない色一致を有することができないことである。
【００２７】
（発明の概要）
本発明の一実施態様は、画像の色または画像の領域を特徴付けるように動作する色特徴付け方法を含む。画像は、ＨＳＩ形式で得ること、あるいは別法では、別の形式からＨＳＩ形式に変換することが可能である。例えば、画像は、Ｎａｔｉｏｎａｌ Ｉｎｓｔｒｕｍｅｎｔｓカラー画像獲得ボードＰＣＩ−１４１１によってＨＳＩ形式で獲得することが可能である。この色特徴付け方法は、ＨＳＩ空間をｎ個の色のカテゴリ（下位空間またはビンとも呼ぶ）に分割し、ここで、ｎは、関与する色のカテゴリの数である。カラー空間内の異なる色のカテゴリの数は、色特徴付けの所望の複雑さに依存することが可能である。
【００２８】
各画像オブジェクト・ピクセルごとに、本方法は、それぞれのピクセルの値、すなわち、色相の値、彩度の値、および輝度の値に基づいてそれぞれのピクセルに対する色のカテゴリを判定する。そのカラー・カテゴリは、ＨＳＩ空間における複数の可能なカラー・カテゴリまたはビン（または下位空間）のうち１つである。次に、各カテゴリに割り当てられたピクセルの数が数えられ、関与する選択した領域（または画像全体）内のピクセルの総数によって正規化される、すなわち、各色のカテゴリにおけるピクセルのパーセンテージが、画像またはＲＯＩの色を特徴付ける。また、各色のカテゴリにおけるピクセルのパーセンテージを画像の色分布の定量的測定値として使用することもできる。
【００２９】
様々な実施態様では、ファジイ・メンバシップ関数を適用して、カラー空間ビンの間でピクセルの所望の分布を決定することができる。例えば、色特徴付け方法中に、例えば、分数の重み付けでピクセルを複数のビンに割り当てることができる。この複雑さの増大により、より正確な色の一致突き止めの結果がもたらされる。各ピクセルごとに、ビン内のどこにそのピクセルが該当するかに基づき、ファジイ・メンバシップ関数を適用することができる。このファジイ・メンバシップ関数は、１つまたは複数の隣接するビンに対してピクセルがなすべき寄与を決定することができる。例えば、ピクセルがビンの縁の付近に該当する場合には（ビンがそれに対応するカラー空間の部分に関して）、ファジイ・メンバシップ関数は、そのピクセルがその近くにある隣接するビンにそのピクセルの重みの一部が寄与すべきことを決定することができる。この関数は、任意の数のビンに対してピクセルがなすべき寄与を決定することができ、これらの寄与の合計は１００％である。三角形ファジイ・メンバシップ関数、台形ファジイ・メンバシップ関数、およびステップ・ファジイ・メンバシップ関数を含む様々な型のファジイ・メンバシップ関数のうちどれでも適用することができる。
【００３０】
本発明の別の実施態様は、色情報およびパターン情報に関してテンプレート画像と少なくともある程度、一致するターゲット画像内の領域を探し出すためのシステムおよび方法に関する。複数のピクセルを含むテンプレート画像がコンピュータ・システムによって受け取られることが可能である。テンプレート画像の色情報を決定するため、例えば、前述した色特徴付け方法を使用して、色特徴付け分析を行うことができる。また、テンプレート画像のパターン情報を特徴付ける方法も行うことができる。
【００３１】
次に、テンプレート画像の色情報およびパターン情報に一致するターゲット画像内のゼロまたはいくつかの領域を見つけるため、マシン・ビジョン・アプリケーションのためのカメラによって獲得された画像などのターゲット画像を探索することができる。様々な実施態様では、所望の一致する細分性に関するオプションまたは探索の効率および時間要件に影響を与えるオプションなどの、探索を行う際に使用するオプションを指定するユーザ入力を受け取ることが可能である。
【００３２】
探索は、複数の色一致候補領域、すなわち、色に関してテンプレート画像に一致するターゲット画像内の領域を見つけるために、テンプレートの色特徴付け分析で得た色情報を使用して第１パス探索を行うことを含む。例えば、ターゲット画像内の様々な領域の色特徴付け分析を行うことができ、また色に関して領域がテンプレート画像と一致するかどうかを判定するため、各領域ごとの色情報をテンプレート画像の色情報と比較することができる。この第１パス探索で使用する色一致基準は、比較的緩いものであることが可能である。すなわち、分析する領域は、色一致候補領域と見なされるために、テンプレート画像の色情報に非常に近く一致する必要はない。
【００３３】
第１パス探索で見つけられた各色一致候補領域ごとに、テンプレート画像のパターン情報特徴付けで得たパターン情報に基づき、各色一致候補領域に近接した、またはそれを囲む領域（「近接」領域または「周囲」領域）を、次に、詳細に探索することができる。パターン・ベースの探索の概要を以下に説明する。「近接領域」のこのパターン一致探索は、ターゲット画像内でゼロまたはいくつかの一致領域をもたらすことが可能である。各周囲領域のパターン一致探索で見つけられたゼロまたはいくつかの一致領域は、何らかの所望の距離または度合い近さに応じて、色情報およびパターン情報に関して、テンプレート画像と一致している。
【００３４】
一実施態様では、テンプレート画像およびターゲット画像領域に関して行われる色特徴付け分析方法は、画像内の各ピクセルごとに、それぞれのピクセルの値、すなわち、色相の値、彩度の値、および輝度の値に基づき、ピクセルに関する色のカテゴリを決定し、この色のカテゴリは、ＨＳＩ空間における複数の可能な色のカテゴリまたはビン（または下位空間）のうち１つであることを含む。次に、各カテゴリに割り当てられたピクセルの数が数えられ、画像内のピクセルの総数によって正規化される。言い換えれば、各色のカテゴリにおけるピクセルのパーセンテージが、画像の色を特徴付ける。また、各色のカテゴリにおけるピクセルのパーセンテージを画像の色分布の定量的測定値として使用することも可能である。
【００３５】
第１パス色一致探索は、例えば、領域が互いにステップ・サイズでずれているターゲット画像内の連続する領域に関して前述した色特徴付け方法を行うことにより、様々な領域でターゲット画像の色情報をサンプリングすることに関わることが可能である。色特徴付け方法は、ターゲット画像領域ピクセルのすべてまたはそのサブセットの基づいて行うことができる。各領域で、その領域の色情報とテンプレート画像の色情報の差の大きさを判定することができ、その差が十分に小さい場合、その領域を色一致領域候補として指定することができる。各色一致領域候補ごとに、テンプレート画像に対して行ったパターン特徴付け方法で得た情報を使用して、次に、その色一致領域候補に近接する、またはそれを囲むより大きい領域内で、パターン一致方法を行うことができる。
【００３６】
一実施態様では、テンプレート画像に対して行われるパターン特徴付け方法は、疑似ランダム数列とも呼ばれるＬｏｗ Ｄｉｓｃｒｅｐａｎｃｙ数列を使用してテンプレート画像をサンプリングし、テンプレート画像のパターン情報を特徴付けるテンプレート画像内の複数のサンプル・ピクセルを決定することを含む。このサンプル情報を後の使用のために記憶することができる。様々な実施態様では、テンプレート画像を異なるカラー空間平面内でサンプリングすることが可能である。例えば、一実施態様では、画像を各色相の平面、彩度の平面、および／または輝度の平面でサンプリングすることができる。
【００３７】
サンプル・ポイント間の距離を最大限にするサンプル・ポイントを生成するようにＬｏｗ Ｄｉｓｃｒｅｐａｎｃｙ数列を設計することができる。また、Ｌｏｗ Ｄｉｓｃｒｅｐａｎｃｙ数列サンプリングは、より少ないポイントをもたらし、かつ／またはランダム数列サンプリングまたは一様サンプリングよりも良好なテンプレート画像パターンの特徴付けをもたらすことができる。Ｌｏｗ Ｄｉｓｃｒｅｐａｎｃｙ数列の例には、Ｈａｌｔｏｎ数列、Ｓｏｂｏｌ数列、Ｆａｕｒｅ数列、およびＮｉｅｄｅｒｒｅｉｔｅｒ数列が含まれる。テンプレート画像のパターン情報および色情報のサンプリングまたは特徴付けは、好ましくは、ターゲット画像の受取りに先立ってオフラインで行われる。したがって、テンプレート画像の分析は、好ましくは、リアルタイム要件によって制約されない。色一致領域候補を決定した後、パターン特徴付け方法で決定されたサンプル・ポイントを使用して、各色一致領域に近接する、またはそれを囲む領域のパターン情報をテンプレート画像のパターン情報と比較することができる。
【００３８】
別の実施態様では、パターン特徴付けは、テンプレート画像をサンプリングすることに関わることが可能であり、テンプレート画像は、第１の複数のピクセルを含み、またサンプリングは、第２のより少ない数のサンプル・ピクセルをもたらす。このサンプリングは、前述したＬｏｗ Ｄｉｓｃｒｅｐａｎｃｙ数列を含む様々なサンプリング技法を使用することができる。次に、少なくともサンプル・ピクセルのサブセットのまわりでローカル安定性分析を行い、所望の度合いの安定性を有するより少ない数のサンプル・ピクセルを決定することができる。ローカル安定性分析は、サンプル・ピクセルのまわりの空間的乱れに対するサンプル・ピクセルのサブセットのそれぞれの安定性を確実にするように動作する。各ピクセルごとに、ローカル安定性分析は、好ましくは、サンプル・ピクセルのまわりの近傍を見つけることを含む。ただし、サンプル・ピクセルの値、例えば、グレースケールの値は、その近傍内のテンプレート画像のピクセル値と高度に相関する。ローカル安定性分析は、好ましくは、サンプル・ピクセルのすべてに対して行う。次に、第３の複数のサンプル・ピクセルをパターン一致で使用することができる。
【００３９】
一実施態様では、ローカル安定性分析は、異なる安定性近傍サイズを有する複数組のサンプル・ピクセルを決定し、また色一致領域候補を囲む各領域に対して行われるパターン一致は、異なる組のサンプル・ピクセルを使用してパターン一致を複数回、反復して行うことを含む。この反復は、好ましくは、粗いものから細かいものに向うように、例えば、次々に小さくなる安定性近傍サイズを有する数組のサンプル・ピクセルを使用して行うことができる。パターン一致のこの複数回の反復は、また、異なる組のサンプル・ピクセルのそれぞれに対して異なるステップ・サイズを使用することも可能であり、そのステップ・サイズは、好ましくは、安定性近傍サイズと一致する。したがって、粗いものから細かいものに向うパターン一致の複数回の反復は、好ましくは、次々に小さくなる安定性近傍サイズおよび／または次々に小さくなるステップ・サイズを有する数組のサンプル・ピクセルを使用する。例えば、パターン一致の第１の反復が、テンプレート画像のパターン情報と一致する可能性がある領域内の１つまたは複数の候補パターン一致領域を決定することが可能であり、また、次に、パターン一致の１回または複数回の第２の反復を領域内の決定された１つまたは複数の候補パターン一致領域で行うことが可能であり、以下同様である。
【００４０】
また、本明細書に記載する技法を使用してパターン一致を行い、色ターゲット画像内で回転された、または拡大縮小された色テンプレート画像の１つまたは複数のインスタンスを探し出すことも可能である。テンプレート画像のパターン特徴付けは、１つまたは複数の組のサンプル・ピクセルをもたらす１つまたは複数の回転して不変なパス、好ましくは、円形の周辺に沿ったテンプレート画像の第１のサンプリングを含むことが可能である。次に、行われるパターン一致は、１つまたは複数の組のサンプル・ピクセルのそれぞれとターゲット画像の間の周期的な相関を使用して、色一致候補領域を囲む各領域内のテンプレート画像のゼロまたはいくつかの領域を決定することができる。このパターン一致は、ターゲット画像内でテンプレート画像の回転されたバージョンを検出する。
【００４１】
一実施態様では、少なくともサンプル・ピクセルのサブセットのまわりでローカル安定性分析を行うことができる。次に、パターン一致が、そのローカル安定性分析に基づき、１つまたは複数の円形の周辺に沿った１つまたは複数の組のサンプル・ピクセルを使用することができる。ローカル安定性分析は、好ましくは、異なる安定性近傍サイズを有する複数組のサンプル・ピクセルを決定する。この場合、パターン一致は、好ましくは、粗いものから細かいものに向うように異なる組のサンプル・ピクセルを使用して、例えば、次々に小さくなる安定性近傍サイズを有する円形パスからの数組のサンプル・ピクセルを使用して、パターン一致を複数回、反復して行うことを含む。パターン一致は、また、異なる組のサンプル・ピクセルのそれぞれに関して異なるステップ・サイズを使用することも可能である。前述したとおり、各領域内のパターン一致の第１の反復が、ターゲット画像内で１つまたは複数の候補パターン一致位置およびそれに対応する回転値を決定し、また、それぞれの回転値を使用して領域内の決定された１つまたは複数の候補パターン一致位置でパターン一致の１回または複数回の反復を行うことが可能であり、以下同様である。最終のパターン一致は、実質的に、それぞれの候補位置で、決定された回転値を使用してテンプレート画像ピクセルのすべてを利用することが可能である。
【００４２】
本発明の別の実施態様は、前述した色特徴付け方法を使用することができる色一致突き止め方法を含む。テンプレート画像の色情報が特徴付けられると、一致する色情報を有するターゲット画像内の領域を探し出すため、ターゲット画像を探索する。一実施態様では、より小さくなる細分性の複数のパスがそこで行われる、粗いものから細かいものに向うヒューリスティックを利用することができる。第１パス探索は、候補一致領域のリストを識別するように動作することが可能である。例えば、ターゲット画像をステップ間隔でステップして渡ることが可能であり、前述した色特徴付け方法を使用して、各ステップでターゲット画像領域の色情報が特徴付けられる。各ターゲット画像領域ごとに、ターゲット画像領域の色特徴付け情報とテンプレート画像の色特徴付け情報の差の大きさを計算することができる。この差がしきい値よりも小さい場合には、そのターゲット画像領域を候補領域のリストに追加することができる。
【００４３】
各候補領域ごとに、次に、例えば、第１パス探索で使用したのよりも小さいステップ・サイズを使用して近接領域をステップスルーすることにより、その候補領域に近接するより大きい領域（領域）を探索することができる。各ステップで、隣接する領域内のターゲット画像領域の色情報が特徴付けられ、テンプレート画像の色情報と比較される。テンプレート画像の色情報に最もよく一致する初期候補領域に近接する領域内のターゲット画像領域を第２パス候補領域と見ることができる。ターゲット画像領域が第２パス候補領域であるかどうかを判定するのに使用するマッチング基準は、好ましくは、第１パス探索で使用する基準よりも強力である。すなわち、ターゲット画像の色情報とテンプレート画像の色情報の差として計算される値は、第１パス探索で使用したより小さいしきい値よりも小さくなければならない。
【００４４】
前述したプロセスは、所望の反復回数だけ反復することができる。各反復で、例えば、所定の数の探索パスが行われるまで、またはステップ・サイズが可能な限り小さくなるまで、かつ／またはマッチング基準が可能な限り厳密になるまで、使用されるステップ・サイズは、好ましくは、小さくなり、また、領域が候補と見なされるために色差の大きさは、好ましくは、小さくならなければならない。最終回の反復が行われると、まだ候補一致領域として残っているどのターゲット画像領域も、最終的に一致したものと見ることができる。
【００４５】
前述した色一致突き止め方法は、多くの用途において役に立つ。例えば、この方法は、サブピクセル以下の精度でターゲット画像内でテンプレート画像を正確に突き止めることを必要としない用途において、特に役に立つ。例えば、いくつかの用途は、ある精度までの一致を非常に迅速に決定することを必要とすることがあるが、パターン情報もマッチングで使用される場合に得ることができる精度で突き止めが決定されることを必要としないであろう。このより粗い突き止めの決定は、多くの用途に、例えば、ブリスタ・パック内に色符号化されたピルが存在するかどうかを判定する用途に適する可能性がある。また、この方法は、一致するものの空間的方向が判定されることを必要としない用途に特に適している。
【００４６】
本発明のよりよい理解を以下の図面と関連して好ましい実施形態の以下の詳細な説明を考慮することで得ることができる。
【００４７】
本発明は、様々な変更形態および代替の形態が可能であるが、図面では特定の実施形態を実施例として示し、本明細書で詳細に説明している。ただし、図面およびその詳細な説明は、開示する特定の形態に本発明を制限することを意図するものではないことを理解されたい。そうではなく、反対に、本発明は、添付の特許請求の範囲によって定義される本発明の趣旨および範囲のなかに入るすべての変更形態、等価形態、および代替形態をカバーする。
【００４８】
（好ましい実施形態の詳細な説明）
図３−コンピュータ・システム
図３は、本発明の一実施形態による色一致突き止めおよび／またはパターン一致突き止めを行うことができるコンピュータ・システム１０２を示す図である。コンピュータ・システム１０２は、１つまたは複数のプロセッサと、記憶媒体と、ディスプレイと、キーボードまたはマウスなどの入力デバイスまたは入力機構と、コンピュータ・システムのために必要な他の任意の構成要素とを含むことができる。
【００４９】
コンピュータ・システム１０２は、テンプレート画像の色特徴付け方法および／またはパターン特徴付け方法を行うことができ、またこれらの分析で決定された情報を使用して、ターゲット画像がテンプレート画像と一致するかどうかを判定し、かつ／または色情報および／またはパターン情報に関してテンプレート画像と一致するターゲット画像の領域を探し出すことができる。マッチングされるべき画像は、好ましくは、コンピュータ・メモリ内に記憶され、かつ／または外部デバイスからコンピュータによって受け取られる。
【００５０】
コンピュータ・システム１０２は、好ましくは、色一致および／またはパターン一致の判定および／または突き止めを行うように動作する１つまたは複数のプログラムを含む。このソフトウェア・プログラムは、コンピュータ・システム１０２の記憶媒体内に記憶することが可能である。「記憶媒体」という用語は、導入媒体、例えば、ＣＤ−ＲＯＭまたはフロッピー（登録商標）ディスク１０４や、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、Ｒａｍｂｕｓ ＲＡＭなどのコンピュータ・システム・メモリ、あるいは磁気媒体、例えば、ハードディスクまたは光記憶装置などの不揮発性メモリといった様々な型のメモリを含むものとする。記憶媒体は、その他の型のメモリを含むこと、またはそれらの組合せを含むことも可能である。さらに、記憶媒体は、プログラムがそこで実行される第１のコンピュータ内に配置すること、またはネットワークを介して第１のコンピュータに接続する第２の異なるコンピュータ内に配置することが可能である。後者の場合、第２のコンピュータが、第１のコンピュータにプログラム命令を実行のために用意することができる。また、コンピュータ・システム１０２は、パーソナル・コンピュータ・システム、メインフレーム・コンピュータ・システム、ワークステーション、ネットワーク機器、インターネット機器、パーソナル・デジタル・アシスタント（ＰＤＡ）、テレビジョン・システム、またはその他の装置を含む様々な形態をとることが可能である。一般に、「コンピュータ・システム」という用語は、記憶媒体からの命令を実行するプロセッサを有する任意の装置を包含するように広く定義することができる。
【００５１】
ソフトウェア・プログラムは、とりわけ、手続きベースの技法、構成要素ベースの技法、グラフィカル・プログラミング技法、および／またはオブジェクト試行技法を含む様々な仕方のどれでも実装することができる。例えば、ソフトウェア・プログラムは、所望に応じて、ＡｃｔｉｖｅＸコントロール、Ｃ＋＋オブジェクト、Ｊａｖａ（登録商標） Ｂｅａｎｓ、Ｍｉｃｒｏｓｏｆｔ Ｆｏｕｎｄａｔｉｏｎ Ｃｌａｓｓｅｓ（ＭＦＣ）、またはその他の技術または方法を使用して実装することができる。記憶媒体からのコードおよびデータを実行するホストＣＰＵなどのＣＰＵは、以下に説明する方法または流れ図に従って色一致突き止めおよび／またはパターン一致突き止めを行うための手段を含む。
【００５２】
図４−マシン・ビジョン・システム
図４は、本発明の１つの用途の例であるマシン・ビジョン・システムまたは画像獲得システムを示している。本明細書に記載する色一致および／またはパターン一致判定／突き止め技法は、様々な型のマシン・ビジョン・アプリケーションまたは動き制御アプリケーションで使用することが可能である。例えば、コンピュータ１０２は、様々なフォームファクタおよび／またはアーキテクチャで、例えば、とりわけ、ロボットまたは埋込みデバイスで実現することができる。また、本明細書に記載する色一致突き止め技法およびパターン一致突き止め技法は、ソフトウェア、プログラム可能論理、またはハードウェア、あるいはそれらの組合せで、様々な仕方のどれでも行うことができることも留意されたい。
【００５３】
図４のマシン・ビジョン・システムでは、コンピュータ・システム１０２は、カメラ１１２に結合され、１つまたは複数の画像を受け取るように動作する。コンピュータ・システム１０２は、色特徴付け方法を行ってテンプレート画像内の色を特徴付けるように動作することができ、かつ／またはパターン特徴付け方法を行ってテンプレート画像のパターン情報を決定するように動作することができる。この適用例では、「テンプレート画像」という用語は、画像全体または画像の一部分、例えば、関与する領域（ＲＯＩ：region of interest）を指すものとして使用する。コンピュータ・システム１０２は、ターゲット画像の探索を行い、テンプレート画像の色情報および／またはパターン情報に一致するターゲット画像領域を探し出すように動作する。以下に説明するとおり、特定の用途に適した様々な度合いの正確さで一致する領域を探し出すように探索を行うことができる。
【００５４】
図５−画像獲得システム・ブロック図
図５は、本発明の一実施形態による色一致および／またはパターン一致のために画像を獲得するための図４の画像獲得システムを示す高位ブロック図である。図５のブロック図は、単に例としてのものであり、所望に応じて、その他のコンピュータ・システム・アーキテクチャを使用するのが可能なことを留意されたい。例えば、本発明は、センサ、アナログ−デジタル（Ａ／Ｄ）変換器、ＣＰＵ、および通信デバイスを単一のユニット内に一緒に組み込んだ「スマート・カメラ」に実装することができる。本発明は、所望に応じて、他のアーキテクチャ、デバイス、または実施形態で実現することも可能である。
【００５５】
図５に示すとおり、ホスト・コンピュータ１０２は、好ましくは、ＣＰＵ２０２と、バス・ブリッジ２０４と、システム・メモリ２０６と、周辺バス２１２とを含む。ＣＰＵ２０２は、バス・ブリッジ２０４に結合される。バス・ブリッジ２０４は、システム・メモリ２０６およびＣＰＵ２０２に結合され、また周辺バス２１２に結合する。好ましい実施形態では、周辺バス２１２はＰＣＩ拡張バスである。ただし、その他の型のバスも使用することが可能である。
【００５６】
この実施形態では、ホスト・コンピュータ１０２は、ビデオ・ソース１１２に結合するように構成されたビデオ・キャプチャ・ボード２１４も含む。ビデオ・キャプチャ・ボード２１４は、好ましくは、周辺バス２１２に結合される。ビデオ・キャプチャ・ボード２１４に加えて、オーディオ・カード、モデム、グラフィックス・カード、ネットワーク・カード等の他の周辺デバイス（２１６および２１８）を周辺バス２１２に結合することができる。
【００５７】
ビデオ・ソース１１２が、アナログ・ビデオ信号またはデジタル・ビデオ信号をビデオ・キャプチャ・ボード２１４に供給する。ビデオ・キャプチャ・ボード２１４は、周辺バス２１２およびバス・ブリッジ２０４を介してシステム・メモリ２０６にデジタル化されたビデオ・フレームを転送する。この実施形態では、ビデオ・キャプチャ・ボード２１４がターゲット画像を獲得し、それをシステム・メモリ２０６に転送する。テンプレート画像の色情報またはパターン情報に一致する色情報またはパターン情報を有する領域を求めて探索することが所望されるターゲット画像内の１つまたは複数の関与する領域（ＲＯＩ）を指定すること、またはターゲット画像全体を探索することが可能である。
【００５８】
システム・メモリ２０６は、テンプレート画像を記憶することができる。システム・メモリ２０６は、また、テンプレート画像内の選択されたＲＯＩまたは別の画像、あるいは獲得されたターゲット画像などの、その他の１つまたは複数の画像を受け取り、かつ／または記憶することもできる。また、システム・メモリ２０６は、好ましくは、テンプレート画像およびターゲット画像の色情報およびパターン情報を分析するように動作する本発明によるソフトウェアも記憶する。また、ソフトウェアは、以下に説明するとおり、様々な色一致突き止め方法およびパターン一致突き止め方法を行うように実行可能である。システム・メモリ２０６は、色一致突き止めとパター一致突き止めのプロセス中、ターゲット画像内の様々な領域に比較するため、テンプレート画像の色特徴付けおよび／またはパターン情報を記憶することができる。
【００５９】
本明細書で使用する「画像」という用語は、様々な型の画像のどれを指すことも可能である。記憶媒体を含む様々なソースのどれからも画像を得ることができる。例えば、ＢＭＰ、ＴＩＦＦ、ＡＩＰＤ、ＰＮＧ、ＪＰＧ、またはＧＩＦファイルなどの画像ファイル、あるいは別の画像形式に従ってフォーマットされたファイルから画像を得ることができる。また、カメラ、フレームグラバ、スキャナなどのハードウェア・デバイスを含め、その他のソースから画像を得ることも可能である。画像は、ピクセル値が実部と虚部を有する複素画像であることが可能である。
【００６０】
色／パターン一致アプリケーションでは、テンプレート画像の色特徴付けおよび／またはパターン情報を事前計算し、コンピュータ内に記憶することが可能であり、この場合、ターゲット画像に関する後続の色一致判定／突き止めおよびパターン一致判定／突き止めのために、実際のテンプレート画像を記憶する、または使用することは必要ない。したがって、ターゲット画像が獲得されたとき、ソフトウェアは、そのターゲット画像の色情報およびパターン情報をテンプレート画像の事前計算された色情報およびパターン情報と比較することができる。
【００６１】
本発明は、好ましくは、プロセッサまたはＣＰＵによって実行可能である１つまたは複数のソフトウェア・プログラムで実装することができる。本発明のソフトウェア・プログラムは、好ましくは、前述したとおり、コンピュータの記憶媒体内に記憶される。
【００６２】
図６−色一致およびパターン一致突き止め方法
図６は、色情報およびパターン情報に関してテンプレート画像と一致するターゲット画像の領域を探し出すための方法の一実施形態を示す流れ図である。
【００６３】
一実施形態では、この方法は、色情報およびパターン情報に関してテンプレート画像と一致するターゲット画像の領域を探し出すように動作する。この方法は、１つまたは複数の色一致領域を見つけるため、ターゲット画像に全体にわたって色一致探索を行うことを含み、色の色一致領域は、色情報に関してテンプレート画像と一致する。また、この方法は、ターゲット画像内で１つまたは複数のパターン一致領域を見つけるため、ターゲット画像全体にわたってパターン一致探索を行うことも可能である。次に、この方法は、その１つまたは複数の色一致領域およびその１つまたは複数のパターン一致領域から、１つまたは複数の一致領域を判定することができる。例えば、この方法は、その１つまたは複数の色一致領域をその１つまたは複数のパターン一致領域と相関させ、所望の度合いまたは所望の距離に応じた色一致特性およびパターン一致特性を有する領域を判定することができる。色一致探索およびパターン一致探索は、様々な所望の順序のどれでも行うことができる。
【００６４】
したがって、例えば、まず、色一致探索を行って候補領域を識別し、それに続いて、パターン一致探索を行うことができる。この実施形態では、ターゲット画像全体にわたるパターン一致探索は、色一致探索で見つかった各色一致領域ごとに、ターゲット画像内で１つまたは複数の最終一致領域を見つけるために、その色一致領域に近接する近接領域のパターン一致探索を行うことを含む。各近接領域のパターン一致探索で見つかった１つまたは複数の最終一致領域は、所望の度合いに応じて、色情報とパターン情報に関してテンプレート画像と一致している。
【００６５】
別法では、まず、パターン一致探索を行って候補領域を識別し、それに続いて色一致探索を行うことができる。この実施形態では、ターゲット画像全体にわたる色一致探索は、パターン一致探索で見つかった各パターン一致領域ごとに、ターゲット画像内で１つまたは複数の最終一致領域を見つけるため、そのパターン一致領域に近接する近接領域の色一致探索を行うことを含む。各近接領域の色一致探索で見つかった１つまたは複数の最終一致領域は、所望の度合いに応じて、色情報およびパターン情報に関してテンプレート画像と一致している。
【００６６】
色一致探索とパターン一致探索は、所望に応じて、様々な仕方でインターリーブすることができる。以下に、本発明の一実施形態を説明する。
【００６７】
ステップ２５０で、テンプレート画像を受け取る。テンプレート画像は、前述したとおり、様々な型のうちどの型の画像である。テンプレート画像は、様々なソースのうちどれから受け取る、または得ることも可能であり、また画像全体であることも、または画像の一部分、例えば、ユーザによって指定された領域であることも可能である。例えば、ユーザは、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を使用して関与する領域（ＲＯＩ）を選択することができる。一実施形態では、ＧＵＩにより、ユーザが、長方形、長円形、またはフリーハンドで選択した形状などの、多くの異なる形状のＲＯＩから選択できる。
【００６８】
ステップ２５２で、テンプレート画像に関して色特徴付け方法を行う。一実施形態では、この方法は、ＨＳＩカラー空間をいくつかのカテゴリまたは「ビン」に分割するのに関わる。次に、ビンにわたるピクセルの割振りを決定するため、テンプレート画像ピクセルの色情報を検査することができる。ステップ２５２の１つの特定の実施形態を以下に詳細に説明する。代替の実施形態では、色特徴付け方法として、その他の様々な方法を使用することが可能である。
【００６９】
ステップ２５４で、テンプレート画像に関してパターン特徴付け方法を行うことができる。この方法は、テンプレート画像のパターン情報をよく特徴付ける複数のサンプル・ピクセルまたは一組の複数のサンプル・ピクセルを決定するのに関わることが可能である。ステップ２５４の特定の実施形態を以下に詳細に説明する。
【００７０】
ステップ２５６で、ターゲット画像が受け取られる。テンプレート画像に関してと同様に、ターゲット画像も、記憶媒体から得られた画像、またはカメラ、フレーム・グラバ、スキャナなどのハードウェア・デバイスから獲得された画像を含む様々な型のどの型の画像であることも可能である。また、ターゲット画像は、グラフィックス・ソフトウェア・プログラムから、ネットワークを介する伝送からなどを含め、その他の任意のソースから受け取ることも可能である。また、ターゲット画像は、画像全体であることも、画像の一部分だけであることも可能である。
【００７１】
代替の実施形態では、複数のテンプレート画像および／またはターゲット画像を受け取る、または指定することが可能であることを留意されたい。例えば、テンプレート画像のものに一致する色情報およびパターン情報を有する領域を求めて複数のターゲット画像を探索することが望ましい、または複数のテンプレート画像のうちどれかと一致するターゲット画像領域を探索することが望ましいかもしれない。
【００７２】
ステップ２５８で、色情報およびパターン情報に関してテンプレート画像と一致する領域を探し出すため、ターゲット画像を探索する。この探索は、ステップ２５２および２５４で得たテンプレート画像の色特徴付けおよびパターン情報を利用することができ、また、ターゲット画像の様々な領域に関して色特徴付け分析を行うことに関わることもできる。ステップ２５８は、様々な仕方のどれでも行うことができる。一実施形態では、複数回のパスでターゲット画像を探索することができる。第１回のパスは、色情報に基づく探索に関わることが可能であり、色に関してテンプレート画像と一致するターゲット画像内の候補領域のリストを効率的に識別する。次に、後続のパスは、パターン情報またはパターン一致を使用して、ターゲット画像内の最終的に一致するもの、つまり最終一致領域を判定するために、色一致候補領域のそれぞれに近接する、またはそれを囲む領域（「近接領域」または「周囲領域」）をより詳しく検査することが可能である。
【００７３】
近接領域は、好ましくは、色一致候補領域よりも大きい。すなわち、各近接領域は、好ましくは、その対応する色一致候補領域を囲んでいる。別法では、近接領域は、それぞれの色一致候補領域と同サイズであるか、場合によっては、それよりも小さい。
【００７４】
各近接領域のパターン一致探索で見つかったゼロまたはいくつかの一致領域は、何らかの所望の距離または近さの度合いに応じて、色情報およびパターン情報に関してテンプレート画像と一致することが可能である。ステップ２５８の１つの特定の実施形態を以下に詳細に議論する。
【００７５】
ステップ２６０で、ステップ２５８の結果に基づき、色一致突き止めおよびパターン突き止めまたはその分析情報を生成することができる。ステップ２６０は、ターゲット画像内で一致領域の位置または方向を視覚的に示すことなどの情報を示すこと、および／または一致領域の色情報および／またはパターン情報に関する、または領域がテンプレート画像の色／パターン情報とどれほどよく一致するかに関する様々な統計またはグラフを示す情報を表示することに関わるのが可能である。
【００７６】
多くの適用例では、ターゲット画像が獲得されるとき、リアルタイムで色一致およびパターン一致を行うのが必要であるか、またはそうするのが望ましい。マシン・ビジョン適用例では、「リアルタイム」とは、しばしば、「ビデオ・リアルタイム」を指す。すなわち、カメラによって獲得された画像すべてのために、例えば、毎秒３０フレームを獲得するＮＴＳＣカメラのためにその機能を行うことを指す。例えば、図４に示すマシン・ビジョン実施形態では、カメラ１１２によってターゲット画像が獲得されるとき、色一致およびパターン一致が、好ましくは、リアルタイムで行われる。これらのリアルタイム実施形態では、コンピュータ１０２内にテンプレート画像を事前記憶することができ、また、一般に、テンプレート画像の色情報およびパターン情報をその間に特徴付けるための時間が大量に存在する。これらの特徴付けが行われると、システムは、複数の獲得されたターゲット画像に関して、好ましくは、リアルタイムで、色一致方法およびパターン一致方法を複数回、行うことができる。
【００７７】
図７、８Ａ、８Ｂ−ＨＳＩカラー空間
一実施形態では、テンプレート画像および／またはターゲット画像の色情報を特徴付けることは、ＨＳＩ（色相、彩度、輝度）情報を利用する。画像の個々のピクセルのＨＳＩ情報を分析することができ、色に基づいて画像を特徴付けるため、ピクセル別の結果をまとめることができる。一実施形態では、色特徴付け方法は、色スペクトルまたはカラー空間を主に色相の値および彩度の値に従ってカテゴリまたは「ビン」（下位空間とも呼ばれる）に分割し、次に、これらのビンのそれぞれにピクセルを割り当てるように動作する。色スペクトルの各カテゴリ内または各ビン内に入る画像内のピクセルの総数（またはピクセルのパーセンテージ）を色特徴付けの基準として使用することができる。
【００７８】
図７は、３次元空間または３次元ボリュームとして可能な色相の値、彩度の値、および輝度の値（色スペクトル）を示す。所与のピクセルの色情報を図７に示す３Ｄカラー空間内または３Ｄカラー・ボリューム内のベクトルまたは点として表すことができる。ベクトルの位置は、ピクセルの色相、彩度、および輝度を表している。
【００７９】
色相はピクセルの色合いを表し、図７の円における径方向の線の角として示される。図８Ａは、図７の横断面を示している。図８Ａに示すとおり、色相は、０〜３６０度の範囲内にある角の値として表される。
【００８０】
彩度は、混合または白による希釈からの色の自由度を指す。彩度は、図７で、円上の線の径方向の距離として、すなわち、円の中心からの距離として表される。彩度は、図８Ａの断面でより容易に見ることができる。彩度は、通常、０から１の範囲で測定され、０が円の中心にあり、また１が円の外周にある。したがって、色相および彩度は、実質的に極座標で表されて、図７および８Ａの円上の点または位置を記述する。
【００８１】
ときとして、光または明るさと呼ばれる輝度は、ピクセルにおけるシェードの度合いを指し、図７の垂直スケール上で、すなわち、円の上または下のベクトル位置で表される。明るさと輝度という用語は、この説明全体で区別なく用いる。輝度の値は、通常、０から１の範囲内にあり、０は純粋な黒であり、また１は純粋な白である。輝度の値０は下の円錐の頂点で表され、また、輝度の値１は上の円錐の頂点で表される。
【００８２】
色特徴付けを行う前に、図７のカラー空間を色のカテゴリに区分化することができる。カラー空間は、任意の数のカテゴリまたはビンに区分化することができる。カテゴリまたはビンの数は、色特徴付けの細分性または解像度を決定する。例えば、いくつかの適用例に関して、ターゲット画像領域が一致するものとして見なされるには、テンプレート画像とターゲット画像領域の間で大きい度合いの類似性が所望される可能性がある。したがって、この場合、多数のカテゴリまたはビンが必要とされる可能性がある。様々な実施形態では、所望の複雑さの色特徴付けを指定するユーザ入力を受け取ることができる。一実施形態では、低、中、高という可能な３つの複雑さのレベルを指定することができる。
【００８３】
好ましい実施形態では、低い複雑さのレベルは、可能な１７のカテゴリまたはビンを含む。低い複雑さレベルでは、色相の平面（図８Ａ）が可能な７つの自然色のための７つの異なるビン４４０に分割され、また彩度の平面が２つの領域に分割され、これにより、１４（７×２）のビンが作成される。可能な７つの自然色は、赤、オレンジ、イエロー、緑、青、インディゴ、およびバイオレットという色スペクトルの７つの標準色を含む。低い複雑さのレベルでは、色相の平面が７つのパイ型ウェッジに分割され、また彩度の平面が、好ましくは、０から１までのスケールで０．３の径方向距離しきい値４４２によって規定される２つの領域にさらに下位分割され、これにより、色相／彩度の平面内で可能な１４のカテゴリまたはビンが作成される。黒、グレー、白として特徴付けられるピクセルのためのさらに３つの色のカテゴリが割り当てられ、これにより、合計で可能な１７のカテゴリ（１４＋３）が作成される。
【００８４】
図８Ｂは、黒、グレー、白として特徴付けることができるＨＳＩカラー空間内の領域を示している。一般に、特定のピクセルの色は、彩度の値が非常に低い場合、黒、グレー、白として特徴付けることができる。黒のカテゴリ、グレーのカテゴリ、白のカテゴリを以下にさらに詳細に議論する。
【００８５】
中の複雑さのレベルは、可能な３１のカテゴリまたはビンを含むことが可能である。中の複雑さのレベルでは、色相の平面（図８Ａ）が異なる１４の色のカテゴリ４４０に分割され、またサイドの平面が２つの領域に分割され、これにより、２８（１４×２）のビンが作成される。したがって、中の複雑さのレベルでは、色相の平面が１４のパイ型ウェッジに分割され、また彩度の平面が、好ましくは、０から１までのスケールで０．３の径方向距離のしきい値４４２によって規定される２つの領域にさらに下位分割されて、これにより、色相／彩度の平面内で利用可能な２８の色のカテゴリまたはビンが作成される。黒、グレー、白であるピクセルのためにさらに３つの色のカテゴリが割り当てられ、これにより、合計で可能な３１の色のカテゴリ（２８＋３）が作成される。
【００８６】
高い複雑さのレベルは、５９の色のカテゴリまたはビンを含むことが可能である。高い複雑さのレベルでは、色相の平面（図８Ａ）が異なる２８のビン４４０に分割され、また彩度の平面が２つの領域に分割されて、これにより、５６（２８×２）のビンが作成される。したがって、高い複雑さのレベルでは、色相の平面が２８のパイ型ウェッジに分割され、また彩度の平面が、好ましくは、０から１までのスケールで０．３の径方向距離のしきい値４４２によって規定される２つの領域にさらに下位分割されて、これにより、色相／彩度の平面内で利用可能な５６の色のカテゴリまたはビンが作成される。黒、グレー、白であるピクセルのためにさらに３つの色のカテゴリが割り当てられ、これにより、合計で可能な５９の色のカテゴリ（５６＋３）が作成される。
【００８７】
彩度のカテゴリ化、すなわち、径方向距離しきい値４４２の設定は、好ましくは、デフォルトの値に設定するが、ユーザがＬｅａｒｎ Ｓａｔ Ｔｒｅｓｈｏｌｄ６０４を設定することによって調整することもできる。彩度のしきい値は、通常、ほとんど色の彩度の変更なしに画像に対する色特徴付けを行うときにだけ調整する。別の実施形態では、彩度の分割の数を、例えば、３にまで増やすことが可能であり、あるいは０にまで減らすことが可能である（すなわち、彩度レベルに関して色を分割しない）。
【００８８】
図９−色特徴付け方法
図９は、テンプレート画像および／またはターゲット画像の色情報を特徴付けするための方法の一実施形態を示す流れ図である。一実施形態では、図９に示す色特徴付け方法は、図６に示す流れ図のステップ２５２で利用することができる。図９は、色特徴付け方法の１つの特定の実施形態を表していることを留意されたい。様々な適用例により、テンプレート画像内の色を特徴付けすること、および／またはターゲット画像領域を色一致候補位置として分類することに関して、様々なレベルの感度が必要とされる。また、様々な適用例が、様々な計算効率の要件を有することも可能である。したがって、代替の実施形態では、様々な色特徴付け方法のうちどれでも使用することができる。
【００８９】
テンプレート画像に関して、図９に示す色特徴付け方法を一回、行って、テンプレート画像に関する色情報を記憶し、必要に応じて使用するのが可能なことを留意されたい。ターゲット画像に関して、ターゲット画像を探索するにつれ、図９の方法をその画像の様々な領域に関して複数回、行うことが可能である。
【００９０】
図９に示す実施形態は、ＨＳＩ色情報に関して画像を分析することに関わる。ステップ２７０で示すとおり、様々な色特徴付け方法オプションを指定するユーザ入力を受け取ることが可能である。例えば、ユーザ入力は、画像を分析する際に使用する色感度レベル、すなわち、色情報の所望の解像度を指定することができる。一実施形態では、ユーザは、３つの感度レベルのうち１つを選択することができ、これらは、低レベル、中レベル、高レベルである。図８Ａに関連して前述したとおり、感度レベルは、ＨＳＩカラー空間を分割するカテゴリまたはビンの数を決定することができる。色のカテゴリの数は、所望に応じて、任意の数または任意のレベルに設定するのが可能なことを留意されたい。
【００９１】
ステップ２７２で、画像がＨＳＩ形式に変換されることが可能である。画像は、通常、ＲＧＢ（赤、緑、青）、Ｒｅｄｎｅｓｓ／Ｇｒｅｅｎｎｅｓｓ、ＣＭＹ、またはＨＳＩ形式で記憶または受領される。したがって、受け取られたとき、画像がＨＳＩ形式になっていない場合、画像は、ステップ２７２で自動的にＨＳＩ形式に変換される。この変換プロセスは、それが必要なとき、現在の色形式をＨＳＩ形式に変換するアルゴリズムを適用して、ピクセルごとに画像を分析することが可能である。色特徴付け方法の代替の実施形態は、とりわけ、ＲＧＢまたはＣＭＹなどの、他の色表現形式を利用するのが可能なことを留意されたい。これらの実施形態では、例えば、ＲＧＢカラー空間またはＣＭＹカラー空間を色のカテゴリまたはビンに分割して、ピクセルをこれらのビンに割り当てることができる。
【００９２】
ステップ２７４で、図７および８に関連して前述したように、ＨＳＩカラー空間をカテゴリまたはビンに区分化することができる。空間を分割するビンの数は、ステップ２７０で受け取った色感度情報を利用することができる。
【００９３】
ステップ２７６で、ＨＩＳビンの間におけるピクセル分配を決定するため、ピクセルごとに画像を分析することができる。図１０は、ステップ２７６の一実施形態を詳細に示している。一実施形態では、ユーザは、ピクセル分配を行う際に無視すべき１つまたは複数の色を指定することができる。例えば、ユーザは、黒、グレー、白、またはこれらの何らかの組合せ、あるいはその他のＨＳＩ色を無視すべきことを指定することができる。これは、例えば、色一致の目的で無視されるべき背景色をテンプレート画像および／またはターゲット画像が有する場合、役に立つであろう。
【００９４】
一実施形態では、ＨＳＩビン分配を行う時点でピクセルを検査し、あるビンに対応するピクセルが無視されるようにすることができる。別の実施形態では、この考慮は、ピクセル分配を行った後に行うことができる。例えば、分配が行われた後、無視すべき色に対応する各ビンごとに、そのビンに割り当てられるピクセルの数またはパーセンテージをゼロに設定して、残りのビン内のピクセルのパーセンテージを合計で１００パーセントになるように正規化することができる。この後者の実施形態が、より効率的な色特徴付け方法をもたらすことができる。
【００９５】
前述の説明では、各検査されたピクセルが単一のカテゴリまたはビンに割り当てられている。代替の実施形態では、例えば、重み付けにより、複数のビンにピクセルを割り当てることができる。例えば、あるピクセルが、ビンによって表されるカラー空間の部分に関してそのビンの「縁」近くに来る場合には、そのピクセルの重みの分数を隣接するビンに割り当てることができる。複数のビンの間でどのようにピクセルを分配するかに関する決定は、ファジイ・メンバシップ関数の使用を介するものを含め、様々な仕方のどれでも行うことができる。ピクセルの分数の分配は、色特徴付け方法の効率を低下させる可能性があるが、それでも、いくつかの場合には、望ましい可能性があることを留意されたい。ピクセルの分数の配分を以下にさらに議論する。
【００９６】
一実施形態では、色特徴付け方法は、また、ステップ２７８に示すとおり、画像の優勢色のカテゴリとして特徴付けされる１つまたは複数の色のカテゴリを決定することにも関わるのが可能であり、この１つまたは複数の優勢な色のカテゴリには、カラー空間のその他の色のカテゴリに比べ、比較的より大きい比率の画像ピクセルが割り当てられる。
【００９７】
優勢な色のカテゴリの決定は、様々な仕方のどれでも行うことができる。例えば、一実施形態では、ピクセル割振りパーセンテージに関して色のカテゴリを分類することができ、次に、最も高いパーセンテージを有するカテゴリを検査することができる。このパーセンテージが、デフォルトの値であることも、ユーザによって指定されることも可能なある比の値Ｔにある、またはそれを超える場合には、この色のカテゴリをその画像に関する単一の優勢な色のカテゴリと見ることができる。このパーセンテージが値Ｔを下回る場合にはピクセル割振りの次に大きいパーセンテージを有する色のカテゴリをその画像に関する第２の優勢な色のカテゴリと見ることができるというように、検査されたビンのパーセンテージの合計が値Ｔになるか、あるいはそれを超えるまで続ける。これにより、画像に関して複数の優勢な色のカテゴリが存在することが可能である。一実施形態では、最大カテゴリ内のピクセルのパーセンテージは、画像が何らかの優勢な色のカテゴリを有するためには、少なくともあるしきい値のものであるのを必要とすることが可能である。
【００９８】
好ましい実施形態では、優勢な色情報は、テンプレート画像に関してだけ決定される。すなわち、ターゲット画像領域の色特徴付け分析を行うときには、この計算を省略することができる。テンプレート画像の優勢な色情報は、以下に説明するとおり、テンプレート画像の色情報をターゲット画像の色情報と比較するときに利用することができる。
【００９９】
図１０−ＨＳＩビン・ピクセル分配
図１０は、画像のピクセルが適切なＨＳＩ空間ビンに割り当てられる図９のステップ２７６の一実施形態を示す流れ図である。図１０に示す方法は、画像の各ピクセルごとに、またはピクセルのサブセットに関してだけ行うことができる。テンプレート画像に関して、この方法は、通常、テンプレート画像に関するできる限り多くの色情報を得るため、各ピクセルごとに行われる。テンプレート画像に関する色特徴付け分析は、一回、行うだけでよく、また「オフライン」で行うことができる。すなわち、色一致領域を求めてターゲット画像が探索されるにつれ、リアルタイムで行われる必要はない。したがって、テンプレート画像に関して色特徴付け情報が得られると、色一致突き止め手続きのためにテンプレート画像をメモリ内に有することが必要ないであろう。
【０１００】
探索が行われるターゲット画像の各領域ごとに、その領域のピクセルのサブセットだけを検査するのが望ましいであろう。というのは、領域のすべてのピクセルをビンにカテゴリ化することは、計算上のコストが高くつき、またターゲット画像内の多くの領域を探索しなければならない可能性があるからである。多くの場合、例えば、パターン情報に基づいて後でより詳細に分析することができる色一致領域候補を識別する目の粗い探索を行うためには、各ターゲット画像領域内のピクセルのサブセットを分析するだけで十分であろう。サンプル・ピクセル・サブセットは、格子ベースのサンプリング、ランダム・サンプリング、低不適合数列(Low Discrepancy sequence)、またはその他の非一様のサンプリングなどの様々なサンプリング技法のどれを使用しても生成することができる。
【０１０１】
ステップ４１２で、この方法は、ピクセルの輝度の値があるしきい値よりも低いかどうかを判定する。このしきい値は、０に近い何らかの小さい値としてユーザによって指定されていてもよい。図８Ｂは、輝度のしきい値４４６を示す。輝度のしきい値４４６は、好ましくは、彩度につれて減少する関数である。輝度のしきい値４４６は、コンピュータによって設定されることが可能であり、または、いくつかの実施形態では、ユーザによって選択されることが可能である。一実施形態では、色相の値、彩度の値、および輝度の値が０から２５５の範囲に正規化されていると想定すると、輝度のしきい値ＢｌｋＴｈｒｅｓｈｏｌｄは、以下に示すとおり、彩度の関数として指定される。
【数２】

【０１０２】
あるピクセルの輝度がＢｌｋＴｈｒｅｓｈｏｌｄより小さい場合には、ステップ４１４で、そのピクセルが即時に黒としてカテゴリ化される。この場合、そのピクセルに対して、さらなる色学習は全く行われない。ステップ４１２で行われるしきい値の比較は、全くその低い輝度だけに基づいて黒であるピクセルに対してさらなるＨＳＩ分析を要求しないことによってコンピュータ・サイクルを節約する。ピクセルの輝度の値がステップ４１２の輝度のしきい値より上である場合には、オペレーションはステップ４１６に進み、さらなる色のカテゴリ化が適用される。
【０１０３】
ステップ４１６で、ピクセルの彩度の値が検査される。ピクセルの彩度が非常に低い場合、異なる色を区別することができず、そのピクセルを即時に、黒、グレー、白としてカテゴリ化することができる。あるピクセルの彩度が最低の彩度レベルに近い場合、そのピクセルは、図８の円の原点の近くに図面で表すことができる。ステップ４１６は、ピクセルの彩度が選択された彩度のしきい値６０４（図８Ｂ）よりも低いか、すなわち、０に非常に近いかを判定する。一実施形態では、彩度のしきい値６０４は、０から２５５までのスケールで１０というデフォルトの値を有する（これは、０から１までのスケールで０．０４というデフォルトの値に対応する）。ピクセルの彩度レベルが彩度のしきい値より下の場合、そのピクセルは、さらなる彩度分析またはステップ４１８の色相分析を必要とせず、したがって、プロセスはステップ４２２に進む。
【０１０４】
ステップ４２２および４２３で、ピクセル（これは、非常に低い彩度の値を有している）が、その輝度の値に基づいて検査される。非常に低い彩度（すなわち、彩度のしきい値を下回る）を有するピクセルは、そのピクセルが輝度の平面のどちらの半分にあるかに基づいて、黒、グレー、白としてカテゴリ化される。言い換えれば、ステップ４２０の色相と彩度の分析は必要ない。というのは、彩度のしきい値より低い彩度の値を有するピクセルは、同様の彩度の値と異なる色相の値を有するその他のピクセルと区別することができないからである。ピクセルが輝度の平面の下側部分にある場合、すなわち、Ｉ＜＝ＢｌｋＧｒａｙＴｈｒｅｓｈｏｌｄである場合、そのピクセルは、ステップ４２４で黒としてカテゴリ化される。そうでない場合、そのピクセルはステップ４２３で検査され、その輝度の値が輝度の平面の上側部分にあるかどうか、すなわち、Ｉ＞ＷｈｉｔｅＧｒａｙＴｈｒｅｓｈｏｌｄであるかどうかが判定される。上側部分にある場合には、そのピクセルは、ステップ４２６で白としてカテゴリ化される。そうでない場合、そのピクセルは、ステップ４２７でグレーとしてカテゴリ化される。ＢｌｋＧｒａｙＴｈｒｅｓｈｏｌｄおよびＷｈｉｔｅＧｒａｙＴｈｒｅｓｈｏｌｄとしての値は、特定の適用例における黒、グレー、および白色の重要度に基づいて事前指定することができる。一実施形態では、しきい値は、黒色、グレー、または白色に同じ重みを置く等しい３つの部分に輝度の平面を分割するように設定することができる。ピクセルを黒、グレー、白としてカテゴリ化した後、この方法は、ステップ４２８に続く。
【０１０５】
ピクセルの彩度が、ステップ４１６で彩度のしきい値６０４を上回る場合には、ステップ４２０で色相と彩度の分析が行われる。ステップ４２０で、ピクセルの色相の値と彩度の値が分析され、そのピクセルは、これらの値に基づいて色相／彩度の平面内のビンのうち１つに割り当てられる。
【０１０６】
前述したとおり、図８Ａは、色相／彩度の平面を示し、色相は、図８Ａの横断面上における色の角の方向（０度から３６０度）によってカテゴリ化され、また彩度は、図８Ａの横断面におけるその色の径方向の距離としてカテゴリ化される。色相の特徴付けは、選択された色感度に応じて、例えば、７、１４、または２８のビン（低い複雑さ、中の複雑さ、または高い複雑さとして）に分割することが可能であり、またビンは、円４４２（図８Ａ）によって表される径方向の距離の値によって半分にさらに分割される。この径方向の距離の値により、各色相のビン内で彩度に応じてカテゴリ化を行うことが可能になる。これにより、色相／彩度の平面内のビンまたはカテゴリの総数が、それぞれ、１４、２８、または５６にまで倍増する。
【０１０７】
分析されている現在のピクセルが、ステップ４２８で分析される最後のピクセルである場合には、オペレーションが完了する。そうではない場合には、オペレーションはステップ４１２に戻り、ステップ４１２〜４２８が反復される。少なくともピクセルのサブセットに関して、また、場合によっては、すべてのピクセルに関して、すべてがカテゴリ化されるまで色のカテゴリ化プロセスが反復される。各後続ピクセルがカテゴリ化されるにつれ、各ビンに割り当てられた現在高の数のピクセルをメモリ内に記憶することができる。ビンおよびピクセルのビンへの割振りは、様々な仕方のどれでも表すことができる。好ましい実施形態では、ピクセルは、Ｎ個のカテゴリまたはビンに割り当てられ、ここでＮ＝Ｃ^*２＋３である（ここで、選択された複雑さに応じて、Ｃ＝７、１４、または２８）。ビンまたは色のカテゴリの数Ｎは、もちろん、色相の分割および彩度の分割の数のうち１つまたは複数を変更することによって調節することができる。
【０１０８】
各ピクセルが検査され、Ｎ個のカテゴリのうち１つに割り当てられた後、ステップ４３０で、この方法は、各ビン内のピクセルのパーセンテージ、すなわち、検査されたピクセルの総数に対する各ビン内のピクセルの数などの色パラメータを計算することができる。これらの計算は、その合計が１００％に等しいＮ個のパーセンテージをもたらすことになる。様々な形状の拡大縮小され、回転された画像のマッチングを可能にするため、生のデータではなく、パーセンテージが使用される。他の型の色パラメータ、例えば、画像オブジェクト内のピクセルの数とは独立した他の型の正規化された値を生成するのも可能であることを留意されたい。したがって、画像に関する色特徴付けは、画像の色特徴付けを表すＮ個のパーセンテージの値またはＮ個のパラメータを含むリストまたはデータ構造を生成することができる。
【０１０９】
図９に関連した前述したとおり、一実施形態では、ユーザは、無視すべき画像内の１つまたは複数の色を指定することができる。この場合、無視される色に対応する各ビン内のピクセルのパーセンテージをゼロに設定して、残りのビンに関するパーセンテージを合計で１００％をもたらすように正規化することができる。あるいは、これらのビンに対応するピクセルをビンに全く割り当てないことが可能であり、これにより、自動的に、これらのビンに関してゼロ・パーセンテージがもたらされることになる。
【０１１０】
図１１−画像パターン情報テンプレートの特徴付け
図１１は、図６のステップ２５４の一実施形態を示す流れ図であり、ここでテンプレート画像のパターン情報が特徴付けられる。ステップ３００では、テンプレート画像を正確に特徴付ける複数のサンプル・ピクセルを提示するために、テンプレート画像がサンプリングされる。このテンプレート画像は、輝度（強さ）平面、彩度平面、および／または色相平面上等の様々な成分平面上または色空間平面上でサンプリングすることができる。これら平面に関するサンプル情報は、パターン一致プロセスで使用することができる。例えば一実施形態では、輝度平面からのサンプル情報は最初のパターン一致の反復中に使用することができ、すべての平面からのサンプル情報は最後のパターンに一致したものを検査するために使用することができる。
【０１１１】
一実施形態によれば、テンプレート画像を構成するピクセルは、低不適合数列を使用してサンプリングされる。低不適合数列は、高次元空間の有効なサンプルである数列を構成する。低不適合数列は、準乱数列または副乱数列とも呼ばれる。低不適合数列は、ほとんど相互に近寄ることのないサンプル点を提示するように、すなわち画像を最も適切に代表するサンプル・ピクセルを提示するように設計されている。低不適合数列の一例には、Ｈａｌｔｏｎ数列、Ｓｏｂｏｌ数列、Ｆａｕｒｅ数列およびＮｉｅｄｅｒｒｅｉｔｅｒ数列が含まれるが、これらの違いは実際の用途の観点からすると微小である。低不適合数列を使用したテンプレート画像のサンプリングは、ランダム・サンプリング技術または均一サンプリング技術の場合と比較して、遥かに少数のサンプル・ピクセルによるテンプレート画像の特徴付けおよび／またはテンプレート画像のより良い特徴付けをもたらすことができる。
【０１１２】
以下に、低不適合数列（Ｈａｌｔｏｎセット）のオペレーションの一例を示す。
【０１１３】
まずステップ１で、方法は、例えばＨａｌｔｏｎ、２ｄ（二次元）等、低不適合数列の種類を選択する。一般に、数学者は、ｎ＞１０、時にはｎ＞１００の場合に低不適合セットのｎｄの適用に関心を示す。しかし、二次元画像の場合は２ｄ数列が使用される。
【０１１４】
ステップ２で、方法は、次いでＨａｌｔｏｎセットの構成のための基準、例えば単位平方［０，１］×［０，１］内の構成のための基準を選択するが、一般的な場合は拡大縮小オペレーションによって導き出すことができることが知られている。
【０１１５】
ステップ３で、次いで方法は２つの素数ｐおよびｑを選択する。ｐ＝２とｑ＝３とを使用することは、必須ではないが非常に一般的である。（ｐ，ｑ）のすべての対によって僅かに異なるＨａｌｔｏｎセットが生じるが、それらのセットはすべて等価である。
【０１１６】
変数（ｘ_n、ｙ_n）はＨａｌｔｏｎセットのｎ番目の要素を指す。ｎを想定すると、ステップ４で方法は、ｐ進法におけるｎを記録する（ｐ＝２の場合は周知の二進法）。結果は、ａを二進数の０または１とするが一般的な場合は０、１．．．、ｐ−１として、ｎ＝ａ_k、．．．ａ₁、ａ₀となる。
【０１１７】
ステップ５で、次いで方法は、ａ_k、．．．ａ₁、ａ₀の順序を逆転する。これはａ₀ａ₁．．．ａ_kとなる。
【０１１８】
ステップ６で、次いで方法は、（ｎ進法の）点、すなわち０ａ_k、．．．ａ₁、ａ₀を合計する。この数は０と１の中間であり、ｎ番目のＨａｌｔｏｎ点（ｘ_n、ｙ_n）のｘ成分を代表する。
【０１１９】
ステップ７で、方法は、別のｑ進法に基づいてステップ（４）〜（６）のステップを反復する。これによってｙ成分が提示される。
【０１２０】
ステップ１〜７の後、Ｈａｌｔｏｎ数列のｎ番目の点の構成が完了する。
【０１２１】
以下に、２ｄにおける低不適合数列の構成の一例を示す。ここではｐ＝２、ｑ＝３と仮定する。この例は、１０番目の要素、すなわち（ｘ₁₀、ｙ₁₀）を決定する。
【０１２２】
方法は、以下の要領でｘ成分から開始する。
（４’）１０＝１^*８＋０^*４＋１^*２＋０^*１なので、１０＝１０１０（１０進法＝２進法）
（５’）この順序を反転する → ０１０１
（６’）この点を合計する → ｘ₁₀＝０．０１０１（０．０１０１は０^*（１／２）＋１^*（１／４）＋０^*（１／８）＋１^*（１／１６）＝１／４＋１／１６＝５／１６に変換される）
次に、ｙ成分を以下の要領で計算する。
（４”）１０＝１^*９＋０^*３＋１^*１なので、１０＝１０１（１０進数＝２進数）
（５”）この順序を反転する → １０１
（６”）この点を合計する → ｙ₁₀＝０．１０１（０．１０１は１^*（１／３）＋０^*（１／９）＋１^*（１／２７）＝１０／２７に変換することができる）
【０１２３】
低不適合数列内の点が決定されると、これらの点は、その値を適切に増減することによって、テンプレート画像にマッピングすることができる。テンプレート画像中のこれらの点は、次いで、例えばパターン一致プロセス中にサンプル点として取られ、これらの点のグレースケール・ピクセル値は、ターゲット画像の領域内の対応するグレースケール・ピクセル値と、例えば上記のような２Ｄ相関技術を使用して比較される。パターン一致は、ターゲット画像を横切るために計算されたステップ・サイズを使用することができ、かつ／または効率を高めるために粗−細探索方法を使用することができる。
【０１２４】
低不適合数列に関するこの他の情報は、本明細書に完全に、かつすべてを参照により組み込んだ「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｆｏｒｔｒａｎ ７７：Ｔｈｅ Ａｒｔ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ」（ＩＳＢＮ ０−５２１−４３０６４−Ｘ）Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ ｐ．２９９〜３０６を参照されたい。
【０１２５】
実施形態によっては、パターン特徴付け方法においてこれ以上のステップを実施しなくてもよいものがある。しかし、別の実施形態では、ステップ３００で決定された複数のサンプル・ピクセルは、ステップ３０２〜３０６に示すようにさらに処理される場合がある。ステップ３００は、複数のサンプル・ピクセルを提示するために低不適合数列を使用する他の様々な任意の方法、例えば、ランダム・サンプリング技術、または、グリッド・ベースの均等サンプリングなどの均等サンプリング技術を使用することによって実施することできるということに留意されたい。
【０１２６】
ステップ３０２に示すように、複数のサンプル・ピクセルを提示するために画像のサンプリングが実施された後で、空間摂動についてそれぞれのサンプル・ピクセルの安定性を判定するために、提示されたサンプル・ピクセルの少なくとも１つのサブセットに関して、好適にはそのすべてに関して、局所安定性解析を実施することができる。この局所解析が実施される各候補のサンプル・ピクセル値に関して、方法は、近傍にあるテンプレート画像ピクセルが候補サンプル・ピクセル値と高度に相関するような、それぞれの候補サンプル・ピクセルの近傍を判定するように動作する。すなわち、局所安定性解析が実施される各候補サンプル・ピクセル値に関して、候補サンプル・ピクセル値がその近傍で安定しているかどうかを判定するために、すなわち隣接しているピクセル値がそれぞれの候補サンプル・ピクセル値と同様の値または相関する値を有するかどうかを判定するために、テンプレート画像内の隣接しているピクセル値による相関が実施される。
【０１２７】
ステップ３０４で、方法は、任意選択で、所定のまたは事前定義された近傍サイズ内において必須の安定性を有する候補サンプル・ピクセル値だけを保存するよう動作する。事前定義された近傍内で安定性のない、ステップ３００で生成されたサンプル・ピクセル値は、破棄するか使用しないことが好ましい。したがって、ステップ３０４は、パターン一致オペレーションで使用されるサンプル・ピクセル値の数をさらに減らすように動作する。
【０１２８】
一実施形態では、ステップ３０２または３０４の後のステップ３０６で、方法は、安定性基準または様々な安定性レベルによって、サンプル・ピクセル値のそれぞれのサブセットまたはそのすべてが安定した、異なるそれぞれの安定領域または近傍サイズをさらに発見または検出するように動作する。すなわち、本方法は、多様な安定領域でサンプル・ピクセル値のサブセットを検出し、分類するように、すなわち、安定領域のサイズに応じてサンプル・ピクセル値のサブセットを分類するように動作する。
【０１２９】
下記のように、パターン一致プロセスにおいて、ターゲット画像領域全体を通して個々のサンプル・ピクセルをステップするためのステップ・サイズを判定するために、異なる安定領域サイズも使用することが好ましい。このステップ・サイズは、パターン一致オペレーション中、パターン一致のために実施することが必要となる相関の数を減らすために使用される。したがって、より大きな安定近傍サイズを有する一組のサンプル・ピクセル値の場合、反復相関プロセス中、その一組のサンプル・ピクセル値はターゲット画像全体を通してより大きなステップ・サイズで横切ることができる。より小さな安定近傍のサイズを有する一組のサンプル・ピクセル値は、反復相関プロセス中、相応するより小さなステップ・サイズで、ターゲット画像全体を通して横切られる。
【０１３０】
下記のように、後続のパターン一致プロセスにおいて、異なる安定近傍サイズを有するサンプル・ピクセル値は、次いで、好適にはそれぞれに計算されたステップ・サイズを用いて、粗−細探索で使用することができる。したがって、この方法は、異なる安定近傍サイズと、粗−細パターン一致探索で使用するための相応するステップ・サイズとを決定するために動作する。
【０１３１】
上記のパターン特徴付け方法は、パターン（グレースケール）情報の代わりに、またはパターン（グレースケール）情報に追加して、テンプレート画像の色情報を特徴付けるサンプル・ピクセルの１つまたは複数の組を生成するために拡張することができることに留意されたい。次いで、ピクセルは、下記のように、ターゲット画像で色情報をサンプリングするために使用することができる。例えば、１組中の各サンプル・ピクセルは特定の近傍サイズ内で安定した色を有しており、このサンプル・ピクセルは、テンプレート画像等の最も優勢な色を代表するために選択することができる。このサンプル色ピクセルの決定は、パターン解析と共に実施することも、または図９を参照して上記で説明した色特徴付け方法の一部として実施することもできる。
【０１３２】
図１２−ターゲット画像探索
図１２は、テンプレート画像に一致する色およびパターン情報を有する領域を発見するためにターゲット画像を探索する方法の一実施形態を示す流れ図である。図１２に示すターゲット画像探索方法は、図６に示す色およびパターン一致検出方法のステップ２５８で使用することができる。別の実施形態では、特定の適用例に付いて望ましいとされるような、様々な他の探索方法のいかなる方法を使用することもできる。図１２に示すターゲット画像探索方法は、ターゲット画像の候補色一致領域が第１パス色一致探索で識別され、それらの候補色一致領域のそれぞれを取り囲むか、それらに隣接するより大きな領域のパターン情報が、次いで、最終的な色およびパターン一致位置を識別するために１つまたは複数の後続パターン一致探索においてより詳細に検査するマルチパス技術を使用する。
【０１３３】
第１パス色一致探索において検査されたターゲット画像の各領域は、ターゲット画像へのウィンドウとみなすこともできる。このウィンドウは様々なサイズを有することができる。例えば、ウィンドウのサイズをテンプレート画像のサイズに正確に一致させることも、あるいはウィンドウのサイズをテンプレート・サイズよりも小さくしたり大きくしたりすることもできる。様々な領域で画像の色情報をサンプリングするために、ウィンドウをターゲット画像全体を通して移動することができる。色情報をサンプリングする領域は、いかなる様々な方法でも決定することができる。例えば、一実施形態では、ウィンドウは、最初、ターゲット画像の上部左隅に置かれており、次いで中間ステップで画像中を移動することができる。サンプル領域ごとに、下記のように、その領域の色情報をテンプレート画像の色情報と比較することができる。
【０１３４】
図１３に、第１パス色一致探索中におけるウィンドウの移動の一例を示す。ここでは、ウィンドウは、ターゲット画像の上部左隅から始まって、９ピクセルのステップ・サイズによってターゲット画像全体を通して移動させられる。図１３Ａにおいて、テンプレート画像と、ターゲット画像の上部左隅の部分との間の最初の色比較が実施された後、ウィンドウは、例えば図１３Ｂに示すように９ピクセル走査線下方に移動される。ターゲット画像のこの部分がテンプレート画像と比較された後、ウィンドウは図１３Ｃに示すようにさらに９ピクセル走査線下方に移動される。図１３Ｄに示すようにウィンドウがターゲット画像の下部左隅に到達するまでこの比較が反復される。この比較の後、ウィンドウは、例えばターゲット画像の上部に移動して戻され、図１３Ｅに示すように別の比較を実施するために縦のピクセル９列移動される。図１３Ｅでこの比較が実施された後、ウィンドウは図１３Ｆに示すようにピクセルの９水平走査線下方に移動させられる。この手順は、ウィンドウが再びターゲット画像の下部に到達するまで複数回反復される。この時点で、ウィンドウは、ターゲット画像の上部に移動するように戻され、さらに縦９列のピクセル移動して、さらなる比較のセットを実施する。この手順は、ウィンドウが９ピクセルのステップ・サイズを使用してターゲット画像全体をステップし終わるまで実施することができる。
【０１３５】
図１３Ａ〜１３Ｆは、ターゲット画像全体を通したウィンドウのステッピングの単なる一例であるということに留意されたい。尚、ウィンドウは、様々なステップ・サイズを用いて、また、例えば、左から右へ、右から左へ、上から下へ、下から上へ、または他の方法等いかなる様々な方法によってもターゲット画像全体を通してステップすることができることに留意されたい。また、ターゲット画像は、一定のステップ間隔でサンプリングすることは必須ではない。例えばウィンドウの位置は、様々なアルゴリズムのいかなるものを使用して選択することも、またはランダムに、または準ランダムに選択することもできる。
【０１３６】
図１２のステップ４５０では、様々な探索オプションを指定するユーザ入力を受け取ることができる。例えば探索オプションは、様々なパラメータ値を指定して、色またはパターンの一致を判断するために使用される粒状度の程度および／またはターゲット画像探索プロセスの効率に影響を与えることができる。一実施形態では、ユーザは、図２６を参照しながら下記で説明するように、様々な探索パラメータをそれぞれが制御する、「保守的」「平衡」または「積極的」の３つのオプションから１つを指定することができる。別の実施形態では、探索パラメータは個別に指定することができる。
【０１３７】
ステップ４５２で、最初の色一致候補領域を発見するため、すなわち少なくともある程度はテンプレート画像の色情報に一致する領域を発見するために、ターゲット画像全体を通した第１パス探索を実施することができる。ステップ４５２の一実施形態を、図１６を参照しながら以下で説明する。
【０１３８】
第１パス色一致探索では、一致する可能性のあるものを含んでいるターゲット画像の領域を効率よく識別するために、ターゲット画像の様々な領域の色情報を、比較的大きなステップ・サイズでサンプリングすることができる。ステップ４５４で、ステップ４５２で識別された各色一致候補領域周辺の、あるいはこれに近接したより大きな領域を、パターン情報に関してより詳細に検査することができる。ステップ４５４で探索されるべき各領域のサイズは、テンプレート画像サイズ、それぞれの候補色一致領域が色においてテンプレート画像に一致すると判定される程度等の様々な要因に依存する場合がある。ステップ４５４の特定の実施形態について以下で詳細に説明する。
【０１３９】
ステップ４５８で、色およびパターン一致領域の最終リストを、ステップ４５４で決定された候補領域リストから生成することができる。この最終リストは、各候補が、色および／またはパターン情報についてテンプレート画像とどれだけ良く一致するかの尺度、例えばユーザが指定することができるしきい値と比較する際の尺度に基づくことができる。
【０１４０】
図１４〜１５：探索例
図１４および１５に、図１２を参照しながら上記で説明したマルチパス探索プロセスの一例を示す。図１４は、ターゲット画像３１０と、ターゲット画像内の「候補領域」３１２と標識される複数領域とを示す。各候補領域は、第１パス色一致探索（図１２のステップ４５２）で決定された候補色一致領域を取り囲むより大きな領域を示すことを目的としている。図から分かるように、候補領域３１２Ａ、２１３Ｂ、および３１２Ｃはサイズが異なる。上記のように、色一致候補領域を取り囲む領域のサイズは、色一致候補領域が色についてテンプレート画像とどれだけよく一致するかという要因に依存する場合がある。
【０１４１】
図１５は、同じターゲット画像３１０と最終一致領域３１４とを示しているが、これらはパターン一致に基づいて候補領域３１２内で発見されたものである。すなわち、一致領域３１４は、図１２のステップ４５４および４５６が実施された後で決定される最終一致領域である。この例では、候補領域３１２Ｃ内の領域で、テンプレート画像のパターン情報と一致すると決定されるものは１つもなかった。したがって、２つの最終一致領域のみを示してある。
【０１４２】
図１６−第１パス探索
図１６は、図１２のステップ４５２で示した第１パス色一致探索を実施する方法の一実施形態の流れ図である。上記のように、一実施形態では、第１パス探索にはターゲット画像の様々な領域におけるサンプリング色情報が必要となる場合があり、ここで、サンプリングされる位置は、特定のステップ・サイズに従ってターゲット画像に沿ってスライドするウィンドウによって決定することができる。したがって、ステップ４７０で、方法はそのウィンドウをスライドする際に使用する適切なステップ・サイズを決定することができる。ステップ・サイズは、少なくとも一部には、図１２のステップ４５０で受け取ったユーザ入力に基づいて決定することができる。例えば、ユーザが積極的な探索基準を指定した場合はステップ・サイズは比較的大きくなるであろうが、ユーザが保守的な探索基準を指定した場合はこのステップ・サイズは比較的小さくなる可能性がある。様々な実施形態において、探索サイズは、テンプレート画像および／またはターゲット画像のサイズに依存する場合もある。
【０１４３】
サンプリングされる各領域に関して、テンプレート画像の場合と同様にその領域に関する色情報を解析することができる。しかし上記のように、領域のすべてのピクセルの色情報を検査することは望ましくない場合がある。したがって、ステップ４７２ではサブサンプリング・サイズを決定することができるが、ここで、このサブサンプリング・サイズは各位置について検査するピクセル数を指定している。ステップ・サイズの場合と同様に、サブサンプリング・サイズは、ユーザが指定した探索基準に依存する場合がある。
【０１４４】
ステップ４７２では、サブサンプリングの種類を決定することもできる。サブサンプル・ピクセルは、グリッド・ベースまたは他の均等技術、ランダム技術、低不適合数列等による方法を含めて、様々な方法のどれでも決定することができる。サブサンプリングの種類は、サブサンプル・ピクセルの決定を制御することができる。一実施形態では、各位置で色情報をサンプリングするために使用されるピクセルは、上記で図１１を参照しながら説明したパターン解析で決定されるサンプル・パターン一致ピクセルに対応させることができる。上記のように、これらのサンプル・ピクセルは、比較的少数の点によって効率よくテンプレート画像のパターン情報と色情報の両方を特徴付けるためにパターン解析において決定することができる。したがって、これらのサンプル・ピクセルを使用することによって、第１パス色一致探索の効率を高めることができる。
【０１４５】
図１６に示すように、次いで、サンプリングされるべきタ−ゲット画像の各領域に関してステップ４７４から４８０を実施することができる。
【０１４６】
ステップ４７４では、ターゲット画像領域に関して色特徴解析を実施することができる。このステップは、図９を参照しながら上記で説明した色特徴付け方法を使用することができるが、ここでは、ターゲット画像ピクセル（またはピクセルのサブセット）がそれらの色情報に関して個別に検査され、色空間ビンに割り当てられる。ステップ４７６では、ターゲット画像領域の色スペクトルとテンプレート画像の色スペクトルの間の差（または類似点）の程度は、それぞれの色特徴解析で獲得した情報を比較することによって計算することができる。この比較は、様々な方法のどれでも実施することができる。一実施形態では、一組のＮ個のビンの各色ビンについて、これら２つの画像の対応するビンに割り当てられたピクセルの百分率値を互いから引いてＮ個の差分値を得ることができる。それぞれの差分値が０に近いほど、色のカテゴリに関して、テンプレート画像とターゲット画像領域との間の類似性は高まる。すなわち、特定の色カテゴリ内に含まれるテンプレート画像とターゲット画像領域上のピクセルの百分率は事実上同じであるということである。
【０１４７】
次いで、この差分値の絶対値を合計して、０と２の間に入る値を得ることができる。ここで、２は色スペクトル間の差の最大の度合いを示しており、０は類似度の最大の度合いを示す。あるいは、各色のカテゴリに関する「スコア」を決定するために、差分値のそれぞれをしきい値と比較することができる。
【０１４８】
上記方法は適用するのに簡便であり、結果は容易に理解されるが、この方法は、すべての色一致の適用例に関して最善の方法でない場合がある。例えば、色相平面の７つの自然色のうちの少なくとも１つが、例えばユーザによる媒体または好感度レベルの指定に応答して複数のビンに分割された場合を想定する。テンプレート画像とターゲット画像領域とが酷似した色を有する場合でさえ、それぞれのピクセルをその色相平面内の同じ自然色に対応する異なるビンに割り当てることは依然として可能である。したがって、この実施例の結果は、同じビンにピクセルがほとんどあるいは全くないことを示す場合がある。すなわち、テンプレート画像とターゲット画像領域は非常に異なる色のスペクトルを有することを示す場合がある。テンプレート画像とターゲット画像領域内の色は実際には酷似しているのに同じ自然色の異なる色相カテゴリに入っている場合があるので、これは真の結果でない場合がある。このような場合を補う別の色スペクトル技術について、図２３〜２５を参照して以下で説明する。
【０１４９】
上記の通り、一実施形態では、テンプレート画像の色特徴解析を実施する際に１つまたは複数の優勢色カテゴリを示す情報を獲得することができる。再び図１６を参照すると、ステップ４７８では、優勢色カテゴリに関する違いの程度を計算することができる。違いの程度は、色のスペクトルの違いに関して上記で説明した方法と同様の方法で計算することができる。例えば、テンプレート画像に関して決定された各優勢色カテゴリに関して、その優勢色カテゴリに割り当てられたテンプレート画像ピクセルの百分率を、その色のカテゴリに割り当てられたターゲット画像領域のピクセルの百分率と比較することができる。
【０１５０】
ステップ４８０では、その領域を候補色一致領域リストに追加するかどうかを決定するために、ステップ４７６および４７８で決定された様々な値を使用することができる。例えば、その領域をリストに追加するためには、色のスペクトル差はしきい値よりも低くする必要がある。色のスペクトル差は、計算後即座にテストすることができ、その差があまりにも大きな場合は、ステップ４７８等のサンプル領域のさらなる解析を中止することができることに留意されたい。
【０１５１】
色のスペクトルの差が十分に小さい場合、１つまたは複数の優勢色差を想定することができる。色スペクトル差の計算の様々な実施形態では、テンプレート画像の１つまたは複数の優勢色の出現がサンプル領域で大幅に低減される場合があるか、またはサンプル領域内ですべて失われる可能性があってさえ、小さな差分値を獲得することが可能であるので、サンプル領域が色においてテンプレート画像と一致することをさらに確認するために、１つまたは複数の優勢色差が役立つ場合があると想定する。優勢色差は個別に考えても、または総合的に考えてもよい。例えば、複数の優勢色カテゴリがある場合、その領域を候補リストに追加するためにはカテゴリごとの百分率差をしきい値より小さくすることが必要となる場合があり、あるいは、全カテゴリの差の平均をしきい値よりも小さくすることが必要となる場合がある。
【０１５２】
図１７−パターン一致方法
図１７は、図１２のステップ４５４に示すように、色一致候補領域を取り囲む近接領域ごとに実施されるパターン一致探索の一実施形態を示す流れ図である。必要に応じて、様々な種類のパターン一致を使用することができる。図１７の流れ図は、粗−細探索において異なる安定近傍サイズおよび対応するステップ・サイズを使用するパターン一致を示す。
【０１５３】
一実施形態では、色およびパターン一致プロセスをより迅速に完了するために、ターゲット画像内で発見することが希望される一致数に関する情報を使用することができる。例えば図２６に、希望する一致数を指定することをユーザに可能にするグラフィカル・ユーザ・インターフェースを示す。この場合、パターン一致方法は、以下の式で計算することができる最大数に基づいてパターン情報に関して探索される領域数を限定することができる。
【０１５４】
最大＝基数＋因数^*希望数
上式で、「基数」および「因数」は変更できる変数である。
【０１５５】
色情報に基づく第１パス探索は、特にそれが若干緩やかな色一致基準を使用するように変更されている場合に、候補色一致領域の最大数を決定することができる。パターン一致プロセスは、上記で説明した最大数に基づいて探索する領域数を限定することができる。例えば、図１６を参照しながら上記で説明した通り、各ターゲット画像領域の色情報がどれだけよくテンプレート画像の色情報と一致しているかに関する差の程度を計算することができる。色一致候補領域はスコアリングして色の差に基づいて分類することができ、パターン一致は、この分類した順番で実施することができる。すなわち、テンプレート画像の色情報に最も近似して一致する色一致候補領域を取り囲む領域が、パターン情報に関して最初に探索される。各領域が探索される際、パターン一致候補領域がその領域内で発見されると、その一致をその時点の色およびパターン一致候補のその時点における合計に追加することができる。その時点における色およびパターン一致候補数が最大数を超える場合、残りの色一致候補近接領域に関してはパターン一致は実施されない。しかし一実施形態では、所与の色一致領域に対する色の差が特定しきい値よりも小さい場合、一致の最大数だけ既に発見されているかいないかに関わらず、その候補色一致領域を取り囲む領域をパターン情報に関して探索することができる。
【０１５６】
図から分かるように、ステップ４６２では、方法は、第１の安定近傍サイズと対応する第１のステップ・サイズとを有するサンプル・ピクセル値の第１の組を使用して粗パターン一致探索を実施するように動作する。したがって、方法は、サンプル・ピクセル値の第１の組と第１のステップ・サイズとを使用してパターン一致の第１の反復を実施する。第１パス色一途プロセスについて上記で説明したのと同様に、ターゲット画像領域は全体をステップされることができ、その領域内の様々な位置のパターン情報をサンプリングすることができる。最初の粗パターン一致のために使用されるサンプル・ピクセルの第１の組は、最大の安定近傍サイズ、すなわち最大のステップ・サイズを有することが好ましい。この粗パターン一致は、ターゲット画像領域内のテンプレート画像に対する可能性のある領域を０またはそれ以上提示する。すなわち、この粗パターン探索は、色情報とパターン情報の両方に関してテンプレート画像と一致する可能性のあるターゲット画像領域にある候補領域を０またはそれ以上提示する。必要ならば、すなわちターゲット画像領域が十分に小さいならば、ステップ４６２で決定される候補領域の数は、例えば候補として最善の一致するものを選択することによって、１に限定される。
【０１５７】
上記の通り、サンプル・ピクセル値は、色相平面、彩度平面、および／または輝度平面を含むテンプレート画像の様々な色平面から獲得することができる。これら平面のどれかまたはすべてからのサンプル・ピクセル値を、ステップ４６２で使用することができる。好ましい実施形態では、輝度平面からのサンプル・ピクセル値がステップ４６２で使用され、他の平面からのサンプル・ピクセルは後続のパターン一致反復で使用することができる。
【０１５８】
ステップ４６４で、方法は、ステップ４６２で決定された候補領域で、第２の安定近傍サイズと対応する第２のステップ・サイズとを有するサンプル・ピクセル値の第２の組を使用してより細かいパターン一致探索を実施するように動作する。ここで、第２の安定近傍サイズと第２のステップ・サイズは第１の安定近傍サイズと第１のステップ・サイズよりも小さい。このより細かいパターン探索は、ターゲット画像中のテンプレート画像について一致する可能性のある領域を０またはそれ以上提示するが、通常、ステップ４６２で実施された粗探索で提示された１つまたは複数の偽一致を破棄する必要がある。
【０１５９】
ステップ４６４は、さらにより細かいパターン一致探索を実施するために、さらに小さい安定性近傍サイズと対応する第２のステップ・サイズとを有するサンプル・ピクセルの他の組を使用して１回または複数回、反復することができる。ステップ４６４は、残りの候補領域で反復されることが好ましい。ステップ４６４の１回または複数回の反復後、残りの一致する可能性のあるものが実際に一致するものであるかどうかを判定するために、方法は、サンプル・ピクセルのすべてを使用してステップ４６４における最終パターン一致探索を実施することを必要とする。あるいは、サンプル・ピクセル値のすべてを使用したステップ４６４の１回または複数回の反復の後、および／またはパターン一致のステップの後、ステップ４６６で、方法は、さらに任意選択で、ターゲット画像領域内の残りの候補領域についてテンプレート・ピクセルのすべてを使用してパターン一致探索を実施する。ステップ４６４で実施される反復数は、パターン一致における所望の精度の程度に依存する。同様の方法で、ステップ４６６が実施されるかどうかの判断も、パターン一致における所望の精度の程度に依存する。
【０１６０】
したがって、各領域内におけるパターン一致探索は、好適には異なるステップ・サイズの、サンプル・ピクセルの組のうちの異なるサンプル・ピクセルを使用して、パターン一致の複数回の反復を実施することを含む。局所安定性解析は、異なる安定近傍サイズを有するサンプル・ピクセルの複数の組を判定し、パターン一致探索は、例えば、連続的に小さい安定近傍サイズおよび／または連続的に小さいステップ・サイズを用いて、粗−細方法においてサンプル・ピクセルの前記組の異なった組を使用してパターン一致の複数回の反復を実施することを含む。テンプレート画像と一致する可能性のあるパターン一致探索の第１の反復がターゲット画像領域内の１つまたは複数の候補領域を決定する場合、ターゲット画像領域内の決定された１つまたは複数の候補領域でパターン一致探索の１回または複数回の第２の反復が実施される。パターン一致探索の第１の反復は第１の安定近傍サイズと第１のステップ・サイズとを使用し、パターン一致の１回または複数回の第２の反復のそれぞれは、より小さな安定近傍サイズとより小さなステップ・サイズとを使用する。
【０１６１】
パターン一致探索反復は、必要に応じて色一致の反復と交互に行うことができるということに留意されたい。例えば、第１パス色一致探索で使用したものにくらべて、より小さなステップ・サイズおよび／またはより大きなサブサンプリング・サイズを使用する色一致の反復を実施することができる。一実施形態では、最終一致を確認するために、パターン・、マッチングの反復によって決定される最終一致に関して色一致方法を実施することができる。
【０１６２】
実施されるパターン一致探索のオペレーションの一例として、図１１のステップ３０６では、９×９の安定近傍サイズを有するサンプル・ピクセル値の第１の組と、５×５の安定近傍サイズを有するサンプル・ピクセル値の第２の組等が決定される。ステップ４６２においてパターン一致探索を実施するとき、方法は、例えば９×９の安定近傍サイズなどのより大きな安定近傍サイズを有するサンプル・ピクセル値を使用して開始することが好ましい。この探索は、この安定近傍サイズに相当するステップ・サイズ、例えば９ピクセルのステップ・サイズをも使用する。したがって、これらの点またはサンプル・ピクセル値は探索プロセスが実施される９×９の領域全体で安定しているので、一致の値を計算するためにターゲット画像領域の各ピクセルを訪問するのではなく、パターン一致が各９ピクセルのステップ・サイズで実施されることが好ましい。
【０１６３】
この最初のコア探索が領域内で一致する可能性のあるものの最初の組を決定すると、最初の一致位置でパターン一致探索を実施してこれらの位置のより正確な探索を実施するために、例えば５×５の安定領域などのより小さな近傍サイズを有するサンプル・ピクセル値の第２の組が使用される。安定近傍サイズおよびステップ・サイズに基づくこの粗−細探索は、所望の程度のパターン一致が達成されるまで粗−細の複数回の反復を実施することができる。
【０１６４】
図１８−５ピクセルのステップ・サイズを使用したパターン一致探索
ターゲット画像領域内でパターン一致探索を実施するとき、この領域をいかなる様々な方法でも横切ることができる。図１８に、５ピクセルのステップ・サイズを使用してパターン一致が実施される一例、すなわちターゲット画像のそれぞれの部分全体を５ピクセルでテンプレート画像をステップする一例を示す。図１８は、候補色一致領域に近接した領域全体を通した最初のパターン一致横断を表現することも、前回のパターン一致反復で決定されたサブ領域全体を通したより詳細な探索を表現することもできる。上記の通り、より詳細なパターン一致探索は、各反復をより小さいステップ・サイズとより多くのサンプル数で、所望の精度が達成されるまで０回からそれ以上の回数繰り返すことができる。最終パターン一致反復は、一致する可能性のあるターゲット画像領域内の１つまたは複数の領域においてテンプレート画像内のすべてのピクセルを使用することを必要とする。
【０１６５】
ステップ・サイズを使用したパターン一致は従来技術であることに留意されたい。しかし、従来技術の方法は、一般に、ステップ・サイズに関係なく、同じサンプル・ピクセルまたはテンプレート画像を使用する。したがって、本発明の好ましい実施形態では、方法は、局所安定性解析に基づいて、それぞれのパターン一致比較に対してサンプル・ピクセルのサブセットを選択するように動作する。本発明の方法は、それぞれのサンプル・ピクセルの決定された安定領域または近傍に基づいてステップ・サイズを計算するためにも動作する。この方法は、粗−細解析において、サンプル・ピクセルの異なるサブセットと異なる相当するステップ・サイズとを使用するようにもさらに動作する。
【０１６６】
図１９−回転不変の色およびパターン一致
図１９に、回転不変の色およびパターン一致探索を実施するための方法の流れ図を示す。図１９に示すステップは、図６に示す方法と類似しているが、特に回転不変の色およびパターン一致を示している。図１９の方法には、回転不変の一致に関するテンプレート画像の特徴付けまたは表現が含まれる。したがって、図１９は、テンプレートを正確に特徴付ける色情報とサンプル・ピクセル値または点の低減された組とを発見するためにテンプレート画像をサンプリングすることを目的としており、これはさらにターゲット画像内におけるテンプレート画像パターンの向きに関係なくターゲット画像内でテンプレート画像を発見することにも繋がる。
【０１６７】
テンプレート画像は様々な形状を有することができる。回転不変の色およびパターン一致探索を実施ためには、テンプレート画像内に入る最大の円の色情報を考慮することが理想的である。しかし、これは第１パス色一致探索中にターゲット画像内の円形領域の色情報をサンプリングするという、コンピュータ上では費用の掛かる恐れがあり、したがってリアルタイムの適用例の場合に望ましくない場合のあることを意味するものである。したがって、ステップ５２０に示す通り、好ましい実施形態では、テンプレート画像の方形領域内の色情報は、テンプレート画像内に適合する最大円の境界を示す方形のようなものとして特徴付けられる。この結果、回転において不変でないが、探索効率における向上によってこの要因に勝る方形の隅付近の色情報の解析がもたらされる。別の実施形態では、最大円内に適合する最大方形の色情報を解析することができる。この場合、いくつかの回転において不変の色情報を解析することはできないが、回転において不変でない色情報が解析され、探索効率はなおも高められる。
【０１６８】
ステップ５２２では、方法は、１つまたは複数の回転において不変の経路、例えば１つまたは複数の円形の円形周囲などに沿ったテンプレート画像内のピクセル値をサンプリングまたは探すように動作する。これは基本的に、回転において不変の方法で画像をサンプリングするために、すなわち１つまたは複数の円形周囲または円形経路に沿ってテンプレート画像内のピクセルを探すように動作する。
【０１６９】
ステップ５２４では、方法は、上記と同様の方法でステップ５２０で獲得した色情報を使用して第１パス色一致探索を実施する。
【０１７０】
ステップ５２６では、方法は、ステップ５２４で決定された色一致候補領域を取り囲む様々なターゲット画像領域全体を通して、円形周囲サンプル・ピクセルとターゲット画像とを使用してパターン一致探索を実施する。テンプレート画像内で見つけられた１つまたは複数の円のそれぞれについてパターン一致探索を実施することができる。この回転不変パターン一致は、循環型相関を使用することが好ましい。循環型相関方法は、相関値を決定するために、まず２つの信号、すなわち循環経路から取られたサンプル・ピクセルと、ターゲット画像内のそれぞれのピクセルとを相関させる。この第１の相関の後、方法は、例えばサンプル・ピクセルが別の信号に関して１つのサンプル・ピクセルだけなど、１つの信号だけシフトさせて再度相関を実施する。このプロセスは、好適にはすべての可能性のある相関の実施が完了するまで、すなわちサンプル・ピクセルがその元の位置までシフトして戻るまで反復される。これら相関のそれぞれの実施が完了した後、方法は、最大相関の位置および／または回転を決定する。これによって、ターゲット画像内のテンプレート画像の位置および回転に関する情報（良好な推定値）がもたらされる。
【０１７１】
ステップ５２６で実施されたパターン一致探索は、ターゲット画像内のテンプレート画像のサイズ変更を探索するために使用することもできる。すなわち、ステップ５２６で実施されたパターン一致探索は、テンプレート画像の拡大縮小された（より大きく、またはより小さく）バージョンを探索するためにも使用することができる。これは、探索円のサイズを拡大縮小する（より大きくするか、より小さくする）ことによって達成される。より具体的には、拡大縮小不変一致の場合、方法は、例えば半径Ｒの、テンプレートからのそれぞれの円形周囲からのサンプル・ピクセルを使用する。パターン一致探索中、方法は探索円の半径を変更する。方法は、テンプレート画像よりも大きなパターンを探索するときには半径Ｒを増やし、テンプレート画像よりも小さな画像内のパターンを探索するときには半径Ｒを減らす。
【０１７２】
図２０−粗−細探索を使用した回転不変の色およびパターン一致
図２０は、粗−細探索手順を使用した回転不変の色およびパターン一致探索を実施するための方法の一実施形態を示す流れ図である。
【０１７３】
図５４０では、図１９のステップ５２０に関して上記で説明した通り、テンプレート画像内に適合する最大方形の色情報が解析される。
【０１７４】
ステップ５４２では、方法は、１つまたは複数の回転において不変の経路に沿って、例えば１つまたは複数の円形周囲に沿って、テンプレート画像内のピクセル値を捜し出すように動作する。これは、基本的に、回転において不変の方法でテンプレート画像をサンプリングするために、すなわち１つまたは複数の円形周囲または円形経路に沿ってテンプレート画像内のサンプル・ピクセルを見つけるように動作する。
【０１７５】
ステップ５４４で、方法は、空間摂動に関してそれぞれの安定性を判定するために各円形経路からのサンプル・ピクセル上で局所安定性解析を任意選択で実施する。各サンプル・ピクセルに関して、局所安定性解析は、サンプル・ピクセル値が近傍のテンプレート画像ピクセル値と高度に相関する、サンプル・ピクセル周囲の近傍を発見することを含む。ステップ５４４では、方法は、それぞれの円のサンプル・ピクセルに対する安定領域または近傍サイズを決定する。方法は、また円のそれぞれに対するステップ・サイズを計算することが好ましい。したがって、局所安定性解析は、異なる安定近傍サイズを有するサンプル・ピクセルの複数の組を決定する。
【０１７６】
ステップ５４６では、方法は、最初のパターン一致探索に関して最も安定した円のサンプル・ピクセルを選択する。別法として、方法は、粗−細探索で使用するために、円の少なくとも１つのサブセットからのサンプル・ピクセルの順序、好適には最も安定したものから最も安定していないものへの順序を選択する。
【０１７７】
ステップ５４８では、方法は、上記と同様の方法で、候補色一致領域を０またはそれ以上識別するために第１パス色一致探索を実施する。
【０１７８】
次いでステップ５５０〜５５６は、ステップ５４８で識別された各色一致領域を取り囲む近接領域について実施することができる。
【０１７９】
ステップ５５０では、方法は、１つまたは複数の最も安定した円からのサンプル・ピクセルを使用してパターン一致探索を実施する。方法は、ターゲット画像領域全体を通してサンプル・ピクセルをステップするために、計算されたステップ・サイズを任意で使用して、サンプル・ピクセルをターゲット画像領域の複数の部分と比較することが好ましい。ステップ５５０で実施されたパターン一致は、テンプレートの回転されたバージョンを見つけることができる０またはそれ以上の候補領域を決定することが好ましい。このパターン一致は、循環型相関で獲得された最大相関値に基づいて、ターゲット画像内のテンプレート画像の可能性のある回転を示す回転値を決定することも好ましい。
【０１８０】
ステップ５５２では、方法は、結果を改善するために、１つまたは複数の別の円からのサンプル・ピクセルを使用してパターン一致探索を実施する。好ましい実施形態では方法は粗−細探索を実施するが、ステップ５５０では、方法は、テンプレート画像を見つけることができる１つまたは複数の候補領域と対応する回転値とを決定する。ステップ５５２では、方法は、それらの候補領域を取り囲むサブ領域の１つまたは複数のテンプレートのより安定性に乏しい円からのサンプル・ピクセルを使用して、また好適にはこれらの回転値を使用して、パターン一致探索を実施する。したがって、方法は、上記の方法で粗−細探索プロセスを実施する。ここで、最も安定した円形経路に対するサンプル・ピクセル値が最初の探索プロセスでまず使用され、次いで、最初の探索の結果をより良いものとし、また、テンプレートの場所と画像内の回転を正確に決定するために、追加の円からのサンプル・ピクセル値が、一致する可能性のある位置で使用される。
【０１８１】
好ましい実施形態では、回転不変パターン一致方法は画像内の非重複円形経路を使用する。同様に、好ましい実施形態では、方法は、偽一致を拒絶するために複数の円を使用する。方法は、必要に応じて同軸円も使用する。図２１Ａと２１Ｂは、１つまたは複数の円形経路からとったサンプル・ピクセルを使用して回転不変マッチングに関するテンプレート画像（プリント基板）の特徴を示す。図２１Ａは同軸円からのサンプル・ピクセルの使用法を示し、図２１Ｂは非同軸、非重複円の使用法を示す。図２１Ａおよび２１Ｂは、ターゲット画像内で発見されることが望ましいテンプレート画像の一例も示す。図２２は、同軸円および非同軸円の使用法を例示する実際の画面の一場面である。
【０１８２】
ステップ５５４では、方法は、パターン一致の前にテンプレート画像のピクセルを回転するために、テンプレート画像ピクセルのすべてを使用して、好適にはステップ５５０または５５２で決定された回転値を使用して、パターン一致を任意選択で実施する。すなわち、ターゲット画像内の候補領域の向きをほぼ一致させるためにテンプレート画像が回転され、次いでテンプレート画像のピクセルのすべてを使用してパターン一致が実施される。パターン一致前のこのテンプレート画像の回転は、テンプレート画像全体は回転において不変ではないので必須である。
【０１８３】
すなわち、５５０、５５２および／または５５４で実施されるパターン一致検索の後、方法は、上記と同様の方法でステップ５５６で生じる結果を生成する。この場合、結果には、ターゲット画像内の０またはそれ以上のテンプレート画像インスタンスの位置ならびに各インスタンスの回転または向きが含まれる場合がある。
【０１８４】
テンプレート画像の拡大縮小したバージョン
図１９および２０で示した方法は、ターゲット画像内のテンプレート画像のサイズ変更を探索するためにも使用することができる。すなわち、テンプレート画像の拡大縮小（より大きくまたはより小さく）したバージョンを探すためにパターン一致探索を使用することもできる。これは、探索円のサイズを拡大縮小する（より大きくするか、またはより小さくする）ことによって達成される。より具体的には、スケール不変マッチングの場合、方法はテンプレートからのそれぞれの円形周囲、例えば半径Ｒからのサンプル・ピクセルを使用する。パターン一致中、方法は、探索円の半径を変更する。方法は、テンプレート画像よりも大きなパターンを探索しているときには半径Ｒを増加させ、テンプレート画像よりも小さな画像内のパターンを探索しているときには半径Ｒを縮小する。
【０１８５】
図２３−色一致突き止め法
上記のように、本発明の別の実施形態は、テンプレート画像の色情報に一致する（パターン情報には必ずしも一致しない）、ターゲット画像中の領域を見つけることができる色一致突き止め法である。このような色一致突き止め法は、多くのアプリケーションで有用でありうる。例えば、この方法は、サブピクセルの精度で、ターゲット画像におけるテンプレート画像の正確な突き止めを求めることを必要としないアプリケーションで特に有用である。例えば、アプリケーションによっては、一定の精度で非常に迅速に一致を突き止める必要はあるものの、照合にパターン情報も使用した場合に得られる精密度をもって突き止めを判定する必要はない場合がある。このより粗い判定は、例えば色分けしたすべてのピルがブリスター・パックにあるかどうかを判定する場合などの多くのアプリケーションに適している。
【０１８６】
図２３は、色の特徴付けとの関連で、テンプレート画像に一致するターゲット画像の領域を見つける方法の一実施形態を説明する流れ図である。
【０１８７】
ステップ６５０で、テンプレート画像を受け取ることができる。テンプレート画像は、グレーレベルおよび色の画像を含む、各種画像のうち任意のものでよい。テンプレート画像は、各種ソースの任意のものから受け取るか、入手することができ、これは画像全体でも、あるいは例えばユーザが指定した対象領域など画像の一部でもよい。例えば、ユーザは、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を用いて対象領域（ＲＯＩ）を選択することができる。一実施形態では、ＧＵＩにより、ユーザが、長方形、楕円、あるいはフリーハンドで選択した形状など、多様な形状のＲＯＩから選ぶことが可能である。
【０１８８】
ステップ６５１で、ターゲット画像を受け取ることができる。テンプレート画像の場合と同様に、ターゲット画像も、記憶媒体から得た画像や、カメラ、フレーム・グラバ、スキャナなどのハードウェア装置から入手した画像を含む各種画像の任意のものでよい。ターゲット画像は、グラフィック・ソフトウェア・プログラム、ネットワークを介した送信などを含む、任意の他のソースから受信してもよい。ターゲット画像も、画像全体でも画像の一部でもよい。
【０１８９】
代替実施形態では、複数のテンプレート画像および／またはターゲット画像を受信または指定できることに留意されたい。例えば、テンプレート画像の色情報に一致する色情報を有する領域を求めて複数のターゲット画像を探索するのが望ましいこともあり、あるいは複数のテンプレート画像のどれかに一致するターゲット画像領域を探すことが望ましい場合もある。
【０１９０】
ステップ６５２で、テンプレート画像に、色特徴付け分析法を行うことができる。一実施形態では、この分析は、ＨＳＩ色空間を複数のカテゴリすなわち「ビン」に分割するものである。次いで、ビンへのピクセルの割り当てを求めるために、テンプレート画像のピクセルの色情報を調べることができる。ステップ６５２の特定の一実施形態については、上記で図９を参照して説明している。代替実施形態では、色特徴付け分析を行うのに各種の他の方法の任意のものを使用してよい。
【０１９１】
一実施形態では、テンプレート画像の色特徴付けは別のコンピュータ・システムで行うことができ、ステップ６５０で、この方法では、テンプレート画像の色特徴付け情報を受け取る。したがって、色一致突き止めソフトウェアを実行するコンピュータ・システムは、テンプレート画像の色特徴付け情報を受け取り、あるいはそれを記憶するだけでよく、テンプレート画像自体を記憶する必要はない。
【０１９２】
ステップ６５４で、色特徴付けとの関連で、テンプレート画像に一致する領域を見つけるために、ターゲット画像を探索することができる。この探索には、ステップ６５２で得たテンプレート画像の色特徴付け情報を利用することができ、また、ターゲット画像の様々な領域に色特徴付け分析を行うこともできる。ステップ６５４は、ターゲット画像の様々な領域に色特徴付け分析を行い、それぞれの領域の色特徴付けを、ステップ６５２で得たテンプレート画像の色特徴付け情報と比較するものである。ステップ６５４は、各種ある方式のうち任意のもので行ってよい。一実施形態では、ターゲット画像を複数回のパスで探索することができる。最初のパスは粒子の粗い探索であり、これによりターゲット画像中の候補領域または領域のリストを効率的に識別する。後のパスでは、最終的な一致を求めるために候補領域をより精密に調べる。ステップ６５４の特定の一実施形態については、下記で図２４との関連で詳細に述べる。
【０１９３】
ステップ６５６では、色一致の位置またはその分析の情報を生成することができる。ステップ６５６は、ターゲット画像中の一致領域の位置を視覚的に示すなど、情報を表示し、かつ／または一致領域の色情報に関する各種統計、あるいはその領域がテンプレート画像の色情報に厳密にどの程度一致するかについての各種統計を示す情報を表示するものである。
【０１９４】
図２４−ターゲット画像探索
図２４は、ターゲット画像を探索して、テンプレート画像に一致する色情報を有する領域を見つける方法の一実施形態を説明する流れ図である。一実施形態では、図２４に示すターゲット画像探索法を、図２３に示す色一致突き止め法のステップ６５４で使用することができる。代替実施形態では、特定のアプリケーションに望ましい、各種の他の探索方法の任意のものを使用することができる。図２４に示すターゲット画像探索法では、粗−精ヒューリスティックを利用する。この手法では、ターゲット画像の色一致候補領域を第１パス探索で識別し、次いでこの候補領域をより詳細に調べて最終的な色一致領域を識別する。
【０１９５】
調べるターゲット画像の各領域は、ターゲット画像へのウィンドウと見ることができる。このウィンドウのサイズは様々である。例えば、ウィンドウ・サイズはテンプレート画像のサイズにちょうど一致することもあり、あるいはウィンドウ・サイズは拡大縮小して、テンプレート・サイズよりも大きくあるいは小さくすることもできる。ウィンドウは、様々な領域で画像をサンプリングするために、ターゲット画像中を移動させることができる。領域をサンプリングするポイントは、各種方式のどれで決定してもよい。一実施形態では、ウィンドウは初めターゲット画像の左上部の隅に置き、その後一定距離のステップで画像中を移動させることができる。下記のように、サンプル領域ごとに、その領域の色情報をテンプレート画像の色情報と比較することができる。
【０１９６】
図２５は、第１パス探索の際のウィンドウの移動例を表している。ここでは、ウィンドウはターゲット画像の左上部の隅から開始し、９ピクセルのステップ・サイズを用いてターゲット画像中を移動している。図２５Ａで、テンプレート画像と、ターゲット画像の左上部との最初の色比較を行うと、例えば、図２５Ｂに示すようにウィンドウを９ピクセルの走査線分下方に移動する。ターゲット画像のこの部分をテンプレート画像と比較すると、図２５Ｃに示すように、ウィンドウをさらに９走査線分下に移動する。図２５Ｄに示すように、ウィンドウがターゲット画像の左下部に達するまで比較を繰り返す。この比較を終えると、ウィンドウを例えばターゲット画像の上部に戻し、図２５Ｅに示すように９垂直ピクセル列分移動して再度比較を行う。図２５Ｅでこの比較を行うと、図２５Ｆに示すように、ウィンドウを９ピクセルの水平走査線分下方に移動する。この手順は、ウィンドウが再びターゲット画像の下部に達するまでさらに複数回繰り返す。その時点で、ウィンドウをターゲット画像の上部に戻し、さらに９ピクセルの垂直列分移動して（図示せず）、比較をもう１セット行う。この手順は、９ピクセルのステップ・サイズを用いて、ターゲット画像全体にわたってウィンドウをステップさせるまで行うことができる。
【０１９７】
図２５Ａ〜２５Ｆは単に、ターゲット画像中でウィンドウをステップさせる際の例に過ぎないことに留意されたい。ウィンドウは、様々なステップ・サイズの任意のものを使用し、かつ、例えば左から右へ、右から左へ、上から下へ、下から上へ、あるいはその他の方法など、各種方式のうち任意のものでターゲット画像中をステップさせてよいことに留意されたい。また、ターゲット画像は必ずしも規則的なステップ間隔でサンプリングしなくともよい。例えば、ウィンドウの配置は、各種アルゴリズムのどれを用いて選んでも、あるいはランダム、準ランダムに選んでもよい。
【０１９８】
図２４のステップ７５０で、各種の探索オプションを指定するユーザ入力を受け取ることができる。探索オプションでは、例えば、色一致を判定するのに使用する粒度の程度および／またはターゲット画像の探索プロセスの効率に影響する各種のパラメータ値を指定することができる。一実施形態では、ユーザは、「綿密」、「平衡」、「積極的」の３オプションの１つを指定することができ、それぞれ、下記で図２６を参照して説明するような各種の探索パラメータを制御する。他の実施形態では、探索パラメータは個別に指定することができる。
【０１９９】
ステップ７５２で、最初の色一致候補領域、すなわちテンプレート画像の色情報に一致する色情報を有する領域を含む可能性のある領域を見つけるために、ターゲット画像に第１パス探索を行う。ステップ７５２の一実施形態については、下記で図２６を参照して説明する。
【０２００】
ステップ７５４では、ステップ７５２で識別した各候補領域をより詳細に調べる。第１パス探索では、可能性のある一致を含んだ領域を効率的に識別するために、比較的大きなステップ・サイズで、ターゲット画像の様々な領域をサンプリングすることができる。ステップ７５４では、候補領域ごとに、探索ウィンドウをまず、候補領域を識別した第１パス探索の際にウィンドウがあった位置に置く。次いで、各候補領域に最も一致する領域を決定できるようにより粒子の細かい探索を行うために、ステップ・サイズを小さくして、この最初の位置の周りでウィンドウを移動する。この新しいステップ・サイズは、最初の候補がテンプレート画像にどれだけ一致したかに反比例させてもよい。すなわち、最初の候補がテンプレート画像に非常に近ければ、最良の一致を飛び越してしまわないようにより小さなステップにするという、「山登り法」のヒューリスティックを用いることができる。ターゲット画像領域の色情報がどれほどテンプレート画像の色情報に近いかを判定するための各種の方法については下記で述べる。
【０２０１】
ステップ７５４で行う探索中に、ウィンドウは、各種のストラテジまたはアルゴリズムのうち任意のものを用いて、各候補領域の周りを移動させることができる。ただし、ウィンドウを元の候補の位置から離してよい距離は、例えばその距離をウィンドウ・サイズの関数および／または第１パス探索で使用したステップ・サイズの関数とするなど、制限することが好ましい。一実施形態では、ターゲット画像の色情報がテンプレート画像の色情報に一致する度合いが、ウィンドウがその初期位置から離れるに従って低下することが判明した場合、不必要な比較を回避するためにその方向の探索を中止することができる。
【０２０２】
上記で図２３を参照して述べたように、例えばターゲット画像をより迅速に探索するために、ターゲット画像領域の色情報を分析する際には、その領域の個々のピクセルのサブセットについてのみ色情報を調べることが望ましい。各ターゲット画像領域のサブサンプリング・サイズは、ユーザ指定の探索基準によって決定してよい。ステップ７５４では、より精密な色特徴付け情報を得るために、ターゲット画像の色情報の分析に使用するサブサンプリング・サイズを増して、第１パス探索で使用したサブサンプリング・サイズを上回るようにすることが望ましい。
【０２０３】
各種の実施形態で、ステップ７５４は、第１パス後の候補リストに１回または複数回の後続のパスを行うものである。例えば、所望の場合には、例えばステップ・サイズを１ピクセルまで減らし、ターゲット画像領域の全ピクセルをサンプリングするまで、逐次的に減少するステップ・サイズ、および／または増加するサブサンプリング・サイズを用いて、可能であれば特定の候補のみについて、粗−精探索ヒューリスティックを繰り返すことができる。行うパスの望ましい回数、およびパス間で探索パラメータが変化する割合は、特定アプリケーションの精度および効率性の要件に応じて異なってよい。
【０２０４】
第１パス探索で識別された最初の候補領域はそれぞれ、ステップ７５４で見つかった、テンプレート画像の色情報に最も一致する色情報を有する領域に置き換えることができる（あるいは、それよりよい一致が見つからなければ置換えなくてよい）。また、以前のパスで識別された候補領域を、その後のパスでまとめて排除することも可能である。例えば、第１のパス探索の際はステップ・サイズが比較的大きいため、候補を識別する一致基準は比較的緩いものになる。つまり、候補一致領域と見るのに、ターゲット画像領域がテンプレート画像に非常に綿密に一致する必要はない。その後のパスで候補領域をより完全に調べる際には、候補を残すために、各候補の色情報がテンプレート画像により強く一致させることが望ましくなる。
【０２０５】
一実施形態では、色一致突き止めプロセスをより迅速に完了するために、ターゲット画像に見つかる一致の予測数に関する情報を利用することができる。例えば、グラフィカル・ユーザ・インターフェースにより、ユーザが一致の予測数を指定することができる。この場合、この方法では、探索する色一致候補領域の数を、予測される一致数に基づいた最大数に制限することができる。一実施形態では、
Ｍａｘ＝Ｂａｓｅ＋Ｆａｃｔｏｒ^*ＮｕｍｂｅｒＥｘｐｅｃｔｅｄ
などの式でこの最大数を計算することができる。「Ｂａｓｅ」および「Ｆａｃｔｏｒ」は設定可能な変数である。
【０２０６】
ターゲット画像の第１パス探索で識別した候補領域のリストは、それぞれの候補領域の色情報がテンプレート画像の色情報に一致する程度によって分類することができ、後の探索パスの際には、この分類した順序で候補領域のリストをトラバースすることができる。予測される一致数に基づいて計算した最大数を使用して、後続のパスで探索する候補領域の数を制限することができる。第１パス探索では比較的緩い一致基準を用いるため、第１パス探索では多数の候補領域を識別することができる。この方法は、後続のパスの後に残る候補の数を把握するように作用する。最大数に達した場合には、残りの第１パスによる候補領域のトラバースを回避することができる。ただし一実施形態では、所与の候補領域とテンプレート画像との色差分が特定のしきい値よりも小さい場合には、後続パスの候補の最大数にすでに達しているか否かに関係なく、その候補領域をトラバースすることができる。
【０２０７】
ステップ７５６では、ステップ７５４で行った１回または複数回のパスで決定した各候補領域を、その色特徴付け情報とテンプレート画像の色特徴付け情報の差分に基づいてスコアリングする。色差分は、各種方式のどれで計算してもよい。色差分の方法の特定の実施形態については下記で説明する。候補領域のスコアリングには、各種あるシステムのうち任意のものを使用してよい。一実施形態では、各領域に０から１０００のスコアを割り振るが、１０００が最も可能性のある一致であり、０が最も可能性の低い一致である。
【０２０８】
ステップ７５８では、ステップ７５６で決定したスコアに基づいて、色一致領域の最終リストを生成する。例えば、スコアが一定レベル以下の領域を排除するのに使用するしきい値とスコアを比較することが可能である。このしきい値はデフォルト値でも、ステップ７５０で受け取ったユーザ入力で指定したものでもよい。
【０２０９】
図２６−第１パス探索
図２６は、図２４のステップ７５２に示した第１パス探索を行う方法の一実施形態を説明する流れ図である。上記のように、一実施形態では、第１パス探索は、ターゲット画像の様々な領域をサンプリングするものであり、サンプリングする領域は、特定のステップ・サイズに従ってターゲット画像に沿ってスライドするウィンドウによって決定することができる。したがって、この方法では、ステップ７７０で、ウィンドウをスライドさせる際に使用する適切なステップ・サイズを決定する。ステップ・サイズは、少なくとも部分的に、図２４のステップ７５０で受け取ったユーザ入力に基づいて決定することができる。例えば、ユーザが積極的な探索基準を指定した場合には、ステップ・サイズが比較的大きくなるのに対し、ユーザが綿密な探索基準を指定した場合には、ステップ・サイズが比較的小さくなる。各種の実施形態では、探索サイズは、テンプレート画像および／またはターゲット画像のサイズに応じて決めることもできる。
【０２１０】
テンプレート画像の場合と同様に、サンプリングする領域ごとに、その領域の色情報を分析することができる。ただし上記のように、領域中のあらゆるピクセルの色情報を調べることが望ましくない場合もある。したがって、ステップ７２２でサブサンプリングのサイズおよび／またはその方法を決定するが、サブサンプリング・サイズは、各領域で調べるピクセルの数を指定するものである。サブサンプリングの方法では、ランダム、準ランダム、または低不適合列など、サブサンプリングの種類を指定することができる。一実施形態では、この方法は、低不適合列を使用してピクセルのサブセットを選択することができる。ステップ・サイズの場合と同様に、サブサンプリングのサイズおよび／または方法は、ユーザが指定した探索基準によって決まる。
【０２１１】
次いで、図２６に示すように、サンプリングするターゲット画像の各領域にステップ７７４〜７８０を実行することができる。
【０２１２】
ステップ７７４で、ターゲット画像領域の色特徴付け分析を行う。このステップでは上記の色特徴付け法を利用することができ、この方法では、ターゲット画像のピクセル（あるいは選択したピクセルのサブセット）をその色情報について個別に調べ、色空間ビンに割り当てる。
【０２１３】
ステップ７７６で、ターゲット画像領域の色スペクトルと、テンプレート画像の色スペクトルの差分（あるいは類似度）の大きさを、それぞれの色特徴付け分析で得た情報を比較することによって計算する。この比較は、様々な方式のどれで行ってもよい。一実施形態では、Ｎ個のビン・セットのそれぞれの色ビンについて、２つの画像に対応するビンに割り当てられたピクセル・パーセンテージ値を相互から減算すると、Ｎ個の差分値が得られる。各差分値がゼロに近いほど、その色カテゴリについて、テンプレート画像とターゲット画像領域間により高い類似度がある。すなわち、特定の色カテゴリに該当する、テンプレート画像とターゲット画像領域のピクセルのパーセンテージが実質的に同じになる。
【０２１４】
次いで差分値の絶対値を合計して、ゼロから２の間に相当する値を得る。２は色スペクトル間の差分の最大の大きさを表し、ゼロは類似度の最大の大きさを表す。あるいは、それぞれの差分値をしきい値と比較して、色カテゴリごとの「スコア」を求めてもよい。
【０２１５】
上記の方法は簡単に応用することができ、結果を容易に理解することができるが、この方法がすべての色一致アプリケーションで最良の方法であるとは言えない。例えば、ユーザが中間感度あるいは高感度のレベルを指定したのに対応して、色相面の７つの自然色のうち少なくとも１つが２つ以上のビンに分割された場合を考えられたい。テンプレート画像とターゲット画像が非常に類似する色を有する場合であっても、なお各画像のピクセルが、色相面で自然色に相当する別々のビンに割り当てられる可能性がある。したがって、この例の結果では、同一のビンにピクセルがほとんど示されないか、あるいは全く示されない。つまり、この結果は、テンプレート画像とターゲット画像領域が非常に異なる色スペクトルを有することを示している。実際には、テンプレート画像とターゲット画像領域中の色は非常に類似しているものの、たまたま同じ自然色の別の色相カテゴリにあるので、これは適切な結果ではない。
【０２１６】
上記のような場合は、代替の色スペクトル技術で補償することができる。各種の実施形態では、上記のように色スペクトルの差分の大きさを計算する前に、ピクセルを隣接ビン間で共有するために、あるいは隣接ビンにピクセルを再分配するために、各ビンに割り当てられたピクセルのパーセンテージの一部を操作することができる。
【０２１７】
図２７は、この種のピクセルの共有および再分配を行う方法の一実施形態を説明する流れ図である。図に示すように、ステップ８０２で、実行する共有または再分配のレベルを、ユーザが指定した色感度レベルに従って決定する。一実施形態では、指定された低レベル、中間レベル、高レベルの感度に応じて、各ビンはそれぞれの場合、どのビンとも共有しないか、両側の隣接ビンの１つと共有するか、あるいは両側の２つの隣接ビンと共有する。別の実施形態では、例えばテンプレート画像およびターゲット画像領域のピクセルの一定のしきい値が、個々の隣接ビンに相当する場合（上記の例のように）には、隣接ビンとの共有または分配のレベルはコンピュータで自動的に決定することができ、この方法はあるレベルの共有または分配を自動的に適用することができる。したがって、この方法では、上記のようなエラーの種類を自動的に検出し、それを補償することができる。
【０２１８】
ステップ８０４で、隣接するビン間で、ピクセルの割り当てパーセンテージを再分配することができる。ステップ８０４は、各種方式のどれで行ってもよい。例えば一実施形態では、全ピクセルの４０％を含む各ビンは、両側の隣接ビンとその合計の１０％を共有することができる。言い換えると、４％（４０％の１０％）を各ビンの両側の隣接ビンに加えることができる。これにより、各ビンには３２％（４０％−４％−４％＝３２％）が残ることになる。次いで隣接するビンにこれと同じ共有プロセスを行い、一定のパーセントを戻されるのと同時に、一定のパーセントを別の隣接ビンに移し、以下同様に行う。ピクセルのパーセンテージの再分配には、他の各種方法のどれを使用してもよい。この種の調整は、追加のビンを加えるのと同様の効果を有し、結果をより平滑にする。このため、この種の調整を「スムージング・オペレーション」と呼ぶこともある。スムージング・オペレーションは、テンプレート画像およびターゲット画像領域どちらにも行うことができる。
【０２１９】
ステップ８０６で、テンプレート画像およびターゲット画像領域の補償後のパーセンテージを比較することができる。例えば、ステップ８０６では、上記と同様に、テンプレート画像およびターゲット画像領域の各ビンのパーセンテージを減算し、その結果を合計することができる。これにより、テンプレート画像の色情報とターゲット画像領域の色情報との差分の大きさを表す値が得られる。
【０２２０】
時として、ビンが表す色空間の部分に関して、ビンのパーセンテージだけではなく、ピクセルがビンのどこに該当するかに基づいて、複数のビン間でピクセルを分配することが望ましい場合もある。例えば、図１０に示した方法を修正して、例えば小数部の重みをつけて、色特徴付け分析を行う際にピクセルを複数のビンに割り当てるようにすることができる。このように複雑性を増すことにより、色一致突き止めの結果がより精密なものになる。
【０２２１】
各種の実施形態では、ファジー・メンバーシップ関数を利用して複数のビン間の望ましい分配を求める。図２９は、ファジー・メンバーシップ関数を使用して、画像の色情報を特徴付けする方法の一実施形態を説明する流れ図である。図２９に示すステップは、画像の各ピクセル（あるいは調べる画像の領域）に行うことができる。
【０２２２】
図に示すように、ステップ９００で、ピクセルを例えば上記の要領であるビンに割り当てることができる。
【０２２３】
ステップ９０２で、そのピクセルがビンのどこに相当するかに基づいて、ファジー・メンバーシップ関数を適用する。このファジー・メンバーシップ関数で、ピクセルが１つまたは複数の隣接ビンに対して行うべき分与を決定することができる。例えば、ピクセルが、（そのビンが対応する色空間の部分に対して）ビンの端近くに相当する場合、ファジー・メンバーシップ関数は、ピクセルの重みの一部を、そのピクセルが近い隣接ビンに与えるべきと判定する。各種のファジー・メンバーシップ関数のうちどれを適用してもよく、その関数は、ピクセルが任意数のビンに対して行うべき分与を決定することができ、分与の合計は１００％になる。
【０２２４】
ステップ９０４で、ステップ９０２で求めた分与の値に従って、ピクセルの重みを、そのピクセルが元々割り当てられていたビンを越えて、そのピクセルから分与する１つまたは複数のビンに分配する。
【０２２５】
図２８Ａ、２８Ｂ、２８Ｃは、ファジー・メンバーシップ関数の利用例を説明している。図２８Ａは、三角型ファジー・メンバーシップ関数を表している。図２８Ａは、３６０度の色相面を７つのビンに分割し、それを直線状に示したものである。ピクセルごとに、そのピクセルが該当するビンと、ビン内での位置を決定することができる。次いで、そのビンまたは隣接するビンに割り当てるべきピクセルの重みのパーセンテージを求めるために、ビン内の位置に基づいて三角型ファジー・メンバーシップ関数を適用する。これは、ビンの上に描いた角度のある線で表している。この例で、あるピクセルがあるビンのちょうど中心内に相当する場合には、図に示すように、そのピクセルの重みの１００％をそのビンに割り当てる。点線で表すように、あるピクセルがビンの端から４分の１の位置に相当する場合は、そのピクセルの重みの７５％をそのビンに割り当て、そのピクセルの重みの２５％を、その端の隣にある隣接ビンに割り当てる。
【０２２６】
図２８Ｂは、台形型ファジー・メンバーシップ関数を表している。この例では、ピクセルがあるビンの中心近くに相当する場合、そのピクセルの重みの１００％をそのビンに割り当てる。そうでない場合には、図２８Ａの場合と同様にピクセルの重みの一部を隣接ビンに分配する。
【０２２７】
図２８Ｃは、複数のビン間におけるビンの分配の別の例を示している。図２８Ｃの例では、ステップ・ファジー・メンバーシップ関数を適用する。「ＢｉｎＸ」と表示したビンを考えてみたい。ピクセルが、図中の中心線の左側、すなわちそのピクセルの色相から見て左側に相当する場合には、ＢｉｎＸにはピクセルの重みの８０％を割り当て、ＢｉｎＸ−１には重みの１５％を割り当て、ＢｉｎＸ−２にはピクセルの重みの５％を割り当てる。したがって、この例では、ピクセルは３つのビンにわたって分配される。ピクセルを分配するビンの数を増やすことは、色相空間が多数のビンに区分されている場合に特に望ましい。図２８Ａ、２８Ｂ、および２８Ｃに示すファジー・メンバーシップ関数は例示的なものであり、適切なピクセル分配を決定する際には任意の他の技術を使用してよいことに留意されたい。
【０２２８】
上記で指摘したように、一実施形態では、テンプレート画像の色特徴付け分析を行う際に、１つまたは複数の主要な色カテゴリを示す情報を得ることができる。再び図２６を参照すると、ステップ７７８で、主要な色カテゴリの差分の大きさを計算することができる。この差分の大きさは、上記の色スペクトルの差分についての説明と同様に計算することができる。例えば、テンプレート画像について決定した主要な色カテゴリごとに、その主要な色カテゴリに割り当てられたテンプレート画像ピクセルのパーセンテージを、その色カテゴリに割り当てられたターゲット画像領域ピクセルのパーセンテージと比較することができる。
【０２２９】
ステップ７８０では、ステップ７７６と７７８で求めた差分値を使用して、その領域を候補一致領域のリストに加えるかどうかを決定することができる。例えば、領域をリストに加えるには、色スペクトルの差分がしきい値よりも小さくなければならない場合がある。色スペクトルの差分は、それを計算した直後にテストすることができ、差分が大きすぎる場合には、ステップ７７８のようなサンプル領域のそれ以上の分析を中止することができる。
【０２３０】
色スペクトルの差分が十分に小さい場合には、主要色の差分を検討する。テンプレート画像の主要色の出現は、サンプル領域では非常に少なくなるか、あるいはサンプル領域ではまったく現れないものの、色スペクトル差分計算の各種実施形態では小さな差分値を得ることができるので、主要色の差分を考慮することは、サンプル領域が潜在的な一致であることをさらに保証する助けとなる。主要色の差分は個別に考慮しても、まとめて考慮してもよい。例えば、主要な色カテゴリが複数ある場合、その領域を候補リストに加えるには、各カテゴリのパーセンテージの差分がしきい値よりも小さいことが必要となるか、または全カテゴリの差分の平均値が、しきい値よりも小さくなる必要がある。
【０２３１】
図３０−色一致領域の表示
上記の色突き止め法を用いたソフトウェア・アプリケーションは、この方法で求めた一致領域の位置を視覚的に示すことができる。例えば、図３０に示すように、このアプリケーションでは各一致領域の周囲にボックスを表示することができる。このアプリケーションは、見つかった各一致領域に関する各種の統計を表示することもできる。
【０２３２】
上記の実施形態について非常に詳細に説明したが、上記の開示を完全に理解すれば、当業者には数多くの変形形態および修正形態が明らかになろう。頭記の特許請求の範囲は、その変形形態および修正形態をすべて包含すると解釈すべきである。
【図面の簡単な説明】
【図１】 従来技術で行われるパターン一致を示す図である。
【図２】 より少ない計算のためにより少ないピクセルを使用するテンプレート画像の特徴付けを含む従来技術で行われるパターン一致を示す図である。
【図３】 本発明の一実施形態による色一致および／またはパターン一致を行うコンピュータ・システムを示す図である。
【図４】 画像を獲得するための画像獲得（ビデオ・キャプチャ）システムを示す図である。
【図５】 画像獲得システムを示す高位ブロック図である。
【図６】 色情報およびパターン情報に関してテンプレート画像と一致するターゲット画像の領域を探し出すための方法の一実施形態を示す流れ図である。
【図７】 ＨＳＩカラー空間およびＨＳＩカラー空間区分化を示す図である。
【図８】 ＨＳＩカラー空間およびＨＳＩカラー空間区分化を示す図である。
【図９】 画像の色情報を特徴付けるための方法の一実施形態を示す流れ図である。
【図１０】 ＨＳＩ色のカテゴリの間において画像ピクセルの分布を決定することの一実施形態を示す流れ図である。
【図１１】 パターン情報に関してテンプレート画像を特徴付けることの一実施形態を示す流れ図である。
【図１２】 ターゲット画像の複数パス探索を行って、テンプレート画像に一致する色情報およびパターン情報を有する領域を見つけるための方法の一実施形態を示す流れ図である。
【図１３】 色とパターン一致突き止め方法の第１パス色一致探索中にターゲット画像を横断することを示す例である。
【図１４】 ターゲット画像、および第１パス色一致探索に応答して決定された色一致候補領域を囲むいくつかの領域を示す図である。
【図１５】 図１４のターゲット画像、および図１４に示した領域内のパターン一致に基づいて見つかった最終一致領域を示す図である。
【図１６】 色とパターン一致突き止め方法中にターゲット画像内で第１パス色一致探索を行うための方法の一実施形態を示す流れ図である。
【図１７】 色とパターン一致突き止め方法の第１パス色一致探索で決定された色一致候補位置を囲む近接領域内で行われるパターン一致探索の一実施形態を示す流れ図である。
【図１８】 パターン一致探索中、ターゲット画像領域を横断することを示す例である。
【図１９】 回転不変の色とパターン一致を行うための方法の一実施形態を示す流れ図である。
【図２０】 粗いものから細かいものに向う探索手続きを使用して回転不変の色とパターン一致を行うための方法の一実施形態を示す流れ図である。
【図２１】 回転不変のパターン一致方法の適用例を示す図である。
【図２２】 回転不変のパターン一致方法の適用例を示す図である。
【図２３】 色情報に関してテンプレート画像と一致するターゲット画像の領域を探し出すための方法の一実施形態を示す流れ図である。
【図２４】 ターゲット画像を探索して、テンプレート画像に一致する色情報を有する領域を見つけるための方法の一実施形態を示す例である。
【図２５】 色一致突き止め方法の第１パス探索中のターゲット画像ウインドウ移動を示す例である。
【図２６】 色一致突き止め方法中にターゲット画像全体にわたって第１パス探索を行うための方法の一実施形態を示す流れ図である。
【図２７】 色特徴付け方法によってピクセルがＨＳＩカラー・ビンに割り当てられた後、ピクセルの共用または再分配を行うための方法の一実施形態を示す流れ図である。
【図２８Ａ】 ファジイ・メンバシップ関数を使用してＨＩＳカラー・ビンの間における分数のピクセル分布を決定する例を示す図である。
【図２８Ｂ】 ファジイ・メンバシップ関数を使用してＨＩＳカラー・ビンの間における分数のピクセル分布を決定する例を示す図である。
【図２８Ｃ】 ファジイ・メンバシップ関数を使用してＨＩＳカラー・ビンの間における分数のピクセル分布を決定する例を示す図である。
【図２９】 ファジイ・メンバシップ関数を使用して画像の色情報を特徴付ける方法の一実施形態を示す流れ図である。
【図３０】 ターゲット画像内の色一致領域の位置がそこで視覚的に示されるユーザ・インターフェースを示す図である。

Claims (25)

1. コンピュータによって、色とパターンの情報に関してテンプレート画像と一致するターゲット画像領域を特定する方法であって：この特定する方法は、
   テンプレート画像の色情報を決定するためにテンプレート画像の色の特徴付け分析を行うステップと、１つまたは複数の色一致候補領域を見つけるためにターゲット画像を通じて色一致探索を行うステップとを含み；
   上記のターゲット画像を通じての色一致探索を行うステップは、
   各サンプル領域の色情報を決定するため、ターゲット画像内で複数のサンプル領域の夫々についての色の特徴付け分析を行うステップと、
   テンプレート画像の色情報と各サンプル領域の色情報を比較するステップと、
   前記比較に基づいて色情報に関するテンプレート画像と一致する１つ又はそれ以上の色一致候補領域を決定するステップと、
   １つ又はそれ以上の色一致候補領域の夫々についてパターン一致探索を行うステップと、
   パターン一致探索に応答して、色およびパターンの情報についてテンプレート画像と一致する最終の一致領域を決定するステップと
   を含み、
   テンプレート画像およびターゲット画像はそれぞれ複数のピクセルを含み、
   テンプレート画像に対して行われる色の特徴付け分析と、複数のサンプル領域のそれぞれに対して行われる色の特徴付け分析は、
   ピクセルの少なくともサブセットの色値を検査するステップと、
   前記検査に基づいて検査した各ピクセルを、色空間の一部に対応する色カテゴリに割り当てるステップと、
   前記割り当て後、色カテゴリ全体にわたる検査したピクセルの割振りを示す情報を決定するステップとを含み、
   前記サンプル領域の色の特徴付け分析で得られた情報をテンプレート画像の色の特徴付け分析で得られた情報と比較することは、サンプル領域とテンプレート画像それぞれの場合の色カテゴリ全体にわたる検査したピクセルの割振りを比較することを含み、
   さらに、
   テンプレート画像のパターン情報を特徴付けするステップを含み、このステップはさらに、
   テンプレート画像をサンプリングして第１の複数のサンプル・ピクセルを決定するステップを有し、第１の複数のサンプル・ピクセルはテンプレート画像のピクセルのサブセットを含むがすべては含まず、
   前記ターゲット画像を通じてパターン一致探索を行うのに、第１の複数のサンプル・ピクセルを使用し、
   前記テンプレート画像をサンプリングすることが、１つまたは複数の円形周囲または円形経路に沿ってテンプレート画像をサンプリングして、サンプル・ピクセルのセットを１つまたは複数生み出すことを含み、
   前記パターン一致探索を行うことが、サンプル・ピクセルのセットを１つまたは複数使用して、ターゲット画像中でテンプレート画像の回転されたインスタンスを１つまたは複数決定することを特徴とする方法。
2. テンプレート画像の色情報はこのテンプレート画像に存在する異なる色の数についての情報を有し、各サンプル領域について、各サンプル領域のカラー情報は各サンプル領域に存在する異なる色の数に関する情報を有する請求項１に記載の方法。
3. テンプレート画像のカラー情報はテンプレート画像の少なくともピクセル群のサブセットの色スペクトルを有し、各サンプル領域について、各サンプル領域のカラー情報は、各サンプル領域に存在する異なる色の数に関する情報を有する前記請求項１又は２に記載の方法。
4. テンプレート画像の色情報はテンプレート画像の主要なカラーについての情報を有し、各サンプル領域について各サンプル領域のカラー情報は各サンプル領域内の主要色に関する情報を有する前記請求項１及至３のいずれかに記載した方法。
5. 前記ターゲット画像を通じて色一致探索を行うステップは、山登り技法を用いてターゲット画像中の１つまたは複数の候補領域の近接領域を探索して、各領域ごとに最良の色一致候補領域を見つけることを特徴とする前記請求項１及至４のいずれかに記載した方法。
6. 前記山登り技法を用いて近接領域を探索して各領域ごとに前記最良の色一致候補領域を見つけるステップは、
   粗い山登り技法を用いて粗い色一致候補領域を見つけるステップ、および 粗い色一致候補領域上で精密な山登り技法を用いて、最良の色一致候補領域を見つけるステップから成る請求項５に記載の方法。
7. 複数のサンプル領域のそれぞれにつき、前記比較ステップはサンプル領域の色情報とテンプレート画像の色情報との差の測定値を決定することを特徴とする前記請求項１及至６いずれかに記載の方法。
8. １つまたは複数の色一致候補領域を決定するステップは、複数のサンプル領域のそれぞれにつき、サンプル領域の色情報とテンプレート画像の色情報との差の測定値がしきい値よりも小さい場合は、サンプル領域を色一致領域として指定することを特徴とする請求項７に記載の方法。
9. 前記ターゲット画像の中でパターン一致探索を行うステップは、
   色一致探索で見つかった各色一致候補領域につき、色一致領域に近接する近接領域のパターン一致探索を行って、ターゲット画像中で１つまたは複数の最終的な一致領域を見つけることを特徴とし、
   前記近接領域は、色一致領域の周りを取り巻き包囲する領域を含み、
   各近接領域のパターン一致探索で見つかる１つまたは複数の最終的な一致領域は色とパターンの情報に関してテンプレート画像と一致することを特徴とする前記請求項１及至８のいずれかに記載の方法。
10. 前記各色一致候補領域に近接する近接領域のパターン一致探索を行うステップは、近接領域中でパターン一致を複数回にわたって反復して行うことを特徴とする請求項９に記載の方法。
11. 複数回にわたるパターン一致の反復が、粗い方式から精密な方式へと行われることを特徴とする請求項１０に記載の方法。
12. 前記複数回にわたるパターン一致の反復を粗い方式から精密な方式へと行うことが、
    安定近傍サイズが連続的に小さくなるサンプル・ピクセルのセット、および ステップ・サイズが連続的に小さくなるピクセルのセットのうちの１つまたは複数を使用する請求項６に記載の方法。
13. テンプレート画像に対して行われる前記色の特徴付け分析は、テンプレート画像中の各ピクセルの色情報を検査することを含み、
    複数のサンプル領域のそれぞれに対して行われる前記色の特徴付け分析は、サンプル領域中のピクセルのサブセットだけの色情報を検査することを含む請求項１に記載の方法。
14. テンプレート画像の色値およびターゲット画像の色値が、色相、彩度、および輝度（ＨＳＩ）色値を含み、
    前記ピクセルの少なくともサブセットの色値を検査することが、ピクセルの少なくともサブセットのＨＳＩ値を検査することを含み、
    前記検査した各ピクセルを色空間の一部に対応する色カテゴリに割り当てることが、検査した各ピクセルをＨＳＩ色空間の一部に対応する色カテゴリに割り当てることを含む請求項１に記載の方法。
15. 前記色一致探索を行うことにおいて用いる所望の色感度レベルを指定するユーザ入力を受け取るステップをさらに有し、
    ユーザ入力は色空間が分割されるいくつかの範疇を決定することを特徴とする請求項１に記載の方法。
16. 前記検査した各ピクセルを色カテゴリに割り当てることが、
    前記検査した各ピクセルのうちの１つのピクセルが、このピクセルに対応する任意の数の色カテゴリに対して与えるべき寄与を決定するステップと、
    決定した寄与に従って、複数の色カテゴリにわたってピクセルの重みを分配するステップとから構成されることを特徴とする請求項１に記載の方法。
17. ターゲット画像が複数のピクセルを有する前記方法はさらに、複数のターゲット画像領域を決定するステップを有し、複数のサンプル領域はそれぞれウィンドウによってターゲット画像中に指定され、ウィンドウは第１のステップ・サイズによって指定されるいくつかのピクセルだけ相互からずれていることを特徴とする前記請求項１及至７のいずれかに記載の方法。
18. 特徴付けするステップがさらに、
    第１の複数のサンプル・ピクセルの少なくともサブセットの周りで局所安定性分析を行うステップを有し、前記局所安定性分析を行うことによって、所望の程度の安定性を有する第２の複数のサンプル・ピクセルを決定し、第２の複数のサンプル・ピクセルは第１の複数のサンプル・ピクセルのサブセットを含むがすべては含まず、
    前記局所安定性分析を行うことによって、第２の複数のサンプル・ピクセルそれぞれの周りの空間摂動に対するサンプル・ピクセルの安定性を保証するように作用し、
    前記ターゲット画像を通じてパターン一致探索を行うのに、第２の複数のサンプル・ピクセルを使用し、
    前記局所安定性分析は、サンプル・ピクセル値が近傍のテンプレート画像のピクセル値と高度に相関する、サンプル・ピクセル周囲の近傍を判定することを特徴とする請求項１に記載の方法。
19. 前記第１の複数のサンプル・ピクセルの少なくともサブセットの周りで局所安定性分析を行うことが、
    各サンプル・ピクセルにつき、サンプル・ピクセルの周りの近傍を見つけるステップを有し、サンプル・ピクセルの値は近傍中のテンプレート画像のピクセルの値と強く相関することを特徴とする請求項１８に記載の方法。
20. テンプレート画像中の各ピクセルが複数の成分で構成され、
    前記テンプレート画像をサンプリングすることが、複数の成分のうちの１つまたは複数の成分面でテンプレート画像をサンプリングすることから成ることを特徴とする請求項１に記載の方法。
21. テンプレート画像中の各ピクセルが、色相、彩度、および輝度の成分で構成され、
    前記テンプレート画像をサンプリングすることが、色相、彩度、および輝度のうちの１つまたは複数の面でテンプレート画像をサンプリングすることから成ることを特徴とする請求項２０に記載の方法。
22. 前記パターン一致探索は明るいパターン一致探索である請求項１及至２１のいずれかに記載の方法。
23. 色とパターンの情報に関してテンプレート画像と一致する、見つかった最終的な一致領域それぞれにつき、ターゲット画像内における最終的な一致領域の位置を示す情報をグラフィカル・ユーザ・インターフェース上に表示することをさらに含むことを特徴とする前記請求項１及至２２のいずれかに記載の方法。
24. 色とパターンの情報に関してテンプレート画像と一致する、見つかった最終的な一致領域それぞれにつき、最終的な一致領域の色とパターンの情報がテンプレート画像の色とパターンの情報と一致する程度を示す情報をグラフィカル・ユーザ・インターフェース上に表示することをさらに含むことを特徴とする前記請求項１及至２３のいずれかに記載の方法。
25. 請求項１ないし２４のうちのいずれかの方法を実施するソフトウェア・プログラムを記憶した記憶媒体。

Images