JP5310485B2 - 画像処理方法及び装置並びにプログラム - Google Patents

Description

本発明は、画像の類似性を判定する画像処理方法及び装置並びにプログラムに関する。本発明は、コンピュータに画像の類似性を判定させるプログラムを格納したコンピュータ読み取り可能な記憶媒体にも関する。

画像認識や計測の分野では、画像に含まれる特定の画像パターンを検出する機能が用いられる。画像の回転やスケールの変化にかかわらず類似な形状を検出する従来技術としては、画像のスケール又は回転に応じた複数のテンプレートを用意しておきテンプレートマッチングを行う方法、画像の位置、スケール、回転のパラメータ空間への変換を行うハフ変換等がある。しかし、これらの類似な形状を検出する従来技術は、いずれも画像の水平及び垂直位置、回転角及びスケールの全てのパラメータ空間で画像パターンの探索処理を行うものであり、データ処理量が膨大なものになってしまう。

これに対して、近年、スケールスペース理論による画像特徴のスケールパラメータを推定する技術や、画像パターンの輝度勾配のヒストグラムから画像パターンの方向パラメータを推定する技術が提案されている。これらの提案されている技術によれば、画像パターンのスケールや回転をある程度正規化することが可能であるが、微小なスケール、回転の違い、局所的な画像パターンの変形やコントラストの変動に対しては、頑健な画像パターンのマッチングを行うことは難しい。

そこで、画像パターンを複数の領域に分割し、各領域に対して輝度勾配ベクトルの方向についてのヒストグラムを作成する方式が提案されている。図１は、この提案方式によるマッチング方式を説明する図である。図１において、（ａ）は検出対象の画像パターン（又は、テンプレート）ＰＡと対応する輝度勾配の方向ヒストグラムを示し、（ｂ）はテンプレートＰＡとのマッチングの候補の画像パターンＰＢと対応する輝度勾配の方向ヒストグラムを示す。又、図１（ａ）及び図１（ｂ）の左側が画像パターンＰＡ，ＰＢを示し、右側が対応する輝度勾配の方向ヒストグラムＨＡ_Ｒ００〜ＨＡ_Ｒ２２，ＨＢ_Ｒ００〜ＨＢ_Ｒ２２を示す。

図１に示す例では、各画像パターンＰＡ、ＰＢを９個の領域Ｒ００〜Ｒ０２，Ｒ１０〜Ｒ１２，Ｒ２０〜Ｒ２２に分割し、各領域Ｒ００〜Ｒ２２について、輝度勾配ベクトルの方向について方向ヒストグラムを作成する。この際、図１に示すように、０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°の各方向（この例では８方向）のビンについて、当該方向を含む輝度勾配ベクトルの大きさを重みとして頻度を算出する。マッチング処理では、例えば比較する輝度勾配の方向ヒストグラムＨＡ_Ｒ００，ＨＢ_Ｒ００の対応するビンの度数の差の２乗和を類似度の指標に用いる。しかし、このようなマッチング処理では、一致又は不一致を判定するのに用いる絶対的な閾値がなく、対応するビンの度数の差の２乗和の最小値と２番目に小さい値との比率で判定しているため、画像パターン内に複数のマッチング対象がある場合には類似パターンを検出できない。

特開２００７−３３４７９５号公報 特開２０００−０９９７２２号公報 特開２００８−２６９１８１号公報 特開２００２−０５６３９４号公報

David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, pp.1-28, January 5, 2004

画像パターンを複数の領域に分割し、各領域に対して輝度勾配ベクトルの方向についてのヒストグラムを作成する上記提案方式では、画像パターンの類似度の絶対的な判定が困難であるという問題があった。

そこで、本発明は、画像パターンの類似度の絶対的な判定を可能とする画像処理方法及び装置並びにプログラムを提供することを目的とする。

本発明の一観点によれば、コンピュータによる画像処理方法であって、検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算工程と、前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算工程と、前記第１及び第２のヒストグラムの類似度を計算する第３の計算工程と、前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定工程を前記コンピュータが実行する画像処理方法が提供される。

本発明の一観点によれば、検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算部と、前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算部と、前記第１及び第２のヒストグラムの類似度を計算する第３の計算部と、前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定部を備えた画像処理装置が提供される。

本発明の一観点によれば、コンピュータに画像処理を行わせるプログラムであって、検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算手順と、前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算手順と、前記第１及び第２のヒストグラムの類似度を計算する第３の計算手順と、前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定手順を前記コンピュータに実行させるプログラムが提供される。

開示の画像処理方法及び装置並びにプログラムによれば、画像パターンの類似度の絶対的な判定が可能となる。

提案方式によるマッチング方式を説明する図である。 本発明の第１実施例における画像処理装置のハードウェア構成の一例を示す図である。 第１実施例におけるＣＰＵが実演する機能を説明する機能ブロック図である。 輝度勾配の方向ヒストグラムの生成を説明する図である。 テンプレートの領域についての輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られる情報量の累積値の一例を示す図である。 ヒストグラムの類似度の計算の他の例を説明する図である。 第１実施例における画像類似度判定処理を説明するフローチャートである。 輝度勾配ベクトルの大きさの出現頻度に関するデータの取得を説明する図である。 変換テーブルの一例を示す図である。 テンプレートの領域についての色成分の強度勾配ベクトルの方向毎に強度勾配ベクトルの大きさの出現頻度から得られる情報量の累積値の一例を示す図である。

開示の画像処理方法及び装置並びにプログラムは、画像情報の勾配ベクトルの情報量に着目している。具体的には、輝度勾配ベクトルや色成分の強度勾配ベクトル等の画像情報の勾配ベクトルの情報量を利用して画像をヒストグラムで表現することにより、検出対象の画像パターンと候補画像パターンのマッチングを行う。これにより、画像パターン間の絶対的な類似度を判定することができる。

以下に、開示の画像処理方法及び装置並びにプログラムの各実施例を図面と共に説明する。

図２は、本発明の第１実施例における画像処理装置のハードウェア構成の一例を示す図である。

画像処理装置１０は、画像処理装置１０全体の動作を制御するプロセッサの一例を形成するＣＰＵ（Central Processing Unit）１０１を有する。ＣＰＵ１０１には、バス１０８を介してＲＡＭ（Random Access Memory）１０２、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、補助記憶装置１０６、通信インタフェース１０７及び画像入力インタフェース（Ｉ／Ｆ：Interface）１０９が接続されている。

ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。又、ＲＡＭ１０２には、ＣＰＵ１０１が実行する処理に必要な各種データや、ＣＰＵ１０１が実行する演算の中間データ等が格納される。ＨＤＤ１０３には、ＯＳやアプリケーションプログラムが格納される。

グラフィック処理装置１０４には、モニタ１０４ａが接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１０４ａの画面に表示させる。入力インタフェース１０５には、キーボード１０５ａとマウス１０５ｂが接続されている。入力インタフェース１０５は、キーボード１０５ａやマウス１０５ｂから送られてくる命令やデータを、バス１０８を介してＣＰＵ１０１に送信する。

補助記憶装置１０６は、記録媒体に書き込まれた情報を読み取ったり、記録媒体に情報を書き込んだりする。補助記憶装置１０６で読み書きが可能な記録媒体としては、例えば、磁気記録媒体、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記録媒体としては、例えば、ハードディスク、フレキシブルディスク、磁気テープ等が挙げられる。光ディスクとしては、例えば、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Re-Writable）等が挙げられる。光磁気記録媒体としては、例えば、ＭＯディスク（Magneto-Optical disk）等が挙げられる。補助記憶装置１０６は、図２に示すように画像処理装置１０内に接続されていても、画像処理装置１０の外部に接続されていても良い。

ＲＡＭ１０２、ＨＤＤ１０３内のディスク媒体、或いは、補助記憶装置１０６が読み取る記録媒体は、ＣＰＵ１０１等のコンピュータに画像の類似性を判定させるプログラムを格納したコンピュータ読み取り可能な記憶媒体を形成する。

通信インタフェース１０７は、ネットワーク３０に接続されている。通信インタフェース１０７は、ネットワーク３０を介して、他のコンピュータ（図示せず）との間でデータの送受信を行うことができる。

画像入力Ｉ／Ｆ１０９には、カメラ（図示せず）により撮影された画像の画像データが直接、或いは、バス１０８を介して入力される。

図３は、第１実施例におけるＣＰＵ１０１が実行する機能を説明する機能ブロック図である。図３に示すＣＰＵ１０１は、画像入力Ｉ／Ｆ１０９、カメラ２及び記憶装置３に接続されている。記憶装置３は、例えば図２に示す補助記憶装置１０６に対応する。本実施例では、カメラ２で撮影された画像の中から特定の画像パターンを検出するものとする。

ＣＰＵ１０１は、例えばＨＤＤ１０３内のディスク媒体に格納されたプログラムを実行することにより、領域画像抽出機能を有する領域画像抽出部１１１、輝度勾配ベクトル計算機能を有する輝度勾配ベクトル計算部１１２、ヒストグラム計算機能を有するヒストグラム計算部１１３、輝度勾配ベクトル計算機能を有する輝度勾配ベクトル計算部１２２、ヒストグラム計算機能を有するヒストグラム計算部１２３、ヒストグラム類似度計算機能を有するヒストグラム類似度計算部１１４、及び類似判定機能を有する類似判定部１１５として機能する。これらの各機能の詳細については後述する。

カメラ２で撮影された画像の画像データは、画像入力Ｉ／Ｆ１０９を介して記憶装置３に入力されて入力画像データとして記録される。後述するように、入力画像データは記憶装置３から読み取られて領域画像抽出部１１１に供給される。記憶装置３には、テンプレート画像データ、及び輝度勾配ベクトルの大きさを情報量に変換するための変換テーブルも記録される。後述するように、テンプレート画像データは記憶装置３から読み出されて輝度勾配ベクトル計算部１２２に供給され、変換テーブルは記憶装置３から読み出されてヒストグラム計算部１１３，１２３に供給される。

図４は、輝度勾配の方向ヒストグラムの生成を説明する図である。図４に示す例では、図１の場合と同様に、図４（ｃ）に示す検出対象の画像パターン（又は、テンプレート）ＰＣを９個の同じ大きさの矩形領域Ｒ００〜Ｒ０２，Ｒ１０〜Ｒ１２，Ｒ２０〜Ｒ２２に分割し、各領域Ｒ００〜Ｒ２２について、輝度勾配ベクトルの方向について方向ヒストグラムＨＣ_Ｒ００〜ＨＣＡ_Ｒ２２を作成するものとする。この際、図４に示すように、０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°の各方向（この例では８方向）のビンについて、当該方向を含む輝度勾配ベクトルの大きさを重みとして頻度を算出する。

先ず、図４（ａ）に示す任意の複数のサンプル画像から、予め輝度勾配ベクトルの大きさの出現頻度に関する図４（ｂ）に示す如きデータを取得しておく。図４（ｂ）中、縦軸は輝度勾配ベクトルの大きさの出現頻度（又は、度数）を任意単位で示し、横軸は輝度勾配ベクトルの大きさを任意単位で示す。図４（ｂ）において、Ｐが大きさｍの輝度勾配ベクトルの出現頻度から得られる出現確率を示すものとすると、輝度勾配ベクトルの大きさの情報量（エントロピー）は−ｌｏｇ（Ｐｍ）で表される。取得したデータに基づいて、輝度勾配ベクトルの大きさからヒストグラムのビンへの変換を行うための変換テーブルを作成しておき、変換テーブルを用いてヒストグラムを求めるようにしても良い。次に、図４（ｃ）に示すテンプレートＰＣと、入力画像内のテンプレートＰＣと同じ大きさの各画像領域、即ち、各候補画像パターンとの間の類似性を判定するために、テンプレートＰＣを複数の領域Ｒ００〜Ｒ２２に分割し、夫々の領域Ｒ００〜Ｒ２２についての輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度（又は、出現確率）から得られる情報量（又は、エントロピー）を累積した図４（ｄ）に示す如きヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２を各候補画像パターンの領域Ｒ００〜Ｒ２２に対するヒストグラムと照合する。図４（ｄ）中、縦軸は輝度勾配ベクトルの大きさの情報量（又は、エントロピー）−ｌｏｇ（Ｐｍ）を任意単位で示し、横軸は輝度勾配ベクトルの大きさを任意単位で示す。

図５は、テンプレートＰＣの領域Ｒ００〜Ｒ２２についての輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度（又は、出現確率）から得られる情報量（又は、エントロピー）の累積値の一例を示す図である。本実施例では、輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの情報量を累積したヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２の類似度を、このヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２を情報量の確率分布として２つの確率分布の絶対的なバタチャリア（Bhattacharyya）類似度Ｂを判別する方式を用いて、絶対的な類似度として算出する。テンプレートＰＣについて１次元化したヒストグラムの各ビンの値をｐ（ｉ）、候補画像パターンについて１次元化したヒストグラムの各ビンの値をｑ（ｉ）、総ビン数をＮで示すと、バタチャリア類似度Ｂは次式により求めることができる。

尚、図６に示すように、輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの情報量を累積したヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２の類似度の計算を行う際に、全ビンを複数のグループに分割しても良い。図６は、ヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２の類似度の計算の他の例を説明する図である。この場合、夫々のグループの情報量の総和からなる、上記の全ビン数よりビン数の少ないヒストグラムを作成し、ビン数の少ないヒストグラムの類似度が一定閾値以上である場合に、全ビンの類似度を計算する。このような段階的なマッチング処理を行えば、類似度を効率良く計算することができる。

図７は、本実施例における画像類似度判定処理を説明するフローチャートである。画像類似度判定処理は、ＣＰＵ１０１が本実施例における画像処理方法に従って実行する。図７に示す画像類似度判定処理は、以下のステップＳ１〜Ｓ１２を含む。

ステップＳ１：ＣＰＵ１０１の変換テーブル作成部（又は、変換テーブル作成機能）は、図８（ａ）に示す任意の複数のサンプル画像から、輝度勾配ベクトルの大きさの出現頻度に関する図８（ｂ）に示す如きデータを取得する。図８は、輝度勾配ベクトルの大きさの出現頻度に関するデータの取得を説明する図である。図８（ｂ）中、縦軸は輝度勾配ベクトルの大きさの出現頻度（又は、度数）を任意単位で示し、横軸は輝度勾配ベクトルの大きさを任意単位で示す。又、ステップＳ１は、取得したデータの各輝度勾配ベクトルの大きさから各輝度勾配ベクトルの大きさの情報量（又は、エントロピー）Ｅｉを計算して、図９に示す如き変換テーブル５０を作成して記録装置３に記録する。このような変換テーブル５０を参照することで、輝度勾配ベクトルの大きさに基づいて輝度勾配ベクトルの大きさの情報量（又は、エントロピー）Ｅｉを得ることができる。輝度勾配ベクトルの大きさの情報量（又は、エントロピー）Ｅｉは、図８のデータにおいて、輝度勾配ベクトルの大きさｉの出現数をＮｉとし、データ中の輝度勾配ベクトルの総数をＮとした時、次式に基づいて計算することができる。

Ｅｉ＝−ｌｏｇ（Ｎｉ／Ｎ）

ステップＳ２：ＣＰＵ１０１のテンプレート記録部（又は、テンプレート記録機能）は、検出する画像パターン、即ち、テンプレートのデータ（デンプレート画像データ）を記録装置３に記録して登録する。

尚、変換テーブル５０が予め記録装置３に記録されていればステップＳ１は省略可能であり、テンプレート画像データが予め記録装置に登録されてればステップＳ２は省略可能である。つまり、画像類似度判定処理は、ステップＳ１，Ｓ２を含まないものであっても良い。

ステップＳ３：輝度勾配ベクトル計算部１２２は、記録装置３から読み出したテンプレート画像データに対して微分処理を行い、各画素の輝度勾配ベクトルを計算し、ＲＡＭ１０２や記録装置３等に記録する。

ステップＳ４：ヒストグラム計算部１２３は、図４（ｃ）に示すように、テンプレート画像データが表すテンプレートを複数の領域Ｒ００〜Ｒ２２に分割し、各領域Ｒ００〜Ｒ２２について、輝度勾配ベクトルの方向を複数のビンに分割する。又、ステップＳ４は、各方向のビンについて、記録装置３から読み出した変換テーブル５０を参照することで得られる輝度勾配ベクトルの大きさの情報量（又は、エントロピー）Ｅｉを累積したヒストグラムを計算し、ＲＡＭ１０２や記録装置３等に記録する。

ステップＳ５：画像入力Ｉ／Ｆ１０９は、カメラ２からの入力画像データを受信する。

ステップＳ６：画像入力Ｉ／Ｆ１０９は、カメラ２からの入力画像データをデジタルデータに変換して記録装置３に記録する。

ステップＳ７：領域画像抽出部１１１は、記録装置３に記録されている入力画像の画像データの中から、例えばキーボード１０５ａから指定された、入力画像内でテンプレートと同じ大きさの画像パターンの画像データを、テンプレートとのマッチングの候補である候補画像パターンのデータ（又は、候補領域データ）として抽出する。

ステップＳ８：輝度勾配ベクトル計算部１１２は、ステップＳ６で抽出された候補領域データに対して微分処理を行い、各画素の輝度勾配ベクトルを計算し、ＲＡＭ１０２や記録装置３等に記録する。

ステップＳ９：ヒストグラム計算部１１３は、ステップＳ４と同様に、抽出された候補領域データの画像を複数の領域Ｒ００〜Ｒ２２に分割し、各領域Ｒ００〜Ｒ２２について、輝度勾配ベクトルの方向を複数のビンに分割する。又、ステップＳ９は、ステップＳ４と同様に、各方向のビンについて、記録装置３から読み出した変換テーブル５０を参照することで得られる輝度勾配ベクトルの大きさの情報量（又は、エントロピー）Ｅｉを累積したヒストグラムを計算し、ＲＡＭ１０２や記録装置３等に記録する。

ステップＳ１０：ヒストグラム類似度計算部１１４は、ステップＳ３で計算したテンプレート画像のヒストグラムとステップＳ８で計算した候補画像パターンのヒストグラムの類似度を計算し、ＲＡＭ１０２や記録装置３等に記録する。類似度の計算には、図５に示すように、各領域Ｒ００〜Ｒ２２についてのヒストグラムを１次元のベクトルで表現して、バタチャリア（Bhattacharyya）類似度Ｂによりヒストグラムの類似度を計算する。上記の式で表されるバタチャリア類似度Ｂは、０．０〜１．０の範囲の実数値であり、バタチャリア類似度Ｂはヒストグラムの類似度が高い程大きな値になる。

尚、ステップＳ１０において輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの情報量を累積したヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２の類似度の計算を行う際に、図６に示すように、全ビンを複数のグループに分割しても良い。この場合、夫々のグループの情報量の総和からなる、上記の全ビン数よりビン数の少ないヒストグラムを作成し、ビン数の少ないヒストグラムの類似度が一定閾値以上である場合に、全ビンの類似度を計算する。このような段階的なマッチング処理を行えば、類似度を効率良く計算することができる。

ステップＳ１１：類似判定部１１５は、ステップＳ１０で計算した類似度が閾値より大きいか否かを判定することで類似度を評価する。ステップＳ１１の判定結果がＮＯであると、処理はステップＳ１２へ進み、ステップＳ１１の判定結果がＹＥＳであると、処理は終了する。

ステップＳ１２：類似判定部１１５又はＣＰＵ１０１の他の判定部（又は、判定機能）は、指定された全ての候補画像パターンの処理が完了したか否かを判定する。ステップＳ１２の判定結果がＮＯであると、処理はステップＳ７へ戻り、ステップＳ１２の判定結果がＹＥＳであると、処理は終了する。

このように、本実施例では、先ずテンプレートについて輝度勾配ベクトルのヒストグラムを計算して記録する。次に、入力画像から候補画像パターンを抽出して、候補画像パターンの輝度勾配ベクトルのヒストグラムを計算する。又、テンプレート画像の輝度勾配ベクトルのヒストグラムと候補画像パターンの輝度勾配ベクトルのヒストグラムの類似度を評価する。類似度が閾値以上の候補画像パターンが見つかるか、或いは、全ての候補画像パターンについての処理が終了するまで、候補画像パターンの抽出以降のステップＳ７〜Ｓ１２の処理が繰り返される。

上記実施例では、画像の類似度を判定するのに画像の輝度勾配ベクトルのヒストグラムを用いているが、輝度以外の画像情報の勾配ベクトルのヒストグラムを用いるようにしても良い。例えば、画像の三原色等の色成分の強度勾配ベクトルのヒストグラムを用いることもできる。

次に、本発明の第２実施例における画像処理装置を説明する。本実施例における画像処理装置のハードウェア構成及び機能ブロックは、図２及び図３に示した上記第１実施例の場合と同様で良いため、その図示及び説明は省略する。本実施例では、画像の類似度を判定するのに、画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の強度勾配ベクトルのヒストグラムを用いる。

図１０は、テンプレートの領域についての色成分の強度勾配ベクトルの方向毎に強度勾配ベクトルの大きさの出現頻度から得られる情報量の累積値の一例を示す図である。図１０中、図５と同一部分には同一符号を付し、その説明は省略する。

図１０は、テンプレートＰＣの領域Ｒ００〜Ｒ２２についての各色成分の強度勾配ベクトルの方向毎に強度勾配ベクトルの大きさの出現頻度（又は、出現確率）から得られる情報量（又は、エントロピー）の累積値の一例を示す図である。本実施例では、強度勾配ベクトルの方向毎にＲ，Ｇ，Ｂの色成分の強度勾配ベクトルの大きさの情報量を累積したヒストグラムＨ_{Ｒ００−Ｒ}〜Ｈ_{Ｒ２２−Ｒ}，Ｈ_{Ｒ００−Ｇ}〜Ｈ_{Ｒ２２−Ｇ}，Ｈ_{Ｒ００−Ｂ}〜Ｈ_{Ｒ２２−Ｂ}の類似度を、これらのヒストグラムＨ_{Ｒ００−Ｒ}〜Ｈ_{Ｒ２２−Ｒ}，Ｈ_{Ｒ００−Ｇ}〜Ｈ_{Ｒ２２−Ｇ}，Ｈ_{Ｒ００−Ｂ}〜Ｈ_{Ｒ２２−Ｂ}を情報量の確率分布として各色成分について２つの確率分布の絶対的なバタチャリア（Bhattacharyya）類似度Ｂを判別する方式を用いて絶対的な類似度を算出する。テンプレートＰＣについて１次元化したヒストグラムの各ビンの値をｐ（ｉ）、候補画像パターンについて１次元化したヒストグラムの各ビンの値をｑ（ｉ）、総ビン数をＮで示すと、バタチャリア類似度Ｂは、色成分の共同勾配ベクトルのヒストグラムを用いる場合も上記の式により求めることができる。

本実施例では、Ｒ，Ｇ，Ｂの各色成分の画像の夫々について、輝度を用いる場合と同様に、各色成分の強度勾配の大きさの情報量を用いて、強度勾配の方向ヒストグラムを作成する。類似度は、各色成分の強度勾配の方向ヒストグラムを１次元ベクトル化して、バタチャリア類似度Ｂにより評価する。この場合、ある候補画像パターンの各色成分について求めたテンプレートに対する類似度の和又は平均値が閾値より大きいか否かを判定することで、この候補画像パターンのテンプレートに対する類似度が高いか否かを判定することができる。つまり、図７の画像類似度判定処理を各色成分について実行し、図３の類似判定部１１５において、ある候補画像パターンの各色成分について求めたテンプレートに対する類似度の和又は平均値が閾値より大きいか否かを判定することで、この候補画像パターンのテンプレートに対する類似度が高いか否かを判定すれば良い。このように、画像類似度判定処理は、色成分の強度勾配ベクトルのヒストグラムを用いて各色成分について行う点を除けば、基本的には図７の画像類似度判定処理と同様であるため、その図示及び説明は省略する。尚、本実施例では、輝度勾配ベクトルの大きさを情報量に変換するための変換テーブル５０の代わりに、色成分の強度勾配ベクトルの大きさを情報量に変換するための変換テーブルを用いれば良いことは言うまでもない。

上記各実施例によれば、絶対的な類似度を判定することが可能となる。このため、画像内に複数のマッチング対象（又は、比較対象）があるような場合でも、各マッチング対象を検出することができる。又、段階的にマッチングを行うことで計算量の削減も可能になる。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
コンピュータによる画像処理方法であって、
検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算工程と、
前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算工程と、
前記第１及び第２のヒストグラムの類似度を計算する第３の計算工程と、
前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定工程を前記コンピュータが実行する、画像処理方法。
（付記２）
前記画像情報の勾配ベクトルは、輝度勾配ベクトル又は色成分の強度勾配ベクトルである、付記１記載の画像処理方法。
（付記３）
前記第３の計算工程は、前記第１及び第２のヒストグラムの類似度を、各ヒストグラムを情報量の確率分布として２つの確率分布の絶対的なバタチャリア（Bhattacharyya）類似度を判別する方式を用いて、絶対的な類似度として算出する、付記１又は２記載の画像処理方法。
（付記４）
前記第３の計算工程は、前記第１の画像パターンについて１次元化したヒストグラムの各区間の値をｐ（ｉ）、前記第２の画像パターンについて１次元化したヒストグラムの各区間の値をｑ（ｉ）、総区間数をＮで示すと、前記バタチャリア類似度を

により求める、付記３記載の画像処理方法。
（付記５）
前記第３の計算工程は、前記第１及び第２のヒストグラムの類似度を、全区間を複数のグループに分割し、夫々のグループの情報量の総和からなる、より区間数の少ないヒストグラムを作成し、区間数の少ないヒストグラムの類似度が一定閾値以上である場合に、全区間の類似度を計算する段階的なマッチング処理方式により計算する、付記１記載の画像処理方法。
（付記６）
前記第１及び第２の計算工程は、前記勾配ベクトルの大きさを情報量に変換するために予め作成され記録装置に記録されている変換テーブルを用いて、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を求める、付記１乃至５のいずれか１項記載の画像処理方法。
（付記７）
検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算部と、
前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算部と、
前記第１及び第２のヒストグラムの類似度を計算する第３の計算部と、
前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定部を備えた、画像処理装置。
（付記８）
前記画像情報の勾配ベクトルは、輝度勾配ベクトル又は色成分の強度勾配ベクトルである、付記７記載の画像処理装置。
（付記９）
前記第３の計算部は、前記第１及び第２のヒストグラムの類似度を、各ヒストグラムを情報量の確率分布として２つの確率分布の絶対的なバタチャリア（Bhattacharyya）類似度を判別する方式を用いて、絶対的な類似度として算出する、付記７又は８記載の画像処理装置。
（付記１０）
前記第３の計算部は、前記第１の画像パターンについて１次元化したヒストグラムの各区間の値をｐ（ｉ）、前記第２の画像パターンについて１次元化したヒストグラムの各区間の値をｑ（ｉ）、総区間数をＮで示すと、前記バタチャリア類似度を

により求める、付記９記載の画像処理装置。
（付記１１）
前記第３の計算部は、前記第１及び第２のヒストグラムの類似度を、全区間を複数のグループに分割し、夫々のグループの情報量の総和からなる、より区間数の少ないヒストグラムを作成し、区間数の少ないヒストグラムの類似度が一定閾値以上である場合に、全区間の類似度を計算する段階的なマッチング処理方式により計算する、付記７記載の画像処理装置。
（付記１２）
前記第１及び第２の計算部は、前記勾配ベクトルの大きさを情報量に変換するために予め作成され記録装置に記録されている変換テーブルを用いて、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を求める、付記７乃至１１のいずれか１項記載の画像処理装置。
（付記１３）
コンピュータに画像処理を行わせるプログラムであって、
検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算手順と、
前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算手順と、
前記第１及び第２のヒストグラムの類似度を計算する第３の計算手順と、
前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定手順
を前記コンピュータに実行させる、プログラム。
（付記１４）
前記画像情報の勾配ベクトルは、輝度勾配ベクトル又は色成分の強度勾配ベクトルである、付記１３記載のプログラム。
（付記１５）
前記第３の計算手順は、前記第１及び第２のヒストグラムの類似度を、各ヒストグラムを情報量の確率分布として２つの確率分布の絶対的なバタチャリア（Bhattacharyya）類似度を判別する方式を用いて、絶対的な類似度として算出する、付記１３又は１４記載のプログラム。
（付記１６）
前記第３の計算手順は、前記第１の画像パターンについて１次元化したヒストグラムの各区間の値をｐ（ｉ）、前記第２の画像パターンについて１次元化したヒストグラムの各区間の値をｑ（ｉ）、総区間数をＮで示すと、前記バタチャリア類似度を

により求める、付記１５記載のプログラム。
（付記１７）
前記第３の計算部は、前記第１及び第２のヒストグラムの類似度を、全区間を複数のグループに分割し、夫々のグループの情報量の総和からなる、より区間数の少ないヒストグラムを作成し、区間数の少ないヒストグラムの類似度が一定閾値以上である場合に、全区間の類似度を計算する段階的なマッチング処理方式により計算する、付記１３記載のプログラム。
（付記１８）
前記第１及び第２の計算手順は、前記勾配ベクトルの大きさを情報量に変換するために予め作成され記録装置に記録されている変換テーブルを用いて、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を求める、付記１３乃至１７のいずれか１項記載のプログラム。
（付記１９）
付記１３ないし１７のいずれか１項記載のプログラムが格納された、コンピュータ読み取り可能な記憶媒体。

以上、開示の画像処理方法及び装置、プログラム及びコンピュータ読み取り可能な記憶媒体を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

２ カメラ
３ 記録装置
１０ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＨＤＤ
１０６ 補助記憶装置
１０９ 画像入力Ｉ／Ｆ
１１１ 領域画像抽出部
１１２，１２２ 輝度勾配ベクトル計算部
１１３，１２３ ヒストグラム計算部
１１４ ヒストグラム類似度計算部１１４
１１５ 類似判定部

Claims (5)

1. コンピュータによる画像処理方法であって、
   検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算工程と、
   前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算工程と、
   前記第１及び第２のヒストグラムの類似度を計算する第３の計算工程と、
   前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定工程を前記コンピュータが実行する、画像処理方法。
2. 前記画像情報の勾配ベクトルは、輝度勾配ベクトル又は色成分の強度勾配ベクトルである、請求項１記載の画像処理方法。
3. 前記第３の計算工程は、前記第１及び第２のヒストグラムの類似度を、各ヒストグラムを情報量の確率分布として２つの確率分布の絶対的なバタチャリア（Bhattacharyya）類似度を判別する方式を用いて、絶対的な類似度として算出する、請求項１又は２記載の画像処理方法。
4. 検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算部と、
   前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算部と、
   前記第１及び第２のヒストグラムの類似度を計算する第３の計算部と、
   前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定部を備えた、画像処理装置。
5. コンピュータに画像処理を行わせるプログラムであって、
   検出対象の第１の画像パターンを複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第１のヒストグラムを計算する第１の計算手順と、
   前記第１の画像パターンと同じ大きさの第２の画像パターンを前記第１の画像パターンと同じ複数の領域に分割し、各領域について画像情報の勾配ベクトル方向毎に前記勾配ベクトルの大きさの出現頻度から得られる情報量を累積した第２のヒストグラムを計算する第２の計算手順と、
   前記第１及び第２のヒストグラムの類似度を計算する第３の計算手順と、
   前記類似度に基づいて前記第１及び第２の画像パターンの類似度を判定する判定手順
   を前記コンピュータに実行させる、プログラム。

Images