JP5188334B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像を正規化する処理をする画像処理装置、画像処理方法、およびプログラムに関する。

検索条件としての画像（以下、クエリ画像）とデータベースなどに記憶している画像（以下、記憶画像）の両方から、画像の色やエッジなどの特徴量を抽出し比較する事で類似画像を検索する方法がある。

従来、印刷やスキャンなどによって色や画質が変化した画像を検索したり、逆に色や画質に変化の生じた画像を用いて原本の画像を検索したりする際に、画像全体の画素値を参照して正規化を行っていた。例えば、画像から特徴量を抽出する前処理として、輝度成分の最大値や最小値を補正するものや、画像の色成分の少なくとも１つのダイナミックレンジ（最大値と最小値の比）を補正していた。このように正規化することで、色や画質に変化のあった画像でも定量的に扱えるようにしていた。

特許文献１には、白から黒までの連続する輝度を量子化し、量子化した各輝度の画素が画像中に均等な割合で出現するように正規化し、更に画像の濃淡に重み付けをして画像を検索する点が記載されている。

また、特許文献２には、画像の局所的な特徴量（局所特徴量）を使って類似画像を検索する点が記載されている。この方法では、ＤＯＧ関数を用いて各画像から特徴的な点を選別し、選別した点に対応する特徴量を求め、この特徴量同士を比較している。
特開２００７−０１２０２４号公報 特開平９−４４６６５号公報

しかし、スキャンなどによって色や画質が変化した画像では、周囲の画素とは関係ない点のノイズ（スパイクノイズ、孤立点ノイズ、網点ノイズ）が発生する事が多い。このようなノイズを含む画素は輝度値が極端な値になる事が多く、特許文献１の技術を用いても良好な正規化を妨げてしまう事がある。

しかし一方で、点のノイズを鈍らせるフィルタを画像全体に作用させてから正規化すると、正規化した後に抽出する特徴量まで鈍くなってしまい検索精度や認識精度に影響を及ぼす事がある。

特に、特許文献２のように所定の特徴点における特徴量（以下、局所特徴量）を検索クエリとして、画像を認識・検索しようとする場合、画像全体を平準化すると局所特徴量の局所性が損なわれてしまう。

そこで、本発明では画像の輝度値や色値を正規化する際に、ノイズの影響を抑えた好適な正規化を実現する画像処理方法、画像処理装置およびプログラムを提供することを目的とする。

本発明に係る画像処理装置は、入力画像を受付ける受付け手段と、前記入力画像を平準化処理し、夫々が異なる平準化度合いで平準化されている複数の平準化画像を取得する平準化手段と、前記入力画像および前記平準化画像を含む画像群から特徴点を抽出する抽出手段と、前記特徴点を抽出した画像よりも平準化度合いの高い画像から正規化パラメータを取得するパラメータ取得手段と、前記特徴点が抽出された前記画像群の何れかの画像において前記特徴点に関する局所特徴量を算出する領域を含む領域の画素値を前記正規化パラメータに基づいて正規化する正規化手段とを有することを特徴とする。

本発明によってノイズの影響を抑えた正規化処理が可能になる。

また、本発明によって、算出する局所特徴量の局所性を維持したままノイズの影響を抑えることができるので、検索・認識精度が向上する。

＜第１の実施形態＞
図１は、本発明の一実施形態の画像処理装置である画像正規化装置１００の機能ブロック図である。画像正規化装置１００は、受付部１０２、平準化部１０３、パラメータ取得部１０４および正規化部１０５を有する。

図２は画像正規化装置１００による画像正規化処理のフローチャートである。ステップＳ２０１において、受付部１０２が正規化対象の入力画像１０１を読み込む処理をする。

次に平準化部１０３がステップＳ２０２とステップＳ２０３において平準化処理をする。本実施形態では入力画像１０１の画素値の中でも輝度値に着目して正規化をするため、ステップＳ２０２において平準化部１０３は輝度成分を抽出する。更に、Ｓ２０３で縮小変換をして入力画像１０１を平準化する。縮小変換では、例えば画像を縦横５０％に縮小する際には４画素の平均値を１画素として出力する。このような縮小変換をすることで、独立点や網点などの極端なノイズが軽減される。本実施形態では平準化画像として縮小画像を取得する。

ステップＳ２０４において縮小変換で取得した縮小画像から、画素値の正規化に用いる正規化パラメータを取得する。本実施形態では正規化パラメータとして縮小画像から最小輝度値と最大輝度値を取得する。ステップＳ２０５において正規化部１０５が正規化パラメータを用いて入力画像１０１の画素値の輝度分布を補正して正規化する。ステップＳ２０６において正規化部１０５が正規化した入力画像１０１を正規化画像１０６として出力する。

図３は画像中の画素の画素値の分布（ここでは輝度に関するヒストグラム・輝度分布）を示し、縦軸が所定の画素値を持つ画素の出現頻度で、横軸が画素値の大きさ（輝度）である。図３（ａ）が入力画像１０１の輝度分布、図３（ｂ）が入力画像１０１を縮小して得られた縮小画像の輝度分布、図３（ｃ）が正規化した輝度分布である。ここでは画素値が８ｂｉｔで量子化されている場合を説明するので、取り得る画素値の最大値は２５５（破線３０１、３０２、３０３）である。

ここでは、入力画像１０１がスキャン画像であるとして説明する。電気的なスキャンで生じるノイズを含む画素は周囲の画素の画素値と無関係な値であることが一般的であり、特に画素値の小さいノイズ（黒点ノイズ）と大きいノイズ（白点ノイズ）は正規化処理に影響を及ぼす。

今、入力画像１０１がスキャン画像であって画像全体が実際よりも明るくなってしまったとすると、輝度分布は画素値の大きい方へそのままシフトすることが考えられる。しかし、図３（ａ）の箇所Ａが示すように、黒点ノイズが入力画像１０１に出現すると、画像を正規化する際に妨げになる。図３（ｂ）では縮小変換を行うことで画像全体が平準化されている。平準化処理を施すと、白点ノイズや黒点ノイズのように周囲の画素の画素値と無関係な値をもつ画素を特に平準化することができる。

図３（ｂ）に示す、ｍａｘとｍｉｎがそれぞれ縮小画像の最大輝度値と最小輝度値であってパラメータ取得部１０４の取得する正規化パラメータである。ノイズを除去した入力画像１０１の理想的な最大輝度値と最小輝度値に近い。

図３（ｃ）では入力画像１０１の輝度分布のうち、図３（ｂ）で取得した最大輝度値より大きい画素値をもつ画素を最大輝度値で、最小輝度値より小さい画素値をもつ画素を最小輝度値で置き換える。入力画像１０１の輝度分布が縮小画像の平均輝度（不図示）を基準として左右に拡大するように入力画像１０１の画素値を補正している。最小輝度値（ｍｉｎ）と最大輝度値（ｍａｘ）と平均輝度（不図示）をそれぞれ基準値として入力画像を正規化している。この例では、最大輝度値が輝度値の上限へ先に到達したので最小輝度値が０とはなっていない。入力画像１０１が文書画像である等が分かっているなら最小輝度値と最大輝度値の両方へ到達するように補正してもよい。

このように第１の実施形態によると、入力画像１０１に対して縮小画像を生成し、縮小画像から正規化パラメータを取得することで、ノイズの影響を抑えつつ入力画像を正規化することが可能となる。

なお、平準化部１０３の平準化処理として縮小変換だけでなく、ガウシアンフィルタのような平準化フィルタを作用させて平準化画像に変換しても同様の効果を得ることができる。

また、輝度成分に限らず、色空間の１つの要素（色成分、チャンネル）に関して正規化してもよい。

＜第２の実施形態＞
〔特徴点と局所特徴量〕
まず、特徴量、特徴点および局所特徴量について説明する。画像を検索条件（クエリ画像）として指定して、類似する画像を検索する場合は２つの画像（クエリ画像とＤＢの画像）を比較することによって成される。一般的に画像検索をする場合、その画像の内容をよく表す数値や数列を特徴量として画像毎に算出する。そして、この特徴量が似ている画像を類似する画像として検索をする。特徴量として、画像の内容を示すキーワードを用いる事もあるが、本件では例えば色の配置情報などの、少なくとも画像の画素値から算出するものを含むものを特徴量とする。

色の配置情報を用いる検索では、画像を８×８画素の縮小画像に変換して、各画素の位置情報（０，０）〜（８，８）と出現する色を数値化したものとを関連付けて特徴量とする。

しかし、色の配置情報を用いて検索すると、部分的な検索には不向きである。例えば、特定のロゴを含む画像を検索しようとする際に、所定のロゴを含むが背景は異なる場合、所定のロゴの一部が障害物で隠れている場合、所定のロゴが拡大・縮小されている場合などは検索が困難である。

その際に、クエリ画像に含まれる局所的な特徴を用いる手法がある。
例えば、両者の対応を取り易い点を選び、更に画像間で点の対応をとる手法がある。この対応の取り易い点を特徴点（ｆｅａｔｕｒｅ ｐｏｉｎｔ）とする。特徴点はキーポイント（ｋｅｙ ｐｏｉｎｔ）や特異点（ｉｎｔｅｒｅｓｔ ｐｏｉｎｔ）と表現されたり、エッジが尖ったところとして頂点（ｃｏｒｎｅｒ）と定義されたりすることもある。

本実施例では特徴点に関する局所的な特徴量を局所特徴量として、局所特徴量を用いる画像検索をする際の正規化処理を説明する。

［局所特徴量の登録処理］
以下、本実施形態における特徴点の抽出方法と局所特徴量の算出方法について具体的に説明する。

図４は本発明の一実施形態の画像処理装置である画像登録装置の機能ブロック図である。第１の実施形態と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的にかわらないものについてはその説明を省略する。画像登録装置４００は、受付部１０２、平準化部１０３、特徴点抽出部４０１、パラメータ取得部１０４、正規化部１０５、局所特徴量算出部４０２を有している。

図５は画像登録装置４００による画像登録処理のフローチャートである。ステップＳ５０１〜Ｓ５０２は第１の実施形態の図２のステップＳ２０１〜Ｓ２０２と同様なので省略する。

ステップＳ５０３では平準化部１０３が入力画像１０１を縮小変換する。ここで、ステップＳ５０３の局所特徴量の算出に備えてｎ種類の解像度の縮小画像（ｎ個の平準化画像）を生成する。具体的には、平準化部１０３は受付部１０２が取得した輝度成分を縮小率ｐに従ってｎ回、縮小処理を行う。（図１１参照）。ここで、縮小率ｐ及び縮小回数ｎは予め定められている。図１１はｎ＝８、ｐ＝２の−（１／４）乗の縮小変換処理を示している。ここでは、線形補間法より輝度成分の縮小画像を取得しているが、画像を縮小変換する処理方法であれば他の手法を用いてもよい。

ステップＳ５０４では特徴点抽出部４０１が縮小変換部で変換した縮小画像および入力画像１０１から特徴点を抽出する。

本実施形態では特徴点の候補の抽出にＨａｒｒｉｓ作用素を用いることで、画像に回転変化があっても抽出される再現性のある（ロバストな）特徴点を抽出する。回転変化に対してロバストに抽出される特徴点とは、例えば画像を回転処理しても再び同じ画像内容（コーナやエッジ）から抽出されるような特徴点を意味する。

まず特徴点抽出部４０１が、入力画像１０１および平準化部１０３で平準化された画像に対してＨａｒｒｉｓ作用素を作用させ、特徴点の候補を有する画素（候補画素）を取得する。Ｈａｒｒｉｓ作用素などのコーナやエッジを抽出する方法はコーナ検出器として知られており、それらを用いてもよい。しかし、それらのコーナ検出器を作用させただけでは画像に変化があった場合に同じコーナ検出器を用いても抽出されなくなるような、再現性の低い特徴点を含んでいることがある。また、抽出される特徴点の候補が数百〜数千にも及び、検索や認識に用いようとすると計算処理負荷やデータ量が膨大になることもある。従って、ロバスト性の高い局所特徴点に絞り込むことで計算精度を高めつつ計算処理負荷や局所特徴量のデータ量を減らすことが可能になる。

まず、候補画素と候補画素を囲む近接の８画素の輝度値とを比較し、９画素の中で候補画素の輝度値（画素値）が最大で且つ所定値以上のものに絞る。この絞り込みにより、値の小さい不安定な点を候補から外す事が可能になる。

更に、候補画素を有する画像において輝度分布ｆ（ｘ，ｙ）をラプラシアン関数Ｅ（ｘ，ｙ）に変換し、候補画素のラプラシアン値を算出する。そして算出したラプラシアン値を平準化方向で比較して、拡大・縮小変化にもロバストな特徴点に絞り込む。

本実施形態では式（１）をラプラシアン関数として用いる。

ここで平準化方向とは図１１に示すような多段階に縮小した際の縮小回数方向である。このような多段階に縮小した縮小画像において、同じ画像内容（コーナ、エッジ）から抽出される特徴点候補に着目する。今、ｉ回縮小した特徴点候補に着目しこの点におけるラプラシアン値Ｅ（ｉ）と、（ｉ＋１）回縮小した画像のラプラシアン値Ｅ（ｉ＋１）と、（ｉ−１）回縮小した画像のラプラシアン値Ｅ（ｉ−１）とを比較する。そしてＥ（ｉ）が、Ｅ（ｉ＋１）およびＥ（ｉ−１）以上である候補特徴点に絞る。

特徴点の絞り込み方法は種々の方法があり、この他の方法を用いる事も可能である。また、特徴点を抽出する画像が単純な画像であってコーナ検出器を作用させるだけで候補特徴点が適当な数や精度であれば、絞り込みを省略することも可能である。

次に、Ｓ５０５においてパラメータ取得部１０４が正規化パラメータを取得する。ステップＳ５０６において正規化部１０５が正規化パラメータに基づいて特徴点近傍の画素値を正規化する。

本実施形態では、平準化度合いの高い縮小画像からパラメータ取得部１０４が取得した正規化パラメータを用いて、正規化部１０５がこの特徴点を含む画素と特徴点近傍の画素値を正規化する。

本実施形態では、正規化パラメータとしてパラメータを取得する対象の領域に含まれる画素の画素値の最大値（最も明るい色の値・白色補正値）と、最小値（最も暗い色の値・黒色補正値）とを取得する。そして、正規化処理では、正規化する対象の領域に含まれる各画素の画素値について式（２）を用いて正規化処理を行う。

ここで、ｈは正規化前の画素値であり、ｈ’が正規化後の画素値である。また、ｂは黒色補正値であり、ｗは白色補正値である。また、ｖ、ｖ’、ｂ、ｗはすべて０から１までの値であるとする。（実施形態１では０〜２５５）。

実施形態１のように輝度成分に限らず、色空間の１つの要素（色成分、チャンネル）に関して正規化してもよい。

ステップＳ５０７で局所特徴量算出部４０２が特徴点抽出部４０１で抽出した特徴点における局所特徴量を算出する。

局所特徴量は、特徴点を含む画素と近接する所定の領域に含まれる画素の画素値から算出する。

本実施形態では局所特徴量として式（３）のような、特徴点と特徴点近傍の領域の有する模様を数値化したＬｏｃａｌ Ｊｅｔ及びそれらの導関数の組み合わせを用いる。

Ｖ（ｘ，ｙ）は画像の中で座標（ｘ，ｙ）にある特徴点に関する局所特徴量である。

ただし、式（３）の右辺で用いている記号は、以下に示す式（４）〜（９）で定義される。ここで、式（４）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（５）は式（４）で定義された変数Ｌのｘに関する偏導関数、式（６）は当該変数Ｌのｙに関する偏導関数である。式（７）は式（５）で定義された変数Ｌｘのｙに関する偏導関数、式（８）は式（５）で定義された変数Ｌｘのｘに関する偏導関数、式（９）は式（６）で定義されたＬｙのｙに関する偏導関数である。

ここで、Ｇ（ｘ，ｙ）はガウス関数であるので、通常は標準偏差σを変数として持つが、本実施形態ではσ＝ａｒ（ａは定数）として予め定められる。ここでは局所特徴量を算出する際に参照する領域（模様を数値化する領域）は、着目している特徴点を中心とする半径ｒの部分領域に含まれる画素であるとする。この半径ｒは、ガウスフィルタによる重み付けがしきい値ε以上となる領域の縁に外接する円の半径と表現することもできる。

尚、特徴点を含む画素と特徴点近傍の画素の特徴を示す局所特徴量を算出可能な方法であれば、上述の方法以外でもよい。上述の局所特徴量は５つの要素から成るが、検索精度や局所特徴量のロバスト性が要求される場合は、要素の数が多い方が良いが、要素の数が増加すると計算負荷が高くなる。例えば、ＳＩＦＴ（要素１００程度）やＰＣＡ−ＳＩＦＴ（要素２０００程度）などの方式で求める局所特徴量は検索精度やロバスト性が高いが計算負荷が高くなる。

ステップＳ５０８で局所特徴量の算出処理が終わったかどうかを判定し、終わっている場合はステップＳ５０９に遷移する。ステップＳ５０９では画像登録装置４００から、入力画像１０１又は縮小画像と局所特徴量とを関連付けて出力し画像特徴データベース４０３に登録する。また、入力画像１０１における座標に相当する情報とも関連付けておくことが好ましい。

［正規化パラメータの取得と正規化］
ここで、正規化パラメータの取得と正規化について更に詳細に説明する。図７は、正規化パラメータを取得する際のパラメータ取得部１０４の処理のフローチャートである。

まずステップＳ７０１で、パラメータ取得部１０４が特徴点抽出部４０１が抽出した特徴点ごとに、正規化パラメータを取得する縮小画像を決定する。

次にステップＳ７０２で、パラメータ取得部１０４が特徴点ごとに正規化パラメータを取得する領域を決定する。
ステップＳ７０３で、パラメータ取得部１０４が特徴点ごとに正規化パラメータを取得する。正規化パラメータの取得方法については実施形態１と同様である。

なお、特徴点ごとに正規化パラメータを取得する処理が負荷になるようであれば、特徴点の集合をいくつかのクラスに分類するクラスタリングを用いて、クラス毎に同じ正規化パラメータを用いても良い。クラスの分類は、平準化度合いで分けたり近い特徴点毎に分けたりする事が可能である。

図８は、ステップＳ５０３において平準化部１０３で生成した縮小画像に、ステップＳ５０４において特徴点抽出部４０１が抽出した特徴点を重ね合わせた図である。ここでは、それぞれ異なる解像度の４枚の縮小画像が生成された状態での画像の正規化処理について説明する。

ＳＣは画像の縮小回数を表し、入力画像１０１がＳＣ＝０である。縮小回数がＳＣ、縮小率がｐのとき、縮小画像の大きさは入力画像（ＳＣ＝０の画像）のｐの（ＳＣ）乗となる。たとえば、縮小率ｐが２の−（１／４）乗、ＳＣ＝４の縮小画像の大きさは、入力画像１０１に対して５０％縮小した画像になる。

特徴点８０２は特徴点抽出部４０１でＳＣ＝１の縮小画像から抽出された特徴点の１つであり、縮小画像上での座標をＮ１（ｘ２，ｙ２）とする。特徴点８０３は特徴点抽出部４０１でスケール番号ＳＣ＝３の縮小画像から抽出された特徴点の１つであり、当該縮小画像上での座標をＮ３（ｘ３，ｙ３）とする。特徴点８０４は特徴点抽出部４０１でスケール番号ＳＣ＝４の縮小画像から抽出された特徴点の１つであり、当該縮小画像上での座標をＮ４（ｘ４，ｙ４）とする。

点８０５は、ＳＣ＝１の縮小画像から抽出された特徴点８０２を、縮小回数ＳＣ＝３の座標系に変換した場合に一致する点であり、点８０５の座標はＮ３（ｘ２，ｙ２）とする。点８０６は、ＳＣ＝３の縮小画像から抽出された特徴点８０３を、縮小レベルＳＣ＝４の座標系に変換した場合に一致する点であり、点８０６の座標をＮ４（ｘ３，ｙ３）とする。

図８に基づいて、正規化する対象の特徴点が抽出された画像よりもさらに２回だけ縮小された画像を用いて正規化パラメータを取得し、局所特徴量を算出する処理を説明する。特徴点８０３は、特徴点８０３が抽出された縮小レベルＳＣ＝３の縮小画像から２回縮小している縮小画像が存在しない。従って、特徴点８０３の正規化パラメータはＳＣ＝４の縮小画像を用いて取得する。特徴点８０４は、特徴点８０４が抽出された縮小レベルＳＣ＝４よりも縮小した縮小画像が存在しないことから、ＳＣ＝４の縮小画像を用いて正規化パラメータを取得する。

他にも、正規化パラメータを取得する対象の縮小画像として、対応する特徴点が抽出される縮小画像の中で、縮小回数の最も多い縮小画像を用いても良い。

次に、ステップＳ７０２で、パラメータ取得部１０４が正規化パラメータを取得する際に参照する領域を決定する。

図９は、ステップＳ３０４において特徴点抽出部４０１が抽出した特徴点８０２から正規化パラメータを取得する際に参照する領域を示す図である。本実施形態では正規化パラメータを取得する際に特徴点を中心とする円形の領域に含まれる画素を参照する。これは、回転変化があった場合の変動量を小さくするためである。

領域９０１は、特徴点８０２を中心とし、半径ｒ１（不図示）の円形の領域である。半径ｒ１は、あらかじめ定められた所定の値で決められる。領域９０２は、特徴点８０５を中心とし、半径ｒ２の円形の領域である。ここで半径ｒ２は、半径ｒ１を縮小率ｐで２回縮小した大きさである。

次に、ステップＳ７０３で、パラメータ取得部１０４が特徴点を中心とする領域の含む画素から正規化パラメータを取得する。まず、ステップＳ７０２で決定した領域に含まれる画素の画素値（輝度値）をもとに、白色点を補正するための白色補正値および黒色点を補正するための黒色補正値を決定する。

正規化パラメータを取得する領域と正規化する対象の領域は座標変換した際に対応する領域（図９の領域９０１、９０２）である方が好適な正規化パラメータを取得できる。正規化パラメータを取得する領域の画像のうち正規化する対象の領域の画像に含まれない部分は、正規化の精度を下げる事があるからである。但し、正規化パラメータを取得する領域の決定をする処理が負荷になるならば、平準化画像の全体から取得することも考えられる。

更に、好ましくは、正規化をする対象の領域は局所特徴量を算出する領域に外接又は一致している方が良い。正規化をする対象の領域が局所特徴量を算出する領域より少し小さい場合、局所特徴量は正規化をされている領域と正規化をされていない領域が混在した領域から局所特徴量を算出されることになる。従って、正規化をする対象の領域は、局所特徴量を算出する領域を含んでいる事が好ましい。しかし、正規化をする対象の領域と局所特徴量を算出する領域は所定の特徴点に着目しており中心は一致している、従って正規化されていない領域は、局所特徴量を算出する領域の中でも特徴点から距離の遠い画素である。ここで、局所特徴量を算出する際に、前述した様にガウス関数を畳み込むことで特徴点に近い画素の画素値ほど重みが高く付けられた重み付け平均がされるので、正規化されていない領域の画素の影響は小さくなる。

一方で正規化をする対象の領域が局所特徴量を算出する領域よりも大きいと、正規化をするが局所特徴量の算出に関係ない部分は計算コストが増えるばかりである。

局所特徴量の種類によっては、局所特徴量を算出する領域は特徴点を中心とする正方形の領域の場合もある（ＰＣＡ−ＳＩＦＴ）。

本実施形態では縮小率が高い縮小画像から正規化パラメータを取得した方が網点ノイズや孤立点ノイズの影響を低減することができる。一方で、局所特徴量の局所性を保ったまま正規化が可能であるため精度の良い局所特徴量を算出できる。

同様に、局所特徴量を求める際にガウシアンフィルタを作用させた回数を特徴量の算出領域の大きさとして用いる場合も、平準化部１０３でガウシアンフィルタを作用させて複数の平準化画像を生成するとよい。

本件のように、特徴点を絞り込みに用いる多重解像度の画像群と、正規化をして局所特徴量を求める際に用いる多重解像度の画像群とが一致していると、単純に処理を減らす事ができる。

＜第３の実施形態＞
図１２は本発明の一実施形態の画像処理装置である画像検索装置の機能ブロック図である。第１、第２の実施形態と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的にかわらないものについてはその説明を省略する。画像検索装置１２００は、受付部１０２、平準化部１０３、特徴点抽出部４０１、パラメータ取得部１０４、正規化部１０５、局所特徴量算出部４０２、比較部１２０２を有している。

図１３は画像検索装置１２００による画像検索処理のフローチャートである。ステップＳ１３０１〜Ｓ１３０７は第２の実施形態のステップＳ５０１〜Ｓ５０７（図５）の処理と同様なので説明を省略する。

ステップＳ１３０８では、比較部１２０２が局所特徴量算出部４０２の算出した局所特徴量と画像特徴データベース４０３から取得した局所特徴量とを比較する。この比較処理は、画像特徴データベース４０３に登録されている画像毎に実施され、入力画像１０１との類似度を比較結果として算出する。類似度算出方法の詳細については後述する。

次に、ステップＳ１３０９で、比較部１２０２は、算出した類似度と当該類似度の算出元となった画像（画像特徴データベース４０３の画像）とを関連付ける。そして、類似度が高い順に画像のリストを検索結果１２０１として出力する。

［類似度算出方法］
類似度算出方法を説明するために、まず局所特徴量の比較方法を説明する。局所特徴量の式（３）に示す局所特徴量は５つの要素を持つ数列で示したが、要素が１つでも精度は落ちるが検索は可能である。複数以上の要素を持つ数列は多次元空間のベクトルであるので、２つのベクトルを比較して類似性の判断が可能である。例えば、本実施形態では比較する２つのベクトルの差分のベクトルの絶対値が小さい程類似度が高いと扱うが、２つのベクトル間の角度が小さい程類似度が高いとしてもよいし、それらを複合的に扱ってもよい。

次に、対応点について説明する。今、画像Ａと画像を画像の中心点の周りに所定の角度だけ回転させた画像Ａ’を含む画像Ｂがあるとする。そして、画像Ａの各特徴点から算出した局所特徴量と画像Ｂの各特徴点から算出した局所特徴量を比較し、同じ画像内容（エッジやコーナ）から抽出された点同士を対応する点（以下、対応点）として選別する。この時、対応点を探すために局所特徴量を比較して、一番類似する点同士を対応点として選ぶ処理をする。しかし、こうして選ぶ対応点の中には誤った対応点を含む事がある。例えば、画像Ａは画像Ｂの中の画像Ａ’の中にしか対応点が無いはずだが、画像Ａ’の外にも対応点があると処理をされる場合がある。基本的に対応点が多い程、類似する画像として検索するので、こうした誤った対応点は画像の検索・認識精度を下げる。

例えば、画像Ａと画像Ｂの正しく対応する特徴点の座標は全て同じ変換行列で表す事ができるが、誤った対応点は異なる変換行列になる。そこで、誤った対応点を除きつつ類似度を算出していく処理が必要になる。

本実施形態ではＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を使った類似度算出方法を説明する。比較を行う２つの画像からそれぞれ１点ずつの特徴点の対応候補をランダムに選択する。そして、その対応の妥当性を残りの特徴点の対応候補から評価し、評価値を算出する。これを所定の回数繰り返し、最も評価の良かった値を２つの画像の類似度とする。

まず、局所特徴量算出部４０２の算出した局所特徴量をＶｑ１〜Ｖｑｎとする。そして、局所特徴量Ｖｑ１〜Ｖｑｎに関連付けされている特徴点Ｑ１〜Ｑｎの座標をＱ１（ｘ１’，ｙ１’），・・・，Ｑｎ（ｘｎ’，ｙｎ’）とする。一方、画像特徴データベース４０３に登録されている画像に関連付けられている局所特徴量をＶｓ１〜Ｖｓｍとして、局所特徴量Ｖｓ１〜Ｖｓｍに関連付けされている特徴点Ｓ１〜Ｓｍの座標をＳ１（ｘ１，ｙ１），・・・（ｘｍ，ｙｍ）とする。

図６は、類似度の算出手順を示すフローチャートである。まず、ステップＳ６０１で、最終投票数を表す変数ＶｏｔｅＭａｘを初期化する。次に、ステップＳ６０２で比較部１２０２は、ｎ個の局所特徴量Ｖｑ１〜Ｖｑｎの１つとｍ個の局所特徴量Ｖｓの１つとの差（距離）を全ての組み合わせについて計算する。詳細には、比較部１２０２は局所特徴量の差がしきい値Ｔｖ以下となり、かつ、Ｑ１〜Ｑｎのそれぞれの点について最小の差となるような組み合わせ（対応点）を抽出し、対応点リストとしてリストを作成する。

これ以降、対応点リストに登録されたｋ番目の対応点について、当該対応点の局所特徴量をそれぞれＶｑ（ｋ）とＶｓ（ｋ）と記載する。更にＶｑ（ｋ）とＶｓ（ｋ）に対応付けられている特徴点をそれぞれＱｋ、Ｓｋ、座標をＱｋ（ｘ’ｋ，ｙ’ｋ）、Ｓｋ（ｘｋ，ｙｋ）と記載する。またステップＳ６０２で作成した対応点リストに登録された対応点の組数をｍ組とする。

次に、ステップＳ６０３で、類似度算出処理の反復カウント数を表す変数Ｃｏｕｎｔを０に初期化する。次に、ステップＳ６０４で、反復カウント数Ｃｏｕｎｔが予め定められた最大反復処理回数Ｒｎを超えていないことを判定する。ここで、超えている場合はステップＳ６１８へ進み、最終投票数ＶｏｔｅＭａｘを出力して、この処理を終了する。

また、ステップＳ６０４で、反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎを超えていない場合はステップＳ６０５へ進み、投票数を表す変数Ｖｏｔｅを０に初期化する。次に、ステップＳ６０６で、当該最短距離対応点リストから対応点の組の座標をランダムに２組抽出する。ここで、これらの座標をＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）と記載する。次に、ステップＳ６０７で、抽出したＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）が式（１０）に示す変換を満たしていると仮定し、式（１０）中の変数ａ〜ｆを求める。

ただし、図６に示すステップＳ６０７では、変数ａ〜ｄで構成される行列をＭで示し、変数ｅ〜ｆで構成される行列をＴで示している。

本実施形態では、簡略化のため、相似変換だけを考える。このとき、上記式（１０）は以下の式（１１）のように書き換えられる。

このとき、変数ａ、ｂ、ｅ、ｆはｘ’１、ｙ’１、ｘ１、ｙ１、ｘ’２、ｙ’２、ｘ２、ｙ２を使って式（１２）から式（１５）で表される。

次に、ステップＳ６０８で、上述のステップＳ６０５で当該対応点リストからランダムに抽出された２組の点以外の点を選択するために、対応点選択変数ｋを３に初期化する。そして、ステップＳ６０９で、対応点選択変数ｋが当該対応点リストに登録されている対応点の組数ｍを超えていないかを判定する。ここで、超えている場合はステップＳ６１５へ処理を移すが、これについては後述する。ステップＳ６０９における判定で対応点選択変数ｋが当該対応点リストに登録されている対応点の組数ｍを超えていない場合はステップＳ６１０へ処理を移す。

このステップＳ６１０では、上述のステップＳ６０５で当該対応点リストからランダムに抽出した２組の点Ｓ１（ｘ１，ｙ１）及びＳ２（ｘ２，ｙ２）以外の点を当該対応点リストから抽出する。本実施形態では、抽出された点をＳｋ（ｘｋ，ｙｋ）と記載する。

次に、ステップＳ６１１で、Ｓｋ（ｘｋ，ｙｋ）が式（１１）を使って移される座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）を求める。

その後、ステップＳ６１２では、座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）と座標Ｑｋ（ｘ’ｋ，ｙ’ｋ）との幾何学的距離をユークリッド距離で計算し、当該ユークリッド距離がしきい値Ｔｄ以下であるか否かを判定する。当該ユークリッド距離がしきい値Ｔｄ以下の場合はステップＳ６１３へ進み、投票数Ｖｏｔｅをインクリメントし、ステップＳ６１４へ処理を移す。また、当該ユークリッド距離がしきい値Ｔｄより大きい場合は、何もせずにステップＳ６１４へ処理を移す。

このステップＳ６１４では、対応点選択変数ｋをインクリメントし、ステップＳ６０９に戻り、対応点選択変数ｋが当該対応点リストに登録されている対応点の組数ｍを超えるまで、上述の処理を繰り返す。

次に、ステップＳ６０９で、対応点選択変数ｋが当該対応点リストに登録されている対応点の組数ｍを超えた場合の処理であるステップＳ６１５を説明する。ステップＳ６１５では、投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較し、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値よりも大きい場合にはステップＳ６１６へ処理を移す。

このステップＳ６１６では、最終投票数ＶｏｔｅＭａｘの値を投票数Ｖｏｔｅの値で置き換えた後、ステップＳ６１７で反復カウント数Ｃｏｕｎｔをインクリメントし、上述のステップＳ６０４に処理を戻す。

また、ステップＳ６１５で、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値以下の場合にはステップＳ６１７へ処理を移し、反復カウント数Ｃｏｕｎｔをインクリメントし、上述のステップＳ６０４に処理を戻す。

なお、本実施形態における類似度の算出方法の説明では、相似変換だけを考えて説明したが、アフィン変換などその他の幾何学変換についても、ステップＳ６０７でそれぞれに応じた変換行列を求めることにより、対応可能である。例えば、アフィン変換の場合には、まずステップＳ６０６で、ランダムに選択する対応点の組の座標数を３とする。次に、ステップＳ６０７で、式（１１）ではなく式（１０）を使うこととし、ステップＳ６０６で選択した３組の対応点（合計６点）を使って変数ａ〜ｆを求めれば良い。

また、本実施形態における類似度の算出方法の説明では、ステップＳ６１８で類似度として最終投票数ＶｏｔｅＭａｘを出力する方法を説明したが、本発明はこれに限らず、他の類似度を計算するようにしても良い。即ち、ステップＳ６０３以降の処理を行わずに、ステップＳ６０２で作成された対応点リストに登録された対応点の組数ｍを類似度として出力するようにする。これにより、一定の検索精度を保ちつつ、検索速度を向上させることが可能になる。

以上の説明から明らかなように、本実施形態の画像検索装置では、平準化画像（縮小画像）から抽出した正規化パラメータ（画素値の最小値又は最大値）を用いて、特徴点を抽出する領域の画素値を補正することによって、画像の正規化を行う。

したがって、画質の劣化、色味の変化に耐性のある、局所特徴量を使った画像検索・認識技術に応用できる。たとえば検索システム、特徴点照合システム、ステレオマッチングシステム、認識システム、コーデックシステムなどが挙げられる。

前述の実施形態では、白色補正値と黒色補正値を置換することで正規化をおこなったが、輝度値のヒストグラムを作成してヒストグラムを平滑化する処理を行ってもよい。

図１０は、図（ａ）は平準化前のヒストグラムを示し、（ｂ）は理想的なヒストグラムを示し、（ｃ）は平準化処理後の輝度値のヒストグラムを示している。

前述の実施形態では、画像の正規化を行う際、画素値として輝度値を用いている。しかしながら、この方法に限定するものではなく、カラー画像における各チャネルの値を用いて、画像の色空間における各チャネルのダイナミックレンジ（最小値と最大値の比率）を補正するようにしてもよい。例えば、ＲＧＢ色空間であれば、Ｒ、Ｇ、Ｂの各値を用いてもよいし、Ｌ＊ａ＊ｂ＊色空間であれば、Ｌ＊、ａ＊、ｂ＊の各要素の値を用いてもよい。

なお、前述の実施形態では画素の集合で定義されるラスターイメージを用いているが、色の変化のしかたを数値化したベクターイメージにおいても本発明を適用可能である。

本発明は前述した実施形態の機能をコンピュータに実現させるプログラムを記憶した記憶媒体を、システム或いは装置に供給することによって実現しても良い。また、複数のハードウェアとソフトウェアの協同によって前述の実施形態の処理を実行させることによって実現してもよい。

例えば、図１４に示す様にＲＯＭ１４３０の中に前記実施形態で挙げたフローチャートの処理をＣＰＵ１４１０に実現させるプログラムを格納しておく。そして、プログラムを実行させる際にＲＯＭ１４３０のプログラムをＲＡＭ１４２０に読出しＣＰＵ１４１０が処理できるようにする。ここで、１４５０はバスであり、ＲＯＭ１４３０、ＲＡＭ１４２０、ＣＰＵ１４１０およびＨＤＤのデータをやりとりする。

この記憶媒体として、例えばフレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、プログラムコードをＣＰＵ（中央処理装置）が読み出し、ＣＰＵが、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）の機能を使って前述の処理を行ってもよい。

第１の実施形態の画像正規化装置の機能ブロック図である。 正規化処理についてのフローチャートである。 正規化パラメータと正規化処理について説明する輝度分布図である。 第２の実施形態の画像登録装置の機能ブロック図である。 画像登録処理についてのフローチャートである。 ＲＡＮＳＡＣを用いた対応点を選別する処理のフローチャートである。 正規化パラメータの取得処理を示すフローチャートである。 正規化パラメータの取得処理を示す図である。 正規化パラメータの取得処理の詳細を示す図である。 ヒストグラムの平滑化を示す図である。 複数種類の解像度の縮小画像についての図である。 第３の実施形態の画像検索装置の機能ブロック図である。 画像検索処理についてのフローチャートである。 概略ハード構成を示すブロック図である。

符号の説明

１００ 画像正規化装置
１０１ 入力画像
１０２ 受付部
１０３ 平準化部
１０４ パラメータ取得部
１０５ 正規化部
４００ 画像登録装置
４０１ 特徴点抽出部
４０２ 局所特徴量算出部
４０３ 特徴量データベース
１２００ 画像検索装置
１２０２ 特徴比較部

Claims (15)

1. 入力画像を受付ける受付け手段と、
   前記入力画像を平準化処理し、夫々が異なる平準化度合いで平準化されている複数の平準化画像を取得する平準化手段と、
   前記入力画像および前記平準化画像を含む画像群から特徴点を抽出する抽出手段と、
   前記特徴点を抽出した画像よりも平準化度合いの高い画像から正規化パラメータを取得するパラメータ取得手段と、
   前記特徴点が抽出された前記画像群の何れかの画像において前記特徴点に関する局所特徴量を算出する領域を含む領域の画素値を前記正規化パラメータに基づいて正規化する正規化手段と
   を有することを特徴とする画像処理装置。
2. 前記抽出手段は前記入力画像および平準化画像から複数の特徴点を抽出し、前記パラメータ取得手段は前記特徴点毎に正規化パラメータを取得し、前記正規化手段は前記特徴点毎に当該特徴点に関する局所特徴量を算出する領域を含む領域の画素値を正規化することを特徴とする請求項１に記載の画像処理装置。
3. 前記正規化手段により正規化された画素値を用いて、前記抽出された特徴点に関する局所特徴量を算出する算出手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記算出手段の算出した局所特徴量と、局所特徴量を算出した画像を特定する情報とを関連付けて記憶する記憶手段と、
   前記入力画像から算出した局所特徴量と前記記憶手段が記憶している局所特徴量とを比較する比較手段と
   を更に有する請求項３に記載の画像処理装置。
5. 前記比較手段が、前記入力画像と前記記憶手段が記憶している画像とを比較し、前記入力画像と前記記憶手段が記憶している画像の類似度を算出することで、前記入力画像に類似する画像を前記記憶手段が記憶している画像の中から検索することを特徴とする請求項４に記載の画像処理装置。
6. 前記正規化手段が、前記特徴点を中心とする円形の領域に含まれる画素を正規化することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記平準化手段が前記入力画像を縮小変換し、平準化画像として縮小画像を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記平準化手段が前記入力画像に平準化フィルタを作用させることによって、平準化画像を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記パラメータ取得手段が、前記正規化パラメータを取得する対象の画像の前記特徴点に関する局所特徴量を算出する領域に対応する領域が含む画素から前記正規化パラメータを取得することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記パラメータ取得手段が、前記正規化パラメータを取得する対象の前記特徴点が抽出された画像の位置を座標変換すると一致する位置に特徴点が抽出されている、前記特徴点を抽出した画像よりも平準化度合いの高い画像から正規化パラメータを取得することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 前記画素値は輝度値であって、前記パラメータ取得手段は正規化パラメータとして、輝度値の基準値を取得し、前記正規化手段は該基準値に基づいて正規化の対象の画素の輝度値を補正することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記画素値は色空間の色成分に関する数値であって、前記パラメータ取得手段が正規化パラメータとして少なくとも１つのチャンネルの基準値を取得し、前記正規化手段は該基準値に基づいて正規化の対象の画素の色空間の色成分に関する数値を補正することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 前記正規化手段が、正規化の対象の画素の画素値のヒストグラムを平滑化することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
14. 受付け手段と、平準化手段と、抽出手段と、パラメータ取得手段と、正規化手段とを有する画像処理装置における画像処理方法であって、
    前記受付け手段が、入力画像を受付ける受付け工程と、
    前記平準化手段が、前記入力画像を平準化処理し、夫々が異なる平準化度合いで平準化されている複数の平準化画像を取得する平準化工程と、
    前記抽出手段が、前記入力画像および前記平準化画像を含む画像群から特徴点を抽出する抽出工程と、
    前記パラメータ取得手段が、前記特徴点を抽出した画像よりも平準化度合いの高い画像から正規化パラメータを取得するパラメータ取得工程と、
    前記正規化手段が、前記特徴点が抽出された前記画像群の何れかの画像において前記特徴点に関する局所特徴量を抽出する領域を含む領域の画素値を前記正規化パラメータに基づいて正規化する正規化工程と
    を有することを特徴とする画像処理方法。
15. コンピュータに、
    入力画像を受付ける受付け工程と、
    前記入力画像を平準化処理し、夫々が異なる平準化度合いで平準化されている複数の平準化画像を取得する平準化工程と、
    前記入力画像および前記平準化画像を含む画像群から特徴点を抽出する抽出工程と、
    前記特徴点を抽出した画像よりも平準化度合いの高い画像から正規化パラメータを取得するパラメータ取得工程と、
    前記特徴点が抽出された前記画像群の何れかの画像において前記特徴点に関する局所特徴量を抽出する領域を含む領域の画素値を前記正規化パラメータに基づいて正規化する正規化工程と
    を実行させることを特徴とするプログラム。

Images