JP5094682B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像から局所的な特徴を抽出し画像同士を比較して類似度を計算する画像処理装置、画像処理方法およびプログラムに関するものである。

近年、類似画像を比較・検索するための技術が多く提案されている。例えば、画像を複数のブロックに分け、それぞれの画像特徴量（代表色）を用いてパターンマッチングを行うことで色の位置情報を利用して類似画像を比較・検索する方法がある（特許文献１）。しかし、特許文献１に開示された方法の場合、検索時に画像全体の画素値から特徴量を計算するため、例えば画像内の特定のオブジェクトが切り取られたり、その位置が変わったりした場合には比較・検索が困難になってしまうという問題があった。

そこで、画像全体の特徴量を使うのではなく、画像の局所的な特徴量（以下、局所特徴量と称す）を使って類似画像の比較や検索を行う方法が提案されている。これらの方法では、まず画像からエッジやコーナなどの特徴点を抽出する。次に、特徴点とその近傍の画像情報とから、その特徴点に関する局所特徴量を計算する。局所特徴量として扱う値には、輝度の変化情報や、形状パターンなど、様々なものがある。画像の検索は、局所特徴量同士の類似度計算（マッチング）を行うことで、比較を行うことで実現する。

局所特徴量を用いた画像の比較を行う場合には、まず、比較する２つの画像のそれぞれから画素値の変動が大きい点を特徴点として抽出し、その特徴点に関する局所特徴量を抽出する。そして、局所特徴量同士を比較することで、２つの画像間で対応する特徴点の組み合わせを決定し、特徴点の対応度合いを基に類似度の判定を行う。

ここで、画像が縮小された場合に、再び同じ箇所から抽出される特徴点の有無や位置、また、その特徴点に関する局所特徴量の値が変動することがある。そこで、縮小画像に対しても、認識・検索精度を保つために比較する画像の両方を所定の縮小率で段階的に縮小変換し、段階的な解像度を有する多重画像を作成し、この多重画像から特徴点および局所特徴量を抽出する。そして、このようにして得られた特徴点・局所特徴量をまとめて利用することで、拡大・縮小の耐性をもった比較や類似度の計算などを実現している。
特開平８−２４９３４９号公報 特開平９−４４６６５号公報 Ｃ．Ｓｃｈｍｉｄ ａｎｄ Ｒ．Ｍｏｈｒ，"Ｌｏｃａｌｇｒａｙ ｖａｌｕｅ ｉｎｖａｒｉａｎｔｓ ｆｏｒ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ，"ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，Ｖｏｌ．１９，Ｎｏ．５，ｐｐ５３０−５３５，１９９７．

局所特徴量を用いた画像の比較や検索を行う場合では、２つの画像の中で局所特徴量の類似する特徴点を探し、比較元の画像と比較先の画像との間で対応する点の組み合わせを順次決めていく。この際、対応する点は１：１の関係である。

対応する点の組み合わせ決定方法として、まず、比較元の画像の特徴点（以下、クエリ特徴点）に着目し、クエリ特徴点の局所特徴量に一番類似すると比較先の画像の特徴点（以降、候補点）の局所特徴量を選択する。そして、クエリ特徴点と候補点との局所特徴量の類似度があらかじめ定めたしきい値以上の場合に対応する点として決定する。この条件を満たさない場合には、着目点に対応する点が比較先には存在しないとして扱う。

しかし、局所特徴量だけに着目していると、複数の縮小画像にわたって組み合わせを決定するために、誤った対応（以下、誤対応と称す）を取ることが多い（後述、図７参照）。本来対応付けるべき特徴点が選ばれないと、他の対応する点の組み合わせにも影響し、算出される類似度の精度も低下する。

上記課題を解決するために本発明に係る画像処理装置は、原画像と原画像を縮小した縮小画像とを有する画像群から複数の特徴点と各特徴点の局所特徴量とを抽出する抽出手段と、前記各特徴点の局所特徴量の類似度に基づいて、第１の画像群の各特徴点と類似する局所特徴量を有する第２の画像群の特徴点を対応する特徴点とし、前記第１の画像群が有する第１の画像と前記第２の画像群が有する第２の画像とを比較して、当該対応する特徴点が頻出する前記第１の画像の縮小率と前記第２の画像の縮小率との比又は差を、前記第１の画像のオブジェクトと前記第２の画像のオブジェクトの大きさが近くなる場合の関係として判定する判定手段と、前記判定手段の判定した関係に近い第１の画像と第２の画像について、第１の画像の特徴点と類似する局所特徴量を有する第２の画像の特徴点を対応付け、当該対応付けた特徴点に基づいて前記第１の画像群と前記第２の画像群との類似度を算出する算出手段とを有することを特徴とする。

本発明によって、多重画像を用いて特徴点に関する局所特徴量を対応付ける際に誤対応を抑制することができる為、誤対応による類似度の精度の低下を抑制し、誤対応による付加を削減できる。

＜第１の実施形態＞
図１は本発明の一実施形態である画像処理装置の概略構成を示す図である。ＣＰＵ１０１は画像処理装置における各種制御を実行する。その制御内容は、後述するＲＯＭ１０２やＲＡＭ１０３のプログラムに記述されている。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることもできる。

ＲＯＭ１０２は、ＣＰＵ１０１が本発明を実現するための制御をするためのプログラムやデータが格納されている。

ＲＡＭ１０３は、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の様々なデータの作業領域を提供する。

入力装置１０４は、種々の文字記号入力キー、及び、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えた入力装置であり、ユーザによる各種入力操作環境を提供する。なお、マウスのようなポインティングデバイスを有してもよい。

バス１０５は各構成に接続されているアドレスバス、データバスなどである。

外部記憶装置１０６は、さまざまなデータ等を記憶するための外部記憶装置である。例えば、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、記憶媒体を駆動し、情報を記録するドライブなどを有する。保管されたプログラムやデータは入力装置等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭに展開される。

表示器１０７は、液晶ディスプレイなどの表示手段を有し、各種入力操作の状態をユーザに対して表示する。

ＮＣＵ１０８は、他のコンピュータ装置等と通信を行うための通信デバイスＮＣＵであり、ネットワーク（ＬＡＮ）等を介して、図にはないが遠隔地に存在する装置と通信し、本実施形態のプログラムやデータを共有することが可能になる。ＮＣＵ１０８としては、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信や、Ｂｌｕｅｔｏｏｔｈ、赤外線通信、ＩＥＥＥ８０２．１１ｂ等の無線通信等、通信可能に接続するものであればよい。

スキャナ１０９は、画像を読み取るためのイメージスキャナであり、セットされた紙原稿を１枚ずつ光学的に読み取り、イメージ信号をデジタル信号列に変換する。読み取られた画像データは、外部記憶装置やＲＡＭ等に格納することができる。

ＲＯＭ１０２やＲＡＭ１０３などの記憶媒体には、本実施形態の処理をコンピュータに実現させる計算機プログラムやデータなどが格納されており、これらを、ＣＰＵが読み出し実行することによって本発明の機能を実現する。また、本発明に係わるプログラムやデータを格納した外部記録装置を本システムあるいは本装置に供給して、ＲＡＭ１０３などの書き換え可能な記憶媒体上に前記の外部記憶装置から、そのプログラムがＲＡＭ上にコピーしてもよい。例えば、外部記憶装置としては、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、光磁気ディスクなどが挙げられる。

また、画像データは、ＮＣＵ１０８の通信デバイスによって接続されているネットワークスキャナ、コピー装置、デジタルスチルカメラフィルムスキャナ等の入力機器を介して入力されてもよい。また、デジタル画像データを保持する外部記憶装置から通信デバイスを介して入力されてもよい。また、スキャナ１０９で読み取った画像データは、外部記憶装置やＲＡＭ等ではなく、通信デバイスによって接続されたサーバやコピー機等の外部記憶装置等に格納してもよい。

図２は、本実施形態における画像処理装置（以降、画像比較装置２００）の概略機能を示すブロック図ある。図２に示すように、画像比較装置２００は、変換部（処理部）２０２、抽出部２０３、判定部２０４、算出部２０５を有する。

画像比較装置２００において、変換部２０２が原画像（以降、入力画像と称す）２０１を読み込み、所定の縮小率で段階的に縮小処理することで、画像群（以降、多重画像と称す）を作成する。そして抽出部２０３で、変換部２０２の作成した多重画像から特徴点と各特徴点の局所特徴量とを抽出する。ここで、第１の原画像と第２の原画像を比較するために、変換部２０２で夫々の原画像から取得した、第１の画像群が有する複数の第１の画像の夫々と第２の画像群が有する複数の第２の画像の夫々とを比較する必要がある。その際に、判定部２０４は、夫々の画像が有するオブジェクトの大きさが近くなるような第１の画像と第２の画像との関係を判定する。そして算出部２０５は、判定部２０４の判定した関係と各特徴点の局所特徴量とに基づいて第１の画像群の特徴点と第２の画像群の特徴点とを対応付けて、この対応付けた特徴点から第１の原画像と第２の原画像との類似度を算出する。第１の画像群と第２の画像群との類似度としてもよい。算出部２０５が出力する比較結果２０６としては第１の原画像と第２の原画像との類似度や合致度などがある。

［画像の特徴点・局所特徴量の抽出処理］
図３は、画像の特徴点・局所特徴量抽出処理の手順を表すフローチャートである。ステップ３０１で処理を開始する。

ステップＳ３０２では、変換部２０２が原画像（画像データ）を読み込む。次に、ステップＳ３０３では、変換部２０２が画像データから輝度成分を抽出する処理を行い、抽出した輝度成分に基づき輝度成分画像を生成する。

次に、ステップＳ３０４では、ステップＳ３０３で作成した輝度成分画像を変換部２０２が縮小率ｐに従ってｎ回縮小し、ｎ＋１種の解像度の画像を有する多重画像を取得する。ただし、縮小率ｐ及び縮小回数の枚数ｎは予め決められているものとするが、ｎは１以上の整数である必要がある。ただ好ましくは縮小変換を複数回施すことがよい。例えば、縮小して２×２画素になる回数を予め演算して決めておいてもよい。

図４は、変換部２０２が作成する多重画像を示す図である。図４は、縮小率ｐが２の−（１／４）乗、縮小画像の枚数ｎが８の場合である。図４において、画像４０１は変換部１０２が入力画像１０１から抽出した輝度成分画像である。画像４０２は輝度成分画像から縮小率ｐに従って４回縮小された縮小画像である。画像４０３は当該輝度成分画像から縮小率ｐに従って８回縮小された縮小画像である。ＳＣも縮小回数を示しており、画像４０１はＳＣ＝０、画像４０３はＳＣ＝８となる。

図４に示す例では、画像４０２は変換部１０２からの輝度成分画像４０１が１／２に縮小された画像となり、画像４０３は輝度成分画像が１／４に縮小された画像となる。

なお、線形補間による画像の縮小変換を行っているが、画像を縮小変換する方法としては他にも、単純に画素を間引く方法や低域フィルタ適用後にサンプリングする方法などを用いてもよい。

次に、ステップＳ３０５では、抽出部２０３が特徴点を抽出する。具体的には、抽出部２０３が図４で示す各画像に、エッジやコーナなど画素値の変化の度合いが大きいほど大きい値を返すＨａｒｒｉｓ作用素を作用させる。そして、Ｈａｒｒｉｓ作用素を作用させて得られた出力画像の夫々について、着目する画素と着目する画素を囲む８画素（合計９画素）の画素値を比較する。そして、着目する画素の画素値が９画素の中で最大になり且つしきい値以上である画素を特徴点として抽出する。こうして、得られる特徴点は画素値の変化の度合いが周囲に比べて大きく、画像の特徴をよく表す点として扱うことができる。

次に、ステップＳ３０６では、ステップＳ３０５の特徴点の抽出で得られた特徴点の各々について、特徴点に関する局所特徴量を算出する。そして、Ｓ３０７で処理を終了する。

［局所特徴量］
局所特徴量としては、特徴点近傍の模様を数値化するＬｏｃａｌ Ｊｅｔ及びそれらの導関数の組み合わせを用いる。

具体的には、たとえば以下の式１により局所特徴量を算出する。

Ｖ（ｘ，ｙ）は画像の中で座標（ｘ，ｙ）にある特徴点に関する局所特徴量である。なお、ここで言う座標とはデジタル画像においては画素位置を示すこととする。デジタル画像における画素位置は離散的であるので（整数で表されるので）、計算結果としての実数座標から画素位置を特定しなければならない場合には、座標の整数化が必要となる。本実施形態では、座標が実数値で表されるときには、実数値を丸めて整数値にすることで画素位置を特定する。実数値を丸める方法には四捨五入、小数点以下切り上げ、小数点以下切捨てなどの方法があるが、本実施形態ではどの方法を選択しても良い。ただし、処理の途中で方法を変更しないこととする。

式（１）の右辺で用いている記号は、以下に示す式（２）〜（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。

ここで、Ｇ（ｘ，ｙ）はガウス関数であるので、通常は標準偏差σを変数として持つが、式（２）では省略している。本実施形態ではσ＝ａｒとして予め定められる。ここでａは定数であり、ｒは着目している特徴点を中心とする円形領域の半径を示し、着目している特徴点に関する局所特徴量を算出する際に参照する領域でもある。

尚、特徴点を含む画素と特徴点近傍の画素の特徴を示す局所特徴量を算出可能な方法であれば、上述の方法以外でもよい。上述の局所特徴量は５つの要素から成るが、要素の数は５つでなくてもよい。例えば、ＳＩＦＴ（要素数１２８）やＰＣＡ−ＳＩＦＴ（要素数２０〜３０程度）においても本発明は適用可能である。

図３で示される画像の特徴点・局所特徴量の抽出処理により、得られた特徴点・局所特徴量の例を示したものが図５である。図５中、画像５１０は入力された画像データであり、画像５２０は、画像５０１から抽出した特徴点を示したもので、点５２１及び点５２２が特徴点である。この点５２１及び５２２の特徴点は、それぞれに関して式（１）によって求めた局所特徴量に関連付けられている。Ｈａｒｒｉｓ作用素を用いた場合には、輝度画像上で形状に特徴のある部分が特徴点として抽出されることになる。

また、本実施形態ではＨａｒｒｉｓ作用素を用いて説明しているが、画像中の画素値の変動が大きい箇所を検出する処理であれば他の処理であっても適用できるので、本発明はＨａｒｒｉｓ作用素に限定されない。

［誤対応］
局所特徴量を用いて画像同士の類似度を算出する際には、異なる画像において対応する特徴点の組み合わせを決定し対応点リストとする。但し、局所特徴量同士の類似度を算出し、類似度が最大となる特徴点の組み合わせをリストに登録する方式では誤対応が生じることが多い。

図７を用いて誤対応について説明する。図７では画像１（第１の原画像）と画像２（第２の原画像）を比較している。画像１（画像７１１）から抽出した輝度成分画像が画像７１２であり、画像７１２を所定の縮小率で縮小したものが画像７１３〜７１５である。同様に、画像２（画像７２１）から抽出した輝度成分画像が画像７２２であり、画像７１２を縮小した縮小率で画像７２２を縮小した処理画像が画像７２３〜７２５である。

次に、第１の画像群の有する画像７１２〜７１５（第１の画像）と第２の画像群の有する画像７２２〜７２５（第２の画像）とから特徴点を抽出する。そして各特徴点について局所特徴量を算出し、第１の画像群と第２の画像群の間で各特徴点の局所特徴量を比較し、対応点リストを作成したものとする。その結果、得られた組み合わせとして、組み合わせ７３１〜７３４が得られたとする。

組み合わせ７３１、７３２は、どちらも縮小画像７１３の特徴点と縮小画像７２３特徴点の組み合わせである。画像７１３のオブジェクトである車と画像７２３のオブジェクトである車とが画素単位で近い大きさになっているため、組み合わせ７３１、７３２の様に類似する局所特徴量を有する特徴点の組み合わせが集中する。これは、同一の画像を縮小した場合であっても、画像内の同箇所から算出される局所特徴量は縮小率ごとに異なるためである。

また、画像７１３と画像７２３に組み合わせが集中する場合、画像７１２と画像７２２、画像７１４と画像７２４や画像７１５と画像７２５においても組み合わせが集中している可能性が高い。

一方で、局所特徴量の類似度が高いものから順に組み合わせを決定すると組み合わせ７３３や７３４のような誤った対応も取得されることがある。組み合わせ７３３は画像１に写っている車の頂上と画像２に写っている木の頂上とが対応するとしている。尤もらしい対応の組み合わせ７３５が選ばれなかったのは、算出された局所特徴量同士について、局所特徴量空間での距離が最短ではないことに起因する。

この例のように特定の関係にある縮小画像同士（画像７１３と画像７２３）の間で多数の組み合わせが得られた場合には、特定の関係から外れる縮小画像（画像７１３と画像７２２）との組み合わせは適切でないもの（誤判定）が混入している可能性が高い。画像７１３と画像７２３で多数の組み合わせが得られた場合、画像７１２と画像７２２、画像７１４と画像７２４、画像７１５と画像７２５、の同じ関係にある画像からも尤もらしい対応点が得られる可能性が高い。縮小画像同士の関係は、縮小率の比又は縮小回数の差を用いて表す事ができる。但し、縮小回数の差は縮小率が一定である必要がある。

以下、夫々が近い大きさのオブジェクトを有するような第１の画像の縮小率と第２の画像の縮小率との関係を判定し、判定した縮小率と各特徴点の局所特徴量とに基づいて対応点リストを作成する処理を説明する。

但し、以下の処理では図７、図４の例のように所定の縮小率で縮小しているので、第１の画像と第２の画像との関係を縮小回数の差で表現する。

［対応点リスト］
図８は、本実施形態における対応点リストの算出手順を示すフローチャートである。ステップＳ８０１は開始点である。

ここで、第１の画像群が有する第１の画像の特徴点をＱ、座標をＱ（ｘ’，ｙ’）とし、その特徴点の局所特徴量をＶｑとする。また、第２の画像群が有する第２の画像の特徴点をＳ、座標をＳ（ｘ，ｙ）とし、その特徴点の局所特徴量をＶｓとする。

まず、ステップＳ８０２で、ＶｑとＶｓとの特徴量間距離を全ての組み合わせについて計算し、ＶｑとＶｓとが１対１で最も類似する特徴点の対応を決定する。

次に、ステップＳ８０３で、前記第１の画像のオブジェクトと前記第２の画像のオブジェクトとの大きさが近くなる第１の画像と第２の画像との関係を判定する。具体的には、ステップＳ８０２で決定した各Ｖｑと各Ｖｓの対応において、Ｖｑを抽出した画像の縮小回数とＶｓを抽出した画像の縮小回数との差の中で最頻出のものを判定する。この縮小回数の差を尤もらしい縮小回数ＳＣの差（以下、指標値ΔＳと称す）として求める。この指標値ΔＳは最頻出のもの以外に、平均値、中間値、最頻値および分散値などの統計的に求めた値を用いてもよい。

ステップＳ８０４では、この指標値ΔＳを考慮してＶｑとＶｓの１対１の対応を決定し対応点リストとする。この時に、図７のような誤対応７３３を７３５のように尤もらしく対応付けるために、指標値ΔＳとＶｑとＶｓを抽出した画像の縮小回数の差との差を、ＶｑとＶｓとの特徴量空間における距離よりも重み高くする。または、指標値ΔＳを満たす第１の画像と第２の画像の各特徴点について、各Ｖｑと最も類似するＶｓを選択するようにして対応点リストとしてもよい。

そして、ステップＳ８０５で処理が完了する。

［類似度算出方法］
次に、本実施形態での類似度算出方法を説明する。幾何変換行列を用いた算出方法においては、まず、図８で説明した処理によってクエリ画像中の特徴点（クエリ特徴点）とこの特徴点に対応するサンプル画像中の特徴点（サンプル特徴点）との対応点リストを作成する。次に、対応点リストから対応点をランダムに数組選び当該対応点のサンプル画像中の特徴点の座標をクエリ画像中の特徴点の座標にうまく変換できる変換行列を見つける。

対応点のサンプル画像中の特徴点の座標をクエリ画像中の特徴点の座標に変換する変換行列を算出する。上記と同様、幾何変換行列を算出するたびにすべての対応点についてクエリ画像中の特徴点の座標が対応するクエリ画像中の特徴点の座標に変換されるか投票する。そして、すべての幾何変換行列の投票数を調べ、最も変換成績が良かった幾何変換行列の投票数を類似度として採用する。すなわち、局所特徴量が類似している対応点リストから選んだ、クエリ画像中の特徴点の位置とサンプル画像中の特徴点の位置とが幾何変換行列で表される所定の位置関係にあり、他の組み合わせについても尤もらしく変換できる場合は類似しているとして扱う。

図６は、本実施形態における算出部２０５が処理する類似度の算出手順を示すフローチャートである。ステップＳ６０１は開始点である。まず、ステップＳ６０２で、前述の図８の処理によって指標値ΔＳに従った対応点リストを作成する。

ここで、対応点リストに登録されたｋ番目の対応点について、当該対応点の局所特徴量をそれぞれＶｑ（ｋ）とＶｓ（ｋ）と記載する。更にＶｑ（ｋ）とＶｓ（ｋ）に対応付けられている特徴点をそれぞれＱｋ、Ｓｋ、座標をＱｋ（ｘ’ｋ，ｙ’ｋ）、Ｓｋ（ｘｋ，ｙｋ）などと添え字を合わせて記載する。またステップＳ６０２で作成された対応点リストに登録された対応点の組数をｍ組とする。

ステップＳ６０３では、最終投票数を表す変数ＶｏｔｅＭａｘを０に初期化する。ステップＳ６０４で、類似度算出処理の反復カウント数を表す変数Ｃｏｕｎｔを０に初期化する。

ステップＳ６０５は終了判定であって、反復カウント数Ｃｏｕｎｔが予め定められた最大反復処理回数Ｒｎを超えていないことを判定する。ここで、超えている場合はステップへ進み、最終投票数ＶｏｔｅＭａｘを出力して、さらに、ステップＳ６２０へ進み、この処理を終了する。また、ステップＳ６０５で、反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎを超えていない場合はステップＳ６０６へ進み、投票数を表す変数Ｖｏｔｅを０に初期化する。

ステップＳ６０７では、対応点リストからランダムに対応点の組み合わせを２組抽出する。これらの組み合わせに属する特徴点の座標をＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）と記載する。

次に、ステップＳ６０８で、ステップＳ６０７において抽出したＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）が式（８）に示す変換を満たしていると仮定し、式（８）中の変数ａ〜ｆを求める。ただし、ステップＳ６０８では、変数ａ〜ｄで構成される行列をＭで示し、変数ｅ〜ｆで構成される行列をＴで示している。

ここで、第１の実施形態では、簡略化のため、相似変換だけを考える。このとき、上記式（８）は以下の式（９）のように書き換えられる。

このとき、変数ａ、ｂ、ｅ、ｆはｘ’１、ｙ’１、ｘ１、ｙ１、ｘ’２、ｙ’２、ｘ２、ｙ２を使って式（１０）から式（１３）で表される。

次に、ステップＳ６０９で、ステップＳ６０７で当該対応点リストからランダムに抽出された２組の点以外の点を選択するために、対応点選択変数ｋを３に初期化する。

そして、ステップＳ６１０で、対応点選択変数ｋが対応点リストに登録されている対応点の組数ｍを超えていないかを判定する。ここで、超えている場合はステップＳ６１６へ処理を移すが、これについては後述する。ステップＳ６１０における判定で対応点選択変数ｋが対応点リストに登録されている対応点の組数ｍを超えていない場合はステップＳ６１１へ処理を移す。

このステップＳ６１１では、上述のステップＳ６０７で対応点リストから抽出した２組の点Ｓ１（ｘ１，ｙ１）及びＳ２（ｘ２，ｙ２）以外の点を対応点リストから抽出する。第１の実施形態では、抽出された点をＳｋ（ｘｋ，ｙｋ）と記載する。

次に、ステップＳ６１２で、Ｓｋ（ｘｋ，ｙｋ）が式（９）を使って移される座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）を求める。

その後、ステップＳ６１３では、座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）と座標Ｑｋ（ｘ’ｋ，ｙ’ｋ）との幾何学的距離をユークリッド距離に従って計算し、当該ユークリッド距離がしきい値Ｔｄ以下であるか否かを判定する。ユークリッド距離がしきい値Ｔｄ以下の場合はステップＳ６１４へ進み、投票数Ｖｏｔｅをインクリメントし、ステップＳ６１５へ処理を移す。また、ユークリッド距離がしきい値Ｔｄより大きい場合は、何もせずにステップＳ６１５へ処理を移す。

ステップＳ６１５では、対応点選択変数ｋをインクリメントし、ステップＳ６１０に戻り、対応点選択変数ｋが対応点リストに登録されている対応点の組数ｍを超えるまで、上述の処理を繰り返す。

次に、ステップＳ６１０で、対応点選択変数ｋが当該対応点リストに登録されている対応点の組数ｍを超えた場合の処理であるステップＳ６１６を説明する。ステップＳ６１６では、投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較し、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値よりも大きい場合にはステップＳ６１７へ処理を移す。

このステップＳ６１７では、最終投票数ＶｏｔｅＭａｘの値を投票数Ｖｏｔｅの値で置き換えた後、ステップＳ６１８で反復カウント数Ｃｏｕｎｔをインクリメントし、上述のステップＳ６０５に処理を戻す。

また、ステップＳ６１６で、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値以下の場合にはステップＳ６１８へ処理を移し、反復カウント数Ｃｏｕｎｔをインクリメントし、上述のステップＳ６０５に処理を戻す。

以上の処理によって、尤もらしい関係にある第１の画像と第２の画像との関係を判定し、この関係に基づいて対応点リストを作成するため、誤対応を減らし、誤対応による類似度の精度の低下を抑制し、誤対応による付加を軽減できる。

他にも、ステップＳ６１４の投票の処理において、指標値ΔＳに近い縮小回数の差を有する対応点に重みを付けて投票をするようにしてもよい。この場合、指標値ΔＳに近いものほど、重みが大きくなるようにする。例えば、指標値ΔＳを中心とした各縮小画像ステップの差の分布に応じて、重みが変化するようにするのが良い。その際、正規分布などのさまざまな分布や、マハラノビス距離に基づく重みづけなどを用いてもよい。図７を用いて具体的に説明する。指標値ΔＳ＝０が算出された場合に、ΔＳ＝０の関係にある画像７１３と画像７２３から抽出した特徴点の組み合わせ（７３１、７３２）の投票数に１を掛ける。一方で、ΔＳ＝１の関係にある組み合わせ（７３３）の投票数には０．５を掛け、ΔＳ＝２の関係にある組み合わせ（７３４）には０．２５を掛けるなど低い重みを付けて処理をする。

また、本実施形態における類似度の算出方法の説明では、ステップＳ６１９で類似度として変換行列の最終投票数ＶｏｔｅＭａｘを出力する方法を説明したが、本発明はこれに限らず、他の要素を類似度として定義しても良い。例えば、ステップＳ６０４以降の処理を行わずに、ステップＳ６０３で作成された対応点リストに登録された対応点の組数ｍを類似度として出力するようにする。

また、本実施形態における類似度の算出方法の説明では、相似変換だけを考えて説明したが、アフィン変換などその他の幾何学変換についても、ステップＳ６０８でそれぞれに応じた変換行列を求めることにより、対応可能である。例えば、アフィン変換の場合には、まずステップＳ６０７で、選択する対応点の組の座標数を３とする。次に、ステップＳ６０８で、式（９）ではなく式（８）を使うこととし、ステップＳ６０７で選択した３組の対応点（合計６点）を使って変数ａ〜ｆを求めれば良い。

＜第２の実施形態＞
本実施形態は、第１の実施形態で示した画像比較の考え方を利用した画像検索を行う場合の例である。画像検索をするための処理は、大きく２つの処理に分けられる。１つは検索対象としたい画像を登録する処理で、もう一つが、登録された画像に対して、利用者などが検索条件として入力する画像（以降、クエリ画像）に類似する画像の検索を行い、検索結果を取得する処理である。クエリ画像に類似する画像とは、クエリ画像が有するオブジェクトに類似するオブジェクトを有する画像でもよい。この登録処理と検索処理はそれぞれ別の装置を用意して、システムとして実現してもよい。

［画像の登録処理］
図９は、本実施形態における画像処理装置（以降、画像検索装置１０００）の構成例を示すブロック図である。なおここで、第１の実施形態と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的にかわらないものについてはその説明を省略する。図９に示すように、画像検索装置１０００は、変換部２０２、抽出部２０３、判定部２０４、算出部２０５および画像特徴データベース１００１を有する。登録用に入力される入力画像２０１は図１のＮＣＵ１０８を介して通信可能に接続されたネットワークスキャナ、デジタルスチルカメラ、画像データを保持した外部記憶装置等、スキャナ１０９によって入力される。そして、読み込んだ画像はＲＡＭ１０３や外部記憶装置１０６などに一時的に保持される。

第１の実施形態でも判定部２０４及び算出部２０５は、第１の画像と第２の画像とを比較するため、一時的に保持するデータをＲＡＭ１０３や不図示のラッチなどの記憶領域に書き出すことは必要になる。本実施形態では、抽出部２０３が抽出した特徴点、局所特徴量および縮小回数差などの情報を関連付けて画像特徴データベース１００１に記憶する。記憶する際には登録する画像を特定する画像ＩＤを割当てて管理する。

予め第１の実施形態の比較処理を行う上で必要な情報を処理しておくことで、検索条件が与えられてからの検索時間が短縮できる。

［画像の検索処理］
検索を行う場合、まず検索条件としての入力画像２０１（以降、クエリ画像）が画像検索装置１０００に与えられる。クエリ画像２０１は、図１のＮＣＴ１０８によって通信可能に接続されたネットワークスキャナ、デジタルスチルカメラ、外部記憶装置等や、スキャナ１０９から入力される。そして、クエリ画像に対しても、変換部２０２と抽出部２０３は登録処理と同様の処理によって特徴点、局所特徴量および縮小回数差などの情報を収集する。

次に、クエリ画像の情報と画像特徴データベース１００１からサンプル画像の情報とを判定部２０４と算出部２０５で比較して類似度を判定する。サンプル画像は集合であり、各サンプル画像に対してクエリ画像との類似度が算出され、この類似度がしきい値以上の画像を検索結果１００３として出力する。

図１０は、本実施形態でクエリ画像を入力する画面（以降、ウィンドウと称す）の一例を示した図である。

図１０において、タイトル１２０１は、このウィンドウのタイトル表示と全体の操作、例えば大きさの変更等を行う部分である。

ボタン１２０３は、検索で使用するクエリ画像の入力を指示するためのボタンで、このボタン１２０３を押下すると、クエリ画像を指定するためのウィンドウが開かれ、クエリ画像の入力処理が行われる。

領域１２０２は、入力された検索元のクエリ画像のサムネイル画像を表示する部分である。

ボタン１２０４は、１２０２のクエリ画像に類似した画像の検索を指示するためのボタンである。このボタンを押下すると、今表示されているクエリ画像に基づいて検索処理が行われる。ボタン１２０５は処理を終了するためのボタンである。

図１１は、本発明の実施形態における検索結果一覧を表示する時の画面の一例を示した図であり、図１０の１１０６検索結果を表示したものである。本例は、専用のアプリケーションでウィンドウシステムを利用した場合の画面の例であるが、Ｗｅｂブラウザ等によって同様の機能が提供されてもかまわない。

タイトルバー１３０１はこのウィンドウが検索結果であることを示す。領域１３０２は、検索の元となったクエリ画像のサムネイルを表示する部分である。領域１３０３は、検索結果を表示するための領域であり、検索結果として得られた画像ＩＤに対応した画像のサムネイルや画像ファイル名などを一覧表示する。

サムネイルは、画像登録時に変換部２０２によって作成され、画像ＩＤに関連付けられて図１の外部記憶装置１０６に記憶されている。検索結果数が多く、一つの画面で表示できない場合には、表示サイズに応じた数ずつ表示を行う。本例では、６件ずつ検索結果が表示されている。ボタン１３０４は、現在表示している検索結果の前の６件を表示するためのボタンであり、ボタン１３０５は、現在表示している検索結果の次の６件を表示するためのボタンである。また、本実施形態では、サムネイルと画像ファイル名を表示しているが、第１の実施形態の処理で求めた類似度や画像に付与されているメタデータ等を詳細情報として表示してもよい。他にも、領域１３０３に表示されているサムネイルの一つを選択すると、画像に付与されているメタデータ等を各画像に対する詳細情報を表示するウィンドウを新しく作成するようにしてもよい。

尚、本発明は複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。

本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成される。この場合、記録媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能を実現してもよい。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能を実現してもよい。

第１の実施形態の画像比較装置の構成の概略を示す図である 第１の実施形態の画像の比較処理の概略を示す図である 画像の局所特徴量の計算の処理フローを示す図である 画像の局所特徴量を計算する際の縮小画像の作成例の図である 画像の特徴点を示す概略図である 画像の類似度を算出する処理のフローチャートである 画像での特徴点の組み合わせと誤対応の概略図である 対応点リストを求める処理のフローチャートである 第２の実施形態の画像検索装置の概略を示す図である 第２の実施形態の検索指示画面の図である 第２の実施形態の検索結果画面の図である

Claims (7)

1. 原画像と原画像を縮小した縮小画像とを有する画像群から複数の特徴点と各特徴点の局所特徴量とを抽出する抽出手段と、
   前記各特徴点の局所特徴量の類似度に基づいて、第１の画像群の各特徴点と類似する局所特徴量を有する第２の画像群の特徴点を対応する特徴点とし、前記第１の画像群が有する第１の画像と前記第２の画像群が有する第２の画像とを比較して、当該対応する特徴点が頻出する前記第１の画像の縮小率と前記第２の画像の縮小率との比又は差を、前記第１の画像のオブジェクトと前記第２の画像のオブジェクトの大きさが近くなる場合の関係として判定する判定手段と、
   前記判定手段の判定した関係に近い第１の画像と第２の画像について、第１の画像の特徴点と類似する局所特徴量を有する第２の画像の特徴点を対応付け、当該対応付けた特徴点に基づいて前記第１の画像群と前記第２の画像群との類似度を算出する算出手段とを有することを特徴とする画像処理装置。
2. 前記算出手段が、前記判定手段の判定した関係に近い画像から抽出した特徴点の組み合わせに高い重みをつけて前記第１の画像群と前記第２の画像群との類似度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段が、前記判定手段の判定した関係にある特徴点のみを対応付けることを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出手段が夫々の特徴点の位置を抽出し、前記算出手段は各特徴点の位置関係に基づいて変換行列を生成し、当該変換行列の尤もらしさを前記類似度として算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１の画像のオブジェクトに類似するオブジェクトを有する第２の画像に関する情報を検索結果として出力する出力手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 原画像と原画像を縮小した縮小画像とを有する画像群から複数の特徴点と各特徴点の局所特徴量とを抽出する抽出工程と、
   前記各特徴点の局所特徴量の類似度に基づいて、第１の画像群の各特徴点と類似する局所特徴量を有する第２の画像群の特徴点を対応する特徴点とし、前記第１の画像群が有する第１の画像と前記第２の画像群が有する第２の画像とを比較して、当該対応する特徴点が頻出する前記第１の画像の縮小率と前記第２の画像の縮小率との比又は差を、前記第１の画像のオブジェクトと前記第２の画像のオブジェクトの大きさが近くなる場合の関係として判定する判定工程と、
   前記判定工程で判定した関係に近い第１の画像と第２の画像について、第１の画像の特徴点と類似する局所特徴量を有する第２の画像の特徴点を対応付け、当該対応付けた特徴点に基づいて前記第１の画像群と前記第２の画像群との類似度を算出する算出工程とを有することを特徴とする画像処理方法。
7. コンピュータに、
   原画像と原画像を縮小した縮小画像とを有する画像群から複数の特徴点と各特徴点の局所特徴量とを抽出する抽出工程と、
   前記各特徴点の局所特徴量の類似度に基づいて、第１の画像群の各特徴点と類似する局所特徴量を有する第２の画像群の特徴点を対応する特徴点とし、前記第１の画像群が有する第１の画像と前記第２の画像群が有する第２の画像とを比較して、当該対応する特徴点が頻出する前記第１の画像の縮小率と前記第２の画像の縮小率との比又は差を、前記第１の画像のオブジェクトと前記第２の画像のオブジェクトの大きさが近くなる場合の関係として判定する判定工程と、
   前記判定工程で判定した関係に近い第１の画像と第２の画像について、第１の画像の特徴点と類似する局所特徴量を有する第２の画像の特徴点を対応付け、当該対応付けた特徴点に基づいて前記第１の画像群と前記第２の画像群との類似度を算出する算出工程とを実行させることを特徴とするプログラム。

Images