JP5933675B1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】対象画像に対応する画像を精度よく検出することができる情報処理装置を提供すること。【解決手段】複数の第１画像の中から第２画像に対応する画像を検索する情報処理装置は、前記第２画像から検出される１以上の第２関心点のそれぞれ毎に、前記第１画像から検出される１以上の第１関心点の中から前記第２関心点に類似する前記第１関心点を検出する検出部と、検出部により検出された１以上の第１関心点のそれぞれ毎に、当該第１関心点に類似する第２関心点の数を得票数として算出する算出部と、算出部により算出された得票数が所定数以上であった場合、得票数を予め決められた値に変更する補正部と、算出部により算出された得票数、又は補正部により変更された得票数のうち少なくともいずれか一方に基づく第１画像毎の得票数が所定の条件を満たす第１画像を、複数の第１画像の中から第２画像に対応する第１画像として検索する検索部と、を備える。【選択図】図１

Description

この発明は、情報処理装置、情報処理方法、及びプログラムに関する。

カメラ撮影等で得られた画像（以下、対象画像と称する）に対して、予め用意した複数の候補画像の中から類似した画像を検索するための、映像処理技術が研究開発されている。

一般的には、予め候補画像に対して画像特徴量を記述しておき、検索時に対象画像に対しても画像特徴量を算出して、それら画像特徴量の類似度を計測することで類似した候補画像を決定することが行われる。画像特徴量の算出においては、画像中の特徴的な箇所を関心点として検出し、関心点近傍における画像信号の変化量を特徴量記述子として得ることが行われる。このとき特徴量記述子は複数の数値により構成され、特徴量空間におけるベクトル量として扱うことができる。

特徴量記述子を得る従来方法としては、画像にあるデジタルフィルタを適用して所定の条件を満たす箇所を関心点として検出し、関心点近傍に他のデジタルフィルタを適用して関心点の方向を決定し、関心点を原点として関心点の方向を軸とした座標空間におけるデジタルフィルタ応答の群を特徴量記述子として算出する方法がある。

また、関心点の検出に関する従来の方法としては、関心点に求められる特徴（対象画像や候補画像それぞれにおいて、同等な点が同等に選択される）に基づいて、画像内のｘ軸、ｙ軸およびスケール次元で構成する３次元空間から、例えばヘッセの行列式の最小検査によって関心点を検出する方法がある。以下、このような関心点を検出する方法を関心点検出ステップと称して説明する。

関心点の方向を決定する従来の方法としては、関心点を取り囲む領域内に設けられた複数タイルに基づいて関心点の方向を決定する方法がある。なお、複数タイルには、複数の画素が含まれる。この方法では、具体的には、複数タイルに対し、ｘ方向とｙ方向のデジタルフィルタを適用し、コントラスト関連の応答を生成（つまり各タイルからｘ方向成分及びｙ方向成分を持つベクトルを算出）する。そして、各タイルから算出されたベクトルを向き決定ウィンドウ毎に合成する。この合成されたベクトルの中から、最大ベクトルを選択することで関心点の方向を決定する。なお、ここで言うタイルとは、以下で説明する標本点が含まれる方向算出範囲内の画像（の部分領域）に相当する概念である。

特徴量記述子に基づいて対象画像に対応する画像を候補画像群の中から検索する従来の方法としては、対象画像に係る複数の記述子と、複数の候補画像のそれぞれに係る複数の記述子とを比較した時、最近傍探索法（Nearest Neighbor Method）等によって記述子間の距離が近い記述子を選択し、その選択された記述子が属する候補画像の記述子の数を得票数としてカウントアップし、その得票数が最も高い候補画像を対象画像に対応する画像として検索する方法がある。

これらに関連し、上記のデジタルフィルタの適用としては、積分画像上の該当するタイルへ、ｘ方向とｙ方向のボックスフィルタそれぞれを適用する方法がある（特許文献１参照）。

特許第４９８２５５９号公報

従来の方法では、関心点の方向を決定した後において、関心点が周辺に固まって算出される場合があり、さらにそれらの関心点の方向が類似してしまう場合があった。この際、類似した特徴量記述子を持つ複数の関心点が固まって選出される場合（つまり複数の互いに区別できない関心点が選出される場合）がある。このような場合、例えば、対象画像の複数の関心点が、候補画像の一つの関心点と類似することになり、複数の候補画像から対象画像に対応する画像を精度よく検索することができないという問題が発生することがある。

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、対象画像に対応する画像を精度よく検出することができる情報処理装置、情報処理方法、及びプログラムを提供する。

（１）本発明の一態様は、複数の第１画像の中から第２画像に対応する画像を検索する情報処理装置であって、前記第２画像から検出される１以上の第２関心点のそれぞれ毎に、前記第１画像から検出される１以上の第１関心点の中から前記第２関心点に類似する前記第１関心点を検出する検出部と、前記検出部により検出された１以上の前記第１関心点のそれぞれ毎に、当該第１関心点に類似する前記第２関心点の数を得票数として算出する算出部と、前記算出部により算出された前記得票数が所定数以上であった場合、前記得票数をゼロ又は当該得票数に基づいて算出される値に変更する補正部と、前記算出部により算出された前記得票数、又は前記補正部により変更された前記得票数のうち少なくともいずれか一方に基づく前記第１画像毎の得票数が所定の条件を満たす前記第１画像を、前記複数の前記第１画像の中から前記第２画像に対応する前記第１画像として検索する検索部と、を備えることを特徴とする情報処理装置である。

（２）また、本発明の他の態様は、（１）に記載の情報処理装置であって、前記検出部は、前記第１関心点の近傍に含まれる画像の特徴量と、前記第２関心点の近傍に含まれる画像の特徴量とに基づいて、前記第２関心点に類似する前記第１関心点を検出する、情報処理装置である。

（３）また、本発明の他の態様は、複数の第１画像の中から第２画像に対応する画像を検索する情報処理方法であって、前記第２画像から検出される１以上の第２関心点のそれぞれ毎に、前記第１画像から検出される１以上の第１関心点の中から前記第２関心点に類似する前記第１関心点を検出する検出ステップと、前記検出ステップにより検出された１以上の前記第１関心点のそれぞれ毎に、当該第１関心点に類似する前記第２関心点の数を得票数として算出する算出ステップと、前記算出ステップにより算出された前記得票数が所定数以上であった場合、前記得票数をゼロ又は当該得票数に基づいて算出される値に変更する補正ステップと、前記算出ステップにより算出された前記得票数、又は前記補正ステップにより変更された前記得票数のうち少なくともいずれか一方に基づく前記第１画像毎の得票数が所定の条件を満たす前記第１画像を、前記複数の前記第１画像の中から前記第２画像に対応する前記第１画像として検索する検索ステップと、を有することを特徴とする情報処理方法である。

（４）また、本発明の他の態様は、コンピューターに、複数の第１画像の中から第２画像に対応する画像を検索させるプログラムであって、前記第２画像から検出される１以上の第２関心点のそれぞれ毎に、前記第１画像から検出される１以上の第１関心点の中から前記第２関心点に類似する前記第１関心点を検出する検出ステップと、前記検出ステップにより検出された１以上の前記第１関心点のそれぞれ毎に、当該第１関心点に類似する前記第２関心点の数を得票数として算出する算出ステップと、前記算出ステップにより算出された前記得票数が所定数以上であった場合、前記得票数をゼロ又は当該得票数に基づいて算出される値に変更する補正ステップと、前記算出ステップにより算出された前記得票数、又は前記補正ステップにより変更された前記得票数のうち少なくともいずれか一方に基づく前記第１画像毎の得票数が所定の条件を満たす前記第１画像を、前記複数の前記第１画像の中から前記第２画像に対応する前記第１画像として検索する検索ステップと、を実行させるためのプログラムである。

本発明の一態様によれば、対象画像に対応する画像を精度よく検出することができる情報処理装置、情報処理方法、及びプログラムを提供することができる。

対象画像から検出されたある関心点と、その関心点と類似する候補画像から検出されたノイズとなる関心点を例示する図である。 第１実施形態に係る情報処理装置１の機能構成の一例を示す図である。 制御部１６が対象画像に似た画像を候補画像１２１から検出する処理の流れの一例を示すフローチャートである。 対象画像の一部分を例示する図である。

＜概要＞
まず、以下に示す実施形態に係る情報処理装置１の概要を説明し、その後により詳細な実施形態を説明する。本実施形態に係る情報処理装置１は、デジタル画像を構成する複数の点（例えば、画素等）のうち、特徴的な点（関心点）に基づいて、デジタル画像の特徴を判定する。一例として、この情報処理装置１は、複数のデジタル画像のうちのあるデジタル画像（以下、対象画像と称する）と、他の複数のデジタル画像（以下、候補画像と称する）とについて、画像の特徴をデジタル画像間において比較することにより、対象画像に対応する画像を複数の候補画像の中から抽出する。

以下では、説明の便宜上、対象画像と候補画像を区別する必要がない限り、まとめてデジタル画像と称して説明する。また、以下では、ある画像が表示部に表示された場合に表示部に映し出される事物のことを、当該画像上の事物と称し、事物が表示されない部分であって所定の許容範囲内で単一色（無地）が映し出される部分を無地背景と称して説明する。なお、無地背景は、所定の許容範囲内で単一色が映し出される部分に代えて、中間色（複数色、例えば白と黒とを細かい市松模様などに配置した合成色で、人間の目的には単一な灰色と錯覚するもの等）が映し出された部分等であってもよい。

この具体例において情報処理装置１は、デジタル画像内のある点を、画像の特徴を示す関心点として検出し、検出した関心点における画像の方向（関心点方向）に基づいて、対象画像に対応する画像を複数の候補画像の中から抽出する。この関心点の選択は、さまざまな条件に基づいて行われ、例えば、関心点検出ステップによって行われる。

対象画像に対応する画像を候補画像の中から検索する際、情報処理装置１は、対象画像から検出された関心点（以下、対象画像関心点と称する）と、候補画像から検出された関心点（以下、候補画像関心点と称する）とを比較する。そして、情報処理装置１は、対象画像から検出される１以上の対象画像関心点のそれぞれ毎に、複数の候補画像から検出される１以上の候補画像関心点の中から当該対象画像関心点に類似する候補画像関心点を検出する。そして、情報処理装置１は、検出した１以上の候補画像関心点のそれぞれ毎に、当該候補画像関心点に類似する対象画像関心点の数を得票数として算出する。このように、以下では、情報処理装置１により算出される候補画像関心点に類似する対象画像関心点の数を、得票数と称して説明する。

なお、情報処理装置１は、複数の候補画像から検出される１以上の候補画像関心点の中からある対象画像関心点に類似する候補画像関心点を検出する場合、複数の候補画像から検出される１以上の候補画像関心点の中からある対象画像関心点に最も類似する候補画像関心点を１つ検出する構成等であってもよい。また、以下では、説明の便宜上、対象画像から検出される１以上の対象画像関心点のそれぞれ毎に、複数の候補画像から検出される１以上の候補画像関心点の中から当該対象画像関心点に類似する候補画像関心点を検出し、検出した１以上の候補画像関心点のそれぞれ毎に、当該候補画像関心点に類似する対象画像関心点の数を得票数として算出することを、候補画像関心点への対象画像関心点の投票と称して説明する。すなわち、情報処理装置１は、候補画像関心点への対象画像関心点の投票を行う。

情報処理装置１は、候補画像関心点のそれぞれ毎の得票数に基づいて候補画像毎の得票数を算出する。この候補画像毎の得票数は、候補画像毎に当該候補画像に含まれる候補画像関心点それぞれの得票数を合算した数である。得票数を合算する際、情報処理装置１は、投票されていない候補画像関心点の投票数を０として合算してもよく、投票されていない候補画像関心点を無視してもよい。

情報処理装置１は、算出された候補画像毎の得票数が所定の条件を満たす候補画像を、対象画像に対応する画像として検索する。所定の条件とは、例えば、候補画像の得票数が最も高いことであるが、候補画像の得票数が所定の閾値以上であることや、第一位の候補画像（最も得票数の多い候補画像）と第二位の候補画像（第一位の候補画像に次いで得票数が多い候補画像）の得票数比が所定の比以上であること等の他の条件であってもよく、さらにこれら他の条件との組み代えや組み合わせであってもよい。なお、所定の条件が、候補画像の得票数が所定の閾値以上であることであった場合、情報処理装置１は、複数の候補画像の中から所定の条件を満たす１以上の候補画像を、対象画像に対応する画像として検索する。

しかし、候補画像毎の得票数の算出の際、ある対象画像から検出された関心点にノイズが含まれていた場合、情報処理装置１は、そのノイズに類似する候補画像関心点を誤検出してしまう場合がある。その場合、ある候補画像関心点に類似する対象画像関心点の数（すなわち、得票数）は、ノイズの存在によって増大する。ノイズの存在によって得票数が増大すると、得票数の増大に応じて対象画像と対応しない候補画像の得票数が増大してしまう場合があり、その結果、対象画像に対応しない画像が、対象画像に対応する画像として検索されてしまう場合がある。つまり、ノイズの存在によって対象画像に対応する画像の検索の精度が低下してしまう。

ここで、図１を参照して、本実施形態におけるノイズについて説明する。図１は、対象画像から検出されたある関心点と、その関心点と類似する候補画像から検出されたノイズとなる関心点を例示する図である。図１において、候補画像Ｍ１に係るある関心点ＩＰ１は、候補画像Ｍ１上の人物が持つ直線形状の棒と背景との境界線上に検出されている。その一方で、対象画像Ｑ１に係る関心点ＩＰ２〜ＩＰ１０は、対象画像Ｑ１上の直線形状の枠線と背景との境界線上に検出されている。

このように、幾何学的な特徴が類似する複数の箇所から検出される関心点の特徴量記述子は、互いに類似してしまう場合がある。複数の関心点同士の特徴量記述子が類似した場合、それら複数の関心点同士は、特徴量記述子を用いて区別することができない場合がある。つまり、関心点ＩＰ１の特徴量記述子と、関心点ＩＰ２〜ＩＰ１０のそれぞれの特徴量記述子とを比べた場合、これらを区別することができない場合がある。

また、図１に示した例とは異なる他の例として、ある関心点の関心点方向を決定した後において、その関心点の周辺に固まって算出される複数の関心点は、関心点方向が類似する場合がある。このような関心点方向が互いに類似する複数の関心点も、類似した特徴量記述子を持つ可能性が高く、区別することができない場合がある。本実施形態におけるノイズとは、これらのように、実際には類似していない箇所の特徴から検出された関心点であって特徴量記述子が類似してしまう関心点のことを示す。

情報処理装置１は、ノイズが存在する場合に得票数が増大してしまう場合があることを利用し、複数の候補画像の中から対象画像に対応する画像を精度よく検出する。より具体的には、情報処理装置１は、候補画像関心点への対象画像関心点の投票の際、ある候補画像関心点に類似する対象画像関心点の数が所定の閾値を超えている場合、当該候補画像関心点の得票数を予め決められた数に補正することで、ノイズの存在による得票数の増大を抑制する。予め決められた数とは、例えば、０（投票を無効にする場合）や１（得票数を減算する場合）等であるが、他の数であってもよい。このように、情報処理装置１は、ノイズの存在による得票数の増大を抑制するため、対象画像に対応する画像を精度よく検出することができる。

ここで、本発明の実施形態について説明する前に、関心点方向に基づいて対象画像に対応する画像を複数の候補画像の中から抽出する処理における基本的な事柄について説明する。情報処理装置１は、対象画像から何らかの条件に基づいて１以上の関心点を検出し、検出された対象画像に係る１以上の関心点のそれぞれの近傍に含まれる複数の標本点それぞれの方向を算出する。

ここで、対象画像とは、情報処理装置１がユーザーからの操作を受け付けることによって選択した画像を示す。ユーザーからの操作とは、例えば、複数の画像から１つの画像を選択する操作や、撮像装置により撮像された画像を読み込む操作、インターネット等を介して画像を取得する操作等を示す。また、ある関心点の近傍に含まれる複数の標本点とは、ある関心点の近傍を示す所定範囲内に含まれる複数の点を示す。この複数の標本点の一例としては、ある関心点が画素の場合、当該関心点の近傍に含まれる複数の画素が挙げられるが、これに代えて、当該関心点の近傍に含まれる他の何らかの複数の点等であってもよい。

また、この複数の標本点は、例えば、ある関心点の近傍におけるｘ軸方向及びｙ軸方向に、格子状に配列される。なお、この複数の標本点は、格子状に配列される構成に代えて、他の形状に配列される構成であってもよい。格子状に配列された標本点間の間隔は、例えば、関心点を算出する毎に求められている１ｓ（ｓは、スケールを示す）である。なお、これらの関心点と標本点は、画像中の画素位置であることが望ましいが、必ずしも画素位置である必要はなく、画素位置を整数位置とすれば少数精度の位置であってもよい。

複数の標本点が含まれる関心点の近傍とは、例えば、関心点を中心とした半径６ｓの円形の範囲を示す。なお、関心点の近傍は、これに代えて、関心点を中心とした半径６ｓの円形の範囲よりも小さな半径の円形の範囲を示す構成であってもよく、半径６ｓの円形の範囲よりも大きな半径の円形の範囲を示す構成であってもよい。また、関心点の近傍は、関心点を中心とした円形の範囲を示す構成に代えて、関心点を含む長方形範囲や正方形範囲、菱形範囲等、関心点を含む他の形状の範囲を示す構成であってもよい。

ある関心点の近傍に含まれる複数の標本点とは、この一例において、ある関心点を中心とした半径６ｓの円形範囲内に含まれる１１３の標本点を示す。以下では、説明の便宜上、この複数の標本点をまとめて標本点群と称して説明する。また、標本点群に含まれるそれぞれの標本点を標本点群の標本点と称して説明する。

標本点群の標本点の方向は、標本点群の標本点毎に対応づけられた所定の方向算出範囲（面積）内の輝度値の勾配等に基づくウェーブレット応答（ｄｘ，ｄｙ）によって算出される。なお、標本点の方向は、標本点毎に対応付けられた方向算出範囲内の色相の勾配や明度の勾配等、方向算出範囲内における他の何らかの値の勾配に基づくウェーブレット応答（ｄｘ，ｄｙ）によって算出されてもよい。また、情報処理装置１は、算出した標本点に係るウェーブレット応答（ｄｘ，ｄｙ）を次に示す式（１）に代入することにより、標本点毎に、標本点についての角度θを標本点の方向として算出する。

θ＝ｔａｎ^−１（ｄｙ／ｄｘ） ・・・（１）

以上のようにして、情報処理装置１は、標本点群の標本点の方向を算出し、算出された方向に基づいて関心点方向を算出することができる。情報処理装置１は、算出された関心点方向に基づいて、関心点の特徴量記述子（以下、特徴量記述子を、単に記述子と称する）を算出する。そして、情報処理装置１は、算出された記述子に基づいて、１以上の対象画像関心点のそれぞれ毎に、複数の候補画像から検出された候補画像関心点と比較し、候補画像関心点への対象画像関心点の投票を行う。そして、情報処理装置１は、候補画像毎の得票数を算出し、算出された候補画像毎の得票数が所定の条件を満たす候補画像を、対象画像に対応する画像として検索する。

なお、対象画像に対応する画像とは、例えば、対象画像に似た画像を示す。対象画像に似た画像とは、対象画像上の複数の事物のうち一部又は全部を含む候補画像を示す。例えば、対象画像に似た画像とは、対象画像上の複数の人物のうちの特定の人物Ａを含む候補画像等である。以下では、情報処理装置１は、対象画像に対応する画像として対象画像に似た画像を検索するとして説明するが、これは一例に過ぎず、他の対象画像に対応する画像を検索するとしてもよい。

ここで、概要をまとめると、情報処理装置１は、対象画像から検出される１以上の対象画像関心点のそれぞれ毎に、候補画像から検出される１以上の候補画像関心点の中から対象画像関心点に類似する候補画像関心点を検出する。情報処理装置１は、検出した１以上の候補画像関心点のそれぞれ毎に、当該候補画像関心点に類似する対象画像関心点の数を得票数として算出し、算出した得票数が所定数以上であった場合、得票数を予め決められた値に変更（補正）する。情報処理装置１は、算出された得票数、又は変更された得票数のうち少なくともいずれか一方に基づいて候補画像毎の得票数を算出し、算出した候補画像毎の得票数が所定の条件を満たす候補画像を、複数の候補画像の中から対象画像に対応する画像として検索する。

＜第１実施形態＞
以下、本発明の第１実施形態について、図面を参照して説明する。図２は、第１実施形態に係る情報処理装置１の機能構成の一例を示す図である。情報処理装置１は、候補画像１２１を格納（記憶）する記憶部１２と、入力受付部１３と、表示部１４と、通信部１５と、制御部１６を備える。

記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）などを含み、制御部１６が処理する各種情報や画像、プログラム、そして候補画像１２１を格納する。なお、記憶部１２は、情報処理装置１に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。
候補画像１２１は、複数の候補画像の総称である。この一例において、候補画像１２１は、予め記憶部１２に格納されているとするが、これに代えて、候補画像１２１のうちの一部又は全部が通信部１５を介して他の装置から対象画像を取得する構成であってもよく、撮像装置等から撮像された画像を取得する構成であってもよい。

入力受付部１３は、例えば、キーボードやマウス、タッチパッド、その他の入力装置である。なお、入力受付部１３は、表示部１４とともにタッチパネルとして構成されてもよい。
表示部１４は、情報処理装置１のディスプレイであり、例えば、液晶ディスプレイパネル、あるいは、有機ＥＬ（ElectroLuminescence）ディスプレイパネルである。
通信部１５は、例えば、ＵＳＢ等のデジタル入出力ポートやイーサネット（登録商標）ポート等を含んで構成される。

制御部１６は、通信制御部２０と、関心点検出部２１と、標本点方向算出部２２と、記述子算出部２３と、得票数算出部２４と、得票数補正部２５と、画像検索部２６と、表示制御部２７を備える。制御部１６が備えるこれらの機能部のうち一部又は全部は、例えば、図示しないＣＰＵが、記憶部１２に記憶された各種プログラムを実行することで実現される。また、これらの機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

通信制御部２０は、各種の情報や画像等を他の装置から取得するように通信部１５を制御する。また、通信制御部２０は、各種の情報や画像等を他の装置へ出力するように通信部１５を制御する。

関心点検出部２１は、デジタル画像から１以上の関心点を検出する。以下では、説明の便宜上、関心点検出部２１によりデジタル画像から検出された１以上の関心点を、検出されたデジタル画像関心点（例えば、デジタル画像が対象画像の場合、対象画像関心点）と称して説明する。

標本点方向算出部２２は、検出されたデジタル画像関心点のそれぞれ毎に、関心点の近傍に含まれる標本点群の標本点それぞれの方向を算出する。以下では、説明の便宜上、ある関心点の近傍に含まれる標本点群の標本点それぞれの標本点方向算出部２２により算出された方向を、当該関心点に係る算出された標本点の方向と称して説明する。

記述子算出部２３は、検出されたデジタル画像関心点のそれぞれ毎に記述子を算出する。より具体的には、検出されたデジタル画像関心点のうちのある関心点に対して、記述子算出部２３は、当該関心点に係る算出された標本点の方向に基づいて関心点方向を算出する。そして、記述子算出部２３は、算出された関心点方向に基づいて、関心点の近傍におけるコントラスト情報を用いて記述子を算出する。記述子算出部２３は、このような記述子の算出を、検出されたデジタル画像関心点のそれぞれ毎に繰り返し行う。以下では、ある関心点に対して記述子算出部２３により算出された記述子を、当該関心点に係る記述子と称して説明する。

得票数算出部２４は、複数の候補画像から検出された候補画像関心点への対象画像から検出された対象画像関心点の投票を行い、投票された候補画像関心点の得票数を算出する。なお、得票数算出部２４は、投票されていない候補画像関心点の得票数を０としてもよく、投票されていない候補画像関心点を無視してもよい。

ここで、得票数算出部２４は、得票数を算出する際、例えば、対象画像から検出された対象画像関心点のそれぞれに係る記述子と、複数の候補画像から検出された候補画像関心点それぞれの記述子とを比較し、最近傍探索法等によって記述子間の距離が近い記述子に係る関心点を当該候補画像関心点に最も類似する対象画像関心点として、当該候補画像関心点に投票する。なお、得票数算出部２４は、これに代えて、他の方法によって候補画像関心点に対象画像関心点を投票する構成であってもよい。

他の方法の一例として、得票数算出部２４は、対象画像から検出された対象画像関心点のそれぞれに係る記述子と、複数の候補画像から検出された候補画像関心点それぞれの記述子とを比較し、最近傍探索法等によって記述子間の距離が近い順の上位２つの記述子に係る関心点（以下、最上位の関心点を第一位関心点と称し、最上位の次の上位の関心点を第二位関心点と称する）を当該候補画像関心点に類似する対象画像関心点として抽出する。そして、得票数算出部２４は、第一位関心点と第二位関心点を比較し、第一位関心点及び第二位関心点それぞれの記述子間の距離の比が所定の比以上であるか否かを判定する。その判定の結果、得票数算出部２４は、所定の比以上であると判定した場合、第一位関心点を有効な対象画像関心点として当該候補画像関心点に投票する。一方、得票数算出部２４は、所定の比以上ではないと判定した場合、第一位関心点及び第二位関心点を無効な対象画像関心点として当該候補画像関心点に投票しない。

このようにする理由は、第一位関心点と第二位関心点それぞれの記述子間の距離の比が略１の場合（つまり、差がほとんどない場合）、第一位関心点が候補画像関心点に類似していない可能性が高くなるからである。例えば、デジタル画像の撮像条件等により、関心点の記述子の距離が変化し、第一位関心点と第二位関心点の順位が入れ替わってしまうことは珍しくない。そのため、第一位関心点と第二位関心点の差がほとんどない場合、第一位関心点が当該候補画像関心点と類似する関心点ではない可能性が高い。このことを踏まえると、第一位関心点と第二位関心点の差がほとんどない場合、情報処理装置１は、得票数算出部２４が他の関心点によって投票を行う方が、精度のよい画像検索を行うことができる。つまり、得票数算出部２４は、この方法により、類似していない対象画像関心点を類似している対象画像関心点として当該候補画像関心点に投票してしまうことを抑制することができる。

また、他の方法の他の例として、得票数算出部２４は、第一位関心点のみ、又は第一位関心点及び第二位関心点を利用する方法において、第一位関心点の記述子の距離が所定距離未満である場合にのみ、対象画像関心点を当該候補画像関心点に投票する。これにより、得票数算出部２４は、対象画像関心点と当該候補画像関心点の記述子間の距離が離れすぎているにも拘らず、対象画像関心点と当該候補画像関心点とが類似しているとして投票してしまうことを抑制することができる。

得票数算出部２４は、候補画像毎に、当該候補画像に含まれる投票された候補画像関心点の得票数を合算して当該候補画像の得票数を算出する。なお、得票数算出部２４は、候補画像に含まれる投票された候補画像関心点の得票数を合算して当該候補画像の得票数を算出する構成に代えて、投票された候補画像関心点の得票数それぞれに所定の重みを乗算してから合算して当該候補画像の得票数を算出する等の他の方法によって候補画像毎の得票数を算出する構成であってもよい。

得票数補正部２５は、得票数算出部２４により投票された候補画像関心点のうちのある候補画像関心点の得票数が所定の閾値以上である場合、当該候補画像関心点に類似する対象画像関心点の中にノイズが含まれていた可能性、あるいは当該候補画像関心点がノイズであった可能性が高いため、当該候補画像関心点の得票数を予め決められた数に補正する。この一例において、この予め決められた数は、０（すなわち、投票を無効とする）とするが、これに代えて、１や他の数（すなわち、得票数を減算する）、あるいは所定の重み（１未満の正の数）を乗算する等の他の方法によって得票数を補正する構成であってもよい。

画像検索部２６は、得票数算出部２４により算出された候補画像毎の得票数が所定の条件を満たす候補画像を、対象画像に似た画像として検索する。この一例において、所定の条件とは、候補画像の得票数が最も高いことを示すが、これに代えて、候補画像の得票数が所定数以上であること等、他の条件であってもよい。
表示制御部２７は、画像検索部２６により検出された対象画像と似た画像を表示するように表示部１４を制御する。

以下、図３を参照して、制御部１６が対象画像に似た画像を候補画像１２１から検出する処理の流れを説明する。図３は、制御部１６が対象画像に似た画像を候補画像１２１から検出する処理の流れの一例を示すフローチャートである。

以下では、制御部１６が記憶部１２から対象画像の候補となる複数の画像を読み込んだ後の処理について説明する。また、以下では、予め記憶部１２に記憶されている複数の候補画像のそれぞれから１以上の関心点が事前に検出されており、さらに、それらの関心点のそれぞれに係る記述子が算出されているとして説明する。なお、制御部１６は、対象画像から１以上の関心点を検出する処理と並行して、複数の候補画像のそれぞれから１以上の関心点を検出する処理を行う構成であってもよい。その場合、対象画像から検出された関心点のそれぞれに係る記述子を算出する処理と並行して、複数の候補画像のそれぞれから検出された関心点のそれぞれに係る記述子を算出する処理を行う構成であってもよい。なお、以下で説明する処理の流れは、あくまでも一例に過ぎず、他の処理の流れであってもよい。

まず、制御部１６は、入力受付部１３により受け付けられたユーザーからの操作に基づいて、記憶部１２から読み込まれた複数の画像から対象画像を選択する（ステップＳ１００）。次に、関心点検出部２１は、対象画像から１以上の関心点（すなわち、対象画像関心点）を検出する（ステップＳ１１０）。

次に、標本点方向算出部２２は、ステップＳ１１０で対象画像から検出された対象画像関心点のそれぞれ毎に、関心点に係る標本点の方向を算出する（ステップＳ１２０）。ここで、図４を参照して、標本点方向算出部２２による関心点に係る標本点の方向を算出する処理について説明する。図４は、対象画像の一部分を例示する図である。図４において、画像Ｍ２は、対象画像の一部分である。画像Ｍ２には、対象画像のうち、無地背景の部分と、ポスター等の絵柄を表す事物の部分との間の境界線が示されている。

ここで、関心点ＰＣは、ステップＳ１１０で検出された１以上の関心点のうちの１つの一例である。範囲ＮＡは、関心点ＰＣの近傍を示す範囲である。上記のように、範囲ＮＡは、関心点ＰＣを中心とした半径６ｓの円形の範囲である。すなわち、範囲ＮＡには、標本点群として１１３の標本点が含まれる。図３では、説明の便宜上、これら１１３の標本点を、範囲ＮＡ内の菱形によって表している。

以下、標本点方向算出部２２による標本点の方向を算出する処理を、図４に示した１１３の標本点のうち、ある標本点ＰＳを例にとって説明する。標本点方向算出部２２は、画像Ｍ２上において標本点ＰＳを中心として、図３に示したような正方形範囲の方向算出範囲ＢＦを設定する。標本点方向算出部２２は、方向算出範囲ＢＦ（面積）内の輝度値の勾配等に基づくウェーブレット応答（ｄｘ，ｄｙ）に基づいて標本点ＰＳの方向を算出する。

方向算出範囲ＢＦとは、関心点の近傍に含まれる標本点群の標本点それぞれに係るウェーブレット応答（ｄｘ，ｄｙ）を算出するために用いられるウェーブレット変換（デジタルフィルタ）を適用する範囲である。標本点方向算出部２２は、標本点ＰＳに対して行ったこれらの処理と同様の処理を行うことで、関心点ＰＣの近傍に含まれる１１３の標本点（標本点ＰＳを含む）それぞれの方向をすべて算出する。

ステップＳ１２０で標本点方向算出部２２により、対象画像から検出された１以上の関心点のそれぞれ毎に、関心点の近傍に含まれる標本点群の標本点それぞれの方向が算出された後、記述子算出部２３は、対象画像から検出された１以上の関心点のそれぞれ毎に、関心点の近傍に含まれる標本点群の標本点それぞれについて標本点方向算出部２２により算出された方向に基づいて記述子を算出する（ステップＳ１３０）。

次に、得票数算出部２４は、予め複数の候補画像から検出された１以上の候補画像関心点のそれぞれの得票数を０に初期化する（ステップＳ１４０）。なお、この初期化の際、得票数算出部２４は、予め複数の候補画像から検出された１以上の候補画像関心点のそれぞれの得票数を０とは異なる他の値に初期化する構成であってもよい。

次に、得票数算出部２４は、ステップＳ１１０で対象画像から検出された１以上の対象画像関心点のそれぞれ毎に、ステップＳ１６０からステップＳ１７０までの処理を繰り返し行う（ステップＳ１５０）。次に、得票数算出部２４は、ステップＳ１５０で選択された対象画像関心点と類似する候補画像関心点を、複数の候補画像から検出された１以上の候補画像関心点の中から検出する（ステップＳ１６０）。次に、得票数算出部２４は、ステップＳ１６０において検出された候補画像関心点の得票数を１増加させる（すなわち、投票する）（ステップＳ１７０）。

ステップＳ１５０からステップＳ１７０までの繰り返し処理が終わった後、得票数補正部２５は、ステップＳ１７０で得票数算出部２４により投票された１以上の候補画像関心点のそれぞれ毎に、ステップＳ１９０からステップＳ２００までの処理を繰り返し行う（ステップＳ１８０）。

次に、得票数補正部２５は、ステップＳ１８０で選択された候補画像関心点の得票数が所定数以上であるか否かを判定する（ステップＳ１９０）。所定数は、２以上の数値であれば如何なる数値であってもよく、この一例において、２であるとして説明する。ステップＳ１８０で選択された候補画像関心点の得票数が所定数以上であると判定した場合（ステップＳ１９０−Ｙｅｓ）、得票数補正部２５は、得票数を予め決められた数（この一例において、０）に補正する（ステップＳ２００）。一方、ステップＳ１８０で選択された候補画像関心点の得票数が所定数以上ではないと判定した場合（ステップＳ１９０−Ｎｏ）、得票数補正部２５は、ステップＳ１８０に遷移し、次の候補画像関心点を選択する。

次に、得票数算出部２４は、ステップＳ１７０で投票された複数の候補画像のそれぞれ毎に、ステップＳ２２０の処理を繰り返し行う（ステップＳ２１０）。ステップＳ２１０で選択された候補画像に、得票数算出部２４は、ステップＳ２１０で選択された候補画像から検出された候補画像関心点のうち、ステップＳ１７０で投票された１以上の候補画像関心点それぞれの得票数を合算して、当該候補画像の得票数を算出する（ステップＳ２２０）。

すべての投票された候補画像の得票数を算出した後、画像検索部２６は、候補画像毎の得票数が所定の条件（この一例において、最も高い候補画像の得票数であること）を満たす候補画像を、対象画像に似た画像として検索する（ステップＳ２３０）。次に、表示制御部２７は、ステップＳ２３０で検索された対象画像に似た画像を表示するように表示部１４を制御する（ステップＳ２４０）。

以上説明したように、複数の候補画像の中から対象画像に対応する画像を検索する情報処理装置１は、対象画像から検出される１以上の対象画像関心点のそれぞれ毎に、候補画像から検出される１以上の候補画像関心点の中から対象画像関心点に類似する候補画像関心点を検出し、検出した１以上の候補画像関心点のそれぞれ毎に、当該候補画像関心点に類似する対象画像関心点の数を得票数として算出し、算出した得票数が所定数以上であった場合、前記得票数を予め決められた値に変更し、算出された得票数、又は変更された得票数のうち少なくともいずれか一方に基づく候補画像毎の得票数が所定の条件を満たす候補画像を、複数の候補画像の中から対象画像に対応する候補画像として検索する。これにより、情報処理装置１は、対象画像に対応する画像を精度よく検出することができる。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

なお、以上に説明した装置（例えば、情報処理装置１）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１ 情報処理装置、１２ 記憶部、１３ 入力受付部、１４ 表示部、１５ 通信部、１６ 制御部、２０ 通信制御部、２１ 関心点検出部、２２ 標本点方向算出部、２３ 記述子算出部、２４ 得票数算出部、２５ 得票数補正部、２６ 画像検索部、２７ 表示制御部、１２１ 候補画像

Claims (4)

1. 複数の第１画像の中から第２画像に対応する画像を検索する情報処理装置であって、
   前記第２画像から検出される１以上の第２関心点のそれぞれ毎に、前記第１画像から検出される１以上の第１関心点の中から前記第２関心点に類似する前記第１関心点を検出する検出部と、
   前記検出部により検出された１以上の前記第１関心点のそれぞれ毎に、当該第１関心点に類似する前記第２関心点の数を得票数として算出する算出部と、
   前記算出部により算出された前記得票数が所定数以上であった場合、前記得票数をゼロ又は当該得票数に基づいて算出される値に変更する補正部と、
   前記算出部により算出された前記得票数、又は前記補正部により変更された前記得票数のうち少なくともいずれか一方に基づく前記第１画像毎の得票数が所定の条件を満たす前記第１画像を、前記複数の前記第１画像の中から前記第２画像に対応する前記第１画像として検索する検索部と、
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記検出部は、前記第１関心点の近傍に含まれる画像の特徴量と、前記第２関心点の近傍に含まれる画像の特徴量とに基づいて、前記第２関心点に類似する前記第１関心点を検出する、
   情報処理装置。
3. 複数の第１画像の中から第２画像に対応する画像を検索する情報処理方法であって、
   前記第２画像から検出される１以上の第２関心点のそれぞれ毎に、前記第１画像から検出される１以上の第１関心点の中から前記第２関心点に類似する前記第１関心点を検出する検出ステップと、
   前記検出ステップにより検出された１以上の前記第１関心点のそれぞれ毎に、当該第１関心点に類似する前記第２関心点の数を得票数として算出する算出ステップと、
   前記算出ステップにより算出された前記得票数が所定数以上であった場合、前記得票数をゼロ又は当該得票数に基づいて算出される値に変更する補正ステップと、
   前記算出ステップにより算出された前記得票数、又は前記補正ステップにより変更された前記得票数のうち少なくともいずれか一方に基づく前記第１画像毎の得票数が所定の条件を満たす前記第１画像を、前記複数の前記第１画像の中から前記第２画像に対応する前記第１画像として検索する検索ステップと、
   を有することを特徴とする情報処理方法。
4. コンピューターに、
   複数の第１画像の中から第２画像に対応する画像を検索させるプログラムであって、
   前記第２画像から検出される１以上の第２関心点のそれぞれ毎に、前記第１画像から検出される１以上の第１関心点の中から前記第２関心点に類似する前記第１関心点を検出する検出ステップと、
   前記検出ステップにより検出された１以上の前記第１関心点のそれぞれ毎に、当該第１関心点に類似する前記第２関心点の数を得票数として算出する算出ステップと、
   前記算出ステップにより算出された前記得票数が所定数以上であった場合、前記得票数をゼロ又は当該得票数に基づいて算出される値に変更する補正ステップと、
   前記算出ステップにより算出された前記得票数、又は前記補正ステップにより変更された前記得票数のうち少なくともいずれか一方に基づく前記第１画像毎の得票数が所定の条件を満たす前記第１画像を、前記複数の前記第１画像の中から前記第２画像に対応する前記第１画像として検索する検索ステップと、
   を実行させるためのプログラム。

Images