JP7044677B2 - 判定装置、判定方法および判定プログラム - Google Patents

Description

本発明は、判定装置、判定方法および判定プログラムに関する。

従来、検索クエリとなる情報が有する特徴量と、検索対象となる情報が有する特徴量とを比較することで、検索クエリと類似する情報を検索する技術が知られている。このような技術の一例として、検索クエリとなる画像から抽出した複数の局所的な特徴量（以下、「局所特徴量」と記載する。）と、検索対象となる画像が有する複数の局所特徴量との類似度に加え、局所特徴量を抽出した範囲の座標関係の類似度に基づいて、検索クエリとなる画像と類似する画像を検索する技術が知られている。

特開２０１４－１５７４４３号公報

しかしながら、上述した従来技術では、類似検索の精度が必ずしも良いとは言えない場合がある。

例えば、上述した従来技術では、検索クエリから抽出した複数の局所特徴量と、検索対象となる画像が有する複数の局所特徴量とを比較し、類似する局所特徴量を特定する。そして、従来技術では、検索クエリから抽出した局所特徴量のうち特定した局所特徴量の座標関係と、検索対象となる画像が有する局所特徴量のうち特定した局所特徴量の座標関係との類似性を比較する。このように、上述した従来技術では、各情報が有する局所特徴量のうち一部の局所特徴量の座標関係に基づいて、類似性を判断するので、検索クエリとなる画像と類似しない画像を検索結果に含める恐れがある。

本願は、上記に鑑みてなされたものであって、類似検索の精度を向上させることを目的とする。

本願に係る判定装置は、第１情報が有する複数の第１特徴量のうち第２情報が有する複数の第２特徴量のいずれかに類似する第１類似特徴量の特徴点の位置を、前記第２特徴量のうち前記第１類似特徴量に類似する第２類似特徴量の特徴点の位置へと変換する変換情報を推定する推定部と、前記第１特徴量の特徴点の位置を前記変換情報により変換した変換位置と、前記第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを判定する判定部とを有することを特徴とする。

実施形態の一態様によれば、類似検索の精度を向上させることができる。

図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。 図２は、実施形態に係る情報提供装置が実行する処理の対象の一例を示す図である。 図３は、実施形態に係る情報提供装置の構成例を示す図である。 図４は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。 図５は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。 図６は、ハードウェア構成の一例を示す図である。

以下に、本願に係る判定装置、判定方法および判定プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、判定方法および判定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

〔１－１．情報提供装置の一例について〕
まず、図１を用いて、判定装置の一例である情報提供装置が実行する検索処理の一例について説明する。図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。

図１では、インターネット等の所定のネットワークＮ（例えば、図３参照）を介して、各利用者が使用する端末装置１００と情報提供装置１０は、相互に通信可能である。また、情報提供装置１０は、端末装置１００以外にも、各種の外部サーバと相互に通信可能であるものとする。また、情報提供装置１０は、任意の数の端末装置１００と通信可能であってもよい。

端末装置１００は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１００は、スマートデバイスのみならず、デスクトップＰＣ（Personal Computer）やノートＰＣ等の情報処理装置であってもよい。

情報提供装置１０は、検索処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置１０は、端末装置１００から検索クエリとなるコンテンツ（以下、「クエリコンテンツ」と記載する。）を受信すると、受信したクエリコンテンツと類似する内容のコンテンツを検索し、検索したコンテンツや、検索したコンテンツを示す他のコンテンツを検索結果として端末装置１００に提供する検索処理を実行する。

より具体的な例を挙げると、情報提供装置１０は、検索対象となる複数の画像（以下「対象画像」と記載する。）を保持する。そして、情報提供装置１０は、端末装置１００から検索クエリとなる画像（以下、「クエリ画像」と記載する。）を受信すると、受信したクエリ画像と類似する対象画像を検索し、クエリ画像と類似する対象画像の情報を検索結果として端末装置１００へと送信する。なお、以下の説明では、クエリ画像と類似する対象画像を検索する処理について記載するが、実施形態は、これに限定するものではない。例えば、情報提供装置１０は、静止画像や動画像といった画像のみならず、文章、映画、音楽コンテンツ等、任意のコンテンツについて後述する検索処理を実行してよい。

〔１－２．局所特徴量を用いた検索処理の概要について〕
ここで、クエリコンテンツと類似するコンテンツを検索する手法として、各コンテンツが有する局所的な特徴量である局所特徴量の比較結果に基づいて、類似するコンテンツを検索する技術が知られている。より具体的な例を挙げると、クエリ画像から複数の局所特徴量を抽出し、抽出した局所特徴量と対象画像から予め抽出された局所特徴量との比較結果に基づいて、クエリ画像と類似する対象画像を検索する技術が知られている。

〔１－２－１．局所特徴量同士の比較について〕
まず、情報提供装置１０は、複数の対象画像について、対象画像ごとに局所特徴量の算出を行う。例えば、情報提供装置１０は、対象画像の中から自動的に選択された特徴的な点及び範囲（半径）及び方向に基づいて、その範囲における局所特徴量を算出する。このような処理において、各特徴点は、不規則な位置となり、局所特徴量が算出される範囲（半径）も様々な大きさのものが採用される。なお、局所特徴量が算出される範囲は、円形に限定されるものではなく、楕円や矩形等、任意の形状が採用可能である。続いて、情報提供装置１０は、クエリ画像についても同様に、自動的に選択された特徴的な点及び範囲（半径）及び方向に基づいて、その範囲における特徴量を算出する。

なお、上述した局所特徴量は、ＧＩＳＴ（http://ilab.usc.edu/siagian/Research/Gist/Gist.html）、カラーヒストグラム、色分布などの広域特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speed-Up Robust Features）、局所特徴量等、画像が有する特徴量を取得する任意の技術が採用可能である。なお、ニューラルネットで生成される特徴量も利用可能である。また、以下の説明では、クエリ画像から抽出された局所特徴量を「クエリ画像の局所特徴量」と記載し、対象画像から抽出された局所特徴量を「対象画像の局所特徴量」と記載する場合がある。

続いて、情報提供装置１０は、クエリ画像の局所特徴量と対象画像の局所特徴量とをそれぞれ比較することで、対象画像の局所特徴量のうち、クエリ画像の局所特徴量と類似する局所特徴量を特定する。より具体的には、情報提供装置１０は、クエリ画像の局所特徴量ごとに、各対象画像から抽出された全ての局所特徴量のうち、クエリ画像の局所特徴量と最も類似する局所特徴量を特定する。例えば、情報提供装置１０は、ＮＧＴ（Neighborhood Graph and Tree）等といった技術を用いて、クエリ画像の局所特徴量と類似する対象画像の局所特徴量を検索する。

なお、以下の説明では、クエリ画像の局所特徴量に最も類似する局所特徴量として対象画像の局所特徴量の中から特定された局所特徴量を、画像対応特徴量と記載する場合がある。また、画像対応特徴量と対応するクエリ画像の局所特徴量、すなわち、画像対応特徴量と最も類似するクエリ画像の局所特徴量をクエリ対応特徴量と記載する場合がある。また、以下の説明では、クエリ対応特徴量や画像対応特徴量を単に対応特徴量と記載する場合がある。

そして、情報提供装置１０は、対象画像のうち、クエリ画像の局所特徴量と類似する局所特徴量の数が閾値を超える対象画像を、クエリ画像と類似する画像の候補（以下、「候補画像」と記載する。）として選択する。すなわち、情報提供装置１０は、局所特徴量同士の類似性に基づく投票形式で、候補画像の選択を行う。例えば、情報提供装置１０は、対象画像のうち、対応特徴量の数が多い方から所定の数の対象画像を候補画像としてもよく、対応特徴量の数が所定の閾値を超える対象画像を候補画像としてもよい。なお、以下の説明では、上述した局所特徴量同士が類似するか否かを判定する処理を「部分特徴量照合処理」と記載する場合がある。

〔１－２－２．局所特徴量の特徴点の位置の比較について〕
ここで、候補画像をそのまま検索結果として出力する手法も考えられるが、情報提供装置１０は、さらに精度を高めるため、局所特徴量を算出した特徴点の位置の比較に基づいて、クエリ画像と類似する対象画像を検索する。より具体的には、情報提供装置１０は、以下に説明する判定処理を実行することで、クエリ画像と類似する対象画像の絞り込みを行う。

まず、情報提供装置１０は、第１情報（例えば、クエリ画像）が有する複数の第１特徴量のうち第２情報（例えば、対象画像）が有する複数の第２特徴量のいずれかに類似する第１類似特徴量（例えば、クエリ対応特徴量）の位置を、第２特徴量のうち第１類似特徴量に類似する第２類似特徴量（例えば、画像対応特徴量）の位置へと変換する変換情報を推定する。そして、情報提供装置１０は、第１特徴量の特徴点の位置を変換情報により変換した変換位置と、第２特徴量の特徴点の位置との比較結果に基づいて、第１情報と第２情報とが類似するか否かを判定する。

例えば、情報提供装置１０は、複数の第２情報が有する第２特徴量のうち、第１情報が有する第１特徴量と最も類似する特徴量を、第１特徴量と対応する第２対応特徴量として特定する。また、情報提供装置１０は、第１情報が有する第１特徴量のうち、処理対象となる第２情報に含まれる第２対応特徴量と対応する第１特徴量である第１対応特徴量を特定する。そして、情報提供装置１０は、第１対応特徴量の特徴点の位置を、処理対象となる第２情報に含まれる第２対応特徴量の特徴点の位置へと変換する変換情報を推定する。

例えば、情報提供装置１０は、クエリ画像の局所特徴量と、各対象画像の局所特徴量との比較により、画像対応特徴量の特定を行う。続いて、情報提供装置１０は、処理対象となる対象画像を１つ選択し、以下の処理を実行する。まず、情報提供装置１０は、選択した対象画像に含まれる画像対応特徴量に対応するクエリ対応特徴量を特定する。そして、情報提供装置１０は、特定したクエリ対応特徴量を算出する際の特徴点の位置を、処理対象となる対象画像における画像対応特徴量の特徴点の位置へと変換する変換情報を推定する。例えば、情報提供装置１０は、クエリ対応特徴量を算出した際の特徴点の位置を、画像対応特徴量を算出した際の特徴点の位置へとアフィン変換するためのパラメータを変換情報として推定する。

続いて、情報提供装置１０は、クエリ画像が有する全ての局所特徴量、若しくは一部の局所特徴量の特徴点の位置を、推定した変換情報で変換する。そして、情報提供装置１０は、変換後の位置と、対象画像の局所特徴量の特徴点の位置とを比較し、比較結果に基づいて、クエリ画像と処理対象となる対象画像とが類似するか否かを判定する。

例えば、情報提供装置１０は、クエリ画像の局所特徴量ごとに、特徴点の位置を変換情報で変換し、変換後の位置から所定の範囲内に、処理対象となる対象画像の局所特徴量のうちいずれかの局所特徴量の特徴点の位置が含まれているか否かを判定する。そして、情報提供装置１０は、クエリ画像の局所特徴量のうち、変換後の位置から所定の範囲内に、処理対象となる対象画像の局所特徴量のうちいずれかの局所特徴量の特徴点の位置が含まれている局所特徴量の割合を算出する。その後、情報提供装置１０は、算出した割合が所定の閾値を超える場合は、処理対象となる対象画像がクエリ画像に類似すると判定する。

すなわち、情報提供装置１０は、部分特徴量照合処理において特定されたクエリ対応特徴量の特徴点の位置を、部分特徴量照合処理において特定された画像対応特徴量の特徴点の位置へと変換する変換情報を推定する。そして、情報提供装置１０は、クエリ画像の各局所特徴量の特徴点の位置を変換情報で変換した位置と、対象画像の局所特徴量の特徴点の位置との一致度に基づいて、クエリ画像と対象画像とが類似するか否かを判定する。このような処理により、情報提供装置１０は、類似検索の精度を向上させることができる。

なお、候補画像ごとに、クエリ画像の全局所特徴量と、候補画像の全局所特徴量とを比較しなおし、類似する局所特徴量の特徴点の位置関係の類似性に基づいて、クエリ画像と候補画像とが類似するか否かを推定するといった処理が考えられる。しかしながら、このような処理を実行した場合、類似検索の精度を向上させることができるものの、クエリ画像や対象画像から抽出される局所特徴量の数が増大した場合は、局所特徴量同士が類似するか否かの計算コストが上昇してしまう。

一方、情報提供装置１０は、クエリ画像の局所特徴量と候補画像の局所特徴量とが類似するか否かの処理を実行せずに、候補画像の抽出を行う際に用いた対応特徴量の特徴点の位置関係から変換情報を推定し、推定した変換情報を用いてクエリ画像の局所特徴量の特徴点の位置を変換し、変換後の位置と候補画像の局所特徴量の特徴点の位置との一致度に応じて、候補画像がクエリ画像に類似するか否かを判定する。このため、情報提供装置１０は、クエリ画像の局所特徴量と候補画像の局所特徴量とが類似するか否かの処理に伴う計算コストを削減することができるので、より容易に類似検索の精度を向上させることができる。

〔１－３．判定処理の一例について〕
次に、図１を用いて、情報提供装置１０が実行する判定処理の具体的な流れの一例について説明する。例えば、情報提供装置１０は、検索対象となる対象画像の局所特徴量をあらかじめ抽出する（ステップＳ１）。例えば、情報提供装置１０は、対象画像Ｔ１の中から自動的に選択された複数の特徴点Ｐ１、Ｐ２・・・ごとに、特徴点からそれぞれ自動的に決定された方向の、自動的に決定された範囲内（例えば、半径が数十ピクセルの範囲内）に含まれる画素の特徴量を局所特徴量ＦＰ１、ＦＰ２・・・として取得する。このように、各画像から特徴点を自動的に抽出した場合、同一物体を撮影した２画像から物体上の同じ位置が特徴点として抽出されるので、座標照合が可能となる。

続いて、情報提供装置１０は、端末装置１００から画像を取得する（ステップＳ２）。このような場合、情報提供装置１０は、取得した画像をクエリ画像とし、クエリ画像の局所特徴量を抽出する。そして、情報提供装置１０は、クエリ画像の局所特徴量ごとに、対象画像の局所特徴量のうち最も類似する局所特徴量を対応特徴量として特定する（ステップＳ３）。より具体的には、情報提供装置１０は、部分特徴量照合処理を実行する。

例えば、情報提供装置１０は、点線で示すように、クエリ画像Ｑ１から自動的に選択された特徴点、範囲および方向について、それぞれ特徴量を局所特徴量として抽出する。そして、情報提供装置１０は、クエリ画像Ｑ１の各局所特徴量と、各対象画像の局所特徴量とを比較し、類似するか否かを判定する。より具体的には、情報提供装置１０は、クエリ画像が有する複数の局所特徴量から処理対象となる局所特徴量を選択し、各対象画像が有する局所特徴量のうち、クエリ画像から選択した局所特徴量と最も類似する局所特徴量を特定する。そして、情報提供装置１０は、選択したクエリ画像の局所特徴量と、特定した対象画像の局所特徴量とを対応特徴量として相互に対応付ける。

続いて、情報提供装置１０は、クエリ画像における対応特徴量の特徴点の位置を、対象画像における対応特徴量の特徴点の位置に変換する変換情報と確度とを推定する。例えば、情報提供装置１０は、対応特徴量の数が多い方から順に所定の数の対応画像を候補画像として選択する。また、情報提供装置１０は、候補画像から処理対象となる候補画像を選択する。そして、情報提供装置１０は、クエリ画像Ｑ１の局所特徴量のうち、処理対象として選択した候補画像に含まれる画像対応特徴量に対応するクエリ対応特徴量の特徴点の位置を、処理対象として選択した候補画像に含まれる画像対応特徴量の特徴点の位置へとアフィン変換するためのパラメータを変換情報として推定する。

例えば、図１に示す例では、情報提供装置１０は、クエリ画像Ｑ１に含まれる局所特徴量のうち、対応画像Ｔ１に含まれる局所特徴量と対応付けられた５つのクエリ対応特徴量を特定する。また、情報提供装置１０は、対応画像Ｔ１に含まれる５つの画像対応特徴量を特定する。そして、情報提供装置１０は、特定したクエリ対応特徴量の特徴点の位置を、特定した画像対応特徴量の特徴点の位置へと変換する変換情報を推定する。また、情報提供装置１０は、変換情報の正確さを示す確度の推定を行う。なお、図１のステップＳ４においては、クエリ画像Ｑ１と対象画像Ｔ１とが有する局所特徴量のうち、対応特徴量となる局所特徴量の特徴点のみを丸印で示した。

続いて、情報提供装置１０は、対象画像のうち推定された確度が所定の条件を満たす対象画像を抽出する。例えば、情報提供装置１０は、候補画像ごとに変換情報と確度とを推定し、候補画像を確度が高い方から順位づけする。続いて、情報提供装置１０は、隣接する順位における確度の変化率（減少率）を算出し、算出した変化率が所定の閾値を超えるる順位を特定する。そして、情報提供装置１０は、特定した順位よりも上位の候補画像を処理対象として抽出する。なお、情報提供装置１０は、推定された確度が所定の閾値以上となる候補画像を処理対象として抽出してもよい。

そして、情報提供装置１０は、クエリ画像の局所特徴量の特徴点の位置を変換情報で変換した位置に、対象画像の局所特徴量が存在する割合を算出する（ステップＳ６）。例えば、情報提供装置１０は、クエリ画像が有する局所特徴量から変換対象とする局所特徴量を選択する。ここで、情報提供装置１０は、クエリ対象特徴量以外の局所特徴量から少なくとも１つの局所特徴量を変換対象として選択する。例えば、情報提供装置１０は、クエリ画像が有する全ての局所特徴量を変換対象としてもよく、ランダムに選択された所定の数の局所特徴量を変換対象としてもよい。また、情報提供装置１０は、クエリ画像が有するクエリ対応特徴量以外の局所特徴量の変換後の位置と、対象画像に含まれる画像対応特徴量以外の局所特徴量の特徴点の位置とを比較してもよい。

また、情報提供装置１０は、第１情報から第１対応特徴量を含む特定領域を特定し、特定領域内に含まれる第１特徴量の特徴点の位置を変換情報で変換した変換位置と、第２特徴量の特徴点の位置との比較結果に基づいて、第１情報と第２情報とが類似するか否かを、第２情報ごとに判定してもよい。以下、図１中ステップＳ６に示す図を用いて、このような処理の一例について説明する。なお、図１のステップＳ６に示す例では、各対応特徴量と対応する特徴点を実線の丸印で示し、対応特徴量以外の局所特徴量と対応する特徴点を点線の丸印で示した。

例えば、画像から特徴的な点を特徴点として選択した場合、各特徴点は、撮像されたオブジェクト（例えば、取引対象）上から選択される場合が多い。このため、情報提供装置１０は、第１対応特徴量を含む最小の矩形を特定領域として特定する。このような処理の結果、情報提供装置１０は、画像のうちオブジェクトを含み、背景を極力除外した領域を特定領域として特定することができる。なお、情報提供装置１０は、第１対応特徴量を含む領域であれば、最小の矩形ではなく、任意の形状および大きさを有する領域を特定領域として特定して良い。

例えば、図１のステップＳ６に示す例では、情報提供装置１０は、クエリ画像Ｑ１が有する局所特徴量のうち、対象画像Ｔ１が有する画像対応特徴量に対応するクエリ対応特徴量を含む特定領域ＡＱ１を特定する。続いて、情報提供装置１０は、クエリ画像Ｑ１の局所特徴量のうち、特定領域ＡＱ１に含まれる局所特徴量を特定する。そして、情報提供装置１０は、クエリＱ１と対象画像Ｔ１との対応特徴量同士の位置から推定した変換情報を用いて、特定領域ＡＱ１に含まれる局所特徴量の特徴点の位置をそれぞれ変換する。

続いて、情報提供装置１０は、変換後の位置と、対象画像Ｔ１に含まれる局所特徴量の各位置を比較する。そして、情報提供装置１０は、特定領域ＡＱ１に含まれる局所特徴量のうち、変換後の位置から所定の範囲内に対象画像Ｔ１の局所特徴量の特徴点の位置が所在する局所特徴量の割合を算出する。例えば、情報提供装置１０は、特定領域ＡＱ１に１０個の局所特徴量が含まれており、そのうち８個の局所特徴量の特徴点について、変換後の位置の近傍に対象画像Ｔ１の局所特徴量の特徴点が所在する場合は、割合「８／１０」を算出する。

また、情報提供装置１０は、ステップＳ５にて抽出した各対象画像ごとにステップＳ６の処理を実行する。そして、情報提供装置１０は、算出した割合に基づいて、クエリ画像と類似する対象画像を検索する（ステップＳ７）。例えば、対象画像Ｔ１について算出された割合が「８／１０」であり、対象画像Ｔ２２について算出された割合が「２／１０」であり、対象画像Ｔ４５について算出された割合が「３／３」であるものとする。このような場合、例えば、情報提供装置１０は、割合が所定の閾値（例えば、「６／１０」）を超える対象画像Ｔ１、Ｔ４５をクエリ画像Ｑ１と類似する画像として選択する。

そして、情報提供装置１０は、検索結果を端末装置１００に送信する（ステップＳ８）。例えば、情報提供装置１０は、候補画像Ｔ１、Ｔ４５のデータやサムネイル等を端末装置１００に送信する。なお、情報提供装置１０は、例えば、部分特徴量照合処理の結果や、算出された割合、変換情報の確度等に応じたランキング形式で、検索した候補画像の情報を配信してもよい。例えば、情報提供装置１０は、算出された割合が所定の閾値を超える対象画像について、対応特徴量の数が多ければ多いほど、算出された割合が多ければ多い程、若しくは、変換情報の確度が高ければ高い程値が高くなるスコアを算出し、算出したスコアの順に各対応画像の情報を並べたコンテンツを配信してもよい。

〔１－４．比較内容について〕
ここで、上述した説明では、情報提供装置１０は、クエリ画像の局所特徴量の特徴点の位置を変換情報により変換した位置から所定の範囲内に、対象画像に含まれるいずれかの局所特徴量の特徴点が含まれるか否かを判定し、判定結果に基づいて、クエリ画像と対象画像とが類似するか否かを判定した。しかしながら、情報提供装置１０が実行する判定処理は、これに限定されるものではない。例えば、情報提供装置１０は、判定精度を向上させるため、位置以外の情報を考慮してもよい。

〔１－４－１．局所特徴量の比較について〕
例えば、情報提供装置１０は、第１特徴量と第２特徴量との比較結果に基づいて、第１情報と第２情報とが類似するか否かを判定してもよい。例えば、情報提供装置１０は、クエリ画像の局所特徴量から処理対象となる局所特徴量を１つ選択し、選択した局所特徴量の特徴点の位置を変換情報により変換する。なお、以下の説明では、変換後の位置を変換位置と記載する。続いて、情報提供装置１０は、対象画像の局所特徴量のうち、特徴点が変換位置から所定の範囲内に含まれる局所特徴量を特定する。そして、情報提供装置１０は、特定した対象画像の局所特徴量と、処理対象として選択したクエリ画像の局所特徴量とを比較し、同一若しくは類似する局所特徴量が存在するか否かを判定する。

続いて、情報提供装置１０は、特定した対象画像の局所特徴量の中に、処理対象として選択したクエリ画像の局所特徴量と同一又は類似する局所特徴量が存在する場合は、処理対象として選択したクエリ画像の局所特徴量を、変換情報により位置を変換した際に対応する局所特徴量が存在する局所特徴量（以下、「対象所在特徴量」と記載する。）とする。そして、情報提供装置１０は、クエリ画像の各局所特徴量について上述した処理を実行し、クエリ画像の局所特徴量のうち、対象所在特徴量の割合を算出する。すなわち、情報提供装置１０は、特徴点の位置の類似性のみならず、局所特徴量の類似性を考慮して、クエリ画像の局所特徴量のうち、対象所在特徴量の割合を算出する。

そして、情報提供装置１０は、対象画像ごとにクエリ画像における対象所在特徴量の割合を算出し、算出した割合が所定の条件を満たす対象画像をクエリ画像に類似する画像として選択すればよい。なお、情報提供装置１０は、クエリ画像の局所特徴量のうち、クエリ対応特徴量以外の局所特徴量について、対象所在特徴量であるか否かを判定してもよく、クエリ対応特徴量についても、対象所在特徴量であるか否かを判定を行ってもよい。

〔１－４－２．局所特徴量の算出に用いた範囲の比較について〕
ここで、クエリ画像と対象画像とに同じ撮像対象が含まれる場合、撮像対象うち類似する位置が特徴点として選択され、撮像対象のうち類似する範囲から局所特徴量が算出されることが知られている。このため、同じ撮像対象を含むクエリ画像と対象画像とにおいては、クエリ画像の局所特徴量を算出した際の範囲を変換情報により変換すると、対象画像の局所特徴量を算出した範囲と同一または類似する範囲を得られると考えられる。

そこで、情報提供装置１０は、局所特徴量を算出する際に用いられた範囲の大きさを考慮して、クエリ画像の局所特徴量が対象所在特徴量であるか否かを判定してもよい。すなわち、情報提供装置１０は、第１情報のうち第１特徴量の算出に用いられた範囲を変換情報で変換した範囲の広さと、第２情報のうち第２特徴量の算出に用いられた範囲の広さとの比較結果に基づいて、第１情報と前記第２情報とが類似するか否かを判定してもよい。

例えば、情報提供装置１０は、対象画像の局所特徴量のうち、クエリ画像の局所特徴量の変換位置から所定の範囲内に含まれる局所特徴量を特定する。続いて、情報提供装置１０は、クエリ画像の局所特徴量を算出する際に用いた範囲の広さを変換情報で変換した広さと、対象画像から特定した局所特徴量を算出する際に用いた範囲の広さとを比較する。そして、情報提供装置１０は、クエリ画像の局所特徴量を算出する際に用いた範囲の広さを変換情報で変換した広さと、対象画像から特定した局所特徴量を算出する際に用いた範囲の広さとが同一又は類似する場合は、そのクエリ画像の局所特徴量を対象所在特徴量としてもよい。

〔１－４－３．類似の判断について〕
ここで、情報提供装置１０は、対象所在特徴量の数が所定の条件を満たすか否かに応じて、クエリ画像と対象画像とが類似するか否かを判定してもよい。すなわち、情報提供装置１０は、変換位置が第２特徴量の特徴点の位置と類似する第１特徴量の数が所定の条件を満たす場合は、第１情報と第２情報とが類似すると判定してもよい。例えば、情報提供装置１０は、対象所在特徴量の数が所定の閾値を超える場合は、クエリ画像と対象画像とが類似すると判定してもよい。また、情報提供装置１０は、対象所在特徴量の数が多い方から順に所定の数の対象画像をクエリ画像に類似する画像として抽出してもよく、対象所在特徴量の割合が多い方から順に所定の数の対象画像をクエリ画像に類似する画像として抽出してもよい。

〔１－４－４．比較の仕方について〕
上述した例では、情報提供装置１０は、クエリ画像の局所特徴量のうち、対象所在特徴量の数や割合を対象画像ごとに算出し、算出した数や割合に基づいて、クエリ画像と各対象画像とが類似するか否かを判定した。しかしながら、実施形態は、これに限定されるものではない。

例えば、情報提供装置１０は、対象画像の局所特徴量のうち、クエリ画像の対象所在特徴量と対応する局所特徴量の割合に基づいて、クエリ画像と対象画像とが類似するか否かを判定してもよい。すなわち、情報提供装置１０は、第２特徴量のうち特徴点の位置が第１特徴量の変換位置と類似する第２特徴量の割合が所定の閾値を超える場合は、第１情報と第２情報とが類似すると判定してもよい。

例えば、情報提供装置１０は、クエリ画像に含まれる第１局所特徴量の特徴点の位置を変換情報で変換した第１変換位置を算出する。そして、情報提供装置１０は、対象画像Ｔ１が有する局所特徴量のうち、特徴点の位置が第１変換位置と一致する第２局所特徴量が存在する場合、第１局所特徴量を対象所在特徴量とするとともに、第２局所特徴量を対象所在特徴量に対応する局所特徴量である対応所在特徴量として特定する。そして、情報提供装置１０は、対象画像Ｔ１が有する局所特徴量のうち、対応所在特徴量の割合が所定の閾値を超える場合は、対象画像Ｔ１がクエリ画像に類似すると判定してもよい。

また、情報提供装置１０は、クエリ画像における対象所在特徴量の割合を第１割合として算出するとともに、対象画像における対象所在特徴量の割合を第２割合として算出する。そして、情報提供装置１０は、第１割合と第２割合とが所定の条件を満たす場合は、クエリ画像と対象画像とが類似すると判定してもよい。例えば、情報提供装置１０は、第１割合と第２割合との差が所定の範囲内に収まり、かつ、第１割合と第２割合とがそれぞれ所定の閾値を超える場合に、クエリ画像と対象画像とが類似すると判定してもよい。すなわち、情報提供装置１０は、第１特徴量のうち変換位置が第２特徴量の特徴点の位置と類似する第１特徴量の割合と、第２特徴量のうち特徴点の位置が第１特徴量の変換位置と類似する第２特徴量の割合との比較結果に基づいて、第１情報と第２情報とが類似するか否かを判定してもよい。

すなわち、情報提供装置１０は、クエリ画像を第１情報とし、対象画像を第２情報として、第１情報と第２情報とが類似するか否かを判定してもよく、対象画像を第１情報とし、クエリ画像を第２情報として、第１情報と第２情報とが類似するか否かを判定してもよい。例えば、情報提供装置１０は、対象画像が有する複数の局所特徴量のうちクエリ画像が有する複数の局所特徴量のいずれかに類似する画像対応特徴量の特徴点の位置を、クエリ対応特徴量の特徴点の位置へと変換する変換情報を推定する。そして、情報提供装置１０は、対象画像の局所特徴量の特徴点の位置を変換情報により変換した変換位置と、クエリ画像の局所特徴量の特徴点の位置との比較結果に基づいて、対象画像とクエリ画像とが類似するか否かを判定してもよい。

〔１－４－５．その他の比較要因について〕
なお、情報提供装置１０は、クエリ画像の局所特徴量の数と、対象画像の局所特徴量の数とが同程度であるか否かを考慮してもよい。例えば、情報提供装置１０は、クエリ画像の局所特徴量の数と、対象画像の局所特徴量の数とが同程度であり、かつ、第１割合や第２割合が所定の閾値を超える場合は、クエリ画像と対象画像とが類似すると判定してもよい。また、情報提供装置１０は、クエリ画像の局所特徴量のうちクエリ対応特徴量を含む範囲内の局所特徴量の数と、対象画像の局所特徴量のうち画像対応特徴量を含む範囲内の局所特徴量の数とが同程度であり、かつ、第１割合や第２割合が所定の閾値を超える場合は、クエリ画像と対象画像とが類似すると判定してもよい。

また、情報提供装置１０は、クエリ画像の局所特徴量のうちクエリ対応特徴量を含む範囲（以下、「クエリ対応範囲」と記載する。）内の局所特徴量の数を算出するとともに、対象画像の局所特徴量のうち、クエリ対応範囲を変換情報で変換した範囲内に含まれる局所特徴量の数を算出する。そして、情報提供装置１０は、算出した各局所特徴量の数が同程度であり、かつ、第１割合や第２割合が所定の閾値を超える場合は、クエリ画像と対象画像とが類似すると判定してもよい。例えば、情報提供装置１０は、クエリ対応特徴量を含む最小の矩形をクエリ対応範囲として特定し、クエリ対応範囲内の局所特徴量と、対象画像のうちクエリ対応範囲を変換情報で変換した範囲内に含まれる局所特徴量との比較結果に基づいて、クエリ画像と対象画像とが類似するか否かを判定してもよい。

また、情報提供装置１０は、変換情報に応じて、第１割合と第２割合との比較の仕方を変更してもよい。例えば、情報提供装置１０は、変換情報として、アフィン変換のパラメータを算出する。このようなアフィン変換のパラメータには、位置を平行移動させるためのパラメータのみならず、拡大縮小に関するパラメータが含まれる。そこで、情報提供装置１０は、第１割合を算出する際に分母として用いた局所特徴量の数と、拡大縮小に関するパラメータとに基づいて、第２割合を算出する際に分母として用いる局所特徴量の数の指標を算出し、算出した指標と第２割合を算出する際に実際に用いる局所特徴量の数とが同程度に収まる場合にのみ、クエリ画像と対象画像とが類似すると判定してもよい。

〔１－５．対象画像の足切について〕
上述した処理では、情報提供装置１０は、対応特徴量の数が所定の閾値を超える対象画像のみを候補画像とし、候補画像の中からクエリ画像と類似する画像を検索した。また、上述した処理では、情報提供装置１０は、候補画像のうち、変換情報の確度が所定の条件を満たす対象画像についてのみ、クエリ画像と類似するか否かを判定した。すなわち、情報提供装置１０は、変換情報と、変換情報が正しい確度とを第２情報ごとに推定し、複数の第２情報のうち、確度が所定の条件を満たす第２情報を特定し、特定した第２情報ごとに、変換位置と、第２情報に含まれる第２特徴量の特徴点の位置との比較結果に基づいて、第１情報と第２情報とが類似するか否かを判定した。

しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、対応特徴量を含む全ての対象画像について変換情報を算出し、算出した変換情報を用いてクエリ画像の局所特徴量の特徴点の位置を変換し、変換後の変換位置と対象画像の局所特徴量の特徴点の位置とを比較することで、クエリ画像と類似する対象画像の検索を行ってもよい。

〔１－６．処理の中断について〕
ここで、情報提供装置１０は、クエリ画像の局所特徴量ごとに、変換位置と対象画像の局所特徴量の特徴点の位置とを比較し、比較するごとに第１割合や第２割合の算出を行い、算出した第１割合や第２割合の値が所定の閾値を下回り続けた場合は、比較対象としていない局所特徴量が存在していても、クエリ画像と対象画像とが類似しないと判定してもよい。すなわち、情報提供装置１０は、第１情報が有する第１特徴量ごとに、第１特徴量の特徴点の位置を変換情報により変換した変換位置と第２特徴量の特徴点の位置とが類似するか否かを判定する。そして、情報提供装置１０は、第１情報が有する第１特徴量のうち変換位置が第２特徴量の特徴点の位置に類似すると判定された第１特徴量の割合が所定の閾値を下回った場合は、変換位置を第２特徴量の特徴点の位置と比較していない第１特徴量が存在していても、第１情報と第２情報とが類似しないと判定してもよい。

例えば、情報提供装置１０は、クエリ対応特徴量を含む範囲内の局所特徴量の数を第１割合の分母として計数し、画像対応特徴量を含む範囲内の局所特徴量の数を第２割合の分母として計数する。続いて、情報提供装置１０は、クエリ対応特徴量を含む範囲内の局所特徴量から処理対象となる局所特徴量ごとに、対象所在特徴量であるか否かを判定する。そして、情報提供装置１０は、判定を行う度に第１割合と第２割合とを算出し、算出した第１割合と第２割合とが所定の条件を満たすか否かを判定する。

例えば、情報提供装置１０は、判定が所定の回数行われたにも関わらず、第１割合や第２割合が所定の閾値を下回ったままであるか否かを判定する。そして、情報提供装置１０は、判定が所定の回数行われたにも関わらず、第１割合や第２割合が所定の閾値を下回ったままである場合は、対象所在特徴量であるか否かを判定していない局所特徴量が存在していたとしても、処理を中断し、クエリ画像と対象画像とが類似しないと判定する。

〔１－７．変換情報について〕
上述した説明では、情報提供装置１０は、クエリ対応特徴量の特徴点の位置を画像対応特徴量の特徴点の位置へとアフィン変換するパラメータを算出した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、画像から各特徴点における奥行方向の情報を取得することができるのであれば、このような奥行を考慮してもよい。例えば、情報提供装置１０は、クエリ対応特徴量の特徴点における奥行の情報を、画像対応特徴量の特徴点における奥行の情報へと変換する変換情報を算出してもよい。また、情報提供装置１０は、クエリ対応特徴量の特徴点の位置や特徴量そのものを画像対応特徴量の特徴点の位置や特徴量そのものへと変換する線形変換するための変換情報を算出してもよい。

〔１－８．処理の対象について〕
ここで、上述した例では、情報提供装置１０は、クエリ画像と類似する対象画像の検索を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、文章や音楽等、任意のコンテンツについて、上述した検索処理や判定処理を適用可能である。

例えば、図２は、実施形態に係る情報提供装置が実行する処理の対象の一例を示す図である。なお、図２に示す例では、処理の対象として、文章や音楽を採用する際の処理の一例を記載した。例えば、情報提供装置１０は、検索対象が文章である場合、クエリ文章の中から特徴点としていくつかの単語を選択し、選択した単語の前後に存在する複数の単語を抽出する。そして、情報提供装置１０は、抽出した単語の特徴量を、局所特徴量ＱＦ１～ＱＦ３として算出するとともに、単語の相対的な出現位置（例えば、特徴点として選択した単語から次の単語までの間に存在する単語の数等）を座標、すなわち、特徴点の位置とみなす。例えば、情報提供装置１０は、局所特徴量ＱＦ１の特徴点となる単語から、局所特徴量ＱＦ２の特徴点となる単語までの間の単語数を座標Ｔ１とし、局所特徴量ＱＦ２の特徴点となる単語から、局所特徴量ＱＦ３の特徴点となる単語までの間の単語数を座標Ｔ２とする。

同様に、情報提供装置１０は、対象情報となる文章である対象文章の中から特徴点としていくつかの単語を選択し、選択した単語の前後に存在する複数の単語を抽出する。そして、情報提供装置１０は、抽出した単語の特徴量を、局所特徴量Ｆ１～Ｆ３として算出するとともに、局所特徴量Ｆ１の特徴点となる単語から、局所特徴量Ｆ２の特徴点となる単語までの間の単語数を座標Ｔ３とし、局所特徴量Ｆ２の特徴点となる単語から、局所特徴量Ｆ３の特徴点となる単語までの間の単語数を座標Ｔ４とする。

そして、情報提供装置１０は、特徴量の比較を行う場合、各局所特徴量ＷＦ１～ＱＦ３と、各局所特徴量Ｆ１～Ｆ３の比較を行う。また、情報提供装置１０は、座標の比較を行う場合、座標Ｔ１を座標Ｔ３へと変換するアフィン変換により、座標Ｔ２が座標Ｔ４に一致するか否かを判定してもよい。

なお、情報提供装置１０は、音声の検索を行う場合、特徴点となる再生位置から前後所定の領域に含まれる音声から局所特徴量を算出し、特徴点となる再生位置の座標関係から、座標関係の類似性を判定すればよい。すなわち、情報提供装置１０は、クエリとなるコンテンツの局所的な範囲が有する特徴量と、検索対象となるコンテンツの局所的な範囲が有する特徴量とを比較する。そして、情報提供装置１０は、局所的な範囲の出現位置や再生位置を座標とみなし、コンテンツ内における座標関係を比較する。

なお、情報提供装置１０は、異種間の類似検索を行ってもよい。例えば、情報提供装置１０は、クエリ文章と類似する対象音声の検索を行ってもよく、クエリ音声と類似する対象文章の検索を行ってもよい。すなわち、情報提供装置１０は、局所的な特徴を示す多次元量を局所特徴量として設定することができるコンテンツであれば、任意のコンテンツについて、上述した検索処理を適用してよい。

〔２．情報提供装置の構成〕
以下、上記した検索処理を実現する情報提供装置１０が有する機能構成の一例について説明する。なお、以下の説明では、クエリ画像の局所特徴量の特徴点の位置を変換情報により変換した変換位置と、対象画像の局所特徴量の特徴点の位置との比較結果に基づいて、クエリ画像と対象画像とが類似するか否かを判定する処理の一例について説明するが、実施形態は、これに限定されるものではない。例えば、以下の機能構成においては、クエリ画像を対象画像と読み替え、対象画像をクエリ画像と読み替えてもよい。すなわち、情報提供装置１０は、対象画像の局所特徴量の特徴点の位置を変換情報により変換した変換位置と、クエリ画像の局所特徴量の特徴点の位置との比較結果に基づいて、クエリ画像と対象画像とが類似するか否かを判定してもよい。

図３は、実施形態に係る情報提供装置の構成例を示す図である。図３に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、検索対象データベース３１を記憶する。

検索対象データベース３１には、検索対象となる対象情報が登録されている。例えば、図４は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。図４に示す例では、検索対象データベース３１には、「検索対象ＩＤ（Identifier）」、「検索対象データ」、「特徴量ＩＤ」、「特徴量」、「座標情報」、「半径情報」、および「方向情報」といった情報が登録されている。

ここで、「検索対象ＩＤ」とは、検索対象となる対象情報を識別する識別子である。また、「検索対象データ」とは、対象情報のデータである。また、「特徴量ＩＤ」とは、対象情報から算出される局所特徴量を識別する識別子である。また、「特徴量」とは、局所特徴量である。また、「座標情報」とは、局所特徴量と対応する特徴点の座標である。なお、「座標情報」は、対象情報が音声である場合は、再生位置を示す情報であってもよく、対象情報が文章である場合は、特徴点となる単語の出現位置であってもよい。また、「半径情報」とは、局所特徴量を算出する際に用いた領域が特徴点を中心としてどれくらいの範囲であるかを示す。また、「方向情報」とは、局所特徴量を算出する際に用いた領域の方向である。

例えば、図４に示す例では、検索対象データベース３１には、検索対象ＩＤ「Ｔ１」、検索対象データ「ＴＤ＃１」、特徴量ＩＤ「Ｐ１」、特徴量「ＦＰ１」、座標情報「ＰＣ１」、半径情報「ＰＲ１」、および方向情報「ＰＤ１」が対応付けて登録されている。このような情報は、検索対象ＩＤ「Ｔ１」が示す検索対象Ｔ１のデータが「ＴＤ＃１」である旨を示す。また、このような情報は、検索対象Ｔ１が、局所特徴量として、特徴量ＩＤ「Ｐ１」で示される局所特徴量を有する旨を示す。また、このような情報は、特徴量ＩＤ「Ｐ１」で示される局所特徴量の値が特徴量「ＦＰ１」であり、座標情報「ＰＣ１」が示す位置を中心として、半径情報「ＰＲ１」が示す円形の範囲内のうち、方向情報「ＰＤ１」が示す方向の情報（例えば、画素）に基づいて算出された特徴量である旨を示す。

なお、図４に示した各種の値は、概念的なものであり、実際には、検索対象データベース３１には、各特徴量や座標等を示す数値が登録されるものとする。また、検索対象データベース３１には、図４に示す情報以外にも、検索対象に関する任意の情報が登録されていてよい。

図３に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。図３に示すように、制御部４０は、特定部４１、推定部４２、抽出部４３、判定部４４、および提供部４５を有する。

特定部４１は、部分特徴量照合処理を実行する。例えば、特定部４１は、複数の対象画像が有する局所特徴量のうち、クエリ画像が有する局所特徴量と最も類似する局所特徴量を、クエリ画像の局所特徴量と対応する画像対応特徴量として特定する。例えば、特定部４１は、クエリ画像を受付けると、クエリ画像から局所特徴量の抽出を行う。そして、特定部４１は、抽出したクエリ画像の局所特徴量ごとに、検索対象データベース３１に登録された局所特徴量のうちクエリ画像の局所特徴量との類似度が最も高い局所特徴量を画像対応特徴量として特定する。

続いて、特定部４１は、検索対象データベース３１に登録された対象画像ごとに、画像対応特徴量の数を計数し、計数した画像対応特徴量の数が多い方から順に所定の数の対象画像を選択する。なお、特定部４１は、画像対応特徴量の数が所定の閾値以上となる対象画像を選択してもよい。そして、特定部４１は、選択した対象画像を候補画像として推定部４２に通知する。

推定部４２は、クエリ画像が有する複数の局所特徴量のうち対象画像が有する複数の局所特徴量のいずれかに類似する局所特徴量、すなわち、クエリ対応特徴量の特徴点の位置を、第２特徴量のうちクエリ対応特徴量に類似する局所特徴量、すなわち、画像対応特徴量の特徴点の位置へと変換する変換情報と、変換情報の確度とを対象画像ごとに推定する。

例えば、推定部４２は、特定部４１から候補画像の通知を受付ける。このような場合、推定部４２は、候補画像ごとに変換情報と確度との推定を行う。例えば、推定部４２は、処理対象となる候補画像を１つ選択し、選択した候補画像に含まれる画像対応特徴量を特定する。また、推定部４２は、クエリ画像の局所特徴量のうち、処理対象となる候補画像の画像対応特徴量と対応するクエリ対応特徴量を特定する。そして、推定部４２は、特定したクエリ対応特徴量の特徴点の位置を、特定した画像対応特徴量の特徴点の位置へと変換する変換情報を推定する。

例えば、推定部４２は、クエリ対応特徴量とそのクエリ対応特徴量に対応する画像対応特徴量へとアフィン変換するためのパラメータをそれぞれ算出し、算出したパラメータの平均値を変換情報として採用してもよい。また、推定部４２は、変換情報で各クエリ対応特徴量の特徴点の位置を変換した変換位置と、各画像対応特徴量の特徴点の位置との一致度の平均値を、変換情報の確度として採用してもよく、対応特徴量ごとのパラメータのバラつきに基づく確度を算出してもよい。

抽出部４３は、推定された確度が所定の条件を満たす候補画像を処理対象となる対象画像として抽出する。例えば、抽出部４３は、推定された変換情報の確度が高い方から順に候補画像順位づけし、確度の減少率が所定の閾値を超える順位を特定する。そして、抽出部４３は、特定した順位よりも上位の候補画像を処理対象となる対応画像として抽出する。

判定部４４は、クエリ画像の局所特徴量の特徴点の位置を変換情報により変換した変換位置と、対象画像の局所特徴量の特徴点の位置との比較結果に基づいて、クエリ画像と対象画像とが類似するか否かを判定する。また、判定部４４は、複数の対象画像のうち、確度が所定の条件を満たす対象画像ごとに、変換位置と、その対象画像に含まれる局所特徴量の特徴点の位置との比較結果に基づいて、クエリ画像とその対象画像とが類似するか否かを判定する。例えば、判定部４４は、抽出部４３から処理対象となる対応画像の通知を受付ける。このような場合、判定部４４は、通知された対応画像ごとに以下の処理を実行する。

まず、判定部４４は、クエリ画像の局所特徴量のうち、処理対象となる対応画像の画像対応特徴量に対応するクエリ対応特徴量を特定する。続いて、判定部４４は、クエリ画像からクエリ対応特徴量を含む特定領域を特定し、特定領域内に含まれる局所特徴量を特定する。そして、判定部４４は、特定した局所特徴量の特徴点の位置を変換情報で変換した変換位置を算出する。

続いて、判定部４４は、各変換位置と対応画像に含まれる各局所特徴量の特徴点の位置とを比較し、各変換位置から所定の範囲内に、対応画像に含まれるいずれかの特徴点が所在するか否かを判定する。そして、判定部４４は、クエリ画像の局所特徴量のうち、変換位置から所定の範囲内に、対応画像のいずれかの特徴点が所在する局所特徴量を対象所在特徴量とする。

ここで、判定部４４は、クエリ画像から抽出されたある局所特徴量について、変換位置から所定の範囲内に特徴点が存在し、かつ、その特徴点と対応する局所特徴量と、クエリ画像の局所特徴量とが類似する場合に、その局所特徴量が対象所在特徴量であると判定してもよい。また、判定部４４は、クエリ画像から抽出されたある局所特徴量について、変換位置から所定の範囲内に特徴点が存在し、かつ、その特徴点と対応する局所特徴量を算出する際に用いられた範囲の広さと、クエリ画像の局所特徴量を算出する際の範囲の広さを変換情報で変換した範囲の広さとが類似する場合に、その局所特徴量が対象所在特徴量であると判定してもよい。

そして、判定部４４は、対象所在特徴量の数が所定の条件を満たす場合は、クエリ画像と処理対象となる対象画像とが類似すると判定する。例えば、判定部４４は、対象所在特徴量の数が所定の閾値を超えた場合に、クエリ画像と対象画像とが類似すると判定してもよい。また、判定部４４は、クエリ画像の局所特徴量のうち対象所在特徴量の割合が所定の閾値を超える場合は、クエリ画像と対象画像とが類似すると判定してもよい。例えば、判定部４４は、クエリ対応特徴量を含む特定領域内の局所特徴量のうち対象所在特徴量となる局所特徴量の割合が所定の閾値を超えた場合に、クエリ画像と対象画像とが類似すると判定してもよい。

なお、判定部４４は、クエリ画像に含まれる全ての局所特徴量について、変換位置と対象画像の局所特徴量の特徴点の位置とを比較し、比較結果に基づいて、対象所在特徴量であるか否かを判定してもよい。そして、判定部４４は、クエリ画像に含まれる全ての局所特徴量のうち、対象所在特徴量となる局所特徴量の割合に基づいて、クエリ画像と対象画像とが類似すると判定してもよい。また、判定部４４は、クエリ画像から所定の条件に基づいて抽出される任意の領域について、同様の処理を実行してもよい。すなわち、判定部４４は、クエリ画像の局所特徴量のうち、少なくとも一部の局所特徴量について、変換位置が対象画像の局所特徴量の特徴点と類似するか否かを判定すればよい。

また、判定部４４は、対象画像の局所特徴量のうち特徴点の位置がいずれかの変換位置と類似する局所特徴量の割合が所定の閾値を超える場合は、クエリ画像と対象画像とが類似すると判定してもよい。すなわち、判定部４４は、対象所在特徴量の数ではなく、対象画像における対応所在特徴量の数に基づいて、クエリ画像と対象画像とが類似するか否かを判定してもよい。例えば、判定部４４は、対象画像における局所特徴量のうち対応所在特徴量の数の割合が所定の閾値を超える場合に、クエリ画像と対象画像とが類似すると判定してもよい。

また、判定部４４は、クエリ画像における対象所在特徴量の割合と、対象画像における対応所在特徴量の割合とが所定の条件を満たした場合に、クエリ画像と対象画像とが類似すると判定してもよい。例えば、判定部４４は、クエリ画像における対象所在特徴量の割合と、対象画像における対応所在特徴量の割合との差が所定の範囲内に収まり、かつ、各割合が所定の閾値を超える場合は、クエリ画像と対象画像とが類似すると判定してもよい。

また、判定部４４は、クエリ画像における局所特徴量の数と、対象画像における局所特徴量の数との差が所定の範囲内に収まる場合にのみ、クエリ画像と対象画像とが類似すると判定してもよい。例えば、判定部４４は、クエリ画像のうちクエリ対応特徴量を含む特定領域を特定するとともに、対象画像のうち特定領域を変換情報で変換した変換領域を特定する。そして、判定部４４は、クエリ画像の局所特徴量のうち特定領域内の局所特徴量の数と、対象画像の局所特徴量のうち変換領域内の局所特徴量の数との差が所定の範囲内に収まる場合にのみ、クエリ画像と対象画像とが類似すると判定してもよい。

また、判定部４４は、クエリ画像が有する局所特徴量ごとに、その局所特徴量の特徴点の位置を変換情報により変換した変換位置と対象画像の局所特徴量の特徴点の位置とが類似するか否かを判定する。そして、判定部４４は、クエリ画像が有する局所特徴量のうち変換位置が対象画像の局所特徴量の特徴点の位置に類似すると判定された局所特徴量の割合が所定の閾値を下回った場合は、変換位置の比較を行っていない局所特徴量が存在していても、クエリ画像と対象画像とが類似しないと判定してもよい。

例えば、判定部４４は、クエリ画像が有する局所特徴量を１つづつ選択し、選択を行う度に、選択した局所特徴量が対象所在特徴量であるか否かを判定する。そして、判定部４４は、それまでに対象所在特徴量であると判定した局所特徴量の数を、それまでに選択した局所特徴量の数で除算した割合、すなわち、第１割合を算出する。そして、判定部４４は、所定の数の局所特徴量を選択した際に、第１割合の値が所定の閾値を下回り続けた場合は、選択していない局所特徴量が存在していたとしても、クエリ画像と対象画像とが類似しないと判定してもよい。

提供部４５は、クエリ画像と類似すると判定された対象画像の情報を利用者に提供する。例えば、提供部４５は、判定部４４によってクエリ画像と類似すると判定された対象画像を示す情報を、類似度に応じたランキング形式で並べた検索結果を生成し、生成した検索結果を端末装置１００に提供する。

〔３．情報提供装置が実行する処理の流れの一例〕
続いて、図５を用いて、情報提供装置１０が実行する処理の流れの一例を説明する。図５は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。

例えば、情報提供装置１０は、クエリ画像を受付ける（ステップＳ１０１）。このような場合、情報提供装置１０は、クエリ画像の局所特徴量を算出する（ステップＳ１０２）。そして、情報提供装置１０は、クエリ画像の局所特徴量ごとに、各対象画像の局所特徴量のうち、クエリ画像の局所特徴量と最も類似する局所特徴量を対応特徴量として特定する（ステップＳ１０３）。

続いて、情報提供装置１０は、対応特徴量の位置関係に基づいて、変換情報を推定する（ステップＳ１０４）。そして、情報提供装置１０は、クエリ画像の局所特徴量の位置を変換情報で変換した位置に、変換画像の局所特徴量が所在する割合を算出する（ステップＳ１０５）。続いて、情報提供装置１０は、算出した割合に基づいて、クエリ画像と類似する対象画像を検索し（ステップＳ１０６）、処理を終了する。

〔４．変形例〕
上記では、情報提供装置１０による処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索処理や判定処理のバリエーションについて説明する。

〔４－１．特徴量の比較について〕
上述した例では、情報提供装置１０は、クエリ画像の局所特徴量と、対象画像のクエリ特徴量とを比較した。ここで、情報提供装置１０は、任意の情報が有する特徴量を局所特徴量としてもよい。例えば、情報提供装置１０は、検索対象が画像である場合、特徴点の周囲の画素の彩度や明度の平均値等を特徴量としてもよく、検索対象が音声である場合、特徴点の周囲数秒の周囲の周波数特性を特徴量としてもよい。また、上述した処理以外にも、情報提供装置１０は、任意の特徴量比較技術を併用してもよい。

〔４－２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔４－３．プログラム〕
また、上述した実施形態に係る情報提供装置１０および端末装置１００は、例えば図６に示すような構成のコンピュータ１０００によって実現される。図６は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔５．効果〕
上述したように、情報提供装置１０は、第１情報（例えば、クエリ情報）が有する複数の第１特徴量（例えば、クエリ情報の局所特徴量）のうち第２情報（例えば、対象画像）が有する複数の第２特徴量（例えば、対象画像の局所特徴量）のいずれかに類似する第１類似特徴量（例えば、クエリ対応特徴量）の特徴点の位置を、第２特徴量のうち第１類似特徴量に類似する第２類似特徴量（例えば、画像対応特徴量）の特徴点の位置へと変換する変換情報を推定する。そして、情報提供装置１０は、第１特徴量の特徴点の位置を変換情報により変換した変換位置と、第２特徴量の特徴点の位置との比較結果に基づいて、第１情報と第２情報とが類似するか否かを判定する。このような処理を実行する結果、情報提供装置１０は、処理負荷の上昇を抑えつつ、類似検索の精度を向上させることができる。

また、情報提供装置１０は、変換位置が第２特徴量の特徴点の位置と類似する第１特徴量の数が所定の条件を満たす場合は、第１情報と第２情報とが類似すると判定する。例えば、情報提供装置１０は、変換位置から所定の範囲内にいずれかの第２特徴量が含まれる第１特徴量の数が所定の条件を満たす場合は、第１情報と第２情報とが類似すると判定する。また、情報提供装置１０は、変換位置が第２特徴量の特徴点の位置と類似する第１特徴量の数が所定の閾値を超える場合は、第１情報と第２情報とが類似すると判定する。

また、情報提供装置１０は、第１特徴量のうち変換位置が第２特徴量の特徴点の位置と類似する第１特徴量の割合が所定の閾値を超える場合は、第１情報と第２情報とが類似すると判定する。また、情報提供装置１０は、第２特徴量のうち特徴点の位置が第１特徴量の変換位置と類似する第２特徴量の割合が所定の閾値を超える場合は、第１情報と第２情報とが類似すると判定する。このため、情報提供装置１０は、同じ特徴を有する被写体が含まれる画像を精度良く特定することができる。

また、情報提供装置１０は、第１特徴量のうち変換位置が第２特徴量の特徴点の位置と類似する第１特徴量の割合と、第２特徴量のうち特徴点の位置が第１特徴量の変換位置と類似する第２特徴量の割合との比較結果に基づいて、第１情報と第２情報とが類似するか否かを判定する。このような処理の結果、情報提供装置１０は、偶然同じ特徴を有しているが、撮影対象が異なる画像を類似対象から除外することができる。

また、情報提供装置１０は、第１情報が有する複数の第１特徴量のうち一部の第１特徴量の特徴点の位置の変換位置と、第２特徴量の特徴点の位置との変換結果に基づいて、第１情報と第２情報とが類似するか否かを判定する。このため、情報提供装置１０は、処理負荷の上昇を抑えることができる。

また、情報提供装置１０は、複数の第２情報が有する第２特徴量のうち、第１情報が有する第１特徴量と最も類似する特徴量を、その第１特徴量と対応する第２類似特徴量（例えば、画像対応特徴量）として特定する。また、情報提供装置１０は、第１情報が有する第１特徴量のうち処理対象となる第２情報に含まれる第２類似特徴量と対応する第１特徴量である第１類似特徴量（例えば、クエリ対応特徴量）の特徴点の位置を、その処理対象となる第２情報に含まれる第２類似特徴量の特徴点の位置へと変換する変換情報を、第２情報ごとに推定する。そして、情報提供装置１０は、第１類似特徴量の特徴点の位置を変換情報で変換した変換位置と、第２類似特徴量の特徴点の位置との比較結果に基づいて、第１情報と第２情報とが類似するか否かを、第２情報ごとに判定する。このため、情報提供装置１０は、部分特徴量照合処理の結果を用いて、類似検索の精度を向上させることができる。

また、情報提供装置１０は、第１情報から第１類似特徴量を含む領域を特定し、特定した領域内に含まれる第１特徴量の特徴点の位置を変換情報で変換した変換位置と、第２特徴量の特徴点の位置との比較結果に基づいて、第１情報と第２情報とが類似するか否かを、第２情報ごとに判定する。このため、情報提供装置１０は、各情報が有する特徴的な部分であって、特徴が類似する部分の比較結果に基づき、情報が類似するか否かを判定することができる。

また、情報提供装置１０は、第１情報が有する第１特徴量ごとに、その第１特徴量の特徴点の位置を変換情報により変換した変換位置と第２特徴量の特徴点の位置とが類似するか否かを判定し、第１情報が有する第１特徴量のうち変換位置が第２特徴量の特徴点の位置に類似すると判定された第１特徴量の割合が所定の閾値を下回った場合は、変換位置を第２特徴量の特徴点の位置と比較していない第１特徴量が存在していても、第１情報と第２情報とが類似しないと判定する。このため、情報提供装置１０は、処理負荷をさらに低下させることができる。

また、情報提供装置１０は、さらに、第１情報のうち第１特徴量の算出に用いられた範囲を変換情報で変換した範囲の広さと、第２情報のうち第２特徴量の算出に用いられた範囲の広さとの比較結果に基づいて、第１情報と第２情報とが類似するか否かを判定する。また、情報提供装置１０は、第１特徴量と第２特徴量との比較結果に基づいて、第１情報と第２情報とが類似するか否かを判定する。このため、情報提供装置１０は、各情報が類似するか否かの判定精度をさらに向上させることができる。

また、情報提供装置１０は、第１類似特徴量の特徴点の位置を第２類似特徴量の特徴点の位置へと変換するアフィン変換のパラメータを変換情報として推定する。また、情報提供装置１０は、変換情報と、その変換情報が正しい確度とを第２情報ごとに推定する。そして、情報提供装置１０は、複数の第２情報のうち、確度が所定の条件を満たす第２情報を特定し、特定した第２情報ごとに、変換位置と、その第２情報に含まれる第２特徴量の特徴点の位置との比較結果に基づいて、第１情報とその第２情報とが類似するか否かを判定する。このため、情報提供装置１０は、比較対象とする情報をあらかじめ削減することができるので、処理負荷をさらに低下させることができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、推定部は、推定手段や推定回路に読み替えることができる。

１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 検索対象データベース
４０ 制御部
４１ 特定部
４２ 推定部
４３ 抽出部
４４ 判定部
４５ 提供部
１００ 端末装置

Claims (15)

1. 第１情報が有する複数の第１特徴量のうち第２情報が有する複数の第２特徴量のいずれかに類似する第１類似特徴量の特徴点の位置を、前記第２特徴量のうち前記第１類似特徴量に類似する第２類似特徴量の特徴点の位置へと変換する変換情報を、第２情報ごとに推定する推定部と、
   前記第１特徴量の特徴点の位置を前記変換情報により変換した変換位置と、前記第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを判定する判定部と
   を有し、
   前記推定部は、前記変換情報と、当該変換情報が正しい確度とを第２情報ごとに推定し
   前記判定部は、複数の第２情報のうち、前記確度が所定の条件を満たす第２情報を特定し、特定した第２情報ごとに、前記変換位置と、当該第２情報に含まれる第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と当該第２情報とが類似するか否かを判定する
   ことを特徴とする判定装置。
2. 前記判定部は、前記変換位置が前記第２特徴量の特徴点の位置と類似する第１特徴量の数が所定の条件を満たす場合は、前記第１情報と前記第２情報とが類似すると判定する
   ことを特徴とする請求項１に記載の判定装置。
3. 前記判定部は、前記変換位置から所定の範囲内にいずれかの前記第２特徴量が含まれる第１特徴量の数が所定の条件を満たす場合は、前記第１情報と前記第２情報とが類似すると判定する
   ことを特徴とする請求項２に記載の判定装置。
4. 前記判定部は、前記変換位置が前記第２特徴量の特徴点の位置と類似する第１特徴量の数が所定の閾値を超える場合は、前記第１情報と前記第２情報とが類似すると判定する
   ことを特徴とする請求項１～３のうちいずれか１つに記載の判定装置。
5. 前記判定部は、前記第１特徴量のうち前記変換位置が前記第２特徴量の特徴点の位置と類似する第１特徴量の割合が所定の閾値を超える場合は、前記第１情報と前記第２情報とが類似すると判定する
   ことを特徴とする請求項１～４のうちいずれか１つに記載の判定装置。
6. 前記判定部は、前記第２特徴量のうち特徴点の位置が前記第１特徴量の変換位置と類似する第２特徴量の割合が所定の閾値を超える場合は、前記第１情報と前記第２情報とが類似すると判定する
   ことを特徴とする請求項１～５のうちいずれか１つに記載の判定装置。
7. 前記判定部は、前記第１特徴量のうち前記変換位置が前記第２特徴量の特徴点の位置と類似する第１特徴量の割合と、前記第２特徴量のうち特徴点の位置が前記第１特徴量の変換位置と類似する第２特徴量の割合との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを判定する
   ことを特徴とする請求項１～６のうちいずれか１つに記載の判定装置。
8. 前記判定部は、前記第１情報が有する複数の第１特徴量のうち一部の第１特徴量の特徴点の位置の変換位置と、前記第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを判定する
   ことを特徴とする請求項１～７のうちいずれか１つに記載の判定装置。
9. 複数の第２情報が有する第２特徴量のうち、前記第１情報が有する第１特徴量と最も類似する特徴量を、当該第１特徴量と対応する第２類似特徴量として特定する特定部
   を有し、
   前記推定部は、前記第１情報が有する第１特徴量のうち、第２情報ごとに計数された第２類似特徴量の数に基づいて選択された、処理対象となる第２情報に含まれる第２類似特徴量と対応する第１特徴量である第１類似特徴量の特徴点の位置を、当該処理対象となる第２情報に含まれる第２類似特徴量の特徴点の位置へと変換する変換情報を、前記第２情報ごとに推定し、
   前記判定部は、前記第１類似特徴量を含む領域内に含まれる第１特徴量の特徴点の位置を前記変換情報で変換した変換位置と、前記第２類似特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを、前記第２情報ごとに判定する
   ことを特徴とする請求項１～８のうちいずれか１つに記載の判定装置。
10. 前記判定部は、前記第１情報から前記第１類似特徴量を含む領域を特定し、特定した領域内に含まれる第１特徴量の特徴点の位置を前記変換情報で変換した変換位置と、前記第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを、前記第２情報ごとに判定する
    ことを特徴とする請求項９に記載の判定装置。
11. 前記判定部は、さらに、前記第１情報のうち前記第１特徴量の算出に用いられた範囲を前記変換情報で変換した範囲の広さと、前記第２情報のうち前記第２特徴量の算出に用いられた範囲の広さとの比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを判定する
    ことを特徴とする請求項１～１０のうちいずれか１つに記載の判定装置。
12. 前記判定部は、前記第１特徴量と前記第２特徴量との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを判定する
    ことを特徴とする請求項１～１１のうちいずれか１つに記載の判定装置。
13. 前記推定部は、前記第１類似特徴量の特徴点の位置を前記第２類似特徴量の特徴点の位置へと変換するアフィン変換のパラメータを前記変換情報として推定する
    ことを特徴とする請求項１～１２のうちいずれか１つに記載の判定装置。
14. 判定装置が実行する判定方法であって、
    第１情報が有する複数の第１特徴量のうち第２情報が有する複数の第２特徴量のいずれかに類似する第１類似特徴量の特徴点の位置を、前記第２特徴量のうち前記第１類似特徴量に類似する第２類似特徴量の特徴点の位置へと変換する変換情報を、第２情報ごとに推定する推定工程と、
    前記第１特徴量の特徴点の位置を前記変換情報により変換した変換位置と、前記第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを判定する判定工程と
    を含み、
    前記推定工程は、前記変換情報と、当該変換情報が正しい確度とを第２情報ごとに推定し
    前記判定工程は、複数の第２情報のうち、前記確度が所定の条件を満たす第２情報を特定し、特定した第２情報ごとに、前記変換位置と、当該第２情報に含まれる第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と当該第２情報とが類似するか否かを判定する
    ことを特徴とする判定方法。
15. 第１情報が有する複数の第１特徴量のうち第２情報が有する複数の第２特徴量のいずれかに類似する第１類似特徴量の特徴点の位置を、前記第２特徴量のうち前記第１類似特徴量に類似する第２類似特徴量の特徴点の位置へと変換する変換情報を、第２情報ごとに推定する推定手順と、
    前記第１特徴量の特徴点の位置を前記変換情報により変換した変換位置と、前記第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と前記第２情報とが類似するか否かを判定する判定手順と
    をコンピュータに実行させ、
    前記推定手順は、前記変換情報と、当該変換情報が正しい確度とを第２情報ごとに推定し
    前記判定手順は、複数の第２情報のうち、前記確度が所定の条件を満たす第２情報を特定し、特定した第２情報ごとに、前記変換位置と、当該第２情報に含まれる第２特徴量の特徴点の位置との比較結果に基づいて、前記第１情報と当該第２情報とが類似するか否かを判定する
    ことを特徴とする判定プログラム。

Images