JP6244887B2 - 情報処理装置、画像探索方法、及びプログラム - Google Patents

情報処理装置、画像探索方法、及びプログラム Download PDF

Info

Publication number
JP6244887B2
JP6244887B2 JP2013263159A JP2013263159A JP6244887B2 JP 6244887 B2 JP6244887 B2 JP 6244887B2 JP 2013263159 A JP2013263159 A JP 2013263159A JP 2013263159 A JP2013263159 A JP 2013263159A JP 6244887 B2 JP6244887 B2 JP 6244887B2
Authority
JP
Japan
Prior art keywords
feature
reference image
image
unit
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013263159A
Other languages
English (en)
Other versions
JP2015118644A (ja
Inventor
昌彦 杉村
昌彦 杉村
松田　裕司
裕司 松田
正樹 石原
正樹 石原
遠藤　進
進 遠藤
馬場　孝之
孝之 馬場
上原　祐介
祐介 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013263159A priority Critical patent/JP6244887B2/ja
Publication of JP2015118644A publication Critical patent/JP2015118644A/ja
Application granted granted Critical
Publication of JP6244887B2 publication Critical patent/JP6244887B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、画像探索方法、及びプログラムに関する。
様々な分野で画像のマッチング技術が広く利用されるようになってきた。例えば、顔認証や生体認証の分野では、可視光カメラや赤外線カメラで撮像した画像とテンプレート画像とをマッチングする技術が利用されている。より一般的な用途では、カメラ付き携帯端末やデジタルスチルカメラで撮像した画像とランドマークの画像とをマッチングする技術が利用されている。画像間のマッチングは、例えば、マッチングの対象となる入力画像及び参照画像から特徴点を抽出し、抽出した特徴点の特徴量を比較することで行われる。
例えば、入力画像から抽出された特徴点における特徴量（局所特徴量）と、参照画像から抽出した特徴点の局所特徴量とを比較して、入力画像の特徴点に対応する参照画像の特徴点（対応点）を探索する手法がある。対応点の探索手法には、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）などの特徴量が利用される。ＳＩＦＴやＳＵＲＦを利用して検出された対応点のリストは、例えば、画像間のマッチングや画像の重畳表示などに利用される。
ＳＩＦＴやＳＵＲＦを利用すれば高精度の対応点検出ができる。但し、局所特徴量のデ−タサイズが大きいため、探索時の計算負荷が高い。一方、ＢＲＩＥＦは、少ない計算量で高速に抽出可能な局所特徴量である。そのため、計算能力の低い携帯端末などであっても画像から高速にＢＲＩＥＦを抽出することができる。
また、特徴点周辺の注目度に基づいて特徴点に重み付けを行い、重み付き類似度により画像間の類似性を判定する技術が提案されている。この提案の中では、重要度に基づくインデックスと類似度に基づくインデックスとを用いてインデックス検索を段階的に行うことにより処理を高速化する手法が用いられている。
David G.Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, 60, 2 (2004), pp.91-110 H.Bay,T.Tuytelaars, and L.V.Gool, "SURF:Speed Up Robust Features", Proc. of Int. Conf. of ECCV, 2006 M. Calonder, V. Lepetit, C. Strecha, and P. Fua., "BRIEF: Binary Robust Independent Elementary Features.", In Proceedings of the European Conference on Computer Vision (ECCV), 2010 木村 昭悟、川西 隆仁、大塚 和弘、柏野 邦夫、「重み付き特徴点照合に基づく高速画像検索」、電子情報通信学会技術研究報告（データ工学 105(116), 7-12, 2005-06-09）
上記のように、ＢＲＩＥＦは高速に抽出可能な局所特徴量である。但し、ＢＲＩＥＦを用いても、入力画像及び参照画像が有する特徴点の数が多ければ、対応点の探索にかかる処理負荷は大きくなる。ＳＩＦＴやＳＵＲＦなどの特徴量を用いる場合も同様である。例えば、入力画像の解像度が高い場合（画素数が多い場合）、縦方向及び横方向に予め設定した画素間隔で特徴点を配置すると特徴点の数が多くなり、対応点の探索にかかる処理負荷も大きくなる。入力画像の解像度にかかわらず、対応点の探索にかかる処理負荷を低減できれば、処理能力の低い装置にマッチング機能を搭載することなどが容易になる。
そこで、１つの側面によれば、本発明の目的は、画像の探索にかかる処理負荷を低減することが可能な情報処理装置、画像探索方法、及びプログラムを提供することにある。
本開示の１つの側面によれば、参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部と、参照画像の一部に含まれる特徴領域の特徴に基づいて対象画像に含まれる参照画像の位置を特定し、特定した位置を基準に対象画像の全体よりも狭い探索範囲を設定し、設定した探索範囲を対象に参照画像の全体に含まれる特徴領域の特徴に基づいて参照画像の有無を判断する演算部と、を有する、情報処理装置が提供される。
また、本開示の他の１つの側面によれば、参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、特徴を取得可能なコンピュータが、参照画像の一部に含まれる特徴領域の特徴に基づいて対象画像に含まれる参照画像の位置を特定し、特定した位置を基準に対象画像の全体よりも狭い探索範囲を設定し、設定した探索範囲を対象に参照画像の全体に含まれる特徴領域の特徴に基づいて参照画像の有無を判断する画像探索方法が提供される。
また、本開示の他の１つの側面によれば、参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、特徴を取得可能なコンピュータに、参照画像の一部に含まれる特徴領域の特徴に基づいて対象画像に含まれる参照画像の位置を特定し、特定した位置を基準に対象画像の全体よりも狭い探索範囲を設定し、設定した探索範囲を対象に参照画像の全体に含まれる特徴領域の特徴に基づいて参照画像の有無を判断する処理を実行させるプログラムが提供される。
また、本開示の他の１つの側面によれば、参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部と、参照画像に含まれる特徴領域毎に当該参照画像に含まれる他の特徴領域との間で特徴の類似度を計算し、複数の特徴領域のそれぞれについて特徴領域毎に計算した類似度の最大値が小さい順に、設定した数の特徴領域を記憶部に記憶させる演算部と、を有する、情報処理装置が提供される。
以上説明したように本発明によれば、画像の探索にかかる処理負荷を低減することが可能になる。
第１実施形態に係る情報処理装置の一例を示した図である。 第２実施形態に係るシステムの一例を示した図である。 第２実施形態に係る端末装置が有する機能を実現することが可能なハードウェアの一例を示した図である。 第２実施形態に係る端末装置が有する機能の一例を示したブロック図である。 第２実施形態に係る局所特徴点情報の一例を示した図である。 第２実施形態に係る大域特徴点及び局所領域の設定について説明するための図である。 第２実施形態に係る局所特徴量の計算について説明するための図である。 第２実施形態に係るサーバ装置が有する機能の一例を示したブロック図である。 第２実施形態に係る参照画像情報（参照画像管理テーブル）の一例を示した図である。 第２実施形態に係る参照画像情報（画像特徴量管理テーブル）の一例を示した図である。 第２実施形態に係る参照画像の局所特徴量について説明するための図である。 第２実施形態に係る最小距離の計算方法について説明するための第１の図である。 第２実施形態に係る最小距離の計算方法について説明するための第２の図である。 第２実施形態に係る画像特徴量管理テーブルのソート方法について説明するための図である。 第２実施形態に係る参照画像情報（優先特徴点管理テーブル）の一例を示した図である。 第２実施形態に係る対応特徴点の検出方法（範囲設定時）について説明するための図である。 第２実施形態に係る投票の方法について説明するための図である。 第２実施形態に係る対応特徴点の検出方法（位置探索時）について説明するための図である。 第２実施形態に係る端末装置の動作について説明するためのフロー図である。 第２実施形態に係る局所特徴量の計算処理について説明するためのフロー図である。 第２実施形態に係るサーバ装置の動作について説明するためのフロー図である。 第２実施形態に係る探索範囲の設定処理について説明するためのフロー図である。 第２実施形態に係る参照画像の位置探索処理について説明するためのフロー図である。 第２実施形態に係る優先特徴点の設定処理について説明するためのフロー図である。 第２実施形態の一変形例に係る情報処理装置の機能について説明するためのブロック図である。
以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
＜１．第１実施形態＞
図１を参照しながら、第１実施形態について説明する。図１は、第１実施形態に係る情報処理装置の一例を示した図である。なお、図１に示した情報処理装置１０は、第１実施形態に係る情報処理装置の一例である。
図１に示すように、情報処理装置１０は、記憶部１１及び演算部１２を有する。
なお、記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置、或いは、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置である。演算部１２は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサである。但し、演算部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路であってもよい。演算部１２は、例えば、記憶部１１又は他のメモリに記憶されたプログラムを実行する。
記憶部１１は、参照画像Ｐｒに設定された複数の特徴領域Ａ1、…、ＡNがそれぞれ有する特徴を記憶する。図１の例では、参照画像Ｐｒ内にあるハッチングを付した複数のブロックが特徴領域Ａ1、…、ＡNである。特徴領域Ａ1、…、ＡNは、例えば、設定された条件に基づいて参照画像Ｐｒ内に配置された複数の特徴点をそれぞれ囲むように配置され、予め設定されたサイズを有する矩形領域である。設定された条件としては、例えば、複数の特徴点を等間隔に配置する条件や、参照画像Ｐｒのエッジ部分に特徴点を配置する条件などが適用可能である。
演算部１２は、参照画像Ｐｒの一部に含まれる特徴領域Ａ1、…、Ａmの特徴に基づいて対象画像Ｐｏに含まれる参照画像Ｐｒの位置を特定する（Ｓ１）。参照画像Ｐｒの一部とは、参照画像Ｐｒの全画素数よりも少ない数の画素を含む任意の一部領域である。従って、特徴領域Ａ1、…、Ａmの数ｍは、参照画像Ｐｒの全体に含まれる特徴領域Ａ1、…、ＡNの数Ｎよりも小さい（ｍ＜Ｎ）。参照画像Ｐｒの一部を選択する方法としては、例えば、参照画像Ｐｒの上側１／２、上側１／４、下側１／２、下側１／４を選択する方法などが考えられる。また、その他の選択方法を採用することも可能である。
参照画像Ｐｒの位置を特定する方法としては、例えば、対象画像Ｐｏに含まれる特徴領域の特徴と、参照画像Ｐｒの一部に含まれる特徴領域Ａ1、…、Ａmの特徴との類似性を評価し、その評価結果に基づいて参照画像Ｐｒの位置を特定する方法が考えられる。このとき、例えば、ＢＲＩＥＦ、ＳＩＦＴ、ＳＵＲＦ、ＣＡＲＤ（Compact And Realtime Descriptors）、ＦＲＥＡＫ（Fast Retina Keypoint）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）などの特徴を利用した評価方法の適用が可能である。
また、演算部１２は、特定した位置を基準に対象画像Ｐｏの全体よりも狭い探索範囲Ａｓを設定する（Ｓ２）。例えば、演算部１２は、特定した位置に配置された参照画像Ｐｒが対象画像Ｐｏに占める範囲を基準に、その範囲を上下左右に拡大した範囲を探索範囲Ａｓに設定する。拡大の度合いは、例えば、予め設定された拡大率（１０％など）や拡大幅（４８画素など）に基づいて決定される。
探索範囲Ａｓを設定した演算部１２は、設定した探索範囲Ａｓを対象に参照画像Ｐｒの全体に含まれる特徴領域Ａ1、…、ＡNの特徴に基づいて参照画像Ｐｒを探索し、参照画像Ｐｒの有無を判断する（Ｓ３）。なお、演算部１２は、特徴領域Ａm+1、…、ＡNの特徴に基づいて参照画像Ｐｒを探索してもよい。また、演算部１２は、参照画像Ｐｒの位置を特定する際に得た特徴領域Ａ1、…、Ａmに関する評価結果を利用してもよい。
上記のように、情報処理装置１０は、一部の特徴領域Ａ1、…、Ａmを用いて位置の特定（Ｓ１）を実行し、探索範囲Ａｓを絞り込んだ上で探索処理（Ｓ３）を実行する。そのため、探索範囲Ａｓの絞り込みを行わずに、特徴領域Ａ1、…、ＡNの全てと、対象画像Ｐｏの全特徴領域とを対象に類似性の評価を行う場合に比べて類似度計算の回数を低減することが可能になり、参照画像Ｐｒの探索にかかる処理負荷が低減される。
以上、第１実施形態について説明した。
＜２．第２実施形態＞
次に、第２実施形態について説明する。
［２−１．システム］
図２を参照しながら、第２実施形態に係るシステムについて説明する。図２は、第２実施形態に係るシステムの一例を示した図である。
図２に示すように、第２実施形態に係るシステムは、端末装置１００及びサーバ装置２００を含む。なお、携帯電話、スマートフォン、デジタルカメラ、パーソナルコンピュータなどのデバイスは、端末装置１００の一例である。また、アプリケーションサーバやコンテンツマネジメントシステムなどは、サーバ装置２００の一例である。
端末装置１００は、無線基地局ＢＳ及びネットワークＮＷを介してサーバ装置２００にアクセスすることができる。適用可能な無線基地局ＢＳとしては、例えば、移動体通信用の基地局や無線ＬＡＮ（Local Area Network）用の基地局などがある。適用可能なネットワークＮＷとしては、例えば、移動体通信の基幹回線網やＷＡＮ（Wide Area Network）などがある。
第２実施形態に係るシステムは、例えば、ユーザが端末装置１００を利用して撮像した撮像画像をサーバ装置２００で管理する写真管理サービスなどに適用できる。その他にも、第２実施形態に係るシステムは、写真管理機能を有するＳＮＳ（Social Networking Service）などのソーシャルメディアサービスなどに適用可能である。ここでは、説明の都合上、写真管理サービスを例に挙げて説明を進める。もちろん、第２実施形態に係るシステムの適用対象はこれに限定されない。
多くの場合、画像の管理には、時間情報や位置情報が用いられる。例えば、撮影日時に応じて画像をグループ化する方法や、撮影時にＧＰＳ（Global Positioning System）を利用して取得した位置情報を利用し、同じ地域で撮影された画像をグループ化する方法などがある。このような方法により画像をグループ化しておけば、ユーザが記憶している撮影時間や撮影場所の情報をヒントに、後日、所望の画像を容易に見つけ出すことが可能になる。また、イベントなどの情報をもとに画像を検索できるようにするため、「家族旅行」や「結婚式」などのタグを画像に付してタグ毎に画像を整理する方法も考えられる。
上記の方法はいずれも画像の管理に有用である。第２実施形態に係るシステムは、さらに画像管理の有用性を高めるため、画像から特徴物（以下、ランドマーク）を自動認識し、その認識結果を画像にタグ付けする仕組みを提供する。例えば、端末装置１００を利用して旅行先で撮影した画像から、サーバ装置２００がランドマーク（例えば、金閣寺や東京タワーなど）を自動認識してタグを付与する。この仕組みによれば、ランドマークを指定した画像検索や、ランドマークを基準とする画像の自動整理を実現することができる。
ランドマークの認識は、ランドマークの画像（以下、参照画像）と類似する画像が入力画像に含まれるか否かを判定することで行われる。なお、ランドマークの認識には、異なるランドマークをそれぞれ含む複数の参照画像が利用される他、例えば、同じランドマークを含むサイズの異なる複数の参照画像が利用される。また、ランドマークの認識を行う際、例えば、以下のような処理が行われる。
サーバ装置２００が、入力画像及び参照画像から特徴点（以下、大域特徴点）を抽出する。次いで、サーバ装置２００は、抽出した大域特徴点の周辺領域から局所特徴量を抽出する。次いで、サーバ装置２００は、大域特徴点毎に抽出した局所特徴量の組を利用して入力画像と参照画像との間の類似度を計算する。類似度が高い場合、サーバ装置２００は、参照画像のランドマークが入力画像に含まれると判定する。
局所特徴量としては、例えば、ＢＲＩＥＦ、ＳＩＦＴ、ＳＵＲＦ、ＣＡＲＤ、ＦＲＥＡＫ、ＢＲＩＳＫなどの特徴量が利用できる。但し、説明の都合上、以下ではＢＲＩＥＦを利用する例について考える。ＢＲＩＥＦは、抽出時の処理負担が小さい特徴量である。そのため、ＢＲＩＥＦを利用すると、サーバ装置２００に比べて演算能力が低い端末装置１００でも実用的な速度で特徴量の抽出処理を実現できるという利点がある。
第２実施形態に係るシステムでは、端末装置１００が入力画像から局所特徴量を抽出する処理を実行し、サーバ装置２００が参照画像と入力画像との類似度計算を実行する。
入力画像及び参照画像から抽出した局所特徴量があれば、両画像の類似度計算を行うことができる。そのため、端末装置１００からサーバ装置２００へと入力画像を送らず、局所特徴量だけを送る仕組みとすることが可能である。この仕組みによれば、個人情報である入力画像がネットワークＮＷなどを介して端末装置１００の外部へ漏れる心配がなくなるため、ユーザが安心してシステムを利用できるという利点がある。
以上、第２実施形態に係るシステムについて説明した。以下、このシステムに含まれる端末装置１００及びサーバ装置２００について、さらに説明する。
［２−２．ハードウェア］
図３を参照しながら、端末装置１００が有する機能を実現することが可能なハードウェアについて説明する。図３は、第２実施形態に係る端末装置が有する機能を実現することが可能なハードウェアの一例を示した図である。
端末装置１００が有する機能は、例えば、図３に示す情報処理装置のハードウェア資源を用いて実現することが可能である。つまり、端末装置１００が有する機能は、コンピュータプログラムを用いて図３に示すハードウェアを制御することにより実現される。
図３に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０とを有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。
これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。
また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。
出力部９１８としては、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、又はＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置が用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。
ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。
接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタなどが用いられうる。
通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。
以上、端末装置１００の機能を実現することが可能なハードウェアの例について紹介した。なお、上記のハードウェアは、サーバ装置２００の機能を実現することも可能である。従って、サーバ装置２００のハードウェアについては説明を省略する。
［２−３．端末装置の機能］
次に、図４〜図７を参照しながら、端末装置１００が有する機能について説明する。
なお、図４は、第２実施形態に係る端末装置が有する機能の一例を示したブロック図である。図５は、第２実施形態に係る局所特徴点情報の一例を示した図である。図６は、第２実施形態に係る大域特徴点及び局所領域の設定について説明するための図である。図７は、第２実施形態に係る局所特徴量の計算について説明するための図である。
図４に示すように、端末装置１００は、記憶部１０１、画像取得部１０２、大域特徴点設定部１０３、局所特徴量計算部１０４、及び画像特徴量送信部１０５を有する。
なお、記憶部１０１の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。画像取得部１０２、大域特徴点設定部１０３、局所特徴量計算部１０４の機能は、上述したＣＰＵ９０２などを用いて実現できる。画像特徴量送信部１０５の機能は、上述した接続ポート９２４や通信部９２６などを用いて実現できる。
（局所特徴点情報について）
記憶部１０１は、局所特徴点情報１０１ａを記憶している。局所特徴点情報１０１ａは、予め設定したサイズの矩形領域に設定した局所特徴点の位置を表す位置情報を含む。矩形領域のサイズは、例えば、３２画素×３２画素や４８画素×４８画素などに設定される。また、各局所特徴点は、それぞれ他の局所特徴点と対応付けられている。つまり、２つの局所特徴点を対応付けた点ペアが設定されている。局所特徴点情報１０１ａには、複数の点ペアに関する位置情報が含まれる。
局所特徴点情報１０１ａの一例を図５に示す。図５に示すように、局所特徴点情報１０１ａには、点ペアＬk（ｋ＝１、２、…）を成す２つの局所特徴点の座標（ｘ1，ｙ1）及び（ｘ2，ｙ2）が対応付ける情報が含まれる。後述するように、局所特徴点情報１０１ａに含まれる点ペア毎に局所特徴量が計算され、画像同士の類似性を評価する計算に利用される。
（大域特徴点の設定について）
再び図４を参照する。画像取得部１０２は、ランドマークの認識対象となる画像（以下、入力画像Ｐｉｎ）を取得する。画像取得部１０２により取得された入力画像Ｐｉｎは、記憶部１０１に格納される。記憶部１０１に格納された入力画像Ｐｉｎは、大域特徴点設定部１０３により読み出される。
大域特徴点設定部１０３は、入力画像Ｐｉｎに大域特徴点Ｗf（ｆ＝１、２、…）を設定する。例えば、大域特徴点設定部１０３は、図６に示すように、等間隔で複数の特徴点を抽出するＤｅｎｓｅ Ｓａｍｐｌｉｎｇにより入力画像Ｐｉｎに大域特徴点Ｗf（ｆ＝１、２、…）を設定する。大域特徴点Ｗf（ｆ＝１、２、…）の設定方法としては、Ｄｅｎｓｅ Ｓａｍｐｌｉｎｇの他、例えば、コーナーらしさが大きい点（エッジなど）を特徴点として抽出するＦＡＳＴ（Features from Accelerated Segment Test）なども適用可能である。
大域特徴点設定部１０３により設定された大域特徴点Ｗf（ｆ＝１、２、…）は、局所特徴量計算部１０４に入力される。
（局所特徴量の計算について）
再び図４を参照する。局所特徴量計算部１０４は、局所特徴点情報１０１ａを利用して局所特徴量を計算する。まず、局所特徴量計算部１０４は、図６に示すように、大域特徴点Ｗfの周辺に予め設定したサイズの矩形領域（以下、局所領域Ａf）を設定する。局所領域Ａfのサイズは、例えば、局所特徴点を設定した矩形領域と同じサイズ（例えば、３２画素×３２画素）に設定される。また、局所領域Ａfの中心が大域特徴点Ｗfに一致するように局所領域Ａfが設定されてもよい。
入力画像Ｐｉｎに複数の局所領域Ａfを設定した局所特徴量計算部１０４は、局所特徴点情報１０１ａに基づき、図７に示すように、各局所領域Ａf内で局所特徴点が位置する画素の輝度値を抽出する。なお、図７の（Ｂ）に記載の白丸は局所特徴点の位置を示し、２つの白丸を接続する直線は局所特徴点間の対応関係を示している。
次いで、局所特徴量計算部１０４は、点ペア毎に輝度値の差分を計算する。つまり、局所特徴量計算部１０４は、局所領域Ａfを設定した入力画像Ｐｉｎ内の画素に対応する輝度値（Ａ）と、局所特徴点情報１０１ａから得られる点ペアの情報（Ｂ）とを組み合わせ（Ｃ）、図７に示すように、点ペア毎に輝度値の差分を計算する。
次いで、局所特徴量計算部１０４は、計算した差分の符号が正値か負値かを判定し、正値の場合にはビット値１を出力し、負値の場合にはビット値０を出力する。例えば、局所特徴量計算部１０４は、点ペアＬ1、Ｌ2、…の順に上記差分の符号に応じたビット値を決定し、決定したビット値を並べたビット列を局所特徴量として出力する。２５６個の点ペアが存在すれば、局所特徴量として２５６ビットのビット列が得られる。
局所特徴量計算部１０４は、全ての大域特徴点Ｗf（ｆ＝１、２、…）について局所特徴量を計算し、計算結果を画像特徴量送信部１０５に入力する。
（画像特徴量の送信について）
再び図４を参照する。画像特徴量送信部１０５は、全ての大域特徴点Ｗf（ｆ＝１、２、…）について局所特徴量計算部１０４により計算された局所特徴量の集合（以下、画像特徴量）をサーバ装置２００に送信する。
以上、端末装置１００が有する機能について説明した。
［２−４．サーバ装置の機能］
次に、図８を参照しながら、サーバ装置２００が有する機能について説明する。図８は、第２実施形態に係るサーバ装置が有する機能の一例を示したブロック図である。なお、以下の説明において、適宜、図９〜図１７を参照する。
図８に示すように、サーバ装置２００は、記憶部２０１、優先特徴点抽出部２０２、画像特徴量受信部２０３、及び判定部２０４を有する。
なお、記憶部２０１の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。画像特徴量受信部２０３の機能は、上述した接続ポート９２４や通信部９２６などを用いて実現できる。優先特徴点抽出部２０２、及び判定部２０４の機能は、上述したＣＰＵ９０２などを用いて実現できる。
（局所特徴点情報及び参照画像情報について）
記憶部２０１は、局所特徴点情報２０１ａ及び参照画像情報２０１ｂを記憶している。局所特徴点情報２０１ａは、端末装置１００の記憶部１０１が記憶している局所特徴点情報１０１ａと同じである。参照画像情報２０１ｂは、参照画像管理テーブル及び画像特徴量管理テーブルを含む。
また、記憶部２０１は、ランドマークの認識に用いる参照画像Ｐｒを記憶している。参照画像Ｐｒとしては、例えば、背景に余計なものが映り込まないように撮影されたランドマークの画像などが用いられる。
図９、図１０、及び図１１を参照しながら、参照画像管理テーブル及び画像特徴量管理テーブルについて説明する。なお、図９は、第２実施形態に係る参照画像情報（参照画像管理テーブル）の一例を示した図である。図１０は、第２実施形態に係る参照画像情報（画像特徴量管理テーブル）の一例を示した図である。図１１は、第２実施形態に係る参照画像の局所特徴量について説明するための図である。
図９に示すように、参照画像管理テーブルは、ランドマーク名と参照画像Ｐｒの画像データへのリンク（以下、画像データリンク）とを対応付けるテーブルである。参照画像管理テーブルのレコードは、識別番号ＩＤ＃１により識別される。例えば、ＩＤ＃１が００１のレコードには、ランドマーク名「金閣寺」及び画像データ「００１００１．ｊｐｇ」に対する画像データリンクが対応付けられている。また、ＩＤ＃１は、図１０に示すように、参照画像Ｐｒ毎に設けられる画像特徴量管理テーブルに対応付けられている。
画像特徴量管理テーブルは、参照画像Ｐｒに設定された大域特徴点の座標と、大域特徴点毎に計算された局所特徴量と、後述する最小距離とを対応付けるテーブルである。なお、参照画像Ｐｒに対する大域特徴点の設定方法及び局所特徴量の計算方法は、既に説明した入力画像Ｐｉｎに対する方法と同じである。例えば、図１１に示すように、Ｄｅｎｓｅ Ｓａｍｐｌｉｎｇなどにより参照画像Ｐｒに大域特徴点Ｗｒl（ｌ＝１、２、…）が設定され、大域特徴点Ｗｒl周囲の局所領域Ａｒlについて局所特徴量が計算される。
（最小距離について）
ここで、図１２及び図１３を参照しながら、最小距離について説明する。なお、図１２は、第２実施形態に係る最小距離の計算方法について説明するための第１の図である。図１３は、第２実施形態に係る最小距離の計算方法について説明するための第２の図である。最小距離の計算処理は、優先特徴点抽出部２０２により実行される。
入力画像Ｐｉｎに含まれるランドマークの位置は、入力画像Ｐｉｎの局所領域Ａfと、そのランドマークを示す参照画像Ｐｒの局所領域Ａｒlとの類似性に基づいて決定される。仮に、類似する複数の局所領域Ａｒl（例えば、図１２に例示した局所領域Ａｒ015、Ａｒ038）が同じ参照画像Ｐｒ内に存在すると、本来は局所領域Ａｒ015に対応する局所領域Ａfが、局所領域Ａｒ038に類似していると判定される場合がある。その結果、認識精度の低下を招くリスクが生じうる。
上記のリスクを抑制するため、第２実施形態では、同じ参照画像Ｐｒ内で高い類似性を有する他の局所領域Ａｒlが存在しない局所領域Ａｒlを抽出し、抽出した局所領域Ａｒlを優先的に利用する仕組みを提案する。このような局所領域Ａｒlの抽出に用いられる指標が上記の最小距離である。
例えば、参照画像ＰｒからＮ個の大域特徴点が抽出され、局所領域Ａｒ001、…、ＡｒNが設定されている場合について考える。この場合、優先特徴点抽出部２０２は、局所領域Ａｒi、Ａｒj（ｉ≠ｊ、ｉ，ｊ＝１，…，Ｎ）の類似度を計算する。類似度としては、例えば、局所領域Ａｒiの局所特徴量と局所領域Ａｒjの局所特徴量との間の距離（例えば、ハミング距離）が用いられる。この距離は、局所領域Ａｒi、Ａｒj間の類似度の低さを示している。つまり、距離が小さいほど、類似度が高い。
局所領域Ａｒi、Ａｒjの組み合わせ毎に計算された距離をテーブルにまとめると、図１３のようになる。なお、ＩＤ＃２は、上記のｉ，ｊに対応する大域特徴点のインデックスであり、局所領域Ａｒ001、…、ＡｒNをそれぞれ識別する識別情報となる。また、図１３に例示したテーブルの各欄には正規化した距離が記入されている。局所特徴量を表すビット列の長さが２５６ビットの場合、距離は０〜２５６の値をとるが、図１３に示した距離は０．０〜１．０の値をとるように正規化されている。
優先特徴点抽出部２０２は、例えば、ＩＤ＃２が００１の局所領域Ａｒ001と、他の局所領域Ａｒk（ｋ＝００２，…，Ｎ）との距離の中から最小距離を抽出する。この最小距離は、同じ参照画像Ｐｒに含まれる他の局所領域Ａｒk（ｋ＝００２，…，Ｎ）の中で、局所領域Ａｒ001に最も類似している局所領域Ａｒkの類似度を表している。つまり、この最小距離が十分に大きければ、局所領域Ａｒ001に類似する他の局所領域Ａｒkが同じ参照画像Ｐｒ内に存在しないと言える。
優先特徴点抽出部２０２は、同様に、ＩＤ＃２が００２、…、Ｎの局所領域Ａｒk（ｋ＝００２，…，Ｎ）について、それぞれ最小距離を抽出する。なお、図１３に例示したテーブルには、局所領域Ａｒi、Ａｒjの組み合わせ毎に計算された距離と共に最小距離を記載している。このようにして優先特徴点抽出部２０２により計算された最小距離は、既に説明した画像特徴量管理テーブル（図１０を参照）に記録される。
（ソートについて）
上記の最小距離は、同じ参照画像Ｐｒ内で高い類似性を有する他の局所領域Ａｒkが存在しない局所領域Ａｒl（ｌ≠ｋ）を抽出し、抽出した局所領域Ａｒlを優先的に利用するために利用される。そこで、最小距離が大きい局所領域Ａｒlを優先的に利用できるようにするため、優先特徴点抽出部２０２は、図１４に示すように、画像特徴量管理テーブルのレコードを最小距離が大きい順（降順）にソートする。なお、図１４は、第２実施形態に係る画像特徴量管理テーブルのソート方法について説明するための図である。
また、優先特徴点抽出部２０２は、ソート後の画像特徴量管理テーブルに記載された上位ｍ個の大域特徴点（局所領域Ａｒlに対応）を優先的に利用する特徴点（以下、優先特徴点と呼ぶ場合がある。）とする。なお、ｍは、予め設定された値であり、例えば、Ｎ／４などの値に設定される。また、最小距離の計算、及び画像特徴量管理テーブルのソートは、記憶部２０１に格納された全ての参照画像Ｐｒに対して行われる。
上記の説明では画像特徴量管理テーブルに最小距離を記録し、画像特徴量管理テーブルのレコードを最小距離の降順にソートする方法を示したが、優先特徴点の情報（例えば、対応するＩＤ＃２）を別途記録する変形例も考えられる。例えば、図１５に示すように、優先特徴点管理テーブルを記憶部２０１に設け、優先特徴点の情報を参照画像Ｐｒ毎に記録しておく方法が考えられる。この場合、優先特徴点管理テーブルは、参照画像情報２０１ｂに含まれる。なお、図１５は、第２実施形態に係る参照画像情報（優先特徴点管理テーブル）の一例を示した図である。
（範囲設定及び位置探索について）
再び図８を参照する。画像特徴量受信部２０３は、端末装置１００から送信された画像特徴量を受信する。画像特徴量受信部２０３により受信された画像特徴量は、判定部２０４に入力される。判定部２０４は、入力画像Ｐｉｎの画像特徴量と、参照画像Ｐｒの画像特徴量（画像特徴量管理テーブルに記載された局所特徴量の集合）とを利用して、入力画像Ｐｉｎの中に参照画像Ｐｒが存在するか否かを判定する。判定部２０４は、範囲設定部２４１及び位置探索部２４２を含む。また、範囲設定部２４１及び位置探索部２４２は、それぞれ類似度計算機能及び投票処理機能を有する。
（範囲設定時の類似度計算について）
範囲設定部２４１は、図１６に示すように、入力画像Ｐｉｎの大域特徴点Ｗfに対応する局所領域Ａfと類似する参照画像Ｐｒ中の局所領域Ａｒlを検出する。
このとき、範囲設定部２４１は、参照画像Ｐｒの一部（例えば、１／４など）に含まれる優先特徴点に対応する局所領域Ａｒlの中から、入力画像Ｐｉｎの局所領域Ａfと類似する局所領域Ａｒlを検出する。そして、範囲設定部２４１は、入力画像Ｐｉｎの大域特徴点Ｗfに対応する参照画像Ｐｒの大域特徴点（以下、対応特徴点）を決定する。なお、図１６は、第２実施形態に係る対応特徴点の検出方法（範囲設定時）について説明するための図である。
上記の検出は、例えば、以下の方法で行われる。
まず、範囲設定部２４１は、画像特徴量管理テーブルを参照し、参照画像Ｐｒの一部に含まれる優先特徴点を１つ選択する。また、範囲設定部２４１は、入力画像Ｐｉｎから大域特徴点Ｗfを１つ選択する。次いで、範囲設定部２４１は、選択した大域特徴点Ｗfに対応する局所特徴量を画像特徴量から抽出する。次いで、範囲設定部２４１は、選択した優先特徴点の局所特徴量と、画像特徴量から抽出した局所特徴量との間の距離（例えば、ハミング距離）を計算する。
同様に、範囲設定部２４１は、入力画像Ｐｉｎに含まれる全ての大域特徴点Ｗfについて、優先特徴点の局所特徴量と、画像特徴量から抽出した局所特徴量との間の距離を計算する。そして、範囲設定部２４１は、選択した大域特徴点Ｗfと優先特徴点との組み合わせの中から距離が最小となる組み合わせを抽出する。
また、範囲設定部２４１は、抽出した組み合わせに対応する距離が予め設定した閾値よりも大きいか否かを判定する。対応する距離が予め設定した閾値より小さい場合、範囲設定部２４１は、その組み合わせに含まれる優先特徴点を、選択した大域特徴点Ｗfに対応する対応特徴点とする。一方、対応する距離が予め設定した閾値より大きい場合、範囲設定部２４１は、選択した大域特徴点Ｗfに対する対応特徴点が存在しないと判定する。
同様に、範囲設定部２４１は、参照画像Ｐｒの一部に含まれる全ての優先特徴点について入力画像Ｐｉｎに含まれる全ての大域特徴点Ｗfとの間の距離を計算し、対応特徴点となる優先特徴点と、入力画像Ｐｉｎの大域特徴点Ｗfとの組み合わせを抽出する。
（範囲設定時の投票処理について）
範囲設定部２４１は、抽出した全ての組み合わせについて、入力画像Ｐｉｎの大域特徴点Ｗfと対応特徴点とが一致するように参照画像Ｐｒを入力画像Ｐｉｎに重ねた場合の入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置（Ｘｖ，Ｙｖ）を計算する。
入力画像Ｐｉｎの横幅をｗｉ、高さをｈｉ、参照画像Ｐｒの横幅をｗｒ、高さをｈｒと表記した場合（図１６を参照）、入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置を示す座標（Ｘｖ，Ｙｖ）は、下記の式（１）及び式（２）により計算される。但し、入力画像Ｐｉｎにおける大域特徴点Ｗｆの位置座標を（Ｘｉ，Ｙｉ）、参照画像Ｐｒにおける対応特徴点の位置座標を（Ｘｒ，Ｙｒ）と表記している。
Figure 0006244887
Figure 0006244887
次いで、範囲設定部２４１は、計算した参照画像Ｐｒの中心位置に基づく統計的手法により入力画像Ｐｉｎにおける参照画像Ｐｒの存在範囲を推定する。但し、ここで推定する参照画像Ｐｒの存在範囲は、参照画像Ｐｒの存在を前提とするものではなく、参照画像Ｐｒが存在する可能性のある範囲を意味する。
上記の統計的手法としては、例えば、投票マップを利用する方法が考えられる。投票マップとは、図１７に示すように、入力画像Ｐｉｎを複数の分割領域（例えば、１０画素×１０画素の矩形領域）に分ける投票用の空間である。なお、図１７は、第２実施形態に係る投票の方法について説明するための図である。
範囲設定部２４１は、計算した参照画像Ｐｒの中心位置が投票マップのどの領域に位置するかを判定する。投票マップの各領域にはカウンタが設定されており、範囲設定部２４１は、参照画像Ｐｒの中心位置に対応する領域を検出した場合、検出した領域のカウンタを所定数だけカウントアップする。同様に、範囲設定部２４１は、全ての対応特徴点に対応する参照画像Ｐｒの中心位置について投票マップへのカウント処理を実行する。そして、範囲設定部２４１は、カウント値が最大の領域を投票マップから抽出する。
範囲設定部２４１は、投票マップから抽出した領域を基準に、参照画像Ｐｒの探索を行う探索範囲（図１８を参照）を入力画像Ｐｉｎに設定する。例えば、範囲設定部２４１は、投票マップから抽出した領域に参照画像Ｐｒの中心を重ねた場合に参照画像Ｐｒが占める範囲を計算し、その範囲を上下左右に拡大した範囲を探索範囲に設定する。但し、探索範囲は、入力画像Ｐｉｎの全範囲よりも狭い範囲である。
拡大の度合いは、例えば、予め設定された拡大率や拡大幅に基づいて決定される。拡大率は、例えば、参照画像Ｐｒの横幅ｗｒに対する割合（例えば、１０％）や、高さｈｉに対する割合（例えば、１０％）などと設定することができる。また、拡大幅は、例えば、参照画像Ｐｒの左右方向に並んだ画素の数の１／Ｌ（例えば、Ｌ＝１０）の画素数や、上下方向に並んだ画素の数の１／Ｌの画素数などと設定することができる。なお、これらの設定方法は一例であり、他の設定方法を採用してもよい。
例えば、図１８に示すように、探索範囲の左上座標を（ｘＬｅｆｔ，ｙＴｏｐ）とし、右下座標を（ｘＲｉｇｈｔ，ｙＢｏｔｔｏｍ）とし、入力画像Ｐｉｎの左上座標を原点（０，０）とすると、探索範囲は、下記の式（３）〜式（６）で表現される。但し、ｄは１．０以上の実数であり（例えば、１．２）、拡大の度合いを表す。また、（ｘｐ，ｙｐ）は、投票マップの中でカウント値が最大となる領域の位置座標を表す。
ｘＬｅｆｔ ＝ ｘｐ−（ｗｒ／２）・ｄ
…（３）
ｘＲｉｇｈｔ ＝ ｘｐ＋（ｗｒ／２）・ｄ
…（４）
ｙＴｏｐ ＝ ｙｐ−（ｈｒ／２）・ｄ
…（５）
ｙＢｏｔｔｏｍ ＝ ｙｐ＋（ｈｒ／２）・ｄ
…（６）
範囲設定部２４１により設定された探索範囲は、位置探索部２４２に通知される。位置探索部２４２は、探索範囲内で参照画像Ｐｒの存在及びその位置を検出する。つまり、位置探索部２４２は、入力画像Ｐｉｎに含まれる大域特徴点Ｗｆの座標を（ｘｉ，ｙｉ）とした場合に、下記の式（７）及び式（８）の条件を満たす大域特徴点Ｗｆを用いて参照画像Ｐｒの存在及びその位置を検出する。
ｘＬｅｆｔ ＜ ｘｉ ＜ ｘＲｉｇｈｔ
…（７）
ｙＢｏｔｔｏｍ ＜ ｙｉ ＜ ｙＴｏｐ
…（８）
（位置探索時の類似度計算について）
位置探索部２４２は、探索範囲内の大域特徴点Ｗfに対応する局所領域Ａfと類似する参照画像Ｐｒ中の局所領域Ａｒlを検出する。このとき、位置探索部２４２は、参照画像Ｐｒに含まれる全ての大域特徴点Ｗｒlについて、大域特徴点Ｗｒlに対応する局所領域Ａｒlと類似する探索範囲内の局所領域Ａfを検出する。
なお、参照画像Ｐｒの大域特徴点Ｗｒlのうち、参照画像Ｐｒの一部に含まれる優先特徴点については範囲設定部２４１により対応特徴点の検出が済んでいる。そのため、位置探索部２４２は、参照画像Ｐｒの大域特徴点Ｗｒlのうち、範囲設定部２４１が対応特徴点の検出時に用いていない大域特徴点Ｗｒlについて、探索範囲内の局所領域Ａfと類似する局所領域Ａｒlを検出する。
そして、位置探索部２４２は、図１８に示すように、対応特徴点と入力画像Ｐｉｎの大域特徴点Ｗfとの組み合わせを決定する。なお、図１８は、第２実施形態に係る対応特徴点の検出方法（位置探索時）について説明するための図である。
上記の検出は、例えば、以下の方法で行われる。
まず、位置探索部２４２は、画像特徴量管理テーブルを参照し、参照画像Ｐｒに含まれる大域特徴点Ｗｒlを１つ選択する。また、位置探索部２４２は、探索範囲から大域特徴点Ｗfを１つ選択する。次いで、位置探索部２４２は、選択した大域特徴点Ｗfに対応する局所特徴量を画像特徴量から抽出する。次いで、位置探索部２４２は、選択した大域特徴点Ｗｒlの局所特徴量と、画像特徴量から抽出した局所特徴量との間の距離（例えば、ハミング距離）を計算する。
同様に、位置探索部２４２は、探索範囲に含まれる全ての大域特徴点Ｗfについて、大域特徴点Ｗｒlの局所特徴量と、画像特徴量から抽出した局所特徴量との間の距離を計算する。そして、位置探索部２４２は、選択した大域特徴点Ｗf、Ｗｒlの組み合わせの中から距離が最小となる組み合わせを抽出する。
また、位置探索部２４２は、抽出した組み合わせに対応する距離が予め設定した閾値よりも大きいか否かを判定する。対応する距離が予め設定した閾値より小さい場合、位置探索部２４２は、その組み合わせに含まれる大域特徴点Ｗｒlを、選択した大域特徴点Ｗfに対応する対応特徴点とする。一方、対応する距離が予め設定した閾値より大きい場合、位置探索部２４２は、選択した大域特徴点Ｗfに対する対応特徴点が存在しないと判定する。
同様に、位置探索部２４２は、参照画像Ｐｒに含まれる他の大域特徴点Ｗｒlについても探索範囲に含まれる全ての大域特徴点Ｗfとの間の距離を計算し、対応特徴点となる大域特徴点Ｗｒlと、探索範囲の大域特徴点Ｗfとの組み合わせを抽出する。さらに、位置探索部２４２は、範囲設定部２４１により検出された対応特徴点の情報（対応特徴点となる優先特徴点と探索範囲の大域特徴点Ｗfとの組み合わせ）を保持する。
（位置探索時の投票処理について）
位置探索部２４２は、抽出した組み合わせに基づいて、探索範囲の大域特徴点Ｗfと参照画像Ｐｒの対応特徴点とが一致するように参照画像Ｐｒを入力画像Ｐｉｎに重ねた場合の入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置（Ｘｖ，Ｙｖ）を計算する。
例えば、入力画像Ｐｉｎの横幅をｗｉ、高さをｈｉ、参照画像Ｐｒの横幅をｗｒ、高さをｈｒと表記した場合（図１８を参照）、入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置（Ｘｖ，Ｙｖ）は、上記の式（１）及び式（２）により計算される。但し、入力画像Ｐｉｎにおける大域特徴点Ｗfの位置座標を（Ｘｉ，Ｙｉ）、参照画像Ｐｒにおける対応特徴点の位置座標を（Ｘｒ，Ｙｒ）と表記している。同様にして、位置探索部２４２は、全ての対応特徴点について参照画像Ｐｒの中心位置を計算する。
次いで、位置探索部２４２は、計算した参照画像Ｐｒの中心位置に基づく統計的手法により探索範囲内に参照画像Ｐｒが存在するか否かを判定する。例えば、位置探索部２４２は、投票マップ（図１７を参照）を用意する。次いで、位置探索部２４２は、計算した参照画像Ｐｒの中心位置が投票マップのどの領域に位置するかを判定する。
投票マップの各領域にはカウンタが設定されており、位置探索部２４２は、参照画像Ｐｒの中心位置に対応する領域を検出した場合、検出した領域のカウンタを所定数だけカウントアップする。なお、位置探索部２４２は、全ての対応特徴点に対応する参照画像Ｐｒの中心位置について投票マップへのカウント処理を実行する。カウント処理が完了すると、位置探索部２４２は、カウント値が最大の領域を投票マップから抽出し、抽出した領域に対応するカウント値と予め設定した閾値とを比較する。
同じ対象物を撮影した画像同士ではカウントが一カ所に集中し、異なる対象物を撮影した画像同士ではカウントが広く分散する傾向がある。そのため、カウント値が閾値よりも大きい場合、位置探索部２４２は、入力画像Ｐｉｎ中に参照画像Ｐｒに対応するランドマークが存在すると判定する。一方、カウント値が閾値よりも小さい場合、位置探索部２４２は、入力画像Ｐｉｎ中に参照画像Ｐｒに対応するランドマークが存在しないと判定する。なお、カウント値を全カウント数（対応特徴点の数）で割った正規化値を利用して閾値判定を行うように変形してもよい。
上記のように、投票マップを利用して判定を行うことで、入力画像Ｐｉｎと参照画像Ｐｒとの間に、ある程度の差異があっても、ロバストな判定を行うことができる。
（判定結果の利用について）
判定部２０４による判定結果は、例えば、端末装置１００に送信される。判定結果として、例えば、入力画像Ｐｉｎに含まれると判定されたランドマークの名称や位置、或いは、参照画像管理テーブルのＩＤなどが端末装置１００に送信される。また、複数のランドマークが存在すると判定された場合、判定部２０４は、それら全てのランドマークの情報を端末装置１００に送信してもよいし、投票マップのカウント値が最大となるランドマークの情報を端末装置１００に送信してもよい。
なお、判定結果の利用方法はこれに限定されず、アプリケーションプログラムの仕様などに応じて変形可能である。例えば、ランドマーク毎にタグ情報を用意しておき、判定結果に応じてランドマークに対応するタグ情報が端末装置１００に送信され、端末装置１００によりタグ情報が入力画像Ｐｉｎに自動付与されるようにしてもよい。
以上、サーバ装置２００が有する機能について説明した。
［２−５．処理の流れ］
次に、図１９〜図２４を参照しながら、端末装置１００及びサーバ装置２００が実行する処理の流れについて説明する。
（端末装置の動作）
図１９及び図２０を参照しながら、端末装置１００が実行する処理の流れについて説明する。なお、図１９は、第２実施形態に係る端末装置の動作について説明するためのフロー図である。また、図２０は、第２実施形態に係る局所特徴量の計算処理について説明するためのフロー図である。
（Ｓ１０１）画像取得部１０２は、ランドマークの認識対象となる画像（入力画像Ｐｉｎ）を取得する。画像取得部１０２により取得された入力画像Ｐｉｎは、記憶部１０１に格納される。記憶部１０１に格納された入力画像Ｐｉｎは、大域特徴点設定部１０３により読み出される。
（Ｓ１０２）大域特徴点設定部１０３は、入力画像Ｐｉｎに大域特徴点Ｗf（ｆ＝１、２、…）を設定する。例えば、大域特徴点設定部１０３は、図６に示すように、等間隔で特徴点を抽出するＤｅｎｓｅ Ｓａｍｐｌｉｎｇにより入力画像Ｐｉｎに大域特徴点Ｗf（ｆ＝１、２、…）を設定する。なお、ＦＡＳＴに基づく設定方法などを採用してもよい。大域特徴点設定部１０３により設定された大域特徴点Ｗf（ｆ＝１、２、…）は、局所特徴量計算部１０４に入力される。
（Ｓ１０３）局所特徴量計算部１０４は、大域特徴点Ｗf（ｆ＝１、２、…）の中から１つの大域特徴点Ｗfを選択する。なお、大域特徴点Ｗfの選択順序は予め設定されているものとする。例えば、局所特徴量計算部１０４は、入力画像Ｐｉｎの左上側に位置する大域特徴点Ｗ1から順に、大域特徴点Ｗ2、Ｗ3、Ｗ4、…と選択する。
（Ｓ１０４）局所特徴量計算部１０４は、選択した大域特徴点Ｗfについて、記憶部１０１が記憶している局所特徴点情報１０１ａを利用して局所特徴量を計算する。なお、局所特徴量の計算処理については、図２０を参照しながら後述する。局所特徴量計算部１０４により計算された局所特徴量は、画像特徴量送信部１０５に入力される。
（Ｓ１０５）局所特徴量計算部１０４は、全ての大域特徴点Ｗf（ｆ＝１、２、…）について局所特徴量を計算したか否かを判定する。全ての大域特徴点Ｗf（ｆ＝１、２、…）について局所特徴量の計算が完了した場合、処理はＳ１０６へと進む。一方、全ての大域特徴点Ｗf（ｆ＝１、２、…）について局所特徴量の計算が完了していない場合、処理はＳ１０３へと進む。
（Ｓ１０６）画像特徴量送信部１０５は、全ての大域特徴点Ｗf（ｆ＝１、２、…）について局所特徴量計算部１０４により計算された局所特徴量の集合（画像特徴量）をサーバ装置２００に送信する。Ｓ１０６の処理が完了すると、図１９に示した一連の処理は終了する。
（局所特徴量の計算）
ここで、図２０を参照しながら、Ｓ１０４の処理について、さらに説明する。
（Ｓ１１１）局所特徴量計算部１０４は、図６に示すように、大域特徴点Ｗfの周辺に予め設定したサイズの矩形領域（局所領域Ａf）を設定する。局所領域Ａfのサイズは、例えば、局所特徴点を設定した矩形領域と同じサイズ（例えば、３２画素×３２画素）に設定される。また、局所領域Ａfの中心が大域特徴点Ｗfに一致するように局所領域Ａfが設定されてもよい。
（Ｓ１１２）局所特徴量計算部１０４は、局所特徴点の組（点ペアＬ1、Ｌ2、…）の１つを選択する。なお、点ペアＬkの選択順序は予め設定されているものとする。例えば、局所特徴量計算部１０４は、点ペアＬ1から順に、点ペアＬ2、Ｌ3、Ｌ4、…と選択する。
（Ｓ１１３）局所特徴量計算部１０４は、図７に示すように、局所特徴点情報１０１ａを参照し、局所領域Ａfの画像（入力画像Ｐｉｎの一部）から、選択した点ペアＬkの局所特徴点が位置する画素の輝度値を抽出する。そして、局所特徴量計算部１０４は、抽出した輝度値の差分を計算する。
（Ｓ１１４）局所特徴量計算部１０４は、計算した差分の符号が正値か負値かを判定し、正値の場合にはビット値を１に設定し、負値の場合にはビット値を０に設定する。
（Ｓ１１５）局所特徴量計算部１０４は、全ての点ペアＬk（ｋ＝１、２、…）についてビット値を設定したか否かを判定する。全ての点ペアＬk（ｋ＝１、２、…）についてビット値が設定されている場合、処理はＳ１１６へと進む。一方、全ての点ペアＬk（ｋ＝１、２、…）についてビット値が設定されていない場合、処理はＳ１１２へと進む。
（Ｓ１１６）局所特徴量計算部１０４は、点ペアＬ1、Ｌ2、…の順に上記差分の符号に応じたビット値を並べて、ビット列を生成する。例えば、２５６個の点ペアが存在する場合、２５６ビットのビット列が生成される。局所特徴量計算部１０４は、ビット列を局所特徴量に設定する。Ｓ１１６の処理が完了すると、図２０に示した一連の処理は終了する。
以上、端末装置１００が実行する処理の流れについて説明した。
（サーバ装置の動作）
次に、図２１〜図２４を参照しながら、サーバ装置２００が実行する処理の流れについて説明する。
なお、図２１は、第２実施形態に係るサーバ装置の動作について説明するためのフロー図である。図２２は、第２実施形態に係る探索範囲の設定処理について説明するためのフロー図である。図２３は、第２実施形態に係る参照画像の位置探索処理について説明するためのフロー図である。図２４は、第２実施形態に係る優先特徴点の設定処理について説明するためのフロー図である。
（Ｓ２０１）画像特徴量受信部２０３は、端末装置１００から送信された画像特徴量を受信する。画像特徴量受信部２０３により受信された画像特徴量は、判定部２０４に入力される。
（Ｓ２０２）判定部２０４は、記憶部２０１に格納されている参照画像Ｐｒを１つ選択する。
（Ｓ２０３）範囲設定部２４１は、探索範囲を設定する。例えば、範囲設定部２４１は、画像特徴量管理テーブルを参照し、参照画像Ｐｒの一部に含まれる優先特徴点を抽出する。次いで、範囲設定部２４１は、抽出した優先特徴点と類似する入力画像Ｐｉｎの大域特徴点Ｗfを検出する。次いで、範囲設定部２４１は、検出した大域特徴点Ｗfと類似する優先特徴点をもとに統計手法を用いて入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置を特定（推定）する。そして、範囲設定部２４１は、特定した参照画像Ｐｒの中心位置を基準に探索範囲を設定する。
（Ｓ２０４）位置探索部２４２は、参照画像Ｐｒの位置を探索する。例えば、位置探索部２４２は、範囲設定部２４１により設定された探索範囲内の局所領域Ａfと、参照画像Ｐｒ内の局所領域Ａｒlとの類似度（例えば、局所特徴量間の距離）を計算する。次いで、位置探索部２４２は、探索範囲内の局所領域Ａfに類似する参照画像Ｐｒ内の局所領域Ａｒl（対応特徴点）をもとに統計手法を用いて入力画像Ｐｉｎにおける参照画像Ｐｒの存在を判定する。また、位置探索部２４２は、参照画像Ｐｒが存在する入力画像Ｐｉｎ内の位置を検出する。
（Ｓ２０５）判定部２０４は、記憶部２０１に格納されている参照画像Ｐｒを全て選択し終えたか否かを判定する。全ての参照画像Ｐｒを選択し終えた場合、処理はＳ２０６へと進む。一方、全ての参照画像Ｐｒを選択し終えていない場合、処理はＳ２０２へと進む。
（Ｓ２０６）判定部２０４は、少なくとも１つの参照画像Ｐｒが入力画像Ｐｉｎ内に存在したか否かを判定する。少なくとも１つの参照画像Ｐｒが入力画像Ｐｉｎ内に存在した場合、処理はＳ２０７へと進む。一方、参照画像Ｐｒが１つの入力画像Ｐｉｎ内に存在しない場合、処理はＳ２０８へと進む。
（Ｓ２０７）判定部２０４は、入力画像Ｐｉｎ内に存在すると判定された参照画像Ｐｒの情報を端末装置１００へと送信する。例えば、判定部２０４は、入力画像Ｐｉｎにおける参照画像Ｐｒの位置や参照画像Ｐｒの識別情報（ＩＤ）などを端末装置１００へと送信する。Ｓ２０７の処理が完了すると、図２１に示した一連の処理は終了する。
（Ｓ２０８）判定部２０４は、入力画像Ｐｉｎ内に参照画像Ｐｒが存在しない旨を端末装置１００へと通知する。例えば、判定部２０４は、画像認識の失敗を示すエラー情報を端末装置１００へと通知する。Ｓ２０８の処理が完了すると、図２１に示した一連の処理は終了する。
（探索範囲の設定）
ここで、図２２を参照しながら、Ｓ２０３の処理について、さらに説明する。
（Ｓ２１１）範囲設定部２４１は、画像特徴量管理テーブルを参照し、参照画像Ｐｒの一部に含まれる優先特徴点を１つ選択する。なお、優先特徴点は、最小距離が大きい順に選択された所定数の大域特徴点Ｗｒlである。
（Ｓ２１２）範囲設定部２４１は、入力画像Ｐｉｎの大域特徴点Ｗf毎に、Ｓ２１１で選択した優先特徴点との間の類似度を計算する。類似度を示す指標としては、例えば、局所特徴量間の距離（例えば、ハミング距離）を利用することができる。なお、この距離が小さいほど類似度が高い。
（Ｓ２１３）範囲設定部２４１は、Ｓ２１２で計算した類似度が最大となる大域特徴点Ｗfを選択する。そして、範囲設定部２４１は、Ｓ２１１で選択した優先特徴点を、選択した大域特徴点Ｗfに対応する対応特徴点に設定する。
（Ｓ２１４）範囲設定部２４１は、Ｓ２１３で選択した大域特徴点Ｗfと、設定した対応特徴点とが一致するように入力画像Ｐｉｎに参照画像Ｐｒを重ねた場合の入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置を計算する。
（Ｓ２１５）範囲設定部２４１は、Ｓ２１４で計算した参照画像Ｐｒの中心位置に対応する投票マップの領域に投票する。例えば、投票マップの各領域にはカウンタが設定されており、範囲設定部２４１は、参照画像Ｐｒの中心位置に対応する領域を検出し、検出した領域のカウンタを所定数だけカウントアップする。
（Ｓ２１６）範囲設定部２４１は、参照画像Ｐｒの一部に含まれる全ての優先特徴点を選択したか否かを判定する。参照画像Ｐｒの一部に含まれる全ての優先特徴点を選択した場合、処理はＳ２１７へと進む。一方、参照画像Ｐｒの一部に含まれる全ての優先特徴点を選択していない場合、処理はＳ２１１へと進む。
（Ｓ２１７）範囲設定部２４１は、最大投票数に対応する領域に参照画像Ｐｒの中心位置を重ねた場合に参照画像Ｐｒが占める範囲を基準に探索範囲を設定する。例えば、範囲設定部２４１は、最大投票数に対応する投票マップの領域に参照画像Ｐｒの中心を重ねた場合に参照画像Ｐｒが占める範囲を上下左右に拡大した範囲を探索範囲に設定する。但し、探索範囲は、入力画像Ｐｉｎの全範囲よりも狭い範囲である。Ｓ２１７の処理が完了すると、図２２に示した一連の処理は終了する。
（位置探索）
ここで、図２３を参照しながら、Ｓ２０４の処理について、さらに説明する。
（Ｓ２２１）位置探索部２４２は、画像特徴量管理テーブルを参照し、参照画像Ｐｒに含まれる大域特徴点Ｗｒlを１つ選択する。このとき、位置探索部２４２は、図２２の処理で範囲設定部２４１により選択された優先特徴点以外の大域特徴点Ｗｒlを選択してもよい。
（Ｓ２２２）位置探索部２４２は、探索範囲の大域特徴点Ｗf毎に、Ｓ２２１で選択した大域特徴点Ｗｒlとの間の類似度を計算する。類似度を示す指標としては、例えば、局所特徴量間の距離（例えば、ハミング距離）を利用することができる。なお、この距離が小さいほど類似度が高い。
（Ｓ２２３）位置探索部２４２は、Ｓ２２２で計算した類似度が最大となる大域特徴点Ｗfを選択する。そして、位置探索部２４２は、Ｓ２２１で選択した優先特徴点を、選択した大域特徴点Ｗfに対応する対応特徴点に設定する。
（Ｓ２２４）位置探索部２４２は、Ｓ２２３で選択した大域特徴点Ｗfと、設定した対応特徴点とが一致するように入力画像Ｐｉｎに参照画像Ｐｒを重ねた場合の入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置を計算する。
（Ｓ２２５）位置探索部２４２は、Ｓ２２４で計算した参照画像Ｐｒの中心位置に対応する投票マップの領域に投票する。例えば、投票マップの各領域にはカウンタが設定されており、位置探索部２４２は、参照画像Ｐｒの中心位置に対応する領域を検出し、検出した領域のカウンタを所定数だけカウントアップする。
（Ｓ２２６）位置探索部２４２は、参照画像Ｐｒに含まれる全ての優先特徴点を選択したか否かを判定する。参照画像Ｐｒに含まれる全ての優先特徴点を選択した場合、処理はＳ２２７へと進む。一方、参照画像Ｐｒに含まれる全ての優先特徴点を選択していない場合、処理はＳ２２１へと進む。
（Ｓ２２７）位置探索部２４２は、最大投票数が閾値を超えたか否かを判定する。最大投票数が閾値を超えた場合、処理はＳ２２９へと進む。一方、最大投票数が閾値を超えていない場合、処理はＳ２２８へと進む。
（Ｓ２２８）位置探索部２４２は、入力画像Ｐｉｎ内に参照画像Ｐｒが存在しないと判定する。Ｓ２２８の処理が完了すると、図２３に示した一連の処理は終了する。
（Ｓ２２９）位置探索部２４２は、最大投票数に対応する領域と中心位置が一致するように参照画像Ｐｒが存在すると判定し、その中心位置を参照画像Ｐｒの存在位置として出力する。Ｓ２２９の処理が完了すると、図２３に示した一連の処理は終了する。
（優先特徴点の設定）
ここで、図２４を参照しながら、優先特徴点の設定に係る処理の流れについて説明する。なお、図２４に示す処理は、記憶部２０１に参照画像Ｐｒが追加されたタイミングや、画像特徴量管理テーブルが更新されたタイミングなどで実行される。
（Ｓ２３１）優先特徴点抽出部２０２は、記憶部２０１に格納された参照画像Ｐｒの中から１つの参照画像Ｐｒを選択する。
（Ｓ２３２）優先特徴点抽出部２０２は、Ｓ２３１で選択した参照画像Ｐｒから２つの大域特徴点Ｗｒl（大域特徴点Ｗｒlのペア）を選択する。
（Ｓ２３３）優先特徴点抽出部２０２は、Ｓ２３２で選択した大域特徴点Ｗｒlのペアについて、大域特徴点Ｗｒl同士の距離を計算する。例えば、優先特徴点抽出部２０２は、画像特徴量管理テーブルから、Ｓ２３２で選択した２つの大域特徴点Ｗｒlにそれぞれ対応する局所特徴量を取得する。そして、優先特徴点抽出部２０２は、取得した２つの局所特徴量のハミング距離を計算し、大域特徴点Ｗｒl同士の距離とする。
（Ｓ２３４）優先特徴点抽出部２０２は、選択可能な大域特徴点Ｗｒlのペアを全て選択し終えたか否かを判定する。選択可能な大域特徴点Ｗｒlのペアを全て選択し終えた場合、処理はＳ２３５へと進む。一方、選択可能な大域特徴点Ｗｒlのペアを全て選択し終えていない場合、処理はＳ２３２へと進む。
（Ｓ２３５）優先特徴点抽出部２０２は、大域特徴点Ｗｒl毎に計算した距離の中から最小となる距離（最小距離）を抽出する。
（Ｓ２３６）優先特徴点抽出部２０２は、Ｓ２３５で抽出した最小距離を画像特徴量管理テーブルに記録する。
（Ｓ２３７）優先特徴点抽出部２０２は、画像特徴量管理テーブルを最小距離が小さい順にソートする。このソート処理により、画像特徴量管理テーブルの中で最小距離が小さいレコードが上位に配置される。優先特徴点抽出部２０２は、画像特徴量管理テーブルの上位ｍ個（ｍは予め設定された任意の数）のレコードに対応する大域特徴点Ｗｒlを優先特徴点に設定する。
（Ｓ２３８）優先特徴点抽出部２０２は、記憶部２０１に格納された全ての参照画像Ｐｒを選択したか否かを判定する。全ての参照画像Ｐｒを選択した場合、図２４に示した一連の処理は終了する。一方、全ての参照画像Ｐｒを選択していない場合、処理はＳ２３１へと進む。
以上、サーバ装置２００が実行する処理の流れについて説明した。
［２−６．変形例＃１（最小距離の閾値判定に基づく優先特徴点の設定）］
これまで、優先特徴点抽出部２０２は、画像特徴量管理テーブルに含まれる上位ｍ個のレコードに対応する参照画像Ｐｒの大域特徴点Ｗｒlを優先特徴点としていた。ここでは、第２実施形態の一変形例（変形例＃１）として、画像特徴量管理テーブルに含まれるレコードの中で最小距離が閾値より大きいレコードに対応する参照画像Ｐｒの大域特徴点Ｗｒlを優先特徴点とする方法を提案する。なお、閾値は予め設定される。
変形例＃１の方法を適用する場合、優先特徴点抽出部２０２の機能及び動作が変形される。例えば、図２４に示した処理のうち、Ｓ２３７に係る処理が変形される。この場合、優先特徴点抽出部２０２は、画像特徴量管理テーブルに記載された最小距離と予め設定した閾値とを比較し、最小距離が閾値よりも大きいレコードに対応する大域特徴点Ｗｒlを優先特徴点に設定する。但し、最小距離が閾値よりも大きいレコードの数が予め設定した数よりも少ない場合、優先特徴点抽出部２０２は、図２４のＳ２３７に記載された処理を実行する。
以上、変形例＃１について説明した。このような変形例も第２実施形態に係る技術的範囲に属する。
［２−７．変形例＃２（単独システム）］
次に、図２５を参照しながら、第２実施形態の一変形例（以下、変形例＃２）に係る情報処理装置の機能について説明する。なお、図２５は、第２実施形態の一変形例に係る情報処理装置の機能について説明するためのブロック図である。また、図２５に例示した情報処理装置３００は、変形例＃２に係る情報処理装置の一例である。また、情報処理装置３００の機能は、図３に示した端末装置１００のハードウェアと同じハードウェア資源を利用して実現可能である。
これまで、端末装置１００が入力画像Ｐｉｎから局所特徴量を抽出し、サーバ装置２００がランドマークを認識するシステムについて説明してきた。変形例＃２では、１台の情報処理装置３００で局所特徴量の抽出からランドマークの認識までの処理を実行するシステム（単独システム）について説明する。
図２５に示すように、情報処理装置３００は、記憶部３０１、優先特徴点抽出部３０２、画像取得部３０３、大域特徴点設定部３０４、局所特徴量計算部３０５、及び判定部３０６を有する。なお、記憶部３０１の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。優先特徴点抽出部３０２、画像取得部３０３、大域特徴点設定部３０４、局所特徴量計算部３０５、及び判定部３０６の機能は、上述したＣＰＵ９０２などを用いて実現できる。
（局所特徴点情報及び参照画像情報について）
記憶部３０１は、局所特徴点情報３０１ａ、及び参照画像情報３０１ｂを記憶している。また、記憶部３０１は、ランドマークの認識に用いる参照画像Ｐｒを記憶している。なお、局所特徴点情報３０１ａは、上述した局所特徴点情報１０１ａに対応する。また、参照画像情報３０１ｂは、上述した参照画像情報２０１ｂに対応する。
局所特徴点情報３０１ａは、予め設定したサイズの矩形領域に設定した局所特徴点の位置を表す位置情報を含む。例えば、矩形領域は、３２画素×３２画素などのサイズに設定される。また、局所特徴点はそれぞれ他の局所特徴点と対応付けられており、２つの局所特徴点で１つの点ペアを成している。つまり、局所特徴点情報３０１ａには複数の点ペアに関する位置情報が含まれる。また、点ペアＬk（ｋ＝１、２、…）には、それぞれ回転角度の情報が対応付けられる。
参照画像情報３０１ｂは、参照画像管理テーブル及び画像特徴量管理テーブルを含む。参照画像管理テーブルは、ランドマーク名と参照画像Ｐｒの画像データへのリンク（画像データリンク）とを対応付けるテーブルである。参照画像管理テーブルのレコードは、識別番号ＩＤ＃１により識別される。画像特徴量管理テーブルは、参照画像Ｐｒに設定された大域特徴点の座標と、参照画像Ｐｒの大域特徴点毎に計算された局所特徴量と、最小距離とを対応付けるテーブルである（図１０を参照）。
最小距離は、優先特徴点抽出部３０２により計算される。例えば、優先特徴点抽出部３０２は、Ｄｅｎｓｅ Ｓａｍｐｌｉｎｇにより参照画像ＰｒからＮ個の大域特徴点を抽出し、抽出した大域特徴点の周囲に局所領域Ａｒ001、…、ＡｒNを設定する。そして、優先特徴点抽出部２０２は、局所領域Ａｒ001、…、ＡｒNの局所特徴量を計算し、局所領域Ａｒi、Ａｒj（ｉ≠ｊ、ｉ，ｊ＝１，…，Ｎ）間で局所特徴量の距離（例えば、ハミング距離）を計算する。この距離は、局所領域Ａｒi、Ａｒj間の類似度の低さを示している。つまり、距離が小さいほど、類似度が高い。
次いで、優先特徴点抽出部３０２は、局所領域Ａｒ001、…、ＡｒNのそれぞれについて、計算した距離の最小値（最小距離）を抽出する。例えば、優先特徴点抽出部３０２は、ＩＤ＃２が００１の局所領域Ａｒ001と、他の局所領域Ａｒk（ｋ＝００２，…，Ｎ）との距離の中から最小距離を抽出し、画像特徴量管理テーブル（図１０を参照）に記録する。このようにして優先特徴点抽出部３０２により計算された最小距離は、画像特徴量管理テーブル（図１０を参照）に記録される。また、優先特徴点抽出部３０２は、最小距離が大きい順に画像特徴量管理テーブルのレコードをソートする。
（大域特徴点の設定について）
画像取得部３０３は、ランドマークの認識対象となる画像（入力画像Ｐｉｎ）を取得する。例えば、画像取得部３０３は、情報処理装置３００のカメラ機能又は情報処理装置３００に接続されたカメラを用いて入力画像Ｐｉｎを取得する。但し、画像取得部３０３は、ネットワークに接続された情報源又は情報処理装置３００にセットされた可搬性記録媒体から入力画像Ｐｉｎを取得してもよい。画像取得部３０３により取得された入力画像Ｐｉｎは、記憶部３０１に格納される。
記憶部３０１に格納された入力画像Ｐｉｎは、大域特徴点設定部３０４により読み出される。大域特徴点設定部３０４は、入力画像Ｐｉｎに大域特徴点Ｗf（ｆ＝１、２、…）を設定する。例えば、大域特徴点設定部３０４は、等間隔で特徴点を抽出するＤｅｎｓｅ Ｓａｍｐｌｉｎｇに基づいて入力画像Ｐｉｎに大域特徴点Ｗf（ｆ＝１、２、…）を設定する。なお、ＦＡＳＴに基づく設定方法などを採用することもできる。大域特徴点設定部３０４により設定された大域特徴点Ｗf（ｆ＝１、２、…）は、局所特徴量計算部３０５に入力される。
（局所特徴量の計算について）
局所特徴量計算部３０５は、局所特徴点情報３０１ａを利用して局所特徴量を計算する。まず、局所特徴量計算部３０５は、大域特徴点Ｗfの周辺に予め設定したサイズの矩形領域（局所領域Ａf）を設定する。局所領域Ａfのサイズは、例えば、局所特徴点を設定した矩形領域と同じサイズ（例えば、３２画素×３２画素など）に設定される。また、局所領域Ａfの中心が大域特徴点Ｗfに一致するように局所領域Ａfが設定されてもよい。
局所領域Ａfを設定した局所特徴量計算部３０５は、局所特徴点情報３０１ａを参照し、局所領域Ａfの画像（入力画像Ｐｉｎの一部）から局所特徴点が位置する画素の輝度値を抽出する。次いで、局所特徴量計算部３０５は、点ペアＬk（ｋ＝１、２、…）毎に輝度値の差分を計算する。次いで、局所特徴量計算部３０５は、計算した差分の符号が正値か負値かを判定し、正値の場合にはビット値１を出力し、負値の場合にはビット値０を出力する。
例えば、局所特徴量計算部３０５は、点ペアＬ1、Ｌ2、…の順に上記差分の符号に応じたビット値を決定し、決定したビット値を並べたビット列を局所特徴量として出力する。局所特徴量計算部３０５は、全ての大域特徴点Ｗf（ｆ＝１、２、…）について局所特徴量を計算し、計算結果を判定部３０６に入力する。
（範囲設定及び位置探索について）
判定部３０６は、入力画像Ｐｉｎの画像特徴量と、参照画像Ｐｒの画像特徴量（画像特徴量管理テーブルに記載された局所特徴量の集合）とを利用して、入力画像Ｐｉｎの中に参照画像Ｐｒが存在するか否かを判定する。判定部３０６は、類似度計算機能及び投票機能を有する。また、判定部３０６は、範囲設定部３６１及び位置探索部３６２を含む。
（範囲設定時の類似度計算について）
範囲設定部３６１は、入力画像Ｐｉｎの大域特徴点Ｗfに対応する局所領域Ａfと類似する参照画像Ｐｒ中の局所領域Ａｒlを検出する。このとき、範囲設定部３６１は、参照画像Ｐｒの一部（例えば、１／４など）に含まれる優先特徴点に対応する局所領域Ａｒlの中から、局所領域Ａfと類似する局所領域Ａｒlを検出する。そして、範囲設定部３６１は、入力画像Ｐｉｎの大域特徴点Ｗfに対応する参照画像Ｐｒの大域特徴点（対応特徴点）を決定する。
例えば、範囲設定部３６１は、画像特徴量管理テーブルを参照し、参照画像Ｐｒの一部に含まれる優先特徴点を１つ選択する。また、範囲設定部３６１は、入力画像Ｐｉｎから大域特徴点Ｗfを１つ選択する。次いで、範囲設定部３６１は、選択した大域特徴点Ｗfに対応する局所特徴量を画像特徴量から抽出する。次いで、範囲設定部３６１は、選択した優先特徴点の局所特徴量と、画像特徴量から抽出した局所特徴量との間の距離（例えば、ハミング距離）を計算する。
同様に、範囲設定部３６１は、入力画像Ｐｉｎに含まれる全ての大域特徴点Ｗfについて、優先特徴点の局所特徴量と、画像特徴量から抽出した局所特徴量との間の距離を計算する。そして、範囲設定部３６１は、選択した大域特徴点Ｗfと優先特徴点との組み合わせの中から距離が最小となる組み合わせを抽出する。
また、範囲設定部３６１は、抽出した組み合わせに対応する距離が予め設定した閾値よりも大きいか否かを判定する。対応する距離が予め設定した閾値より小さい場合、範囲設定部３６１は、その組み合わせに含まれる優先特徴点を、選択した大域特徴点Ｗfに対応する対応特徴点とする。一方、対応する距離が予め設定した閾値より大きい場合、範囲設定部３６１は、選択した大域特徴点Ｗfに対する対応特徴点が存在しないと判定する。
同様に、範囲設定部３６１は、参照画像Ｐｒの一部に含まれる全ての優先特徴点について入力画像Ｐｉｎに含まれる全ての大域特徴点Ｗfとの間の距離を計算し、対応特徴点となる優先特徴点と、入力画像Ｐｉｎの大域特徴点Ｗfとの組み合わせを抽出する。
（範囲設定時の投票処理について）
範囲設定部３６１は、抽出した全ての組み合わせについて、入力画像Ｐｉｎの大域特徴点Ｗfと対応特徴点とが一致するように参照画像Ｐｒを入力画像Ｐｉｎに重ねた場合の入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置（Ｘｖ，Ｙｖ）を計算する。次いで、範囲設定部３６１は、計算した参照画像Ｐｒの中心位置に基づく統計的手法により入力画像Ｐｉｎにおける参照画像Ｐｒの存在範囲を推定する。但し、ここで推定する参照画像Ｐｒの存在範囲は、参照画像Ｐｒの存在を前提とするものではなく、参照画像Ｐｒが存在する可能性のある範囲を意味する。
範囲設定部３６１は、例えば、統計的手法として、投票マップを用いる方法を利用する。この場合、範囲設定部３６１は、計算した参照画像Ｐｒの中心位置が投票マップのどの領域に位置するかを判定する。投票マップの各領域にはカウンタが設定されており、範囲設定部３６１は、参照画像Ｐｒの中心位置に対応する領域を検出した場合、検出した領域のカウンタを所定数だけカウントアップする。同様に、範囲設定部３６１は、全ての対応特徴点に対応する参照画像Ｐｒの中心位置について投票マップへのカウント処理を実行する。そして、範囲設定部３６１は、カウント値が最大の領域を投票マップから抽出する。
範囲設定部３６１は、投票マップから抽出した領域を基準に、参照画像Ｐｒの探索を行う探索範囲を入力画像Ｐｉｎに設定する。例えば、範囲設定部３６１は、投票マップから抽出した領域に参照画像Ｐｒの中心を重ねた場合に参照画像Ｐｒが占める範囲を計算し、その範囲を上下左右に拡大した範囲を探索範囲に設定する。但し、探索範囲は、入力画像Ｐｉｎの全範囲よりも狭い範囲である。なお、拡大の度合いは、例えば、予め設定された拡大率や拡大幅に基づいて決定される。
範囲設定部３６１により設定された探索範囲は、位置探索部３６２に通知される。位置探索部３６２は、探索範囲内で参照画像Ｐｒの存在及びその位置を検出する。
（位置探索時の類似度計算について）
位置探索部３６２は、探索範囲内の大域特徴点Ｗfに対応する局所領域Ａfと類似する参照画像Ｐｒ中の局所領域Ａｒlを検出する。このとき、位置探索部３６２は、参照画像Ｐｒに含まれる全ての大域特徴点Ｗｒlについて、大域特徴点Ｗｒlに対応する局所領域Ａｒlと類似する探索範囲内の局所領域Ａｆを検出する。
なお、参照画像Ｐｒの大域特徴点Ｗｒlのうち、参照画像Ｐｒの一部に含まれる優先特徴点については範囲設定部３６１により対応特徴点の検出が済んでいる。そのため、位置探索部３６２は、参照画像Ｐｒの大域特徴点Ｗｒlのうち、範囲設定部３６１が対応特徴点の検出時に用いていない大域特徴点Ｗｒlについて、探索範囲内の局所領域Ａfと類似する局所領域Ａｒlを検出する。そして、位置探索部３６２は、対応特徴点と入力画像Ｐｉｎの大域特徴点Ｗfとの組み合わせを決定する。
例えば、位置探索部３６２は、画像特徴量管理テーブルを参照し、参照画像Ｐｒに含まれる大域特徴点Ｗｒlを１つ選択する。また、位置探索部３６２は、探索範囲から大域特徴点Ｗfを１つ選択する。次いで、位置探索部３６２は、選択した大域特徴点Ｗfに対応する局所特徴量を画像特徴量から抽出する。次いで、位置探索部３６２は、選択した大域特徴点Ｗｒlの局所特徴量と、画像特徴量から抽出した局所特徴量との間の距離（例えば、ハミング距離）を計算する。
同様に、位置探索部３６２は、探索範囲に含まれる全ての大域特徴点Ｗfについて、大域特徴点Ｗｒlの局所特徴量と、画像特徴量から抽出した局所特徴量との間の距離を計算する。そして、位置探索部３６２は、選択した大域特徴点Ｗf、Ｗｒlの組み合わせの中から距離が最小となる組み合わせを抽出する。
また、位置探索部３６２は、抽出した組み合わせに対応する距離が予め設定した閾値よりも大きいか否かを判定する。対応する距離が予め設定した閾値より小さい場合、位置探索部３６２は、その組み合わせに含まれる大域特徴点Ｗｒlを、選択した大域特徴点Ｗfに対応する対応特徴点とする。一方、対応する距離が予め設定した閾値より大きい場合、位置探索部３６２は、選択した大域特徴点Ｗfに対する対応特徴点が存在しないと判定する。
同様に、位置探索部３６２は、参照画像Ｐｒに含まれる他の大域特徴点Ｗｒlについても探索範囲に含まれる全ての大域特徴点Ｗfとの間の距離を計算し、対応特徴点となる大域特徴点Ｗｒlと、探索範囲の大域特徴点Ｗfとの組み合わせを抽出する。さらに、位置探索部３６２は、範囲設定部３６１により検出された対応特徴点の情報（対応特徴点となる優先特徴点と探索範囲の大域特徴点Ｗfとの組み合わせ）を保持する。
（位置探索時の投票処理について）
位置探索部３６２は、抽出した組み合わせに基づいて、探索範囲の大域特徴点Ｗfと参照画像Ｐｒの対応特徴点とが一致するように参照画像Ｐｒを入力画像Ｐｉｎに重ねた場合の入力画像Ｐｉｎにおける参照画像Ｐｒの中心位置（Ｘｖ，Ｙｖ）を計算する。次いで、位置探索部３６２は、計算した参照画像Ｐｒの中心位置に基づく統計的手法により探索範囲内に参照画像Ｐｒが存在するか否かを判定する。例えば、位置探索部３６２は、計算した参照画像Ｐｒの中心位置が投票マップのどの領域に位置するかを判定する。
投票マップの各領域にはカウンタが設定されており、位置探索部３６２は、参照画像Ｐｒの中心位置に対応する領域を検出した場合、検出した領域のカウンタを所定数だけカウントアップする。なお、位置探索部３６２は、全ての対応特徴点に対応する参照画像Ｐｒの中心位置について投票マップへのカウント処理を実行する。カウント処理が完了すると、位置探索部３６２は、カウント値が最大の領域を投票マップから抽出し、抽出した領域に対応するカウント値と予め設定した閾値とを比較する。
カウント値が閾値よりも大きい場合、位置探索部３６２は、入力画像Ｐｉｎ中に参照画像Ｐｒに対応するランドマークが存在すると判定する。一方、カウント値が閾値よりも小さい場合、位置探索部３６２は、入力画像Ｐｉｎ中に参照画像Ｐｒに対応するランドマークが存在しないと判定する。このように、投票マップを利用して判定を行うことで、入力画像Ｐｉｎと参照画像Ｐｒとの間に、ある程度の差異があっても、ロバストな判定を行うことができる。
（判定結果の利用について）
判定部３０６は、入力画像Ｐｉｎに対するランドマークの認識結果を出力する。認識結果の出力方法としては、例えば、認識したランドマークの画像表示、ランドマークに関する情報表示、ランドマークの所在値を示す地図表示、ランドマークに関連する他のランドマークの表示などが考えられる。
また、判定部３０６は、入力画像Ｐｉｎにランドマークのタグ情報を付加し、ランドマーク毎に作成したフォルダに入力画像Ｐｉｎを格納したり、ランドマーク名をキーワードに入力画像Ｐｉｎを検索したりできるようにする。
以上、情報処理装置３００の機能について説明した。
以上、第２実施形態について説明した。
以上、添付図面を参照しながら好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。
例えば、上記説明においてはランドマークの認識機能を例に説明を進めてきたが、画像の類否判定を伴う任意のアプリケーションプログラムなどに応用することもできる。例えば、サーバ装置２００で顔認識を行うアプリケーションプログラムやＡＲ（Augmented Reality）を利用したアプリケーションプログラムなどにも応用できる。
＜３．付記＞
以上説明した実施形態に関し、さらに以下の付記を開示する。
（付記１） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部と、
前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて対象画像に含まれる前記参照画像の位置を特定し、特定した前記位置を基準に前記対象画像の全体よりも狭い探索範囲を設定し、設定した前記探索範囲を対象に前記参照画像の全体に含まれる前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する演算部と、
を有する、情報処理装置。
（付記２） 前記演算部は、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、
前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が小さい順に、設定した数の前記特徴領域を抽出し、
抽出した前記特徴領域のうち前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて前記対象画像に含まれる前記参照画像の位置を特定する
付記１に記載の情報処理装置。
（付記３） 前記演算部は、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、
前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が、設定した閾値よりも小さい前記特徴領域を抽出し、
抽出した前記特徴領域のうち前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて前記対象画像に含まれる前記参照画像の位置を特定する
付記１に記載の情報処理装置。
（付記４） 前記演算部は、
前記探索範囲を対象に前記参照画像の全体に含まれる全ての前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する
付記２又は３に記載の情報処理装置。
（付記５） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、前記特徴を取得可能なコンピュータが、
前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて対象画像に含まれる前記参照画像の位置を特定し、特定した前記位置を基準に前記対象画像の全体よりも狭い探索範囲を設定し、設定した前記探索範囲を対象に前記参照画像の全体に含まれる前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する
画像探索方法。
（付記６） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、前記特徴を取得可能なコンピュータに、
前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて対象画像に含まれる前記参照画像の位置を特定し、特定した前記位置を基準に前記対象画像の全体よりも狭い探索範囲を設定し、設定した前記探索範囲を対象に前記参照画像の全体に含まれる前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する
処理を実行させる、プログラム。
（付記７） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部と、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が小さい順に、設定した数の前記特徴領域を前記記憶部に記憶させる演算部と、
を有する、情報処理装置。
（付記８） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、前記特徴を取得可能なコンピュータが、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が小さい順に、設定した数の前記特徴領域を前記記憶部に記憶させる
情報処理方法。
（付記９） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、前記特徴を取得可能なコンピュータに、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が小さい順に、設定した数の前記特徴領域を前記記憶部に記憶させる
処理を実行させる、プログラム。
（付記１０） 付記６に記載のプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
（付記１１） 付記９に記載のプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
（付記１２） 前記参照画像の位置を特定する処理は、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、
前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が小さい順に、設定した数の前記特徴領域を抽出し、
抽出した前記特徴領域のうち前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて前記対象画像に含まれる前記参照画像の位置を特定する処理を含む、
付記５に記載の画像探索方法。
（付記１３） 前記参照画像の位置を特定する処理は、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、
前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が、設定した閾値よりも小さい前記特徴領域を抽出し、
抽出した前記特徴領域のうち前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて前記対象画像に含まれる前記参照画像の位置を特定する処理を含む、
付記５に記載の画像探索方法。
（付記１４） 前記参照画像の有無を判断する処理は、
前記探索範囲を対象に前記参照画像の全体に含まれる全ての前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する処理を含む、
付記１２又は１３に記載の画像探索方法。
（付記１５） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部と、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が、設定した閾値よりも小さい前記特徴領域を前記記憶部に記憶させる演算部と、
を有する、情報処理装置。
（付記１６） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、前記特徴を取得可能なコンピュータが、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が、設定した閾値よりも小さい前記特徴領域を前記記憶部に記憶させる
情報処理方法。
（付記１７） 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、前記特徴を取得可能なコンピュータに、
前記参照画像に含まれる前記特徴領域毎に当該参照画像に含まれる他の前記特徴領域との間で前記特徴の類似度を計算し、前記複数の特徴領域のそれぞれについて前記特徴領域毎に計算した前記類似度の最大値が、設定した閾値よりも小さい前記特徴領域を前記記憶部に記憶させる
処理を実行させる、プログラム。
（付記１８） 付記１７に記載のプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
１０ 情報処理装置
１１ 記憶部
１２ 演算部
Ｐｒ 参照画像
Ｐｏ 対象画像
Ａ1、…、ＡN 特徴領域
Ａｓ 探索範囲

Claims (5)

  1. 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部と、
    前記複数の特徴領域から選択した一の特徴領域と他の全ての特徴領域との間の類似度を計算して、計算した前記類似度の最大値を前記一の特徴領域の評価値として抽出する処理を前記参照画像の各特徴領域について実行し、
    前記評価値が小さい順に選択された所定数の特徴領域を用いて、前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて対象画像に含まれる前記参照画像の位置を特定し、特定した前記位置を基準に前記対象画像の全体よりも狭い探索範囲を設定し、設定した前記探索範囲を対象に前記参照画像の全体に含まれる前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する演算部と、
    を有する、情報処理装置。
  2. 前記演算部は、
    前記探索範囲を対象に前記参照画像の全体に含まれる全ての前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する
    請求項１に記載の情報処理装置。
  3. コンピュータが、
    参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、前記特徴を取得し、
    前記複数の特徴領域から選択した一の特徴領域と他の全ての特徴領域との間の類似度を計算して、計算した前記類似度の最大値を前記一の特徴領域の評価値として抽出する処理を前記参照画像の各特徴領域について実行し、
    前記評価値が小さい順に選択された所定数の特徴領域を用いて、前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて対象画像に含まれる前記参照画像の位置を特定し、特定した前記位置を基準に前記対象画像の全体よりも狭い探索範囲を設定し、設定した前記探索範囲を対象に前記参照画像の全体に含まれる前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する
    画像探索方法。
  4. コンピュータに、
    参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部から、前記特徴を取得し、
    前記複数の特徴領域から選択した一の特徴領域と他の全ての特徴領域との間の類似度を計算して、計算した前記類似度の最大値を前記一の特徴領域の評価値として抽出する処理を前記参照画像の各特徴領域について実行し、
    前記評価値が小さい順に選択された所定数の特徴領域を用いて、前記参照画像の一部に含まれる前記特徴領域の前記特徴に基づいて対象画像に含まれる前記参照画像の位置を特定し、特定した前記位置を基準に前記対象画像の全体よりも狭い探索範囲を設定し、設定した前記探索範囲を対象に前記参照画像の全体に含まれる前記特徴領域の前記特徴に基づいて前記参照画像の有無を判断する
    処理を実行させる、プログラム。
  5. 参照画像に設定された複数の特徴領域がそれぞれ有する特徴を記憶する記憶部と、
    前記複数の特徴領域から選択した一の特徴領域と他の全ての特徴領域との間の類似度を計算して、計算した前記類似度の最大値を前記一の特徴領域の評価値として抽出する処理を前記参照画像の各特徴領域について実行し、前記評価値が小さい順に所定数の特徴領域を選択する演算部と、
    を有する、情報処理装置。
JP2013263159A 2013-12-20 2013-12-20 情報処理装置、画像探索方法、及びプログラム Expired - Fee Related JP6244887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013263159A JP6244887B2 (ja) 2013-12-20 2013-12-20 情報処理装置、画像探索方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013263159A JP6244887B2 (ja) 2013-12-20 2013-12-20 情報処理装置、画像探索方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015118644A JP2015118644A (ja) 2015-06-25
JP6244887B2 true JP6244887B2 (ja) 2017-12-13

Family

ID=53531273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013263159A Expired - Fee Related JP6244887B2 (ja) 2013-12-20 2013-12-20 情報処理装置、画像探索方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6244887B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6997369B2 (ja) * 2017-02-28 2022-02-04 富士通株式会社 プログラム、測距方法、及び測距装置
JP6955156B2 (ja) * 2017-10-23 2021-10-27 富士通株式会社 画像処理プログラム、画像処理装置および画像処理方法
CN114140613A (zh) * 2021-12-08 2022-03-04 北京有竹居网络技术有限公司 图像检测方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000124281A (ja) * 1998-10-20 2000-04-28 Hitachi Ltd パターンサーチ方法及びパターンサーチ装置
JP4867620B2 (ja) * 2006-11-28 2012-02-01 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP2009169884A (ja) * 2008-01-21 2009-07-30 Fujifilm Corp 撮影装置および撮影装置の制御方法、画像再生装置および方法並びにプログラム

Also Published As

Publication number Publication date
JP2015118644A (ja) 2015-06-25

Similar Documents

Publication Publication Date Title
CN109582880B (zh) 兴趣点信息处理方法、装置、终端及存储介质
KR101810578B1 (ko) 셔터 클릭을 통한 자동 미디어 공유
US9076069B2 (en) Registering metadata apparatus
JP5563494B2 (ja) 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム
JP6211407B2 (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
JP2009003415A (ja) 地図データ更新方法および装置
WO2016149918A1 (zh) 用户地理位置的确定
CN114743026B (zh) 目标对象的方位检测方法、装置、设备及计算机可读介质
JP2016110232A (ja) 対象認識装置、対象認識方法、およびプログラム
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
US10528844B2 (en) Method and apparatus for distance measurement
Chen et al. Building book inventories using smartphones
JP5430636B2 (ja) データ取得装置、方法及びプログラム
JP6347155B2 (ja) 画像処理装置、画像判断方法、及びプログラム
CN111832579A (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
JP5536124B2 (ja) 画像処理システム及び画像処理方法
JP6244887B2 (ja) 情報処理装置、画像探索方法、及びプログラム
CN111368128A (zh) 目标图片的识别方法、装置和计算机可读存储介质
CN103744903A (zh) 一种基于草图的场景图像检索方法
JP2018180879A (ja) 物体認識装置、物体認識システム、及び物体認識方法
JP6281207B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114758124B (zh) 目标对象的遮挡检测方法、装置、设备及计算机可读介质
JP2015022631A (ja) 情報処理装置、情報処理システム及びプログラム
JP2019016128A (ja) 画像類否判断プログラム、画像類否判断装置および画像類否判断方法
JP2016045538A (ja) 情報処理装置、画像判定方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171030

R150 Certificate of patent or registration of utility model

Ref document number: 6244887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees