JP6171660B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

画像検索の技術において、画像検索を要求する検索キーとしてのクエリ画像と、データベースに登録された検索対象の画像とを比較する場合に、各画像から特徴点を検出して、特徴点同士の対応（マッチング）を取る方法が用いられることがある。特許文献１は、特徴点同士の対応を決定する際の誤りを抑制するために、比較される２つの画像をそれぞれ複数の縮小率で縮小して、各画像中のオブジェクトの大きさが近くなる関係を判定し、判定した関係に近い画像から抽出した特徴点ほど優先度を高くして類似度を算出することを開示している。

特開２０１０−１０２５０１号公報

本発明の目的は、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることである。

本発明の請求項１に係る情報処理装置は、第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録する登録処理部と、クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、前記比較部での比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断する判断部とを備え、前記登録処理部は、前記検索対象特徴量を前記第２の特徴量とし、前記第１の特徴量と対応づけて、前記データベースへ登録する。

本発明の請求項２に係る情報処理装置は、請求項１に記載の構成において、前記登録処理部は、前記クエリ画像が前記第１の画像に類似すると判断した結果の信頼度が、予め決められた値である場合に、前記検索対象特徴量を前記データベースへ登録することを特徴とする。

本発明の請求項３に係る情報処理システムは、ユーザに使用される通信端末と、前記通信端末と通信する情報処理装置とを備え、前記通信端末は、撮影する撮影部と、前記撮影部の撮影により得られた画像に基づいて、前記情報処理装置へクエリ画像を送信するクエリ画像送信部とを有し、前記情報処理装置は、前記クエリ画像送信部により送信されたクエリ画像を受信するクエリ画像受信部と、第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録する登録処理部と、前記クエリ画像受信部により受信されたクエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、前記比較部での比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断する判断部と、前記判断部により前記クエリ画像に類似すると判断された前記第１の画像に応じた情報を、前記通信端末へ出力する出力部とを有し、前記登録処理部は、前記検索対象特徴量を前記第２の特徴量とし、前記第１の特徴量と対応付けて、前記データベースへ登録する。

本発明の請求項４に係るプログラムは、コンピュータに、第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録するステップと、クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出するステップと、抽出した前記検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較するステップと、前記比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断するステップとを実行させ、前記登録するステップは、前記検索対象特徴量を前記第２の特徴量とし、前記第１の特徴量と対応付けて、前記データベースへ登録するプログラムである。

請求項１，３，４に係る発明によれば、第１の画像の特徴量である第１の特徴量とは異なる第２の特徴量を用いないで、第１の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。
請求項２に係る発明によれば、クエリ画像に類似する画像の判断の精度の向上に寄与する検索対象特徴量をデータベースに登録することができる。

第１実施形態の画像検索システムの全体構成を示す図。 ＥＭＭの概要を説明する図。 同実施形態のユーザ端末のハードウェア構成を示すブロック図。 同実施形態の画像検索サーバのハードウェア構成を示すブロック図。 同実施形態の特徴量ＤＢの構成例を示す図。 同実施形態のコンテンツＤＢの構成例を示す図。 同実施形態のユーザ端末及び画像検索サーバの機能ブロック図。 同実施形態の画像検索システムで実行される処理を示すシーケンス図。 同実施形態の登録処理の流れを示すフローチャート。 同実施形態の登録処理における特徴点の抽出及び登録の具体例の説明図。 同実施形態の検索処理の流れを示すフローチャート。 同実施形態の検索処理における特徴点の抽出及び使用の具体例の説明図。 第２実施形態の画像検索システムで実行される処理を示すシーケンス図。 同画像検索システムで実行される処理の他の例を示すシーケンス図。

本発明の実施の形態について図面を参照しつつ説明する。
［第１実施形態］
図１は、第１実施形態の画像検索システム１の全体構成を示す図である。図１に示すように、画像検索システム１は、ユーザ端末１０と、画像検索サーバ２０と、登録端末３０とを備え、画像検索を行うための情報処理システムである。図１には、ユーザ端末１０及び登録端末３０をそれぞれ１つだけ図示しているが、実際にはより多数存在する。ユーザ端末１０、画像検索サーバ２０及び登録端末３０の各々は、通信回線１００に接続して相互に通信する。通信回線１００は、例えばインターネットを含む通信回線であるが、通信回線の種類については特に問わない。

ユーザ端末１０は、撮影機能（カメラ機能）を有する通信端末であり、図１に示す印刷物４０を撮影し、画像検索を要求するクエリ画像を、画像検索サーバ２０へ送信する。クエリ画像は、画像検索サーバ２０で実行される画像検索の検索キーとなる画像データで、画像検索サーバ２０に対する画像検索の実行要求を画像により表現したデータである。画像検索サーバ２０は、ユーザ端末１０から受信したクエリ画像に類似する画像（後述する登録画像）を検索するための情報処理を行う情報処理装置である。印刷物４０は、例えば広告やパンフレット、雑誌の誌面であり、媒体（例えば紙媒体）上に文字や写真等の画像要素が印刷された印刷物である。印刷物４０では、この画像要素に重ねて、埋め込み型メディアマーカ（ＥＭＭ；Embedded Media Markers）と呼ばれるマーカ４１が印刷されている。マーカ４１は、印刷物４０の画像要素にデジタルコンテンツが関連付けられていることの目印である。マーカ４１は、印刷物４０の画像要素をユーザが視認する際の妨げとならないように、比較的薄い色を用いて印刷される。登録端末３０は、例えばコンテンツプロバイダにより使用され、ＥＭＭに関する情報及びデジタルコンテンツに関する情報を、画像検索サーバ２０に登録するための通信端末である。
なお、ユーザ端末１０は、ここではスマートフォンであるが、携帯電話端末やタブレット端末、ノート型パソコン、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機等の、撮影機能を有する他の通信端末であってもよい。また、登録端末３０は、例えばパーソナル・コンピュータであるが、その他の通信端末であってもよい。

図２は、ＥＭＭの概要を説明する図である。
図２（ａ）には、マーカ４１の模式図が示されている。図２（ａ）に示すように、マーカ４１は、特徴境界４１１と、アンカーポイント４１２と、メディアアイコン４１３とで構成される。特徴境界４１１は、ここでは円形の線画像によって表され、印刷物４０の画像要素を内側に含む。図２（ｂ）に示すように、ユーザ端末１０のユーザは、印刷物４０を撮影する際に、マーカ４１の全体が撮影範囲に含まれるようにユーザ端末１０を操作する。アンカーポイント４１２は、デジタルコンテンツを関連付ける画像要素の位置を特定する位置情報に相当する。メディアアイコン４１３は、デジタルコンテンツの種類を識別可能なアイコンである。メディアアイコン４１３は、ここではビデオカメラを模したアイコン画像であるが、このアイコン画像はデジタルコンテンツが動画コンテンツであることを意味する。この場合、マーカ４１を撮影したユーザ端末１０は、図２（ｃ）に示すように、画像検索サーバ２０から提供された動画コンテンツを再生して動画像Ｃを表示する。動画コンテンツは、印刷物４０の画像要素に関連した内容のデジタルコンテンツである。
なお、マーカ４１に関連付けられるデジタルコンテンツは、静止画コンテンツやＷｅｂコンテンツその他のデジタルコンテンツであってもよい。

図３は、ユーザ端末１０のハードウェア構成を示すブロック図である。図３に示すように、ユーザ端末１０は、制御部１１と、ＵＩ（User Interface）部１２と、通信部１３と、撮影部１４と、記憶部１５とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)及びＲＡＭ（Random Access Memory）を有するプロセッサを備える。ＣＰＵは、ＲＯＭや記憶部１５に記憶された制御プログラムをＲＡＭに読み出して実行することにより、ユーザ端末１０の各部を制御する。また、制御部１１は、ＡＳＩＣ（Application Specific Integrated Circuit）で例示される画像処理部を備え、この画像処理部により画像処理を行う。ＵＩ部１２は、ＧＵＩ（Graphical User Interface）を提供する操作表示部であり、表示面に画像を表示する表示パネルと、この表示面に重ねて設けられユーザに操作されるタッチスクリーンとを備える。
なお、ユーザ端末１０は、物理キー等の操作を受け付ける他の操作手段を有していてもよいし、音声入力操作を受け付ける機能を有していてもよい。

通信部１３は、通信回線１００に接続して通信するためのインタフェースを有する。撮影部１４は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有する撮影装置であり、撮影した画像である撮影画像（静止画像又は動画像）を生成する。撮影部１４の撮影レンズ（図示略）は、ここではユーザ端末１０の背面側に設けられる。記憶部１５は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やフラッシュメモリ等の記憶装置を備え、制御部１１により実行されるＯＳ（Operating System）やその他のプログラムを記憶する。

図４は、画像検索サーバ２０のハードウェア構成を示すブロック図である。図４に示すように、画像検索サーバ２０は、制御部２１と、通信部２２と、記憶部２３とを備える。
制御部２１は、ＣＰＵ、ＲＯＭ及びＲＡＭを有するプロセッサを備える。ＣＰＵは、ＲＯＭや記憶部２３に記憶された制御プログラムをＲＡＭに読み出して実行することにより、画像検索サーバ２０の各部を制御する。また、制御部２１は、ＡＳＩＣで例示される画像処理部を備え、この画像処理部により画像処理を行う。通信部２２は、通信回線１００に接続して通信するためのインタフェースある。記憶部２３は、例えばハードディスク装置を有する記憶装置であり、制御部２１により実行されるプログラムを記憶する。また、記憶部２３は、特徴量ＤＢ（Data Base）２３１及びコンテンツＤＢ２３２を有している。特徴量ＤＢ２３１は、検索される対象である登録画像（第１の画像の一例）の特徴を表す特徴量を登録したデータベースである。コンテンツＤＢ２３２は、登録画像毎に、その登録画像に対応付けられたコンテンツ情報を登録したデータベースである。

図５は、特徴量ＤＢ２３１の構成例を示す図である。
図５に示すように、特徴量ＤＢ２３１には、各々の登録画像を一意に識別する識別子である画像識別子と、この登録画像の特徴点毎の特徴量（具体的には、局所特徴量）とが対応付けて登録されている。局所特徴量は、画像に含まれる特徴点の局所的な特徴を表す特徴量である。局所特徴量は、ここでは、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量である。ＳＩＦＴ特徴量は、画素の代表輝度勾配方向を決定し、その方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトル（例えば１２８次元のベクトル）で記述される局所特徴量である。ＳＩＦＴ特徴量は、例えば、“永橋、藤吉、金出「領域分割に基づくＳＩＦＴ特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年1月）”に記載されているとおり周知であり、その詳細な説明を省略する。

図５に示す例では、特徴量ＤＢ２３１において、画像識別子「ＩＤ０００１」の登録画像Ｉｓについて、ｐ１，ｐ２，・・・，ｐｍ（ｍは整数）というｍ個の特徴点の局所特徴量が、特徴量ＤＢ２３１に登録されている。以下の説明では、ｐ１，ｐ２，・・・，ｐｍのｍ個の特徴点の各々を特に区別する必要がないときには、これらを「特徴点ｐ」と総称する。また、特徴量ＤＢ２３１において、同一のレコード（行）で対応付けられた複数の局所特徴量の各々は、登録画像の同一の特徴点に対応している。この複数の局所特徴量は、具体的には、局所特徴量Ｖｓ、及び、対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎ（ｎは整数）を含んで構成される。局所特徴量Ｖｓは、登録画像Ｉｓから検出された特徴点ｐの局所特徴量（第１の特徴量の一例）である。

対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの各々は、特徴量ＤＢ２３１で同一のレコードで対応付けられた局所特徴量Ｖｓとは異なる特徴量（第２の特徴量の一例）である。対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの各々は、登録画像Ｉｓに画像変換処理を施して生成された画像（以下、「変換画像」という。）Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎ（第２の画像の一例）からそれぞれ抽出される。対応特徴量Ｖｔ１は変換画像Ｉｔ１から抽出され、対応特徴量Ｖｔ２は変換画像Ｉｔ２から抽出されるという具合に、符号の末尾の値が同じ対応特徴量と変換画像とが対応している。また、特徴量ＤＢ２３１で同一のレコードで対応付けられた対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの各々は、同一の特徴点ｐに対応する特徴点（以下、「対応特徴点」という。）の局所特徴量である。特徴点ｐの対応特徴点は、この特徴点ｐの画像変換処理後の座標により特定される。

ところで、上述の変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎは、各々異なる画像変換処理によって生成される。図５に示す変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎのうち、矩形以外の形状で表した変換画像は、登録画像Ｉｓを台形状又は平行四辺形状に変形させる歪みを与える画像変換処理（以下、「変形処理」という。）を施して生成される。また、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎのうち、斜線部又はドット部を付して表した変換画像は、登録画像Ｉｓの明るさ（例えば明度や輝度）を変換する画像変換処理（以下、「明るさ変換処理」という。）を施して生成される。
なお、特徴量ＤＢ２３１では、登録画像毎に局所特徴量が登録される特徴点の数が異なっていてもよいし、特徴点毎に対応特徴量の数が異なっていてもよい。

図６は、コンテンツＤＢ２３２の構成例を示す図である。
図６に示すように、コンテンツＤＢ２３２には、画像識別子とコンテンツ情報とが対応付けて登録されている。画像識別子は、特徴量ＤＢ２３１に登録される画像識別子と共通する。コンテンツ情報は、画像検索サーバ２０からユーザ端末１０へと提供されるデジタルコンテンツを示す情報である。コンテンツ情報は、ここでは、デジタルコンテンツの格納場所を示すＵＲＩ（Uniform Resource Identifier）等のアクセス先の情報であるが、デジタルコンテンツ自体を示す情報であってもよい。
なお、この実施形態では、画像検索サーバ２０が特徴量ＤＢ２３１及びコンテンツＤＢ２３２を有しているが、特徴量ＤＢ２３１及びコンテンツＤＢ２３２の一方又は両方が、画像検索サーバ２０の外部のデータベースによって実現されてもよい。

図７は、ユーザ端末１０及び画像検索サーバ２０の機能構成を示すブロック図である。図７に示すように、画像検索サーバ２０は、プログラムを実行することにより、登録画像受信部２０１と、抽出部２０２と、生成部２０３と、登録処理部２０４と、クエリ画像受信部２０５と、検索処理部２０６と、コンテンツ情報出力部２０７とに相当する機能を実現する。ユーザ端末１０は、プログラムを実行することにより、撮影画像取得部１０１と、クエリ画像送信部１０２と、コンテンツ情報受信部１０３とに相当する機能を実現する。

画像検索サーバ２０の登録画像受信部２０１は、登録端末３０から登録要求があった登録画像を受信する。
抽出部２０２は、供給された画像から特徴点を検出し、検出した特徴点の局所特徴量を抽出する。例えば、抽出部２０２は、登録画像受信部２０１から供給された登録画像Ｉｓから局所特徴量Ｖｓを抽出する。また、抽出部２０２は、生成部２０３により生成された変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの各々から、対応特徴点の対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎをそれぞれ抽出する。また、抽出部２０２は、クエリ画像受信部２０５から供給されたクエリ画像の特徴点の局所特徴量（以下、「検索対象特徴量」という。）を抽出する。検索対象特徴量は、クエリ画像と類似する登録画像を検索する際に使用される。

生成部２０３は、登録要求があった登録画像Ｉｓに画像変換処理を施して、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎをそれぞれ生成する。例えば、生成部２０３は、登録画像Ｉｓに、変形処理又は明るさ変換処理を施して、変換画像を生成する。変形処理では、生成部２０３は、画像の変形方向（水平方向又は／及び垂直方向）及び変形度合いの少なくとも一方を各々異ならせて、複数の変換画像を生成する。明るさ変換処理では、生成部２０３は、画像の明るさを変化させる方向（暗くする方向又は明るくする方向）及び明るさの変化度合いの少なくとも一方を各々異ならせて、複数の変換画像を生成する。

登録処理部２０４は、登録画像受信部２０１により受信された登録画像Ｉｓの特徴点ｐ毎に、この登録画像Ｉｓから抽出された局所特徴量Ｖｓと、この登録画像Ｉｓに基づいて生成される変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの各々から抽出された対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎとを、特徴量ＤＢ２３１へ登録する。この際、登録処理部２０４は、特徴点ｐの局所特徴量Ｖｓと、この特徴点ｐの対応特徴点の対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎとを同じレコードで対応付けて、特徴量ＤＢ２３１へ登録する。

ユーザ端末１０の撮影画像取得部１０１は、撮影部１４の撮影により得られた画像である撮影画像を取得する。
クエリ画像送信部１０２は、撮影画像取得部１０１が取得した撮影画像に基づいて、画像検索サーバ２０へクエリ画像を送信する。

画像検索サーバ２０のクエリ画像受信部２０５は、クエリ画像送信部１０２により送信されたクエリ画像を受信する。
検索処理部２０６は、クエリ画像送信部１０２により送信されたクエリ画像に類似する登録画像を、特徴量ＤＢ２３１に基づいて検索する。検索処理部２０６の機能は、比較部２０６１と、判断部２０６２とに大別される。

比較部２０６１は、抽出部２０２が抽出した検索対象特徴量と、特徴量ＤＢ２３１に登録されている予め定められた特徴量の各々とを比較する。比較部２０６１は、特徴量ＤＢ２３１に登録されたすべての特徴量を検索範囲として検索対象特徴量と比較してもよいし、特徴量ＤＢ２３１に登録された一部の特徴量を検索範囲（例えば、ユーザ権限で絞られた特徴量の範囲）として検索対象特徴量と比較してもよい。ここにおいて、比較部２０６１は、クエリ画像の特徴点毎に、抽出部２０２が抽出したクエリ画像の検索対象特徴量を、検索範囲に含まれる局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎのそれぞれと比較する。この比較に際して、比較部２０６１は、クエリ画像の特徴点毎に、局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎとの局所特徴量の類似度をそれぞれ算出する。類似度の算出アルゴリズムについては特に問わないが、比較される特徴量同士の差分が小さいほど類似度が大きくなり、特徴量同士の差分が大きいほど類似度が小さくなる。

判断部２０６２は、比較部２０６１での比較結果に基づいて、クエリ画像に類似する登録画像を判断する。ここにおいて、判断部２０６２は、登録画像から抽出された局所特徴量Ｖｓのみならず、検索対象特徴量が対応特徴量と類似する結果を得た場合にも、登録画像とクエリ画像とが類似すると判断する。
この判断に際して、判断部２０６２は、比較部２０６１での比較結果に基づいて、登録画像Ｉｓの特徴点ｐの中から、クエリ画像の各特徴点の対応点を決定する。例えば、判断部２０６２は、比較部２０６１により類似度に基づいて、クエリ画像の特徴点毎に、類似度が最も高い特徴点ｐを対応点に決定する。そして、判断部２０６２は、決定した対応点に基づいて、クエリ画像に類似する登録画像を判断する。例えば、判断部２０６２は、対応点が最も多い登録画像Ｉｓを判断する。

コンテンツ情報出力部２０７（出力部の一例）は、判断部２０６２がクエリ画像に類似すると判断した登録画像に対応付けられたコンテンツ情報を、ユーザ端末１０へ出力する。コンテンツ情報出力部２０７は、判断部２０６２が類似すると判断した登録画像の画像識別子に対応付けられたコンテンツ情報を、コンテンツＤＢ２３２から取得して、ユーザ端末１０へ送信出力する。
ユーザ端末１０のコンテンツ情報受信部１０３は、コンテンツ情報出力部２０７によりされたコンテンツ情報を受信する。

図８は、画像検索システム１で実行される処理の流れを示すシーケンス図である。
登録端末３０は、利用者により画像検索サーバ２０への登録を指示する操作が行われると、登録したい登録画像の登録要求を、画像検索サーバ２０へ送信する（ステップＳ１）。画像検索サーバ２０の制御部２１は、通信部２２により登録要求を受信すると、登録処理を実行する（ステップＳ２）。登録処理は、登録要求があった登録画像についてデータを、特徴量ＤＢ２３１及びコンテンツＤＢ２３２へ登録する処理である。

図９は、登録処理の流れを示すフローチャートである。図１０は、登録処理における特徴点の抽出及び登録の具体例を説明する図である。図１０及び後で説明する図１２において、特徴点（対応特徴点）に関連付けて「ａ（ｂ）」と付しているのは、特徴点ａの局所特徴量がｂであることを意味する。
画像検索サーバ２０の制御部２１は、登録要求に含まれる登録画像Ｉｓを取得する（ステップＳ２１）。制御部２１は、取得した登録画像Ｉｓから特徴点ｐを検出し、各特徴点ｐの局所特徴量Ｖｓを抽出する（ステップＳ２２）。ここで、制御部２１が、図１０（ａ）に示す登録画像Ｉｓを取得した場合を考える。この場合、制御部２１は、図１０（ｂ）に示すように、登録画像Ｉｓのエッジやコーナー等の特徴点ｐ（「●」（黒丸印）で表す。）を検出して、検出した特徴点ｐの局所特徴量を抽出する。図１０（ｂ）には、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「ｐ（Ｖｓ）」という符号を付している。

制御部２１は、ステップＳ２２の処理で抽出した特徴点ｐの局所特徴量Ｖｓを、特徴量ＤＢ２３１へ登録する（ステップＳ２３）。ここにおいて、制御部２１は、ステップＳ２１の処理で取得した登録画像Ｉｓに画像識別子を割り当てて、それぞれ異なるレコードで、ｍ個の局所特徴量Ｖｓをそれぞれ登録する。図５を用いて説明すると、制御部２１は、画像識別子は「ＩＤ０００１」を特徴量ＤＢ２３１に書き込んだ後、この画像識別子「ＩＤ０００１」に対応付けて、特徴点ｐ１，ｐ２，・・・，ｐｍの各々の局所特徴量Ｖｓを登録する。

次に、制御部２１は、登録要求があった登録画像Ｉｓに画像変換処理を施して、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎをそれぞれ生成する（ステップＳ２４）。例えば、制御部１１は、図５に示すように、登録画像Ｉｓに対して、変形処理や明るさ変換処理を施して、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎを生成する。

次に、制御部２１は、ステップＳ２４の処理で生成した変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの各々から対応特徴点を検出して、検出した対応特徴点における対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎをそれぞれ抽出する（ステップＳ２５）。
次に、制御部２１は、検出対象画像Ｉｓから抽出した特徴点ｐの局所特徴量Ｖｓを、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎにおける対応特徴点の対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎと同じレコードで対応付けて、特徴量ＤＢ２３１へ登録する（ステップＳ２６）。この結果、図１０（ｃ）に示すように、各特徴点ｐの局所特徴量Ｖｓと対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎとが、特徴量ＤＢ２３１に対応付けて登録される。変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの各々は、画像変換処理に応じて登録画像Ｉｓとの間に差分を含んでいる。この画像同士の差分に応じて、登録画像Ｉｓと変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎとでは、互いに対応する特徴点同士で局所特徴量が異なることがある。この局所特徴量同士の差異は、登録画像及び画像変換処理のアルゴリズムに応じた大きさとなると考えられる。

ステップＳ２４の処理で実行される画像変換処理は、カメラ撮影をしたときの撮影方法や撮影環境を原因として撮影画像に発生し得る変化を、検出対象画像に反映させるために実行される。例えば、カメラ撮影したときに撮影装置が水平方向に傾いていると、水平方向に台形歪みが発生した撮影画像が得られ、撮影装置が垂直方向に傾いていると、垂直方向に台形歪みが発生した撮影画像が得られることがある。また、暗い環境で撮影された場合には、比較的暗い撮影画像が得られ、反対に、明るい環境で撮影された場合には、比較的明るい撮影画像が得られる。すなわち、ユーザ端末１０を使用して撮影をした場合、撮影方法や撮影環境を原因として、クエリ画像が変化することがある。このクエリ画像の変化によって、クエリ画像と類似する登録画像の判断の精度（つまり検索精度）が低下するのを抑えるために、画像検索サーバ２０は変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの局所特徴量を特徴量ＤＢ２３１に登録しておく。
なお、画像検索サーバ２０の制御部２１は、特徴量ＤＢ２３１へ登録画像に関するデータを登録するとともに、この登録画像に関連付けられたデジタルコンテンツについてのコンテンツ情報を、コンテンツＤＢ２３２へ登録する。
登録処理の説明は以上である。制御部２１は、登録画像を特徴量ＤＢ２３１へ登録するたびに、上記手順の処理を実行する。

図８の説明に戻る。
ユーザ端末１０のユーザが、自身のユーザ端末１０を使用して印刷物４０を撮影したとする。この場合、ユーザ端末１０の制御部１１は、撮影部１４により印刷物４０を撮影し、この撮影により得られた撮影画像に基づいて撮影画像を取得する（ステップＳ３）。そして、制御部１１は、取得した撮影画像に基づいて、クエリ画像を通信部１３により画像検索サーバ２０へ送信する（ステップＳ４）。
画像検索サーバ２０の制御部２１は、クエリ画像を通信部２２により受信すると、このクエリ画像に基づいて検索処理を実行する（ステップＳ５）。この検索処理は、クエリ画像に類似する登録画像を、特徴量ＤＢ２３１に登録された局所特徴量に基づいて検索する処理である。

図１１は、検索処理の流れを示すフローチャートである。図１２は、検索処理における特徴点の抽出及び使用の具体例を説明する図である。
まず、制御部２１は、クエリ画像を取得すると（ステップＳ５１）、取得したクエリ画像から検索対象特徴量を抽出する（ステップＳ５２）。例えば、図１２に示すように、制御部２１は、クエリ画像Ｉｑを取得し、特徴点ｐｑの検索対象特徴量としてＶｑを抽出する。図１２では、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「ｐｑ（Ｖｑ）」という符号を付している。

次に、制御部２１は、抽出したクエリ画像Ｉｑの特徴点ｐｑの検索対象特徴量Ｖｑを、特徴量ＤＢ２３１に登録されている、検索範囲に属する局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎのそれぞれと比較する（ステップＳ５３）。制御部２１は、クエリ画像Ｉｑの特徴点ｐｑ毎に、検索対象特徴量Ｖｑと、局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの各々との類似度を算出する。
そして、制御部２１は、ステップＳ５３の処理の比較結果に基づいて、登録画像Ｉｓの特徴点ｐの中から、クエリ画像Ｉｑの特徴点ｐｑの対応点を決定する（ステップＳ５４）。この際、制御部２１は、各特徴点ｐｑについて、特徴量ＤＢ２３１に登録された局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎのうち、クエリ画像Ｉｑの検索対象特徴量Ｖｑとの類似度がより高いものを選択する。例えば、図１２に示すように、特徴点ｐｑの検索対象特徴量Ｖｑとの類似度が最も高い局所特徴量が、変換画像Ｉｔ１の対応特徴量Ｖｔ１である場合を考える。この場合、制御部１１は、特徴量ＤＢ２３１で、この対応特徴量Ｖｔ１と同じレコードで対応付けられた局所特徴量Ｖｓに同類似度で一致したと判定して、対応点を決定する。クエリ画像Ｉｑの検索対象特徴量Ｖｑが、他の対応特徴量と一致した場合にも、制御部２１は、特徴量ＤＢ２３１でこの対応特徴量と同じレコードで対応付けられた局所特徴量Ｖｓに一致したと判定する。

そして、制御部２１は、決定した対応点に基づいて、クエリ画像Ｉｑに類似する登録画像Ｉｓを判断する（ステップＳ５５）。例えば、制御部２１は、決定した対応点の数が最も多い登録画像Ｉｓを検索結果とするように判断する。ここにおいて、制御部２１は、対応点の数が閾値以上であることを、登録画像Ｉｓの検索結果の判断の条件とすることが望ましい。
そして、制御部２１は、クエリ画像Ｉｑに類似すると判断した登録画像Ｉｓの画像識別子に対応付けられたコンテンツ情報を、コンテンツＤＢ２３２から取得する（ステップＳ５６）。例えば、画像識別子「ＩＤ０００１」の登録画像が検索結果である場合、制御部２１は、コンテンツ情報「Ｃ０００１」を取得する。
検索処理の説明は以上である。画像検索サーバ２０は、クエリ画像を受信するたびに上記手順の処理を実行する。

図８の説明に戻る。
検索処理を終了すると、画像検索サーバ２０の制御部２１は、ステップＳ５５の処理でコンテンツＤＢ２３２から取得したコンテンツ情報を、通信部２２によりユーザ端末１０へ送信出力する（ステップＳ６）。ユーザ端末１０の制御部１１は、通信部１３によりコンテンツ情報を受信すると、受信したコンテンツ情報に基づいてデジタルコンテンツを取得して表示する（ステップＳ７）。

以上説明した第１実施形態の画像検索システム１では、画像検索サーバ２０は、特徴点の局所特徴量Ｖｓだけではなく、撮影部１４の撮影により発生し得る撮影画像の変化を反映させた対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎを使用して、検索処理を行う。このため、印刷物４０を撮影して得たクエリ画像に、ユーザ端末１０の撮影方法に起因する画像歪みが含まれていたり、撮影環境に起因する明るさの変化が含まれていたりした場合であっても、画像検索システム１によれば、クエリ画像を原因とした検索精度の低下が抑制される。
また、画像検索サーバ２０は、クエリ画像の特徴点毎に、局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの中から、検索対象特徴量との類似度がより高いものを選択して、クエリ画像の特徴点の対応点を決定する。このため、画像検索システム１によれば、クエリ画像の画像内の各位置で、画像歪みの度合いにばらつきがあったり、明暗にばらつきがあったりした場合であっても、検索精度の低下が抑制される。

［第２実施形態］
次に、本発明の第２実施形態を説明する。
この第２実施形態の画像検索システム１は、上述した第１実施形態の画像検索システム１の機能に加えて、クエリ画像から抽出した特徴量を対応特徴量として、特徴量ＤＢ２３１に登録する機能を有する。
この第２実施形態の画像検索システム１を構成する装置及び各装置のハードウェア構成は、上述した第１実施形態と同じでよい。また、この第２実施形態の画像検索システム１の機能構成は、クエリ画像から抽出した特徴量を対応特徴量として、特徴量ＤＢ２３１に登録する機能に関する部分を除いて、上述した第１実施形態と同じでよい。
以下の説明において、上述した第１実施形態と重複する部分の説明については省略する。また、上述した第１実施形態の構成要素及び処理ステップについては同一の符号を付して表し、その説明を省略する。

図１３は、画像検索システム１で実行される処理を示すシーケンス図である。
画像検索システム１では、上述した第１実施形態と同じく、ステップＳ１からＳ７の処理ステップが実行される。
また、画像検索サーバ２０の制御部２１は、ステップＳ５の処理で検索処理を行って、ステップＳ６の処理でコンテンツ情報を送信出力した後、ステップＳ５における検索結果の信頼度を算出する（ステップＳ８）。この信頼度は、クエリ画像と類似する登録画像の判断の信頼度合いを示すパラメータであり、すなわち、検索処理の確からしさを示すパラメータである。よって、信頼度は、クエリ画像と検索した登録画像とが同じである可能性が高い場合ほど高い値となる。信頼度の算出アルゴリズムについては特に問わないが、例えば、登録画像の対応点の数が多いほど大きな値となり、ここでは、百分率の値で信頼度が表される。

次に、制御部２１は、算出した信頼度が登録条件を満たすかどうかを判断する（ステップＳ９）。登録条件を満たす信頼度は、例えば第１閾値以上（例えば４０％以上）で、且つ、第２閾値以下（例えば９０％以下）の値であり、この値は予め決められている。例えば、信頼度が第２閾値以上でかなり近い場合には、登録条件を満たさない。こうする理由は、検索結果の信頼度が著しく高いということは、クエリ画像の検索対象特徴量を新たに登録しなくとも、特徴量ＤＢ２３１へ登録済みの検索対象特徴量だけで、検索精度が確保されるという理由に基づく。他方、信頼度が第１閾値以下で低い場合にも、登録条件を満たさない。こうする理由は、検索結果の信頼度が低い場合の検索対象特徴量を特徴量ＤＢ２３１へ登録してしまうと、誤った検索結果が得られた場合に使用した検索対象特徴量までもが登録されて、今後の検索処理の検索精度を低下させる原因になる可能性があるからである。すなわち、登録条件は、クエリ画像と登録画像とが同じであるが、互いに対応する特徴点同士で局所特徴量に差異がある場合に要件を満たすように決められている。

制御部２１は、ステップＳ９の処理で登録条件を満たすと判断した場合には（ステップＳ９；ＹＥＳ）、クエリ画像から抽出した検索対象特徴量を対応特徴量として、特徴量ＤＢ２３１へ登録する（ステップＳ１０）。この際、制御部２１は、互いに対応する特徴点同士の局所特徴量を同じレコードで対応付けて、特徴量ＤＢ２３１へ登録する。
なお、ステップＳ９の処理で、信頼度が登録条件を満たさないと制御部２１が判断した場合には（ステップＳ９；ＮＯ）、クエリ画像の検索対象特徴量を特徴量ＤＢ２３１へ登録しない。

ところで、上記の動作説明では、信頼度が登録条件を満たした場合に、画像検索サーバ２０はクエリ画像の検索対象特徴量を特徴量ＤＢ２３１へ登録していたが、ユーザ端末１０のユーザが登録を許可した場合に限り、クエリ画像の検索対象特徴量を登録してもよい。こうすれば、画像検索サーバ２０は、クエリ画像と登録画像とが同じである場合にだけ、検索対象特徴量を登録することとなる。

図１４は、この場合の画像検索システム１で実行される処理を示すシーケンス図である。
画像検索システム１でステップＳ１からＳ９の処理ステップが実行され、信頼度が登録条件を満たすと（ステップＳ９；ＹＥＳ）、画像検索サーバ２０の制御部２１は、クエリ画像の検索対象特徴量の登録の可否をユーザ端末１０へ問い合わせる（ステップＳ１１）。ユーザ端末１０の制御部１１は、画像検索サーバ２０からの問合せを受け付けると、問合せ画面をＵＩ部１２に表示させる等して、ユーザに登録可否を問い合わせる（ステップＳ１２）。ここで、登録を許可する旨の応答をユーザから受け付けると、ユーザ端末１０の制御部１１は、登録を許可する旨の許可通知を、通信部１３により画像検索サーバ２０へ送信する（ステップＳ１３）。この応答は、コンテンツ情報が格納されたＵＲＩ等のアクセス先の情報が正確かどうかを、ユーザに確認させた場合の応答であってもよい。すなわち、この応答は、登録可否を直接にユーザに問い合わせた場合の応答でなくてもよい。画像検索サーバ２０の制御部２１は、許可通知を通信部２２により受信すると、ステップＳ１０の処理を実行して、クエリ画像の検索対象特徴量を特徴量ＤＢ２３１へ登録する。

特徴量ＤＢ２３１へ登録されるクエリ画像の検索対象特徴量は、クエリ画像から抽出され検索対象特徴量のすべてであってもよいし、一部であってもよい。一部のみを登録する場合には、制御部２１は、検索精度の向上への寄与率が高いものを優先して登録するとよい。また、登録しようとする検索対象特徴量の数が予め決められた上限値を超える場合には、制御部２１は、特徴量ＤＢ２３１内の古い又は検索精度の向上への寄与率が相対的に低い対応所特徴量を特徴量ＤＢ２３１から削除して、クエリ画像の検索対象特徴量を新たに登録してもよい。
ステップＳ１２の処理で、制御部１１が登録を許可しないと判断した場合には（ステップＳ１２；ＮＯ）、クエリ画像の検索対象特徴量を特徴量ＤＢ２３１へ登録せずに、処理を終了する。

以上説明した第２実施形態の画像検索システム１によれば、上述した第１実施形態で説明した作用効果に加え、クエリ画像に実際に発生した画像変化を反映させた検索対象特徴量を登録することにより、クエリ画像を原因とした検索精度の低下を抑制する効果を奏する。現に発生したクエリ画像の変化が、例えば撮影方法や撮影環境によるものである場合、他のユーザのユーザ端末１０においても、同じ変化が現れたクエリ画像が得られる可能性がある。よって、この実施形態の画像検索システム１のように、現にクエリ画像に発生した画像の変化に応じた検索対象特徴量を特徴量ＤＢ２３１へ登録しておくことは、検索精度の向上に寄与し得る。

また、画像検索サーバ２０は、検索結果の信頼度に基づいて登録の可否を判断する。これにより、画像検索システム１によれば、検索結果の信頼度の低い情報を登録して検索精度の低下を招いたり、不必要な情報まで登録することにより検索処理の処理量を増大させたりする、という不都合の発生が起きにくい。
なお、検索結果の信頼度と登録条件との対応関係はあくまで一例であり、上記の例以外の関係であってもよい。また、図１４で説明したようにユーザに登録可否を問い合わせる場合には、画像検索サーバ２０では、検索結果の信頼度に基づいて登録可否を判断する構成が省略されてもよい。

［変形例］
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
（変形例１）
上述した各実施形態における局所特徴量に基づく登録画像の検索アルゴリズムはあくまで一例であり、他の検索アルゴリズムに置き換えられてもよい。
例えば、画像検索サーバ２０は、特徴点毎に、クエリ画像の検索対象特徴量との類似度が２番目以降の局所特徴量を、検索処理に反映させてもよい。例えば、画像検索サーバ２０は、類似する登録画像が２つ以上あった場合には、２番目の局所特徴量同士の類似度が高い方の登録画像を検索結果とする。

（変形例２）
上述した各実施形態では、特徴点の特徴量（局所特徴量）として、ＳＩＦＴ特徴量を使用していたが、ＳＵＲＦ（Speeded Up Robust Features）特徴量その他の特徴量を使用してもよい。すなわち、本発明の特徴量は、輝度勾配の特徴ではなく、特徴点の位置（座標）その他の特徴点の特徴量を表すものであってもよい。
また、本発明の特徴量は、特徴点の局所的な特徴量以外の、クエリ画像に類似する画像を検索する画像検索に使用される他の特徴量であってもよい。
また、画像変換処理は、変形処理や明るさ変換処理に限られず、画像の拡大処理や縮小処理、回転処理、ノイズやぼかしの付与処理その他の画像変換処理であってもよい。画像検索システム１で使用される局所特徴量によって、検索精度に影響が現れやすい画像変化の種類が異なるから、検索精度に影響しやすい変化を付与する画像変換処理が１つ以上行われるとよい。
また、対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎは、変換画像から抽出されたものではなく、局所特徴量Ｖｓを用いて特定のアルゴリズムに従った演算処理を行うことにより算出されてもよい。

（変形例３）
上述した各実施形態では、画像検索サーバ２０は、クエリ画像に類似する登録画像に応じたコンテンツ情報を出力していたが、出力対象となる情報はコンテンツ情報に限られない。例えば、類似画像を検索する情報処理システムに本発明を適用した場合には、画像検索サーバ２０は、検索データベースから検索した類似画像の画像データを、ユーザ端末１０へ送信出力するとよい。

（変形例４）
画像検索サーバ２０は、特徴量ＤＢ２３１に局所特徴量を登録する機能を有さなくてもよい。この場合、画像検索サーバ２０とは別に設けられた装置（例えばサーバ装置）が、特徴量ＤＢ２３１に局所特徴量を登録すればよい。
また、画像検索サーバ２０は、１台のサーバ装置で実現されるのではなく、複数のサーバ装置の協働によって実現されてもよい。また、本発明の情報処理装置は、画像検索サーバ２０で提示されるサーバという形態の装置でなくてもよく、例えば、ユーザにより使用される通信端末（例えばユーザ端末１０）により実現されてもよい。

上述した各実施形態のユーザ端末１０や画像検索サーバ２０が実現する各機能は、１又は複数のハードウェア回路により実現されてもよいし、１又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。ユーザ端末１０や画像検索サーバ２０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う情報処理方法として把握し得る。

１…画像検索システム、１０…ユーザ端末、１００…ネットワーク、１０１…クエリ画像取得部、１０２…クエリ画像送信部、１０３…コンテンツ情報受信部、１１…制御部、１２…ＵＩ部、１３…通信部、１４…撮影部、１５…記憶部、２０…画像検索サーバ、２０１…登録画像受信部、２０２…抽出部、２０３…生成部、２０４…登録処理部、２０５…クエリ画像受信部、２０６…検索処理部、２０６１…比較部、２０６２…判断部、２０７…コンテンツ情報出力部、２１…制御部、２２…通信部、２３…記憶部、２３１…特徴量ＤＢ、２３２…コンテンツＤＢ、３０…登録端末、４０…印刷物、４１…マーカ。

Claims (4)

1. 第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録する登録処理部と、
   クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、
   前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、
   前記比較部での比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断する判断部と
   を備え、
   前記登録処理部は、
   前記検索対象特徴量を前記第２の特徴量とし、前記第１の特徴量と対応付けて、前記データベースへ登録する
   情報処理装置。
2. 前記登録処理部は、
   前記クエリ画像が前記第１の画像に類似すると判断した結果の信頼度が、予め決められた値である場合に、前記検索対象特徴量を前記データベースへ登録する
   ことを特徴とする請求項１に記載の情報処理装置。
3. ユーザに使用される通信端末と、前記通信端末と通信する情報処理装置とを備え、
   前記通信端末は、
   撮影する撮影部と、
   前記撮影部の撮影により得られた画像に基づいて、前記情報処理装置へクエリ画像を送信するクエリ画像送信部と
   を有し、
   前記情報処理装置は、
   前記クエリ画像送信部により送信されたクエリ画像を受信するクエリ画像受信部と、
   第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録する登録処理部と、
   前記クエリ画像受信部により受信されたクエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、
   前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、
   前記比較部での比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断する判断部と、
   前記判断部により前記クエリ画像に類似すると判断された前記第１の画像に応じた情報を、前記通信端末へ出力する出力部と
   を有し、
   前記登録処理部は、
   前記検索対象特徴量を前記第２の特徴量とし、前記第１の特徴量と対応付けて、前記データベースへ登録する
   情報処理システム。
4. コンピュータに、
   第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録するステップと、
   クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出するステップと、
   抽出した前記検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較するステップと、
   前記比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断するステップと
   を実行させ、
   前記登録するステップは、
   前記検索対象特徴量を前記第２の特徴量とし、前記第１の特徴量と対応付けて、前記データベースへ登録する
   プログラム。

Images