JP5563494B2 - 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム - Google Patents

Description

本発明は、入力画像に対応する参照画像を検索する対応参照画像検索装置及び方法、並びにそれらを用いて入力画像に対して対応するコンテンツを重畳するコンテンツ重畳装置、システム、及び方法に関し、特に、画像の特徴点を用いて入力画像に対応する参照画像を検索する対応参照画像検索装置及び方法、並びにそれらを用いて入力画像に対して対応するコンテンツを重畳するコンテンツ重畳装置、システム、及び方法に関するものである。

近年、カメラ付き携帯端末の普及により、カメラで対象物体を撮影して入力画像とし、その対象物体に対応するコンテンツ（例えば、対象物体の解説）を入力画像に重畳表示する、ＡＲ（Augmented Reality）技術が提案されている。

ＡＲを実現する従来技術として、対象物体に対応するコンテンツを特定するために画像処理を行わないものと画像処理を行うものとがある。画像処理を行わない従来技術としては、ＧＰＳレシーバと電子コンパスを併用するものが挙げられる。この従来技術は、あらかじめデータベース上に対象物体の位置を記憶しておき、ＧＰＳレシーバによりカメラ付き携帯端末の位置を検出し、電子コンパスによりカメラ付き携帯端末の姿勢を検出し、その位置と姿勢に基づいて、カメラの画角内にある対象物体及びその位置を推定することで、対象物体に対応するコンテンツ及びその重畳箇所を特定する。

対象物体に対応するコンテンツを特定するために画像処理を行わない従来技術は、カメラ付き携帯端末がＧＰＳレシーバ及び電子コンパスを搭載していれば比較的容易に実現できるが、位置と姿勢の検出精度はＧＰＳレシーバ及び電子コンパスの精度に依存するので、対象物体に対して正確にコンテンツを重畳することが困難である。

一方、入力画像に映された対象物体に対応するコンテンツを特定するために画像処理を行う従来技術は、入力画像に映っている対象物体を認識することで、対象物体に対応するコンテンツを特定する。画像処理を行う従来技術として、指標を用いるものと対応点を用いるものが提案されている。

指標を用いる技術は、例えば指標として２次元コードを用い、あらかじめデータベース上にコンテンツとそれに対応する２次元コードとを記憶しておき、また、対象物体又はその付近には２次元コードを付与しておき、カメラ付き携帯端末で２次元コードを含む対象物体を撮影することで、データベース上から撮影された２次元コードに対応するコンテンツを検索する。

この従来技術によれば、２次元コードが付与されている平面に対するカメラ付き携帯端末の姿勢を高速かつ高精細に推定することが可能である。また、２次元コードを採用することで、大量のコードパターンを容易に作成できるため、多様な対象を認識できる。しかしながら、対象物体又はその付近に２次元コードを付与する必要があるため、例えば、屋外のランドマークや大きな看板等にコンテンツを重畳することは非現実的である。また、対象物体又はその付近に２次元コードを付与することで、対象物体の意匠に対する影響が大きくなる。

対応点を用いる技術は、入力画像とデータベース中の参照画像との対応点を求めることで、入力画像に対応する参照画像を検索して、その参照画像に対応付けられたコンテンツを入力画像に重畳する。対応点を用いることで、２次元コードのような指標が不要なマーカレスＡＲを実現できるので、応用範囲が広くなり、対象物体の意匠に影響を与えることもない。

対応点を用いて対応する参照画像を検索する技術では、入力画像複数の特徴点を抽出して、各特徴点の特徴量（局所特徴量）を参照画像の特徴点の特徴量と比較し、対応する特徴点（対応点）を探索し、対応する特徴点を多く含む参照画像を、入力画像に対応する参照画像とする。このような技術として、ＳＩＦＴ（Scale-invariant Feature Transform）や、ＳＩＦＴを高速化したＳＵＲＦ（Speeded Up Robust Features）といった画像特徴点表現手法が知られている（非特許文献１参照）。これらの画像特徴点表現手法は、認識能力が高く、多様な対象を認識できるという利点がある。また、入力画像と参照画像との間の対応点のリストが得られるので、入力画像へのコンテンツの重畳に必要な計算を容易に実行できる。

David G. Lowe, "Object recognition from local scale-invariant features," International Conference on Computer Vision, Corfu, Greece (September 1999), pp. 1150-1157

しかしながら、特徴点の特徴量を比較することで入力画像に対応する参照画像を検索する上記の従来技術では、以下の問題点がある。まず、上記の従来技術では、特徴量のサイズが大きい。特徴量は、単精度実数で表現された数百次元のベクトルで表現されるので、１つの画像から数百ないし数千の特徴点が抽出されると、特徴量のデータ量は数十キロバイトないし数メガバイトにもなる。よって、携帯端末のようなハードウェア資源が限られた装置では、主記憶領域にデータベースを保持することは困難である。

また、上記の従来技術では、ベクトルで表現された特徴量同士のＬ２ノルムを計算する必要がある。この高次元のベクトル同士の距離計算は、計算負荷が極めて高い。よって、携帯端末のような計算資源が限られた装置では、実現は困難である。

本発明は、上記の問題点に鑑みてなされたものであり、資源の限られた装置においても有効に、入力画像に対応する参照画像の検索を行うことができる対応参照画像検索装置及び方法、並びにそれらを用いて入力画像に対して対応するコンテンツを重畳するコンテンツ重畳装置、システム、及び方法を提供することを目的とする。

上記従来の課題を解決するために、本発明の対応参照画像検索装置は、入力画像に対応する参照画像を検索する対応参照画像検索装置であって、入力画像から特徴点を抽出して前記特徴点の特徴量を検出する特徴量検出部と、前記特徴量検出部にて検出された特徴量をバイナリコードに変換するバイナリ変換部と、複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースと、前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量と、前記特徴点データベースに記憶された前記複数の参照画像のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するマッチング部とを備えた構成を有している。

この構成により、複数の参照画像の特徴量はバイナリデータで記憶されており、対応参照画像の検索においても、バイナリコードの特徴量を比較するので、資源の限られた装置においても有効に、入力画像に対応する参照画像の検索を行うことができる。

また、上記の対応参照画像検索装置において、前記バイナリ変換部は、変換行列を用いて、前記特徴量検出部にて検出された特徴量をバイナリコードに変換してよい。

この構成により、バイナリ変換部における変換の計算コストを軽減できる。

また、上記の対応参照画像検索装置において、前記変換行列は、疎行列であってよい。

この構成により、バイナリ変換部における変換の計算コストをさらに軽減できる。

また、上記の対応参照画像検索装置において、前記バイナリ変換部は、前記変換行列のサイズを変更することで、前記バイナリコードのサイズを変更可能であってよい。

この構成により、バイナリコードのサイズを小さくすることでマッチング部における計算コストを軽減したり、バイナリコードのサイズを大きくすることでマッチング部における検索精度を向上させたりといった調整が可能になる。

また、上記の対応参照画像検索装置において、前記マッチング部は、前記入力画像に対応する複数の参照画像がある場合には、複数の参照画像を検出してよい。

この構成により、入力画像に複数の対象物体が映っている場合には、複数の参照画像が検出される。

また、上記の対応参照画像検索装置は、前記対応参照画像検索装置の実行環境を測定する環境測定部をさらに含んでよく、前記バイナリ変換部は、前記環境測定部による測定結果に応じて前記変換行列のサイズを変更することで、前記バイナリコードのサイズを変更してよい。

この構成により、バイナリ変換部は、特徴量検出部が検出した特徴量を、実行環境（例えば、記憶手段の容量、計算手段の容量、及び計算処理能力など）に応じたサイズのバイナリコードに変更できる。

また、本発明のコンテンツ重畳装置は、上記の対応参照画像検索装置を備え、前記入力画像に対して対応するコンテンツを重畳するコンテンツ重畳装置であって、コンテンツ及び前記参照画像と前記コンテンツとの対応関係を記憶したコンテンツデータベースと、前記マッチング部で検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部と、前記コンテンツ抽出部にて抽出されたコンテンツを前記入力画像に重畳する重畳部とを備えた構成を有している。

この構成により、資源の限られた装置においても有効に、入力画像に対して対応するコンテンツを重畳させることができる。

また、上記のコンテンツ重畳装置において、前記特徴量検出部は、前記入力画像中の位置の情報を含む特徴点を抽出してよく、前記特徴点データベースは、複数の参照画像の各々の特徴点の特徴量とともに、前記各特徴点の位置の情報を記憶していてよく、前記コンテンツデータベースは、さらに、前記コンテンツの重畳位置を記憶していてよく、前記コンテンツ重畳装置は、さらに、前記特徴量検出部にて抽出された特徴点の位置と前記特徴点データベースに記憶された特徴点の位置との関係に基づいて、前記コンテンツ抽出部にて抽出されたコンテンツの、前記コンテンツデータベースに記憶された前記重畳位置を変換するコンテンツ変換部を備えていてよく、前記重畳部は、前記入力画像中の前記コンテンツ変換部にて変換された重畳位置に前記コンテンツ抽出部にて抽出されたコンテンツを重畳してよい。

この構成により、入力画像と参照画像とでコンテンツを重畳させる対象の位置が異なっていたとしても、入力画像において適切な位置にコンテンツを重畳させることができる。

また、本発明のコンテンツ重畳システムは、コンテンツ重畳装置と、前記コンテンツ重畳装置と通信可能な外部検索サーバとからなるコンテンツ重畳システムである。前記コンテンツ重畳装置は、入力画像から特徴点を抽出して前記特徴点の特徴量を検出する特徴量検出部と、前記特徴量検出部にて検出された特徴量をバイナリコードに変換するバイナリ変換部と、前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量を前記外部検索サーバに送信するコンテンツ重畳装置側通信部とを備え、前記外部検索サーバは、前記コンテンツ重畳装置側通信部より送信された前記入力画像のバイナリコードの特徴量を受信する外部検索サーバ側通信部と、複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した外部検索サーバ側特徴点データベースと、前記外部検索サーバ側通信部にて受信した前記入力画像のバイナリコードの特徴量と、前記外部検索サーバ側特徴点データベースに記憶された前記複数の参照画像のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出する外部検索サーバ側マッチング部とを備えた構成を有している。

この構成により、コンテンツ重畳装置からは、入力画像の特徴量としてバイナリコードが外部検索サーバに送信されるので、単精度実数等のデータ量の多い特徴量をそのまま送信する場合と比較して、送信データ量を軽減できる。また、外部検索サーバにおいても、計算コストや必要なデータベース容量を軽減できる。

また、上記のコンテンツ重畳システムにおいて、前記特徴量検出部は、前記入力画像中の位置の情報を含む特徴点を抽出してよく、前記特徴点データベースは、複数の参照画像の各々の特徴点の特徴量とともに、前記各特徴点の位置の情報を記憶していてよい。そして、前記コンテンツ重畳システムは、前記特徴点データベースに記憶された参照画像と前記コンテンツとの対応関係、及び前記コンテンツの重畳位置を記憶したコンテンツデータベースと、前記外部検索サーバ側マッチング部で検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出して、前記特徴量検出部にて抽出された特徴点の位置と前記特徴点データベースに記憶された特徴点の位置との関係に基づいて、前記コンテンツデータベースから抽出されたコンテンツの、前記コンテンツデータベースに記憶された前記重畳位置を変換するコンテンツ変換部と、前記入力画像中の前記コンテンツ変換部にて変換された重畳位置に前記コンテンツ変換部にて抽出されたコンテンツを重畳する重畳部とをさらに備えていてよい。

この構成により、入力画像に対して対応するコンテンツを重畳させることができるとともに、入力画像と参照画像とでコンテンツを重畳させる対象の位置が異なっていたとしても、入力画像において適切な位置にコンテンツを重畳させることができる。

また、上記のコンテンツ重畳システムにおいて、前記コンテンツ重畳装置は、複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶したコンテンツ重畳装置側特徴点データベースと、前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量と、前記コンテンツ重畳装置側特徴点データベースに記憶された前記バイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するコンテンツ重畳装置側マッチング部とを備えていてよく、前記外部検索サーバ側通信部は、外部検索サーバ側特徴点データベースに記憶された特徴量のうち、前記外部検索サーバ側マッチング部にて検出された参照画像及びそれに関連する参照画像の特徴量を前記コンテンツ重畳装置に送信してよく、前記コンテンツ重畳装置側通信部は、前記外部検索サーバ側通信部より送信された前記バイナリコードの特徴量を受信してよく、前記コンテンツ重畳装置側特徴点データベースは、前記コンテンツ重畳装置側通信部にて受信した前記バイナリコードの特徴量を、前記複数の参照画像の各々の特徴点の特徴量としてよい。

この構成により、コンテンツ重畳装置は、大量の参照画像の特徴量のすべてを記憶していなくても、必要なデータのみを外部検索サーバからダウンロードすることができるので、コンテンツ重畳装置に必要とされるデータベースの容量を軽減できる。

また、本発明の対応参照画像検索方法は、複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースを備えた対応参照画像検索装置における、入力画像に対応する参照画像を検索する対応参照画像検索方法であって、入力画像から特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにて抽出された前記特徴点の特徴量を検出する特徴量検出ステップと、前記特徴量検出ステップにて検出された特徴量をバイナリコードに変換するバイナリコード変換ステップと、前記バイナリコード変換ステップにて変換された前記入力画像のバイナリコードの特徴量と、前記特徴点データベースに記憶された前記複数の参照画像の各々のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するマッチングステップとを含んでいる。

この構成によっても、複数の参照画像の特徴量はバイナリデータで記憶されており、対応参照画像の検索においても、バイナリコードの特徴量を比較するので、資源の限られた装置においても有効に、入力画像に対応する参照画像の検索を行うことができる。

また、本発明のコンテンツ重畳方法は、複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースを備えた対応参照画像検索装置と、前記特徴点データベースに記憶された参照画像とコンテンツとの対応関係を記憶したコンテンツデータベースとを備えたコンテンツ重畳装置における、入力画像に対して対応するコンテンツを重畳するコンテンツ重畳方法であって、上記の対応参照画像検索方法にて、前記入力画像に対応する参照画像を検出する対応参照画像検索ステップと、前記対応参照画像検索ステップにて検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出ステップと、前記コンテンツ抽出部にて抽出されたコンテンツを前記入力画像に重畳する重畳ステップとを含んでいる。

この構成によっても、資源の限られた装置においても有効に、入力画像に対して対応するコンテンツを重畳させることができる。

本発明のコンピュータプログラムは、上記の対応参照画像検索方法をコンピュータに実行させるためのコンピュータプログラムである。

本発明の別の態様のコンピュータプログラムは、上記のコンテンツ重畳方法をコンピュータに実行させるためのコンピュータプログラムである。

本発明によれば、複数の参照画像の特徴量はバイナリデータで記憶されており、対応参照画像の検索においても、バイナリコードの特徴量を比較するので、資源の限られた装置においても有効に、入力画像に対応する参照画像の検索を行うことができる。

本発明の実施の形態におけるコンテンツ重畳装置の構成を示すブロック図 本発明の実施の形態における入力画像の例を示す図 本発明の実施の形態における入力画像から抽出された特徴点を示す図 本発明の実施の形態における入力画像から検出された特徴量を示す図 本発明の実施の形態におけるバイナリコードに変換された特徴量を示す図 本発明の実施の形態における特徴点データベースに保存されたデータを示す図 本発明の実施の形態における対応点対を示す図 本発明の実施の形態におけるコンテンツデータベースに保存されたデータを示す図 本発明の実施の形態の変形例２におけるコンテンツ重畳装置の構成を示すブロック図 本発明の実施の形態の変形例３におけるコンテンツ重畳装置の構成を示すブロック図 本発明の実施の形態の変形例４におけるコンテンツ重畳装置の構成を示すブロック図 本発明の実施の形態の変形例４における外部検索サーバの特徴点データベースに保存されたデータの構成を示す図

以下、本発明を実施するための形態について、図面を参照しながら説明する。図１は、本実施の形態のコンテンツ重畳装置の構成を示すブロック図である。コンテンツ重畳装置１１０は、入力画像に対応する参照画像を検索するための対応参照画像検索装置１０を備えており、対応参照画像検索装置１０で検索された参照画像を用いて、入力画像に対して関連するコンテンツを重畳するための構成として、対応関係算出部２１、コンテンツ変換部２２、コンテンツデータベース２３、及び重畳部２４を備えている。

対応参照画像検索装置１０は、画像取得部１１、特徴量検出部１２、バイナリ変換部１３、特徴点データベース１４、及びマッチング部１５を備えている。画像取得部１１は、撮像装置としてのカメラで撮影をすることにより画像を生成し、これを入力画像として取得する。画像取得部１１は、外部で生成された画像を通信又は記録媒体を介して画像を入力してもよい。図２は、入力画像の例を示す図である。以下の説明では、この図２の入力画像を用いて各部における処理を説明する。画像取得部１１にて取得された入力画像は、特徴量検出部１２に出力される。

特徴量検出部１２は、入力画像から特徴点を抽出して、抽出した特徴点の特徴量を検出する。図３は、入力画像から抽出された特徴点を示す図である。図３に示すように、一般的には、入力画像から複数の特徴点が検出される。

図４は、特徴量検出部１２により検出された特徴量を示す図である。本実施の形態では、特徴量として、局所特徴量を用いる。具体的には、特徴量として、ＳＩＦＴ特徴量が用いられる。実際には、ＳＵＲＦ特徴量などの他の局所特徴量が用いられてもよい。図４に示すように、特徴量検出部１２において、局所特徴量は、単精度実数のベクトルとして求められる。特徴量検出部１２は、各特徴点の位置の情報と、各特徴点について検出された局所特徴量を、バイナリ変換部１３に出力する。

バイナリ変換部１３は、入力画像から抽出されたすべての特徴点について、それらの特徴量をバイナリコードに変換する。図５は、バイナリコードに変換された特徴量を示す図である。特徴量検出部１２にて検出された特徴量を１２８次元のベクトルｖ∈Ｒ¹²⁸であるとすると、バイナリ変換部１３は、この特徴量を下式（１）でバイナリコードに変換する。

但し、式（１）において、ｄは、変換後のバイナリコードのサイズ（即ちビット数）であり、ｓｇｎ関数は、下式（２）で与えられる。

また、ベクトルｗ_kは、１２８次元における半径１の超球上の点から、一様分布に従ってランダムサンプリングをして得られるベクトルである。ｗ_k（ｋ＝１，……ｄ）は、１２８行ｄ列の行列として表現できる。このベクトルｗ_kからなる行列を「ｗ」と表記し、変換行列という。

なお、上記の変換を実行する前に、バイナリ変換部１３は、あらかじめ大量の画像から特徴量をサンプリングしておき、そこから求めた平均又は中央値であるｍをｖ∈Ｒ¹²⁸から引き、さらにＬ２ノルムが１となるようにｖ∈Ｒ¹²⁸を正規化しておく。本実施の形態では、特徴点データベース１４にデータを保存する際に生成される大量の特徴量を用いてｍを生成する。また、本実施の形態では、バイナリコードのビット長を１２８ビットとし、即ちｄ＝１２８とする。

特徴点データベース１４は、複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶している。この参照画像は、ＡＲにおいて認識対象の画像となる。図６は、特徴点データベース１４に保存されたデータを示す図である。図６に示すように、特徴点データベース１４には、特徴点ごとに、その特徴点が所属する参照画像の画像識別番号、バイナリコードで表現されたその特徴点の特徴量、及びその特徴点の画像内での位置からなるレコードが記憶されている。

特徴点データベース１４に保存されるこれらのレコードは、上記で説明した画像取得部１１、特徴量検出部１２、及びバイナリ変換部１３を用いて用意される。即ち、画像取得部１１は、撮影を行なうか、又はネットワーク若しくは記録媒体からデータを読み出すことで、参照画像を取得し、特徴量検出部１２は、この参照画像から特徴点を抽出して、その特徴量を検出する。特徴量検出部１２は、参照画像に画像識別番号を付与し、その画像識別番号とともに、各特徴点の参照画像内での位置の情報、及び検出した特徴量をバイナリ変換部１３に出力する。バイナリ変換部１３は、特徴量をバイナリ変換してバイナリコードを生成する。

図６に示すように、１つの参照画像からは複数の特徴点が抽出される。図６の例では、１つの参照画像について、数個の特徴点のレコードしか示されていないが、実際には１つの参照画像につき数百ないし数千の特徴点のレコードが保存されてよい。また、図６の例では、２つの参照画像しか示されていないが、特徴点データベース１４には、数千又はそれ以上の参照画像について、特徴点のレコードが保存されてよい。さらに、図６の例では、紙面の都合上、バイナリコードは最初の１１桁のみを示しているが、上述のように、本実施の形態では、バイナリ変換部１３によって１２８ビットのバイナリコードが生成され、特徴点データベース１４にも１２８ビットのバイナリコードが保存されている。

マッチング部１５は、入力画像から抽出された特徴点の特徴量を示すバイナリコードと、特徴点データベース１４に保存されている参照画像の特徴点の特徴量を示すバイナリコードの各々とを比較して、最も近いバイナリコードを探索する。本実施の形態では、マッチング部１５は、バイナリコードの遠近の評価にはハミング距離を採用する。

なお、バイナリコードのハミング距離は、その極限において、元の入力ベクトル空間におけるコサイン距離と一致する。即ち、任意の二つのベクトルｖ₁及びｖ₂をｈ_k（ｖ）によって変換したとき、それぞれのビットが異なる値になる確率は、ベクトルｖ₁とベクトルｖ₂とがなす角度に比例し、下式（３）が成り立つ。

式（３）の左辺の確率の値は、バイナリコードのハミング距離と見なすことができる。このため、十分に長いビット列を求めれば、元の空間におけるベクトルのコサイン距離と、バイナリコードのハミング距離とは一致する。よって、マッチング部１５は、式（３）を用いてバイナリコード同士の遠近を評価してもよい。なお、マッチング部１５は、高速化等の目的に応じて、ＬＳＨ（Locality Sensitive Hashing）などの既存技術を用いて、最も近いバイナリコードの探索を行なってもよい。

マッチング部１５は、特徴点データベース１４に保存されたすべてのレコードのバイナリコードについて、入力画像から抽出された特徴点の特徴量のバイナリコードとの比較を行い、最も近いバイナリコードを有する特徴点に対して、投票を行う。マッチング部１５は、入力画像から抽出されたすべての特徴点について投票を行った結果、最も多くの票を獲得した参照画像を、この入力画像に対応する参照画像（以下、「対応参照画像」という。）であると決定する。

マッチング部１５は、対応参照画像であると決定するための獲得票数の下限を設定してもよい。この場合は、最も多く票を獲得した参照画像の獲得票数がこの下限に満たない場合には、特徴点データベース１４に対応参照画像は存在しないと判断される。また、マッチング部１５は、対応参照画像であると決定するための獲得票数の閾値を設定して、この閾値以上の票を獲得した参照画像をすべて対応参照画像としてもよい。

マッチング部１５は、対応参照画像の画像識別番号とともに、対応参照画像において投票を受けた特徴点（この特徴点を「対応参照画像の対応点」という。）の位置の情報、入力画像の特徴点のうち対応参照画像に投票された特徴点（この特徴点を「入力画像の対応点」という。）の位置の情報を対応関係算出部２１に出力する。このとき、マッチング部１５は、対応参照画像の対応点とそれに対して投票を行なった入力画像の対応点とを対にして出力する。図７は、対応点対を示す図である。

対応関係算出部２１は、マッチング部１５から入力した複数の対応点対に基づいて、対応参照画像上の任意の点（座標）を入力画像上の点（座標）に写像するホモグラフィ行列を算出する。具体的には、対応関係算出部２１は、マッチング部１５から入力した対応点対を用いて、以下の式（４）を満たすホモグラフィ行列ＡをＲＡＮＳＡＣ（Random Sample Consensus）法で推定する。

このホモグラフィ行列Ａを用いると、対応参照画像上の任意の点を入力画像上の点に写像させることができる。対応関係算出部２１は、対応参照画像の画像識別番号とホモグラフィ行列Ａとをコンテンツ変換部２２に出力する。

コンテンツデータベース２３は、入力画像上に重畳するコンテンツを記憶している。図８は、コンテンツデータベース２３に保存されたデータを示す図である。図８に示すように、コンテンツデータベース２３には、コンテンツごとに、コンテンツが対応する参照画像の画像識別番号、コンテンツデータ、コンテンツの形状、サイズ、及び重畳場所からなるレコードが記憶されている。

コンテンツデータは、テキストデータ、画像データ、動画データを含む、入力画像に重畳される各種のデータであってよい。図８の例では、画像識別番号１の参照画像には、コンテンツデータとして、「この写真は・・・」という参照画像に映っている対象物体の説明文（テキストデータ）、「ｈｔｔｐ：／／ｗｗｗ．ａｂｃｄｅｆｇ．ｃｏｍ」という参考ＵＲＬ（テキストデータ）、及び参考画像の画像データが用意されている。

コンテンツ変換部２２は、コンテンツデータベース２３から、対応関係算出部２１から入力した対応参照画像の画像識別番号に対応するコンテンツを抽出する。このとき、コンテンツ変換部２２は、本発明のコンテンツ抽出部として機能する。コンテンツ変換部２２は、対応関係算出部２２から入力したホモグラフィ行列Ａを用いて、抽出したコンテンツの重畳位置を変換して、コンテンツデータとともに重畳部２４に出力する。

重畳部２４は、画像取得部１１から入力画像を取得し、コンテンツ変換部２２から得たコンテンツデータを当該入力画像に重畳させて出力する。このとき、重畳部２４は、入力画像中の、コンテンツ変換部２２から出力された変換後の重畳位置に、コンテンツデータを重畳する。

以上のように、本実施の形態の対応参照画像検索装置１０によれば、バイナリコードの特徴量を用いて入力画像と参照画像とのマッチング（対応参照画像の検索）を行なうので、マッチングの計算処理の負担を軽減できる。また、参照画像の特徴点の特徴量を保存したデータベースも、特徴量をバイナリコードの形式で記憶しているので、データベースに必要とされる容量が小さくて済む。従って、対応参照画像検索装置１０は、限られた資源の装置において実現でき、また、この対応参照画像検索装置１０を含むコンテンツ重畳装置１１０も、限られた資源の装置において実現できる。

本発明は、上記の実施の形態に限られず、種々の変形が可能である。以下、変形例を説明する。

（変形例１）
上記の実施の形態のバイナリ変換部１３は、上式（１）を用いて特徴量をバイナリコードに変換するが、このとき、ベクトルｗ_kに疎性をもたせることができる。また、ベクトルｗ_kを一様分布からサンプリングするのではなく、次式（５）のようにサンプリングしてｗを疎行列にしても、式（１）が近似的に成立する。

なお、このような変換は、超疎ランダム写像（Very Sparse Random Projection）と呼ばれる。このときのｗは疎行列であり、かつ非ゼロの要素が−１又は＋１のみで構成されているので、行列ｗの計算において乗算が不要であり、また、加減算の回数が非常に少なくて済む。よって、バイナリ変換部１３における計算コストを大幅に削減できる。

（変形例２）
図９は、変形例２のコンテンツ重畳装置の構成を示すブロック図である。変形例２のコンテンツ重畳装置１２０は、上記の実施の形態のコンテンツ重畳装置１１０と比較して、対応参照画像検索装置２０に環境測定部１６が追加されている。また、コンテンツ重畳装置１２０の対応参照画像検索装置２０のバイナリ変換部１３は、変換によって生成するバイナリコードのサイズを変更可能である。

本発明の対応参照画像検索装置ないしはコンテンツ重畳装置は、携帯電話端末や、ノートパソコン等の様々なデバイスに実装される。よって、デバイスの資源であるＣＰＵの処理速度やデータベース（主記憶装置）の容量は、実行環境ごとに異なる。一方、バイナリ変換部１３によって生成されるバイナリコードのサイズ（ビット数）は、それが小さいほど計算コストを軽減でき、必要なデータベースの容量も小さく抑えられるが、その反面、特徴量を表すバイナリコードのサイズが小さいとマッチング（対応参照画像の検索）の精度が低くなる。

そこで、環境測定部１６は、対応参照画像検索装置２０ないしはコンテンツ重畳装置１２０が実装されるデバイスのＣＰＵの処理速度やデータベースの容量を測定し、その測定結果に応じてバイナリ変換部１３にて生成するバイナリコードのサイズを決定する。そして、バイナリ変換部１３は、環境測定部１６にて決定されたサイズに基づいて、単精度実数の特徴量をバイナリコードに変換する。

さらに、バイナリ変換部１３は、特徴点データベース１４に保存するための参照画像の特徴量としてのバイナリコードを生成するときに利用した行列ｗのサイズを調整することで、生成するバイナリコードのサイズを調整する。

例えば、特徴量検出部１２で検出される単精度実数の特徴量のベクトルがＤ次元であり、特徴点データベース１４に保存されるバイナリコードが１２８ビットである場合は、バイナリ変換部１３は、特徴点データベースに保存するための参照画像の特徴点の特徴量を求めるために、１２８行Ｄ列の行列ｗを用いて単精度実数の特徴量をバイナリコードに変換する。

この場合において、環境測定部１６が決定したバイナリコードのサイズが６４ビットであるときは、バイナリ変換部１３は、１２８行Ｄ列の行列ｗから、１行目から６４行目の部分を切出して、６４行Ｄ列のサイズの行列ｗ’を生成し、この行列Ｗ’を用いて入力画像の特徴点の特徴量をバイナリコードに変換する。この場合には、マッチング部１５は、入力画像の特徴点の特徴量であるバイナリコード（６４ビット）と、特徴点データベース１４に記憶されたバイナリコード（１２８ビット）の上位６４ビットとを比較して、投票をする特徴点を決定することで、マッチングを行なう。

この変形例２の対応参照画像検索装置２０及びコンテンツ重畳装置１２０によれば、環境測定部１６が、対応参照画像検索装置２０ないしはコンテンツ重畳装置１２０が実装されるデバイスのＣＰＵの処理速度やデータベースの容量といった実行環境に応じてバイナリ変換部１３にて生成するバイナリコードのサイズを決定するので、実行環境に適したバイナリコードを生成できる。

（変形例３）
対応参照画像検索装置ないしはコンテンツ重畳装置は、携帯電話端末のように常に外部ネットワークと通信可能なデバイスに実装されてよい。対応参照画像検索装置ないしはコンテンツ重畳装置が常に外部ネットワークと通信可能である場合には、対応参照画像の検索を外部の装置で行うことも可能である。

図１０は、変形例３のコンテンツ重畳システムの構成を示すブロック図である。コンテンツ重畳システム１０１は、コンテンツ重畳装置１３０と外部検索サーバ２３０とからなる。コンテンツ重畳装置１３０及び外部検索サーバ２３０にはそれぞれ通信部３１、４１が設けられており、互いに通信を行なう。

コンテンツ重畳装置１３０の構成は、通信部３１を有しており、かつバイナリ変換部１３において生成するバイナリコードのサイズが変更可能である点を除き、上記の実施の形態のコンテンツ重畳装置１１０と同様である。外部検索サーバ２３０は、通信部４１のほか、マッチング部４２、特徴点データベース４３、及びコンテンツデータベース４４を備えている。

コンテンツ重畳装置１３０は、上記の実施の形態と同様にして対応参照画像を検索してそのコンテンツデータベース２３に記憶されたコンテンツを入力画像に重畳させることができる。コンテンツ重畳装置１３０は、さらに、入力画像から抽出された特徴点の特徴量を表すバイナリコードを、通信部３１を介して外部検索サーバ２３０に送信することもできる。

外部検索サーバ２３０は通信部４１でバイナリコードの特徴量を受信する。マッチング部４２は、このバイナリコードに基づいて、特徴点データベース４３に保存された特徴点に投票をすることで、対応参照画像を検索する。通信部４１は、対応参照画像の画像識別番号及び対応点対の情報をコンテンツ重畳装置１３０に送信する。通信部４１はまた、コンテンツデータベース４４から対応参照画像に対応するコンテンツのレコード（コンテンツデータ及びコンテンツの重畳位置の情報を含む）を抽出してコンテンツ重畳装置１３０に送信する。

コンテンツ重畳装置１３０の通信部３１は、対応点対の情報、及び対応参照画像に対応するコンテンツのレコードを受信する。対応関係算出部２１は、通信部３１にて受信した対応点対に基づいて、ホモグラフィ行列を算出する。コンテンツ変更部２２は、対応関係算出部２１にて算出されたホモグラフィ行列を用いて、通信部３１にて受信したコンテンツの重畳位置を変換する。重畳部２４は、上記の実施の形態と同様に、コンテンツ変換部２２から出力された、重畳位置の変換されたコンテンツを、画像取得部１１から得た入力画像に重畳させる。

変形例３では、上記の説明のように対応参照画像の検索を外部検索サーバ２３０にて行う場合には、バイナリ変換部１３は、外部検索サーバ２３０の計算能力に応じてバイナリコードのサイズを変更する。外部検索サーバ２３０がコンテンツ重畳装置１３０よりも高機能であるときは、バイナリ変換部１３は、バイナリコードのサイズを大きくする（ビット数を長くする）。

変形例３によれば、携帯電話端末のような計算資源の限られた環境のみで対応参照画像の検索を行うのではなく、より計算の環境が整った外部検索サーバで検索を行うことができる。しかも、バイナリ変換部１３は、バイナリコードのサイズを適切な大きさに調節できるので、小規模なリアルタイムマッチング処理には、携帯電話端末であるコンテンツ重畳装置１３０内で上記の実施の形態のようにして対応参照画像を検索し、大規模なマッチング処理をする場合には、携帯電話端末より処理能力の高い外部検索サーバに、よりサイズの大きいバイナリコードを用いて対応参照画像の検索を行わせることができる。

なお、コンテンツ重畳装置１３０が単体でコンテンツの重畳を行わない場合には、コンテンツ重畳装置１３０は、特徴点データベース１４、マッチング部１５、又はコンテンツデータベース２３を備えていなくてもよく、また、対応関係算出部２１、又は、対応関係算出部２１及びコンテンツ変換部２２、又は、対応関係算出部２１、コンテンツ変換部２２、及び重畳部２４が、外部検索サーバ２３０に備えられていてもよい。逆に、外部検索サーバ２３０がコンテンツデータベース４４を備えず、マッチング部４２によるマッチングの結果のみをコンテンツ重畳装置１３０に送信するようにしてもよい。

（変形例４）
コンテンツ重畳装置が通信部を備えて外部検索サーバと通信をすることにより、以下のようなコンテンツ重畳システムも実現できる。図１１は、変形例４のコンテンツ重畳システムの構成を示すブロック図である。コンテンツ重畳システム１０２は、コンテンツ重畳装置１４０と外部検索サーバ２４０とからなる。このコンテンツ重畳システム１０２は、コンテンツを重畳する対象が書籍の頁の画像である場合に好適に用いられる。以下では、コンテンツを重畳する対象が書籍の頁の画像である場合を例にコンテンツ重畳システム１０２を説明する。

例えば、参照画像を保存すべき書籍が５０００冊存在し、各書籍の頁数が平均３００頁であるとすると、特徴点データベースには、１５０万頁分の特徴点（各頁につき、複数の特徴点がある）のレコードを保存しておく必要がある。しかし、携帯電話端末のような小型ないしは携帯型のデバイスにこのような大量のデータをすべて保存することは、ストレージデバイスの容量の制限により不可能である。また、仮にそのような大量のデータを携帯電話端末に保存できたとしても、検索対象が多すぎて、マッチングの計算コストが膨大になる。さらに、検索対象が多いので、バイナリコードを長くしないと、検索精度が悪化するという問題もある。

そこで、コンテンツ重畳システム１０２では、すべての書籍のすべての頁についてのすべての特徴点のレコードは、大容量のデータベースを比較的容易に実現でき、物理的な制約も比較的少ない外部検索サーバ２４０の特徴点データベース４３に保存しておく。

図１２は、特徴点データベース４３に保存されたデータの構成を示す図である。図１２に示すように、特徴点データベース４３には、特徴点ごとに、書籍番号、頁番号、バイナリコード（１２８ビットと６４ビット）、及び特徴点の位置（座標）からなるレコードが記憶されている。上記の実施の形態と同様に、１つの参照画像（１頁の画像）について、複数の特徴点のレコードが記憶されている。

コンテンツ重畳装置１４０は、画像取得部１１にて入力画像を取得すると、特徴量検出部１２にて特徴点の特徴量を検出して、バイナリ変換部１３がその特徴量をバイナリコードに変換する。そして、通信部３１がそのバイナリコードを外部検索サーバ２４０に送信する。

外部検索サーバ２４０は、通信部４１にてコンテンツ重畳装置１４０からバイナリコードを受信する。マッチング部４２は、通信部４１にて受信したバイナリコード（入力画像から抽出された特徴点の数だけある）を用いて、投票を行い、投票を最も多く獲得した参照画像を対応参照画像として検出する。対応参照画像は、５０００冊の書籍の中のある１冊の書籍のある１頁の画像である。

通信部４１は、特徴点データベース４３に記憶されたレコードのうち、マッチング部４２にて検出された対応参照画像が所属する書籍番号のレコード（即ち対応参照画像及び対応参照画像に関連する他の参照画像のレコード）をコンテンツ重畳装置１４０に送信する。このとき、通信部４１は、当該書籍番号のレコードのうち、少なくとも頁番号、バイナリコード（１２８ビット及び６４ビットのいずれか一方）、及び特徴点の位置の情報を送信する。このようにして外部検索サーバ２４０からコンテンツ重畳装置１４０にダウンロードされるデータを特徴点データベース更新データという。

１２８ビット及び６４ビットのいずれのバイナリコードを送信するかは、送信先、即ちコンテンツ重畳装置１４０の計算能力やデータベースの容量による。１２８ビット及び６４ビットのいずれのバイナリコードを送信するかは、外部検索サーバ２４０が送信先であるコンテンツ重畳装置１４０の計算能力やデータベースの容量を認識して決定してもよいし、コンテンツ重畳装置１４０側からバイナリコードのサイズを指定してもよい。

なお、上述のように、外部検索サーバ２４０にて書籍を特定するために、コンテンツ重畳装置１４０がまず入力画像の特徴点の特徴量を外部検索サーバ２４０に送信するが、この特徴量（バイナリデータ）のサイズと、外部検索サーバ２４０がコンテンツ重畳装置１４０に送信するバイナリコードのサイズとは必ずしも一致しなくてもよく、特に、前者が大きく、後者が小さくてよい。

外部検索サーバ２４０の特徴点データベース４３中の一部のレコードである特徴点データベース更新データを受信したコンテンツ重畳装置１４０の通信部３１は、これを特徴点データベース１４に保存し、あるいは既に特徴点データベース１４に何らかのデータが保存されている場合には、特徴点データベース更新データで特徴点データベース１４を更新する。そして、それ以降の入力画像については、この特徴点データベース１４に保存された特徴点データベース更新データを用いてマッチング（対応参照画像の検索）を行う。このとき、バイナリ変換部１３は、特徴点データベース更新データにおけるバイナリコードのサイズと同じサイズになるように、特徴量検出部１２にて検出された単精度実数の特徴量をバイナリコードに変換する。

変形例４のコンテンツ重畳システム１０２によれば、コンテンツ重畳装置１４０が、例えば５０００冊×３００頁といった大量の参照画像の特徴点についてデータベースにその特徴量を保存していなくても、必要なデータのみを外部検索サーバ２４０からダウンロードすることができる。

さらに、必要な特徴点データベース更新データを特定するために（即ち、書籍を特定するために）外部検索サーバ２４０に入力画像の特徴点のバイナリコードの特徴量を送信する場合には、外部検索サーバ２４０のマッチング部４２における検索の精度を確保するために、バイナリ変換部１３がサイズの大きいバイナリコードを生成して、これを外部検索サーバ２４０に送信するとともに、外部検索サーバ２４０から特徴点データベース更新データをダウンロードした後には、バイナリ変換部１３は、入力画像から検出された特徴量を、その特徴点データベース更新データにおけるバイナリコードのサイズに応じたサイズのバイナリコードに変換することができる。

なお、変形例４において、コンテンツ重畳装置１４０が外部検索サーバ２４０からダウンロードする特徴点データベース更新データにおけるバイナリコードは、該当書籍を識別する能力だけを向上させるように構成することもできる。すなわち、変形例４の外部検索サーバ２４０のように、あらゆる任意の画像から対象を識別する場合と異なり、書籍ごとの頁の画像だけを識別の対象としている場合には、識別対象の数が少なくなるため、バイナリ変換をする際に用いる変換行列ｗを書籍ごとに機械学習によって生成して、効率的にマッチングを行なえるようにバイナリコードを生成することができる。

このとき、変換行列ｗは、外部検索サーバ２４０から、該当書籍の特徴点データベース更新データともにコンテンツ重畳装置１４０にダウンロードすることができる。そして、コンテンツ重畳装置１４０のバイナリ変換部１３は、該当書籍の特徴点データベース更新データをダウンロードした後は、それとともにダウンロードした変換行列ｗを用いて入力画像の特徴点の特徴量をバイナリ変換する。この構成により、あらゆる任意の書籍の頁の画像をマッチングの対象とする場合と比較して、特徴点データベース１４の容量や対応参照画像検索装置１０ないしはコンテンツ重畳装置１４０の計算コストの削減を期待できる。

なお、ＡＲの対象とする書籍が変更されると、外部検索サーバ２４０からコンテンツ重畳装置１４０の特徴点データベース１４にダウンロードした特徴点データベース更新データは使用できなくなる。この場合には、マッチング部１５で対応参照画像を検出できなくなる。よって、マッチング部１５で対応参照画像を検出できなくなった場合には、再度、通信部３１を介して外部検索サーバ２４０に入力画像の特徴点の特徴量のバイナリコードを送信し、外部検索サーバ２４０でマッチングを行なって新たな書籍を特定して、コンテンツ重畳装置１４０にて新たな特徴点データベース更新データをダウンロードして、特徴点データベース１４を更新すればよい。

なお、上記の実施の形態及び各変形例では、特徴点データベースには、画像識別番号が１つの画像ごとに付与されており、マッチング部は、対応参照画像として検出された１つの画像の中の対応点を対応関係算出部に出力した。しかし、本発明は、これに限られない。本発明は、コンテンツを付与する対象を参照画像として、特徴点データベースにおいて、コンテンツを付与する対象ごとに画像識別番号を付与してもよい。即ち、参照画像は１つの画像でなくてもよく、１つの画像に含まれる特徴点の集合を参照画像としてもよい。

例えば、図２に示す画像があった場合に、この画像中の山形の対象に関連する特徴点の集合（図３参照）を１つの参照画像とし、雲形の対象に関連する特徴点の集合（図３参照）を他の参照画像としてもよい。この場合は、特徴点データベースには、山形の対象に関連する特徴点と雲形の対象に関連する特徴点とで異なる画像識別番号が付与され、マッチング部は、投票を多く受けて対応参照画像として検出された対象に関連する特徴点（同一の画像識別番号が付与された特徴点）のうち、入力画像の特徴点と対応する点を対応参照画像の対応点として対応関係算出部に出力する。この場合には、コンテンツデータベースも対象ごとにコンテンツを記憶している。

以上のように、本発明は、資源の限られた装置においても有効に、入力画像に対応する参照画像の検索を行うことができるという効果を有し、画像の特徴点を用いて入力画像に対応する参照画像を検索する対応参照画像検索装置等として有用である。

１０、２０ 対応参照画像検索装置
１１ 画像取得部
１２ 特徴量検出部
１３ バイナリ変換部
１４ 特徴点データベース
１５ マッチング部
１６ 環境測定部
２１ 対応関係算出部
２２ コンテンツ変換部
２３ コンテンツデータベース
２４ 重畳部
３１ 通信部
４１ 通信部
４２ マッチング部
４３ 特徴点データベース
４４ コンテンツデータベース
１０１、１０２ コンテンツ重畳システム
１１０、１２０、１３０、１４０ コンテンツ重畳装置
２３０、２４０ 外部検索サーバ

Claims (15)

1. 入力画像に対応する参照画像を検索する対応参照画像検索装置であって、
   入力画像から特徴点を抽出して前記特徴点の特徴量を検出する特徴量検出部と、
   変換行列を用いて、前記特徴量検出部にて検出された特徴量をバイナリコードに変換するバイナリ変換部と、
   複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースと、
   前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量と、前記特徴点データベースに記憶された前記複数の参照画像のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するマッチング部と、
   を備えたことを特徴とする対応参照画像検索装置。
2. 前記マッチング部は、前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量と、前記特徴点データベースに記憶された前記複数の参照画像のバイナリコードの特徴量とを、それらのハミング距離によって比較することを特徴とする請求項１に記載の対応参照画像検索装置。
3. 前記変換行列は、疎行列であることを特徴とする請求項１又は２に記載の対応参照画像検索装置。
4. 前記バイナリ変換部は、前記変換行列のサイズを変更することで、前記バイナリコードのサイズを変更可能であることを特徴とする請求項１又は２に記載の対応参照画像検索装置。
5. 前記マッチング部は、前記入力画像に対応する複数の参照画像がある場合には、複数の参照画像を検出することを特徴とする請求項１ないし請求項４のいずれか一項に記載の対応参照画像検索装置。
6. 前記対応参照画像検索装置の実行環境を測定する環境測定部をさらに含み、
   前記バイナリ変換部は、前記環境測定部による測定結果に応じて前記変換行列のサイズを変更することで、前記バイナリコードのサイズを変更する
   ことを特徴とする請求項１又は２に記載の対応参照画像検索装置。
7. 請求項１ないし請求項６のいずれか一項に記載の対応参照画像検索装置を備え、前記入力画像に対して対応するコンテンツを重畳するコンテンツ重畳装置であって、
   コンテンツ及び前記参照画像と前記コンテンツとの対応関係を記憶したコンテンツデータベースと、
   前記マッチング部で検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部と、
   前記コンテンツ抽出部にて抽出されたコンテンツを前記入力画像に重畳する重畳部と、
   を備えたことを特徴とするコンテンツ重畳装置。
8. 前記特徴量検出部は、前記入力画像中の位置の情報を含む特徴点を抽出し、
   前記特徴点データベースは、複数の参照画像の各々の特徴点の特徴量とともに、前記各特徴点の位置の情報を記憶しており、
   前記コンテンツデータベースは、さらに、前記コンテンツの重畳位置を記憶しており、
   前記コンテンツ重畳装置は、さらに、前記特徴量検出部にて抽出された特徴点の位置と前記特徴点データベースに記憶された特徴点の位置との関係に基づいて、前記コンテンツ抽出部にて抽出されたコンテンツの、前記コンテンツデータベースに記憶された前記重畳位置を変換するコンテンツ変換部を備え、
   前記重畳部は、前記入力画像中の前記コンテンツ変換部にて変換された重畳位置に前記コンテンツ抽出部にて抽出されたコンテンツを重畳する
   ことを特徴とする請求項７に記載のコンテンツ重畳装置。
9. コンテンツ重畳装置と、前記コンテンツ重畳装置と通信可能な外部検索サーバとからなるコンテンツ重畳システムであって、
   前記コンテンツ重畳装置は、
   入力画像から特徴点を抽出して前記特徴点の特徴量を検出する特徴量検出部と、
   変換行列を用いて、前記特徴量検出部にて検出された特徴量をバイナリコードに変換するバイナリ変換部と、
   前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量を前記外部検索サーバに送信するコンテンツ重畳装置側通信部と、
   を備え、
   前記外部検索サーバは、
   前記コンテンツ重畳装置側通信部より送信された前記入力画像のバイナリコードの特徴量を受信する外部検索サーバ側通信部と、
   複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した外部検索サーバ側特徴点データベースと、
   前記外部検索サーバ側通信部にて受信した前記入力画像のバイナリコードの特徴量と、前記外部検索サーバ側特徴点データベースに記憶された前記複数の参照画像のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出する外部検索サーバ側マッチング部と、
   を備えたことを特徴とするコンテンツ重畳システム。
10. 前記特徴量検出部は、前記入力画像中の位置の情報を含む特徴点を抽出し、
    前記特徴点データベースは、複数の参照画像の各々の特徴点の特徴量とともに、前記各特徴点の位置の情報を記憶しており、
    前記コンテンツ重畳システムは、
    前記特徴点データベースに記憶された参照画像と前記コンテンツとの対応関係、及び前記コンテンツの重畳位置を記憶したコンテンツデータベースと、
    前記外部検索サーバ側マッチング部で検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出して、前記特徴量検出部にて抽出された特徴点の位置と前記特徴点データベースに記憶された特徴点の位置との関係に基づいて、前記コンテンツデータベースから抽出されたコンテンツの、前記コンテンツデータベースに記憶された前記重畳位置を変換するコンテンツ変換部と、
    前記入力画像中の前記コンテンツ変換部にて変換された重畳位置に前記コンテンツ変換部にて抽出されたコンテンツを重畳する重畳部と、
    をさらに備えたことを特徴とする請求項９に記載のコンテンツ重畳システム。
11. 前記コンテンツ重畳装置は、
    複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶したコンテンツ重畳装置側特徴点データベースと、
    前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量と、前記コンテンツ重畳装置側特徴点データベースに記憶された前記バイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するコンテンツ重畳装置側マッチング部と、
    を備え、
    前記外部検索サーバ側通信部は、外部検索サーバ側特徴点データベースに記憶された特徴量のうち、前記外部検索サーバ側マッチング部にて検出された参照画像及びそれに関連する参照画像の特徴量を前記コンテンツ重畳装置に送信し、
    前記コンテンツ重畳装置側通信部は、前記外部検索サーバ側通信部より送信された前記バイナリコードの特徴量を受信し、
    前記コンテンツ重畳装置側特徴点データベースは、前記コンテンツ重畳装置側通信部にて受信した前記バイナリコードの特徴量を、前記複数の参照画像の各々の特徴点の特徴量とする
    ことを特徴とする請求項９に記載のコンテンツ重畳システム。
12. 複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースを備えた対応参照画像検索装置における、入力画像に対応する参照画像を検索する対応参照画像検索方法であって、
    入力画像から特徴点を抽出する特徴点抽出ステップと、
    前記特徴点抽出ステップにて抽出された前記特徴点の特徴量を検出する特徴量検出ステップと、
    変換行列を用いて、前記特徴量検出ステップにて検出された特徴量をバイナリコードに変換するバイナリコード変換ステップと、
    前記バイナリコード変換ステップにて変換された前記入力画像のバイナリコードの特徴量と、前記特徴点データベースに記憶された前記複数の参照画像の各々のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するマッチングステップと、
    を含むことを特徴とする対応参照画像検索方法。
13. 複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースを備えた対応参照画像検索装置と、前記特徴点データベースに記憶された参照画像とコンテンツとの対応関係を記憶したコンテンツデータベースとを備えたコンテンツ重畳装置における、入力画像に対して対応するコンテンツを重畳するコンテンツ重畳方法であって、
    請求項１２に記載の対応参照画像検索方法にて、前記入力画像に対応する参照画像を検出する対応参照画像検索ステップと、
    前記対応参照画像検索ステップにて検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出ステップと、
    前記コンテンツ抽出部にて抽出されたコンテンツを前記入力画像に重畳する重畳ステップと、
    を含むことを特徴とするコンテンツ重畳方法。
14. 請求項１２に記載の対応参照画像検索方法をコンピュータに実行させるためのコンピュータプログラム。
15. 請求項１３に記載のコンテンツ重畳方法をコンピュータに実行させるためのコンピュータプログラム。
    
    

Images