JP5536124B2 - 画像処理システム及び画像処理方法 - Google Patents

Description

本発明は、画像認識及び検索技術に関する。

カメラ越しに覗いた物体に、その物体の説明を重畳する拡張現実感（Augmented Reality：以下「ＡＲ」という）というアプリケーションがある。このアプリケーションを実現するには、カメラ画像中の物体を識別するという課題と、カメラ画像中の物体の位置を同定するという課題の二つの課題を達成しなければならない。

一つ目の技術として、２次元コードを用いる手法がある。２次元コードは、画像中にある２次元コードを正確に識別しながら、同時に同定できる特徴を持つ。また、２次元コードのパターンを多数用意できるため、対象を識別できる能力も高い。しかし、対象物に２次元コードを付与する必要があるため、意匠への影響が大きいことと、ランドマークなどのサイズの大きい対象への応用が難しいという問題がある（非特許文献１）。

二つ目の技術として、撮影対象自体を色ヒストグラム等で識別し、その後、テンプレートマッチングで追跡することでＡＲを実現する手法がある。この手法は、識別対象に２次元コードのような指標となるものを付与する必要がない。また、画像中の対象を識別するため、対象の画像中での位置の同定精度も高い。Taketaらは、色ヒストグラムを用いて、対象を識別する手法を実装したと報告している。他には、検出性能を向上させるため、あらかじめひとつの対象に対して多数のテンプレートを生成しておいて追跡する手法や、対象の幾何的な歪みやボケをモデル化してテンプレートマッチングの精度を向上させた手法などが報告されている。これらの手法は、かなり高速に追跡できる反面、多種類の対象を識別する能力が低い（非特許文献２）。

三つ目の技術として、画像特徴点を用いる手法がある。近年では、ＳＩＦＴ、ＳＵＲＦといった画像特徴点表現手法がある。画像特徴量を用いて二つの画像間で共通する特徴点を数え上げ、共通する特徴点が多いとき、その二つの画像は同じ物体を含んでいるとして、画像検索を行う手法が知られている。この手法は、上述した色ヒストグラムを用いる手法などと比較して識別能力が高く、多くの対象を識別できるという特徴がある。また、二つの画像間の対応点のリストが得られるため、入力画像に対するコンテンツの重畳表示に必要な計算が容易に実行でき、画像中の物体を識別できるという特徴もある。しかしながら、この手法には、データベースサイズが大きくなりすぎるという問題点と、似ている画像特徴量を検索するための計算コストが大きい問題点がある。

したがって、この技術をそのまま携帯情報端末上に実装すると、データベースの利用や保持のために大量のメモリやストレージが必要となる。また、計算コストが大きいために現実的な時間内に識別の計算が終わらないおそれがある。このような理由から、携帯情報端末でこの技術を応用する場合、データベースや識別のための計算資源をネットワークに接続された別のマシンで実装し、画像や結果の情報を通信でやり取りする方法が一般的である。しかしながら、この実現方法では通信経路の遅延などを考えると、リアルタイムでカメラ画像中の物体を同定することは難しい。

暦本純一「２次元マトリックスコードを利用した拡張現実感システムの構成手法」インタラクティブシステムとソフトウェア IV，近代科学社，1996 Nobuko Taketa, Kenichi Hayashi,Hirokazu Kato and Shogo Nishida,"Virtual Pop-Up Book Based on Augmented Reality, HUMAN INTERFACE AND THE MANAGEMENT OF INFORMATION. INTERACTING IN INFORMATION ENVIRONMENTS"， Lecture Notes in Computer Science, 2007, Volume 4558,pp.475-484(2007) David G. Lowe, "Object recognition from local scale-invariant features," International Conference on Computer Vision, Corfu, Greece (September 1999),pp.1150-1157

二つ目の技術によれば、携帯電話のようなデバイスでも高速にカメラ画像中の物体を識別できる可能性があるが、多くの物体を識別する能力が低い。また、三つ目の画像特徴点を用いる技術は、識別能力が高く、対応点を用いて物体の同定も可能ではあるが、その計算コストが大きいという課題がある。

そこで、カメラ画像中の物体を大量に識別する問題と、カメラ画像中の物体を高速に同定する問題をバランスよく解決する手法を実現することが課題となると考えられる。本発明は、このような課題に鑑みてなされたものである。

本発明の画像処理システムは、サーバに記憶された複数の参照画像の中から、端末にて入力された入力画像に対応する対応参照画像を検索し、前記入力画像上の点と前記対応参照画像上の点の位置関係を求める画像処理システムであって、前記サーバは、複数の参照画像中の複数の特徴点の特徴量のデータとその特徴点を含む参照画像の識別子とを記憶すると共にデータを特徴量から検索するためのインデックスが設定された特徴量データベースと、前記入力画像上の点と前記参照画像上の点の位置関係の計算に用いられる当該参照画像の特徴部分に関連するデータをトラッキングデータとして記憶したトラッキングデータベースと、前記入力画像中の複数の特徴点の特徴量のデータを前記端末から受信する受信部と、前記特徴量データベースを用いて、前記入力画像の特徴量データに対応する特徴点を最も多く含む参照画像を前記対応参照画像として検出する対応参照画像検出部と、前記トラッキングデータベースから前記対応参照画像のトラッキングデータを取得するトラッキングデータ取得部と、前記対応参照画像のトラッキングデータを前記端末に送信する送信部とを備え、前記端末は、前記入力画像中の特徴点の位置およびその特徴量を検出する特徴点検出部と、前記サーバに前記入力画像中の複数の特徴点の特徴量のデータを送信する送信部と、前記サーバから、前記対応参照画像のトラッキングデータを受信する受信部と、前記トラッキングデータに基づいて、前記入力画像上の点と前記対応参照画像上の点の位置関係を計算する位置関係算出部とを備える。

このように特徴量データベースとは別にトラッキングデータベースを設けておき、特徴量データベースを用いて対応参照画像を求めた後に、対応参照画像のトラッキングデータを端末に送信する構成とすることにより、端末側で入力画像と対応参照画像との位置関係を計算することができ、サーバの処理負担を軽減し、全体として計算処理を高速にすることができる。

本発明の画像処理システムにおいて、前記トラッキングデータベースは、複数の参照画像のそれぞれについて、当該参照画像中の特徴点の特徴量及び位置のデータであり、かつ、データを特徴量から検索するためのインデックスが前記参照画像ごとに設定されたトラッキングデータを記憶しており、前記端末の位置関係算出部は、前記トラッキングデータに基づいて、前記入力画像中の各特徴点に対応する前記対応参照画像の特徴点を求め、対応する各特徴点の位置関係に基づいて、前記入力画像上の点と前記参照画像上の点の位置関係を計算してもよい。

このように参照画像ごとに、特徴量によって検索するためのインデックスを設定したトラッキングデータを持つことにより、入力画像の特徴量に対応する対応参照画像の特徴点を高速に求めることができ、入力画像と対応参照画像との位置関係を求めることができる。

本発明の画像処理システムにおいて、前記トラッキングデータは、参照画像中の特徴部分を表したテンプレート画像及びその位置データであり、前記端末の位置関係算出部は、前記入力画像と前記テンプレート画像とのマッチングを行うことにより、前記入力画像上の点と前記対応参照画像上の点の位置関係を計算してもよい。

このように入力画像とテンプレート画像とのマッチングを行うことにより、入力画像と対応参照画像との位置関係を求めることができる。

本発明の画像処理システムにおいて、前記サーバは、前記参照画像に関連付けて、参照画像に重畳されるコンテンツ及びその重畳位置のデータを記憶したコンテンツデータベースと、前記コンテンツデータベースから、前記対応参照画像に対応するコンテンツ及びその重畳位置のデータを読み出すコンテンツ抽出部と、前記コンテンツ及びその重畳位置のデータを前記端末に送信する送信部とを備え、前記端末は、前記コンテンツ及びその重畳位置のデータを受信する受信部と、前記位置関係算出部にて検出された位置関係に基づいて、前記コンテンツの重畳位置を前記入力画像上の座標系に変換し、前記入力画像に前記コンテンツを重畳する重畳部と、前記コンテンツを重畳した画像を表示する表示部とを備えてもよい。

この構成により、入力画像と対応参照画像との位置関係に基づいて、入力画像に対してコンテンツを適切に重畳することができる。

本発明の画像処理システムは、サーバに記憶された複数の参照画像の中から、端末にて入力された入力画像に対応する対応参照画像を検索し、前記入力画像上の点と前記対応参照画像上の点の位置関係を求める画像処理システムであって、複数の参照画像中の複数の特徴点の特徴量のデータとその特徴点を含む参照画像の識別子とを記憶すると共にデータを特徴量から検索するためのインデックスが設定された特徴量データベースと、前記入力画像上の点と前記参照画像上の点の位置関係の計算に用いられる当該参照画像の特徴部分に関連するデータをトラッキングデータとして記憶したトラッキングデータベースと、前記入力画像中の特徴点の位置およびその特徴量を検出する特徴点検出部と、前記特徴量データベースを用いて、前記入力画像の特徴量データに対応する特徴点を最も多く含む参照画像を前記対応参照画像として検出する対応参照画像検出部と、前記トラッキングデータベースから前記対応参照画像のトラッキングデータを取得するトラッキングデータ取得部と、前記対応参照画像のトラッキングデータに基づいて、前記入力画像上の点と前記対応参照画像上の点の位置関係を計算する位置関係算出部とを備える。

このように特徴量データベースとは別にトラッキングデータベースを設けておき、特徴量データベースを用いて対応参照画像を求めた後に、対応参照画像のトラッキングデータを用いて入力画像と対応参照画像との位置関係を計算することにより、全体として計算処理を高速にすることができる。

本発明の画像処理方法は、サーバに記憶された複数の参照画像の中から、端末にて入力された入力画像に対応する対応参照画像を検索し、前記入力画像上の点と前記対応参照画像上の点の位置関係を求める方法であって、前記端末が、前記入力画像中の特徴点の位置およびその特徴量を検出するステップと、前記端末が、前記サーバに前記入力画像中の複数の特徴点の特徴量のデータを送信するステップと、前記サーバが、複数の参照画像中の特徴点の特徴量のデータとその特徴点を含む参照画像の識別子とを記憶すると共にデータを特徴量から検索するためのインデックスが設定された特徴量データベースの中から、前記入力画像の特徴量データに対応する特徴点を最も多く含む参照画像を前記対応参照画像として検出するステップと、前記サーバが、前記入力画像上の点と前記参照画像上の点の位置関係の計算に用いられる当該参照画像の特徴部分に関連するデータをトラッキングデータとして記憶したトラッキングデータベースから、前記対応参照画像のトラッキングデータを取得するステップと、前記サーバが、前記対応参照画像のトラッキングデータを前記端末に送信するステップと、前記端末が、前記トラッキングデータに基づいて、前記入力画像上の点と前記対応参照画像上の点の位置関係を計算するステップとを備える。

この構成により、上述した画像処理システムと同様に、サーバの処理負担を軽減し、全体として計算処理を高速にすることができる。

本発明は、特徴量データベースとは別にトラッキングデータベースを設け、特徴量データベースを用いて対応参照画像を求め、トラッキングデータを用いて入力画像と対応参照画像との位置関係を求めることにより、計算処理を高速にすることができるという効果を有する。

第１の実施の形態の画像処理システムの構成を示す図である。 実施の形態における入力画像の例を示す図である。 実施の形態における入力画像から抽出された特徴点を示す図である。 実施の形態における入力画像から検出された特徴量を示す図である。 実施の形態におけるバイナリコードに変換された特徴量を示す図である。 実施の形態における対応点の対を示す図である。 特徴量データベースに記憶されたデータの例を示す図である。 トラッキングデータベースに記憶された特徴点のデータの例を示す図である。 コンテンツデータベースに記憶されたデータの例を示す図である。 第１の実施の形態の画像処理システムの動作を示す図である。 最も近い特徴量を有する参照画像を求めた結果を示す図である。 第２の実施の形態のトラッキングデータベースに記憶されたテンプレート画像の例を示す図である。 第２の実施の形態の画像処理システムの動作を示す図である。

以下、本発明の実施の形態に係る画像処理システムについて、図面を参照しながら詳細に説明する。以下では、携帯電話端末で雑誌を撮影及び認識し、その雑誌を撮影した画像中に雑誌に関連付けられた付加情報（コンテンツ）を重畳して表示する例について説明する。

（第１の実施の形態）
図１は、第１の実施の形態の画像処理システムの構成を示すブロック図である。画像処理システムは、携帯電話端末１０と、コンテンツサーバ３０とがネットワークによって接続されて構成されている。

［携帯電話端末１０］
携帯電話端末１０は、画像取得部１２と、取得した画像から複数の特徴点を検出する特徴点検出部１４と、コンテンツサーバ３０と通信を行う通信部１６とを有している。画像取得部１２は、携帯電話端末１０に備えられたカメラで撮影をすることにより画像を生成し、これを入力画像として取得する。画像取得部１２は、外部で生成された画像を通信又は記録媒体を介して取得してもよい。画像取得部１２は、取得した画像を画像記憶部１８に記憶する。

図２は、入力画像の例を示す図である。以下の説明では、この図２の入力画像を用いて各部における処理を説明する。画像取得部１２にて取得された入力画像は、特徴点検出部１４に出力される。

特徴点検出部１４は、入力画像から特徴点を抽出し、特徴点を含む周辺の領域の画像に基づいて特徴点の特徴量を計算する。特徴量の計算には、既存技術のＳＩＦＴを用いる。また、可能であれば、他のＳＵＲＦなどの画像特徴量計算アルゴリズムを用いてもよい。図３は、入力画像から抽出された特徴点を示す図である。図３に示すように、一般的には、入力画像から複数の特徴点が検出される。

図４は、特徴点検出部１４により検出された特徴量を示す図である。本実施の形態では、特徴量として、局所特徴量を用いる。図４に示すように、特徴点検出部１４において、局所特徴量は、単精度実数のベクトルとして求められる。特徴量のデータは、計算処理負担を軽減するために、図５に示すようなバイナリデータに変換して扱うことが望ましい。単精度実数のベクトルからバイナリデータへの変換方法については、本出願人による別の出願（特願２０１１−１９５７５）において詳しく説明している。特徴点検出部１４は、特徴点の位置及び特徴量のデータを特徴点記憶部２０に記憶すると共に、特徴量のデータをコンテンツサーバ３０に送信する。

また、携帯電話端末１０は、入力画像上の点と対応参照画像上の点の位置関係を求める位置関係算出部２２と、コンテンツサーバ３０から送信されたコンテンツデータを入力画像に重畳するコンテンツ重畳部２４と、コンテンツが重畳された入力画像を表示する表示部２６とを有している。

位置関係算出部２２は、特徴点記憶部２０から入力画像の特徴点の特徴量及び位置のデータを読み出す。また、位置関係算出部２２は、コンテンツサーバ３０からトラッキングデータである対応参照画像の特徴点の特徴量及びその位置のデータを受信する。そして、位置関係算出部２２は、入力画像の各特徴点の特徴量と対応参照画像の特徴量とを比較し、似ている特徴量のリストを作成する。図６は、対応点の対を示す図である。

位置関係算出部２２は、入力画像中の特徴点の座標と、この特徴点と対になる対応参照画像中の特徴点の座標に基づいて、対応参照画像上の任意の座標を、入力画像上の点に写像するホモグラフィー行列を計算する。ホモグラフィー行列は、対応点の対のリストから、以下の式を満たすホモグラフィー行列ＡをＲＡＮＳＡＣ（Random Sample Consensus）法で推定する。
ｘ＝Ａ・Ｘ
このホモグラフィー行列Ａを用いると、対応参照画像上の任意の点を入力画像上の点に写像させることができる。

コンテンツ重畳部２４は、位置関係算出部２２によって得られたホモグラフィー行列Ａを用いて、コンテンツの重畳位置を入力画像中の座標系に変換し、入力画像上に重畳する。

［コンテンツサーバ３０］
コンテンツサーバ３０は、携帯電話端末１０と通信する通信部３２と、複数の参照画像の特徴点の特徴量のデータを参照画像のＩＤに関連付けて記憶した特徴量データベース（以下、「特徴量ＤＢ」という）３４と、特徴量ＤＢ３４のデータを用いて入力画像に対応する対応参照画像を検出する対応参照画像検出部３６と、入力画像と参照画像との位置関係の算出に用いられるトラッキングデータを記憶したトラッキングデータベース（以下、「トラッキングＤＢ」という）３８と、トラッキングＤＢ３８から対応参照画像のトラッキングデータを取得するトラッキングデータ取得部４０と、コンテンツを記憶したコンテンツデータベース（以下、「コンテンツＤＢ」という）４２と、コンテンツＤＢ４２からコンテンツを抽出するコンテンツ抽出部４４とを有している。

図７は、特徴量ＤＢ３４に記憶されたデータの例を示す図である。特徴量ＤＢ３４は、複数の参照画像中の特徴点の特徴量のデータと、その特徴点を抽出した参照画像ＩＤのデータを有している。例えば、図７において、上から第１〜３行に記載された特徴量は、参照画像ＩＤが「１」の参照画像に含まれる特徴点の特徴量である。

この参照画像は、ＡＲにおける認識対象の画像となる。すなわち、参照画像は、認識対象である雑誌を撮影して得た参照画像の中から、特徴点を抽出し、特徴量を計算して得たものである。この画像特徴点の計算手法は、既存技術のＳＩＦＴを用いる。可能であれば、他のＳＵＲＦなどの画像特徴量計算アルゴリズムを用いてもよい。ＳＩＦＴの場合、特徴量は１２８次元のベクトルとなる。

特徴量のデータは、参照画像に含まれる特徴点の個数分だけ抽出される。特徴量ＤＢ３４は、複数の参照画像に含まれる複数の特徴量のデータを記憶しているため、データ量は非常に膨大になる場合がある。例えば、１０００枚の参照画像の特徴量データを記憶する場合、１つの参照画像につき１０００個の特徴点があるとすると、特徴量ＤＢ３４は、１００万個もの特徴量データを有することになる。

特徴量ＤＢ３４は、特徴量ＤＢ３４内のデータを効率的に検索するために、特徴量によって検索するためのインデックスが設定されている。このインデックスとしては、例えば、Ｂ木やＢ＋木などのＤＢＭＳ（Database Management System）で一般的に提供されているインデックスを用いることができる。このように複数の参照画像から得られた特徴量のデータを混然一体として扱っている特徴量ＤＢ３４に検索用のインデックスが設定されていることにより、複数の参照画像の中から、最も近い特徴量を有する参照画像を高速に探し出すことができる。

対応参照画像検出部３６は、特徴量ＤＢ３４を用いて、入力画像に最も近似する参照画像を対応参照画像として求める。ここで、具体的な処理について述べる。まず、対応参照画像検出部３６は、入力画像中の複数の特徴量データのそれぞれについて、最も近い特徴量を特徴量ＤＢ３４から検索し、検索された特徴量データに関連付けられた参照画像ＩＤを求める。本実施の形態では、バイナリコードで表現された特徴量の遠近の評価にはハミング距離を採用する。なお、対応参照画像検出部３６は、高速化等の目的に応じて、ＬＳＨ（Locality Sensitive Hashing）などの既存技術を用いて、最も近いバイナリコードの探索を行なってもよい。

対応参照画像検出部３６は、入力画像の特徴量に最も近い特徴量に紐付けられた参照画像ＩＤに投票していく。対応参照画像検出部３６は、入力画像から抽出されたすべての特徴量について投票を行った結果、最も多くの票を獲得した参照画像を、この入力画像に対応する対応参照画像であると決定する。なお、対応参照画像検出部３６は、対応参照画像であると決定するための獲得票数の下限を設定してもよい。この場合は、最も多く票を獲得した参照画像の獲得票数がこの下限に満たない場合には、特徴量ＤＢ３４に対応参照画像が存在しないと判断される。

図８は、トラッキングＤＢ３８に記憶されたデータの例を示す図である。トラッキングＤＢ３８は、参照画像ごとに、参照画像に含まれる特徴点の特徴量とその位置のデータを記憶している。トラッキングＤＢ３８は、トラッキングＤＢ３８内のデータを特徴量によって検索するためのインデックスが参照画像ごとに設定されている。このインデックスは、例えば、Ｂ木やＢ＋木などのＤＢＭＳ（Database Management System）で一般的に提供されているインデックスを用いることができる。このようなインデックスが参照画像ごとに設定されていることにより、参照画像ごとに特徴量の検索を行うことができる。つまり、トラッキングＤＢ３８を備えることにより、対応参照画像が特定された後は、特定された参照画像だけを検索することが可能となる。

図９は、コンテンツＤＢ４２に記憶されたデータの例を示す図である。図９に示すように、コンテンツＤＢ４２には、コンテンツごとに、コンテンツが対応する参照画像の画像識別番号、コンテンツデータ、コンテンツの形状、サイズ、及び重畳場所からなるレコードが記憶されている。本実施の形態では、コンテンツの重畳場所は、形状、サイズ、位置によって特定されている。

コンテンツデータは、テキストデータ、画像データ、動画データを含む、入力画像に重畳される各種のデータであってよい。図９の例では、参照画像ＩＤが「１」の参照画像には、コンテンツデータとして、「この写真は・・・」という参照画像に映っている対象物体の説明文（テキストデータ）、「ｈｔｔｐ：／／ｗｗｗ．ａｂｃｄｅｆｇ．ｃｏｍ」という参考ＵＲＬ（テキストデータ）、及び参考画像の画像データが用意されている。

図１０は、本実施の形態の画像処理システムの動作を示すフローチャートである。携帯電話端末１０は、画像取得部１２にて画像を取得する（Ｓ１０）。画像取得部１２は、例えば、携帯電話端末１０に備えられたカメラによって撮影を行うことにより画像を取得する。携帯電話端末１０は、画像取得部１２にて取得した画像を画像記憶部１８に記憶すると共に特徴点検出部１４に入力する。

特徴点検出部１４は、画像取得部１２から入力された入力画像から複数の特徴点を検出し、各特徴点の位置と特徴量を求める（Ｓ１２）。特徴点検出部１４は、検出した特徴点の位置と特徴量のデータを特徴点記憶部２０に記憶する。また、特徴点検出部１４は、検出した特徴量のデータを通信部１６を通じてコンテンツサーバ３０に送信する（Ｓ１４）。

コンテンツサーバ３０は、携帯電話端末１０から送信されてきた入力画像の特徴量のデータを受信する（Ｓ１６）。コンテンツサーバ３０の対応参照画像検出部３６は、特徴量ＤＢ３４を検索し、特徴量データに対応する特徴点を最も多く含む対応参照画像を求める（Ｓ１８）。

具体的には、対応参照画像検出部３６は、受信した特徴量データに最も近い特徴量データを特徴量ＤＢ３４から検索し、検索された特徴量データに関連付けられた参照画像ＩＤを求める処理を、複数の特徴量データについて繰り返し行う。

図１１は、入力画像中の特徴点の特徴量に対応する（最も近い）特徴量を有する参照画像のＩＤを求めた結果を示す図である。図１１の最初のカラムに記載された「1011010111・・・」の特徴量に対応する特徴量を有する参照画像ＩＤは「７８３」であり、２番目のカラムの特徴量に対応する特徴量を有する参照画像ＩＤは「２３６」である。このように、入力画像中の複数の特徴量のそれぞれについて、対応する特徴量を有する参照画像ＩＤを求め、求めた参照画像ＩＤに対して投票を行う。その結果、最も多くの票を獲得した参照画像を、この入力画像に対応する対応参照画像であると決定する。つまり、入力画像中の特徴量に対応する特徴量を最も多く含んだ参照画像が対応参照画像となる。

図１０に戻って、動作の説明を続ける。コンテンツサーバ３０は、検出した対応参照画像の特徴点のデータと、コンテンツデータを携帯電話端末１０に送信する（Ｓ２０）。ここで、対応参照画像の特徴点のデータは、トラッキングＤＢ３８から読み出したトラッキングデータである。すなわち、対応参照画像の特徴点の位置とその特徴量のデータを含んでおり、かつ、当該データを特徴量から検索するためのインデックスが設定されている。コンテンツデータは、コンテンツＤＢ４２から読み出したデータであり、コンテンツ自体を表すコンテンツデータと、コンテンツの重畳位置を示すデータを含んでいる。

携帯電話端末１０は、コンテンツサーバ３０から送信された対応参照画像の特徴点のデータとコンテンツデータを受信する（Ｓ２２）。携帯電話端末１０の位置関係算出部２２は、入力画像の特徴点データと対応参照画像の特徴点データとを比べることによって、図６に示すような、入力画像の特徴点に対応する対応参照画像上の特徴点（対応点）を求める（Ｓ２４）。

続いて、携帯電話端末１０の位置関係算出部２２は、対応点の位置関係に基づいて、入力画像上の点と対応参照画像上の点との位置関係を求める（Ｓ２６）。具体的には、上述したとおり、入力画像中の特徴点の座標と対応参照画像上の任意の点を、入力画像上の点に写像するホモグラフィー行列を計算する。

携帯電話端末１０のコンテンツ重畳部２４は、求めたホモグラフィー行列を用いて、コンテンツの重畳位置を入力画像中の座標系に変換し、入力画像上に重畳する（Ｓ２８）。携帯電話端末１０は、コンテンツを重畳した入力画像を表示部２６にて表示する（Ｓ３０）。以上、第１の実施の形態の画像処理システムについて説明した。

第１の実施の形態の画像処理システムでは、コンテンツサーバ３０のトラッキングＤＢ３８が、参照画像ごとにインデックスが設定された特徴点のデータを記憶している。したがって、対応参照画像検出部３６にて対応参照画像が決定された後には、その対応参照画像についてだけ検索をかけることができるという効果を有している。

また、第１の実施の形態では、トラッキングデータを携帯電話端末１０に送信し、対象参照画像に対する検索を携帯電話端末１０に行わせている。対象参照画像だけを検索対象として、入力画像の特徴量データに対応する特徴量データを検索するのであれば、携帯電話端末１０側でも十分に高速に処理できる。これにより、コンテンツサーバ３０の計算負担を軽減し、全体としてシステムの計算速度を向上できる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の画像処理システムについて説明する。第２の実施の形態の画像処理システムの基本的な構成は、第１の実施の形態と同じであるが（図１参照）、第２の実施の形態では、トラッキングＤＢ３８に記憶されたデータが異なり、対応参照画像と入力画像との位置関係を求める処理も異なる。

図１２は、トラッキングＤＢ３８に記憶されたデータの例を示す図である。トラッキングＤＢ３８は、トラッキングデータとして、参照画像ごとに、テンプレート画像とその中心位置を記憶している。

図１３は、第２の実施の形態の画像処理システムの動作を示すフローチャートである。第２の実施の形態の画像処理システムの基本的な動作は、第１の実施の形態と同じであるが、第２の実施の形態では、コンテンツサーバ３０が、トラッキングデータとして、携帯電話端末１０にテンプレート画像を送る点が異なっている（Ｓ２１）。

携帯電話端末１０は、コンテンツサーバ３０からテンプレート画像を受信すると（Ｓ２３）、位置関係算出部２２にて、テンプレート画像を用いて入力画像とのマッチングを行う（Ｓ２５）。これにより、位置関係算出部２２は、入力画像中において、テンプレート画像とマッチする位置を検出する。位置関係算出部２２は、入力画像中でマッチした位置の座標とテンプレート画像の座標とに基づいて、入力画像上の点と対応参照画像上の点との位置関係を求める。具体的には、上述したとおり、入力画像中の特徴点の座標と対応参照画像上の任意の座標を、入力画像上の点に写像するホモグラフィー行列を計算する。以上、第２の実施の形態の画像処理システムについて、第１の実施の形態と異なる部分を中心に説明した。

第２の実施の形態の画像処理システムも、第１の実施の形態と同様に、対応参照画像が決定された後には、その対応参照画像についてだけ検索をかけることができるという効果を有し、コンテンツサーバ３０の計算負担を軽減し、全体としてシステムの計算速度を向上できる効果を有している。

以上、本発明の画像処理システム及び画像処理方法について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態では、携帯電話端末１０において入力画像の特徴点を検出する例について説明したが、携帯電話端末１０は取得した入力画像をコンテンツサーバ３０に送信し、コンテンツサーバ３０にて特徴点の検出を行うこととしてもよい。

上記した実施の形態では、入力画像に対してコンテンツを重畳するシステムを例として説明したが、本発明の画像処理システムは、コンテンツを重畳して表示するシステムに限らず、様々な用途に適用することが可能である。

以上説明したとおり、本発明は、システム全体として計算処理を高速にすることができるという効果を有し、入力画像に対応する対応参照画像を大量の参照画像の中から検索し、その対応関係を求めるシステム等として有用である。

１０ 携帯電話端末
１２ 画像取得部
１４ 特徴点検出部
１６ 通信部
１８ 画像記憶部
２０ 特徴点記憶部
２２ 位置関係算出部
２４ コンテンツ重畳部
２６ 表示部
３０ コンテンツサーバ
３２ 通信部
３４ 特徴量ＤＢ
３６ 対応参照画像検出部
３８ トラッキングＤＢ
４０ トラッキングデータ取得部
４２ コンテンツＤＢ
４４ コンテンツ抽出部

Claims (4)

1. サーバに記憶された複数の参照画像の中から、端末にて入力された入力画像に対応する対応参照画像を検索し、前記入力画像上の点と前記対応参照画像上の点の位置関係を求める画像処理システムであって、
   前記サーバは、
   複数の参照画像中の複数の特徴点の特徴量のデータとその特徴点を含む参照画像の識別子とを記憶すると共に、データを特徴量から検索するためのインデックスが設定された特徴量データベースと、
   前記入力画像上の点と前記参照画像上の点の位置関係の計算に用いられる当該参照画像中の特徴点の特徴量を表すバイナリデータ及び位置のデータをトラッキングデータとして記憶したトラッキングデータベースと、
   前記入力画像中の複数の特徴点の特徴量のデータを前記端末から受信する受信部と、
   前記特徴量データベースを用いて、前記入力画像の特徴量データに対応する特徴点を最も多く含む参照画像を前記対応参照画像として検出する対応参照画像検出部と、
   前記トラッキングデータベースから前記対応参照画像のトラッキングデータを取得するトラッキングデータ取得部と、
   前記対応参照画像のトラッキングデータを前記端末に送信する送信部と、
   を備え、
   前記端末は、
   前記入力画像中の特徴点の位置およびその特徴量を検出する特徴点検出部と、
   前記サーバに前記入力画像中の複数の特徴点の特徴量のデータを送信する送信部と、
   前記サーバから、前記対応参照画像のトラッキングデータを受信する受信部と、
   前記トラッキングデータに基づいて、前記入力画像上の点と前記対応参照画像上の点の位置関係を計算する位置関係算出部と、
   を備える画像処理システム。
2. 前記トラッキングデータベースは、データを特徴量から検索するためのインデックスが参照画像ごとに設定されたトラッキングデータを記憶しており、
   前記端末の位置関係算出部は、前記トラッキングデータに基づいて、前記入力画像中の各特徴点に対応する前記対応参照画像の特徴点を求め、対応する各特徴点の位置関係に基づいて、前記入力画像上の点と前記参照画像上の点の位置関係を計算する請求項１に記載の画像処理システム。
3. 前記サーバは、
   前記参照画像に関連付けて、参照画像に重畳されるコンテンツ及びその重畳位置のデータを記憶したコンテンツデータベースと、
   前記コンテンツデータベースから、前記対応参照画像に対応するコンテンツ及びその重畳位置のデータを読み出すコンテンツ抽出部と、
   前記コンテンツ及びその重畳位置のデータを前記端末に送信する送信部と、
   を備え、
   前記端末は、
   前記コンテンツ及びその重畳位置のデータを受信する受信部と、
   前記位置関係算出部にて検出された位置関係に基づいて、前記コンテンツの重畳位置を前記入力画像上の座標系に変換し、前記入力画像に前記コンテンツを重畳する重畳部と、
   前記コンテンツを重畳した画像を表示する表示部と、
   を備える請求項１または２に記載の画像処理システム。
4. サーバに記憶された複数の参照画像の中から、端末にて入力された入力画像に対応する対応参照画像を検索し、前記入力画像上の点と前記対応参照画像上の点の位置関係を求める方法であって、
   前記端末が、前記入力画像中の特徴点の位置およびその特徴量を検出するステップと、
   前記端末が、前記サーバに前記入力画像中の複数の特徴点の特徴量のデータを送信するステップと、
   前記サーバが、複数の参照画像中の特徴点の特徴量のデータとその特徴点を含む参照画像の識別子とを記憶すると共に、データを特徴量から検索するためのインデックスが設定された特徴量データベースの中から、前記入力画像の特徴量データに対応する特徴点を最も多く含む参照画像を前記対応参照画像として検出するステップと、
   前記サーバが、前記入力画像上の点と前記参照画像上の点の位置関係の計算に用いられる当該参照画像中の特徴点の特徴量を表すバイナリデータ及び位置のデータをトラッキングデータとして記憶したトラッキングデータベースから、前記対応参照画像のトラッキングデータを取得するステップと、
   前記サーバが、前記対応参照画像のトラッキングデータを前記端末に送信するステップと、
   前記端末が、前記トラッキングデータに基づいて、前記入力画像上の点と前記対応参照画像上の点の位置関係を計算するステップと、
   を備える画像処理方法。
   

Images