JP5433397B2 - 画像表示装置、画像表示方法、携帯端末 - Google Patents

Description

本発明は、画像表示装置及び方法と携帯端末に関する。

識別画像（ＱＲコード（登録商標）等の二次元コード）が貼付されたカードをデジタルカメラで撮像し、この撮像で得られた画像データから上記識別画像を検出し、検出した識別画像からカードの識別情報を検出する方法が特許文献１によって開示されている。

そして、この方法を発展させて、デジタルカメラで撮像して得られた撮像画像をモニタ上に表示すると共に、モニタに表示されているカードの画像上に、検出された識別情報に対応したオブジェクトの三次元画像を重畳して表示するようにした例が特許文献２によって明らかにされている。この方法によれば、実空間と仮想空間を融合した視覚効果を表現することが可能となる。

特開２０００−８２１０８号公報 特開２０００−３２２６０２号公報

しかしながら、特許文献２に開示された方法は、カードの識別画像とそれに対応するオブジェクトとを１対１で対応させておく必要があるため、このカードの画像に重畳させるオブジェクトを別のものに変更するには、カードの識別画像とオブジェクトとの対応付けを新たに行う必要があり、その作業が面倒である。また、カードの作成者は、カード作成時に、そのカードに重畳すべき所望のオブジェクトを作成するか、又は、複数のオブジェクトの中から所望のオブジェクトを選択する作業を行う必要があり、この作業も面倒である。

本発明は、上記事情に鑑みてなされたものであり、面倒な作業なく、利用者の意図するコンテンツを撮像画像上に重畳して表示することが可能な画像表示装置及び方法と携帯端末を提供することを目的とする。

本発明の画像表示装置は、被写体を撮像して撮像画像データを生成する撮像部と、前記撮像画像データから、前記撮像画像データと合成する対象となるコンテンツデータの検索条件を表した検索条件データを抽出し、当該検索条件データに基づく検索条件を読み取る検索条件読み取り部と、前記コンテンツデータを複数記録するデータベースから、前記検索条件読み取り部で読み取られた前記検索条件に合致するコンテンツデータを取得するコンテンツデータ取得部と、前記コンテンツデータ取得部で取得された前記コンテンツデータと前記撮像画像データを合成して、前記撮像画像データに基づく画像に前記コンテンツデータに基づくコンテンツを合成表示するための表示用画像データを生成する画像合成部と、前記表示用画像データに基づく画像を表示部に表示させる表示制御部とを備え、前記コンテンツデータ取得部が、前記検索条件に合致し、かつ、前記撮像画像データの画質に最も近いコンテンツデータを取得する。

本発明の携帯端末は、前記画像表示装置の各部と、前記表示部と、前記データベースにネットワークを介して接続する通信部とを備える。

本発明の画像表示方法は、被写体を撮像して撮像画像データを生成する撮像ステップと、前記撮像画像データから、前記撮像画像データと合成する対象となるコンテンツデータの検索条件を表した検索条件データを抽出し、当該検索条件データに基づく検索条件を読み取る検索条件読み取りステップと、前記コンテンツデータを複数記録するデータベースから、前記検索条件に合致するコンテンツデータを取得するコンテンツデータ取得ステップと、前記コンテンツデータと前記撮像画像データを合成して、前記撮像画像データに基づく画像に前記コンテンツデータに基づくコンテンツを合成表示するための表示用画像データを生成する画像合成ステップと、前記表示用画像データに基づく画像を表示部に表示させる表示制御ステップとを備え、前記コンテンツデータ取得ステップでは、前記検索条件に合致し、かつ、前記撮像画像データの画質に最も近いコンテンツデータを取得する。

本発明によれば、面倒な作業なく、利用者の意図するコンテンツを撮像画像上に重畳して表示することが可能な画像表示装置及び方法と携帯端末を提供することができる。

本発明の一実施形態である画像表示システムの概略を説明するための図 本発明の一実施形態を説明するための画像表示システムの概略構成を示す図 図２に示すシステムにおけるマーカー検出部とマーカー画像抽出部とマーカー画像正規化部の処理を説明する図 図２に示した画像表示システムにおけるコンテンツＤＢに登録されるテーブルの一例を示した図 図２に示した画像表示システムを利用したサービスの一例を説明する図 図２に示した画像表示システムで利用者によりコンテンツを選択させる際の画面表示例を示した図 図２に示した画像表示システムを利用したサービスの別の例を説明する図 図２に示した画像表示システムの第一の変形例を示した図 図８に示した画像表示システムを利用したサービスの例を説明する図 図２に示した画像表示システムの第二の変形例を示した図 図２に示した画像表示システムの第三の変形例を示した図 図２に示した画像表示システムの第四の変形例を示した図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態である画像表示システムの概略を説明するための図である。この画像表示システムでは、複数のコンテンツデータをデータベースに登録し、このデータベースの中から最適なコンテンツデータを検索するための検索条件をコード化したＱＲコードＡを貼り付け又は印刷したカード等の物体Ｂを作成する。物体Ｂには、その輪郭にマーカーＣを設けておく。物体Ｂはクリスマスカード、広告用のダイレクトメール、写真アルバム等である。物体Ｂを撮像部により撮像すると、撮像画像中からマーカーＣが検出され、そのマーカーＣで囲まれる範囲が物体Ｂの画像として抽出される。また、この物体Ｂの画像に含まれるＱＲコードが認識されて、そのＱＲコードで示される検索条件に合致するコンテンツデータがデータベースから取得される。そして、物体Ｂの画像Ｂ’と、検索条件に合致したコンテンツＤとが合成して表示されるようになっている。以下、具体的なシステム構成について説明する。

図２は、本発明の一実施形態を説明するための画像表示システムの概略構成を示す図である。図２に示す画像表示システムは、画像表示装置１００と、コンテンツデータベース１２とを備える。

画像表示装置１００は、撮像部１と、マーカー検出部２と、マーカー画像抽出部３と、マーカー画像正規化部４と、ＱＲコード読み取り部５と、コンテンツ検索部６と、通信部７と、コンテンツ合成部８と、表示制御部９と、表示部１０とを備える。通信部７にはインターネット等のネットワーク１１が接続され、このネットワーク１１にコンテンツデータベース（ＤＢ）１２が接続されている。

撮像部１は、被写体を撮像して撮像画像データを生成するものであり、撮像レンズや絞り等の光学系、撮像素子、撮像素子から出力された撮像信号に信号処理を施して撮像画像データ（１画素に赤青緑の色成分を持たせたデータ）を生成する信号処理部等を含む。

マーカー検出部２は、図３に示すように、撮像部１で図１に示す物体Ｂを撮像して得られる撮像画像データ３０から、物体Ｂの輪郭に設けられたマーカーＣを検出する。マーカーＣを検出する方法としては、例えば予め登録してあるマーカーのテンプレート画像とのマッチング処理を行う方法、マーカーの形状を登録しておき、輪郭抽出処理によってその形状の被写体を抽出する方法等を採用すればよい。

マーカー画像抽出部３は、図３に示すように、マーカー検出部２で検出されたマーカーＣとその内側の範囲のデータをマーカー画像データ３１として、撮像画像データから抽出する。マーカー画像データ３１には、図１に示すＱＲコードＡに対応するデータ（コンテンツの検索条件を表した検索条件データ）が含まれる。

マーカー画像正規化部４は、マーカー画像抽出部３で抽出されたマーカー画像データを正規化する。具体的には、図３に示すように、マーカー画像データ３１を菱形から方形に変形する。正規化後のマーカー画像データ３１は、ＱＲコードＡを読み取り可能な形となる。

ＱＲコード読み取り部５は、マーカー画像正規化部４で正規化後のマーカー画像データ３１から、そこに含まれるＱＲコードＡに対応するデータを抽出し、抽出したデータからＱＲコードＡをデコードして、検索条件を読み取る。

通信部７は、有線又は無線でネットワーク１１に接続してデータの送受信を行う通信インターフェースである。

コンテンツ検索部６は、ＱＲコード読み取り部５で読み取られた検索条件にしたがって、その検索条件に合致するコンテンツデータを、通信部７を介してコンテンツＤＢ１２から取得する。

コンテンツ合成部８は、コンテンツ検索部６で検索されたコンテンツデータと、撮像部１から得られた撮像画像データとを合成して、該コンテンツデータに基づくコンテンツと、撮像画像データに基づく画像とを合成して表示部１０に表示するための表示用画像データを生成する。

表示制御部９は、コンテンツ合成部８で生成された表示用画像データを表示部１０に出力して、表示部１０に該表示用画像データに基づく画像を表示させる。

表示部１０は、有機ＥＬ素子、液晶表示素子等の表示素子によって画像を表示するものである。表示部１０は、この画像再生装置１００とは別体としてもよい。

コンテンツＤＢ１２は、コンテンツ合成部８で撮像画像データと合成する対象となるコンテンツデータを複数登録するものである。コンテンツＤＢ１２には、新しいコンテンツデータをいつでも登録できるようになっている。なお、コンテンツＤＢ１２は、画像表示装置１００に内蔵してあってもよい。

次に、画像表示システムを利用したサービスの具体例について説明する。以下の説明では、コンテンツＤＢ１２に図４に示すようなテーブルが登録されているものとする。

図４は、図２に示した画像表示システムにおけるコンテンツＤＢに登録されるテーブルの一例を示した図である。図４に示すように、コンテンツＤＢ１２には、二次元又は三次元の画像データが登録されたテーブル４０と、三次元のポリゴンデータが登録されたテーブル４１とが記録されている。

テーブル４０には、それぞれ異なる画像データＧ１〜Ｇ６が登録されており、画像データＧ１〜Ｇ６の各々には、その内容をテキストの形式で示した属性情報と、そのデータを登録した日を示す登録日情報とが対応付けて登録されている。

図４の例では、画像データＧ１がサンタクロースのイメージデータであるため、その内容を示す“Ｓａｎｔａ Ｃｌａｕｓ”というテキストデータが画像データＧ１の属性情報として登録されている。また、画像データＧ３，Ｇ６はクリスマスツリー、サンタクロース等のクリスマスに関連する画像データであるため、その内容を示す“Ｃｈｒｉｓｔｍａｓ”というテキストデータが画像データＧ３，Ｇ６の属性情報として登録されている。また、画像データＧ２，Ｇ４は車の画像データであるため、その内容（車名等）を示す“Ｃａｒ Ｎａｍｅ”というテキストデータが画像データＧ２，Ｇ４の属性情報として登録されている。画像データＧ４は、例えば、画像データＧ２を少し編集したデータであり、属性情報は画像データＧ２と同じになっている。ただし、画像データＧ４は画像データＧ２の後に登録されているため、登録日は画像データＧ４の方が新しくなっている。

テーブル４１には、それぞれ異なるポリゴンデータＰ１〜Ｐ６が登録されており、ポリゴンデータＰ１〜Ｐ６の各々には、その内容をテキストの形式で示した属性情報が対応付けて登録されている。

図４の例では、ポリゴンデータＰ１が乳児の女の子をモデルにしたデータであるため、その内容を示す“乳児の女”というテキストデータがポリゴンデータＰ１の属性情報として登録されている。また、ポリゴンデータＰ２が乳児の男の子をモデルにしたデータであるため、その内容を示す“乳児の男”というテキストデータがポリゴンデータＰ２の属性情報として登録されている。また、ポリゴンデータＰ３が中年の男性をモデルにしたデータであるため、その内容を示す“中年の男”というテキストデータがポリゴンデータＰ３の属性情報として登録されている。また、ポリゴンデータＰ４が中年の女性をモデルにしたデータであるため、その内容を示す“中年の女”というテキストデータがポリゴンデータＰ４の属性情報として登録されている。また、ポリゴンデータＰ５が小学生の男の子をモデルにしたデータであるため、その内容を示す“小学生の男”というテキストデータがポリゴンデータＰ５の属性情報として登録されている。また、ポリゴンデータＰ６が小学生の女の子をモデルにしたデータであるため、その内容を示す“小学生の女”というテキストデータがポリゴンデータＰ６の属性情報として登録されている。

図５は、図２に示した画像表示システムを利用したサービスの一例を説明する図である。この例では、マーカー５１とＱＲコード５２を印刷したクリスマスカード５０を作成しておく。ＱＲコード５２は、コンテンツＤＢ１２に登録されたコンテンツデータのうち、属性情報の中にクリスマスカードに関連する“Ｓａｎｔａ Ｃｌａｕｓ”又は“Ｃｈｒｉｓｔｍａｓ”というワードを含み、かつ、画像データであるコンテンツデータを検索するという検索条件をコード化したものにしておく。

このクリスマスカード５０を受け取った人は、クリスマスカード５０を画像表示装置１００の撮像部１で撮像する。撮像が終了すると、画像表示装置１００は、この撮像によって得た撮像画像データからマーカー５１に対応する部分を抽出し、その部分とそれよりも内側のデータをマーカー画像データとして抽出する。続いて、画像表示装置１００は、マーカー画像データからＱＲコード５２に対応する部分を抽出し、ここからＱＲコード５２をデコードして検索条件を読み取る。次に、画像表示装置１００は、読み取った検索条件にしたがって適切なコンテンツデータをコンテンツＤＢ１２から取得する。

画像表示装置１００は、検索条件に合致するコンテンツデータが１つしかない場合は、そのコンテンツデータを取得する。検索条件に合致するコンテンツデータが複数ある場合には、その中のいずれか１つのコンテンツデータを取得する。

図５の例では、検索条件が、「コンテンツＤＢ１２に登録されたコンテンツデータのうち、属性情報の中に“Ｓａｎｔａ Ｃｌａｕｓ”又は“Ｃｈｒｉｓｔｍａｓ”というワードを含むコンテンツデータを検索する」というものである。このため、この検索条件に合致するコンテンツデータは、画像データＧ１，Ｇ３，Ｇ６のように複数となる。コンテンツ検索部６は、この複数の画像データから１つを選択する。選択方法としては、複数のコンテンツデータからランダムに１つを選択する方法、登録日が最新のものを選択する方法等がある。または、検索条件に合致する複数のコンテンツデータの中から、装置の利用者によって選択されたものを選択するようにしてもよい。

例えば、コンテンツ検索部６は、画像データＧ１，Ｇ３，Ｇ６を全て取得する。そして、図６に示すように、コンテンツ検索部６は、画像データＧ１に基づく画像ｇ１と、画像データＧ３に基づく画像ｇ３と、画像データＧ６に基づく画像ｇ６とを、表示制御部９を介して表示部１０に同時に表示させる。そして、画像表示装置１００に設けられた不図示の操作部により、表示中の画像のいずれかが利用者によって選択されると、コンテンツ検索部６は、その選択された画像に対応する画像データを、検索結果としてコンテンツ合成部８に出力する。

このようにして、コンテンツ検索部６で１つのコンテンツデータが検索されると、このコンテンツデータと撮像画像データとが合成されて表示用画像データが生成される。最後に、表示用画像データに基づく画像が表示部１０に表示される。コンテンツ検索部６で検索されたコンテンツデータが画像データＧ１であった場合には、図５に示すように、クリスマスカード５０に対応するマーカー画像５０’を含む撮像画像５３に、画像データＧ１に基づくサンタクロースの画像ｇ１が重畳して表示される。

図７は、図２に示した画像表示システムを利用したサービスの別の例を説明する図である。この例では、新製品の宣伝を行うために、車の販売ディーラーが多数の顧客に送付するダイレクトメールに、マーカー７１とＱＲコード７２を印刷したカタログ７０を入れておく。ＱＲコード７２は、コンテンツＤＢ１２に登録されたコンテンツデータのうち、属性情報の中に宣伝対象となる車の車名である“Ｃａｒ Ｎａｍｅ”というワードを含み、かつ、登録日が最新であり、かつ、画像データであるコンテンツデータを検索するという検索条件をコード化したものにしておく。

ダイレクトメールを受け取った顧客は、ダイレクトメールに入っているカタログ７０を画像表示装置１００の撮像部１で撮像する。撮像が終了すると、画像表示装置１００は、この撮像によって得た撮像画像データからマーカー７１に対応する部分を抽出し、その部分とそれよりも内側のデータをマーカー画像データとして抽出する。続いて、画像表示装置１００は、マーカー画像データからＱＲコード７２に対応する部分を抽出し、ここからＱＲコード７２をデコードして検索条件を読み取る。次に、画像表示装置１００は、読み取った検索条件にしたがって適切なコンテンツデータをコンテンツＤＢ１２から取得する。

コンテンツＤＢ１２には、“Ｃａｒ Ｎａｍｅ”を属性情報として含むコンテンツデータが２つ登録されているが、コンテンツ検索部６は、この２つのうち、登録日が最新のもの（画像データＧ４）をコンテンツＤＢ１２から取得する。

次に、取得されたコンテンツデータと撮像画像データとが合成されて表示用画像データが生成される。最後に、表示用画像データに基づく画像が表示部１０に表示される。これにより、図７に示すように、カタログ７０に対応するマーカー画像７０’を含む撮像画像７４に、画像データＧ４に基づく車の画像ｇ４が重畳して表示される。

以上のように、この画像表示システムによれば、クリスマスカードやカタログ等の物品の作成者は、これらに検索条件をコード化したＱＲコードを埋め込んでおくだけで、その物品を撮像した画像に、作成者の意図したコンテンツを重畳して表示させることができる。これにより、図５に示した例であれば、クリスマスカードを受け取った人に驚きを与えることができると共に、実空間では実現できないようなクリスマスカードでも、これを仮想的に実現することができ、付加価値のあるクリスマスカードを作成することができる。また、図７に示した例であれば、宣伝対象となる車を、カタログよりも現実に近い形で顧客に提示することができ、ダイレクトメールの宣伝効果を増す効果が期待できる。また、図７に示した例のように、検索条件として登録日が最新のものという条件を設定しておくことで、常に最新のコンテンツを重畳表示させることが可能になる。このため、製品のコンテンツをマイナーチェンジするたびに、ＱＲコードを作り変えるといった手間が不要となり、簡便なシステムを実現することができる。

従来では、物品を撮像した画像に所望のコンテンツを重畳表示させるには、まず、該所望のコンテンツを作成したり、該所望のコンテンツを多数あるコンテンツの中から選んだりした上で、その所望のコンテンツと１対１で対応するＱＲコードを作成して、このＱＲコードを物品に埋め込む必要があった。これに対し、この画像表示システムでは、重畳表示させたいコンテンツが明確に決まっていない場合でも、重畳表示させたいコンテンツを大まかに指定する検索条件をＱＲコードとして埋め込んでおくだけで、物品の作成者の意図に沿ったコンテンツを重畳表示させることが可能になる。つまり、物品の作成者は、コンテンツＤＢ１２に登録されているデータとは関係なく、自由にＱＲコードを作成することができるため、面倒な作業なく、付加価値のある物品作成が可能となる。また、コンテンツＤＢ１２に登録するコンテンツデータについても、ＱＲコードとは関係なく自由に追加していくことができるため、コンテンツデータの管理も容易となる。

例えば図７の例において、顧客にダイレクトメールを送付した後に、重畳表示させたいコンテンツデータをバージョンアップしたとする。具体的には、図４に示した画像データＧ２を最初に登録していて、その後に、画像データＧ２を少し修正した画像データＧ４を登録したとする。画像データＧ２を今後利用しないのであれば、画像データＧ２と画像データＧ４を同一名称にして、コンテンツＤＢ１２上で上書き保存してしまえばよいが、古い画像データＧ２を残しておきたい場合もある。例えば、製品の新旧を比較するような場合である。このような場合、従来の方法では、画像データＧ４を登録した時点で、これに対応するＱＲコードを作る必要があったが、本システムによれば、このような作業を不要にすることができる。

また、本システムによれば、検索条件に合致するコンテンツデータが複数あった場合でも、複数のコンテンツデータからランダムに選ばれたものを撮像画像に重畳表示することが可能である。このため、図５に示した例であれば、クリスマスカードを撮像するたびに、撮像画像に重畳されるコンテンツがランダムに変化することになり、飽きのこないクリスマスカードを実現することができる。

また、本システムによれば、検索条件に合致するコンテンツデータが複数あった場合でも、複数のコンテンツデータから画像表示装置１００の利用者によって選ばれたものを撮像画像に重畳表示することが可能である。このため、利用者の好みに合ったコンテンツを表示させることができる。例えば、図７に示した例において、検索条件に合致するコンテンツデータとして、車の外装を示した画像データと、車の内装を示した画像データとを同日に登録しておけば、利用者は、車の外装と内装を順次確認することができるようになる。

なお、画像表示装置１００は、検索条件に合致するコンテンツデータが複数あった場合には、その複数のコンテンツデータに基づくコンテンツを、所定時間毎に切替表示するようにしてもよい。この場合は、コンテンツ検索部６が検索条件に合致するコンテンツデータを全て取得する。そして、コンテンツ合成部８が、取得された複数のコンテンツデータの各々と撮像画像データとを合成して複数の表示用画像データを生成する。表示制御部９は、この複数の表示用画像データを所定時間毎に順次表示部１０に出力して、複数の表示用画像データに基づく複数の画像を、表示部１０に順次表示させればよい。例えば、図７に示した例であれば、車の外装、内装等を順次自動的に表示させることができ、宣伝効果の高いダイレクトメールを実現することができる。図５に示した例であれば、より面白みのあるクリスマスカードを実現することができる。

また、本システムによれば、ＱＲコードを作成できるソフトウェアさえあれば、誰でも図５に示したようなオリジナルのクリスマスカードを簡単に作成することができる。したがって、サービス提供者は、マーカーを付与したクリスマスカードを販売し、コンテンツＤＢ１２にコンテンツデータを登録するだけでよく、サービス利用者は、マーカーが付与されたクリスマスカードを購入して、これに自身で作成したＱＲコードを貼り付けるだけでよい。このように、本システムによれば、サービス提供者、サービス利用者の双方にとって負担の少ないサービスを実現することができる。

なお、上記説明では、クリスマスカードやカタログの物品の輪郭にマーカーを設けるものとしたが、このマーカーは、ＱＲコードが撮像画像データ中のどの範囲にあるのかを特定するためのものであるため、物品の輪郭に設ける必要はない。例えば、ＱＲコードの周囲に該ＱＲコードを囲う形でマーカーを設けておいてもよい。画像表示装置１００では、このマーカーを検出し、マーカー内の画像を抽出して正規化することで、ＱＲコードの読み取りが可能となる。

このようにＱＲコードの周囲にマーカーを設ける場合には、ＱＲコードを作成できるソフトウェアに、ＱＲコードだけでなく、そのＱＲコードの周囲を囲むマーカーも作成できる機能を持たせることで、市販の葉書等を使って図５に示したようなクリスマスカードを利用者自身で作成することができるようになる。このようにすることで、サービス提供者側はカードの販売もしなくてよくなり、サービス構築にかかるコストを抑えることができる。

なお、撮像部１で物品の撮像を行う際に、ＱＲコードを主要被写体として撮像を行うようにすれば、マーカーがなくてもＱＲコードを認識することが可能である。このため、物品側にマーカーを設けなくても本サービスを実現することは可能である。

また、ここまでは物品にＱＲコードを貼り付けたり印刷したりすることで、画像表示装置１００が検索条件を読み取ることを可能にしたが、これに限らない。例えば、ＱＲコードの代わりにカラーコードを用いてもよい。また、ＱＲコードを設ける代わりに、物品に電子透かし技術により検索条件をコード化して埋め込んでおいてもよい。電子透かしを用いる場合には、ＱＲコード読み取り部５の代わりに、電子透かし検出ソフトによってコード化された検索条件データを読み取ることのできるブロックを設ければよい。

次に、図２に示した画像表示システムの変形例を説明する。

図８は、図２に示した画像表示システムの第一の変形例を示した図である。図８に示したシステムは、画像表示装置１００に顔抽出部１３を追加し、コンテンツ合成部８に一部機能を追加した以外は、図２に示したシステム構成と同じである。

顔抽出部１３は、マーカー画像正規化部４で正規化されたマーカー画像データから、公知の顔検出処理によって、顔を示す顔画像データを抽出する。

コンテンツ合成部８は、コンテンツ検索部６から入力されたコンテンツデータがポリゴンデータであった場合、そのポリゴンデータに顔抽出部１３で抽出された顔画像データを貼り付けるテクスチャマッピング処理を実施して、被写体に含まれる顔をポリゴンで立体表示するための表示用画像データを生成する。

次に、図２に示した画像表示システムを利用したサービスの具体例について説明する。以下の説明では、コンテンツＤＢ１２に図４に示すようなテーブルが登録されているものとする。

図９は、図８に示した画像表示システムを利用したサービスの例を説明する図である。この例では、写真アルバムに、マーカー９１を印刷したページ９０を入れておく。そして、アルバムの作成者は、このページ９０に好みの写真（ここでは、乳児の女の子の写真とする）とＱＲコード９２を貼り付けて、アルバムを完成させる。ＱＲコード９２は、コンテンツＤＢ１２に登録されたコンテンツデータのうち、属性情報の中に写真の被写体である“乳児の女”というワードを含み、かつ、ポリゴンデータであるコンテンツデータを検索するという検索条件をコード化したものにしておく。

写真アルバムを受け取った人は、写真アルバムのページ９０を画像表示装置１００の撮像部１で撮像する。撮像が終了すると、画像表示装置１００は、この撮像によって得た撮像画像データからマーカー９１に対応する部分を抽出し、その部分とそれよりも内側のデータをマーカー画像データとして抽出する。続いて、画像表示装置１００は、マーカー画像データからＱＲコード９２に対応する部分を抽出し、ここからＱＲコード９２をデコードして検索条件を読み取る。また、画像表示装置１００は、マーカー画像データから顔を示す顔画像データを抽出する。次に、画像表示装置１００は、読み取った検索条件にしたがって適切なコンテンツデータ（ここではポリゴンデータＰ１となる）をコンテンツＤＢ１２から取得する。

次に、画像表示装置１００は、テクスチャマッピング処理により、取得したポリゴンデータＰ１に上記抽出した顔画像データを貼り付けて、顔画像データに基づく顔を立体表示するための表示用画像データを生成する。最後に、画像表示装置１００は、表示用画像データに基づく画像を表示部１０に表示する。これにより、図９に示すように、ページ９０に対応するマーカー画像９０’を含む撮像画像９４に、アルバムの写真に写っている乳児の顔９３が立体的に重畳して表示される。

このように、図８に示したシステムによれば、アルバムに写っている人物の顔を表示部１０上で立体的に表示させることができ、付加価値の高いアルバムを提供することができる。このシステムにおいては、撮像画像のうちの写真が存在している部分からポリゴンを立体表示させることが好ましいため、マーカー９１は、アルバムに貼り付けられた写真の周囲に設けておくことが好ましい。

図１０は、図２に示した画像表示システムの第二の変形例を示した図である。図１０に示したシステムは、画像表示装置１００に分光算出部１４及びコンテンツ補正部１５を追加した以外は、図２に示したシステム構成と同じである。

分光算出部１４は、画像表示装置内に予め記憶してあるマーカーの分光反射率特性のデータと、正規化されたマーカー画像データの各画素データの値とから、当該マーカー画像データを得た撮像時における光源の分光特性を算出する。

コンテンツ補正部１５は、分光算出部１４で算出された分光特性をもとに、コンテンツ検索部６で取得されたコンテンツデータの色味を補正する。

コンテンツ合成部８は、コンテンツ補正部１５で補正後のコンテンツデータと、撮像部１で撮像して得られた撮像画像データとを合成する。

以上のような構成により、表示部１０に表示される画像を良好なものにすることができる。

図１１は、図２に示した画像表示システムの第三の変形例を示した図である。図１１に示したシステムは、画像表示装置１００にマーカー画像解析部１６を追加し、コンテンツ検索部６の機能を一部変更した以外は、図２に示したシステム構成と同じである。

マーカー画像解析部１６は、マーカー画像正規化部４で正規化されたマーカー画像データの解析を行い、解析結果をコンテンツ検索部６に送信する。具体的な解析項目としては、画像の全体的な色味、明るさ、コントラスト等の画質に関するものである。

コンテンツ検索部６は、検索条件に合致し、かつ、マーカー画像解析部１６で解析されたマーカー画像データの画質に最も近いコンテンツデータをコンテンツＤＢ１２から検索して取得する。

図５に示したサービス例であれば、検索条件を満たす画像データは画像データＧ１，Ｇ３，Ｇ６の３つであるが、マーカー画像解析部１６が解析したマーカー画像データの画質（ここでは色味、例えばマーカー画像データ全体に占める割合が最も多い色）に最も近いコンテンツデータが選ばれる。

図５の例では、マーカー画像データにおいて緑色のクリスマスツリーが大部分を占めているため、マーカー画像データの色味として“緑色”が解析結果としてコンテンツ検索部６に送信される。そして、画像データＧ１，Ｇ３，Ｇ６のうち、緑色の占める割合が最も多い画像データＧ６が最適なコンテンツとしてコンテンツ検索部６により取得される。

なお、ここでは、マーカー画像データの色味に近い画像データを最適コンテンツとして選択するものとしたが、マーカー画像データの色味とは色空間において反対の色を大部分に持つ画像データを最適コンテンツとして選択してもよい。例えば、赤色を大部分に持つ画像データＧ１を選択してもよい。

画質が近いとは、マーカー画像データとコンテンツデータとで画質（色味、明るさ、又はコントラスト）を示す数値の差が閾値以下となっていることを言い、最も近いとは、この差が最も小さいことを言う。

なお、コンテンツ検索部６は、検索条件に合致するコンテンツデータが１つしかない場合には、解析結果に関わらず、そのコンテンツデータを取得すればよい。

また、コンテンツデータの画質情報は、コンテンツＤＢ１２の各コンテンツデータに予め対応付けて登録しておいてもよいし、コンテンツ検索部６が検索条件を満たすコンテンツデータを解析して求めてもよい。

また、コンテンツＤＢ１２には、１つのコンテンツデータに対して画質を変えた複数パターンのコンテンツデータを登録しておいてもよい。この場合には、検索条件に合致するコンテンツデータが１つであっても、そのコンテンツデータの複数パターンのうち最も画質が近いものを選択すればよい。また、この場合に検索条件に合致するコンテンツデータが複数あった場合には、ランダムで選択したコンテンツデータ、ユーザによって選択されたコンテンツデータ、又は登録日が最新のコンテンツデータを選択し、選択したコンテンツデータの複数パターンのうち最も画質が近いものを選択すればよい。

以上のような構成により、撮像画像データとコンテンツデータを重畳表示させたときに、撮像画像データに含まれるマーカー画像とコンテンツとの画質を揃えることができ、より違和感のない合成表示が可能となる。

なお、図１１に示した構成は、図８及び図１０に示した変形例においても適用可能である。

図１２は、図２に示した画像表示システムの第四の変形例を示した図である。図１２に示したシステムは、画像表示装置１００に画像解析ＤＢ１７を追加し、コンテンツ検索部６の機能を一部変更した以外は、図２に示したシステム構成と同じである。

図１２に示したシステムにおけるコンテンツ検索部６は、マーカー画像正規化部４で正規化されたマーカー画像データを取得し、これをネットワーク１１を介して画像解析ＤＢ１７に送信する機能を持つ。また、コンテンツ検索部６は、ＱＲコード読み取り部５で読み取られた検索条件に、画像解析ＤＢ１７から返信されてくる解析結果を加味して、最適なコンテンツデータをコンテンツＤＢ１２から検索する。

画像解析ＤＢ１７には、例えばコンテンツＤＢ１２に登録される画像データが、その内容を具体的に表す内容情報とともに登録されている。例えば、図４に示す画像データＧ１であれば、サンタクロースであることを示す内容情報が登録されている。また、図４に示す画像データＧ３であれば、クリスマスツリーであることを示す内容情報が登録されている。また、図４に示す画像データＧ６であれば、メリークリスマスという文字が主体の画像データであることを示す内容情報が登録されている。この内容情報は、画像データのタグ情報として登録されている。

また、コンテンツＤＢ１２に登録されている各コンテンツデータには、画像解析ＤＢ１７に登録されているのと同じ内容情報も登録されているものとする。

画像解析ＤＢ１７は、コンテンツ検索部６から受信したマーカー画像データと、データベース内の画像データとのマッチングを行い、マーカー画像データに内容が最も近い画像データを判定する。マーカー画像データに内容が最も近い画像データとは、マッチングの評価値が一定値以上になっている画像データのうち、評価値が最大となっているもののことを言う。

図５に示したサービス例であれば、クリスマスカード５０にはクリスマスツリーが印刷されているため、画像解析ＤＢ１７内にあるクリスマスツリーの画像データが、マーカー画像データに内容が最も近い画像データとして判定される。画像解析ＤＢ１７は、マーカー画像データに最も近いと判定した画像データの内容情報を、解析結果としてコンテンツ検索部６に返信する。

コンテンツ検索部６は、ＱＲコード読み取り部５で得られた検索条件に合致し、かつ、マーカー画像データの内容に最も近いコンテンツデータを検索する。図５に示したサービス例であれば、検索条件を満たす画像データは画像データＧ１，Ｇ３，Ｇ６の３つであるが、画像解析ＤＢ１７から受信した内容情報はクリスマスツリーを示す情報であるため、この内容情報が対応付けられた画像データＧ６が最適なコンテンツとしてコンテンツ検索部６により取得される。

なお、コンテンツ検索部６は、検索条件に合致するコンテンツデータが１つしかない場合には、内容情報に関わらず、そのコンテンツデータを取得すればよい。

このような構成により、ＱＲコードが付された物品に印刷されている画像の内容に近いコンテンツを重畳表示させることができ、違和感の少ない表示が可能となる。

なお、図１２に示した構成は、図８及び図１０に示した変形例においても適用可能である。

以上のように説明してきた画像表示装置１００は、表示部１０としてヘッドマウントディスプレイを用いたカメラ付ヘッドマウントディスプレイ、デジタルカメラ、及びカメラ付携帯電話等の携帯端末に適用することができる。

以上のように、本明細書には以下の事項が開示されている。

開示された画像表示装置は、被写体を撮像して撮像画像データを生成する撮像部と、前記撮像画像データから、コンテンツデータの検索条件を表した検索条件データを抽出し、当該検索条件データに基づく検索条件を読み取る検索条件読み取り部と、前記検索条件読み取り部で読み取られた前記検索条件に合致するコンテンツデータをデータベースから取得するコンテンツデータ取得部と、前記コンテンツデータ取得部で取得された前記コンテンツデータと前記撮像画像データを合成して、前記撮像画像データに基づく画像に前記コンテンツデータに基づくコンテンツを合成表示するための表示用画像データを生成する画像合成部と、前記表示用画像データに基づく画像を表示部に表示させる表示制御部とを備える。

開示された画像表示装置は、前記コンテンツデータ取得部が、前記検索条件に合致するコンテンツデータが前記データベース上に複数存在した場合に、その複数のコンテンツの中からランダムに１つを選択して取得する。

開示された画像表示装置は、前記コンテンツデータ取得部が、前記検索条件に合致するコンテンツデータが複数存在した場合に、その複数のコンテンツデータを取得して前記複数のコンテンツデータの各々に基づくコンテンツを前記表示部に表示させ、前記画像合成部は、前記表示部に表示された前記複数のコンテンツデータの中から選択されたものを前記撮像画像データと合成する。

開示された画像表示装置は、前記コンテンツデータ取得部が、前記検索条件に合致し、かつ、前記撮像画像データの画質に最も近いコンテンツデータを取得する。

開示された画像表示装置は、前記コンテンツデータ取得部が、前記検索条件に合致し、かつ、前記撮像画像データの内容に最も近いコンテンツデータを取得する。

開示された画像表示装置は、前記撮像画像データから顔を示す顔画像データを抽出する顔画像データ抽出部を備え、前記コンテンツデータ取得部で取得されたコンテンツデータが人物の顔を立体表示するためのポリゴンデータであった場合に、前記画像合成部は、前記顔画像データ抽出部で抽出された顔画像データを前記ポリゴンデータに貼り付けるテクスチャマッピング処理により、前記顔画像データに基づく顔を立体表示するための前記表示用画像データを生成する。

開示された画像表示装置は、前記データベースには、前記コンテンツデータと前記コンテンツデータの内容をテキストで示した属性情報とが対応付けられて登録されており、前記検索条件とは、前記テキストに所定のキーワードを含む前記属性情報が対応付けられている前記コンテンツデータを探すことを指定した条件である。

開示された画像表示装置は、前記データベースには、前記コンテンツデータと前記コンテンツデータの内容をテキストで示した属性情報及び前記コンテンツデータの登録日の情報とが対応付けられて登録されており、前記検索条件とは、前記テキストに所定のキーワードを含む前記属性情報が対応付けられておりかつ登録日が最新の前記コンテンツデータを探すことを指定した条件である。

開示された画像表示装置は、前記表示部がヘッドマウントディスプレイである。

開示された携帯端末は、前記画像表示装置の各部と、前記表示部と、前記データベースにネットワークを介して接続する通信部とを備える。

開示された画像表示方法は、被写体を撮像して撮像画像データを生成する撮像ステップと、前記撮像画像データから、コンテンツデータの検索条件を表した検索条件データを抽出し、当該検索条件データに基づく検索条件を読み取る検索条件読み取りステップと、前記検索条件に合致するコンテンツデータをデータベースから取得するコンテンツデータ取得ステップと、前記コンテンツデータと前記撮像画像データを合成して、前記撮像画像データに基づく画像に前記コンテンツデータに基づくコンテンツを合成表示するための表示用画像データを生成する画像合成ステップと、前記表示用画像データに基づく画像を表示部に表示させる表示制御ステップとを備える。

開示された画像表示方法は、前記コンテンツデータ取得ステップでは、前記検索条件に合致するコンテンツデータが前記データベース上に複数存在した場合に、その複数のコンテンツの中からランダムに１つを選択して取得する。

開示された画像表示方法は、前記コンテンツデータ取得ステップでは、前記検索条件に合致するコンテンツデータが複数存在した場合に、その複数のコンテンツデータを取得して前記複数のコンテンツデータの各々に基づくコンテンツを前記表示部に表示させ、前記画像合成ステップでは、前記表示部に表示された前記複数のコンテンツデータの中から選択されたものを前記撮像画像データと合成する。

開示された画像表示方法は、前記コンテンツデータ取得ステップでは、前記検索条件に合致し、かつ、前記撮像画像データの画質に最も近いコンテンツデータを取得する。

開示された画像表示方法は、前記コンテンツデータ取得ステップでは、前記検索条件に合致し、かつ、前記撮像画像データの内容に最も近いコンテンツデータを取得する。

開示された画像表示方法は、前記撮像画像データから顔を示す顔画像データを抽出する顔画像データ抽出ステップを備え、前記コンテンツデータ取得ステップで取得したコンテンツデータが人物の顔を立体表示するためのポリゴンデータであった場合に、前記画像合成ステップでは、前記顔画像データ抽出部で抽出された顔画像データを前記ポリゴンデータに貼り付けるテクスチャマッピング処理により、前記顔画像データに基づく顔を立体表示するための前記表示用画像データを生成する。

開示された画像表示方法は、前記データベースには、前記コンテンツデータと前記コンテンツデータの内容をテキストで示した属性情報とが対応付けられて登録されており、前記検索条件とは、前記テキストに所定のキーワードを含む前記属性情報が対応付けられている前記コンテンツデータを探すことを指定した条件である。

開示された画像表示方法は、前記データベースには、前記コンテンツデータと前記コンテンツデータの内容をテキストで示した属性情報及び前記コンテンツデータの登録日の情報とが対応付けられて登録されており、前記検索条件とは、前記テキストに所定のキーワードを含む前記属性情報が対応付けられておりかつ登録日が最新の前記コンテンツデータを探すことを指定した条件である。

１ 撮像部
５ ＱＲコード読み取り部
６ コンテンツ検索部
８ コンテンツ合成部
９ 表示制御部
１０ 表示部
１２ コンテンツＤＢ

Claims (10)

1. 被写体を撮像して撮像画像データを生成する撮像部と、
   前記撮像画像データから、前記撮像画像データと合成する対象となるコンテンツデータの検索条件を表した検索条件データを抽出し、当該検索条件データに基づく検索条件を読み取る検索条件読み取り部と、
   前記コンテンツデータを複数記録するデータベースから、前記検索条件読み取り部で読み取られた前記検索条件に合致するコンテンツデータを取得するコンテンツデータ取得部と、
   前記コンテンツデータ取得部で取得された前記コンテンツデータと前記撮像画像データを合成して、前記撮像画像データに基づく画像に前記コンテンツデータに基づくコンテンツを合成表示するための表示用画像データを生成する画像合成部と、
   前記表示用画像データに基づく画像を表示部に表示させる表示制御部とを備え、
   前記コンテンツデータ取得部が、前記検索条件に合致し、かつ、前記撮像画像データの画質に最も近いコンテンツデータを取得する画像表示装置。
2. 請求項１記載の画像表示装置であって、
   前記撮像画像データから顔を示す顔画像データを抽出する顔画像データ抽出部を備え、
   前記コンテンツデータ取得部で取得されたコンテンツデータが人物の顔を立体表示するためのポリゴンデータであった場合に、前記画像合成部は、前記顔画像データ抽出部で抽出された顔画像データを前記ポリゴンデータに貼り付けるテクスチャマッピング処理により、前記顔画像データに基づく顔を立体表示するための前記表示用画像データを生成する画像表示装置。
3. 請求項１又は２記載の画像表示装置であって、
   前記データベースには、前記コンテンツデータと前記コンテンツデータの内容をテキストで示した属性情報とが対応付けられて登録されており、
   前記検索条件とは、前記テキストに所定のキーワードを含む前記属性情報が対応付けられている前記コンテンツデータを探すことを指定した条件である画像表示装置。
4. 請求項１〜３のいずれか１項記載の画像表示装置であって、
   前記データベースには、前記コンテンツデータと前記コンテンツデータの内容をテキストで示した属性情報及び前記コンテンツデータの登録日の情報とが対応付けられて登録されており、
   前記検索条件とは、前記テキストに所定のキーワードを含む前記属性情報が対応付けられておりかつ登録日が最新の前記コンテンツデータを探すことを指定した条件である画像表示装置。
5. 請求項１〜４のいずれか１項記載の画像表示装置であって、
   前記表示部がヘッドマウントディスプレイである画像表示装置。
6. 請求項１〜５のいずれか１項記載の画像表示装置の各部と、
   前記表示部と、
   前記データベースにネットワークを介して接続する通信部とを備える携帯端末。
7. 被写体を撮像して撮像画像データを生成する撮像ステップと、
   前記撮像画像データから、前記撮像画像データと合成する対象となるコンテンツデータの検索条件を表した検索条件データを抽出し、当該検索条件データに基づく検索条件を読み取る検索条件読み取りステップと、
   前記コンテンツデータを複数記録するデータベースから、前記検索条件に合致するコンテンツデータを取得するコンテンツデータ取得ステップと、
   前記コンテンツデータと前記撮像画像データを合成して、前記撮像画像データに基づく画像に前記コンテンツデータに基づくコンテンツを合成表示するための表示用画像データを生成する画像合成ステップと、
   前記表示用画像データに基づく画像を表示部に表示させる表示制御ステップとを備え、
   前記コンテンツデータ取得ステップでは、前記検索条件に合致し、かつ、前記撮像画像データの画質に最も近いコンテンツデータを取得する画像表示方法。
8. 請求項７記載の画像表示方法であって、
   前記撮像画像データから顔を示す顔画像データを抽出する顔画像データ抽出ステップを備え、
   前記コンテンツデータ取得ステップで取得したコンテンツデータが人物の顔を立体表示するためのポリゴンデータであった場合に、前記画像合成ステップでは、前記顔画像データ抽出部で抽出された顔画像データを前記ポリゴンデータに貼り付けるテクスチャマッピング処理により、前記顔画像データに基づく顔を立体表示するための前記表示用画像データを生成する画像表示方法。
9. 請求項７又は８記載の画像表示方法であって、
   前記データベースには、前記コンテンツデータと前記コンテンツデータの内容をテキストで示した属性情報とが対応付けられて登録されており、
   前記検索条件とは、前記テキストに所定のキーワードを含む前記属性情報が対応付けられている前記コンテンツデータを探すことを指定した条件である画像表示方法。
10. 請求項７〜９のいずれか１項記載の画像表示方法であって、
    前記データベースには、前記コンテンツデータと前記コンテンツデータの内容をテキストで示した属性情報及び前記コンテンツデータの登録日の情報とが対応付けられて登録されており、
    前記検索条件とは、前記テキストに所定のキーワードを含む前記属性情報が対応付けられておりかつ登録日が最新の前記コンテンツデータを探すことを指定した条件である画像表示方法。