JP5556481B2 - 付加情報提供システム及び撮像装置 - Google Patents

Description

本発明は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術分野に属し、現実空間に実存するオブジェクトに付加する付加情報を撮像されたオブジェクトとともにディスプレイなどの表示手段に表示させる技術に関する。

近年、携帯用電話機などの携帯用端末装置の進歩に伴って、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能と連動させて当該端末装置の現在地を特定しつつ、場所に固定化された「ＡＲタグ」と呼ばれる付加情報（文字・画像・音声）を、撮像した現実空間の画像上に重ねて表示する技術が普及し始めている。例えば、ＡＲタグの表示機能を有する携帯用端末装置としては、内蔵するカメラ機能を用いるとともに、所定の場所において所定の方向を撮像すると、当該携帯用端末装置の現在位置及び撮像方向を認識しつつ、表示パネルに撮像された動画像を表示し、当該表示された動画像上に付加情報（すなわち、ＡＲタグ）を表示するようになっている。特に、最近では、現実空間内にあるオブジェクトに現実空間における物理的なマーカを設け、当該マーカを基準に、付加情報が画像として生成されて表示装置に表示されるシステムが知られている（例えば、特許文献１）。

特開平１１−１３６７０６号公報

しかしながら、特許文献１に記載されたシステムにあっては、マーカが常に現実空間内に実存することによって、商品のディスプレイまたは広告など、外観の意匠性が重要な場合には、その意匠性が阻害されてしまう。すなわち、このようなシステムにあっては、マーカに基づいて現実空間にあるオブジェクトに対する付加情報を仮想的に提示することができる一方で、当該マーカを現実空間に常に実存させなければならず、このマーカを含めて商品ディスプレイまたは広告をデザインしなければならない。したがって、このようなシステムを商品ディスプレイまたは広告における分野に用いる場合には、デザインの拡張性に乏しく、かつ、マーカそのものがそれらの意匠性を損なわせる場合も多い。

本発明は、上記課題を解決するためになされたものであり、その目的は、ユーザの要求を満たすべくオブジェクトに付加する付加情報を提供しつつ、商品または広告などのオブジェクトの意匠性を損なわせることなく、かつ、そのデザインの拡張性を向上させ、マーカの生成及び変更の容易性並びにその表示の的確性を向上させることが可能な付加情報提供システム及び撮像装置等を提供することにある。

（１）上記課題を解決するため、本発明の付加情報提供システムは、現実空間に実存するオブジェクトの背面から偏光光を入光させるための入光手段と、前記オブジェクトの背面または前面に形成された手段であって、前記オブジェクトの現実空間上の位置座標を認識させるためのマーク画像のデータに基づいて、前記入光された偏光光の一部を旋光させてマーク画像を潜像化させる潜像化手段と、撮像素子及び表示手段を有し、前記オブジェクト及び前記旋光手段の前面から前記偏光光を利用して前記オブジェクトを撮像して取得したオブジェクト画像を前記表示手段に表示する撮像装置と、を備え、前記撮像装置が、前記オブジェクトを撮像する際に、前記旋光された偏光光に基づいて前記潜像化されたマーク画像を可視化させ、前記オブジェクト画像に重畳させて前記表示手段に表示させるための偏光板と、前記表示されるオブジェクト画像に付加して表示するための付加情報及び前記オブジェクト画像から前記マーク画像を認識させるための参照用データを少なくとも含む付加情報表示用データが記憶される記憶手段と、前記記憶された参照用データに基づいて、前記表示手段に表示されたオブジェクト画像を解析し、当該オブジェクト画像に含まれるマーク画像を認識する認識手段と、前記認識されたマーク画像に基づいて、前記記憶された付加情報を前記オブジェクトの画像に重畳させて前記表示手段に表示させる制御手段と、を有する構成を備えている。

この構成により、本発明の付加情報提供システムは、撮像装置で撮像をしない限り視覚化することができないマーカとして機能するマーク（以下、「マーク画像」ともにいう。）を現実空間に潜像化させることによって、撮像装置を介さなければ、当該マーク画像を視認させることはできない構成にする一方で、付加情報を要求するユーザに対しては、当該撮像装置の表示手段に表示させることができる。また、本発明は、付加情報を表示するためのマーカを画像によって形成することができるとともに、マーカを用いて付加情報を表示する位置とオブジェクトの位置関係を的確に認識させることができる。したがって、本発明は、付加情報を確実に視認させつつ、現実空間における意匠性を損なわせることなく、かつ、デザインの拡張性を向上させることができるとともに、マーカの生成及び変更の容易性並びにその表示の的確性を向上させることができる。

（２）また、本発明の付加情報提供システムは、前記撮像装置が、前記認識手段によって認識されたマーク画像における前記表示手段の画像表示領域上の画像領域内位置座標を特定するとともに、当該特定されたマーク画像における画像領域内位置座標に基づいて当該マーク画像の現実空間内の空間内位置座標を算出する算出手段を更に有し、前記制御手段が、前記算出されたマーク画像の空間内位置座標に基づいて前記取得した付加情報を前記オブジェクト画像に重畳させて前記画像表示領域に表示させる構成を有している。

この構成により、本発明の付加情報提供システムは、システムの構成上、マーク画像をディスプレイ空間の任意の位置に表示させることができるとともに、オブジェクトとの現実空間内における位置を的確に設定することによって、付加情報をオブジェクトの関係において適切な表示位置に表示させることができる。

（３）また、本発明の付加情報提供システムは、前記付加情報表示用データには、前記付加情報及び参照用データとともに前記現実空間におけるマーク画像の位置に対する現実空間における前記オブジェクトの空間内位置座標の相対座標が含まれており、前記撮像装置が、前記算出されたマーク画像の空間内位置座標と前記相対座標とに基づいて、前記付加情報を表示するための前記現実空間上における前記オブジェクトの位置座標を特定する特定手段を更に有するとともに、前記制御手段が、前記特定手段によって特定された前記現実空間上における前記オブジェクトの位置座標に基づいて前記取得した付加情報を前記オブジェクト画像に重畳させて前記画像表示領域に表示させる構成を有している。

この構成により、本発明の付加情報提供システムは、マーク画像の現実空間上の位置座標に基づいて付加情報を表示するための現実空間における位置を特定することができるとともに、マーク画像とオブジェクトの現実空間における位置関係が的確に規定されていることが前提となるので、付加情報をオブジェクトの関係において適切な表示位置に表示させることができる。

（４）また、本発明の付加情報提供システムは、前記撮像装置が、前記付加情報表示用データをネットワークを介してデータベースから取得して前記記憶手段に記憶する取得手段を更に有する構成を備えている。

この構成により、本発明の付加情報提供システムは、付加情報を一元管理することができるので、付加情報のメンテナンスの容易性を向上させること及び最新の付加情報を容易に提供することができるとともに、付加情報を提供する際の撮像装置の処理負荷を低減させることができる。

（５）また、本発明の付加情報提供システムは、前記取得手段が、前記付加情報を撮像装置の現在位置情報及び撮像方向に基づいて前記データベースから取得する構成を有している。

この構成により、本発明の付加情報提供システムは、撮像装置において撮像を開始すれば、その撮像方向に存在するオブジェクトに対する付加情報を取得することができるので、ユーザ操作の容易性を向上させることができる。

（６）また、本発明の付加情報提供システムは、前記撮像装置が、前記撮像して形成されたオブジェクト画像から前記マーク画像を認識しつつ、当該認識したマーク画像から前記付加情報を取得して前記記憶手段に記憶する読取手段を更に有する構成を備えている。

この構成により、本発明の付加情報提供システムは、ネットワークに接続する機能を有しない端末装置であっても、当該読取手段が搭載されていれば、付加情報を提供することができるので、多くの撮像装置を当該システムの撮像装置として用いることができる。

（７）また、本発明の付加情報提供システムは、前記取得手段が、２次元コードを読み取るとともに、当該読み取った２次元コードを認識することによって前記付加情報を取得する構成を有している。

この構成により、本発明の付加情報提供システムは、付加情報を一般化しつつある２次元コードによって提供することができるので、多くの撮像装置を当該システムの撮像装置として用いることができる。

（８）また、本発明の付加情報提供システムは、前記マーク画像が、回転非対称性のマークである構成を有している。

この構成により、本発明の付加情報提供システムは、マーク画像があらゆる方向から撮像されたとしても、当該マーク画像を認識することができる。

（９）上記課題を解決するため、本発明の撮像装置は、現実空間に実存するオブジェクトの背面から偏光光が入光されるとともに、前記オブジェクトの現実空間上の位置座標を認識させるためのマーク画像のデータに基づいて、前記入光された偏光光の一部が旋光されて潜像化されたマーク画像を、前記オブジェクトの前面から前記偏光光を利用して前記オブジェクトとともに撮像する撮像装置であって、前記オブジェクトを撮像する際に、前記旋光された偏光光に基づいて前記潜像化されたマーク画像を可視化させ、前記オブジェクト画像に重畳させて前記表示手段に表示させるための偏光板と、前記表示されるオブジェクト画像に付加して表示するための付加情報及び前記オブジェクト画像から前記マーク画像を認識させるための参照用データを少なくとも含む付加情報表示用データが記憶される記憶手段と、前記記憶された参照用データに基づいて、前記表示手段に表示されたオブジェクト画像を解析し、当該オブジェクト画像に含まれるマーク画像を認識する認識手段と、前記認識されたマーク画像に基づいて、前記記憶された付加情報を前記オブジェクトの画像に重畳させて前記表示手段に表示させる制御手段と、を備える構成を有している。

この構成により、本発明の付加情報提供システムは、撮像装置で撮像をしない限り視覚化することができないマーカとして機能するマーク（以下、「マーク画像」ともにいう。）を現実空間に潜像化させることによって、撮像装置を介さなければ、当該マーク画像を視認させることはできない構成にする一方で、付加情報を要求するユーザに対しては、当該撮像装置の表示手段に表示させることができる。また、本発明は、付加情報を表示するためのマーカを画像によって形成することができるとともに、マーカを用いて付加情報を表示する位置とオブジェクトの位置関係を的確に認識させることができる。したがって、本発明は、付加情報を確実に視認させつつ、現実空間における意匠性を損なわせることなく、かつ、デザインの拡張性を向上させることができるとともに、マーカの生成及び変更の容易性並びにその表示の的確性を向上させることができる。

本発明の付加情報提供システム及び撮像装置は、撮像装置を介さなければ、当該マーク画像を視認させることはできない構成にする一方で、付加情報を要求するユーザに対しては、当該撮像装置の表示手段に表示させることができるので、付加情報を確実に視認させつつ、現実空間における意匠性を損なわせることなく、かつ、デザインの拡張性を向上させることができるとともに、マーカの生成及び変更の容易性並びにその表示の的確性を向上させることができる。

本発明に係る付加情報可視化制御システムにおける第１実施形態のシステム構成図であって液晶パネル及び携帯用端末装置の分割斜視図を含む図である。 第１実施形態におけるディスプレイ空間画像に重畳されたマーカ画像と第１偏光光及び第２偏光光の関係を説明するための図である。 第１実施形態における携帯用端末装置に表示されるマーク画像が重畳されたディスプレイ空間の画像の一例である。 第１実施形態におけるディスプレイ空間におけるマーク画像、オブジェクト及び付加情報の位置関係を説明するための図である。 第１実施形態における第１偏光光と第２偏光光（潜像形成領域内の第１偏光光）の偏光方向の例を示す図である。 第１実施形態における携帯用端末装置の機能を示す機能ブロック図である。 第１実施形態における付加情報可視化制御処理の動作を示すフローチャートである。 本発明に係る付加情報可視化制御システムにおける第２実施形態の携帯用端末装置の機能を示す機能ブロック図である。 第２実施形態における付加情報可視化制御処理の動作を示すフローチャートである。

以下、本発明の各実施形態について、図面を参照しながら説明する。なお、以下に説明する実施形態は、偏光光を用いてオブジェクトがディスプレイされたディスプレイ空間にマーカ画像を潜像化させ、当該潜像化させたマーカ画像に基づいて撮像されたディスプレイ空間とともに付加情報を画像としてユーザに提示する付加情報可視化制御示システムに、本発明の付加情報提供システム及び撮像装置を適用した場合の実施形態である。また、本願の説明においては、偏光板または偏光フィルタなどの偏光手段を通過した光を「偏光光」と定義する。

＜第１実施形態＞
はじめに、図１〜図４の各図を用いて本発明に係る付加情報可視化制御システムＳの第１実施形態について説明する。

［付加情報可視化制御システム］
まず、図１〜図４の各図を用いて本実施形態における付加情報可視化制御システムＳの構成について説明する。なお、図１は、本実施形態の付加情報可視化制御システムＳの構成を示すシステム構成図であって液晶パネル２００及び携帯用端末装置３００の分割斜視図を含む図であり、図２は、本実施形態におけるディスプレイ空間１０の画像（以下、「ディスプレイ空間画像」という。）ＩＭに重畳されたマーカ画像と第１偏光光及び第２偏光光の関係を説明するための図である。また、図３は、携帯用端末装置３００に表示されるマーク画像３０が重畳されたディスプレイ空間画像ＩＭの一例であり、図４は、ディスプレイ空間１０におけるマーク画像３０、オブジェクト２０及び付加情報４０の位置関係を説明するための図である。

本実施形態の付加情報可視化制御システムＳは、図１に示すように、商品などのオブジェクト２０がディスプレイされるディスプレイ空間１０（すなわち、現実空間）の背面に設けられたバックライト装置１００と、ディスプレイ空間１０の前面に設けられたマーク画像３０を潜像化するための液晶パネル２００と、潜像化されたマーク画像３０を可視化しつつ、当該マーク画像３０に基づいてオブジェクト２０に関する付加情報４０を表示する撮像カメラ機能付き携帯用端末装置（以下、単に「携帯用端末装置」という。）３００と、を有している。特に、ディスプレイ空間１０は、ショーウィンドウなどのガラスまたはアクリルなどの透明なケースで閉じられた空間であり、液晶パネル２００は、当該ディスプレイ空間１０の前面に設けられている。

なお、例えば、本実施形態のバックライト装置１００は、本発明の入光手段を構成し、液晶パネル２００は、本発明の潜像化手段を構成する。また、例えば、本実施形態の携帯用端末装置３００は、本発明の撮像装置を構成する。

携帯用端末装置３００は、基地局ＢＳを介してネットワークＮに接続することができるように構成されており、付加情報４０を表示するための画像データ（以下、単に「画像データ」という。）、マーク画像３０を認識するためのデータ（以下、「マーカデータ（参照用データ）」という。）及び付加情報４０のディスプレイ空間１０におけるマーク画像３０の位置との相対的な位置関係を示す位置座標のデータ（以下、単に「相対座標データ」という。）をデータベース４００から予め取得するようになっている。そして、液晶パネル２００は、バックライト装置１００の第１偏光光を照射する領域（以下、「偏光光出領域」ともいう。）５０を透過した際に、人間にはその変化を認識することができない偏光光の一部を旋光させて、ディスプレイ空間１０を視認可能に形成されたパネル表示領域６０にマーク画像３０を潜像化させるようになっている。そして、携帯用端末装置３００は、マーク画像３０が潜像化されたディスプレイ空間１０を撮像すると、液晶パネル２００によって旋光された偏光光の旋光度を光の透過率に変換してマーク画像３０を視覚化するとともに、視覚化されたマーク画像３０に基づいて、ネットワークＮを介してデータベース４００から取得した付加情報４０を、携帯用端末装置３００に形成された画像表示領域７０に、マーク画像３０及びオブジェクト２０を有するディスプレイ空間画像ＩＭを表示するようになっている。

例えば、バックライト装置１００は、偏光光出力領域５０を透過し、図２（ａ）に示すような均一な方向にのみ振動する偏光光をディスプレイ空間１０に照射するようになっており、当該ディスプレイ空間１０の前面にある液晶パネル２００は、入光された第１偏光光を用いてパネル表示領域６０において図２（ｂ）に示すようなマーク画像３０をディスプレイ空間１０の前面に潜像化させるようになっている。そして、このマーク画像３０が潜像化されたディスプレイ空間１０を、携帯用端末装置３００によって撮像すると、図２（ｃ）に示すように、携帯用端末装置３００は、潜像化されたマーク画像３０を可視化して画像表示領域７０に表示するようになっている。このとき、携帯用端末装置３００は、表示したマーク画像３０を解析してデータベース４００から取得した付加情報４０を表示する際のディスプレイ空間１０上の位置を認識しつつ、図３に示すように、認識した位置に付加情報４０を、撮像されたディスプレイ空間画像ＩＭに重畳して表示するようになっている。

また、潜像化されるマーク画像３０は、ディスプレイ空間画像ＩＭ内（すなわち、画像表示領域７０）においてオブジェクト２０との位置関係を定めるものである一方で、携帯用端末装置３００によってディスプレイ空間１０の前面のあらゆるポイント（撮像ポイント）から撮像される。このため、マーク画像３０は、何れの角度であっても、また、撮像ポイントからの距離の長短があっても、一定にオブジェクト２０との位置関係を定めるものでなければならない。そこで、本実施形態においては、マーク画像３０が、上下及び左右の方向をそれぞれ個々に認識すること（すなわち、マークの姿勢を認識することが可能な回転非対称性の形状によって形成されている。例えば、図２（ｂ）（ｃ）に示すように、回転非対称性の形状とは、四角形と当該四角形の中に組み込まれた星形の二つの形状の組み合わせからなる形状である。ただし、この図形だけに限らず、４５度、９０度または１８０度などに形状の中心点を基準に回転したとしても、同一の形状とならない（重ならない）形状であればよい。

さらに、マーク画像３０は、図４に示すように、ディスプレイ空間１０内にディスプレイされたオブジェクト２０とのディスプレイ空間１０上の位置関係、すなわち、マーク画像３０をディスプレイ空間１０の座標系において原点（０，０，０）としたオブジェクト２０の座標（ｘ_１、ｙ_１、ｚ_１）が的確に定義されて表示されるようになっている。そして、マーク画像３０のディスプレイ空間１０内の位置座標（以下、「３次元位置座標」ともいう。）を特定し、当該マーク画像３０の３次元位置座標に基づいて付加情報４０のディスプレイ空間１０上の３次元位置座標（ｘ_２、ｙ_２、ｚ_２）を定めれば、当該付加情報４０においてもディスプレイ空間１０内においてオブジェクト２０との位置関係を的確に規定した状態で表示することが可能となる。そこで、本実施形態では、マーク画像３０のディスプレイ空間１０上の位置を特定しつつ、当該特定された位置に基づいて付加情報４０の表示するディスプレイ空間１０上の位置を相対座標データとして提供し、オブジェクト２０に対して適した位置に付加情報４０を表示することができるようになっている。

このように、付加情報可視化制御システムＳは、付加情報４０をディスプレイ空間１０に仮想的に存在させてユーザに視覚させることができる構成を有しており、付加情報４０をユーザに確実に視認させることができるとともに、オブジェクト２０またはそのディスプレイ空間１０における外観上の意匠性を損なわせることなく、かつ、デザインの拡張性を向上させることができるようになっている。

なお、本実施形態においては、マーク画像３０が携帯用端末装置３００において明瞭に可視化されるために、携帯用端末装置３００に表示されるマーク画像３０とその他の部分の画像、すなわち、撮像されたディスプレイ空間画像ＩＭとのコントラスト比が大きくなるように、液晶パネル２００は、マーク画像３０のデータ（以下、「マーク画像データ」という。）に基づいてマーク画像３０を潜像化させるようになっている。特に、マーク画像３０は、黒色で表示することが最適であるが、携帯用端末装置３００においてユーザが明瞭にマーク画像３０を視覚することができればこれに限られない。

[バックライト装置]
次に、上述の図１を用いて本実施形態のバックライト装置１００について説明する。

バックライト装置１００は、ディスプレイ空間１０を背面から照射する照明ユニット１１０と、照明ユニット１１０から照射された光を偏光させる偏光板１２０と、を有している。

[液晶パネル]
次に、上述の図１及び図５を用いて本実施形態の液晶パネル２００の構成及び各部の動作を詳細について説明する。なお、図５は、本実施形態におけるバックライト装置１００から照射される偏光光（以下、「第１偏光光」という。）と潜像形成領域６２内において旋光される第１偏光光の一部の偏光光（以下、「第２偏光光」という。）の偏光方向の例を示す図である。

液晶パネル２００は、複数の画素（ピクセル）から構成されたバックライト装置１００の照射エリアと同等以上の透過領域６１と、この透過領域６１の一部であって第１偏光光の一部を旋光させてマーク画像３０を潜像化させるための潜像形成領域６２と、を有している。特に、この液晶パネル２００は、上述のように、携帯用端末装置３００においてマーク画像３０がディスプレイ空間画像ＩＭ上に重畳表示されるように、透過領域６１の左隅に潜像形成領域６２を有している。そして、この液晶パネル２００は、具体的には、入光された偏光光の一部を旋光させるためのパネル部２１０と、当該パネル部を駆動する駆動制御部２２０と、を有している。

パネル部２１０は、一対のガラス基板（以下、「第１ガラス基板」及び「第２ガラス基板」という。）２１１、２１２と、一対のガラス基板間に狭持される一対の透明電極（以下、「第１透明電極」及び「第２透明電極」ともいう。）２１３、２１４と、一対の透明電極間に狭持される一対の配向層（以下、「第１配向層」及び「第２配向層」ともいう。）２１５、２１６と、一対の配向層間に狭持される液晶層２１７と、によって形成される。

特に、液晶層２１７は、第１配向層２１５及び第２配向層２１６の間において所定の角度（具体的には９０度）でねじられて配向されている液晶分子を有している。そして、この液晶層２１７は、潜像形成領域６２の領域以外を透過する偏光光については、ねじられて配向された液晶分子に沿って、バックライト装置１００から入光された偏光光を旋光度が９０度となるように通過させる。その一方、この液晶層２１７は、駆動制御部に入力されたマーク画像データに基づく前記第１透明電極２１３及び第２透明電極２１４の制御に従って、入光された第１偏光光の一部である潜像形成領域６２を透過する第１偏光光の旋光度を画素毎に調整し、マーク画像３０を潜像化するようになっている。例えば、この液晶層２１７は、マーク画像３０をディスプレイ空間１０内に潜像化させるために、偏光光を０度（第１偏光光が液晶層２１７に入光される角度）から９０度の範囲で旋光度を画素毎に調整するようになっている。

また、パネル部２１０は、列方向に沿ってのびるｍ列のデータ線（図示しない）と、図示しない行方向に沿ってのびるｎ行の走査線（図示しない）と、の交差部（すなわち画素）毎に液晶層を制御し、駆動制御部２２０に入力されたマーク画像データによって選択された走査線およびデータ線からの信号に基づいて、第１透明電極２１３及び第２透明電極２１４を制御して潜像形成領域６２の各画素における第１偏光光の旋光度を個々に制御するようになっている。

例えば、上記の図２に示すように、潜像形成領域６２が透過領域６１の左隅に形成されている場合であって、バックライト装置１００から照射された第１偏光光が図５（ａ）に示す方向に偏光されている場合には、液晶層２１７は、図５（ｂ）に示すように、潜像形成領域６２を通過する第１偏光光においては、入力された第１偏光光の旋光度を基準に０度（携帯用端末装置３００には黒として表示される旋光度）から最大９０度（携帯用端末装置３００にはマーク画像３０の背面のディスプレイ空間１０がそのまま表示される（透過表示される）旋光度）に偏光するように旋光度を調整するようになっている。また、この場合において、液晶層２１７は、潜像形成領域６２の領域外を通過する第１偏光光においては、図５（ａ）（ｂ）に示すように、第１配向層２１５及び第２配向層２１６の作用により９０度に旋光させて透過させるようになっている。

すなわち、本実施形態においては、潜像形成領域６２の領域外を通過する第１偏光光においては、第１透明電極２１３及び第２透明電極２１４には電圧が印可されないので（すなわち、データ線及び走査線によって第１透明電極２１３及び第２透明電極２１４の電圧がＯＦＦとなるので）、液晶層２１７は駆動できずに、図５（ａ）（ｂ）に示すように９０度ねじられて配向している液晶分子に沿って第１偏光光を９０度旋光させるようになっている。一方、マーク画像３０は、携帯用端末装置３００において可視化されるために、潜像形成領域６２の領域内を通過する第１偏光光（すなわち、第２偏光光）においては、駆動制御部２２０に入力されたマーク画像データに基づいて、第１透明電極２１３及び第２透明電極２１４に電圧が印可されるので（すなわち、データ線及び走査線によって第１透明電極２１３及び第２透明電極２１４の電圧がＯＮとなるので）、図５（ａ）（ｂ）に示すように画素毎に液晶層２１７を個々に駆動させ、入力された第１偏光光の旋光度を基準に旋光度が０度から９０度の範囲で調整されるようになっている。

なお、図４（ｂ）においては、マーク画像３０は、旋光度が９０度偏光した部分（透過）と旋光度が０度の部分（遮断）から形成された単純な画像であるが、所定の階調によってグレースケールを有するマーク画像３０が形成されていてもよい。

また、液晶層２１７の各画素は、第１透明電極２１３及び第２透明電極２１４によって駆動制御されるので、マーク画像３０を潜像化させる潜像形成領域６２は、上記の左隅に固定されることはなく、適宜、入光した第１偏光光が透過する液晶層２１７内の領域であればどの領域であってもよいし、潜像化する画像の内容も変化させることができるようになっている。

駆動制御部２２０は、上記の図１に示すように、複数のデータ線を介して各画素に該当する液晶層２１７を制御するデータ線駆動回路２２１と、複数の走査線を介して各画素に該当する液晶層２１７を制御する走査線駆動回路２２２と、パネル部２１０に表示するマーク画像データを一時的に記憶するメモリ回路２２３と、各部を制御する制御回路２２４と、を備えている。

データ線駆動回路２２１は、制御回路２２４の制御の下、ｍ列の複数のデータ線を有し、入力されたマーク画像データに基づいて該当するデータ線を選択するようになっている。また、走査線駆動回路２２２は、制御回路２２４の制御の下、ｎ行の複数の走査線を有し、入力されたマーク画像データに基づいて該当する走査線を選択するようになっている。

制御回路２２４は、上記の各部を統括制御するようになっている。特に、この制御回路２２４は、マーク画像データを、各画素の液晶層２１７における旋光度を制御するためのマトリクスデータに変換し、当該変換されたマトリクスデータに基づいてデータ線駆動回路２２１及び走査線駆動回路２２２を制御するようになっている。また、メモリ回路２２３には、パネル部２１０に表示するためのマーク画像データがＰＣ５００から制御回路２２４を介して供給され、当該供給されたマーク画像データが内部に記憶される。

［携帯用端末装置］
次に、上述の図１及び図６を用いて本実施形態の携帯用端末装置３００について説明する。なお、図６は、本実施形態における携帯用端末装置３００の機能を示す機能ブロック図である。

携帯用端末装置３００は、例えば、携帯用電話機、ゲーム機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）またはタブレット型携帯用端末装置などの携帯可能な通信端末装置である。携帯用端末装置３００は、基地局ＢＳを介してネットワークＮに接続することができるように構成されている。

構造的には、携帯用端末装置３００は、図１に示すように、筐体３１０と、背面（すなわち、液晶パネル２００と対向する面）に設けられた偏光フィルタ３２０と、偏光フィルタ３２０を介して液晶パネル２００の透過領域６１を撮像するためのカメラユニット３３０と、前面（すなわち、液晶パネル２００と対向する面と反対の面）にカメラユニット３３０によって撮像されたディスプレイ空間１０などの画像を表示する表示パネル３４０と、を有している。

特に、カメラユニット３３０は、光電変換する撮像素子（以下、「ＣＣＤ」という）と、当該ＣＣＤを格納する筐体及び撮像レンズなどのカメラ機構と、を備え、操作部３５７の操作に基づいて、ＣＣＤに形成された所定の被写範囲の影像を所定の画像データに変換し、表示パネル３４０に表示させる。また、カメラユニット３３０は、データ処理部３６０の制御の下、付加情報可視化制御処理時に、撮像した画像、すなわち、ディスプレイ空間１０の画像（具体的には、キャプチャされた画像）を画像解析処理部に出力するようになっている。

また、偏光フィルタ３２０は、第１偏光光を透過するとともに、第２偏光光については、液晶パネル２００において画素毎に旋光された第２偏光光の旋光度に基づいて当該第２偏光光の透過率を制御するようになっている。すなわち、偏光フィルタ３２０は、第１偏光光と平行となるように配置され、潜像化されたマーク画像３０に基づく第２偏光光の旋光度に対応させてその透過率を制御するようになっている。なお、偏光フィルタ３２０は、筐体３１０に固定されて形成されていてもよいし、筐体３１０から着脱可能に形成されていてもよい。

一方、携帯用端末装置３００は、マーク画像３０を可視化しつつ、当該マーク画像３０に基づいてディスプレイ空間１０における付加情報４０を表示させるためのアプリケーションプログラムを搭載している。アプリケーションプログラムは、携帯用端末装置３００が有する種々のハードウェアと協働し、
（１）携帯用端末装置３００の現在位置及び撮像方向に基づいて、画像データ、マーカデータ及び相対座標データ（以下、「付加情報表示用データ」ともいう。）をデータベース４００から取得するデータ取得処理、
（２）カメラユニット３３０によって所定の領域を撮像させつつ、撮像された画像（すなわち、ディスプレイ空間画像ＩＭ）を解析して可視化されたマーク画像３０を認識する画像解析処理、
（３）認識されたマーク画像３０のディスプレイ空間１０上の位置座標を特定するとともに、オブジェクト２０に付加する付加情報４０のディスプレイ空間１０上の位置座標を特定する座標認識処理、及び、
（４）特定された付加情報４０のディスプレイ空間１０上の位置座標を、表示パネル３４０の画像表示領域７０上の位置座標に変換しつつ、ディスプレイ空間画像ＩＭに重畳して表示する付加情報表示処理、
の各種の処理を含む付加情報可視化制御処理を実行するためのプログラムである。

携帯用端末装置３００は、上述の各処理を行うために、図６に示すように、データベース４００との通信を行う通信インターフェース３５１と、取得した付加情報表示用データが記憶されるデータ記憶部３５２と、上記のデータ取得処理画像解析処理、座標認識処理及び付加情報表示処理の各処理を行うデータ処理部３６０と、を有している。また、携帯用端末装置３００は、種々の画像を表示する表示パネル３４０と、表示パネル３４０における種々の描画を制御する描画制御部３５４と、現在位置を検出する現在位置検出部３５５と、カメラユニット３３０によって撮像している方向を検出する方向検出部３５６と、ユーザの操作を入力するための操作部３５７と、全体を制御する端末管理制御部３５９と、各種のプログラムを記憶するとともに各プログラムが実行される際に用いられるメモリ機能を有するＲＯＭ／ＲＡＭ３５８と、を有し、各部材は、バスＢによって互いに接続されている。

なお、例えば、本実施形態の通信インターフェース３５１は、本発明の取得手段を構成し、カメラユニット３３０は、本発明の読取手段を構成する。また、本発明のデータ記憶部３５２は、本発明の記憶手段を構成し、データ処理部３６０は、本発明の取得手段、認識手段、制御手段、算出手段及び特定手段を構成する。

通信インターフェース３５１は、データ処理部３６０の制御の下、アンテナＡＴを有し、ネットワークＮに接続される基地局ＢＳを介してデータベース４００と通信回線を構築して付加情報表示用データなどの種々のデータの授受を行う。

データ記憶部３５２には、データ処理部３６０の制御の下、通信インターフェース３５１によって取得された付加情報表示用データが記憶される。

データ処理部３６０は、付加情報可視化制御処理を実行するアプリケーションプログラム（以下、「付加情報可視化制御プログラム」ともいう。）によって実行される付加情報可視化制御処理を実現するようになっている。例えば、データ処理部３６０は、ＲＯＭ／ＲＡＭ３５８に記録された付加情報可視化制御プログラムによって携帯用端末装置３００の各部を制御しつつ、通信インターフェース３５１、カメラユニット３３０、描画制御部３５４及び操作部３５７と連動して、または、これらを制御して上述の各種の処理を実行する。

具体的には、データ処理部３６０は、付加情報可視化制御プログラムを起動することによって、上述の各処理を実行するデータ取得処理部３６１、画像解析処理部３６２、座標認識処理部３６３及び付加情報表示処理部３６４を構築する。なお、例えば、本実施形態のデータ取得処理部３６１は、本発明の取得手段を構成し、画像解析処理部３６２は、認識手段を構成する。また、本実施形態の座標認識処理部３６３は、算出手段及び特定手段を構成し、付加情報表示処理部３６４は、本発明の制御手段を構成する。また、データ処理部３６０における各部の動作の詳細については、後述する。

表示パネル３４０は、所定のサイズの画像表示領域７０を有し、例えば、液晶素子またはＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成される。そして、表示パネル３４０は、描画制御部３５４において生成された描画データに基づいて所定の画像を表示するようになっている。特に、本実施形態では、表示パネル３４０は、上記の付加情報可視化制御プログラムが実行されている際に、描画制御部３５４の制御の下、データ処理部３６０、カメラ制御部及び操作部３５７と連動しつつ、ディスプレイ空間画像ＩＭ、マーク画像３０及び付加情報４０を表示するようになっている。

描画制御部３５４は、端末管理制御部３５９の制御の下またはデータ処理部３６０の制御の下、表示パネル３４０に所定の画像を描画させるために必要な描画データを生成するようになっており、生成された描画データを当該表示パネル３４０に出力するようになっている。

現在位置検出部３５５は、付加情報可視化制御プログラムの実行中に、データ処理部３６０の制御の下、ネットワークＮを介してＧＰＳ衛星の位置を認識しつつ、当該ＧＰＳ衛星から送信された衛星信号（ＧＰＳ信号）を検出し、当該検出されたＧＰＳ信号に基づいて携帯用端末装置３００の現在位置の座標値を算出（すなわち、検出）する。そして、この現在位置検出部３５５は、この算出された座標値を位置情報としてデータ処理部３６０に提供するようになっている。ただし、携帯用端末装置３００が、電話機能を有している場合には、電話に用いる電波を電話基地局において受信した方角と電波強度に基づいて当該携帯用端末装置３００の現在位置を算出してもよい。

方向検出部３５６は、微弱な地磁気を検知する磁気センサと、重力の方向を検出する加速度センサとから形成されており、付加情報可視化制御プログラムの実行中に、データ処理部３６０の制御の下、カメラユニット３３０の撮像方向を検出し、検出した方向を方向情報としてデータ処理部３６０に提供するようになっている。

操作部３５７は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキーなどの多数のキー及び表示パネル３４０上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。具体的には、操作部３５７は、付加情報可視化制御プログラムの起動時にカメラユニット３３０による撮像その他の処理を実行するための操作を行う際に用いられるようになっている。

端末管理制御部３５９は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、携帯用端末装置３００の全般的な機能及び付加情報可視化制御プログラムを実行するための全般的な機能を総括的に制御するようになっている。

ＲＯＭ／ＲＡＭ３５８には、携帯用端末装置３００として機能するための各種の制御プログラムが記録されているとともに、付加情報可視化制御プログラムが記録されている。また、このＲＯＭ／ＲＡＭ３５８は、各種の処理が実行される際のワークエリアとして用いられる。

２．付加情報表示用データ
次に、本実施形態の付加情報表示処理で用いられる付加情報表示用データについて説明する。

画像データは、付加情報表示処理が実行される際に表示パネル３４０に付加情報４０として表示される画像を生成するためデータであり、撮像されたディスプレイ空間画像ＩＭに、該当するオブジェクト２０の画像位置に対応付けられて表示される画像を生成するための各種のデータから構成される。具体的には、画像データには、画像として表示するためのコンテンツ情報の他に、コンテンツの画像表示領域７０のサイズなどのディスプレイ空間画像ＩＭに重畳表示する際に必要なパラメータのデータが含まれる。例えば、画像データには、オブジェクト２０としてのディスプレイ商品の商品名称、価格、種別毎の在庫情報などを示すテキスト、当該テキストのフォント、大きさ及び色などのテキストの表示制御をする書式、写真または動画像などのコンテンツ、当該コンテンツの表示領域に対するサイズなど、ディスプレイ空間１０内にタグ的に画像として表示させるデータが含まれる。なお、コンテンツ情報には、写真などの静止画像の他に、使用例の説明ＶＴＲなどの動画像も含まれる。また、一の画像データは、単一のコンテンツから構成されているデータであってもよいし、複数のコンテンツから形成されているデータであってもよい。

マーカデータは、画像解析処理が実行される際にカメラユニット３３０によって撮像されたディスプレイ空間画像ＩＭの中から可視化されて表示されているマーク画像３０を認識するためのデータであり、マーク画像３０と同一の画像パターンのデータである。具体的には、このマーカデータは、各画素の二値化データなどのマーク画像３０が正規化された際の画像と同一画像を形成する各画素のデータである。

相対座標データは、ディスプレイ空間１０上のマーク画像３０の位置座標に基づく付加情報４０を表示するディスプレイ空間１０上の位置座標のデータである。具体的には、相対座標データは、上述の図４に示すように、マーク画像３０の位置座標を原点としたＸ座標、Ｙ座標及びＺ座標からなる３次元の位置座標データである。なお、例えば、この３次元位置座標は、付加情報４０を画像として表示する際の中心を示すが、これに限られず、表示する付加情報４０の画像における左上または右下などの位置を示してもよい。

３．データ処理部の詳細
次に、図３及び図６を用いて本実施形態のデータ処理部３６０における各部の構成及びその動作の詳細について説明する。

データ取得処理部３６１は、ユーザによる操作部３５７の操作に基づいて、通信インターフェース３５１と連動してデータベース４００から画像データ、マーカデータ及び相対座標データの付加情報表示用データの各データを取得してデータ記憶部３５２に記憶するようになっている。具体的には、データ取得処理部３６１は、付加情報可視化制御プログラムが起動させることによって、カメラユニット３３０によるディスプレイ空間１０の撮像の開始を検出すると、現在位置検出部３５５を制御して携帯用端末装置３００の現在位置の座標値を取得するとともに、方向検出部３５６を制御して検出されたカメラユニット３３０の撮像方向を示す方向情報を取得するようになっている。そして、データ取得処理部３６１は、通信インターフェース３５１を介してデータベース４００から現在位置及び方向情報に基づいて特定される付加情報表示用データを取得するようになっている。

なお、データ取得処理部３６１は、例えば、ＢＬＵＥＴＯＯＴＨ（ＩＥＥＥ：ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ ８０２．１５／登録商標）やＷｉ−Ｆｉ（ＩＥＥＥ８０２．１１シリーズ／登録商標）などの近距離無線通信によってデータベース４００から付加情報表示用データの各データを直接取得してデータ記憶部３５２に記憶してもよい。この場合には、通信インターフェース３５１は、所定の通信回路を有し、データ取得処理部３６１の制御の下、データベース４００の所定の通信距離範囲に属した際に、所定の認証その他の接続処理（例えば、ペアリング）を実行して通信回線を接続するようになっている。そして、データ取得部３６１は、接続された通信回路を介して付加情報表示用データの各データを直接取得してデータ記憶部３５２に記憶してもよい。

画像解析処理部３６２は、カメラユニット３３０によって撮像されたディスプレイ空間画像ＩＭを解析し、データ記憶部３５２に記憶されたマーカデータに基づいて当該ディスプレイ空間画像ＩＭからマーク画像３０を認識するようになっている。具体的には、画像解析処理部３６２は、認識対象画像であるディスプレイ空間画像ＩＭに対してテンプレートを用いて正規化相関係数によるテンプレートマッチングを行うようになっている。具体的には、画像解析処理部３６２は、空間画像に対して二値化処理を実行し、カメラユニット３３０によって生じた歪みを補正しつつ、該当する領域に対して予め算出された変換行列を用いて透視変換を実行するようになっている。この該当する領域とは、テンプレートとして用いられる画像に該当する領域を言い、本実施形態では、マーク画像３０と同一の画像がテンプレートであるので、すなわち、中央部に回転非対称性の形状を有する四角形がテンプレートとなるので、画像解析処理部３６２は、二値化された空間画像から四角形領域を補正しつつ抽出し、抽出した四角形領域に対して透視変換を実行するようになっている。そして、画像改正処理部３６２は、透視変換された領域からテンプレートに類似する領域をマーク画像３０として認識するようになっている。

なお、画像解析処理部３６２におけるテンプレートを用いたマッチングの詳細については、加藤博一、Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ、浅野浩一、橘啓八郎共著「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」日本バーチャルリアリティ学会論文誌Ｖｏｌ．４、Ｎｏ．４（１９９９年）及び加藤博一著「拡張現実感システム構築ツールＡＲＴｏｏｌＫｉｔの開発」電子情報通信学会 信学技報 ＰＲＭＵ ２００１−２３２（２００２−２）に記載されている。

座標認識処理部３６３は、認識されたマーク画像３０の中心における２次元位置座標、すなわち、画像表示領域７０の座標系における位置座標を特定するとともに、予め算出してある変換行列に基づいて画像表示領域７０上の２次元座標系を、テンプレートとのサイズ差を考慮しつつ、ディスプレイ空間１０の座標系におけるマーク画像３０の中心の３次元位置座標への透視変換を実行し、マーク画像３０の中心の３次元位置座標を特定するようになっている。また、座標認識処理部３６３は、データ記憶部３５２に記憶された相対座標データに基づいて付加情報４０を表示するディスプレイ空間１０上の３次元位置座標を認識するとともに、予め算出してある変換行列に基づいてディスプレイ空間１０の座標系における付加情報４０を表示する３次元位置座標から画像表示領域７０上の２次元位置座標に透視変換（透視逆変換）を実行して付加情報４０の表示する２次元位置座標を特定するようになっている。

付加情報表示処理部３６４は、座標認識処理部３６３によって認識された付加情報４０を表示する２次元位置座標とデータ記憶部３５２に記憶された画像データに基づいて、描画制御部３５４及び当該描画制御部３５４を制御し、付加情報４０を画像としてディスプレイ空間画像ＩＭに重畳させて表示パネル３４０の画像表示領域７０に表示させるようになっている。具体的には、付加情報表示処理部３６４は、認識された付加情報４０を表示するための２次元位置座標に基づいて、画像データに含まれるテキスト及び画像などのパラメータデータ及びコンテンツデータを制御し、画像として表示されるサイズを特定しつつ、上述の図３に示すように付加情報４０を表示させるようになっている。

なお、付加情報表示処理部３６４は、付加情報４０における表示上のサイズの特定においては、パラメータデータに含まれる予め定められた付加情報４０のサイズとディスプレイ空間１０内の位置に基づいて、当該付加情報をディスプレイ空間画像ＩＭ（２次元画像）系に上記の変換行列を用いて透視変換を実行して当該付加情報４０の表示サイズを特定するようになっている。ただし、付加情報表示処理部３６４は、この特定方法に代えて、パラメータデータに含まれる携帯用端末装置３００とマーク画像３０のディスプレイ空間１０内における予め定められた基準距離と付加情報４０のサイズの情報を参照し、パラメータデータに含まれる基準距離と、ディスプレイ空間内の携帯用端末装置３００及びマーク画像３０の実距離に反比例させて、すなわち、基準距離より実距離が短い場合には、付加情報４０のサイズパラメータデータに含まれる標準サイズより大きくし、基準距離より実距離が長い場合には、付加情報４０のサイズパラメータデータに含まれる標準サイズより小さくするように付加情報４０の表示サイズを特定してもよい。

［付加情報可視化制御処理］
次に、図７を用いて本実施形態の携帯用端末装置３００における付加情報可視化制御処理について説明する。なお、図７は、本実施形態における付加情報可視化制御処理の動作を示すフローチャートである。

まず、端末管理制御部３５９が、ユーザによる操作部３５７への操作によって付加情報可視化制御プログラムの起動を検出すると（ステップＳ１０１）、カメラユニット３３０が起動してディスプレイ空間１０の撮像を開始する（ステップＳ１０２）。なお、描画制御部３５４は、カメラユニット３３０における撮像が開始されると、カメラユニット３３０によって撮像された画像を表示パネル３４０に表示させる。

次いで、データ取得処理部３６１は、携帯用端末装置３００の現在位置を示す現在位置情報及びカメラユニット３３０の撮像方向を示す方向情報を取得し、当該取得した現在位置情報及び方向情報に基づいて、データベース４００から通信インターフェース３５１を介して、画像データ、マーカデータ及び相対座標データを含む付加情報表示用データを取得してデータ記憶部３５２に記憶する（ステップＳ１０３）。

次いで、画像解析処理部３６２は、カメラユニット３３０によって撮像され、表示パネル３４０に表示されたディスプレイ空間画像ＩＭ（一フレームの画像）をキャプチャし、データ記憶部３５２に記憶されたマーカデータに基づいて当該ディスプレイ空間画像ＩＭの解析処理を実行する（ステップＳ１０４）。

次いで、画像解析処理部３６２は、ディスプレイ空間画像ＩＭ内にマーク画像３０の有無を判断する（ステップＳ１０５）。例えば、画像解析処理部３６２は、マーク画像３０の候補として上述のように抽出した四角形領域を正規化しつつ、テンプレートとの類似度を算出し、最も類似度の高い四角形領域をマーク画像３０と認識する。ただし、画像解析処理部３６２は、当該算出された類似度が予め定められた閾値以下の場合には、マーク画像３０がディスプレイ空間画像ＩＭ内に存在しない（すなわち、認識できない）と判断する。

なお、当該マーク画像３０がディスプレイ空間画像ＩＭ内に存在すると（認識できたと）判断した場合には（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０６の処理に移行し、当該マーク画像３０がディスプレイ空間画像ＩＭ内に存在しないと（認識できないと）判断した場合には（ステップＳ１０５：Ｎｏ）、ステップＳ１０９の処理に移行する。

次いで、座標認識処理部３６３は、マーク画像３０の中心における画像表示領域７０上の２次元位置座標を特定するとともに、予め定められた変換行列を用いて当該２次元位置座標をディスプレイ空間１０上の３次元位置座標を特定する（ステップＳ１０６）。

次いで、座標認識処理部３６３は、認識されたマーク画像３０の中心における３次元位置座標とデータ記憶部３５２に記憶された相対座標データに基づいて、オブジェクト２０空間上の付加情報４０を表示するための３次元位置座標を特定する（ステップＳ１０７）。

次いで、付加情報表示処理部３６４は、付加情報４０のオブジェクト２０空間上の３次元位置座標を予め定められた変換行列を用いて画像表示領域７０上の２次元座標に変換して特定しつつ、特定された付加情報４０の２次元位置座標とデータ記憶部３５２に記憶された画像データに基づいて、付加情報４０を表示パネル３４０に表示する（ステップＳ１０８）。このとき、付加情報表示処理部３６４は、描画制御部３５４を制御し、画像データに基づいて、サイズ、テキスト及び画像などのパラメータデータ及びコンテンツデータを制御して、図３に示すように、付加情報４０を表示させる。

最後に、データ取得処理部３６１は、操作部３５７によって付加情報可視化制御プログラムの終了操作が実行されたか否かを判断し（ステップＳ１０９）、付加情報可視化制御プログラムの終了操作が実行されていない場合には（ステップＳ１０９：Ｎｏ）、ステップＳ１０３の処理に移行し、付加情報可視化制御プログラムの終了操作が実行された場合には（ステップＳ１０９：Ｙｅｓ）、カメラユニット３３０における撮像を中止して（ステップＳ１１０）本動作を終了させる。

［作用効果］
以上、本実施形態の付加情報可視化制御システムＳは、マーカとして機能するマーク画像３０をディスプレイ空間１０に潜像化させることによって、カメラユニット３３０で撮像をしない限り視覚化することができない構成にする一方で、付加情報４０を要求するユーザに対しては、カメラユニット３３０の表示パネル３４０に表示させることができる。したがって、本実施形態の付加情報可視化制御システムＳは、付加情報４０を確実に視認させつつ、ディスプレイ空間１０における意匠性を損なわせることなく、かつ、デザインの拡張性を向上させることができるとともに、マーカの生成及び変更の容易性並びにその表示の的確性を向上させることができる。

本実施形態の付加情報可視化制御システムＳは、付加情報４０を表示するためのマーカを画像によって形成し、ディスプレイ空間１０の任意の位置に表示させることができるとともに、マーカを用いて付加情報４０を表示する位置とオブジェクト２０の位置関係を的確に認識させることができるので、マーク画像３０とオブジェクト２０とのディスプレイ空間１０内における位置を的確に設定することによって、マーカの生成及び変更の容易性並びにその表示の的確性を向上させることができる。

本実施形態の付加情報可視化制御システムＳは、マーク画像３０のディスプレイ空間１０上の位置座標に基づいて付加情報４０を表示するためのディスプレイ空間１０における位置を特定することができるとともに、マーク画像３０とオブジェクト２０のディスプレイ空間１０における位置関係が的確に規定されていることが前提となるので、付加情報４０をオブジェクト２０の関係において適切な表示位置に表示させることができる。

本実施形態の付加情報可視化制御システムＳは、データベース４００から付加情報４０を提供しているので、当該付加情報４０を一元管理することができるとともに、付加情報４０のメンテナンスの容易性を向上させること、最新の付加情報４０を容易に提供すること及び付加情報４０を提供する際の撮像装置の処理負荷を低減させることができる。

本実施形態の付加情報可視化制御システムＳは、カメラユニット３３０において撮像を開始すれば、携帯用端末装置３００の現在位置及び撮像方向に基づいてマーク画像３０を認識するためのマーカデータをデータベース４００から取得することができるので、ユーザ操作の容易性を向上させることができる。

本実施形態の付加情報可視化制御システムＳは、マーク画像３０に回転非対称性のマークを用いているので、マーク画像３０があらゆる方向から撮像されたとしても、当該マーク画像３０を認識することができる。

［変形例］
次に、本実施形態の付加情報可視化制御システムＳにおける変形例を説明する。

上記の第１実施形態においては、液晶パネル２００がディスプレイ空間１０の前面に設けられているが、当該ディスプレイ空間１０の背面に設けられていてもよい。ただし、この場合であっても、バックライト装置１００からの第１偏光光が入光されるように、液晶パネル２００は、バックライト装置１００の前面に設けられる。

また、上記の第１実施形態においては、付加情報可視化制御システムＳは、ショーウィンドウなどのガラスまたはアクリルなどの透明なケースで閉じられたディスプレイ空間１０に適用させるようになっているが、商品がディスプレイさせている棚などのオープンな空間においても同一の構成によって適用させることができるようになっている。

また、上記の第１実施形態の携帯用端末装置３００は、付加情報可視化制御プログラムを起動するときに、カメラユニット３３０を起動させて認識された携帯用端末装置３００の現在位置情報及び方向情報に基づいてデータベース４００から付加情報表示用データを取得するようになっているが、カメラユニット３３０を起動する前に、ユーザの操作または付加情報可視化制御プログラムに沿って取得すべき付加情報表示用データをデータベース４００から取得するようにしてもよい。この場合には、ユーザ操作によって付加情報４０可視化表示処理を実行する際に、取得した付加情報表示用データを指定するようになっている。

また、上記の第１実施形態の液晶パネル２００において、第２ガラス基板２１２と第２透明電極２１４の間に各画素に対応して配色されたカラーフィルタを有してもよい。この場合は、マーク画像３０をカラー化することができるので、種々の画像又は情報をマーク画像３０として提供することができる。

また、上記の第１実施形態の付加情報可視化制御システムＳにおいて、第１偏光光と、前記潜像化されたマーク画像３０を形成するための第２偏光光と、をそれぞれ円偏光に変換する第１の１／４波長板を有するとともに、携帯用端末装置３００の偏光フィルタ３２０の液晶パネル２００側の面に、円偏光に変換された第１偏光光及び第２偏光光をそれぞれ直線偏光に変換する第２の１／４波長板を有してもよい。具体的には、図１において、第２ガラス基板２１２の携帯用端末装置３００の側の面に１／４波長板を配置し、偏光フィルタ３２０の液晶パネル２００側の面に１／４波長板を追加して設置することとなる。こうすることにより、携帯用端末装置３００と液晶パネル２００の間においては、第１偏光光及び第２偏光光を円偏光させることができるので、第１偏光光及び第２偏光光の光強度の変化に耐性ができるとともに、マーク画像３０を明瞭に提供することができる。また、この場合においては、携帯用端末装置３００を使用し、どの角度で液晶パネル２００を撮像しても、マーク画像３０の明・暗が変化しなくなるので利便性がよくなる。

また、上記の第１実施形態の付加情報可視化制御システムＳにおいては、ネットワークＮを介してデータベースから付加情報表示用データが取得されてデータ記憶部３５２に記憶されるようになっているが、フラッシュメモリなどの携帯用端末装置３００に着脱可能な記憶媒体に予め記憶された各種のデータを用いて付加情報を表示するようにしてもよい。

また、上記の第１実施形態の付加情報可視化制御システムＳにおいて、携帯用端末装置３００は、偏光フィルタ３２０を有するカメラユニット３３０に加えて、さらに、当該カメラユニット３３０と異なる別のカメラユニット（偏光フィルタ無しのカメラユニットであって、カメラユニット３３０と区別するために、以下、「第２カメラユニット」という。）を有していてもよい。この場合には、携帯用端末装置３００は、端末管理制御部３５９の下、操作部３５７及び描画制御部３５４と連動しつつ、カメラユニット３３０と第２カメラユニットの使用切換を行うことができるように構成されている。そして、カメラユニット３３０によってディスプレイ空間１０を撮像した場合には、表示パネル３４０は、図３に示すように、マーク画像３０及び付加情報４０を表示する。その一方で、第２カメラユニットによってディスプレイ空間１０を撮像した場合には、偏光フィルタが無いため、第２偏光光を認識することができないので、表示パネル３４０は、マーク画像３０及び付加情報４０を表示できず、オブジェクト２０を表示するだけである。

＜第２実施形態＞
次に、図８及び図９を用いて本発明に係る付加情報可視化制御システムＳの第２実施形態について説明する。

本実施形態において、マーク画像３０は、付加情報表示用データが組み込まれた２次元コードによって形成されているとともに、携帯用端末装置３００は、第１実施形態におけるデータ処理部３６０におけるデータ取得処理部３６１に代えて２次元コード解析部３７１を有している点に特徴がある。なお、本実施形態のその他の構成は第１実施形態と同様であり、第１実施形態と同一の部材については、同一の番号を付してその説明を省略する。なお、２次元コードとは、マトリックス型の２次元コードであり、例えば、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード（登録商標）とも呼ばれる。

［データ処理部］
本実施形態の携帯用端末装置３００のデータ処理部３７０は、ディスプレイ空間画像ＩＭ上にマーク画像３０として２次元コードを認識すると、当該認識した２次元コードを解析して画像データ、マーカデータ及び相対座標データの付加情報表示用データを取得するようになっている。

具体的には、データ処理部３７０は、付加情報可視化制御プログラムを起動することによって、図８に示すように、２次元コード解析部３７１、画像解析処理部３６２、座標認識処理部３６３及び付加情報表示処理部３６４を構築する。なお、例えば、本実施形態の２次元コード解析部３７１は、本発明の取得手段を構成し、画像解析処理部３６２は、認識手段を構成する。また、本実施形態の座標認識処理部３６３は、算出手段及び特定手段を構成し、付加情報表示処理部３６４は、本発明の制御手段を構成する。

２次元コード解析部３７１は、画像解析処理部３６２によってマーク画像３０として２次元コードを識別された場合に、当該認識された２次元コードの画像を取得するとともに、取得した２次元コードをデコードとして、画像データ、マーカデータ及び相対座標データの付加情報表示用データを取得してデータ記憶部３５２に記憶するようになっている。

画像解析処理部３６２は、四角形上の２次元コードの角（例えば、３点）にある所定のパターンによって形成されている位置検出パターンをディスプレイ空間画像ＩＭ内からパターン認識し、当該２次元コードの部分の画像（以下、「２次元コード画像」という。）を識別するようになっている。

［付加情報可視化制御処理］
次に、図９を用いて本実施形態の携帯用端末装置３００における付加情報可視化制御処理について説明する。なお、図９は、本実施形態における付加情報可視化制御処理の動作を示すフローチャートである。

まず、端末管理制御部３５９が、ユーザによる操作部３５７への操作によって付加情報可視化制御プログラムの起動を検出すると（ステップＳ２０１）、カメラユニット３３０が起動してディスプレイ空間１０の撮像を開始する（ステップＳ２０２）。なお、描画制御部３５４は、カメラユニット３３０における撮像が開始されると、カメラユニット３３０によって撮像された画像を表示パネル３４０に表示させる。

次いで、画像解析処理部３６２は、カメラユニット３３０によって撮像されて表示パネル３４０に表示されたディスプレイ空間画像ＩＭ（一フレームの画像）をキャプチャし、データ記憶部３５２に記憶されたマーカデータに基づいて当該ディスプレイ空間画像ＩＭの解析処理を実行する（ステップＳ２０３）。

次いで、画像解析処理部３６２は、ディスプレイ空間画像ＩＭ内にマーク画像３０（すなわち、２次元コード）の有無を判断する（ステップＳ２０４）。例えば、画像解析処理部３６２は、上述のように、四角形上の２次元コード画像の角にある位置検出パターンを認識して２次元コード画像を識別する。ただし、画像解析処理部３６２は、位置検出パターンを認識できない場合には、マーク画像３０がディスプレイ空間画像ＩＭ内に存在しない（すなわち、認識できない）と判断する。

なお、当該マーク画像３０がディスプレイ空間画像ＩＭ内に存在すると（認識できたと）判断した場合には（ステップＳ２０５：Ｎｏ）、ステップＳ２０５の処理に移行し、当該マーク画像３０がディスプレイ空間画像ＩＭ内に存在しないと（認識できないと）判断した場合には（ステップＳ２０４：Ｎｏ）、ステップＳ２０９の処理に移行する。

次いで、２次元コード解析部３７１は、識別された２次元コード画像を取得し、当該２次元コードをデコードするとともに、画像データ、マーカデータ及び相対座標データの付加情報表示用データを取得してデータ記憶部３５２に記憶する（ステップＳ２０５）。

次いで、座標認識処理部３６３は、２次元コードであるマーク画像３０の中心における画像表示領域７０上の２次元位置座標を特定するとともに、予め定められた変換行列を用いて当該２次元位置座標をディスプレイ空間１０上の３次元位置座標を特定する（ステップＳ２０６）。

次いで、座標認識処理部３６３は、認識された２次元コードの中心における３次元位置座標とデータ記憶部３５２に記憶された相対座標データに基づいて、オブジェクト２０空間上の付加情報４０を表示するための３次元位置座標を特定する（ステップＳ２０７）。

次いで、付加情報表示処理部３６４は、付加情報４０のオブジェクト２０空間上の３次元位置座標を予め定められた変換行列を用いて画像表示領域７０上の２次元座標に変換して特定しつつ、特定された付加情報４０の２次元位置座標とデータ記憶部３５２に記憶された画像データに基づいて、付加情報４０を表示パネル３４０に表示する（ステップＳ２０８）。このとき、付加情報表示処理部３６４は、描画制御部３５４を制御し、画像データに基づいて、サイズ、テキスト及び画像などのパラメータデータ及びコンテンツデータを制御して、図３に示すように、付加情報４０を表示させる。

最後に、データ取得処理部３６１は、操作部３５７によって付加情報可視化制御プログラムの終了操作が実行されたか否かを判断し（ステップＳ２０９）、付加情報可視化制御プログラムの終了操作が実行されていない場合には、ステップＳ２０３の処理に移行し、付加情報可視化制御プログラムの終了操作が実行された場合には、カメラユニット３３０における撮像を中止して（ステップＳ２１０）本動作を終了させる。

［作用効果］
以上、本実施形態の付加情報可視化制御システムＳは、第１実施形態の効果に加えて、ネットワークＮに接続する機能を有しない端末装置であっても、当該読取手段が搭載されていれば、付加情報４０を提供することができるので、多くの携帯用端末装置３００を当該システムの携帯用端末装置３００として用いることができる。

また、本実施形態の付加情報可視化制御システムＳは、付加情報４０を一般化しつつある２次元コードによって提供することができるので、多くの携帯用端末装置３００を当該システムの携帯用端末装置３００として用いることができる。

［変形例］
次に、本実施形態の付加情報可視化制御システムＳにおける変形例を説明する。

第１実施形態の変形例と同様に、第２実施形態の液晶パネル２００が当該ディスプレイ空間１０の背面に設けられていてもよい。ただし、この場合であっても、バックライト装置１００からの第１偏光光が入光されるように、液晶パネル２００は、バックライト装置１００の前面に設けられる。

また、第１実施形態の変形例と同様に、商品がディスプレイさせている棚などのオープンな空間においても同一の構成によって適用させることができるようになっている。

また、第１実施形態の変形例と同様に、第２実施形態において、カメラユニット３３０を起動する前に、ユーザの操作または付加情報可視化制御プログラムに沿って取得すべき付加情報表示用データをデータベース４００から取得するようにしてもよい。この場合には、ユーザ操作によって付加情報４０可視化表示処理を実行する際に、取得した付加情報表示用データを指定するようになっている。

また、第１実施形態の変形例と同様に、第２実施形態の液晶パネル２００において、第２ガラス基板２１２と第２透明電極２１４の間に各画素に対応して配色されたカラーフィルタを有してもよい。この場合は、マーク画像３０をカラー化することができるので、種々の画像又は情報をマーク画像３０として提供することができる。

また、第１実施形態の変形例と同様に、第２実施形態の付加情報可視化制御システムＳにおいて、第１偏光光と、前記潜像化されたマーク画像３０を形成するための第２偏光光と、をそれぞれ円偏光に変換する第１の１／４波長板を有するとともに、携帯用端末装置３００の偏光フィルタ３２０の液晶パネル２００側の面に、円偏光に変換された第１偏光光及び第２偏光光をそれぞれ直線偏光に変換する第２の１／４波長板を有してもよい。具体的には、図１において、第２ガラス基板２１２の携帯用端末装置３００の側の面に１／４波長板を配置し、偏光フィルタの代わりに１／４波長板を使用することとなる。こうすることにより、携帯用端末装置３００と液晶パネル２００の間においては、第１偏光光及び第２偏光光を円偏光させることができるので、第１偏光光及び第２偏光光の光強度の変化に耐性ができるとともに、マーク画像３０を明瞭に提供することができる。また、この場合においては、携帯用端末装置３００を使用し、どの角度で液晶パネル２００を撮像しても、マーク画像３０の明・暗が変化しなくなるので利便性がよくなる。

本発明の付加情報可視化制御システムＳは、デパートその他の商店におけるショーウィンドウのディスプレイ、博物館などの情報提示型のアミューズメント施設など商品その他のオブジェクト２０に対する情報の提供と当該オブジェクト２０がディスプレイされているディスプレイ空間１０のデザイン上のバランスが要求される施設において用いることができる。

Ｓ … 付加情報可視化制御システム
１０ … オブジェクト空間
２０ … オブジェクト
３０ … マーク画像
４０ … 付加情報
５０ …偏光光出力領域
６０ … パネル表示領域
７０ … 画像表示領域
１００ … バックライト装置
１１０ … 液晶表示パネル
１２０ … 照明ユニット
２００ … 液晶パネル
２１０ … パネル部
２１１ … 第１ガラス基板
２１２ … 第２ガラス基板
２１３ … 第１透明電極
２１４ … 第２透明電極
２１５ … 第１配向層
２１６ … 第２配向層
２１７ … 液晶層
２２０ … 駆動制御部
２２１ … データ線駆動回路
２２２ … 走査線駆動回路
２２３ … メモリ回路
２２４ … 制御回路
３００ … 携帯用端末装置
３１０ … 筐体
３２０ … 偏光フィルタ
３３０ … カメラユニット
３４０ … 表示パネル
３５１ … 通信インターフェース
３５２ … データ記憶部
３５４ … 描画制御部
３５５ … 現在位置検出部
３５６ … 方向検出部
３５７ … 操作部
３５９ … 端末管理制御部
３６０、３７０ … データ処理部
３６１ … データ取得処理部
３６２ … 画像解析処理部
３６３ … 座標認識処理部
３６４ … 付加情報表示処理部
３７１ … ２次元コード解析部
４００ … データベース
５００ … ＰＣ

Claims (9)

1. 現実空間に実存するオブジェクトの背面から偏光光を入光させるための入光手段と、
   前記オブジェクトの背面または前面に形成された手段であって、前記オブジェクトの現実空間上の位置座標を認識させるためのマーク画像のデータに基づいて、前記入光された偏光光の一部を旋光させてマーク画像を潜像化させる潜像化手段と、
   撮像素子及び表示手段を有し、前記オブジェクト及び前記潜像化手段の前面から出力された前記偏光光を利用して前記オブジェクトを撮像して取得したオブジェクト画像を前記表示手段に表示する撮像装置と、
   を備え、
   前記撮像装置が、
   前記オブジェクトを撮像する際に、前記旋光された偏光光に基づいて前記潜像化されたマーク画像を可視化させ、前記オブジェクト画像に重畳させて前記表示手段に表示させるための偏光板と、
   前記表示されるオブジェクト画像に付加して表示するための付加情報及び前記オブジェクト画像から前記マーク画像を認識させるための参照用データを少なくとも含む付加情報表示用データが記憶される記憶手段と、
   前記記憶された参照用データに基づいて、前記表示手段に表示されたオブジェクト画像を解析し、当該オブジェクト画像に含まれるマーク画像を認識する認識手段と、
   前記認識されたマーク画像に基づいて、前記記憶された付加情報を前記オブジェクトの画像に重畳させて前記表示手段に表示させる制御手段と、
   を有することを特徴とする付加情報提供システム。
2. 請求項１に記載の付加情報提供システムにおいて、
   前記撮像装置が、前記認識手段によって認識されたマーク画像における前記表示手段の画像表示領域上の画像領域内位置座標を特定するとともに、当該特定されたマーク画像における画像領域内位置座標に基づいて当該マーク画像の現実空間内の空間内位置座標を算出する算出手段を更に有し、
   前記制御手段が、前記算出されたマーク画像の空間内位置座標に基づいて前記取得した付加情報を前記オブジェクト画像に重畳させて前記画像表示領域に表示させる、付加情報提供システム。
3. 請求項２に記載の付加情報提供システムにおいて、
   前記付加情報表示用データには、前記付加情報及び参照用データとともに前記現実空間におけるマーク画像の位置に対する現実空間における前記オブジェクトの空間内位置座標の相対座標が含まれており、
   前記撮像装置が、前記算出されたマーク画像の空間内位置座標と前記相対座標とに基づいて、前記付加情報を表示するための前記現実空間上における前記オブジェクトの位置座標を特定する特定手段を更に有するとともに、
   前記制御手段が、前記特定手段によって特定された前記現実空間上における前記オブジェクトの位置座標に基づいて前記取得した付加情報を前記オブジェクト画像に重畳させて前記画像表示領域に表示させる、付加情報提供システム。
4. 請求項１乃至３の何れか一項に記載の付加情報提供システムにおいて、
   前記撮像装置が、前記付加情報表示用データを、ネットワークを介してデータベースから取得して前記記憶手段に記憶する取得手段を更に有する、付加情報提供システム。
5. 請求項４に記載の付加情報提供システムにおいて、
   前記取得手段が、前記付加情報を撮像装置の現在位置情報及び撮像方向に基づいて前記データベースから取得する、付加情報提供システム。
6. 請求項１乃至４の何れか一項に記載の付加情報提供システムにおいて、
   前記撮像装置が、前記撮像して形成されたオブジェクト画像から前記マーク画像を認識しつつ、当該認識したマーク画像から前記付加情報を取得して前記記憶手段に記憶する読取手段を更に有する、付加情報提供システム。
7. 請求項６に記載の付加情報提供システムにおいて、
   前記取得手段が、２次元コードを読み取るとともに、当該読み取った２次元コードを認識することによって前記付加情報を取得する、付加情報提供システム。
8. 請求項１乃至７の何れか一項に記載の付加情報提供システムにおいて、
   前記マーク画像が、回転非対称性のマークである、付加情報提供システム。
9. 現実空間に実存するオブジェクトの背面から偏光光が入光されるとともに、前記オブジェクトの現実空間上の位置座標を認識させるためのマーク画像のデータに基づいて、前記入光された偏光光の一部が旋光されて潜像化されたマーク画像を、前記オブジェクトの前面から前記偏光光を利用して前記オブジェクトとともに撮像する撮像装置であって、
   前記オブジェクトを撮像する際に、前記旋光された偏光光に基づいて前記潜像化されたマーク画像を可視化させ、前記オブジェクト画像に重畳させて表示手段に表示させるための偏光板と、
   前記表示されるオブジェクト画像に付加して表示するための付加情報及び前記オブジェクト画像から前記マーク画像を認識させるための参照用データを少なくとも含む付加情報表示用データが記憶される記憶手段と、
   前記記憶された参照用データに基づいて、前記表示手段に表示されたオブジェクト画像を解析し、当該オブジェクト画像に含まれるマーク画像を認識する認識手段と、
   前記認識されたマーク画像に基づいて、前記記憶された付加情報を前記オブジェクトの画像に重畳させて前記表示手段に表示させる制御手段と、
   を備えることを特徴とする撮像装置。

Images