JP6587764B1 - 表示装置、表示システム、及び表示方法 - Google Patents

Abstract

【課題】拡張現実による画像を表示することができ、かつ消費電力を低減することができる表示装置の提供。【解決手段】光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、前記光を受光する受光部と、前記光が対象情報の信号を含む場合に、ユーザの前景画像を撮像する撮像部と、前記撮像部が前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた前記拡張現実による画像を表示する制御を行う制御部と、を有する表示装置である。【選択図】図１

Description

本発明は、表示装置、表示システム、及び表示方法に関する。

近年、電波や可視光などを用いたポータブルの案内システムが開発されている。この案内システムは、音声や画像を出力するなどにより、観光案内、工場や施設の見学、あるいは博物館や美術館における展示物の説明などで活用されている。

ポータブルの案内システムとしては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）を用いた案内システムが開発されているが、読取り速度が比較的遅く、位置精度も５ｍ程度になる場合があるため、展示物が設置されている位置でその展示物ではない展示物の説明を受信する場合がある。また、このＢｌｕｅｔｏｏｔｈなどを用いた案内システムは、発信機と受信機との間に見学者や鑑賞者などの人垣や遮蔽物があると通信しにくくなる場合や、工場などでは電波の使用が禁止されている場合もあり、使用する場所や用途が制限されるときがある。
また、カメラで撮像した画像を画像認識し、特定した対象物に基づいて案内する案内システムにおいては、常にカメラを動作させて画像認識処理を行う必要があり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサの消費電力が大きくなるためポータブルには適していない場合がある。

そこで、身の回りに存在するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）照明などの光源から、簡単な情報やその光源に固有のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報の信号を含む光を照射させることにより、その情報に基づいた各種案内などを行うことができる光通信を用いた案内システムが開発されている。
この光通信を用いた案内システムは、上記の電波や画像認識を用いた案内システムよりも、読取り速度が速く、読取り距離が幅広い範囲であり、見学者や鑑賞者などの人垣や遮蔽物がある場合でも、天井などの上方からＩＤ情報の信号を含む光を受光すれば通信を行うことができる。また、光通信を用いた案内システムは、ＩＤ情報の信号を含む光をスポット的に照射させることにより、展示物が設置されている位置でその展示物ではない展示物の説明を行うことなく的確にその展示物の説明を行うことができる。このような利点から、光通信を用いた案内システムが数多く提案されている。

例えば、視覚障がい者や聴覚障がい者が使用できる案内システムが提案されている（例えば、特許文献１等参照）。光通信を用いた案内システムは、太陽光などのノイズに弱いことから、ＩＤ情報を送信する光信号送信機が指向性のある１以上の発光素子を備えるとともに、光信号受信機側に指向性のある受光素子を２以上備え、各受光素子の受信強度比から光信号送信機が設置されている方向の情報を取得し、受信感度を高められる方向に光信号受信機を移動させるように、音声や画像でガイドすることができる。また、この案内システムは、光信号受信機を携帯するユーザからみたときの光信号送信機が設置されている方向を把握することができるため、例えば、駅ホームのホームドアに光信号送信機が設置されている場合には、光信号送信機の設置位置に基づいて「◎番線ホーム△号車の乗車ゲートの斜め右です。次の発車は○○時◎◎分、××行きです。あと５分で到着します。」との音声案内を出力することができる。

特開２０１３−２０５２１８号公報

そこで、本発明は、従来における前記諸問題を解決し、以下の目的を達成することを課題とする。即ち、本発明は、拡張現実による画像を表示することができ、かつ消費電力を低減することができる表示装置、表示システム、及び表示方法を提供することを目的とする。

前記課題を解決するための手段としては、以下のとおりである。即ち、
＜１＞ 光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、
前記光を受光する受光部と、
前記光が対象情報の信号を含む場合に、ユーザの前景画像を撮像する撮像部と、
前記撮像部が前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた前記拡張現実による画像を表示する制御を行う制御部と、
を有することを特徴とする表示装置である。

前記＜１＞に記載の表示装置においては、受光した光に対象情報の信号を含んでいると判定して初めて撮像部が前景画像を撮像し、撮像した前景画像を画像解析処理して対象物を識別するため、対象物に応じた拡張現実による画像を表示することができる。また、この表示装置は、光に対象情報の信号を含んでいると判定しない間は前景画像の撮像及び画像解析処理を行わない分、消費電力を低減することができる。

＜２＞ 前記前景画像からの前記対象物の識別が、前記対象情報に基づいて行われる、前記＜１＞に記載の表示装置である。

従来の画像解析処理では、前景画像から対象物を認識するために、対象物の膨大なテンプレート画像を予め準備し、前景画像に含まれる対象物の画像と膨大なテンプレート画像を順番に照合する必要があることから、処理時間が長くなり、消費電力が増大していた。
前記＜２＞に記載の表示装置においては、前景画像からの対象物の識別を、対象情報に基づいて行うことにより、膨大なテンプレート画像のなかから対象情報に対応するテンプレート画像に限定することができる。このため、この表示装置は、限定したテンプレート画像と前景画像に含まれる対象物の画像と照合することにより、前景画像から対象物を容易に識別することができるため、処理時間を短縮でき、かつ消費電力を低減できる。

＜３＞ メガネの形状を有するウェアラブルデバイスである、前記＜１＞から＜２＞のいずれかに記載の表示装置である。

前記＜３＞に記載の表示装置は、メガネの形状を有するウェアラブルデバイスであることにより、人体に装着可能とするためにバッテリーを有することから、消費電力を低減できる効果が顕著に表れる。

＜４＞ 一対のリムと、
ユーザの両眼から見た前景から入射される光を前記一対のリムに向かって半反射させるハーフミラーが埋設されている一対のレンズを有し、
前記撮像部が、前記一対のレンズにより半反射された前記前景から入射される光を前記前景画像としてそれぞれ撮像するために前記一対のリムに配置されている、前記＜３＞に記載の表示装置である。

前記＜４＞に記載の表示装置においては、メガネの形状を有するウェアラブルデバイスであって、一対のリムに配置されている撮像部が、メガネの左右に配置された一対のレンズのハーフミラーによりそれぞれ半反射された、前景から入射される光を前景画像としてそれぞれ撮像する。これにより、表示装置は、ユーザの両眼で視たときの画像を撮像することができるため、撮像部がユーザの両眼で視たときの前景から入射される光を撮像できない別の位置に配置されている場合と比較すると、拡張現実による画像を表示する位置の精度を高めることができる。

＜５＞ 骨伝導スピーカを更に有する、前記＜１＞から＜４＞のいずれかに記載の表示装置である。

前記＜５＞に記載の表示装置においては、骨伝導スピーカを更に有することにより、イヤホンのようにユーザの外耳とサイズが合わないなどの不具合が発生しにくい。また、イヤホンやヘッドホンのようにユーザの外耳を塞ぐことがなくなるため、周りの音が聞こえやすくなり、身の安全の確保が容易になる。

＜６＞ ＭＰＵを更に有し、
前記撮像部がユーザの前記前景画像を撮像するための、前記光が前記対象情報の信号を含むか否かの判定は、前記ＭＰＵが動作して行う前記＜１＞から＜５＞のいずれかに記載の表示装置である。

前記＜６＞に記載の表示装置においては、受光した光に対象情報の信号を含むか否かの判定はＭＰＵが動作して行うため、ＭＰＵより高性能なＣＰＵで光に対象情報の信号を含むか否かの判定をするよりも消費電力を低減することができる。

＜７＞ 対象情報の信号を含む光を照射可能な光照射装置と、
前記＜１＞から＜６＞のいずれかに記載の表示装置と、
を有することを特徴とする表示システムである。

前記＜７＞に記載の表示システムにおいては、光照射装置から対象情報を含む光を表示装置に照射することにより、表示装置は、光照射装置が設置されている位置での必要な情報を取得することができる。

＜８＞ 前記＜１＞から＜６＞のいずれかに記載の表示装置を用いた表示方法であって、
前記表示装置の受光部により前記光を受光する受光工程と、
前記光が対象情報の信号を含む場合にユーザの前景画像を撮像する撮像工程と、
前記撮像工程において前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた拡張現実による画像を表示する制御を行う制御工程と、
を含むことを特徴とする表示方法である。

前記＜８＞に記載の表示方法においては、前記＜１＞に記載の表示装置と同様に、受光した光に対象情報の信号を含んでいると判定して初めて撮像部が前景画像を撮像し、撮像した前景画像を画像解析処理して対象物を識別するため、拡張現実による画像を表示することができる。また、この表示装置は、光に対象情報の信号を含んでいると判定しない間は前景画像の撮像及び画像解析処理を行わない分、消費電力を低減することができる。

本発明によると、従来における前記諸問題を解決することができ、拡張現実による画像を表示することができ、かつ消費電力を低減することができる表示装置、表示システム、及び表示方法を提供することができる。

図１は、本実施形態の表示システムを示す概略図である。 図２は、本実施形態の表示システムが扱うデータフレームを示す説明図である。 図３は、本実施形態の表示装置を示す概略外観図である。 図４Ａは、受光部が受光した光がＩＤ情報の信号を含むか否かを判定し、光がＩＤ情報の信号を含むと判定した場合に、光から検出したＩＤ情報をコンテンツサーバに送信する処理の流れの一例を示すフローチャートである。 図４Ｂは、受光部が受光した光がＩＤ情報の信号を含むか否かを判定し、光がＩＤ情報の信号を含むと判定した場合に、光から検出したＩＤ情報をコンテンツサーバに送信する処理の流れの一例を示すフローチャートである。 図５は、本実施形態の表示装置が拡張現実による画像を表示する動作を示す説明図である。 図６は、本実施形態の表示装置の機能を示すブロック図である。 図７は、本実施形態の表示装置のハードウェアを示すブロック図である。 図８は、本実施形態の光照射装置の機能を示すブロック図である。 図９は、本実施形態の光照射装置のハードウェアを示すブロック図である。

以下、本発明の実施形態を説明するが、本発明は、この実施形態に何ら限定されるものではない。
本実施形態では、博物館や美術館などの施設において展示物の説明を行う表示システムについて説明する。

（表示システム）
図１は、本実施形態の表示システムを示す概略図である。
図１に示すように、本実施形態の表示システム１０は、表示装置１００と、光照射装置２００ａ〜２００ｎと、コンテンツサーバ３００と、テンプレートサーバ４００と、管理ＰＣ（パーソナルコンピュータ）５００とを有する。表示装置１００、コンテンツサーバ３００、及び管理ＰＣ５００は、ネットワークＮを介してそれぞれ通信可能に接続されている。
また、表示装置１００は、メガネの形状を有するウェアラブルデバイスであり、ヘッドマウントディスプレイ（ＨＭＤ）と称することもある。
なお、本実施形態では表示装置１００をメガネの形状を有するウェアラブルデバイスとしたが、これに限ることはない。

本実施形態の表示システム１０は、まず、展示物を鑑賞するユーザが装着する表示装置１００に対し、各展示物の設置場所にそれぞれ配置されている光照射装置２００ａ〜２００ｎのいずれかから、その展示物に対応付けられた対象情報としてのＩＤ情報の信号を含む光が照射される。すると、表示装置１００は、受光素子１１０Ｕ及び１１０Ｆの少なくともいずれかで受光した光からＩＤ情報の信号を検出し、検出したＩＤ情報をコンテンツサーバ３００及びテンプレートサーバ４００に送信する。ＩＤ情報を受信したコンテンツサーバ３００は、ＩＤ情報に対応するコンテンツの情報を格納するデータベースを参照し、表示装置１００から送信されたＩＤ情報に応じたコンテンツの情報を表示装置１００に送信する。また、ＩＤ情報を受信したテンプレートサーバ４００は、ＩＤ情報に対応するテンプレート画像のデータのいくつかを表示装置１００に送信する。表示装置１００は、いくつかのテンプレート画像と、カメラで撮像した前景画像に含まれる対象物の画像とを照合して対象物を識別し、識別した対象物に位置に基づき、受信したコンテンツの情報に含まれる拡張現実による画像を表示する。これにより、本実施形態の表示システム１０は、展示物を鑑賞するユーザに対し、その展示物の説明を行うことができる。また、表示装置１００は、拡張現実による画像に加え、骨伝導スピーカによる音声を出力することができる。この場合、コンテンツの情報には、拡張現実による画像のデータに加えて、音声のデータが含まれる。
なお、本実施形態では、コンテンツの情報には拡張現実による画像のデータに加えて、音声のデータが含まれる場合があるとしたが、これに限ることなく、他のデータを含むようにしてもよい。

管理ＰＣ５００は、コンテンツサーバ３００のデータベースを管理するために用いられる。

本実施形態の表示システム１０では、光照射装置２００ａ〜２００ｎのいずれかと表示装置１００との通信に、ＪＥＩＴＡ ＣＰ−１２２３の規格に準ずる可視光ビーコンシステムを用いる。このため、光照射装置２００ａ〜２００ｎは、図２に示すように、６ビットのプリアンブルと１バイトのフレームタイプからなるスタート部と、１６バイトのＩＤ情報のデータからなる情報部（ペイロード）と、２バイトのチェック用のＣＲＣ（周期冗長コード）からなる終端部とを配するフレーム構造のデータを表示装置１００に送信する。

本実施形態の符号化方式としては、４ＰＰＭ（Ｐｕｌｓｅ Ｐｏｓｉｔｉｏｎ Ｍｏｄｕｌａｔｉｏｎ）符号方式を用いる。４ＰＰＭ符号方式は、シンボル時間として定義される一定の時間を４つのスロットに等分し、１シンボル時間に１つのスロット幅のパルスを許容し、そのパルスの存在スロット時間位置に割り当てた情報を送信する。１バイトは４シンボルからなり、その１シンボルは４スロットからなる。この４スロットのうち１スロットだけが必ず光る（ＯＮ）ようなシンボルとしているため、４スロットが全て光ることがないように、あるいは全て光らないことがないようにして、人の目に光のちらつきを感じさせないようにしている。

なお、本実施形態の表示システム１０では、ＪＥＩＴＡ ＣＰ−１２２３の規格に準ずる可視光ビーコンシステムを用いるとしたが、これに限ることはなく、他の規格でもよく、可視光ではなく赤外線などを用いたものでもよい。また、本実施形態では、対象情報としてＩＤ情報としたが、これに限ることはない。

以下では、本実施形態の表示システム１０の各装置について詳細に説明する。

（表示装置及び表示方法）
本発明の表示装置は、光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であり、受光部と、撮像部と、制御部とを有し、更に必要に応じてその他の部を有するようにしてもよい。
本発明の表示方法は、光を利用する光通信を用いて拡張現実による画像を表示可能な表示方法であり、受光工程と、撮像工程と、制御工程とを含み、更に必要に応じてその他の工程を含むようにしてもよい。
本発明の表示方法は、本発明の表示装置により好適に行うことができ、受光工程は受光部により好適に行うことができ、撮像工程は撮像部により好適に行うことができ、制御工程は制御部により好適に行うことができることから、本発明の表示装置における実施形態の説明を通して本発明の表示方法の詳細についても明らかにする。

図３は、本実施形態の表示装置を示す概略外観図である。
図３に示すように、本実施形態の表示装置１００は、メガネの形状を有することから、フレームと、フレームに装着する一対のレンズ１９０Ｒ，１９０Ｌとを備える。また、一対のレンズ１９０Ｒ，１９０Ｌには、ユーザが表示装置１００を装着した際に、ユーザの両眼から見た前景から入射される光を一対のリムに向かって半反射させるハーフミラー１９１Ｒ，１９１Ｌがそれぞれ埋設されている。

フレームは、レンズ１９０Ｒ，１９０Ｌを装着する一対のリムと、一対のリムにそれぞれ接続されているテンプルとを備える。

一対のリムのうち左側のリムには、上面に受光素子１１０Ｕと、側面に受光素子１１０Ｆとを備えている。
受光素子１１０Ｕは、ユーザが表示装置１００を装着した際に、天井に設置されている光照射装置２００からの光を主に受光できるように、左側のリムの上面に埋設されている。受光素子１１０Ｆは、ユーザが表示装置１００を装着した際に、ユーザの前方からの光を主に受光できるように、左側のリムの側面に埋設されている。
なお、本実施形態では表示装置１００に２つの受光素子を備えるようにしたが、これに限ることなく、受光素子は１つでもよく、３つ以上備えてもよい。また、本実施形態では左側のリムに受光素子を備えるようにしたが、これに限ることなく、光照射装置２００からの光を受光できる位置に配されていればよい。

ここで、受光素子１１０Ｕ又は１１０Ｆが受光した光がＩＤ情報の信号を含むか否かを判定し、光がＩＤ情報の信号を含むと判定した場合に、ＩＤ情報をコンテンツサーバ３００に送信する処理の流れを、図４Ａ及び図４Ｂに示すフローチャートの図中Ｓで表すステップにしたがって説明する。

図４Ａに示すように、まず、後述する第１の制御部１２２は、各変数の初期化を行う（Ｄ＝０,Ｆ＝０,Ｎ＝０,Ｐ＝０）（Ｓ１０１）。ここで、Ｄは信号のエッジの検出フラグ、Ｆはプリアンブルの検出フラグ、Ｎはフレーム番号（データのバイト数）、Ｐはシンボル数を意味する。
次に、表示装置１００は、受光素子１１０Ｕ又は１１０Ｆで受光した光を電気信号に変換し、変換した電気信号を増幅部１１２のアナログ回路で増幅して、Ａ／Ｄ変換部１２１でサンプリングする（Ｓ１０２）。

第１の制御部１２２は、Ａ／Ｄ変換部１２１でサンプリングした方形波の信号において、立ち上がりエッジ及び立ち下がりエッジを検出するために微分処理する（Ｓ１０３）。第１の制御部１２２は、微分処理した信号において、エッジの変化に基づいてＩＤ情報の信号を検出するために、正側にピークがあればＤ＝１とし（Ｓ１０４、Ｓ１０５）、負側にピークがあればＤ＝０とする（Ｓ１０６、Ｓ１０７）。なお、正側及び負側のいずれにもピークがなければ処理をＳ１０２に戻す。

第１の制御部１２２は、微分処理した信号において正側及び負側のいずれかにピークを検出すると、プリアンブルがすでに検出されているか否かを判定する（Ｓ１０８）。第１の制御部１２２は、プリアンブルがすでに検出されていると判定すると処理を図４Ｂに示すＳ１１２に移行し、プリアンブルが検出されていないと判定すると、微分処理した信号がプリアンブルであるか否かを判定する（Ｓ１０９）。第１の制御部１２２は、微分処理した信号がプリアンブルであると判定するとＦ＝１とし（Ｓ１１０）、微分処理した信号がプリアンブルでないと判定するとＦ＝０として（Ｓ１１１）、処理をＳ１０２に戻す。

次に、第１の制御部１２２は、プリアンブルがすでに検出されていると判定すると、４ＰＰＭ信号の最初の４ビットを取得できたか否かを判定する（Ｓ１１２）。第１の制御部１２２は、最初の４ビットを取得できたと判定すると、微分処理した信号を４ＰＰＭ信号に変換してＰに保存し（Ｓ１１３）、最初の４ビットを取得できていないと判定すると、処理を図４ＡのＳ１０２に戻す。

第１の制御部１２２は、微分処理した信号を４ＰＰＭ信号に変換してＰに保存すると、Ｐ＝Ｐ＋１の演算を行い、Ｐ＝４であるか否かを判定する（Ｓ１１４）。第１の制御部１２２は、Ｐ＝４であると判定すると、４シンボル（１バイト）完了であるとしてＰ＝０に初期化し（Ｓ１１５）、Ｐ＝４でないと判定すると、処理を図４ＡのＳ１０２に戻す。

第１の制御部１２２は、Ｐ＝０に初期化すると、Ｎにデータのバイト数を保存して（Ｓ１１６）、Ｎ＝Ｎ＋１の演算を行い、Ｎ＝１９であるか否かを判定する（Ｓ１１７）。第１の制御部１２２は、Ｎ＝１９であると判定すると、フレームの最後であるとしてＮ＝０に初期化し（Ｓ１１８）、Ｎ＝１９でないと判定すると、処理を図４ＡのＳ１０２に戻す。

第１の制御部１２２は、Ｎ＝０に初期化するとＣＲＣの演算を行い、一致するか否かを判定する（Ｓ１１９）。第１の制御部１２２は、一致すると判定すると、コンテンツサーバ３００にデータを送信し（Ｓ１２０）、処理を図４ＡのＳ１０２に戻す。また、第１の制御部１２２は、一致しないと判定すると、処理を図４ＡのＳ１０２に戻す。
このように、第１の制御部１２２は、受光素子１１０Ｕ又は１１０Ｆが受光した光がＩＤ情報の信号を含むか否かを判定し、光がＩＤ情報の信号を含むと判定した場合に、後述する第２の制御部１４１がＩＤ情報をコンテンツサーバ３００とテンプレートサーバ４００に送信する。
そして、コンテンツサーバ３００は、ＩＤ情報に対応するコンテンツを格納するデータベースを参照し、表示装置１００から送信されたＩＤ情報に応じたコンテンツの情報を表示装置１００に送信する。また、テンプレートサーバ４００は、ＩＤ情報に応じた展示物のテンプレート画像のいくつかを表示装置１００に送信する。

図３に戻り、一対のリムの連結部には、ハーフミラー１９１Ｒ，１９１Ｌにより半反射された前景から入射される光を前景画像としてそれぞれ撮像するための一対のカメラ１６０Ｒ，１６０Ｌがそれぞれ埋設されている。表示装置１００は、一対のカメラ１６０Ｒ，１６０Ｌにより撮像された前景画像について画像解析処理を行い、展示物のテンプレート画像と照合して前景画像から展示物の画像を識別する。
また、表示装置１００の一対のリムは、それぞれテンプル側に一対のプロジェクタ機構１７０Ｒ，１７０Ｌを備えている。一対のプロジェクタ機構１７０Ｒ，１７０Ｌは、識別した展示物の画像の位置に基づき、拡張現実による画像の映像光を出力し、ハーフミラー１９１Ｒ，１９１Ｌで半反射させ、ユーザの両眼に拡張現実による画像を視認させる。

ここで、一対のカメラ１６０Ｒ，１６０Ｌ、一対のプロジェクタ機構１７０Ｒ，１７０Ｌ、及びハーフミラー１９１Ｒ，１９１Ｌにより、ユーザに拡張現実による画像を精度良く表示する動作について詳細に説明する。

図５は、本実施形態の表示装置が拡張現実による画像を表示する動作を示す説明図である。図５は、ユーザが表示装置１００を装着した際に、水平面で表示装置１００の断面を示した図である。
図５に示すように、一対のレンズ１２０Ｒ，１２０Ｌは、ユーザの両眼から見た前景から入射される光３０Ｌ，３０Ｒをハーフミラー１９１Ｒ，１９１Ｌにより半反射させる。ハーフミラー１９１Ｒ，１９１Ｌは、半反射させた光３１Ｒ，３１Ｌを一対のカメラ１６０Ｒ，１６０Ｌに入射するとともに、半反射させていない光３２Ｒ，３２Ｌをユーザの両眼に入射する。これにより、表示装置１００は、ユーザが前景を視認できるとともに、ユーザの両眼で視たときの前景を一対のカメラ１６０Ｒ，１６０Ｌでそれぞれ撮像することができる。一対のカメラ１６０Ｒ，１６０Ｌは、ユーザの両眼で視たときの前景を撮像する。これにより、表示装置１００は、カメラがユーザの両眼で視認した前景を撮像できない別の位置に配されている場合と比較すると、拡張現実による画像を表示する位置の精度を高めることができる。つまり、表示装置１００は、一対のプロジェクタ機構１７０Ｒ，１７０Ｌから拡張現実による画像の映像光２０Ｒ，２０Ｌを出力し、ハーフミラー１９１Ｒ，１９１Ｌに反射させてユーザの両眼で拡張現実による画像を視認させる際に、拡張現実による画像を表示する位置の精度を高めることができる。

図３に戻り、左右のテンプルには、骨伝導スピーカ１８０Ｒ，１８０Ｌをそれぞれ備えている。骨伝導スピーカ１８０Ｒ，１８０Ｌは、ユーザが表示装置１００を装着した際に、ユーザに骨伝導により音声を伝達できる位置に配されている。これにより、イヤホンのようにユーザの外耳とサイズが合わないなどの不具合が発生しにくい。また、イヤホンやヘッドホンのようにユーザの外耳を塞ぐことがなくなるため、周りの音が聞こえやすくなり、身の安全の確保が容易になる。

コントローラＣは、受光素子１１０Ｕ、１１０Ｆ、一対のカメラ１６０Ｒ，１６０Ｌ、及び一対のプロジェクタ機構１７０Ｒ，１７０Ｌと電気的に接続されており、ユーザにより電源や機能をＯＮ／ＯＦＦする操作などが行われる。

図６は、本実施形態の表示装置の機能を示すブロック図である。
図６に示すように、表示装置１００は、受光部１１１で受光した可視光を電気信号に変換し、変換した電気信号を増幅部１１２のアナログ回路で増幅する。次に、表示装置１００は、増幅させた電気信号をＡ／Ｄ変換部１２１でサンプリングする。そして、第１の制御部１２２は、ＪＥＩＴＡ ＣＰ−１２２３の規格に従ってファームウェアでサンプリング後の電気信号を復調する。このとき、第１の制御部１２２は、タイマ部１２３と、ファームウェアを記憶する記憶部１３１とにより、サンプリング後の電気信号を復調する。その後、復調した信号がＩＤ情報であると第１の制御部１２２が判定した場合には、第２の制御部１４１は、無線通信部１５１に指示を出力し、ＩＤ情報をコンテンツサーバ３００に送信し、コンテンツサーバ３００からＩＤ情報に対応するコンテンツの情報を受信する。また、第２の制御部１４１は、無線通信部１５１に指示を出力し、ＩＤ情報をテンプレートサーバ４００に送信し、テンプレートサーバ４００からＩＤ情報に対応するテンプレート画像のデータのいくつかを受信する。さらに、第２の制御部１４１は、復調した信号がＩＤ情報であると第１の制御部１２２が判定した場合には、撮像部１６１にも指示を出力し、一対のカメラ１６０Ｒ，１６０Ｌによりユーザの両眼で視認した前景を撮像させ始める。

第２の制御部１４１は、展示物のテンプレート画像のいくつかと、一対のカメラ１６０Ｒ，１６０Ｌが撮像した前景画像とを照合することにより、前景画像から展示物の画像を識別する。第２の制御部１４１は、画像出力部１７１に指示を出力し、識別した展示物の画像の位置に基づき、コンテンツの情報に含まれる拡張現実による画像を表示する。
すなわち、撮像部１６１は、光がＩＤ情報の信号を含む場合に、ユーザの前景画像を撮像する。第２の制御部１４１は、撮像部１６１が前景画像を撮像すると、前景画像から識別した展示物の位置に基づき、ＩＤ情報に応じた拡張現実による画像を表示する制御を行う。
なお、本実施形態では第１の制御部と第２の制御部に分けているが、これに限ることなく、第１の制御部と第２の制御部は同一の制御部にしてもよい。

図７は、本実施形態の表示装置のハードウェアを示すブロック図である。
図７に示すように、この表示装置１００は、受光素子１１０Ｕ、１１０Ｆと、ＭＰＵ１２０と、記憶手段１３０と、ＣＰＵ１４０と、無線通信モジュール１５０と、一対のカメラ１６０Ｒ，１６０Ｌと、一対のプロジェクタ機構１７０Ｒ，１７０Ｌと、骨伝導スピーカ１８０Ｒ，１８０Ｌとを有する。

受光素子１１０Ｕ、１１０Ｆは、本実施形態ではフォトダイオードであり、受光部１１１の機能を実現する。

ＭＰＵ１２０は、プロセッサの一種であり、種々の制御や演算を行う処理装置である。ＭＰＵ１２０は、記憶手段１３０などが記憶するファームウェアなどを実行することにより、種々の機能を実現する。具体的には、図６の点線で示したように、ＭＰＵ１２０は、Ａ／Ｄ変換部１２１、第１の制御部１２２、及びタイマ部１２３の機能を実現する。すなわち、ＭＰＵ１２０は、撮像部１６１がユーザの前景画像を撮像するための、光がＩＤ情報の信号を含むか否かの判定を行う。

ＣＰＵ１４０は、ＭＰＵ１２０より高性能のプロセッサの一種であり、種々の制御や演算を行う処理装置である。ＣＰＵ１４０は記憶手段１３０などが記憶するファームウェアなどを実行することにより、種々の機能を実現する。ＣＰＵ１４０は、ＭＰＵ１２０により光にＩＤ情報の信号を含むと判定されると、一対のカメラ１６０Ｒ，１６０Ｌに前景画像を撮像させ、前景画像から識別した展示物の画像の位置に基づき、コンテンツの情報に含まれる拡張現実による画像を表示する第２の制御部１４１の機能を実現する。
また、ＣＰＵ１４０は、表示装置１００全体の制御を行う。

無線通信モジュール１５０は、ＣＰＵ１４０により制御され、ＩＤ情報をコンテンツサーバ３００に送信し、コンテンツサーバ３００からＩＤ情報に対応するコンテンツの情報を受信する。また、無線通信モジュール１５０は、ＣＰＵ１４０により制御され、ＩＤ情報をテンプレートサーバ４００に送信し、テンプレートサーバ４００からＩＤ情報に対応するテンプレート画像のデータのいくつかを受信する。無線通信モジュール１５０は、無線通信部１５１の機能を実現する。

一対のカメラ１６０Ｒ，１６０Ｌは、本実施形態では一対のリムの連結部に埋設できる小型の撮像素子であり、ＣＰＵ１４０により制御され、ユーザの前景画像を撮像する。

一対のプロジェクタ機構１７０Ｒ，１７０Ｌは、ＣＰＵ１４０により制御され、拡張現実による画像を出力するものであり、本実施形態では一対のリムのテンプル側の「智」と称する部位にそれぞれ埋設されている小型のプロジェクタの機構を有するデバイスである。

一対の骨伝導スピーカ１８０Ｒ，１８０Ｌは、本実施形態では一対のテンプルに埋設されており、ＣＰＵ１４０により制御され、コンテンツの情報に含まれる音声のデータに基づき展示物の説明の音声を出力する。

このように、表示装置１００は、光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、光を受光する受光部１１１と、光がＩＤ情報の信号を含む場合に、ユーザの前景画像を撮像する撮像部１６１と、撮像部１６１が前景画像を撮像すると、前景画像から識別した展示物の位置に基づき、ＩＤ情報に応じた拡張現実による画像を表示する制御を行う第２の制御部１４１と、を有する。
これにより、表示装置１００は、受光した光にＩＤ情報の信号を含んでいると判定して初めて撮像部１６１が前景画像を撮像し、撮像した前景画像を画像解析処理して展示物を識別するため、拡張現実による画像を表示することができる。また、表示装置１００は、光にＩＤ情報の信号を含んでいると判定しない間は前景画像の撮像及び画像解析処理を行わない分、消費電力を低減することができる。

＜光照射装置＞
図１に示した光照射装置２００ａ〜２００ｎは、いずれも機能及びハードウェアが同様であるため、光照射装置２００ａ〜２００ｎのいずれか１つ（以下、光照射装置２００と称する）について説明する。

図６は、本実施形態の光照射装置の機能を示すブロック図である。
光照射装置２００は、各展示物の近傍にそれぞれ配置され、ＩＤ情報の信号を含む光を照射可能な装置である。この光照射装置２００は、図６に示すように、投光部２１１と、制御部２２１とを有する。
制御部２２１は、光照射装置２００を管理するＰＣが予め記憶したＩＤ情報の信号を可視光に含ませるように、投光部２１１を制御する。

図７は、本実施形態の光照射装置のハードウェアを示すブロック図である。
図７に示すように、ＬＥＤ照明２１０と、コントローラ２２０とを有する。

ＬＥＤ照明２１０は、複数のＬＥＤを備えている。また、ＬＥＤ照明２１０は、投光部２１１の機能を実現する。
なお、本実施形態では、光照射装置２００がＬＥＤ照明２１０を有するようにしたが、これに限ることはなく、光を照射できるものであればよい。

コントローラ２２０は、ＬＥＤ照明２１０を駆動させるための制御回路であり、制御部２２１の機能を実現する。

＜コンテンツサーバ＞
コンテンツサーバ３００は、ＩＤ情報と、ＩＤ情報に対応付けたコンテンツの情報とを格納するデータベースを有し、表示装置１００からＩＤ情報を受信すると、ＩＤ情報に対応するコンテンツの情報を表示装置１００に送信する。

＜テンプレートサーバ＞
テンプレートサーバ４００は、ＩＤ情報と、ＩＤ情報に対応付けた対象物のテンプレート画像のデータとを格納しており、表示装置１００からＩＤ情報を受信すると、ＩＤ情報に対応する対象物のテンプレート画像のデータのいくつかを表示装置１００に送信する。

＜管理ＰＣ＞
管理ＰＣ５００は、本実施形態ではパーソナルコンピュータであり、コンテンツサーバ３００のデータベースを構築、編集、及び管理するために用いられる。また、管理ＰＣ５００は、テンプレートサーバ４００のＩＤ情報に対応する対象物のテンプレート画像のデータを構築、編集、及び管理するために用いられる。

なお、本実施形態では、ＩＤ情報と、ＩＤ情報に対応付けたコンテンツの情報とを格納するデータベースをコンテンツサーバ３００が有するようにしたが、これに限ることはなく、例えば、表示装置や他の端末や装置が有するようにしてもよい。
また、本実施形態では、ＩＤ情報と、ＩＤ情報に対応する対象物のテンプレート画像のデータをテンプレートサーバ４００が有するようにしたが、これに限ることはなく、例えば、表示装置や他の端末や装置が有するようにしてもよい。

以上説明したように、本発明の表示装置は、光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、光を受光する受光部と、光が対象情報の信号を含む場合に、ユーザの前景画像を撮像する撮像部と、撮像部が前景画像を撮像すると、前景画像から識別した対象物の位置に基づき、対象情報に応じた拡張現実による画像を表示する制御を行う制御部と、を有する。
これにより、本発明の表示装置においては、表示装置においては、受光した光に対象情報の信号を含んでいると判定して初めて撮像部が前景画像を撮像し、撮像した前景画像を画像解析処理して対象物を識別するため、拡張現実による画像を表示することができる。また、この表示装置は、光に対象情報の信号を含んでいると判定しない間は前景画像の撮像及び画像解析処理を行わない分、消費電力を低減することができる。

また、本発明の表示システムは、例えば、本実施形態で示したように、博物館や美術館などの施設において展示物の説明を行うシステムに応用することができる。本発明の表示システムは、消費電力を低減できる本発明の表示装置を有することから、表示装置をユーザに貸し出しても、ユーザがバッテリーの減りを気にすることなく展示物を鑑賞することができる。

なお、本実施形態では、表示システムを博物館や美術館などの施設において展示物の説明を行うシステムに応用したが、これに限ることはなく、例えば、ゲームなどに応用してもよい。

１０ 表示システム
１００ 表示装置
１１１ 受光部
１２０ ＭＰＵ
１２２ 第１の制御部
１４０ ＣＰＵ
１４１ 第２の制御部（制御部）
１６１ 撮像部
１８０Ｒ，１８０Ｌ 骨伝導スピーカ
２００ 光照射装置
３００ コンテンツサーバ
４００ テンプレートサーバ
５００ 管理ＰＣ

Claims (8)

1. 光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、
   前記光を受光する受光部と、
   前記光が対象情報の信号を含む場合にユーザの前景画像を撮像し、前記光が対象情報の信号を含まない場合に前記前景画像を撮像しない撮像部と、
   前記撮像部が前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた前記拡張現実による画像を表示する制御を行う制御部と、
   を有することを特徴とする表示装置。
2. 前記前景画像からの前記対象物の識別が、前記対象情報に基づいて行われる、請求項１に記載の表示装置。
3. メガネの形状を有するウェアラブルデバイスである、請求項１から２のいずれかに記載の表示装置。
4. 一対のリムと、
   ユーザの両眼から見た前景から入射される光を前記一対のリムに向かって半反射させるハーフミラーが埋設されている一対のレンズを有し、
   前記撮像部が、前記一対のレンズにより半反射された前記前景から入射される光を前記前景画像としてそれぞれ撮像するために前記一対のリムに配置されている、請求項３に記載の表示装置。
5. 骨伝導スピーカを更に有する、請求項１から４のいずれかに記載の表示装置。
6. ＭＰＵを更に有し、
   前記撮像部がユーザの前記前景画像を撮像するための、前記光が前記対象情報の信号を含むか否かの判定は、前記ＭＰＵが動作して行う請求項１から５のいずれかに記載の表示装置。
7. 対象情報の信号を含む光を照射可能な光照射装置と、
   請求項１から６のいずれかに記載の表示装置と、
   を有することを特徴とする表示システム。
8. 請求項１から６のいずれかに記載の表示装置を用いた表示方法であって、
   前記表示装置の受光部により前記光を受光する受光工程と、
   前記光が対象情報の信号を含む場合にユーザの前景画像を撮像し、前記光が対象情報の信号を含まない場合に前記前景画像を撮像しない撮像工程と、
   前記撮像工程において前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた拡張現実による画像を表示する制御を行う制御工程と、
   を含むことを特徴とする表示方法。

Images