JP5293025B2 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
JP5293025B2
JP5293025B2 JP2008233853A JP2008233853A JP5293025B2 JP 5293025 B2 JP5293025 B2 JP 5293025B2 JP 2008233853 A JP2008233853 A JP 2008233853A JP 2008233853 A JP2008233853 A JP 2008233853A JP 5293025 B2 JP5293025 B2 JP 5293025B2
Authority
JP
Japan
Prior art keywords
display mode
display
identification object
identifier
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008233853A
Other languages
English (en)
Other versions
JP2010066599A (ja
Inventor
光由 渡邉
祥治 山田
和也 滝
英生 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2008233853A priority Critical patent/JP5293025B2/ja
Priority to US12/585,301 priority patent/US20100060552A1/en
Priority to EP09252158A priority patent/EP2163937A1/en
Publication of JP2010066599A publication Critical patent/JP2010066599A/ja
Application granted granted Critical
Publication of JP5293025B2 publication Critical patent/JP5293025B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、ヘッドマウントディスプレイに関するものであり、特に、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射するシースルー型のヘッドマウントディスプレイに関するものである。
従来より、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を記憶する記憶手段と、この記憶手段に記憶したコンテンツ情報を再生する再生手段とを備えた情報処理装置が知られている。
この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために使用者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生されたコンテンツ情報を画像として表示するディスプレイ等とから構成されている。
この表示情報を表示するディスプレイとしては、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、観察者が頭部に装着した状態で画像を視認することができるHMD(ヘッドマウントディスプレイ)等も開発されてきていた。
しかし、近年、画像信号に基づいて生成した画像光(以下、「画像光」という。)を2次元方向に走査し、観察者の眼に導く光走査部を備え、観察者が頭部に装着した状態で前記光走査部を動作させることによって、その2次元方向に走査された画像光を観察者の網膜上に投影表示し、観察者に画像を視認させることができるものも開発されている。
これらのようなHMDには、外界視野が透過して視認可能であるシースルー型のHMDがある。このようなシースルー型のHMDにおいては、例えば、特許文献1に示すように、掲示物等の識別体に対して赤外線を照射させ、反射させることによって得ることができる識別体ID等に基づき識別体に対応付けられたコンテンツ情報が、その識別体に重ねて関連付けて表示される装置が開示されている。
特開2003−242168号公報
ところが、上記従来の装置では、識別体が検出された場合には、その識別体に対応するコンテンツ情報(以下、対応情報と称することがある)を表示させたが、多数の識別体が検出された場合には、識別体に対応する全ての表示情報について詳細に表示させると、十分に表示領域がないため、それら表示情報が重なってしまうおそれがあり、表示情報が視認し難くなり、利便性の向上が望まれている。
本発明は、上述したような課題に鑑みてなされたものであり、多数の識別体が検出された場合であっても視認し易く必要十分な表示情報を表示することができるヘッドマウントディスプレイを提供することを目的とする。
以上のような目的を達成するために、本発明は、以下のようなものを提供する。
すなわち、請求項1記載の本発明では、外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、前記識別体の各々に対応する対応情報を記憶する対応情報記憶手段と、前記識別体検出手段によって検出された前記撮像領域内における識別体の分布状態を判定する分布状態判定手段と、前記分布状態判定手段によって判定された識別体の分布状態に応じて、当該識別体の各々に対応付けられた対応情報の表示態様を決定する表示態様決定手段と、前記表示態様決定手段によって決定された表示態様で、前記識別体に対応付けられた対応情報を、前記表示手段を透過して前記観察者に視認される識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を備えたことを特徴とするものである。
すなわち、請求項2記載の本発明では、請求項1に記載の発明において、前記識別体検出手段によって検出された前記撮像領域内における識別体の分布密度を算出する分布密度算出手段を備え、前記表示態様決定手段は、前記分布密度算出手段によって算出された識別体の分布密度に基づいて、前記識別体の各々に対応付けられた対応情報の表示態様を決定することを特徴とするものである。
すなわち、請求項3記載の本発明では、請求項2に記載の発明において、前記識別体検出手段によって検出された識別体の周囲で、前記分布密度算出手段によって算出された識別体の分布密度が相対的に低い位置を、前記識別体の各々に対応付けられた対応情報を表示する位置として決定する表示位置決定手段を備えたことを特徴とするものである。
すなわち、請求項4記載の本発明では、請求項1に記載の発明において、前記識別体検出手段によって検出された識別体の周囲で、当該識別体からの距離が最も離れた他の識別体と間の位置を、前記識別体に対応付けられた対応情報を表示する位置として決定する表示位置決定手段を備えたことを特徴とするものである。
すなわち、請求項5記載の本発明では、請求項1から4のいずれかに記載の発明において、前記表示態様決定手段は、前記識別体の分布状態に応じて、前記識別体に対応付けられた対応情報を示す図柄、文字、静止画像、動画像からいずれかを前記表示態様として決定することを特徴とするものである。
すなわち、請求項6記載の本発明では、請求項1から5のいずれかに記載の発明において、前記表示態様決定手段は、前記識別体の分布状態に応じて、前記識別体に対応付けられた対応情報の表示サイズを前記表示態様として決定することを特徴とするものである。
すなわち、請求項7記載の本発明では、請求項1から5のいずれかに記載の発明において、前記表示態様決定手段は、前記識別体検出手段によって検出された識別体の種別に基づいて、前記識別体に対応付けられた対応情報の表示態様を決定することを特徴とするものである。
すなわち、請求項8記載の本発明では、請求項1から7のいずれかに記載の発明において、前記表示態様決定手段は、前記識別体検出手段によって検出された識別体のうち、前記観察者の視野範囲の中心から近い領域にある識別体の表示態様を、相対的に視認し易い表示態様として決定することを特徴とするものである。
すなわち、請求項9記載の本発明では、請求項1から8のいずれかに記載の発明において、前記表示態様決定手段は、前記識別体検出手段によって識別体の変位が検出された場合には、所定時間、当該変位する直前の表示態様を維持することを特徴とするものである。
すなわち、請求項10記載の本発明では、請求項1から9のいずれかに記載の発明において、前記表示態様決定手段は、前記識別体検出手段によって識別体の変位が検出された場合には、当該変位した後において検出された前記撮像領域内における識別体の位置分布に基づいて、前記識別体に対応付けられた対応情報の表示態様を決定することを特徴とするものである。
本発明によれば、多数の識別画像が検出された場合であっても視認し易くコンテンツ情報を表示することができる。
以下、本発明の一実施形態について、図面を参照して具体的に説明する。図1は、本実施形態に係るヘッドマウントディスプレイシステムを示す説明図である。
[HMD概観]
ここで、図1は、ヘッドマウントディスプレイシステムの概観を示す斜視図である。
図1に示すように、本実施形態に係るヘッドマウントディスプレイ(以下、「HMD」という。)システムSは、観察者Pが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を画像としてその観察者Pに視認可能に表示するHMD1を備えている。
このHMD1は、内部又は外部に記憶されている各種コンテンツ情報を画像信号に変換し、この画像信号に基づいて生成した画像光(以下、「画像光」という。)を観察者Pの眼に導いて走査する光走査部10(図2参照)を備え、観察者Pが頭部に装着した状態で光走査部10を動作させることによって、画像光を観察者の網膜上で2次元方向に走査させることにより、観察者Pにコンテンツ情報に対応する画像(以下、単に「コンテンツ」という。)を視認させることができるように構成している。なお、このHMD1の具体的構成については、後に詳述する。
また、このHMD1は、コンテンツを表示している最中であっても、観察者Pの視野の中で、そのコンテンツを表示している領域以外の領域では、観察者Pが外界を視認できるように構成している。
すなわち、このHMD1は、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者Pの眼に投射するシースルー型のヘッドマウントディスプレイである。
そして、このHMDシステムSでは、2次元コード(例えば、QRコード)などの識別体を検出し、その識別体に対応付けられたコンテンツ情報を表示させる表示制御をHMD1に実行させることができるように構成している。このため、識別体に対応するコンテンツ情報を対応情報として以下に称することがある。
すなわち、本実施形態のHMD1は、観察者Pの視野範囲のうち少なくとも一部の領域を撮像する撮像手段としてのCCD(Charge Coupled Devices)センサ2を備え、このCCDセンサ2の撮像領域に識別体があることを条件に、複数種類のコンテンツ情報の中から、その識別体に対応付けられたコンテンツ情報を選択し、表示させることとなる。
特に、本実施形態においては、検出された識別体に対応付けられたコンテンツ情報の中から所定数のコンテンツ情報を選択的に表示させることとなり、多数の識別体が検出された場合であっても、表示領域の関係上、視認し易くコンテンツ情報を表示させることができる。
なお、図1に示すように、HMD1は、外界の明るさを検出する輝度センサ8と、CCDセンサ2の撮像領域を照らす照明手段としてのLED(Light Emitting Diode)3と、を備えており、輝度センサ8により外界の明るさが所定の明るさを下回ったことが検知されたときに、LED3がCCDセンサ2の撮像領域を照らすこととなる。
[HMD電気的構成]
ここで、本実施形態に係るHMD1の電気的構成等について、図2を参照して説明する。図2は、本実施形態に係るHMD1の電気的及び光学的構成を示す説明図である。
図2に示すように、このHMD1は、当該HMD1全体の動作を統括制御する制御部110と、この制御部110から供給される画像信号に基づいて生成した画像光を2次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部10と、を備えている。
光走査部10は、この制御部110から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部20を備え、さらに、その画像光生成部20と観察者Pの眼Eとの間には、画像光生成部20で生成され、光ファイバ100を介して出射されるレーザビーム(画像光)を平行光化するコリメート光学系61と、このコリメート光学系61で平行光化された画像光を画像表示のために水平方向(第1方向)に往復走査する第1光走査部として機能する水平走査部70と、水平走査部70で水平方向に走査された画像光を垂直方向(第1方向と略直交する第2方向)に往復走査する第2光走査部として機能する垂直走査部80と、水平走査部70と垂直走査部80との間に設けられたリレー光学系75と、このように水平方向と垂直方向に走査(2次元的に走査)された画像光を瞳孔Eaへ出射するためのリレー光学系90と、を備えている。
また、画像光生成部20には、パーソナルコンピュータ(図示略。)等の外部装置から供給される画像データが、インターフェース104と制御部110とを介して入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路21が設けられ、この信号処理回路21において、青(B)、緑(G)、赤(R)の各画像信号22a〜22cが生成され、出力される。また、信号処理回路21は、水平走査部70で使用される水平駆動信号23と、垂直走査部80で使用される垂直駆動信号24とをそれぞれ出力する。
さらに、画像光生成部20は、信号処理回路21からドットクロック毎に出力される3つの画像信号(B,R,G)22a〜22cをそれぞれ画像光にする画像光出力部として機能する光源部30と、これらの3つの画像光を1つの画像光に結合して任意の画像光を生成するための光合成部40を備えている。
光源部30は、青色の画像光を発生させるBレーザ34及びBレーザ34を駆動するBレーザドライバ31と、緑色の画像光を発生させるGレーザ35及びGレーザ35を駆動するGレーザドライバ32と、赤色の画像光を発生させるRレーザ36及びRレーザ36を駆動するRレーザドライバ33とを備えている。なお、各レーザ34、35、36は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。
光合成部40は、光源部30から入射する画像光を平行光にコリメートするように設けられたコリメート光学系41、42、43と、このコリメートされた画像光を合成するためのダイクロイックミラー44、45、46と、合成された画像光を光ファイバ100に導く結合光学系47とを備えている。
各レーザ34、35、36から出射したレーザ光は、コリメート光学系41、42、43によってそれぞれ平行化された後に、ダイクロイックミラー44、45、46に入射される。その後、これらのダイクロイックミラー44、45、46により、各画像光が波長に関して選択的に反射・透過される。
具体的には、Bレーザ34から出射した青色画像光は、コリメート光学系41によって平行光化された後に、ダイクロイックミラー44に入射される。Gレーザ35から出射した緑色画像光は、コリメート光学系42を経てダイクロイックミラー45に入射される。Rレーザ36から出射した赤色画像光は、コリメート光学系43を経てダイクロイックミラー46に入射される。
それら3つのダイクロイックミラー44、45、46にそれぞれ入射した3原色の画像光は、波長選択的に反射または透過して結合光学系47に達し、集光され光ファイバ100へ出力される。
水平走査部70及び垂直走査部80は、光ファイバ100から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。
水平走査部70は、画像光を水平方向に走査するための反射面を有する共振型偏向素子71と、この共振型偏向素子71を共振させ、共振型偏向素子71の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路72と、共振型偏向素子71から出力される変位信号に基づいて、共振型偏向素子71の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路73とを有している。
本実施形態において、水平走査角検出回路73は、検出した共振型偏向素子71の揺動状態を示す信号を制御部110へ入力するようにしている。
垂直走査部80は、画像光を垂直方向に走査するための偏向素子81と、この偏向素子81を駆動させる垂直走査制御回路82と、この垂直走査制御回路82による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路83とを備えている。
また、水平走査駆動回路72と垂直走査制御回路82は、信号処理回路21から出力される水平駆動信号23と垂直駆動信号24に基づいてそれぞれ駆動し、垂直走査角検出回路83は、検出した偏向素子81の揺動状態を示す信号を制御部110へ入力するようにしている。
そして、後に詳述する制御部110は、信号処理回路21の動作を制御することによって、これら水平駆動信号23と垂直駆動信号24とを調整することによって、水平走査部70と垂直走査部80に画像光の走査角を変更させて、表示する画像の輝度を調整するようにしている。
こうして変更された走査角度は水平走査角検出回路73および垂直走査角検出回路83からの検出信号に基づいて制御部110により検出され、信号処理回路21と水平走査駆動回路72とを介して水平駆動信号23にフィードバックされると共に、信号処理回路21と垂直走査制御回路82とを介して垂直駆動信号24にフィードバックされる。
また、水平走査部70と垂直走査部80との間での画像光を中継するリレー光学系75を備えており、共振型偏向素子71によって水平方向に走査された光は、リレー光学系75によって偏向素子81の反射面に収束され、偏向素子81によって垂直方向に走査されて、2次元的に走査された走査画像光として、リレー光学系90へ出射される。
リレー光学系90は、正の屈折力を持つレンズ系91、94を有している。垂直走査部80から出射された表示用の走査画像光は、レンズ系91によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、レンズ系94によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が観察者の瞳孔Eaに収束するように変換される。
なお、本実施形態においては、光ファイバ100から入射された画像光を、水平走査部70で水平方向に走査した後、垂直走査部80によって垂直方向に走査することとしたが、水平走査部70と垂直走査部80との配置を入れ替え、垂直走査部80によって垂直方向に走査した後、水平走査部70で水平方向に走査するようにしてもよい。
また、制御部110は、CPU(Central Processing Unit)101と、ROM(Reed Only Memory)としての不揮発性メモリであるフラッシュメモリ(図中においてはFlash Memoryと示す)102と、RAM(Random Access Memory)103と、表示させる画像データを記憶しておくVRAM(Video Random Access Memory)105とを備えている。
そして、これらCPU101、フラッシュメモリ102、RAM103、VRAM105は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
また、この制御部110は、当該HMD1の電源スイッチSW、識別体を含む画像を撮像するCCDセンサ2、外界の明るさ(輝度)を検知する輝度センサ8、輝度センサ8により外界の明るさが所定の明るさを下回ったことが検知されたときに、CCDセンサ2の撮像領域A(図4参照)を照らすLED3、観察者によって操作可能な操作スイッチ7、パーソナルコンピュータ等の外部装置と接続可能なインターフェース104とも接続されている。
CPU101は、フラッシュメモリ102に記憶されている各種情報処理プログラムを実行することにより、HMD1を構成する図示しない各種回路を動作させて、HMD1が備える各種機能を実行させる演算処理装置である。
フラッシュメモリ102は、HMD1により表示するコンテンツの再生、停止、早送り、巻き戻し等の表示制御を行う際に画像光生成部20、水平走査部70、垂直走査部80等を動作させるための情報処理プログラム等、制御部110がHMD1全体の動作を統括制御するためにCPU101により実行される各種情報処理プログラムを記憶している。
さらに、このフラッシュメモリ102には、制御部110がCCDセンサ2により撮像した識別体の形態を判別するために用いるテーブル等、制御部110が各種表示制御を行う際に参照する複数種類のテーブルが記憶されている。
[HMD機能構成]
ここで、本実施形態に係るHMD1の機能構成等について、図3を参照して説明する。図3は、本実施形態に係るHMD1の機能構成を示す説明図である。
図3に示すように、このHMD1におけるCCDセンサ2は、撮像手段201を有している。この撮像手段201は、観察者の視野範囲のうち少なくとも一部を撮像する。そして、撮像手段201は、制御部110にその撮像データを供給することとなる。
そして、HMD1における制御部110は、対応情報記憶手段202と、識別体検出手段203と、分布密度算出手段204と、分布状態判定手段205と、表示態様決定手段206と、表示位置決定手段207と、表示制御手段208と、を有している。HMD1の制御部110において、後述のCPU101が所定の情報処理プログラムを実行することによって、識別体検出手段203、分布密度算出手段204と、分布状態判定手段205と、表示態様決定手段206と、表示位置決定手段207と、表示制御手段208として制御部110が機能することとなる。
対応情報記憶手段202は、上述したフラッシュメモリ102が相当し、識別体の各々に対応するコンテンツ情報(対応情報)を記憶する。また、識別体の種別によっては、識別体の各々に対応するコンテンツ情報として複数種類のコンテンツ情報が対応付けられている。これら複数種類のコンテンツ情報としては、例えば、識別体の各々に対応付けられたコンテンツ情報を示す図柄、文字、静止画像、動画像である。
識別体検出手段203は、撮像手段201による撮像領域内における画像データから識別体を検出する。
分布密度算出手段204は、識別体検出手段203によって検出された撮像領域内における識別体の分布密度を算出する。
分布状態判定手段205は、識別体検出手段203によって検出された撮像領域内における識別体の分布状態を判定する。
表示態様決定手段206は、分布状態判定手段205によって判定された識別体の分布状態に応じて、その識別体の各々に対応付けられた対応情報の表示態様を決定する。言い換えると、表示態様決定手段206は、分布密度算出手段204によって算出された識別体の分布密度に基づいて、識別体の各々に対応付けられた対応情報の表示態様を決定する。また、表示態様決定手段206は、この対応情報の表示態様として、例えば、図柄、文字、静止画像、動画像からいずれかを決定する。
表示位置決定手段207は、識別体検出手段203によって検出された識別体の各々に対応付けられた対応情報を表示する位置として決定する。
表示制御手段208は、識別体検出手段203によって検出された識別体に対応するコンテンツ情報を、表示態様決定手段206によって決定された表示態様で表示させる制御を行う。特に、この表示制御手段208は、識別体に対応するコンテンツ情報を、決定された表示態様で、表示手段209を透過して観察者に視認される識別体と関連させて表示手段209により表示させる制御を行うこととなる。
このHMD1における光走査部10は、表示手段209を有している。この表示手段209は、外光を透過しつつ、画像情報(表示情報)に応じた画像光を観察者の眼に投射してその観察者に前記画像光に応じた画像を視認させる。
[表示態様決定テーブル]
ここで、フラッシュメモリ102内に記憶された表示態様決定テーブルについて図4を用いて以下に説明する。
上述したフラッシュメモリ102には、図4に示すような表示態様決定テーブルが記憶されている。表示態様決定テーブルは、撮像領域において検出された識別体に対応するコンテンツ情報の表示態様を決定するためのテーブルである。
この表示態様決定テーブルには、撮像領域において検出された識別体の数と、表示態様と、が対応付けられている。また、表示態様としては、ドット表示態様、タイトル表示態様、画像表示態様が含まれ散る。また、詳しくは後述するが、画像表示態様としては、静止画像表示態様と動画像表示態様とが含まれている。
具体的には、この表示態様決定テーブルにおいては、識別対数として“N1”以上である場合には、ドット表示態様が選択され、識別対数として“N2”以上“N1”未満である場合には、ドット表示態様、タイトル表示態様からいずれかが選択され、識別対数として“N2”未満である場合には、ドット表示態様、タイトル表示態様、画像表示態様からいずれかが選択されることとなる。
このように、撮像領域における識別体の分布状況に応じて、識別体に対応するコンテンツ情報の表示態様が決定されることとなる。
[HMD表示内容]
ここで、本実施形態に係るHMD1における表示内容等について、図5を参照して説明する。図5は、本実施形態に係るHMD1の表示内容等を示す説明図である。
HMD1を装着した観察者Pが、レンタル店のような場所でレンタル物を探すような状況を一例とする。図5(a)に示すように、レンタル店の棚には、各種レンタル物が並べられている。観察者Pの視野範囲のうちの一部の領域が撮像領域Aとして設定されている。
このような状況において、図5(a)に示すように撮像領域A内において48個の識別体が検出された場合には、図5(b)に示すように、撮像領域A内における全ての識別体の各々に対応するコンテンツ情報として、その識別体に関連付けるように黒丸印のドットが表示される。これによって、識別体が付された場所が認識可能であり、大まかなレンタル物の数が認識可能となる。
そして、観察者Pがレンタル物に近づくと、図5(c)に示すように撮像領域A内において10個の識別体が検出される。この場合には、図5(d)に示すように、撮像領域A内における識別体の各々に対応するコンテンツ情報として、その識別体に関連付けるようにタイトル、ドットが表示される。具体的には、7つの識別体に関連付けるようにタイトルが表示され、3つの識別体に関連付けるようにドットが表示される。これによって、識別体が付されたレンタル物のタイトル名称が認識可能であり、大まかなレンタル物の種別が認識可能となる。また、詳しくは後述するが、このタイトルかドットかは、識別体自体や他のコンテンツ情報と重なるか否かによって決定される。
そして、更に観察者Pがレンタル物に近づくと、図5(e)に示すように撮像領域A内において3個の識別体が検出される。この場合には、図5(f)に示すように、撮像領域A内における全ての識別体の各々に対応するコンテンツ情報として、その識別体に関連付けるように画像、タイトルが表示される。具体的には、2つの識別体に関連付けるように静止画像が表示され、1つの識別体に関連付けるようにタイトルが表示される。これによって、識別体が付されたレンタル物に関連する画像が認識可能であり、大まかなレンタル物の内容が認識可能となる。また、詳しくは後述するが、この画像かタイトルかは、識別体自体や他のコンテンツ情報と重なるか否かによって決定される。
更に、図5(f)に示す状態において、操作スイッチ7の操作に応じて静止画像が指定されると、図5(g)に示すように、指定された静止画像が動画像として表示される。
このように、撮像領域Aにおける識別体の数に応じて、その識別体に対応するコンテンツ情報の表示態様が、ドット、タイトル、画像のうちのいずれかとして表示されることとなる。また、操作に応じて、静止画像と動画像とが選択可能である。
[制御動作]
次に、図6及び図7のフローチャートを参照して、HMD1の動作について説明する。
図6及び図7は、HMD1において実行される処理の動作を示すフローチャートである。特に、図6に示すメイン処理は、HMD1の電源がオンされた際に制御部110によって実行される。ここでは、HMD1の制御部110(以下、単に「制御部110」という。)がメイン処理について説明することとし、その他の処理については説明を省略する。
本実施形態のHMD1において、制御部110は、フラッシュメモリ102内に記憶している情報処理プログラムを実行することによって、上記した識別体検出手段203、分布密度算出手段204と、分布状態判定手段205と、表示態様決定手段206と、表示位置決定手段207と、表示制御手段208等として機能することとなる。
[メイン処理]
最初に、図6に示すように、HMD1に電源が投入されると、制御部110は、初期設定を行う(ステップS11)。この処理において、制御部110は、RAMアクセス許可、作業領域の初期化等を実行する。この処理が終了した場合には、ステップS12に処理を移す。
ステップS12において、制御部110は、撮像処理を実行する。この処理において、制御部110は、撮像手段201としてのCCDセンサ2に撮像領域Aの画像を撮像させる制御を行う。この処理が終了した場合には、ステップS13に処理を移す。
ステップS13において、制御部110は、識別体表示態様決定処理を実行する。詳しくは図7を用いて後述するが、この処理において、制御部110は、CCDセンサ2によって撮像された撮像領域の画像から、識別体を検出し、その識別体の数に基づいて、複数種類の表示態様の中から、表示手段209によって識別体の各々に対応付けられるコンテンツ情報の表示態様を決定することとなる。この処理が終了した場合には、ステップS14に処理を移す。
ステップS14において、制御部110は、検出された識別体に対応するコンテンツ情報を決定した表示態様で表示させるための画像データをフラッシュメモリ102から読み込み、画像としてVRAM105におけるフレームバッファ上に描画する。これによって、制御部110は、このフレームバッファ上に描画した画像を光走査部10に供給することとなり、観察者Pによって視認可能に表示させることとなる。つまり、制御部110は、ステップS13において決定された表示態様で、識別体に対応付けられたコンテンツ情報を、その識別体と関連させて表示させる制御を行うこととなる。また、表示手段209は、図5(b)に示すように、透過して視認可能な視野範囲の識別体と関連付けることができるように、識別体と対応するコンテンツ情報を表示させることとなる。つまり、制御部110は、決定された表示態様で識別体の各々に対応するコンテンツ情報を、表示手段209を透過して観察者に視認される当該識別体と関連させて表示させる制御を行うこととなる。このような処理を実行することによって、制御部110は、表示制御手段208として機能する。尚、制御部110は、選択された識別体に対応する対応情報が動画コンテンツである場合にも、識別体に対応する対応情報を所定周期毎に画像としてフレームバッファ上に描画する。この処理が終了した場合には、ステップS15に処理を移す。
ステップS15において、制御部110は、その他制御処理を実行する。そして、制御部110は、電源オフであるか否かを判定する(ステップS16)。この処理において、制御部110は、電源スイッチSWの操作等に応じて、電源オフであるか否かを判定することとなる。制御部110は、電源オフであると判定すると(ステップS16:YES)、メイン処理を終了する。一方、制御部110は、電源オフではないと判定すると(ステップS16:NO)、再度、ステップS12に処理を移す。これによって、制御部110は、電源オフとなるまで、ステップS12からステップS15を繰り返し実行することとなる。
[識別体表示態様決定処理]
図6のステップS13において実行されるサブルーチンについて図7を用いて説明する。
最初に、図7に示すように、制御部110は、撮像素子から画像を取り込む(ステップS21)。この処理において、制御部110は、撮像手段201としてのCCDセンサ2によって撮像された撮像領域Aの画像を取り込み、RAM103に記憶する。この処理が終了した場合には、ステップS22に処理を移す。
ステップS22において、制御部110は、画像内の全識別体をIDとともに抽出する。この処理において、制御部110は、ステップS21において取り込んだ撮像領域Aの画像から、識別体を検出する。そして、制御部110は、識別体を検出した場合には、その検出した識別体に含まれているIDを読み出す。これによって、制御部110は、どのような識別体であるかを認識可能である。このような処理を実行することによって、制御部110は、識別体検出手段203として機能する。この処理が終了した場合には、ステップS23に処理を移す。
ステップS23において、制御部110は、識別体検出分布データを作成する。この処理において、制御部110は、ステップS22において検出された識別体の数を計数する。これによって、制御部110は、撮像領域A全域における識別体の分布データを認識することができる。つまり、制御部110は、識別体検出手段203によって検出された撮像領域A内における識別体の分布密度を算出することとなる。このような処理を実行することによって、制御部110は、分布密度算出手段204として機能する。この処理が終了した場合には、ステップS24に処理を移す。
ステップS24において、制御部110は、撮像領域A内において検出された識別体の数が“N1”以上であるか否かを判定する。つまり、制御部110は、識別体検出手段203によって検出された撮像領域A内における識別体の分布状態を判定することとなる。このような処理を実行することによって、制御部110は、分布状態判定手段205として機能する。
この処理において、制御部110は、識別体の数が“N1”以上であると判定した場合には(ステップS24:YES)、識別体の位置にドットを表示させるドット表示態様を決定し(ステップS25)、本サブルーチンを終了する。
一方、制御部110は、識別体の数が“N1”未満であると判定した場合には(ステップS24:NO)、識別体の数が“N2”以上であるか否かを判定する(ステップS26)。つまり、制御部110は、識別体検出手段203によって検出された撮像領域A内における識別体の分布状態を判定することとなる。このような処理を実行することによって、制御部110は、分布状態判定手段205として機能する。
この処理において、制御部110は、識別体の数が“N2”以上であると判定した場合には(ステップS26:YES)、ステップS27に処理を移す。一方、制御部110は、識別体の数が“N2”未満であると判定した場合には(ステップS26:NO)、ステップS30に処理を移す。
ステップS27において、制御部110は、表示位置決定処理を実行する。そして、制御部110は、識別体の位置に応じてタイトル表示態様、ドット表示態様選択のいずれかを決定し(ステップS28)、その決定された表示位置に、決定された表示態様でコンテンツ情報を表示させるためのデータをセットし(ステップS29)、本サブルーチンを終了する。この処理において、制御部110は、撮像領域Aの中心(観察者Pの視野範囲の中心となる)を基準として近い位置における識別体から順番に、表示位置、表示態様を決定する。
制御部110は、検出された識別体の各々に対してコンテンツ情報を表示させる位置を決定する。この場合において、制御部110は、識別体の近傍にタイトル表示態様でコンテンツ情報を表示することによって、識別体や他のコンテンツ情報と重ならないスペースがあるか否かを判定する。制御部110は、そのスペースがある場合には、その位置を識別体に対応するコンテンツ情報を表示する表示位置として決定し、タイトル表示態様とすることを決定することとなる。一方、制御部110は、スペースがない場合には、識別体位置を表示位置として決定し、ドット表示態様とすることを決定する。
具体的には、図5(d)に示すように、撮像領域Aの中心を基準として、タイトルを表示することによって識別体や他のコンテンツ情報と重ならない場合には(タイトル1からタイトル7まで)、制御部110は、タイトル表示態様を決定し、タイトルを表示することによって識別体や他のコンテンツ情報と重なる場合には、制御部110は、ドット表示態様を決定する。つまり、制御部110は、識別体検出手段203によって検出された識別体のうち、観察者Pの視野範囲の中心から近い領域にある識別体の表示態様を、相対的に視認し易い表示態様(例えば、タイトル表示態様)として決定することとなる。
ステップS30において、制御部110は、表示位置決定処理を実行する。そして、制御部110は、識別体の位置に応じて画像表示態様、タイトル表示態様、ドット表示態様選択のいずれかを決定し(ステップS31)、その決定された表示位置に、決定された表示態様でコンテンツ情報(対応情報)を表示させるためのデータをセットし(ステップS32)、ステップS33に処理を移す。この処理において、制御部110は、撮像領域Aの中心を基準として近い位置における識別体から順番に、表示位置、表示態様を決定する。
制御部110は、検出された識別体の各々に対してコンテンツ情報を表示させる位置を決定する。この場合において、制御部110は、識別体の近傍に画像表示態様でコンテンツ情報を表示することによって、識別体や他のコンテンツ情報と重ならないスペースがあるか否かを判定する。制御部110は、そのスペースがある場合には、その位置を識別体に対応するコンテンツ情報を表示する表示位置として決定し、画像表示態様とすることを決定することとなる。一方、制御部110は、スペースがない場合には、識別体の近傍にタイトル表示態様でコンテンツ情報を表示することによって、識別体や他のコンテンツ情報と重ならないスペースがあるか否かを判定する。制御部110は、そのスペースがある場合には、その位置を識別体に対応するコンテンツ情報を表示する表示位置として決定し、タイトル表示態様とすることを決定することとなる。一方、制御部110は、スペースがない場合には、識別体位置を表示位置として決定し、ドット表示態様とすることを決定する。
具体的には、図5(f)に示すように、撮像領域Aの中心を基準として、画像を表示することによって識別体や他のコンテンツ情報と重ならない場合には(タイトル1、タイトル2)、制御部110は、画像表示態様を決定する。一方、画像を表示することによって識別体や他のコンテンツ情報と重なり、タイトルを表示することによって識別体や他のコンテンツ情報と重ならない場合には(タイトル3)、制御部110は、タイトル表示態様を決定する。つまり、制御部110は、識別体検出手段203によって検出された識別体のうち、観察者Pの視野範囲の中心から近い領域にある識別体の表示態様を、相対的に視認し易い表示態様(例えば、画像表示態様)として決定することとなる。
ステップS33において、制御部110は、動画像指示があったか否かを判定する。この処理において、制御部110は、操作スイッチ7の操作指示に応じて、動画像指示があったか否かを判定する。制御部110は、動画像指示があったと判定した場合には(ステップS33:YES)、コンテンツ情報として静止画像を動画像に切り替え(ステップS34)、本サブルーチンを終了する。一方、制御部110は、動画像指示がなかったと判定した場合には(ステップS33:NO)、ステップS34を実行することなく、本サブルーンを終了する。
このように、制御部110は、分布状態判定手段205によって判定された識別体の分布状態に応じて、その識別体の各々に対応付けられたコンテンツ情報の表示態様を図柄、文字、画像(静止画像、動画像)からいずれかから決定することとなる。言い換えると、制御部110は、分布密度算出手段204によって算出された識別体の分布密度に基づいて、その識別体の各々に対応付けられたコンテンツ情報の表示態様を決定することとなる。このような処理を実行することによって、制御部110は、表示態様決定手段206として機能する。
このように、検出された撮像領域内における識別体の識別体の分布密度を算出し、その識別体の分布状態を判定し、識別体の分布状態に応じて、識別体の各々に対応付けられたコンテンツ情報の表示態様を決定し、決定された表示態様で、識別体に対応付けられたコンテンツ情報を、表示手段209を透過して観察者Pに視認される識別体と関連させて表示させる制御を行う。従って、識別体の分布状況によってコンテンツ情報の表示態様を決定することとなり、コンテンツ情報の表示の重なりなどを防止し、多数の識別体が検出された場合であっても視認し易く必要十分な表示情報を表示することができる。
また、検出された識別体のうち、観察者の視野範囲の中心から近い領域にある識別体の表示態様を、相対的に視認し易い表示態様として決定する。従って、観察者の視野範囲を考慮してコンテンツ情報の表示態様を選択することができる。
また、このようなサブルーチンは、所定周期で呼び出されることとなるため、観察者Pや識別体自体の移動によって識別体の変位が検出された場合には、その変位した後において検出された撮像領域A内における識別体の位置分布に基づいて、識別体に対応付けられたコンテンツ情報の表示態様を決定することとなる。従って、識別体が変位した場合であっても、その変位した後において、速やかに変位後のコンテンツ情報、その表示態様が変化することとなり、簡便である。
[その他の実施形態]
なお、上述した実施形態においては、タイトル表示態様、画像表示態様を均一の表示サイズとして、識別体や他のコンテンツ情報と重なるか否かによって、表示態様、表示位置を決定したが、これに限らず、例えば、タイトル表示態様、画像表示態様の表示サイズを均一にせず、変更可能なサイズとして表示させてもよい。具体的には、アスペクト比を変更することなく、画像サイズを縮小してもよい。これによって、表示態様決定手段206は、検出された識別体の分布状態に応じて、識別体に対応付けられたコンテンツ情報の表示サイズを表示態様として決定する。従って、同じコンテンツ情報であってもその表示サイズを変更させることによって表示態様を変更させることができ、多数の識別体が検出された場合であっても視認し易く必要十分な表示情報を表示することができる。
また、上述した実施形態においては、検出された識別体の種別に拘わらず、コンテンツ情報の表示態様を決定するように構成したが、これに限らず、例えば、検出された識別体の種別によって、コンテンツ情報の表示態様を決定するように構成してもよい。具体的には、識別体の種別がCD、DVDである場合には、図柄、文字、静止画像、動画像からいずれかをコンテンツ情報の表示態様として決定したが、識別体の種別が書籍である場合には、図柄、文字、静止画像からいずれかをコンテンツ情報の表示態様として決定してもよい。つまり、表示態様決定手段206は、検出された識別体の種別に基づいて、識別体に対応付けられたコンテンツ情報の表示態様を決定することとなる。従って、識別体の種別に応じたコンテンツ情報の表示態様を決定することができ、簡便である。
また、上述した実施形態においては、識別体の変位が検出された場合には、その変位した後において検出された撮像領域A内における識別体の位置分布に基づいて、識別体に対応付けられたコンテンツ情報の表示態様を決定したが、これに限らず、例えば、識別体の変位が検出された場合には、所定時間、その変位する直前の表示態様を維持するようにしてもよい。これによって、識別体が変位した後、所定時間が経過するまで、そのコンテンツ情報の表示態様を維持することとなる。従って、コンテンツ情報の表示態様の変化が頻繁ではなくなり、その変化の煩わしさを抑制することができる。
また、上述した実施形態においては、コンテンツ情報の表示位置を識別体周囲の近傍としたが、これに限らず、例えば、関連付けられていれば、その識別体周囲でなくてもよい。また、例えば、識別体周囲の近傍であっても、その他の識別体との位置関係に基づいて、コンテンツ情報の表示位置を決定してもよい。
具体的な一例について図8及び図9を用いて以下に説明する。
図8に示すように、黒色の四角形で表す識別体の周囲には、その上、右上、右、左、左上に、その他の識別体が検出されている。この場合においては、その周囲のうち、上、右上、右、左、左上の方向における識別体の分布密度よりも、下、右下、左下の方向における識別体の分布密度が低くなっている。このため、表示位置決定手段207は、下、右下、左下の方向における位置をコンテンツ情報の表示位置として決定する。
つまり、表示位置決定手段207は、識別体検出手段203によって検出された識別体の周囲で、分布密度算出手段204によって算出された識別体の分布密度が相対的に低い位置を、識別体の各々に対応付けられたコンテンツ情報を表示する位置として決定することとなる。従って、識別体とコンテンツ情報とが重なることを抑制することができ、多数の識別画像が検出された場合であっても視認し易くコンテンツ情報を表示することができる。
また、図9に示すように、黒色の四角形で表す識別体の周囲には、その他の識別体が検出されている。この場合においては、その周囲のうち、左上の方向における識別体との距離が最も遠くなっている。このため、表示位置決定手段207は、左上の方向における位置をコンテンツ情報の表示位置として決定する。
つまり、表示位置決定手段207は、識別体検出手段203によって検出された識別体の周囲で、その識別体からの距離が最も離れた他の識別体と間の位置を、識別体に対応付けられた対応情報を表示する位置として決定することとなる。従って、識別体とコンテンツ情報とが重なることを抑制することができ、多数の識別画像が検出された場合であっても視認し易くコンテンツ情報を表示することができる。
また、上述した実施形態においては、HMD1自体に設置された操作スイッチ7の操作に応じて、各種の操作指示を行うようにしたが、これに限らず、例えば、操作手段としてレーザマーカを用いて、レーザが照射されたか否かによって各種の設定や決定を行うようにしてもよい。
具体的には、例えば、レーザマーカを用いて、図5(g)に示すように、静止画像を指定することで、撮像領域Aにおいて撮像された画像からレーザ光スポットを認識し、指定された静止画像を動画像に切り替えることもできる。
このように、観察者によって識別体に向けてレーザ光を照射可能であり、その照射されるレーザ光に応じて、静止画像を動画像に切り替える。従って、HMDに直接的に接続せずに、動画像への切替を行うことができ、簡便である。また、レーザ光の照射によって直接的に識別体を指定することができ、簡便である。
また、上述した実施形態においては、HMD1自体で各種の処理を行っていたが、これに限らず、例えば、HMD1がネットワークを介して通信を行うことによって、各種の処理を行ってもよい。
具体的な一例としては、図10に示すように、HMD1、サーバ300、パーソナルコンピュータ310及び携帯型端末装置312が、ネットワーク網302に接続され、相互に通信可能に構成する。この場合において、例えば、コンテンツ情報やその種別などがサーバ300に記憶されており、所定のタイミングでHMD1がサーバ300との通信によってそれら情報を取得するように構成してもよい。また、これらの通信をパーソナルコンピュータ310や携帯型端末装置312を介して行ってもよい。
なお、上述した実施形態においては、HMD1において操作スイッチ7などが設けられ、その操作に応じて、自体で各種の処理を行っていたが、これに限らず、例えば、図10に示すように、HMD1と、パーソナルコンピュータ310や携帯型端末装置312とが接続され、相互に通信可能に構成することによって、操作信号がHMD1に供給されるようにしてもよい。
本発明の一実施形態に係るHMDシステムを示す説明図である。 本発明の一実施形態に係るHMD1の電気的及び光学的構成を示す説明図である。 本発明の一実施形態に係るHMD1の機能構成を示す説明図である。 表示態様決定テーブルの一例を示す説明図である。 本発明の一実施形態に係るHMD1の表示内容等を示す説明図である。 HMDにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 HMDにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 本発明の一実施形態に係るHMD1の表示内容等を示す説明図である。 本発明の一実施形態に係るHMD1の表示内容等を示す説明図である。 本発明の一実施形態に係るHMD1の電気的構成を示す説明図である。
符号の説明
1 HMD
2 CCDセンサ
110 制御部

Claims (10)

  1. 外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、
    前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、
    前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、
    前記識別体の各々に対応する対応情報を記憶する対応情報記憶手段と、
    前記識別体検出手段によって検出された前記撮像領域内における識別体の分布状態を判定する分布状態判定手段と、
    前記分布状態判定手段によって判定された識別体の分布状態に応じて、当該識別体の各々に対応付けられた対応情報の表示態様を決定する表示態様決定手段と、
    前記表示態様決定手段によって決定された表示態様で、前記識別体に対応付けられた対応情報を、前記表示手段を透過して前記観察者に視認される識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を備えたことを特徴とするヘッドマウントディスプレイ。
  2. 前記識別体検出手段によって検出された前記撮像領域内における識別体の分布密度を算出する分布密度算出手段を備え、
    前記表示態様決定手段は、前記分布密度算出手段によって算出された識別体の分布密度に基づいて、前記識別体の各々に対応付けられた対応情報の表示態様を決定することを特徴とする請求項1に記載のヘッドマウントディスプレイ。
  3. 前記識別体検出手段によって検出された識別体の周囲で、前記分布密度算出手段によって算出された識別体の分布密度が相対的に低い位置を、前記識別体の各々に対応付けられた対応情報を表示する位置として決定する表示位置決定手段を備えたことを特徴とする請求項2に記載のヘッドマウントディスプレイ。
  4. 前記識別体検出手段によって検出された識別体の周囲で、当該識別体からの距離が最も離れた他の識別体と間の位置を、前記識別体に対応付けられた対応情報を表示する位置として決定する表示位置決定手段を備えたことを特徴とする請求項1に記載のヘッドマウントディスプレイ。
  5. 前記表示態様決定手段は、前記識別体の分布状態に応じて、前記識別体に対応付けられた対応情報を示す図柄、文字、静止画像、動画像からいずれかを前記表示態様として決定することを特徴とする請求項1から4のいずれかに記載のヘッドマウントディスプレイ。
  6. 前記表示態様決定手段は、前記識別体の分布状態に応じて、前記識別体に対応付けられた対応情報の表示サイズを前記表示態様として決定することを特徴とする請求項1から5のいずれかに記載のヘッドマウントディスプレイ。
  7. 前記表示態様決定手段は、前記識別体検出手段によって検出された識別体の種別に基づいて、前記識別体に対応付けられた対応情報の表示態様を決定することを特徴とする請求項1から6のいずれかに記載のヘッドマウントディスプレイ。
  8. 前記表示態様決定手段は、前記識別体検出手段によって検出された識別体のうち、前記観察者の視野範囲の中心から近い領域にある識別体の表示態様を、相対的に視認し易い表示態様として決定することを特徴とする請求項1から7のいずれかに記載のヘッドマウントディスプレイ。
  9. 前記表示態様決定手段は、前記識別体検出手段によって識別体の変位が検出された場合には、所定時間、当該変位する直前の表示態様を維持することを特徴とする請求項1から8のいずれかに記載のヘッドマウントディスプレイ。
  10. 前記表示態様決定手段は、前記識別体検出手段によって識別体の変位が検出された場合には、当該変位した後において検出された前記撮像領域内における識別体の位置分布に基づいて、前記識別体に対応付けられた対応情報の表示態様を決定することを特徴とする請求項1から8のいずれかに記載のヘッドマウントディスプレイ。
JP2008233853A 2008-09-11 2008-09-11 ヘッドマウントディスプレイ Expired - Fee Related JP5293025B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008233853A JP5293025B2 (ja) 2008-09-11 2008-09-11 ヘッドマウントディスプレイ
US12/585,301 US20100060552A1 (en) 2008-09-11 2009-09-10 Head mount display
EP09252158A EP2163937A1 (en) 2008-09-11 2009-09-11 Head mount display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008233853A JP5293025B2 (ja) 2008-09-11 2008-09-11 ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2010066599A JP2010066599A (ja) 2010-03-25
JP5293025B2 true JP5293025B2 (ja) 2013-09-18

Family

ID=41278275

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008233853A Expired - Fee Related JP5293025B2 (ja) 2008-09-11 2008-09-11 ヘッドマウントディスプレイ

Country Status (3)

Country Link
US (1) US20100060552A1 (ja)
EP (1) EP2163937A1 (ja)
JP (1) JP5293025B2 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5104679B2 (ja) 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5158062B2 (ja) * 2009-12-01 2013-03-06 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9759917B2 (en) * 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US8933282B2 (en) 2010-06-17 2015-01-13 Danisco Us Inc. Fuel compositions comprising isoprene derivatives
US8188880B1 (en) 2011-03-14 2012-05-29 Google Inc. Methods and devices for augmenting a field of view
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8724853B2 (en) * 2011-07-18 2014-05-13 Google Inc. Identifying a target object using optical occlusion
JP5874443B2 (ja) * 2012-03-01 2016-03-02 ソニー株式会社 通信装置、通信システム、および、これらの制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
US8996413B2 (en) 2012-12-28 2015-03-31 Wal-Mart Stores, Inc. Techniques for detecting depleted stock
CN104063042A (zh) * 2013-03-21 2014-09-24 联想(北京)有限公司 一种信息处理方法、装置和电子设备
JP6505354B2 (ja) * 2013-03-21 2019-04-24 株式会社Nttドコモ 表示装置
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
JP6488661B2 (ja) * 2014-11-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9864400B2 (en) 2015-10-30 2018-01-09 Essential Products, Inc. Camera integrated into a display
US9754526B2 (en) 2015-10-30 2017-09-05 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US9767728B2 (en) * 2015-10-30 2017-09-19 Essential Products, Inc. Light sensor beneath a dual-mode display
US9870024B2 (en) 2015-10-30 2018-01-16 Essential Products, Inc. Camera integrated into a display
US10331260B2 (en) 2015-10-30 2019-06-25 Essential Products, Inc. Variable transparency layers for electronic devices
US9823694B2 (en) 2015-10-30 2017-11-21 Essential Products, Inc. Camera integrated into a display
US10102789B2 (en) 2015-10-30 2018-10-16 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US9843736B2 (en) 2016-02-26 2017-12-12 Essential Products, Inc. Image capture with a camera integrated display
JP6255524B2 (ja) * 2016-06-09 2017-12-27 株式会社Qdレーザ 画像投影システム、画像投影装置、画像投影方法、画像投影プログラム及びサーバ装置
WO2017213241A1 (ja) * 2016-06-09 2017-12-14 株式会社Qdレーザ 画像投影システム、画像投影装置、画像投影方法、画像投影プログラム及びサーバ装置
US11012750B2 (en) * 2018-11-14 2021-05-18 Rohde & Schwarz Gmbh & Co. Kg Method for configuring a multiviewer as well as multiviewer

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8432414B2 (en) 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
JP3898816B2 (ja) * 1997-11-04 2007-03-28 株式会社島津製作所 位置検出機能付きヘッドマウントディスプレイ
US6097353A (en) * 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
JP3530772B2 (ja) * 1999-06-11 2004-05-24 キヤノン株式会社 複合現実感装置及び複合現実空間画像の生成方法
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002093491A1 (en) * 2001-05-17 2002-11-21 The Trustees Of Columbia University In The City Of New York System and method for view management in three dimensional space
JP2003305276A (ja) * 2002-02-18 2003-10-28 Space Tag Inc ゲームシステム、ゲーム装置、および記録媒体
JP2003242168A (ja) * 2002-02-20 2003-08-29 Fuji Xerox Co Ltd 情報表示装置およびその方法
US9063633B2 (en) * 2006-03-30 2015-06-23 Arjuna Indraeswaran Rajasingham Virtual navigation system for virtual and real spaces
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム

Also Published As

Publication number Publication date
US20100060552A1 (en) 2010-03-11
JP2010066599A (ja) 2010-03-25
EP2163937A1 (en) 2010-03-17

Similar Documents

Publication Publication Date Title
JP5293025B2 (ja) ヘッドマウントディスプレイ
JP5104679B2 (ja) ヘッドマウントディスプレイ
JP2009245392A (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
JP5195537B2 (ja) ヘッドマウントディスプレイ
JP5316346B2 (ja) 網膜走査型画像表示装置
US9002058B2 (en) Scanned image projection system with gesture control input
WO2010071110A1 (ja) ヘッドマウントディスプレイ
JP2010139901A (ja) ヘッドマウントディスプレイ
JP6231541B2 (ja) 画像投影装置
US10634904B2 (en) Image projection device
US10761329B2 (en) Image projection device
JP2010067154A (ja) ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ
JP2007272067A (ja) 画像表示装置
JP2010152443A (ja) ヘッドマウントディスプレイ
JP2011075956A (ja) ヘッドマウントディスプレイ
US20130003028A1 (en) Floating virtual real image display apparatus
JP2010085786A (ja) 頭部装着型表示装置
JP5076427B2 (ja) 画像表示装置および画像サイズ変更方法
JP5109952B2 (ja) ヘッドマウントディスプレイ
JP6501444B2 (ja) プロジェクション装置を備えた、とりわけ通信機器である電子機器、および、電子機器の動作方法
JP5012780B2 (ja) ヘッドマウントディスプレイ
JP5375481B2 (ja) ヘッドマウントディスプレイ
JP5348004B2 (ja) ストライクゾーン提示システム
JP2010200209A (ja) ヘッドマウントディスプレイ
JP2010134152A (ja) ヘッドマウントディスプレイ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130527

R150 Certificate of patent or registration of utility model

Ref document number: 5293025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees