JP4984771B2 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
JP4984771B2
JP4984771B2 JP2006248858A JP2006248858A JP4984771B2 JP 4984771 B2 JP4984771 B2 JP 4984771B2 JP 2006248858 A JP2006248858 A JP 2006248858A JP 2006248858 A JP2006248858 A JP 2006248858A JP 4984771 B2 JP4984771 B2 JP 4984771B2
Authority
JP
Japan
Prior art keywords
image
display
predetermined signal
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006248858A
Other languages
English (en)
Other versions
JP2008070572A (ja
Inventor
和弘 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2006248858A priority Critical patent/JP4984771B2/ja
Publication of JP2008070572A publication Critical patent/JP2008070572A/ja
Application granted granted Critical
Publication of JP4984771B2 publication Critical patent/JP4984771B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、ヘッドマウントディスプレイに関するものであり、特に、使用者の頭部に装着する頭部装着部と、使用者の眼に表示画像を光学的に導いて視認させる画像表示部と、画像表示部の動作を制御する制御部と、外部装置から信号が入力されるインターフェース部とを有するヘッドマウントディスプレイに関するものである。
従来より、使用者の眼に表示画像を光学的に導いて視認させる画像表示部と、この画像表示部の動作を制御する制御部とを有するディスプレイ本体と、このディスプレイ本体を使用者の頭部に装着するための頭部装着部とを備え、使用者が頭部に装着して映像コンテンツ等を鑑賞することができるヘッドマウントディスプレイ(以下、「HMD」という。)が実用化されている。
このHMDは、小型でありながら、使用者の視界全体に映像を大画面表示することができるといった利点を有する反面、使用者がHMDにより映像を鑑賞している間、使用者の視界の大部分には、画像表示部によって光学的に導かれた表示画像が映し出されることになるため、使用者が周囲で起っている状況に気付き難いといった問題が残されていた。
具体的には、使用者がHMDを用いて、映画等の映像と音声とからなる映像コンテンツを視聴しているときに、携帯電話機に電話着信や電子メール受信があっても、使用者は、携帯電話の着信ランプが点灯していることや、着信音が発せられていることに気付くことができないといった問題があった。
このような問題を解消できるHMDとして、HMDに周囲の状況を撮影可能なカメラと、周囲の音等を検知可能なセンサと、HMD本体を振動させるバイブレータとを備え、センサによりHMDの使用者の周辺で電話機の着信音等が発せられたことを検知すると、表示画像をカメラにより撮影している画像に切替えるか、若しくは、バイブレータによる振動を使用者の頭部へ伝達させることにより、電話機が着信状態となっていることを使用者に報知するように構成したHMDが考案されている(例えば、特許文献1参照。)。
特開2003−18498号公報
ところが、上記従来のHMDは、周囲の音等をセンサにより検知すると、表示画像をカメラにより撮影している画像に切替えるか、若しくは、バイブレータの振動を使用者の頭部に伝達することにより、周囲の状況を使用者に報知するように構成していたため、携帯電話機やPDA(Personal Digital Assistants)等といった他の電子機器(以下、「外部装置」という。)の状態を的確に使用者に報知することができないおそれがあり、しかも、使用者への報知が映像コンテンツの視聴を妨げるおそれがあった。
すなわち、近年、携帯電話機やPDAを使用する使用者は、周囲へのマナーを考慮して、電話の着信音や電子メールの受信音を出音させないマナーモードに設定していることが多いので、上記従来のHMDでは、電話の着信や電子メールの受信を的確に検知して使用者に報知することができない場合があった。
しかも、使用者が車や電車等に乗って移動している場合には、HMD本体をバイブレータにより振動させて報知しても、使用者がその報知に気付かないおそれがあった。
また、表示画像をカメラにより撮影している画像に切替えることによって報知した場合には、使用者は報知が行われている間、HMDにより映像コンテンツを視聴することができず、報知が映像コンテンツの視聴を妨げてしまうおそれがあった。
そこで、請求項1に係る本発明では、使用者の頭部に装着する頭部装着部と、使用者の眼に表示画像を光学的に導いて視認させる画像表示部と、画像表示部の動作を制御する制御部とを有するヘッドマウントディスプレイにおいて、外部装置から信号が入力されるインターフェース部を設け、制御部は、外部装置からインターフェース部を介して所定の信号が入力されたことを検出する所定信号検出手段を有し、画像表示部は、表示画像を使用者の眼に導く光学素子と、光学素子を振動させる光学素子振動機構とを有し、所定信号検出手段により所定の信号が入力されたことを検出すると、光学素子振動機構を動作させることにより、画像表示部に、表示画像の少なくとも一部を周期的に変化表示させて、使用者に視認させる制御を行うこととした。
また、請求項2に係る本発明では、請求項1に記載のヘッドマウントディスプレイにおいて、画像表示部は、変化表示を、表示画像の少なくとも一部を所定周期で往復移動させることにより行うことを特徴とする。
また、請求項に係る本発明では、請求項1又は2に記載のヘッドマウントディスプレイにおいて、所定の信号に含まれる情報に対応した変化表示画像を、所定の信号に含まれる情報と関連付けて記憶する変化表示画像記憶手段を備え、制御部は、インターフェース部を介して入力された所定の信号に含まれる情報を判別する情報判別手段を有し、情報判別手段により判別した情報に対応する変化表示画像を、画像表示部により変化表示させる制御を行うことを特徴とする。
また、請求項4に係る本発明では、請求項1〜のいずれか1項に記載のヘッドマウントディスプレイにおいて、所定の信号は、電話機能を有する外部装置から出力される電話着信を示す情報、又は、電子メール機能を有する外部装置から出力される電子メール受信を示す情報を含むことを特徴とする。
また、請求項に係る本発明では、請求項に記載のヘッドマウントディスプレイにおいて、所定の信号は、電話機能を有する外部装置から出力される電話着信を示す情報、又は、電子メール機能を有する外部装置から出力される電子メール受信を示す情報を含み、制御部は、情報判別手段により、所定の信号に含まれる情報が電話着信を示す情報であると判別した場合に、画像表示部に、携帯電話機を示す変化表示画像を変化表示させる制御を行い、情報判別手段により、所定の信号に含まれる情報が電子メール受信を示す情報であると判別した場合に、画像表示部に、電子メールを示す変化表示画像を前記変化表示させる制御を行うことを特徴とする。
また、請求項に係る本発明では、請求項に記載のヘッドマウントディスプレイにおいて、所定の信号は、電話機能を有する外部装置から出力される電話着信を示す情報と発信元を示す情報とを含み、情報判別手段により、所定の信号に含まれる情報が電話着信を示す情報及び発信元を示す情報であると判別した場合に、画像表示部に、発信元を示す情報に対応した顔を示す変化表示画像を変化表示させる制御を行うことを特徴とする。
また、請求項に係る本発明では、請求項3又は6に記載のヘッドマウントディスプレイにおいて、所定の信号は、バッテリーを電源とする外部装置から出力されるバッテリー残量が少なくなったことを示す情報を含み、制御部は、前記情報判別手段により、所定の信号に含まれる情報が、バッテリー残量が少なくなったことを示す情報であると判別した場合に、画像表示部に、バッテリーを示す変化表示画像を変化表示させる制御を行うことを特徴とする。
また、請求項に係る本発明では、請求項1〜のいずれか1項に記載のヘッドマウントディスプレイにおいて、所定の信号を出力する外部装置の種類に対応する外部装置画像を、外部装置の種類と関連付けて記憶する外部装置画像記憶手段を備え、制御部は、インターフェース部を介して入力される所定の信号に基づいて、外部装置の種類を判別する外部装置判別手段を有し、外部装置判別手段により判別した外部装置の種類に対応する外部装置画像を、画像表示部により変化表示させる制御を行うことを特徴とする。
また、請求項に係る本発明では、請求項1〜のいずれか1項に記載のヘッドマウントディスプレイにおいて、ヘッドマウントディスプレイは、画像信号に応じた光束を2次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイであることを特徴とする。
本発明によれば、以下に記載するような効果が生起される。すなわち、請求項1に係る本発明によれば、制御部は、所定信号検出手段により外部装置からインターフェース部を介して所定の信号が入力されたことを検出すると、画像表示部に、表示画像の少なくとも一部を周期的に変化表示させて使用者に視認させる制御を行うので、使用者自身が移動している場合であっても、使用者に対して、映像コンテンツの視聴を妨げることなく、外部装置の状態を的確に報知することができる。また、複雑な画像処理を行うことなく、光学素子振動機構を動作させるだけで、使用者に少なくとも一部が振動している表示画像を容易に視認させることができる。
請求項2に係る本発明によれば、制御部が画像表示部に表示画像の少なくとも一部を使用者の視界において所定周期で往復移動させる制御を行うので、ヘッドマウントディスプレイに所定の信号が入力されると、使用者は、視界において少なくとも一部が振動している表示画像を視認することで、使用者自身が移動している場合であっても、ヘッドマウントディスプレイに外部装置から所定の信号が入力されたことを確実に知ることができる。
請求項に係る本発明によれば、所定の信号に含まれている情報に対応した変化表示画像を使用者に視認させることにより、ヘッドマウントディスプレイに入力された所定の信号が、何に関するものであるのかを使用者に明確に報知することができる。
請求項に係る本発明によれば、ヘッドマウントディスプレイにより映像を鑑賞中の使用者に対して、電話の着信、又は、電子メールの受信を確実に報知することができる。
請求項に係る本発明によれば、使用者は、携帯電話機を示す変化表示画像を視認することにより、電話が着信状態になっていることを容易に知ることができ、電子メールを示す変化表示画像を視認することにより、電子メールを受信したことを容易に知ることができる。
請求項に係る本発明によれば、使用者に発信元を示す情報に対応した顔を示す変化表示画像を視認させることによって、電話が着信状態になっていることに加え、使用者に電話をかけてきている相手までも報知することができる。
請求項に係る本発明によれば、使用者は、バッテリーを示す変化表示画像を視認することにより、外部装置のバッテリー残量が少なくなっていることを容易に知ることができる。
請求項に係る本発明によれば、使用者は、外部装置の種類に対応した外部装置画像を視認することによって、ヘッドマウントディスプレイに、どの外部装置から所定の信号が入力されたかを容易に知ることができる。
請求項に係る本発明によれば、コンテンツの視聴を妨げることなく、外部装置の状態を的確に使用者に報知することができる網膜走査型ディスプレイを提供することができる。
以下、本発明の一実施形態について、図面を参照して具体的に説明する。なお、本実施形態では、ヘッドマウントディスプレイとして、画像信号に応じた光束を2次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイを例に挙げて説明するが、本発明は、これに限定されるものではなく、液晶ディスプレイや有機EL(electroluminescence)ディスプレイ等、他の画像表示装置を備え、利用者が頭部に装着して画像を鑑賞するヘッドマウントディスプレイに対して適用することができるものである。
図1は、本実施形態に係るヘッドマウントディスプレイを示す外観斜視図であり、図2は、ヘッドマウントディスプレイの制御部を示す機能ブロック図であり、図3は、ヘッドマウントディスプレイの画像表示部を示す説明図であり、図4は、外部装置から所定の信号が入力された場合に、使用者が視認する表示画像を示す説明図であり、図5〜図8は、ヘッドマウントディスプレイの制御部が行う処理を示すフローチャートであり、図9は、変化表示用画像表示部を示す説明図である。図10は、波面曲率変調素子を動作させて使用者に視認させる変化表示画像を示す説明図である。
(ヘッドマウントディスプレイの概要の説明)
図1(a)に示すように、本実施形態に係るヘッドマウントディスプレイ(以下、「HMD1」という。)は、使用者Aが頭部に装着した状態で映像コンテンツ等の画像を鑑賞する装置であり、画像信号を変調したビーム光を、使用者Aの少なくとも一方の網膜に投影すると共に走査して画像を表示(投影表示)することにより、表示画像を使用者Aに視認させる装置である。
特に、このHMD1は、携帯電話機2やPDA(Personal Digital Assistants)等の外部装置と接続可能に構成しており、外部装置から所定の信号が入力されると、表示画像の少なくとも一部を周期的に変化表示させて使用者に視認させることにより、HMD1を頭部に装着したままの状態で、外部装置から所定の信号が入力されたことを使用者に報知するように構成している。なお、本実施形態では、HMD1に接続する外部装置として、電話機能と電子メールの送受信機能とを備えた携帯電話機2を例に挙げて説明する。
このHMD1は、図1(b)に示すように、内部に網膜走査型画像表示装置を収納した筐体3と、この筐体3を支持する支持フレーム4と、支持フレーム4と一体に形成されてHMD1を使用者Aの頭部に装着するための頭部装着部5とを備えている。
筐体3は、内部に網膜走査型画像表示装置を収納可能な収納空間を有し、頭部装着時に使用者Aの左眼部分と左側こめかみ部分とを被覆するように配設された平面視略L字形状の箱体により構成している。
また、この筐体3は、HMD1を頭部に装着した状態において当該筐体3の最前面部を構成する正面視略矩形状の前面3aと、当該筐体3の最上部を構成する平面視略L字形状の頂面3bとの間を、頂面3bから前面3aに向けて傾斜させた傾斜面3cにより接合させている。
そして、この傾斜面3cに、使用者Aが操作する複数の操作入力部(以下、「操作スイッチ6」という。)を設け、使用者Aがこの操作スイッチ6を操作することによって、HMD1における画像表示の開始や停止、映像の早送りや巻き戻し等といった、HMD1が備える各種機能を作動させるようにしている。
また、後に図2及び図3を参照して詳述するが、この筐体3の内部に収納している網膜走査型画像表示装置は、使用者Aの眼に表示画像を光学的に導いて視認させる画像表示部Cと、この画像表示部Cの動作を制御する制御部Bとを備えており、制御部Bは、携帯電話機2から信号が入力されるインターフェース13を備えている。
そして、制御部Bは、携帯電話機2からインターフェース部を介して所定の信号が入力されたことを検出する所定信号検出手段を有し、この所定信号検出手段により所定の信号が入力されたことを検出すると、画像表示部に、表示画像の少なくとも一部を周期的に変化表示させて使用者Aに視認させ、携帯電話機2からHMD1に所定の信号が入力されたことを使用者Aに報知するようにしている。なお、このとき行う表示画像の変化表示では、所定周期として1〜数秒周期で表示画像の少なくとも一部変化表示させるようにしている。
支持フレーム4は、眼鏡のフロント部と同様の形状をしたゴーグル型の支持体であり、本実施形態では、HMD1を頭部に装着した際に、使用者Aの左眼と対向する部分に筐体3を取り付けるようにしている。
また、この支持フレーム4は、HMD1を頭部に装着した際に、使用者Aの右眼と対向する部分を透光性部材により構成することによって、使用者AがHMD1により画像を鑑賞している間であっても、周囲の状況を視認できるようにしている。
また、この支持フレーム4は、使用者Aの左眼と対向する部分と、使用者Aの右眼と対向する部分との間に正面視略台形の切欠部4aを備えており、使用者AがHMD1を頭部に装着する際には、使用者Aの鼻にこの切欠部4aを掛止するようにしている。
頭部装着部5は、その基端側がゴーグル型の支持体の上部両端にそれぞれ回動自在に取付けられた、眼鏡のツル(テンプル)と同様形状の部材により構成しており、その終端側が、HMD1を頭部に装着した際に、使用者の耳に掛止できるように湾曲形状となっている。
そして、このHMD1を使用する際、使用者Aは、支持フレーム4の切欠部4aを鼻に掛止すると共に、頭部装着部5終端側の湾曲した部分を両耳に掛止することによって、両耳と鼻の3点でHMD1を支持させ、筐体3を右眼の前方に位置させるようにして頭部に装着した後、操作スイッチ6を操作することによって映像コンテンツを鑑賞する。
(ヘッドマウントディスプレイの制御部の説明)
次に、HMD1の制御部Bについて、図2を参照して具体的に説明する。
図2に示すように、制御部Bは、CPU(Central Processing Unit)7と、ROM(Read Only Memory)8と、RAM(Random Access Memory)9と、ビデオRAM10と、オーディオCODEC11と、ビデオCODEC12と、インターフェース13と、信号判別回路14と、スピーカ制御回路15と、マイク制御回路16とを備えている。
そして、CPU7、ROM8、RAM9、ビデオRAM10、信号判別回路14、オーディオCODEC11、ビデオCODEC12、インターフェース13は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
CPU7は、ROM8に記憶されている各種プログラムを実行することにより、オーディオCODEC11、ビデオCODEC12、信号判別回路14等の制御部Bを構成する各種回路を動作させる演算処理装置である。
ROM8は、オーディオCODEC11を動作させるための音情報再生プログラム、ビデオCODEC12を動作させるための映像情報再生プログラム、信号判別回路14を動作させるための信号判別プログラム等、制御部Bを構成する各種回路を動作させるためにCPU7が実行する各種プログラムの他、HMD1によって再生する音情報等を記憶する記憶手段である。
RAM9は、CPU7がROM8に記憶している各種プログラムを実行する際に作業領域として使用する一時記憶手段である。
インターフェース13は、HMD1に接続された携帯電話機2やパソコン等の外部装置から入力される所定の信号を信号判別回路14へ出力するインターフェース部として機能するものである。
このインターフェース13に入力される所定の信号には、様々な情報が含まれており、たとえば、電話機能を有する外部装置(携帯電話機2等)に電話着信があったことを示す情報、電子メールの送受信機能を有する外部装置(携帯電話機2やパソコン等)が電子メールを受信したことを示す情報、バッテリーを電源として動作する外部装置(携帯電話機2やPDA等)のバッテリー残量が少なくなったことを示す情報、所定の信号を出力した外部装置の種類を示す情報等が含まれている。
信号判別回路14は、CPU7がROM8に記憶している信号判別プログラムを実行することにより動作して、インターフェース13を介して外部装置から所定の信号が入力されたことを検出する所定信号検出手段として機能する他、検出した所定の信号に含まれる情報を判別する情報判別手段として機能する回路である。
ビデオRAM10は、HMD1によって再生する映像コンテンツ等の映像情報を記憶するために個別に設けた映像情報記憶手段である。
また、このビデオRAM10には、インターフェース13を介して携帯電話機2やパソコン等の外部装置から所定の信号が入力されたときに、表示画像の少なくとも一部を周期的に変化表示させて使用者Aに視認させるための複数種類の変化表示画像の情報を記憶している。
そして、このビデオRAM10は、単に複数の変化表示画像の情報を記憶しているわけではなく、インターフェース13を介して入力される所定の信号に含まれる情報に対応した複数種類の変化表示画像の情報を、所定の信号に含まれる複数種類の情報とそれぞれ関連付けて記憶するようにしており、変化表示画像記憶手段としても機能するものである。
また、このビデオRAM10は、インターフェース13を介して入力される所定の信号を出力する外部装置の種類に対応する外部装置画像を、外部装置の種類と関連付けて記憶する外部装置画像記憶手段としても機能する。
具体的には、このビデオRAM10は、所定の信号に含まれる電話着信を示す情報に対応した携帯電話機2を示す変化表示画像の情報、電子メールを受信したことを示す情報に対応した電子メールを示す変化表示画像の情報、外部装置のバッテリー残量が低下したことを示す情報に対応したバッテリーを示す変化表示画像の情報、所定の信号を出力する外部装置の種類に対応した携帯電話機2、パソコン、PDA等を示す外部装置画像を記憶している。
また、このビデオRAM10は、所定の信号に含まれる電話着信を示す情報とその着信元を示す情報とに関連付けた変化表示画像として、着信元を示す情報と対応する顔画像の情報を記憶している。
オーディオCODEC11は、CPU7がROM8に記憶している音情報再生プログラムを実行することにより動作して、ROM8に記憶されている所定のファイル形式にエンコードされた音情報をデコードしてスピーカ制御回路15へ出力する他、マイク制御回路16から入力される音情報を所定のファイル形式にエンコードしてRAM9へ出力する音情報変換回路である。
スピーカ制御回路15は、オーディオCODEC11から入力されるディジタルの音情報をアナログの音信号に変換するD/Aコンバータと、D/Aコンバータにより変換したアナログの音信号を増幅するアンプとを有し、アンプにより増幅した音信号をスピーカ17へ出力することにより、スピーカ17から音声を出力させる回路である。
マイク制御回路16は、マイク18により集音した使用者Aの声や、HMD1周辺の音声を増幅するアンプと、アンプにより増幅したアナログの音信号をディジタルに変換するA/Dコンバータとを有し、A/Dコンバータにより変換した音情報をオーディオCODEC11へ出力する回路である。
ビデオCODEC12は、CPU7がROM8に記憶している映像情報再生プログラムを実行することにより動作して、ビデオRAM10に記憶されている所定のファイル形式にエンコードされた映像情報(映像コンテンツを示す情報、変化表示画像を示す情報)をデコードして映像信号Sigを生成し、図3に示す画像表示部Cの信号処理回路21へ出力する映像情報変換回路である。
また、このビデオCODEC12は、インターフェース13を介して外部装置から入力される映像信号を所定のファイル形式にエンコードしてビデオRAM10へ出力する映像情報変換回路でもある。
(ヘッドマウントディスプレイの画像表示部の説明)
次に、HMD1の画像表示部Cについて、図3を参照して具体的に説明する。
図3に示すように、画像表示部Cは、図2に示す制御部Bから供給される映像信号Sigをドットクロック毎に読み出し、読み出した映像信号Sigに応じて強度変調された光束を生成して出射する光束生成部20を備え、さらに、その光束生成部20と使用者Aの眼Eとの間には、光束生成部20で生成され、光ファイバ100を介して出射されるレーザビーム(以下、「光束」と呼ぶ。)を平行光化するコリメート光学系61と、このコリメート光学系61で平行光化された光束を画像表示のために水平方向(1次方向)に走査する水平走査部70と、水平走査部70で水平方向に走査された光束を垂直方向(2次方向)に走査する垂直走査部80と、水平走査部70と垂直走査部80との間に設けられたリレー光学系75と、このように水平方向と垂直方向に走査された光束(以下、「走査光束」とする。)を瞳孔Eaへ出射するためのリレー光学系90を備えている。
また、光束生成部20には、制御部Bから供給される映像信号Sigが入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路21が設けられ、この信号処理回路21において、青(B)、緑(G)、赤(R)の各画像信号22a〜22cが生成され、出力される。また、信号処理回路21は、水平走査部70で使用される水平同期信号23と、垂直走査部80で使用される垂直同期信号24とをそれぞれ出力する。
さらに、光束生成部20は、信号処理回路21からドットクロック毎に出力される3つの画像信号(B,R,G)22a〜22cをそれぞれ光束にする光源部30と、これらの3つの光束を1つの光束に結合して任意の光束を生成するための光合成部40を備えている。
光源部30は、青色の光束を発生させるBレーザ34及びBレーザ34を駆動するBレーザドライバ31と、緑色の光束を発生させるGレーザ35及びGレーザ35を駆動するGレーザドライバ32と、赤色の光束を発生させるRレーザ36及びRレーザ36を駆動するRレーザドライバ33とを備えている。なお、各レーザ34、35、36は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、光束の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて光束の強度変調を行う必要がある。
光合成部40は、光源部30から入射する光束を平行光にコリメートするように設けられたコリメート光学系41、42、43と、このコリメートされた光束を合成するためのダイクロイックミラー44、45、46と、合成された光束を光ファイバ100に導く結合光学系47とを備えている。
各レーザ34、35、36から出射したレーザ光は、コリメート光学系41、42、43によってそれぞれ平行化された後に、ダイクロイックミラー44、45、46に入射される。その後、これらのダイクロイックミラー44、45、46により、各光束が波長に関して選択的に反射・透過される。
具体的には、Bレーザ34から出射した青色光束は、コリメート光学系41によって平行光化された後に、ダイクロイックミラー44に入射される。Gレーザ35から出射した緑色光束は、コリメート光学系42を経てダイクロイックミラー45に入射される。Rレーザ36から出射した赤色光束は、コリメート光学系43を経てダイクロイックミラー46に入射される。
それら3つのダイクロイックミラー44、45、46にそれぞれ入射した3原色の光束は、波長選択的に反射または透過して結合光学系47に達し、集光され光ファイバ100へ出力される。
水平走査部70及び垂直走査部80は、光ファイバ100から入射された光束を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とするものである。
水平走査部70は、光束を水平方向に走査するため偏向面を有する共振型偏向素子71と、この共振型偏向素子71を共振させ、共振型偏向素子71の偏向面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路72と、共振型偏向素子71から出力される変位信号に基づいて、共振型偏向素子71の偏向面の揺動範囲及び揺動周波数等の揺動状態を検出する位相検出回路73と、共振型偏向素子71の温度を検出する温度検出部74とを有している。なお、この温度検出部74は、共振型偏向素子71の温度を検出するものであるが、共振型偏向素子71の周囲の温度を検出することで、共振型偏向素子71の温度を検出するようにしてもよい。
垂直走査部80は、光束を垂直方向に走査するための偏向素子81と、この偏向素子81を駆動させる垂直走査制御回路82とを備えている。なお、本実施形態では、垂直走査部80の偏向素子81が、光束を走査することによって使用者Aに表示画像を視認させる光スキャナに相当する。
また、水平走査駆動回路72と垂直走査制御回路82は、信号処理回路21から出力される水平同期信号23と垂直同期信号24に基づいてそれぞれ駆動する。
また、水平走査部70と垂直走査部80との間での光束を中継するリレー光学系75を備えており、共振型偏向素子71によって水平方向に走査された光は、リレー光学系75を通って、偏向素子81によって垂直方向に走査されて、走査光束として、リレー光学系90へ出射される。
リレー光学系90は、正の屈折力を持つレンズ系91、94を有している。垂直走査部80から出射された表示用走査光束は、レンズ系91によって、それぞれの光束がその光束の中心線を相互に平行にされ、かつそれぞれ収束光束に変換される。そして、レンズ系94によってほぼ平行な光束となると共に、これらの光束の中心線が使用者Aの瞳孔Eaに収束するように変換される。
また、本実施形態では、水平走査部70、リレー光学系75、垂直走査部80、リレー光学系90が、表示画像を使用者Aの眼Eに導く光学素子に相当する。
なお、本実施形態においては、光ファイバ100から入射された光束を、水平走査部70で水平方向に走査した後、垂直走査部80によって垂直方向に走査することとしたが、水平走査部70と垂直走査部80との配置を入れ替え、垂直走査部80によって垂直方向に走査した後、水平走査部70で水平方向に走査するようにしてもよい。
(変化表示画像の説明)
次に、このように構成したHMD1に、インターフェース13を介して携帯電話機2から所定の信号が入力された際、画像表示部が変化表示する変化表示画像について、図4を参照して具体的に説明する。
本実施形態の制御部Bは、使用者AがHMD1を頭部に装着して映像コンテンツを鑑賞しているときに、信号判別回路14により、携帯電話機2からインターフェース13を介して所定の信号が入力されたことを検出すると、画像表示部Cを制御して、表示画像を変化表示させて使用者Aに視認させ、使用者Aに対して携帯電話機2から所定の信号が入力されたことを報知する制御を行う。
このとき、画像表示部Cは、表示画像の少なくとも一部を所定周期で往復移動させることにより、表示画像の変化表示を行うようにしている。
すなわち、制御部Bは、携帯電話機2から所定の信号が入力されていない状態において、画像表示部Cに対して、図4(a)に示すように、使用者Aによる映像コンテンツの鑑賞を妨げない位置(ここでは、表示画像Vの右下位置)に、携帯電話機を示すアイコン画像P、電子メールを示すアイコン画像M、バッテリーを示すアイコン画像Batという3つのアイコンの静止画像を並べて表示させる制御を行う。
その後、信号判別回路14が携帯電話機2から所定の信号が入力されたことを検出し、検出した所定の信号含まれている情報が電話着信を示す情報であると判別した場合に、制御部Bは、画像表示部Cに対して、図4(b)に示すように、携帯電話機を示すアイコン画像Pだけを、所定周期で往復移動させる変化表示(以下、「振動表示」という。)させる制御を行う。
なお、本実施形態では、携帯電話機2を示すアイコン画像Pを変化表示させることにより、使用者Aに対して電話着信があったことを報知するようにしているが、携帯電話機2を示すアイコン画像Pに換えて、着信元(着信相手)の顔画像を変化表示することにより、使用者Aに対して電話着信があったことを報知することもできる。
このように顔画像を変化表示する場合に、制御部Bは、信号判別回路14により、所定の信号含まれている情報が電話着信を示す情報と発信元を示す情報であると判別した場合に、ビデオRAM10に記憶させている着信元を示す情報と対応する顔画像の情報を読み出し、その情報をビデオCODEC12によりデコードして画像表示部Cへ出力することによって、画像表示部Cに着信相手の顔画像を変化表示させる。
このように、携帯電話機2に電話着信があった場合に、着信相手の顔画像を変化表示させて使用者Aに視認させることで、使用者Aに対して、電話が着信状態になっていることに加え、使用者に電話をかけてきている相手までも報知することができる。
また、制御部Bは、信号判別回路14により所定の信号に含まれている情報が電子メールの受信を示す情報であると判別した場合には、画像表示部Cに対して、図4(c)に示すように、電子メールを示すアイコン画像Mだけを、振動表示させる制御を行う。
また、制御部Bは、信号判別回路14により所定の信号に含まれている情報が、バッテリーの残量が少なくなったことを示す情報であると判別した場合には、画像表示部Cに対して、図4(d)に示すように、バッテリーを示すアイコン画像Batだけを振動表示させると共に、その色を変化させ、さらに、その大きさを図4(a)で示したバッテリーを示すアイコン画像Batよりも小さく表示させる制御を行う。
このように、本実施形態では、制御部Bが備える信号判別回路14が、外部装置からインターフェース13を介して入力された所定の信号に含まれる情報に基づいて、所定の信号を出力した外部装置(ここでは、携帯電話機2)の種類を判別する外部装置判別手段として機能し、さらに、所定の信号に含まれる情報の種類(内容)を判別する情報判別手段としても機能する。
そして、このように制御部Bは、信号判別回路14により携帯電話機2からインターフェース13を介して所定の信号が入力されたことを検出すると、画像表示部Cに、表示画像Vの少なくとも一部を周期的に変化表示させて使用者に視認させる制御を行うので、使用者Aによる映像コンテンツの視聴を妨げることなく、電話着信や電子メール受信、バッテリー残量等といった携帯電話機2の状態を的確に使用者に報知することができる。
しかも、画像表示部Cは、表示画像Vの変化表示として、表示画像Vの少なくとも一部を使用者Aの視界において所定周期で往復移動させるようにしているため、使用者Aは、自身が移動している場合であっても、HMD1に携帯電話機2から所定の信号が入力されたことを確実に知ることができる。
また、制御部Bは、HMD1に入力された所定の信号に含まれている情報に基づいて、所定の信号を出力した外部装置の種類、及び、所定の信号に含まれている情報の種類を判別し、その判別結果に対応した種類のアイコン画像(携帯電話機を示すアイコン画像P、又は、電子メールを示すアイコン画像M、又は、バッテリーを示すアイコン画像Bat)を、画像表示部Cによって使用者Aに視認させるようにしているため、HMD1に入力された所定の信号が、どの外部装置から出力されたものか、その外部装置の何に関するものかを、使用者Aに明確に報知することができる。
すなわち、使用者Aは、携帯電話機を示すアイコン画像Pを視認することにより、電話が着信状態になっていることを容易に知ることができ、電子メールを示すアイコン画像Mを視認することにより、電子メールを受信したことを容易に知ることができ、バッテリーを示すアイコン画像Batを視認することにより、バッテリーの残量が少なくなっていることを容易に知ることができる。
なお、図4では、一部分のみを振動表示させている表示画像Vを示しているが、本発明によれば、表示画像V全体を振動表示させることもできる。
また、振動表示に関して、表示画像V全体を振動表示させるのか、表示画像の一部分のみを振動表示させるのかについては、使用者Aが予め設定しておくことにより、いずれか一方の振動表示形態を選択することができる。なお、使用者Aにより選択された振動表示形態は、振動条件としてRAM9に記憶させておく。
また、本実施形態では、HMD1に外部装置から所定の信号が入力された場合に、その信号に対応した各アイコン画像を変化表示の一例として所定周期で振動表示するようにしているが、変化表示の形態はこれに限定するものではなく、外部装置から入力された所定の信号に対応した各アイコン画像を所定周期で変化表示する形態であれば、任意の表示形態により変化表示してもよい。
たとえば、外部装置から入力された所定の信号に対応した各アイコン画像を所定周期で上下方向や左右方向、回転方向、奥行き方向に移動させる変化表示を行うことによって、HMD1に外部装置から所定の信号が入力されたことを使用者へ報知するように構成してもよい。
また、これら以外にも、各アイコン画像の色を所定周期で他の色に変化させる変化表示や、所定周期で各アイコン画像の表示と非表示とを繰り返して点滅させる変化表示を行うことによって、HMD1に外部装置から所定の信号が入力されたことを使用者へ報知するように構成してもよい。
(ヘッドマウントディスプレイの制御部が行う処理の説明)
次に、HMD1の制御部Bが、画像表示部Cに表示画像Vの変化表示を行わせる際に実行する処理について、図5〜図8を参照して具体的に説明する。
図5に示すように、制御部Bは、HMD1の電源が投入されると、まず、外部装置である携帯電話機2からインターフェース13を介して所定の信号が入力されたか否かの判断を行う(ステップS1)。
ここで、制御部Bは、所定の信号が入力されたと判断した場合に処理をステップS2へ移し、所定の信号が入力されていないと判断した場合に、所定の信号の入力を検出するまで、ステップS1の処理を繰り返し行う。
ステップS2において制御部Bは、所定の信号に含まれている情報が電話着信を示す情報であるか否かの判別を行い、電話着信を示す情報であると判別した場合に処理をステップS3へ移し、電話着信を示す情報でないと判断した場合に処理をステップS4へ移す。
ステップS3において制御部Bは、図6に示す電話着信フローにしたがって、電話着信があったことを使用者Aに報知する処理を行い、その後、処理をステップS1に戻す。
また、ステップS4において制御部Bは、所定の信号に含まれている情報が電子メールの受信を示す情報であるか否かの判別を行い、電子メールの受信を示す情報であると判別した場合に処理をステップS5へ移し、電話着信を示す情報でないと判断した場合に処理をステップS6へ移す。
ステップS5において制御部Bは、図7に示す電子メール受信フローにしたがって、電子メールの受信があったことを使用者Aに報知する処理を行い、その後、処理をステップS1に戻す。
また、ステップS6において制御部Bは、所定の信号に含まれている情報が、携帯電話機2のバッテリー残量が低下したことを示す情報であるか否かの判別を行い、バッテリー残量が低下したことを示す情報であると判別した場合に処理をステップS7へ移し、バッテリー残量が低下したことを示す情報でないと判断した場合に処理をステップS1に戻す。
ステップS7において制御部Bは、図8に示すバッテリー残量低下フローにしたがって、携帯電話機2のバッテリー残量が低下したことを使用者Aに報知する処理を行い、その後、処理をステップS1に戻す。
(電話着信フローの説明)
図5に示すステップS2において、信号判別回路14により所定の信号に含まれる情報が電話着信を示す情報であると判別されると、制御部Bは、図6に示すように、まず、電話着信用アイコンの情報呼び出し処理を行う(ステップS11)。
ここで、制御部Bは、ビデオRAM10に記憶させている携帯電話を示すアイコン画像Pに関する情報を読み出す処理を行い、その後、処理をステップS12へ移す。
ステップS12において制御部Bは、振動条件の呼び出し処理を行う。ここで、制御部Bは、RAM9に記憶されている振動条件を参照することにより、予め使用者Aにより設定された振動表示形態を判別し、その後、処理をステップS13へ移す。
ステップS13において制御部Bは、画像作成処理を行う。ここで、制御部Bは、ステップS11においてビデオRAM10から読み出した携帯電話を示すアイコン画像Pに関する情報を、ビデオCODEC12によってデコードして映像信号Sigを生成する処理を行い、その後、処理をステップS14へ移す。
ステップS14において制御部Bは、画像表示処理を行う。ここで、制御部Bは、ビデオCODEC12により生成した映像信号Sigをデータ通信用のバスを介して画像表示部Cへ送信することにより、画像表示部Cに、図4(b)に記載した携帯電話機を示すアイコン画像Pを振動表示させる処理を行い、その後、処理をステップS15へ移す。
ステップS15において制御部Bは、通話が開始されたか否かの判断を行う。ここで制御部Bは、信号判別回路14により携帯電話機2から通話が開始されたことを示す信号がHMD1に入力されたか否かを判別することによって、通話が開始されたか否かの判断を行う。
そして、制御部Bは、通話が開始されたと判断した場合に処理をステップS16へ移し、通話が開始されていないと判断した場合に処理をステップS17へ移す。
ステップS16において制御部Bは、画像の消去処理を行う。ここで、制御部Bは、携帯電話機を示すアイコン画像Pを変化表示させるために画像表示部Cへ送信している映像信号Sigの送信を停止する処理を行い、その後、処理を図5に示すステップS1へ戻す。
ステップS17において制御部Bは、電話着信が終了したか否かの判断を行う。ここで、制御部Bは、信号判別回路14により、携帯電話機2から電話着信を示す信号の入力が継続しているか否かを判別することによって、電話着信が終了したか否かの判断を行う。
そして、制御部Bは、電話着信が終了したと判断した場合に処理をステップS16へ移し、電話着信が終了していないと判断した場合に処理をステップS14へ移す。
(電子メール受信フローの説明)
図5に示すステップS4において、信号判別回路14により所定の信号に含まれる情報が電子メール受信を示す情報であると判別されると、制御部Bは、図7に示すように、まず、電子メール受信用アイコンの情報呼び出し処理を行う(ステップS21)。
ここで、制御部Bは、ビデオRAM10に記憶させている電子メールを示すアイコン画像Mに関する情報を読み出す処理を行い、その後、処理をステップS22へ移す。
ステップS22において制御部Bは、振動条件の呼び出し処理を行う。ここで、制御部Bは、RAM9に記憶されている振動条件を参照することにより、予め使用者Aにより設定された振動表示形態を判別し、その後、処理をステップS23へ移す。
ステップS23において制御部Bは、画像作成処理を行う。ここで、制御部Bは、ステップS21においてビデオRAM10から読み出した電子メールを示すアイコン画像Mに関する情報を、ビデオCODEC12によってデコードして映像信号Sigを生成する処理を行い、その後、処理をステップS24へ移す。
ステップS24において制御部Bは、画像表示処理を行う。ここで、制御部Bは、ビデオCODEC12により生成した映像信号Sigをデータ通信用のバスを介して画像表示部Cへ送信することにより、画像表示部Cに、図4(c)に記載した電子メールを示すアイコン画像Mを振動表示させる処理を行い、その後、処理をステップS25へ移す。
ステップS25において制御部Bは、何らかの入力があったか否かの判断を行う。ここで制御部Bは、信号判別回路14により携帯電話機2から、電子メールの受信をメールセンタに問い合わせたことを示す信号、電子メールの受信を確認したことを示す信号、受信した電子メールを開いたことを示す信号等が入力されたか否かを判断することによって、何らかの入力があったか否かの判断を行う。
そして、制御部Bは、何らかの入力があったと判断した場合に処理をステップS26へ移し、何らかの入力がないと判断した場合に処理をステップS27へ移す。
ステップS26において制御部Bは、画像の消去処理を行う。ここで、制御部Bは、電子メールを示すアイコン画像Mを変化表示させるために画像表示部Cへ送信している映像信号Sigの送信を停止する処理を行い、その後、処理を図5に示すステップS1へ戻す。
ステップS27において制御部Bは、ステップS24の画像表示処理を行ってから所定時間が経過したか否かの判断を行い、所定時間が経過したと判断した場合に処理をステップS26へ移し、所定時間が経過していないと判断した場合に処理をステップS24へ移す。
(バッテリー残量低下フローの説明)
図5に示すステップS6において、信号判別回路14により所定の信号に含まれる情報がバッテリー残量の低下を示す情報であると判別されると、制御部Bは、図8に示すように、まず、バッテリー残量の判断を行う処理を行う(ステップS31)。
ここで制御部Bは、携帯電話機2から入力される所定の信号に含まれている情報基づいて、バッテリー残量の度合いを判別する処理を行い、その後、処理をステップS32へ移す。
ステップS32において制御部Bは、バッテリー残量アイコンの情報呼び出し処理を行う。ここで、制御部Bは、ステップS31で判別したバッテリー残量の度合いに対応したバッテリーを示すアイコン画像Batに関する情報をビデオRAM10から読み出す処理を行い、その後、処理をステップS33へ移す。
ステップS33において制御部Bは、振動条件の呼び出し処理を行う。ここで、制御部Bは、RAM9に記憶されている振動条件を参照することにより、予め使用者Aにより設定された振動表示形態を判別し、その後、処理をステップS34へ移す。
ステップS34において制御部Bは、画像作成処理を行う。ここで、制御部Bは、ステップS32においてビデオRAM10から読み出したバッテリーを示すアイコン画像Batに関する情報を、ビデオCODEC12によってデコードして映像信号Sigを生成する処理を行い、その後、処理をステップS35へ移す。
ステップS35において制御部Bは、画像表示処理を行う。ここで、制御部Bは、ビデオCODEC12により生成した映像信号Sigをデータ通信用のバスを介して画像表示部Cへ送信することにより、画像表示部Cに、図4(d)に記載したバッテリーを示すアイコン画像Batを振動表示させる処理を行い、その後、処理を、図5に示すステップS1へ戻す。
このように、本実施形態のHMD1によれば、HMD1に接続された携帯電話機2に電話の着信があった場合に、使用者Aは、HMD1により映像コンテンツ等を視聴している最中であっても、表示画像V中において振動表示される携帯電話機2を示すアイコン画像Pを視認することで、容易且つ確実に電話着信を知ることができる。
また、使用者Aは、電話着信と同様に、携帯電話機2が電子メールを受信したことを、表示画像V中において振動表示される電子メールを示すアイコン画像Mを視認することで容易に知ることができ、携帯電話機2のバッテリー残量が低下したことを、表示画像V中において振動表示されるバッテリーを示すアイコン画像Batを視認することで容易に知ることができる。
また、上記実施形態では、画像表示部Cに、アイコン画像を所定周期で往復移動させている動画を表示させることにより、使用者に変化表示画像を視認させるようにしているが、これ以外に、画像表示部Cに光学素子自体を振動させる光学素子振動機構を設け、画像表示部Cに静止画によるアイコン画像(携帯電話機を示すアイコン画像P、電子メールを示すアイコン画像M、バッテリーを示すアイコン画像Bat等)を表示させながら、制御部Bに光学素子振動機構の動作制御を行わせることによって、使用者Aに変化表示画像を視認させるようにしてもよい。
ここで、光学素子を振動させる光学素子振動機構は、図3に示す水平走査部70と、リレー光学系75と、垂直走査部80と、リレー光学系90とを含む光学素子全体を一体的に振動させるバイブレータにより構成することができる。
そして、ROM8内の所定領域に、この光学素子振動機構の動作を制御するための振動機構制御プログラムを記憶させておき、制御部Bに、この振動機構制御プログラムを実行させることによって、画像表示部Cに変化表示を行わせる。
このように、変化表示を、光学素子振動機構を動作させて行うように構成すれば、ビデオRAM10には、変化表示画像の情報として静止画を表示するための情報を記憶させておくだけでよいため、ビデオRAM10における変化表示画像のための記憶領域を縮小することができ、その分、映像コンテンツのための情報記憶領域を拡大することができる。
また、上記光学素子振動機構に換えて、光学素子が備える光スキャナ(図3における垂直走査部80の偏向素子81)の走査機構に、光スキャナのオフセット量を変化させるオフセット変更手段を設け、このオフセット変更手段によって、光スキャナのオフセット量を所定周期で周期的に変化させることによっても、光学素子振動機構を設けた場合と同様に、使用者Aに変化表示画像を視認させることができる。
このオフセット変更手段は、垂直走査部80に、偏向素子81の回動軸を周期的に往復移動(振動)させる回動軸移動装置を設けると共に、制御部Bによって、この回動軸移動装置の動作を制御することにより実現することができる。
このとき回動軸移動装置は、偏向素子81と使用者Aの瞳孔Eaとを結ぶ直線と直行する方向へ、偏向素子81の回動軸を往復移動させる。
このように構成したオフセット変更手段により変化表示を行う場合には、ROM8の所定領域内に、回動軸移動装置の動作を制御するための回動軸移動装置制御プログラムを予め記憶させておき、制御部Bに、この回動軸移動装置制御プログラムを実行させることにより、画像表示部Cに変化表示を行わせる。
このオフセット変更手段によれば、光スキャナの回動軸を移動させるだけで変化表示を行うことができるので、光学素子振動機構により光学素子全体を振動させる場合に比べて少ない電力で変化表示を行うことができ、HMD1の変化表示に要する消費電力を低減することができる。
また、このHMD1は、上記光学素子振動機構や上記オフセット変更手段に換えて、使用者Aの眼Eに入射させる光束の波面曲率を変調する波面曲率変調素子を設け、制御部Bにより、この波面曲率変調素子の動作制御を行うことによっても、使用者Aに変化表示画像を視認させることができる。尚、波面曲率とは、光束の拡がり具合(平行度)を示すもので、光束の平行状態が無限遠画像を示し、平行から拡がり(拡散)具合が大きくなるほど、より近い距離の画像を示すものである。
この場合、HMD1に映像コンテンツを表示させるための画像表示部Cに加え、変化表示画像を表示させるための変化表示用画像表示部をさらに設け、この変化表示用画像表示部に波面曲率変調素子を設けることによって、変化表示画像だけを使用者Aの視界における奥行き方向又は手前方向へ3次元的に移動させて表示する。
ここで、変化表示用画像表示部について、図9を参照して説明する。なお、図9に示す変化表示用画像表示部Caにおいて、図3に示した画像表示部Cと同様の構成要件については、同一の符号を付することにより、その説明を省略する。
図9に示すように、変化表示用画像表示部Caは、その基本的構成に関しては、図4に示す画像表示部Cと同様であるが、コリメート光学系61と、水平走査部70との間に、コリメート光学系61が出力する光束の波面曲率を変調して水平走査部70へ向けて出力する波面曲率変調素子61aを備えている点が異なる。
この波面曲率変調素子61aは、コリメート光学系61から入射した光束を反射または透過させるビームスプリッタと、そのビームスプリッタを経て入射した光束を収束する収束レンズと、その収束レンズにより収束された光束を反射するミラー部と、ミラー部を駆動するミラー駆動装置とを備えている。
そして、この波面曲率変調素子61aは、コリメート光学系から入射した光束をビームスプリッタで反射して収束レンズを通過させた後、ミラー部で反射させる。そして、再度、収束レンズを通過させ、その後、ビームスプリッタを透過させて水平走査部70へ出力させる。
このとき波面曲率変調素子61aでは、上記したミラー部を駆動するミラー駆動装置を動作させて、収束レンズとミラー部との間隔を変更することにより、コリメート光学系61から入射して水平走査部70へ向かう光束の波面曲率を変更する。
そして、この波面曲率変調素子61aは、ミラー駆動装置により、ミラー部を収束レンズに接近する方向か、又は、収束レンズから離れる方向に変位させ、収束レンズとミラー部との間隔を変更することにより、使用者Aの眼Eに出射する光束の結像位置を光軸方向に調整することで、変化表示画像を使用者Aの視界における奥行き方向又は手前方向へ3次元的に移動させて表示することができるようにしている。
このように、波面曲率変調素子61aによる変化表示を行う場合には、ROM8内の所定領域に、ミラー駆動装置の動作を制御するための波面曲率変調素子制御プログラムを記憶させておき、制御部Bに、この波面曲率変調素子制御プログラムを実行させることにより、変化表示用画像表示部Caに変化表示を行わせる。
そして、制御部Bは、信号判別回路14により、携帯電話機2から入力された所定の信号に含まれている情報が、電子メールの受信を示す情報であると判別した場合に、電子メールを示すアイコン画像Mを表示させる制御を行うと共に、ROM8に記憶している波面曲率変調素子制御プログラムを実行して波面曲率変調素子61aを動作させることによって、図10に示すように、表示画像Vにおいて、電子メールを示すアイコン画像Mだけを、所定周期で奥行き方向手前側へ3次元的に移動させて使用者Aに視認させる。
このように、電子メールを示すアイコン画像Mだけを表示画像Vにおいて3次元的に移動させることによって、使用者Aに電子メールの受信を効果的に報知することができる。
また、この波面曲率変調素子61aを動作させて行う変化表示は、電子メール受信に限るものではなく、電話着信や携帯電話機2のバッテリー残量に関しても同様に行うことができ、特に、携帯電話機2のバッテリー残量が低下したことを使用者Aに報知する際に効果的である。
すなわち、制御部Bは、信号判別回路14により、携帯電話機2から入力された所定の信号に含まれている情報が、バッテリー残量の低下を示す情報であると判断した場合には、波面曲率変調素子61aを動作させて、バッテリーを示すアイコン画像Batを、表示画像Vにおいて使用者Aから遠ざかる方向へ移動させて表示する。
このようにバッテリーを示すアイコン画像Batだけを、表示画像Vにおいて使用者Aから遠ざかる方向へ移動させる変化表示を行うことにより、使用者Aには、バッテリーを示すアイコン画像Batが遠ざかって他のアイコン画像(P、M)よりも小さくなったように見えるため、使用者Aに対して携帯電話機2のバッテリー残量が少なくなったことを効果的に報知することができる。
また、このようにHMD1に波面曲率変調素子61aを設けた場合の変化表示は、上記したように外部装置から所定の信号に対応したアイコン画像だけを単に奥行き方向に所定周期で移動させる変化表示に限定するものではなく、たとえば、外部装置から入力された所定の信号に対応した各アイコン画像を所定周期で上下方向や左右方向、回転方向、奥行き方向に移動させながら奥行き方向へ移動させる変化表示を行うことによって、HMD1に外部装置から所定の信号が入力されたことを使用者へ報知するように構成してもよい。
また、これら以外にも、各アイコン画像の色を所定周期で他の色に変化させながら奥行き方向へ移動させる変化表示や、所定周期で各アイコン画像の表示と非表示とを繰り返して点滅させながら奥行き方向へ移動させる変化表示を行うことによって、HMD1に外部装置から所定の信号が入力されたことを使用者へ報知するように構成してもよい。
また、本発明に係るHMD1は、筐体3の内部に、当該HMD1自体を振動させる振動機構を備えると共に、RAM9内の所定領域に、この振動機構の動作を制御するための振動機構制御プログラムを記憶させている。
そして、制御部Bは、外部装置から所定の信号が入力されると、振動機構制御プログラムを実行することによって振動機構を動作させて、使用者Aに対して振動している表示画像Vを視認させる振動表示(変化表示)を行う。
このように、振動機構を動作させて表示画像Vの変化表示を行うことにより、使用者Aは、変化表示と、頭部に伝わる振動との相乗効果により、より一層確実に外部装置から所定の信号が入力されたことを知ることができる。
本実施形態に係るヘッドマウントディスプレイを示す外観斜視図である。 ヘッドマウントディスプレイの制御部を示す機能ブロック図である。 ヘッドマウントディスプレイの画像表示部を示す説明図である。 外部装置から所定の信号が入力された場合に、使用者が視認する表示画像を示す説明図である。 ヘッドマウントディスプレイの制御部が行う処理を示すフローチャートである。 ヘッドマウントディスプレイの制御部が行う処理を示すフローチャートである。 ヘッドマウントディスプレイの制御部が行う処理を示すフローチャートである。 ヘッドマウントディスプレイの制御部が行う処理を示すフローチャートである。 変化表示用画像表示部を示す説明図である。 波面曲率変調素子を動作させて使用者に視認させる変化表示画像を示す説明図である。
符号の説明
A 使用者
B 制御部
C 画像表示部
Ca 変化表示用画像表示部
E 眼
Ea 瞳孔
Eb 網膜
1 HMD
2 携帯電話機
3 筐体
4 支持フレーム
5 頭部装着部
7 CPU
8 ROM
9 RAM
10 ビデオRAM
11 オーディオCODEC
12 ビデオCODEC
13 インターフェース
14 信号判別回路
20 光束生成部
21 信号処理回路
30 光源部
40 光合成部
47 結合光学系
61 コリメート光学系
61a 波面曲率変調素子
70 水平走査部
75 リレー光学系
80 垂直走査部
81 偏向素子

Claims (9)

  1. 使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像を光学的に導いて視認させる画像表示部と、前記画像表示部の動作を制御する制御部とを有するヘッドマウントディスプレイにおいて、
    外部装置から信号が入力されるインターフェース部を設け、
    前記制御部は、
    前記外部装置から前記インターフェース部を介して所定の信号が入力されたことを検出する所定信号検出手段を有し、
    前記画像表示部は、
    前記表示画像を使用者の眼に導く光学素子と、
    前記光学素子を振動させる光学素子振動機構とを有し、
    前記所定信号検出手段により前記所定の信号が入力されたことを検出すると、前記光学素子振動機構を動作させることにより、前記画像表示部に、前記表示画像の少なくとも一部を周期的に変化表示させて、前記使用者に視認させる制御を行うことを特徴とするヘッドマウントディスプレイ。
  2. 前記画像表示部は、前記変化表示を、前記表示画像の少なくとも一部を所定周期で往復移動させることにより行うことを特徴とする請求項1に記載のヘッドマウントディスプレイ。
  3. 前記所定の信号に含まれる情報に対応した変化表示画像を、前記所定の信号に含まれる情報と関連付けて記憶する変化表示画像記憶手段を備え、
    前記制御部は、前記インターフェース部を介して入力された前記所定の信号に含まれる情報を判別する情報判別手段を有し、
    前記情報判別手段により判別した前記情報に対応する前記変化表示画像を、前記画像表示部により前記変化表示させる制御を行うことを特徴とする請求項1又は2に記載のヘッドマウントディスプレイ。
  4. 前記所定の信号は、電話機能を有する前記外部装置から出力される電話着信を示す情報、又は、電子メール機能を有する前記外部装置から出力される電子メール受信を示す情報を含むことを特徴とする請求項1〜のいずれか1項に記載のヘッドマウントディスプレイ。
  5. 前記所定の信号は、電話機能を有する前記外部装置から出力される電話着信を示す情報、又は、電子メール機能を有する前記外部装置から出力される電子メール受信を示す情報を含み、
    前記制御部は、
    前記情報判別手段により、前記所定の信号に含まれる情報が前記電話着信を示す情報であると判別した場合に、前記画像表示部に、携帯電話機を示す前記変化表示画像を前記変化表示させる制御を行い、
    前記情報判別手段により、前記所定の信号に含まれる情報が前記電子メール受信を示す情報であると判別した場合に、前記画像表示部に、電子メールを示す前記変化表示画像を前記変化表示させる制御を行うことを特徴とする請求項に記載のヘッドマウントディスプレイ。
  6. 前記所定の信号は、電話機能を有する前記外部装置から出力される電話着信を示す情報と発信元を示す情報とを含み、
    前記情報判別手段により、前記所定の信号に含まれる情報が前記電話着信を示す情報及び発信元を示す情報であると判別した場合に、前記画像表示部に、前記発信元を示す情報に対応した顔を示す前記変化表示画像を前記変化表示させる制御を行うことを特徴とする請求項に記載のヘッドマウントディスプレイ。
  7. 前記所定の信号は、バッテリーを電源とする前記外部装置から出力されるバッテリー残量が少なくなったことを示す情報を含み、
    前記制御部は、前記情報判別手段により、前記所定の信号に含まれる情報が、バッテリー残量が少なくなったことを示す情報であると判別した場合に、前記画像表示部に、バッテリーを示す変化表示画像を前記変化表示させる制御を行うことを特徴とする請求項3又は6に記載のヘッドマウントディスプレイ。
  8. 前記所定の信号を出力する前記外部装置の種類に対応する外部装置画像を、前記外部装置の種類と関連付けて記憶する外部装置画像記憶手段を備え、
    前記制御部は、前記インターフェース部を介して入力される前記所定の信号に基づいて、前記外部装置の種類を判別する外部装置判別手段を有し、
    前記外部装置判別手段により判別した前記外部装置の種類に対応する外部装置画像を、前記画像表示部により前記変化表示させる制御を行うことを特徴とする請求項1〜のいずれか1項に記載のヘッドマウントディスプレイ。
  9. 当該ヘッドマウントディスプレイは、画像信号に応じた光束を2次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイであることを特徴とする請求項1〜のいずれか1項に記載のヘッドマウントディスプレイ。
JP2006248858A 2006-09-14 2006-09-14 ヘッドマウントディスプレイ Expired - Fee Related JP4984771B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006248858A JP4984771B2 (ja) 2006-09-14 2006-09-14 ヘッドマウントディスプレイ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006248858A JP4984771B2 (ja) 2006-09-14 2006-09-14 ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2008070572A JP2008070572A (ja) 2008-03-27
JP4984771B2 true JP4984771B2 (ja) 2012-07-25

Family

ID=39292210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006248858A Expired - Fee Related JP4984771B2 (ja) 2006-09-14 2006-09-14 ヘッドマウントディスプレイ

Country Status (1)

Country Link
JP (1) JP4984771B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857588B2 (en) 2013-08-01 2018-01-02 Seiko Epson Corporation Display device, head mounted display, display system, and control method for display device
US9886796B2 (en) 2013-08-02 2018-02-06 Seiko Epson Corporation Display device, head mounted display, display system, and control method for display device
US11017486B2 (en) 2017-02-22 2021-05-25 Samsung Electronics Co., Ltd. Electronic device and control method therefor

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007063721B4 (de) 2006-03-22 2014-05-08 Denso Corporation Schaltkreis mit einem Transistor und einer Ansteuerschaltung zur Ansteuerung des Transistors
WO2011108285A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 映像システム、眼鏡装置及び映像再生装置
JP2011215227A (ja) * 2010-03-31 2011-10-27 Sony Corp 映像表示装置、映像表示システム、映像提示方法、並びにコンピューター・プログラム
KR20110121553A (ko) * 2010-04-30 2011-11-07 익스팬드, 인크. 3d 셔터 안경에 대한 3d 프레임 동기화를 위한 rf 신호
TW201218763A (en) * 2010-10-26 2012-05-01 Hon Hai Prec Ind Co Ltd System and method for collecting and displaying additional information of a film
US9389683B2 (en) 2013-08-28 2016-07-12 Lg Electronics Inc. Wearable display and method of controlling therefor
KR102081933B1 (ko) * 2013-08-28 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6732112B1 (en) * 1996-08-02 2004-05-04 Seiko Epson Corporation Network system
JPH1065996A (ja) * 1996-08-23 1998-03-06 Olympus Optical Co Ltd 頭部装着型表示装置
JP2000241752A (ja) * 1999-02-18 2000-09-08 Canon Inc ヘッドマウント型表示装置およびその警告表示方法
JP2003018498A (ja) * 2001-06-28 2003-01-17 Miyota Kk ゴーグル型表示装置
JP2006140816A (ja) * 2004-11-12 2006-06-01 Konica Minolta Photo Imaging Inc 映像表示装置及び映像表示システム
JP2006189476A (ja) * 2004-12-28 2006-07-20 Konica Minolta Photo Imaging Inc 表示システム
JP2006236013A (ja) * 2005-02-25 2006-09-07 Nippon Telegr & Teleph Corp <Ntt> 環境的情報提示装置、環境的情報提示方法およびこの方法のプログラム
JP2008040037A (ja) * 2006-08-04 2008-02-21 Hitachi Ltd ヘッドマウントディスプレイ装置および情報端末

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857588B2 (en) 2013-08-01 2018-01-02 Seiko Epson Corporation Display device, head mounted display, display system, and control method for display device
US9886796B2 (en) 2013-08-02 2018-02-06 Seiko Epson Corporation Display device, head mounted display, display system, and control method for display device
US11017486B2 (en) 2017-02-22 2021-05-25 Samsung Electronics Co., Ltd. Electronic device and control method therefor

Also Published As

Publication number Publication date
JP2008070572A (ja) 2008-03-27

Similar Documents

Publication Publication Date Title
JP4984771B2 (ja) ヘッドマウントディスプレイ
JP5023632B2 (ja) ヘッドマウントディスプレイ
KR101209100B1 (ko) 투영장치
US9170472B2 (en) Portable photographing device
JP6231541B2 (ja) 画像投影装置
JP2008089934A (ja) 画像表示装置及び同装置による画像の輝度調整方法
JP2010139901A (ja) ヘッドマウントディスプレイ
WO2005029821A1 (ja) 情報通信端末
JP2011066549A (ja) ヘッドマウントディスプレイ
JP5076427B2 (ja) 画像表示装置および画像サイズ変更方法
JP2015005972A (ja) 撮影画像のプライバシー保護機能を有するウェアラブルデバイス及びその制御方法並びに画像共有システム
JP6437056B1 (ja) 画像投射装置
JP2010067154A (ja) ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ
JP5109952B2 (ja) ヘッドマウントディスプレイ
JP2011071884A (ja) 作業支援システム
JP5163535B2 (ja) ヘッドマウントディスプレイ
JP3997167B2 (ja) 情報通信端末
JP4419940B2 (ja) 情報読取装置
JP2001078078A (ja) 撮影装置及び撮影装置の制御方法
WO2010067552A1 (ja) ヘッドマウントディスプレイ
JP4034747B2 (ja) 情報通信端末
JP4425900B2 (ja) 情報通信端末
JP5163534B2 (ja) ヘッドマウントディスプレイ
JP2005094496A (ja) 情報通信端末
JP4337652B2 (ja) 携帯型情報端末機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees