JP6443677B2 - ヘッドマウントディスプレイ装置 - Google Patents
ヘッドマウントディスプレイ装置 Download PDFInfo
- Publication number
- JP6443677B2 JP6443677B2 JP2015057277A JP2015057277A JP6443677B2 JP 6443677 B2 JP6443677 B2 JP 6443677B2 JP 2015057277 A JP2015057277 A JP 2015057277A JP 2015057277 A JP2015057277 A JP 2015057277A JP 6443677 B2 JP6443677 B2 JP 6443677B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- image
- user
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 17
- 239000000446 fuel Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Instrument Panels (AREA)
Description
本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ（Head Mounted Display；ＨＭＤ）装置に関する。
従来より、視認者に風景と重ねて虚像を視認させる透過型のＨＭＤ装置が知られている（例えば特許文献１参照）。ＨＭＤ装置は、頭部に装着する表示装置であり、表示器からの表示光を投射光学系や導光体などを用いて使用者に投射し、使用者に表示光が示す表示画像の虚像を視認させるものである。使用者は、ＨＭＤ装置による虚像を前方の実風景を重ねて視認することができる。また、ＨＭＤ装置は、拡張現実（Augmented Reality；ＡＲ）と称される技術を適用することができる。すなわち、表示画像として実風景に関連するＡＲ画像を表示することで、実風景に情報を付加することができる。
また、ＨＭＤ装置として、使用者が視認する虚像の結像位置を変更可能な技術が特許文献２及び３に開示されている。特許文献２に開示される技術は、虚像距離制御手段によって表示パネルと拡大光学部材の間隔を機械的に切り換えることで虚像の結像位置を変更するものである。また、特許文献３に開示される技術は、一対の表示駆動部からの表示光により形成される像の射出領域を移動させることで画像処理によって虚像の結像位置を変更するものである。
前述したように、透過型のＨＭＤ装置は、虚像によって実風景と重ねて情報を提供することができるものであるが、使用者の視界に常時虚像が視認されるため、視認される情報が多くなると使用者にとって煩わしく、使用者が情報を整理できずに各情報の認識性が低下するという問題点があった。
本発明は、上記の問題点に鑑みてなされたものであり、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なＨＭＤ装置を提供することを目的とする。
本発明のヘッドマウントディスプレイ装置は、前述の課題を解決するために、使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、
表示画像を示す表示光を出射する表示器と、
使用者の注視位置を検出する注視位置検出部と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者の注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とする。
表示画像を示す表示光を出射する表示器と、
使用者の注視位置を検出する注視位置検出部と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者の注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とする。
本発明は、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能となる。
以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
図１は、本発明の第一の実施形態に係るヘッドマウントディスプレイ装置（以下、ＨＭＤ装置ともいう）１００の概観を示す図であり、図２はＨＭＤ装置１００の電気的構成を示す図である。
ＨＭＤ装置１００は、制御部１０と、注視位置検出部２０と、撮像部３０と、位置情報取得部４０と、状態情報取得部５０と、通信部６０と、表示器７０と、結像位置調整部８０と、を備える。
ＨＭＤ装置１００は、使用者Ｕの頭部に装着される眼鏡型の表示装置である。ＨＭＤ装置１００は、クラウドサーバ（外部サーバ）２００と無線通信で接続され、ＨＭＤ装置１００とクラウドサーバ２００とからなる表示システムを構成している。クラウドサーバ２００には、使用者Ｕの個人情報や身体情報などの生体情報や、地図情報、後述する第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３にそれぞれ関連付けられた各種情報を示す画像情報がネットワーク通信によって蓄積されている。ＨＭＤ装置１００は、後述する表示処理によって、クラウドサーバ２００から任意の画像情報を受信して各種情報を示す表示画像を表示し、表示画像を示す表示光を図示しないレンズや光学部材などを介して使用者Ｕの眼に入射させ、使用者Ｕに前方の風景と重ねて表示画像の虚像を視認させる。
ＨＭＤ装置１００は、制御部１０と、注視位置検出部２０と、撮像部３０と、位置情報取得部４０と、状態情報取得部５０と、通信部６０と、表示器７０と、結像位置調整部８０と、を備える。
ＨＭＤ装置１００は、使用者Ｕの頭部に装着される眼鏡型の表示装置である。ＨＭＤ装置１００は、クラウドサーバ（外部サーバ）２００と無線通信で接続され、ＨＭＤ装置１００とクラウドサーバ２００とからなる表示システムを構成している。クラウドサーバ２００には、使用者Ｕの個人情報や身体情報などの生体情報や、地図情報、後述する第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３にそれぞれ関連付けられた各種情報を示す画像情報がネットワーク通信によって蓄積されている。ＨＭＤ装置１００は、後述する表示処理によって、クラウドサーバ２００から任意の画像情報を受信して各種情報を示す表示画像を表示し、表示画像を示す表示光を図示しないレンズや光学部材などを介して使用者Ｕの眼に入射させ、使用者Ｕに前方の風景と重ねて表示画像の虚像を視認させる。
制御部１０は、例えばマイクロコンピュータからなり、制御部１０が実行する処理（ＨＭＤ装置１００全体の制御など）を実際に行うＣＰＵ（Central Processing Unit）と、ＣＰＵのメインメモリとして機能するＲＡＭ（Random Access Memory）と、制御部１０に後述の処理などを実行させる各種プログラムを記憶するＲＯＭ（Read Only Memory）と、制御部１０に入出力される情報（信号）をＣＰＵ用にデジタル変換したり出力用にアナログ変換したりする各種変換器と、を備える。制御部１０は、ＣＰＵに加えて、制御部１０が行う処理の一部をＣＰＵに代わって実行するための各種専用回路（例えば、画像処理回路など）を備えても良い。
制御部１０は、図１に示すように、使用者Ｕの前方に奥行き方向の異なる第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定している。
第１の表示ゾーンＺ１は、第２の表示ゾーンＺ２と第３の表示ゾーンＺ３との間に位置する表示ゾーンである。第２の表示ゾーンＺ２は、第１の表示ゾーンＺ１よりも奥行き側（最も奥行き側）に位置する表示ゾーンである。第３の表示ゾーンＺ３は、第１の表示ゾーンＺ１よりも使用者Ｕ側（最も手前側）に位置する表示ゾーンである。
各表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置は、任意に設定されるものであるが、図３に示すように、使用者Ｕが車両Ｃの運転席に座って車両Ｃ前方を見た状態を例に挙げると以下のように設定することができる。すなわち、第３の表示ゾーンＺ３は、使用者Ｕ（運転者）とインパネＣ２との間に位置するステアリングＣ１付近を奥行き位置とする。第１の表示ゾーンＺ１は、ステアリングＣ１よりも奥行き側のインパネＣ２付近を奥行き位置とする。第２の表示ゾーンＺ２は、インパネＣ２よりも奥行き側の、フロントガラスから視認できる使用者Ｕから１５ｍ先の風景付近を奥行き位置とする。なお、以上の説明は、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置の例を説明したものであって、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３は、車両の各部と重なる部分にのみ設定されるものではなく、使用者Ｕの顔が向いている先に設定される。
第１の表示ゾーンＺ１は、第２の表示ゾーンＺ２と第３の表示ゾーンＺ３との間に位置する表示ゾーンである。第２の表示ゾーンＺ２は、第１の表示ゾーンＺ１よりも奥行き側（最も奥行き側）に位置する表示ゾーンである。第３の表示ゾーンＺ３は、第１の表示ゾーンＺ１よりも使用者Ｕ側（最も手前側）に位置する表示ゾーンである。
各表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置は、任意に設定されるものであるが、図３に示すように、使用者Ｕが車両Ｃの運転席に座って車両Ｃ前方を見た状態を例に挙げると以下のように設定することができる。すなわち、第３の表示ゾーンＺ３は、使用者Ｕ（運転者）とインパネＣ２との間に位置するステアリングＣ１付近を奥行き位置とする。第１の表示ゾーンＺ１は、ステアリングＣ１よりも奥行き側のインパネＣ２付近を奥行き位置とする。第２の表示ゾーンＺ２は、インパネＣ２よりも奥行き側の、フロントガラスから視認できる使用者Ｕから１５ｍ先の風景付近を奥行き位置とする。なお、以上の説明は、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置の例を説明したものであって、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３は、車両の各部と重なる部分にのみ設定されるものではなく、使用者Ｕの顔が向いている先に設定される。
前述のように、クラウドサーバ２００には、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３に関連付けられた情報を示す画像情報が記憶されている。図４は表示ゾーンＺ１、Ｚ２、Ｚ３に関連付けられた情報の一例を示すものである。第１の表示ゾーンＺ１、第２の表示ゾーンＺ２、第３の表示ゾーンＺ３は、第３の表示ゾーンＺ３、第１の表示ゾーンＺ１、第２の表示ゾーンＺ２の順に優先度が高い情報が関連付けられている。すなわち、第１の表示ゾーンＺ１を基準として、より優先度の低い情報が第２の表示ゾーンＺ２に関連付けられており、より優先度が高い情報が第３の表示ゾーンＺ３に関連付けられている。第１の表示ゾーンＺ１には、２番目に優先度の高い（優先度「中」）、例えば使用者Ｕの状態（心拍数、脈拍、脳波など）や使用者Ｕが搭乗する車両Ｃ（使用者Ｕと共に移動する移動体の一例）の状態（走行速度、エンジン回転数、残燃料など）といった使用者Ｕ及び使用者と共に移動する移動体に関する情報（第１の情報）が関連付けられている。第２の表示ゾーンＺ２には、最も優先度の低い（優先度「低」）、例えば周辺の店舗情報や経路案内情報、ヒヤリハット情報といった風景に重畳して情報を付加するＡＲ情報（第２の情報）が関連付けられている。第３の表示ゾーンＺ３には、最も優先度の高い（優先度「高」）、例えば使用者Ｕの体調不良や車両Ｃの故障などの警告情報といった緊急度の高い警告状態に関する情報（第３の情報）が関連付けられている。
注視位置検出部２０は、視線検出や眼軸測定により使用者Ｕの注視位置を検出するものである。視線検出の場合は、ＣＣＤカメラなどで使用者Ｕの眼を撮像し、画像処理技術のパターンマッチング処理によって注視位置として使用者Ｕの視線方向を検出する。眼軸測定の場合は、使用者Ｕの眼球に超音波を照射し、眼の水晶体前面、後面、網膜前面までの距離をエコーの伝搬時間から算出することによって、眼軸長（角膜、前房、水晶体、硝子体の組織の軸長を含んだ眼の角膜前面から網膜前面までの長さ）及び水晶体厚を測定し、その測定結果から注視位置として使用者Ｕの焦点位置を検出する。注視位置検出部２０は、使用者Ｕの注視位置情報を制御部１０に送信する。
撮像部３０は、例えばＣＣＤカメラなどからなり、使用者Ｕ前方の風景画像を撮像するものである。撮像部３０は、使用者Ｕ前方の風景画像を撮像した撮像情報を制御部１０に送信する。
位置情報取得部４０は、例えばＧＰＳアンテナを含み、使用者Ｕの現在位置を取得するものである。位置情報取得部４０は、使用者Ｕの現在位置を示す位置情報を制御部１０に送信する。
状態情報取得部５０は、使用者Ｕの状態を検出する各種センサや使用者Ｕと共に移動する移動体（車両Ｃ）と接続され、使用者Ｕの状態を示す使用者状態情報や移動体の状態示す移動体状態情報を取得し、制御部１０に送信する。なお、使用者Ｕの状態としては、例えば心拍数、脈拍、脳波などが挙げられる。また、移動体が車両Ｃである場合、移動体の状態としては、走行速度、エンジン回転数、残燃料、走行距離などが挙げられる。
通信部６０は、クラウドサーバ２００との間で無線通信を行う送信部及び受信部からなり、制御部１０からの注視位置情報、後述する特定表示ゾーン情報、撮像情報、位置情報、状態情報等の各種情報をクラウドサーバ２００に送信し、クラウドサーバ２００から画像情報を受信し、制御部１０に送信する。
表示器７０は、例えばＴＦＴ型の液晶表示器や有機ＥＬ表示器からなり、所定の表示画像を表示して、表示画像を表す表示光を出射するものである。
結像位置調整部８０は、使用者Ｕに視認される表示画像の虚像の結像位置を変更可能とするものである。具体的には、一例として、表示器７０から使用者Ｕまでの表示光の光路長を変更するべく、表示器７０を移動させて表示器７０と図示しないレンズとの間の距離を変更可能とするモータなどから構成される。また、表示器７０とレンズとの間に光学部材が設けられる場合は、この光学部材の位置を変更するものであってもよい。さらに、結像位置の調整として、画像処理を行うものであってもよく、左右の視差によって結像位置を変更するために左右の眼に入射させる画像の位置を調整するものや、任意の焦点距離で画像が鮮明に視認されるように画像をぼかして表示するものであってもよい。この場合、制御部１０が結像位置調整部８０を兼ねても良い。したがって、結像位置の調整、変更には使用者Ｕの錯覚による場合も含む。
次に、図５を用いてＨＭＤ装置１００の注視位置に基づく通常表示処理について説明する。
まず、ステップＳ１０１において、制御部１０は、注視位置検出部２０から使用者Ｕの注視位置を示す注視位置情報を取得する。なお、情報の取得には、受信する場合のほか受信した情報に基づいて算出する場合を含む。
次に、ステップＳ１０２において、制御部１０は、注視位置情報に基づいて第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３のうちから、使用者Ｕが注視している表示ゾーン（以下、注視表示ゾーンともいう）を特定する。具体的に、制御部１０は、奥行き位置が最も注視位置に近い表示ゾーンを注視表示ゾーンに特定する。なお、注視位置情報に基づいて、注視表示ゾーンがないと判断する場合を含んでもよい。
また、ステップＳ１０３において、制御部１０は、撮像部３０から使用者Ｕ前方の風景画像を撮像した撮像情報を取得する。
また、ステップＳ１０４において、制御部１０は、位置情報取得部４０から使用者Ｕの現在位置を示す位置情報を取得する。
また、ステップＳ１０５において、制御部１０は、状態情報取得部５０から使用者Ｕ及び使用者Ｕと共に移動する移動体の状態を示す使用者状態情報及び移動体状態情報（以下、まとめて状態情報ともいう）を取得する。
次に、ステップＳ１０６において、制御部１０は、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報に基づいて、新たに警告状態が発生したか否かを判定する。なお、本実施形態における警告状態とは、第３の表示ゾーンＺ３に表示する、緊急度の高い情報が示す内容が発生した状態を意味している。制御部１０は、上述の情報の他にも外部から警告状態の発生を示す情報を受信して、新たに警告状態が発生したか否かを判定してもよい。ステップＳ１０６において新たに警告状態が発生していないと判定されると（ステップＳ１０６；Ｎｏ）、制御部１０はステップＳ１０７以降の処理を実行し、新たに警告状態が発生したと判定されると（ステップＳ１０６；Ｙｅｓ）、制御部はステップＳ１１１の警告表示処理を実行する。警告表示処理については後で詳述する。
ステップＳ１０７において、制御部１０は、ステップＳ１０２で決定した注視表示ゾーンを示す注視位置表示ゾーン情報、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報を通信部６０を介してクラウドサーバ２００に送信する。
ＨＭＤ装置１００（の通信部６０）からこれらの情報を受信したクラウドサーバ２００は、受信した注視表示ゾーン情報及び各種情報に基づいて、自身に蓄積される画像情報から特定された表示ゾーンに関連付けられた情報を示す画像情報を抽出する。具体的に、注視表示ゾーンが第１の表示ゾーンＺ１である場合、クラウドサーバ２００は、抽出する情報の種別を第１の表示ゾーンＺ１に関連付けられた「使用者Ｕ及び移動体に関する情報」とし、さらに、状態情報に基づいて表示するべき画像情報（例えば状態情報の値や程度を表す数字、文字、図柄など）を抽出する。また、注視表示ゾーンが第２の表示ゾーンＺ２である場合、クラウドサーバ２００は、抽出する情報の種別を第２の表示ゾーンＺ２に関連付けられた「風景に重畳するＡＲ情報」とし、さらに、注視位置情報、撮像情報及び位置情報に基づいて表示するべき画像情報（例えば、使用者Ｕの注視位置周辺の店舗情報、道路に重畳する経路案内マーク、現在位置周辺のヒヤリハット情報）を抽出する。また、注視表示ゾーンが第３の表示ゾーンＺ３である場合、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報（例えば使用者Ｕの体調不良や移動体の故障、不調を報知する文字、図柄など）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。
ＨＭＤ装置１００（の通信部６０）からこれらの情報を受信したクラウドサーバ２００は、受信した注視表示ゾーン情報及び各種情報に基づいて、自身に蓄積される画像情報から特定された表示ゾーンに関連付けられた情報を示す画像情報を抽出する。具体的に、注視表示ゾーンが第１の表示ゾーンＺ１である場合、クラウドサーバ２００は、抽出する情報の種別を第１の表示ゾーンＺ１に関連付けられた「使用者Ｕ及び移動体に関する情報」とし、さらに、状態情報に基づいて表示するべき画像情報（例えば状態情報の値や程度を表す数字、文字、図柄など）を抽出する。また、注視表示ゾーンが第２の表示ゾーンＺ２である場合、クラウドサーバ２００は、抽出する情報の種別を第２の表示ゾーンＺ２に関連付けられた「風景に重畳するＡＲ情報」とし、さらに、注視位置情報、撮像情報及び位置情報に基づいて表示するべき画像情報（例えば、使用者Ｕの注視位置周辺の店舗情報、道路に重畳する経路案内マーク、現在位置周辺のヒヤリハット情報）を抽出する。また、注視表示ゾーンが第３の表示ゾーンＺ３である場合、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報（例えば使用者Ｕの体調不良や移動体の故障、不調を報知する文字、図柄など）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。
次に、ステップＳ１０８において、制御部１０は、通信部６０を介してクラウドサーバ２００が抽出した画像情報を受信する。なお、ＨＭＤ装置１００は、クラウドサーバ２００から各表示ゾーンＺ１〜Ｚ３に関連付けられた情報を示す画像情報の一部を予め受信して内部の記憶部（図示しない）に記憶しておき、ステップＳ１０２で決定した注視表示ゾーンを示す注視位置表示ゾーン情報、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報に基づいて記憶部から注視表示ゾーンに関連付けられた情報のうち表示するべき画像情報を読み出してもよい。
次に、ステップＳ１０９において、制御部１０は、ステップＳ１０２で特定した注視表示ゾーンの奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させる。
次に、ステップＳ１１０において、制御部１０は、表示器７０にステップＳ１０７でクラウドサーバ２００から受信した画像情報に応じた表示画像を表示させる（表示画像を更新させる）。
以上の処理を繰り返し実行することによって、ＨＭＤ装置１００は、使用者Ｕの注視位置に応じて、注視位置に関連する情報を虚像として使用者Ｕに視認させることができる。これにより、使用者Ｕが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。
図６は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の表示例を示すものである。なお、図６では使用者Ｕに視認される表示画像の虚像を示している。図６（ａ）は、注視表示ゾーンが第１の表示ゾーンＺ１である場合の例を示す。図６（ａ）に示す例では、使用者Ｕ及び移動体に関する情報として、車両Ｃの走行速度（６０Ｋｍ／ｈ）と使用者Ｕの脈拍（８０ｂｐｍ）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ１が使用者Ｕに視認される。図６（ｂ）は、注視表示ゾーンが第２の表示ゾーンＺ２である場合の例を示す。図６（ｂ）に示す例では、風景に重畳するＡＲ情報として、経路案内マーク（矢印マーク）と駐車場マーク（「Ｐ」を含むアイコン）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ２が使用者Ｕに視認される。図６（ｃ）は、注視表示ゾーンが第３の表示ゾーンＺ３である場合の例を示す。図６（ｃ）に示す例では、緊急度の高い警告状態に関する情報として、残燃料の減少（警告状態）を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ３が使用者Ｕに視認される。
図７は、使用者Ｕが車両Ｃを運転している場合のＨＵＤ装置１００の他の表示例を示すものである。他の表示例では、ステップＳ１０１で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその虚像が注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視位置Ｐ近傍よりも外側に位置する情報に対して強調されるように表示器７０に表示画像が表示される。本実施形態においては、制御部１０は、注視位置情報と表示器７０に表示される表示画像における情報の位置とから、その虚像の少なくとも一部が使用者Ｕの注視位置Ｐを含む注視領域Ｅの内側に位置すると判断される場合に使用者Ｕの注視位置Ｐ近傍に位置すると判断し、その虚像が注視領域Ｅの外側に位置すると判断される場合に使用者Ｕの注視位置Ｐ近傍の外側に位置すると判断する。なお、注視領域Ｅは注視位置Ｐを中心として車両Ｃの水平方向（使用者Ｕの前後方向に対して垂直な方向）に広がる円状の範囲である。なお、図７では使用者Ｕに視認される表示画像の虚像を示している。図７は、注視表示ゾーンが第２の表示ゾーンＺ２である場合の例を示す。図７に示す例では、風景に重畳するＡＲ情報として、経路案内マーク（矢印マーク）と駐車場マーク（「Ｐ」を含むアイコン）を含む表示画像が表示器７０に表示され、その表示画像の虚像Ｖ２２が使用者Ｕに視認される。さらに、表示画像に含まれるＡＲ情報のうち、経路案内マークはその虚像の一部が注視領域Ｅの内側に位置し、駐車場マークはその虚像が注視領域Ｅの外側に位置しており、経路案内マークが駐車場マークよりも強調されている表示画像が表示器７０に表示される。ここで、特定の情報を他の情報よりも強調するとは、特定の情報が他の情報よりも鮮明に使用者Ｕに視認されることを意味し、その具体的な方法としては、特定の情報の表示輝度を他の情報よりも高くする、表示色を異ならせるなどのほか、他の情報の表示輝度を下げる、他の情報の表示色をカラーからモノクロ（白黒）とする、他の情報をぼかして表示する（ピントをずらす）など他の情報の視認性を強調する特定の情報よりも低下させて相対的に強調する方法がある。なお、かかる他の表示例では、注視表示ゾーンが第１、第３の表示ゾーンＺ１、Ｚ３である場合も同様に、ステップＳ１０１で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその虚像の少なくとも一部が使用者Ｕの注視位置Ｐを含む注視領域Ｅの内側、すなわち注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視領域Ｅよりも外側に位置する情報に対して強調されるように表示器７０に表示画像が表示され、その虚像が使用者Ｕに視認される。
次に、ステップＳ１１１における警告表示処理について図８を用いて説明する。
まず、ステップＳ１２１において、制御部１０は、警告状態の発生を示す警告状態発生情報、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報を通信部６０を介してクラウドサーバ２００に送信する。
ＨＭＤ装置１００（の通信部６０）からこれらの情報を受信したクラウドサーバ２００は、受信した警告状態発生情報及び各種情報に基づいて、自身に蓄積される画像情報から第３の表示ゾーンＺ３に関連付けられた情報を示す画像情報を抽出する。具体的に、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報（新たに発生した警告状態に関する画像情報）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。
まず、ステップＳ１２１において、制御部１０は、警告状態の発生を示す警告状態発生情報、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報を通信部６０を介してクラウドサーバ２００に送信する。
ＨＭＤ装置１００（の通信部６０）からこれらの情報を受信したクラウドサーバ２００は、受信した警告状態発生情報及び各種情報に基づいて、自身に蓄積される画像情報から第３の表示ゾーンＺ３に関連付けられた情報を示す画像情報を抽出する。具体的に、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報（新たに発生した警告状態に関する画像情報）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。
次に、ステップＳ１２２において、制御部１０は、通信部６０を介してクラウドサーバ２００が抽出した画像情報を受信する。このとき、クラウドサーバ２００から受信する画像情報は、第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報となる。
次に、ステップＳ１２３において、制御部１０は、第３の表示ゾーンＺ３の奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させる。
次に、ステップＳ１２４において、制御部１０は、表示器７０にステップＳ１０７でクラウドサーバ２００から受信した、第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報に応じた表示画像を表示させる（表示画像を更新させる）。
以上の処理を実行することによって、ＨＭＤ装置１００は、警告状態が新たに発生した場合には、使用者Ｕの注視位置に係わらず、優先順位の高い情報を虚像として使用者Ｕに視認させることができる。これにより、新たに発生した優先順位の高い情報が使用者Ｕに近い結像位置で自動的に表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。なお、警告状態が継続する場合、制御部１０は、ステップＳ１０１からの処理を繰り返し実行することで、再び使用者Ｕの注視表示ゾーンに関連付けられた情報を示す表示画像の表示を行う。すなわち、使用者Ｕの注視位置が第３の表示ゾーンＺ３に維持されない場合は、虚像の結像位置が他の表示ゾーンに移動し、また、視認される虚像はその表示内容が緊急度の高い警告状態に関する情報から使用者Ｕの注視表示ゾーンに関連付けられた情報に切り替わることとなる。
図９は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の警告表示処理による表示例を示すものである。なお、図８においては使用者Ｕに視認される表示画像の虚像を示している。図９（ａ）に示す第１の例では、警告表示処理により、使用者Ｕの注視位置に応じた情報の表示に替えて、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））のみを含む表示画像が表示器７０に表示され、その表示画像の虚像Ｖ４が使用者Ｕに視認される。図９（ｂ）に示す第２の例では、警告表示処理により、使用者Ｕの注視表示ゾーンに関連付けられた情報の表示（風景に重畳するＡＲ情報（経路案内マーク（矢印マーク）及び駐車場マーク（「Ｐ」を含むアイコン））に、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））が使用者Ｕ側となるように重なり、かつ緊急度の高い警告状態に関する情報が使用者Ｕの注視表示ゾーンに関連付けられた情報よりも強調されている表示画像が表示器７０に表示され、その表示画像の虚像Ｖ５が使用者Ｕに視認される。情報を強調する具体的な方法としては、その表示輝度を他の情報よりも高くする、表示色を異ならせるなど前述の方法が用いられる。図９（ｃ）に示す第３の例では、警告表示処理により、使用者Ｕの注視表示ゾーンに関連付けられた情報の表示（風景に重畳するＡＲ情報（経路案内マーク（矢印マーク）及び駐車場マーク（「Ｐ」を含むアイコン））に、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））が使用者Ｕ側となるように重なり、かつ、使用者Ｕの注視表示ゾーンに関連付けられた情報が緊急度の高い警告状態に関する情報よりも視認性を下げられた表示画像が表示器７０に表示され、その表示画像の虚像Ｖ６が使用者Ｕに視認される。情報の視認性を下げる具体的な方法としては、その表示輝度を他の情報よりも低くする、彩度及び／あるいは明度を下げる、表示をぼかす（ピントをずらす）、一部（例えば緊急度の高い警告状態に関する情報と重なる部分及び周辺部分）を非表示とする、大きさを縮小するなどの方法がある。さらに、図９（ｄ）に示す例の表示画像の虚像Ｖ７のように、情報の視認性を下げる方法として、使用者Ｕの注視表示ゾーンに関連付けられた情報を緊急度の高い警告状態に関する情報と重ならない表示位置に移動させてもよい。
本実施形態におけるＨＭＤ装置１００は、使用者Ｕに風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、使用者Ｕの注視位置を検出する注視位置検出部２０と、表示画像を示す表示光を出射する表示器７０と、クラウドサーバ２００と通信可能な通信部６０と、通信部６０を介してクラウドサーバ２００から取得した画像情報に応じた表示画像を表示器７０に表示させる制御部１０と、前記表示光によって使用者Ｕに視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部８０と、を備え、
制御部１０は、使用者Ｕ前方に奥行き方向の位置が異なる複数の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定し、注視位置検出部２０からの注視位置情報に基づいて使用者Ｕが注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させ、通信部６０を介してクラウドサーバ２００から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器７０に取得した前記画像情報に応じた前記表示画像を表示させる。
制御部１０は、使用者Ｕ前方に奥行き方向の位置が異なる複数の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定し、注視位置検出部２０からの注視位置情報に基づいて使用者Ｕが注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させ、通信部６０を介してクラウドサーバ２００から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器７０に取得した前記画像情報に応じた前記表示画像を表示させる。
これによれば、使用者Ｕが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。
また、ＨＭＤ装置１００は、複数の表示ゾーンとして、第１の表示ゾーンＺ１とこの第１の表示ゾーンＺ１よりも奥行き側に位置する第２の表示ゾーンＺ２が設定され、
クラウドサーバ２００において、第１の表示ゾーンＺ１に関連付けられて使用者Ｕ及び／あるいは使用者Ｕと共に移動する移動体（車両Ｃ）に関する第１の情報が記憶されており、第２の表示ゾーンＺ２に関連付けられて風景に重畳する第２の情報が記憶されている。
またさらに、ＨＭＤ装置１００は、複数の表示ゾーンとして、さらに第１の表示ゾーンＺ１よりも手前側に位置する第３の表示ゾーンＺ３が設定され、
クラウドサーバ２００において、第３の表示ゾーンＺ３に関連付けられて警告状態に関する第３の情報が記憶されている。
これによれば、使用者Ｕが注視する位置に応じて優先度の異なる情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の視認性を向上することができる。
クラウドサーバ２００において、第１の表示ゾーンＺ１に関連付けられて使用者Ｕ及び／あるいは使用者Ｕと共に移動する移動体（車両Ｃ）に関する第１の情報が記憶されており、第２の表示ゾーンＺ２に関連付けられて風景に重畳する第２の情報が記憶されている。
またさらに、ＨＭＤ装置１００は、複数の表示ゾーンとして、さらに第１の表示ゾーンＺ１よりも手前側に位置する第３の表示ゾーンＺ３が設定され、
クラウドサーバ２００において、第３の表示ゾーンＺ３に関連付けられて警告状態に関する第３の情報が記憶されている。
これによれば、使用者Ｕが注視する位置に応じて優先度の異なる情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の視認性を向上することができる。
また、ＨＭＤ装置１００において、制御部１０は、取得した前記画像情報に応じた前記表示画像を表示器７０に表示させる際に、前記注視位置情報に基づいて前記表示画像に含まれる前記情報のうちその虚像が使用者Ｕの注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視位置Ｐ近傍よりも外側に位置する情報に対して強調されるように表示器７０に前記表示画像を表示させる。
これによれば、使用者Ｕが虚像によって付加される情報のうち、より注視位置に近い情報を瞬時に認識することができ、情報の視認性を向上することができる。
これによれば、使用者Ｕが虚像によって付加される情報のうち、より注視位置に近い情報を瞬時に認識することができ、情報の視認性を向上することができる。
また、ＨＭＤ装置１００において、制御部１０は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、前記注視位置情報に係わらず前記表示画像の虚像の結像位置を第３の表示ゾーンＺ３の奥行き位置に一致するように結像位置調整部８０を駆動させ、通信部６０を介してクラウドサーバ２００から前記第３の情報を示す画像情報を取得して、表示器７０に取得した前記第３の情報を示す画像情報に応じた前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示でき、状況に応じた最適な情報を提供することができる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示でき、状況に応じた最適な情報を提供することができる。
また、ＨＭＤ装置１００において、制御部１０は、前記警告状態が発生したと判定し、表示器７０に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記第３の情報が前記情報よりも強調されるように前記表示器に前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
また、ＨＭＤ装置１００において、制御部１０は、前記警告状態が発生したと判定し、表示器７０に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記情報が前記第３の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ装置に好適である。
１００ ヘッドマウントディスプレイ装置（ＨＭＤ装置）
１０ 制御部
２０ 注視位置検出部
３０ 撮像部
４０ 位置情報取得部
５０ 状態情報取得部
６０ 通信部
７０ 表示器
８０ 結像位置調整部
Ｃ 車両
Ｕ 使用者
Ｖ１〜Ｖ７、Ｖ２２ 表示画像の虚像
１０ 制御部
２０ 注視位置検出部
３０ 撮像部
４０ 位置情報取得部
５０ 状態情報取得部
６０ 通信部
７０ 表示器
８０ 結像位置調整部
Ｃ 車両
Ｕ 使用者
Ｖ１〜Ｖ７、Ｖ２２ 表示画像の虚像
Claims (7)
- 使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、
使用者の注視位置を検出する注視位置検出部と、
表示画像を示す表示光を出射する表示器と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者が注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とするヘッドマウントディスプレイ装置。 - 前記複数の表示ゾーンとして、第１の表示ゾーンとこの第１の表示ゾーンよりも奥行き側に位置する第２の表示ゾーンが設定され、
前記外部サーバにおいて、前記第１の表示ゾーンに関連付けられて使用者及び／あるいは使用者と共に移動する移動体に関する第１の情報が記憶されており、前記第２の表示ゾーンに関連付けられて風景に重畳する第２の情報が記憶されている、ことを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。 - 前記複数の表示ゾーンとして、さらに前記第１の表示ゾーンよりも手前側に位置する第３の表示ゾーンが設定され、
前記外部サーバにおいて、前記第３の表示ゾーンに関連付けられて警告状態に関する第３の情報が記憶されている、ことを特徴とする請求項２に記載のヘッドマウントディスプレイ装置。 - 前記制御部は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、前記注視位置情報に係わらず前記表示画像の虚像の結像位置を前記第３の表示ゾーンの奥行き位置に一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから前記第３の情報を示す画像情報を取得して、前記表示器に取得した前記第３の情報を示す画像情報に応じた前記表示画像を表示させる、ことを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。
- 前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記第３の情報が前記情報よりも強調されるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項４に記載のヘッドマウントディスプレイ装置。
- 前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記情報が前記第３の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項４に記載のヘッドマウントディスプレイ装置。
- 前記制御部は、取得した前記画像情報に応じた前記表示画像を前記表示器に表示させる際に、前記注視位置情報に基づいて前記表示画像に含まれる前記情報のうちその虚像が前記使用者の注視位置近傍に位置する情報をその虚像が前記使用者の注視位置近傍よりも外側に位置する情報に対して強調されるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/557,351 US10288882B2 (en) | 2015-03-12 | 2016-03-07 | Head mounted display device |
| PCT/JP2016/057008 WO2016143744A1 (ja) | 2015-03-12 | 2016-03-07 | ヘッドマウントディスプレイ装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015049921 | 2015-03-12 | ||
| JP2015049921 | 2015-03-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016171550A JP2016171550A (ja) | 2016-09-23 |
| JP6443677B2 true JP6443677B2 (ja) | 2018-12-26 |
Family
ID=56982603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015057277A Active JP6443677B2 (ja) | 2015-03-12 | 2015-03-20 | ヘッドマウントディスプレイ装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10288882B2 (ja) |
| JP (1) | JP6443677B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11037532B2 (en) * | 2016-02-08 | 2021-06-15 | Sony Corporation | Information processing apparatus and information processing method |
| US10908279B2 (en) * | 2016-03-11 | 2021-02-02 | Facebook Technologies, Llc | Ultrasound/radar for eye tracking |
| US10339933B2 (en) * | 2016-05-11 | 2019-07-02 | International Business Machines Corporation | Visualization of audio announcements using augmented reality |
| JP7092688B2 (ja) * | 2017-02-17 | 2022-06-28 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
| JP2018151851A (ja) * | 2017-03-13 | 2018-09-27 | セイコーエプソン株式会社 | 透過型表示装置、表示制御方法、およびコンピュータープログラム |
| JP6984341B2 (ja) * | 2017-11-17 | 2021-12-17 | 株式会社アイシン | 重畳画像表示装置及びコンピュータプログラム |
| US11188944B2 (en) | 2017-12-04 | 2021-11-30 | At&T Intellectual Property I, L.P. | Apparatus and methods for adaptive signage |
| JP6993068B2 (ja) * | 2018-01-09 | 2022-01-13 | アルパイン株式会社 | 表示システム |
| JP7043845B2 (ja) * | 2018-01-17 | 2022-03-30 | トヨタ自動車株式会社 | 車両用表示連携制御装置 |
| JP7087481B2 (ja) | 2018-03-13 | 2022-06-21 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム |
| CN108399903B (zh) * | 2018-03-27 | 2020-11-27 | 京东方科技集团股份有限公司 | 一种成像位置的调节方法及装置、平视显示系统 |
| DE102018219481A1 (de) * | 2018-11-15 | 2020-05-20 | Robert Bosch Gmbh | Baugruppe für einen LiDAR-Sensor und LiDAR-Sensor |
| EP3884300B1 (en) * | 2018-11-19 | 2024-06-12 | Suteng Innovation Technology Co., Ltd. | Lidar signal receiving circuits, lidar signal gain control methods, and lidars using the same |
| JP7201486B2 (ja) * | 2019-03-13 | 2023-01-10 | 日立建機株式会社 | 作業機械 |
| DE102019127170A1 (de) * | 2019-10-09 | 2021-04-15 | Bayerische Motoren Werke Aktiengesellschaft | Fortbewegungsmittel und Anordnung zur Information eines Anwenders eines Fortbewegungsmittels |
| KR102097390B1 (ko) * | 2019-10-10 | 2020-04-06 | 주식회사 메디씽큐 | 시선 검출 기반의 스마트 안경 표시 장치 |
| KR20210091580A (ko) * | 2020-01-14 | 2021-07-22 | 삼성전자주식회사 | 3차원 영상 표시 장치 및 방법 |
| JPWO2021192673A1 (ja) * | 2020-03-27 | 2021-09-30 | ||
| DE102020207314A1 (de) * | 2020-06-11 | 2021-12-16 | Volkswagen Aktiengesellschaft | Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Fortbewegungsmittel |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10262165A (ja) | 1997-03-19 | 1998-09-29 | Sony Corp | 映像表示装置およびパソコン |
| US9100640B2 (en) * | 2010-08-27 | 2015-08-04 | Broadcom Corporation | Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information |
| JP2012244396A (ja) * | 2011-05-19 | 2012-12-10 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
| US9147111B2 (en) * | 2012-02-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Display with blocking image generation |
| JP6186689B2 (ja) | 2012-09-26 | 2017-08-30 | セイコーエプソン株式会社 | 映像表示システム |
| JP6119228B2 (ja) | 2012-12-13 | 2017-04-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
| JP6318470B2 (ja) * | 2013-05-15 | 2018-05-09 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
| JP6225546B2 (ja) | 2013-08-02 | 2017-11-08 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 |
-
2015
- 2015-03-20 JP JP2015057277A patent/JP6443677B2/ja active Active
-
2016
- 2016-03-07 US US15/557,351 patent/US10288882B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US10288882B2 (en) | 2019-05-14 |
| US20180239136A1 (en) | 2018-08-23 |
| JP2016171550A (ja) | 2016-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6443677B2 (ja) | ヘッドマウントディスプレイ装置 | |
| US20140098008A1 (en) | Method and apparatus for vehicle enabled visual augmentation | |
| JP6264037B2 (ja) | 車両用情報表示装置及び車両用情報表示方法 | |
| US20230249618A1 (en) | Display system and display method | |
| JP4501778B2 (ja) | 車両用情報表示方法及び車両用情報表示装置 | |
| JP4970379B2 (ja) | 車両用表示装置 | |
| JP2015015708A (ja) | 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置 | |
| JP4367212B2 (ja) | 虚像表示装置およびプログラム | |
| JP6620977B2 (ja) | 表示制御装置、投影装置、および表示制御プログラム | |
| JP2017009406A (ja) | 車両用表示システム | |
| JP2021121536A (ja) | 制御装置、画像表示方法及びプログラム | |
| JP2018041011A (ja) | 表示装置 | |
| JP5008611B2 (ja) | 車両用表示装置 | |
| US9875562B2 (en) | Vehicle information display device and vehicle information display method | |
| JP2011128799A (ja) | 運転者状態推定装置及び運転者状態推定方法 | |
| JP2017167623A (ja) | 情報表示装置、情報表示方法及びプログラム | |
| CN108885802B (zh) | 信息处理装置、信息处理方法和存储介质 | |
| JP6485310B2 (ja) | 情報提供システム、情報提供方法及びコンピュータプログラム | |
| WO2016143744A1 (ja) | ヘッドマウントディスプレイ装置 | |
| JP6315427B2 (ja) | 表示制御装置、表示制御方法、表示制御プログラム、および投影装置 | |
| JP2018041010A (ja) | 表示装置 | |
| JP2018042166A (ja) | 表示装置 | |
| JP2018039444A (ja) | 車両用表示装置 | |
| JP2018041008A (ja) | 表示装置 | |
| JP2018041009A (ja) | 表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6443677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |