WO2016143744A1 - ヘッドマウントディスプレイ装置 - Google Patents

ヘッドマウントディスプレイ装置 Download PDF

Info

Publication number
WO2016143744A1
WO2016143744A1 PCT/JP2016/057008 JP2016057008W WO2016143744A1 WO 2016143744 A1 WO2016143744 A1 WO 2016143744A1 JP 2016057008 W JP2016057008 W JP 2016057008W WO 2016143744 A1 WO2016143744 A1 WO 2016143744A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
information
image
user
zone
Prior art date
Application number
PCT/JP2016/057008
Other languages
English (en)
French (fr)
Inventor
輝子 石川
郁代 笹島
悠樹 ▲高▼橋
忠滋 牧野
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015057277A external-priority patent/JP6443677B2/ja
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Priority to US15/557,351 priority Critical patent/US10288882B2/en
Publication of WO2016143744A1 publication Critical patent/WO2016143744A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to a transmissive head-mounted display (HMD) device that allows a viewer to visually recognize a virtual image superimposed on a landscape.
  • HMD head-mounted display
  • the HMD device is a display device that is worn on the head, projects display light from a display device to a user using a projection optical system or a light guide, and the like, and displays a virtual image of a display image indicated by the display light to the user. It is to be visually recognized.
  • the user can visually recognize the virtual image obtained by the HMD device by superimposing a front real scene.
  • the HMD device can apply a technology called augmented reality (AR). That is, by displaying an AR image related to a real landscape as a display image, information can be added to the real landscape.
  • AR augmented reality
  • Patent Documents 2 and 3 technologies capable of changing the imaging position of a virtual image visually recognized by a user are disclosed in Patent Documents 2 and 3.
  • the technique disclosed in Patent Document 2 changes the imaging position of a virtual image by mechanically switching the distance between the display panel and the magnifying optical member by a virtual image distance control means.
  • the technique disclosed in Patent Document 3 changes the imaging position of a virtual image by image processing by moving an emission region of an image formed by display light from a pair of display driving units.
  • JP 2014-119786 A Japanese Patent Laid-Open No. 10-262165 Japanese Patent Laying-Open No. 2015-32131
  • a transmissive HMD device can provide information superimposed on a real scene by a virtual image.
  • a virtual image is always visible in the user's field of view, much information is visually recognized. In this case, there is a problem that it is troublesome for the user, and the user cannot organize the information, and the recognizability of each information is lowered.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an HMD device capable of organizing information added by a user and improving information recognizability.
  • the head-mounted display device of the present invention is a head-mounted display device that allows a user to visually recognize a virtual image superimposed on a landscape, A display that emits display light indicating a display image; A gaze position detector that detects the gaze position of the user; A communication unit capable of communicating with an external server; A control unit that causes the display to display a display image corresponding to image information acquired from the external server via the communication unit; An imaging position adjustment unit capable of adjusting an imaging position of a virtual image of the display image visually recognized by the user by the display light, The control unit virtually sets a plurality of display zones having different positions in the depth direction in front of the user, and identifies the display zone in which the user is gazing based on gaze position information from the gaze position detection unit The display position specified from the external server via the communication unit is driven by driving the imaging position adjustment unit so that the specified depth position of the display zone matches the imaging position of the virtual image of the display image.
  • Image information indicating information associated with a zone is acquired, and
  • the present invention can organize information added by the user and improve information recognizability.
  • FIG. 1 shows the general view of the head mounted display apparatus which is 1st embodiment of this invention. It is a block diagram which shows the electrical constitution of a head mounted display apparatus same as the above. It is a figure which shows the state which the user with which the head mounted display apparatus same as the above boarded. It is a figure which shows an example of the information linked
  • FIG. 1 is a diagram illustrating an overview of a head mounted display device (hereinafter also referred to as an HMD device) 100 according to the first embodiment of the present invention
  • FIG. 2 is a diagram illustrating an electrical configuration of the HMD device 100.
  • the HMD device 100 includes a control unit 10, a gaze position detection unit 20, an imaging unit 30, a position information acquisition unit 40, a state information acquisition unit 50, a communication unit 60, a display unit 70, and an imaging position adjustment. Unit 80.
  • the HMD device 100 is a glasses-type display device worn on the user U's head.
  • the HMD device 100 is connected to the cloud server (external server) 200 by wireless communication, and constitutes a display system including the HMD device 100 and the cloud server 200.
  • the cloud server external server
  • the cloud server 200 stores biological information such as personal information and physical information of the user U, map information, and various types of information associated with first, second, and third display zones Z1, Z2, and Z3 described later.
  • the image information shown is accumulated by network communication.
  • the HMD device 100 receives arbitrary image information from the cloud server 200 by display processing to be described later, displays a display image indicating various information, and displays display light indicating the display image via a lens or an optical member (not shown). The light is incident on the eyes of the user U, and the user U is made to visually recognize the virtual image of the display image so as to overlap the scenery in front.
  • the control unit 10 is composed of, for example, a microcomputer.
  • a CPU Central Processing Unit
  • RAM Random Access
  • ROM Read Only Memory
  • the control unit 10 may include various dedicated circuits (for example, an image processing circuit) for executing part of the processing performed by the control unit 10 instead of the CPU.
  • the control unit 10 virtually sets first, second, and third display zones Z1, Z2, and Z3 having different depth directions in front of the user U.
  • the first display zone Z1 is a display zone located between the second display zone Z2 and the third display zone Z3.
  • the second display zone Z2 is a display zone located closer to the depth side (most depth side) than the first display zone Z1.
  • the third display zone Z3 is a display zone located on the user U side (most front side) with respect to the first display zone Z1.
  • the depth positions of the display zones Z1, Z2, and Z3 are arbitrarily set.
  • the user U sits in the driver's seat of the vehicle C and looks at the front of the vehicle C. For example, it can be set as follows.
  • the vicinity of the steering wheel C1 located between the user U (driver) and the instrument panel C2 is set as the depth position.
  • the depth position is near the instrument panel C2 on the depth side of the steering C1.
  • the second display zone Z2 has a depth position in the vicinity of a landscape 15 m away from the user U that can be viewed from the windshield, on the depth side of the instrument panel C2.
  • the cloud server 200 stores image information indicating information associated with the first, second, and third display zones Z1, Z2, and Z3.
  • FIG. 4 shows an example of information associated with the display zones Z1, Z2, and Z3.
  • the first display zone Z1 as a reference, information with lower priority is associated with the second display zone Z2, and information with higher priority is associated with the third display zone Z3.
  • the first display zone Z1 has the second highest priority (priority “medium”), for example, the state of the user U (heart rate, pulse, brain wave, etc.) and the vehicle C (use) Information (first information) related to the user U and the mobile object moving with the user, such as a state (traveling speed, engine speed, remaining fuel, etc.) of the moving object moving with the user U is associated.
  • the second display zone Z2 has the lowest priority (priority level “low”), for example, AR information (second second) that is superimposed on a landscape such as nearby store information, route guidance information, and near-miss information. Information).
  • the third display zone Z3 has the highest priority (priority “high”), for example, information related to a warning state with a high degree of urgency such as warning information such as a physical condition of the user U or a failure of the vehicle C (third Information).
  • the gaze position detection unit 20 detects the gaze position of the user U by gaze detection or eye axis measurement.
  • gaze detection the eyes of the user U are imaged with a CCD camera or the like, and the gaze direction of the user U is detected as a gaze position by pattern matching processing of image processing technology.
  • the user's U's eyeball is irradiated with ultrasonic waves, and the distance to the front lens surface, the rear surface, and the front surface of the retina is calculated from the echo propagation time.
  • the length of the lens including the axial length of the lens and vitreous tissue from the front of the cornea to the front of the retina) and the lens thickness are measured, and the focus position of the user U is detected as the gaze position from the measurement result.
  • the gaze position detection unit 20 transmits gaze position information of the user U to the control unit 10.
  • the imaging unit 30 is composed of a CCD camera, for example, and images a landscape image in front of the user U.
  • the imaging unit 30 transmits imaging information obtained by capturing a landscape image in front of the user U to the control unit 10.
  • the position information acquisition unit 40 includes a GPS antenna, for example, and acquires the current position of the user U.
  • the position information acquisition unit 40 transmits position information indicating the current position of the user U to the control unit 10.
  • the state information acquisition unit 50 is connected to various sensors that detect the state of the user U and a moving body (vehicle C) that moves together with the user U, and the user state information indicating the state of the user U and the state of the moving body
  • the moving body state information shown is acquired and transmitted to the control unit 10.
  • a state of the user U a heart rate, a pulse, an electroencephalogram, etc. are mentioned, for example.
  • examples of the state of the moving body include travel speed, engine speed, remaining fuel, travel distance, and the like.
  • the communication unit 60 includes a transmission unit and a reception unit that perform wireless communication with the cloud server 200, such as gaze position information from the control unit 10, specific display zone information, imaging information, position information, and state information described below. Various information is transmitted to the cloud server 200, image information is received from the cloud server 200, and is transmitted to the control unit 10.
  • the display unit 70 includes, for example, a TFT liquid crystal display unit or an organic EL display unit, displays a predetermined display image, and emits display light representing the display image.
  • the imaging position adjustment unit 80 can change the imaging position of the virtual image of the display image visually recognized by the user U. Specifically, as an example, in order to change the optical path length of the display light from the display unit 70 to the user U, the display unit 70 can be moved to change the distance between the display unit 70 and a lens (not shown). It consists of a motor that performs. Further, when an optical member is provided between the display 70 and the lens, the position of the optical member may be changed. Further, the image formation position may be adjusted by performing image processing, such as adjusting the position of the image incident on the left and right eyes in order to change the image formation position according to the left and right parallax, and an arbitrary focus.
  • image processing such as adjusting the position of the image incident on the left and right eyes in order to change the image formation position according to the left and right parallax, and an arbitrary focus.
  • the image may be displayed so as to be blurred so that the image is clearly visible at a distance.
  • the control unit 10 may also serve as the imaging position adjustment unit 80. Therefore, the adjustment and change of the imaging position includes the case based on the illusion of the user U.
  • step S101 the control unit 10 acquires gaze position information indicating the gaze position of the user U from the gaze position detection unit 20.
  • the acquisition of information includes the case of calculating based on the received information in addition to the case of receiving.
  • the control unit 10 displays the display zone (hereinafter referred to as the display zone) in which the user U is gazing from the first, second, and third display zones Z1, Z2, and Z3 based on the gaze position information. , Also referred to as a gaze display zone). Specifically, the control unit 10 specifies a display zone whose depth position is closest to the gaze position as the gaze display zone. A case where it is determined that there is no gaze display zone based on the gaze position information may be included.
  • step S103 the control unit 10 acquires imaging information obtained by imaging a landscape image in front of the user U from the imaging unit 30.
  • step S104 the control unit 10 acquires position information indicating the current position of the user U from the position information acquisition unit 40.
  • step S105 the control unit 10 receives the user state information and the mobile body state information (hereinafter collectively referred to as state information) indicating the state of the mobile body moving together with the user U and the user U from the state information acquisition unit 50. Say).
  • state information the mobile body state information
  • step S106 the control unit 10 determines whether or not a new warning state has occurred based on the gaze position information, imaging information, and state information acquired in steps S101 and S103 to S105.
  • the warning state in the present embodiment means a state in which the content indicated by the highly urgent information displayed in the third display zone Z3 has occurred.
  • the control unit 10 may receive information indicating the occurrence of a warning state from the outside and determine whether or not a new warning state has occurred.
  • step S106 If it is determined in step S106 that a new warning condition has not occurred (step S106; No), the control unit 10 executes the processing from step S107 onward, and if it is determined that a new warning condition has occurred ( In step S106; Yes), the control unit executes warning display processing in step S111.
  • the warning display process will be described in detail later.
  • step S107 the control unit 10 transmits the gaze position display zone information indicating the gaze display zone determined in step S102 and the gaze position information, imaging information, and state information acquired in steps S101 and S103 to S105 via the communication unit 60. It transmits to the cloud server 200.
  • the cloud server 200 that has received these pieces of information from the HMD device 100 (the communication unit 60 thereof) is associated with the display zone specified from the image information stored in itself based on the received gaze display zone information and various types of information.
  • the image information indicating the acquired information is extracted. Specifically, when the gaze display zone is the first display zone Z1, the cloud server 200 sets the type of information to be extracted as “information about the user U and the moving object” associated with the first display zone Z1.
  • image information to be displayed based on the state information (for example, numbers, characters, designs, etc. representing the value and degree of the state information) is extracted.
  • the cloud server 200 sets the type of information to be extracted as “AR information superimposed on the landscape” associated with the second display zone Z2, and further Image information to be displayed based on the position information, the imaging information, and the position information (for example, store information around the gaze position of the user U, a route guidance mark superimposed on the road, and near-miss information around the current position) is extracted.
  • the gaze display zone is the third display zone Z3
  • the cloud server 200 sets the type of information to be extracted as “information related to a warning state with a high degree of urgency” associated with the third display zone Z3.
  • image information to be displayed based on the state information or the like (for example, characters or symbols for notifying the user U of poor physical condition, moving body failure or malfunction) is extracted.
  • the cloud server 200 transmits the extracted image information to the HMD device 100.
  • step S108 the control unit 10 receives the image information extracted by the cloud server 200 via the communication unit 60.
  • the HMD device 100 previously receives a part of image information indicating information associated with each of the display zones Z1 to Z3 from the cloud server 200 and stores it in an internal storage unit (not shown), and step S102.
  • the information is displayed from the information associated with the gaze display zone from the storage unit.
  • Image information to be read may be read out.
  • step S109 the control unit 10 drives the imaging position adjustment unit 80 so that the depth position of the gaze display zone specified in step S102 matches the imaging position of the virtual image of the display image.
  • step S110 the control unit 10 causes the display device 70 to display a display image corresponding to the image information received from the cloud server 200 in step S107 (update the display image).
  • the HMD device 100 can cause the user U to visually recognize information related to the gaze position as a virtual image according to the gaze position of the user U.
  • information related to the position where the user U is gazing is automatically switched and displayed, so that the information added by the virtual image can be easily arranged by the user U, and the information recognizability is improved. be able to.
  • FIG. 6 shows a display example of the HMD device 100 when the user U is driving the vehicle C.
  • the virtual image of the display image visually recognized by the user U is shown.
  • FIG. 6A shows an example in which the gaze display zone is the first display zone Z1.
  • a display image showing the traveling speed (60 Km / h) of the vehicle C and the pulse (80 bpm) of the user U is displayed on the display 70 as information on the user U and the moving body.
  • the virtual image V1 of the display image is visually recognized by the user U.
  • FIG. 6B shows an example in which the gaze display zone is the second display zone Z2. In the example shown in FIG.
  • FIG. 6B a display image showing a route guidance mark (arrow mark) and a parking lot mark (icon including “P”) is displayed on the display unit 70 as AR information superimposed on the landscape.
  • the virtual image V2 of the display image is visually recognized by the user U.
  • FIG. 6C shows an example in which the gaze display zone is the third display zone Z3.
  • a display showing a text message (letter “fuel reduction. Please refuel”) that informs the decrease of the remaining fuel (warning state) as information on the warning state with a high degree of urgency.
  • the image is displayed on the display 70, and the virtual image V3 of the display image is visually recognized by the user U.
  • FIG. 7 shows another display example of the HUD device 100 when the user U is driving the vehicle C.
  • information indicating that the virtual image is located in the vicinity of the gaze position P among the information included in the display image is obtained from the vicinity of the gaze position P of the user U.
  • the display image is displayed on the display unit 70 so as to be emphasized with respect to the information located outside.
  • the control unit 10 uses the gaze position information and the position of the information in the display image displayed on the display unit 70, so that at least a part of the virtual image includes the gaze position P of the user U. If the virtual image is determined to be located outside the gaze area E, the outside of the vicinity of the gaze position P of the user U is determined.
  • the gaze region E is a circular range that extends in the horizontal direction of the vehicle C (a direction perpendicular to the front-rear direction of the user U) with the gaze position P as the center.
  • the virtual image of the display image visually recognized by the user U is shown.
  • FIG. 7 shows an example in which the gaze display zone is the second display zone Z2.
  • a display image including a route guidance mark (arrow mark) and a parking lot mark (icon including “P”) is displayed on the display unit 70 as AR information to be superimposed on the landscape.
  • the virtual image V22 is visually recognized by the user U.
  • a part of the virtual image of the route guidance mark is located inside the gaze area E, and the parking mark is located outside the gaze area E of the parking lot mark.
  • a display image in which the guidance mark is emphasized more than the parking lot mark is displayed on the display 70.
  • emphasizing specific information over other information means that the specific information is visually recognized by the user U more clearly than the other information.
  • the information included in the display image is similarly based on the gaze position information acquired in step S101.
  • information indicating that at least a part of the virtual image is located inside the gaze area E including the gaze position P of the user U, that is, in the vicinity of the gaze position P is information that the virtual image is located outside the gaze area E of the user U.
  • the display image is displayed on the display unit 70 so as to be emphasized, and the virtual image is visually recognized by the user U.
  • step S121 the control unit 10 transmits warning state occurrence information indicating the occurrence of a warning state, gaze position information, imaging information, and state information acquired in steps S101 and S103 to S105 via the communication unit 60 to the cloud server 200.
  • the cloud server 200 that has received the information from the HMD device 100 (the communication unit 60 thereof) associates the image information stored in itself with the third display zone Z3 based on the received warning state occurrence information and various types of information. Image information indicating the obtained information is extracted.
  • the cloud server 200 sets the type of information to be extracted as “information related to a warning state with a high degree of urgency” associated with the third display zone Z3, and image information to be displayed based on the state information and the like. (Image information related to a newly generated warning state) is extracted.
  • the cloud server 200 transmits the extracted image information to the HMD device 100.
  • step S122 the control unit 10 receives the image information extracted by the cloud server 200 via the communication unit 60.
  • the image information received from the cloud server 200 is image information indicating “information related to a warning state with a high degree of urgency” associated with the third display zone Z3.
  • step S123 the control unit 10 drives the imaging position adjustment unit 80 so that the depth position of the third display zone Z3 matches the imaging position of the virtual image of the display image.
  • step S124 the control unit 10 causes the display device 70 to receive “information related to a warning state with a high degree of urgency” associated with the third display zone Z3 and received from the cloud server 200 in step S107.
  • a display image corresponding to is displayed (the display image is updated).
  • the HMD device 100 causes the user U to visually recognize high priority information as a virtual image regardless of the user U's gaze position when a new warning state occurs. Can do. As a result, the newly generated high priority information is automatically displayed at the imaging position close to the user U, so that the information added by the virtual image can be easily arranged by the user U, and the information recognizability. Can be improved.
  • the control unit 10 repeatedly displays the display image indicating information associated with the gaze display zone of the user U by repeatedly executing the processing from step S101.
  • the gaze position of the user U is not maintained in the third display zone Z3, the image formation position of the virtual image moves to another display zone, and the display content of the visually recognized virtual image is highly urgent
  • the information related to the warning state is switched to information associated with the gaze display zone of the user U.
  • FIG. 9 shows a display example by the warning display process of the HMD device 100 when the user U is driving the vehicle C.
  • the virtual image of the display image visually recognized by the user U is shown.
  • information related to a warning state with a high degree of urgency (notification of a decrease in remaining fuel) is issued instead of displaying information according to the gaze position of the user U by warning display processing.
  • a display image including only the text message (letter “fuel reduction. Please refuel”) is displayed on the display 70, and a virtual image V4 of the display image is visually recognized by the user U.
  • FIG. 9A shows a display example by the warning display process of the HMD device 100 when the user U is driving the vehicle C.
  • the virtual image of the display image visually recognized by the user U is shown.
  • the above-described methods such as making the display luminance higher than other information and changing the display color are used.
  • display of information associated with the gaze display zone of the user U including AR information (route guidance mark (arrow mark) and parking lot mark (“P”) superimposed on the landscape) by warning display processing) Icon) is superimposed on the user U side so that the information on the warning state with a high degree of urgency (a text message notifying the decrease in the remaining fuel (the letter “fuel decrease.
  • the display image in which the information associated with the gaze display zone of the user U is lower in visibility than the information related to the warning state with a high degree of urgency is displayed on the display 70, and the virtual image V6 of the display image is displayed as the user U
  • Specific methods for reducing the visibility of information include lowering the display brightness of other information, lowering the saturation and / or brightness, and blurring the display. There are methods such as hiding a part (for example, a part overlapping with information on a warning state with a high degree of urgency and a peripheral part), reducing the size, etc.
  • information associated with the gaze display zone of the user U may be moved to a display position that does not overlap with information related to a warning state with a high degree of urgency.
  • the HMD device 100 is a head mounted display device that allows a user U to visually recognize a virtual image superimposed on a landscape, a gaze position detection unit 20 that detects a gaze position of the user U, and a display that indicates a display image.
  • a display 70 that emits light
  • a communication unit 60 that can communicate with the cloud server 200
  • a control unit 10 that causes the display 70 to display a display image corresponding to image information acquired from the cloud server 200 via the communication unit 60.
  • an imaging position adjusting unit 80 capable of adjusting the imaging position of the virtual image of the display image visually recognized by the user U by the display light
  • the control unit 10 virtually sets a plurality of display zones Z1, Z2, and Z3 having different positions in the depth direction in front of the user U, and the user U gazes based on the gaze position information from the gaze position detection unit 20.
  • the display position is determined, and the imaging position adjustment unit 80 is driven so that the depth position of the specified display zone coincides with the imaging position of the virtual image of the display image.
  • Image information indicating information associated with the display zone specified from the server 200 is acquired, and the display image corresponding to the acquired image information is displayed on the display unit 70.
  • the information related to the position where the user U is gazing is automatically switched and displayed, the information added by the virtual image can be easily arranged by the user U, and the information recognizability is improved. Can be improved.
  • the HMD device 100 is configured with a first display zone Z1 and a second display zone Z2 located on the depth side of the first display zone Z1 as a plurality of display zones,
  • the cloud server 200 the first information related to the user U and / or the moving body (vehicle C) moving with the user U in association with the first display zone Z1 is stored, and the second display zone Z2 is stored. Second information to be superimposed on the landscape is stored.
  • a third display zone Z3 positioned further on the near side than the first display zone Z1 is set,
  • the third information related to the warning state is stored in association with the third display zone Z3. According to this, since information with different priorities is automatically switched and displayed according to the position where the user U is gazing, the information added by the virtual image can be easily arranged by the user U, and the information is visually recognized. Can be improved.
  • the control unit 10 when the control unit 10 displays the display image corresponding to the acquired image information on the display device 70, the control unit 10 includes the information included in the display image based on the gaze position information.
  • the display image is displayed on the display unit 70 such that the virtual image is emphasized with respect to the information located near the user U's gaze position P with respect to the information located outside the gaze position P of the user U. Display. According to this, among the information added by the virtual image by the user U, information closer to the gaze position can be recognized instantaneously, and the visibility of the information can be improved.
  • the control unit 10 determines the occurrence of the warning state, and when it is determined that the warning state has occurred, the imaging position of the virtual image of the display image regardless of the gaze position information Is driven so as to coincide with the depth position of the third display zone Z3, the image information indicating the third information is acquired from the cloud server 200 via the communication unit 60, and displayed.
  • the display image corresponding to the image information indicating the acquired third information is displayed on the container 70. According to this, it is possible to preferentially display information related to a newly generated warning state, and it is possible to provide optimal information according to the situation.
  • the control unit 10 determines that the warning state has occurred, and displays the display image corresponding to the image information indicating the third information on the display unit 70.
  • the display includes the information associated with the display zone specified based on the information and the third information, and the display is displayed on the display so that the third information is emphasized more than the information. Display an image. According to this, when information related to a newly generated warning state is preferentially displayed, it is easy for the user U to recognize high-priority information while recognizing the presence of information related to the gaze position of the user U. Can grasp.
  • the control unit 10 determines that the warning state has occurred, and displays the display image corresponding to the image information indicating the third information on the display unit 70.
  • the display unit includes the information associated with the display zone specified based on the information and the third information, and the information is less visible than the third information. Display the display image. According to this, when information related to a newly generated warning state is preferentially displayed, it is easy for the user U to recognize high-priority information while recognizing the presence of information related to the gaze position of the user U. Can grasp.
  • the present invention is suitable for a transmissive head-mounted display device that allows a viewer to visually recognize a virtual image superimposed on a landscape.
  • HMD device Head-mounted display device
  • SYMBOLS Stee position detection part
  • Imaging part Position information acquisition part
  • State information acquisition part 60
  • Communication part 70
  • Display device 80 Imaging position adjustment part C Vehicle U User V1-V7, V22 Virtual image of a display image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なＨＭＤ装置を提供する。　使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置１００である。制御部１０は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、注視位置検出部２０からの注視位置情報に基づいて使用者が注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させ、通信部６０を介してクラウドサーバ２００から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器７０に取得した前記画像情報に応じた前記表示画像を表示させる。

Description

ヘッドマウントディスプレイ装置
　本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ（Head　Mounted　Display；ＨＭＤ）装置に関する。
　従来より、視認者に風景と重ねて虚像を視認させる透過型のＨＭＤ装置が知られている（例えば特許文献１参照）。ＨＭＤ装置は、頭部に装着する表示装置であり、表示器からの表示光を投射光学系や導光体などを用いて使用者に投射し、使用者に表示光が示す表示画像の虚像を視認させるものである。使用者は、ＨＭＤ装置による虚像を前方の実風景を重ねて視認することができる。また、ＨＭＤ装置は、拡張現実（Augmented　Reality；ＡＲ）と称される技術を適用することができる。すなわち、表示画像として実風景に関連するＡＲ画像を表示することで、実風景に情報を付加することができる。
　また、ＨＭＤ装置として、使用者が視認する虚像の結像位置を変更可能な技術が特許文献２及び３に開示されている。特許文献２に開示される技術は、虚像距離制御手段によって表示パネルと拡大光学部材の間隔を機械的に切り換えることで虚像の結像位置を変更するものである。また、特許文献３に開示される技術は、一対の表示駆動部からの表示光により形成される像の射出領域を移動させることで画像処理によって虚像の結像位置を変更するものである。
特開２０１４－１１９７８６号公報 特開平１０－２６２１６５号公報 特開２０１５－３２１３１号公報
　前述したように、透過型のＨＭＤ装置は、虚像によって実風景と重ねて情報を提供することができるものであるが、使用者の視界に常時虚像が視認されるため、視認される情報が多くなると使用者にとって煩わしく、使用者が情報を整理できずに各情報の認識性が低下するという問題点があった。
　本発明は、上記の問題点に鑑みてなされたものであり、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なＨＭＤ装置を提供することを目的とする。
　本発明のヘッドマウントディスプレイ装置は、前述の課題を解決するために、使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、
　表示画像を示す表示光を出射する表示器と、
　使用者の注視位置を検出する注視位置検出部と、
　外部サーバと通信可能な通信部と、
　前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
　前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
　前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者の注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とする。
　本発明は、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能となる。
本発明の第一の実施形態であるヘッドマウントディスプレイ装置の概観を示す図である。 同上ヘッドマウントディスプレイ装置の電気的構成を示すブロック図である。 同上ヘッドマウントディスプレイ装置を装着した使用者が車両に搭乗した状態を示す図である。 同上ヘッドマウントディスプレイ装置において仮想的に設定される表示ゾーンと表示ゾーンに関連付けられた情報の一例を示す図である。 同上ヘッドマウントディスプレイ装置における表示処理を示すフローチャート図である。 同上ヘッドマウントディスプレイ装置の表示例を示す図である。 同上ヘッドマウントディスプレイ装置の他の表示例を示す図である。 同上ヘッドマウントディスプレイ装置における警告表示処理を示すフローチャート図である。 同上ヘッドマウントディスプレイ装置の警告表示処理による表示例を示す図である。
　以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
　図１は、本発明の第一の実施形態に係るヘッドマウントディスプレイ装置（以下、ＨＭＤ装置ともいう）１００の概観を示す図であり、図２はＨＭＤ装置１００の電気的構成を示す図である。
　ＨＭＤ装置１００は、制御部１０と、注視位置検出部２０と、撮像部３０と、位置情報取得部４０と、状態情報取得部５０と、通信部６０と、表示器７０と、結像位置調整部８０と、を備える。
　ＨＭＤ装置１００は、使用者Ｕの頭部に装着される眼鏡型の表示装置である。ＨＭＤ装置１００は、クラウドサーバ（外部サーバ）２００と無線通信で接続され、ＨＭＤ装置１００とクラウドサーバ２００とからなる表示システムを構成している。クラウドサーバ２００には、使用者Ｕの個人情報や身体情報などの生体情報や、地図情報、後述する第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３にそれぞれ関連付けられた各種情報を示す画像情報がネットワーク通信によって蓄積されている。ＨＭＤ装置１００は、後述する表示処理によって、クラウドサーバ２００から任意の画像情報を受信して各種情報を示す表示画像を表示し、表示画像を示す表示光を図示しないレンズや光学部材などを介して使用者Ｕの眼に入射させ、使用者Ｕに前方の風景と重ねて表示画像の虚像を視認させる。
　制御部１０は、例えばマイクロコンピュータからなり、制御部１０が実行する処理（ＨＭＤ装置１００全体の制御など）を実際に行うＣＰＵ（Central　Processing　Unit）と、ＣＰＵのメインメモリとして機能するＲＡＭ（Random　Access　Memory）と、制御部１０に後述の処理などを実行させる各種プログラムを記憶するＲＯＭ（Read　Only　Memory）と、制御部１０に入出力される情報（信号）をＣＰＵ用にデジタル変換したり出力用にアナログ変換したりする各種変換器と、を備える。制御部１０は、ＣＰＵに加えて、制御部１０が行う処理の一部をＣＰＵに代わって実行するための各種専用回路（例えば、画像処理回路など）を備えても良い。
　制御部１０は、図１に示すように、使用者Ｕの前方に奥行き方向の異なる第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定している。
第１の表示ゾーンＺ１は、第２の表示ゾーンＺ２と第３の表示ゾーンＺ３との間に位置する表示ゾーンである。第２の表示ゾーンＺ２は、第１の表示ゾーンＺ１よりも奥行き側（最も奥行き側）に位置する表示ゾーンである。第３の表示ゾーンＺ３は、第１の表示ゾーンＺ１よりも使用者Ｕ側（最も手前側）に位置する表示ゾーンである。
　各表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置は、任意に設定されるものであるが、図３に示すように、使用者Ｕが車両Ｃの運転席に座って車両Ｃ前方を見た状態を例に挙げると以下のように設定することができる。すなわち、第３の表示ゾーンＺ３は、使用者Ｕ（運転者）とインパネＣ２との間に位置するステアリングＣ１付近を奥行き位置とする。第１の表示ゾーンＺ１は、ステアリングＣ１よりも奥行き側のインパネＣ２付近を奥行き位置とする。第２の表示ゾーンＺ２は、インパネＣ２よりも奥行き側の、フロントガラスから視認できる使用者Ｕから１５ｍ先の風景付近を奥行き位置とする。なお、以上の説明は、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置の例を説明したものであって、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３は、車両の各部と重なる部分にのみ設定されるものではなく、使用者Ｕの顔が向いている先に設定される。
　前述のように、クラウドサーバ２００には、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３に関連付けられた情報を示す画像情報が記憶されている。図４は表示ゾーンＺ１、Ｚ２、Ｚ３に関連付けられた情報の一例を示すものである。第１の表示ゾーンＺ１、第２の表示ゾーンＺ２、第３の表示ゾーンＺ３は、第３の表示ゾーンＺ３、第１の表示ゾーンＺ１、第２の表示ゾーンＺ２の順に優先度が高い情報が関連付けられている。すなわち、第１の表示ゾーンＺ１を基準として、より優先度の低い情報が第２の表示ゾーンＺ２に関連付けられており、より優先度が高い情報が第３の表示ゾーンＺ３に関連付けられている。第１の表示ゾーンＺ１には、２番目に優先度の高い（優先度「中」）、例えば使用者Ｕの状態（心拍数、脈拍、脳波など）や使用者Ｕが搭乗する車両Ｃ（使用者Ｕと共に移動する移動体の一例）の状態（走行速度、エンジン回転数、残燃料など）といった使用者Ｕ及び使用者と共に移動する移動体に関する情報（第１の情報）が関連付けられている。第２の表示ゾーンＺ２には、最も優先度の低い（優先度「低」）、例えば周辺の店舗情報や経路案内情報、ヒヤリハット情報といった風景に重畳して情報を付加するＡＲ情報（第２の情報）が関連付けられている。第３の表示ゾーンＺ３には、最も優先度の高い（優先度「高」）、例えば使用者Ｕの体調不良や車両Ｃの故障などの警告情報といった緊急度の高い警告状態に関する情報（第３の情報）が関連付けられている。
　注視位置検出部２０は、視線検出や眼軸測定により使用者Ｕの注視位置を検出するものである。視線検出の場合は、ＣＣＤカメラなどで使用者Ｕの眼を撮像し、画像処理技術のパターンマッチング処理によって注視位置として使用者Ｕの視線方向を検出する。眼軸測定の場合は、使用者Ｕの眼球に超音波を照射し、眼の水晶体前面、後面、網膜前面までの距離をエコーの伝搬時間から算出することによって、眼軸長（角膜、前房、水晶体、硝子体の組織の軸長を含んだ眼の角膜前面から網膜前面までの長さ）及び水晶体厚を測定し、その測定結果から注視位置として使用者Ｕの焦点位置を検出する。注視位置検出部２０は、使用者Ｕの注視位置情報を制御部１０に送信する。
　撮像部３０は、例えばＣＣＤカメラなどからなり、使用者Ｕ前方の風景画像を撮像するものである。撮像部３０は、使用者Ｕ前方の風景画像を撮像した撮像情報を制御部１０に送信する。
　位置情報取得部４０は、例えばＧＰＳアンテナを含み、使用者Ｕの現在位置を取得するものである。位置情報取得部４０は、使用者Ｕの現在位置を示す位置情報を制御部１０に送信する。
　状態情報取得部５０は、使用者Ｕの状態を検出する各種センサや使用者Ｕと共に移動する移動体（車両Ｃ）と接続され、使用者Ｕの状態を示す使用者状態情報や移動体の状態示す移動体状態情報を取得し、制御部１０に送信する。なお、使用者Ｕの状態としては、例えば心拍数、脈拍、脳波などが挙げられる。また、移動体が車両Ｃである場合、移動体の状態としては、走行速度、エンジン回転数、残燃料、走行距離などが挙げられる。
　通信部６０は、クラウドサーバ２００との間で無線通信を行う送信部及び受信部からなり、制御部１０からの注視位置情報、後述する特定表示ゾーン情報、撮像情報、位置情報、状態情報等の各種情報をクラウドサーバ２００に送信し、クラウドサーバ２００から画像情報を受信し、制御部１０に送信する。
　表示器７０は、例えばＴＦＴ型の液晶表示器や有機ＥＬ表示器からなり、所定の表示画像を表示して、表示画像を表す表示光を出射するものである。
　結像位置調整部８０は、使用者Ｕに視認される表示画像の虚像の結像位置を変更可能とするものである。具体的には、一例として、表示器７０から使用者Ｕまでの表示光の光路長を変更するべく、表示器７０を移動させて表示器７０と図示しないレンズとの間の距離を変更可能とするモータなどから構成される。また、表示器７０とレンズとの間に光学部材が設けられる場合は、この光学部材の位置を変更するものであってもよい。さらに、結像位置の調整として、画像処理を行うものであってもよく、左右の視差によって結像位置を変更するために左右の眼に入射させる画像の位置を調整するものや、任意の焦点距離で画像が鮮明に視認されるように画像をぼかして表示するものであってもよい。この場合、制御部１０が結像位置調整部８０を兼ねても良い。したがって、結像位置の調整、変更には使用者Ｕの錯覚による場合も含む。
　次に、図５を用いてＨＭＤ装置１００の注視位置に基づく通常表示処理について説明する。
　まず、ステップＳ１０１において、制御部１０は、注視位置検出部２０から使用者Ｕの注視位置を示す注視位置情報を取得する。なお、情報の取得には、受信する場合のほか受信した情報に基づいて算出する場合を含む。
　次に、ステップＳ１０２において、制御部１０は、注視位置情報に基づいて第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３のうちから、使用者Ｕが注視している表示ゾーン（以下、注視表示ゾーンともいう）を特定する。具体的に、制御部１０は、奥行き位置が最も注視位置に近い表示ゾーンを注視表示ゾーンに特定する。なお、注視位置情報に基づいて、注視表示ゾーンがないと判断する場合を含んでもよい。
　また、ステップＳ１０３において、制御部１０は、撮像部３０から使用者Ｕ前方の風景画像を撮像した撮像情報を取得する。
　また、ステップＳ１０４において、制御部１０は、位置情報取得部４０から使用者Ｕの現在位置を示す位置情報を取得する。
　また、ステップＳ１０５において、制御部１０は、状態情報取得部５０から使用者Ｕ及び使用者Ｕと共に移動する移動体の状態を示す使用者状態情報及び移動体状態情報（以下、まとめて状態情報ともいう）を取得する。
　次に、ステップＳ１０６において、制御部１０は、ステップＳ１０１、Ｓ１０３～Ｓ１０５で取得した注視位置情報、撮像情報、状態情報に基づいて、新たに警告状態が発生したか否かを判定する。なお、本実施形態における警告状態とは、第３の表示ゾーンＺ３に表示する、緊急度の高い情報が示す内容が発生した状態を意味している。制御部１０は、上述の情報の他にも外部から警告状態の発生を示す情報を受信して、新たに警告状態が発生したか否かを判定してもよい。ステップＳ１０６において新たに警告状態が発生していないと判定されると（ステップＳ１０６；Ｎｏ）、制御部１０はステップＳ１０７以降の処理を実行し、新たに警告状態が発生したと判定されると（ステップＳ１０６；Ｙｅｓ）、制御部はステップＳ１１１の警告表示処理を実行する。警告表示処理については後で詳述する。
　ステップＳ１０７において、制御部１０は、ステップＳ１０２で決定した注視表示ゾーンを示す注視位置表示ゾーン情報、ステップＳ１０１、Ｓ１０３～Ｓ１０５で取得した注視位置情報、撮像情報、状態情報を通信部６０を介してクラウドサーバ２００に送信する。
　ＨＭＤ装置１００（の通信部６０）からこれらの情報を受信したクラウドサーバ２００は、受信した注視表示ゾーン情報及び各種情報に基づいて、自身に蓄積される画像情報から特定された表示ゾーンに関連付けられた情報を示す画像情報を抽出する。具体的に、注視表示ゾーンが第１の表示ゾーンＺ１である場合、クラウドサーバ２００は、抽出する情報の種別を第１の表示ゾーンＺ１に関連付けられた「使用者Ｕ及び移動体に関する情報」とし、さらに、状態情報に基づいて表示するべき画像情報（例えば状態情報の値や程度を表す数字、文字、図柄など）を抽出する。また、注視表示ゾーンが第２の表示ゾーンＺ２である場合、クラウドサーバ２００は、抽出する情報の種別を第２の表示ゾーンＺ２に関連付けられた「風景に重畳するＡＲ情報」とし、さらに、注視位置情報、撮像情報及び位置情報に基づいて表示するべき画像情報（例えば、使用者Ｕの注視位置周辺の店舗情報、道路に重畳する経路案内マーク、現在位置周辺のヒヤリハット情報）を抽出する。また、注視表示ゾーンが第３の表示ゾーンＺ３である場合、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報（例えば使用者Ｕの体調不良や移動体の故障、不調を報知する文字、図柄など）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。
　次に、ステップＳ１０８において、制御部１０は、通信部６０を介してクラウドサーバ２００が抽出した画像情報を受信する。なお、ＨＭＤ装置１００は、クラウドサーバ２００から各表示ゾーンＺ１～Ｚ３に関連付けられた情報を示す画像情報の一部を予め受信して内部の記憶部（図示しない）に記憶しておき、ステップＳ１０２で決定した注視表示ゾーンを示す注視位置表示ゾーン情報、ステップＳ１０１、Ｓ１０３～Ｓ１０５で取得した注視位置情報、撮像情報、状態情報に基づいて記憶部から注視表示ゾーンに関連付けられた情報のうち表示するべき画像情報を読み出してもよい。
　次に、ステップＳ１０９において、制御部１０は、ステップＳ１０２で特定した注視表示ゾーンの奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させる。
　次に、ステップＳ１１０において、制御部１０は、表示器７０にステップＳ１０７でクラウドサーバ２００から受信した画像情報に応じた表示画像を表示させる（表示画像を更新させる）。
　以上の処理を繰り返し実行することによって、ＨＭＤ装置１００は、使用者Ｕの注視位置に応じて、注視位置に関連する情報を虚像として使用者Ｕに視認させることができる。これにより、使用者Ｕが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。
　図６は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の表示例を示すものである。なお、図６では使用者Ｕに視認される表示画像の虚像を示している。図６（ａ）は、注視表示ゾーンが第１の表示ゾーンＺ１である場合の例を示す。図６（ａ）に示す例では、使用者Ｕ及び移動体に関する情報として、車両Ｃの走行速度（６０Ｋｍ／ｈ）と使用者Ｕの脈拍（８０ｂｐｍ）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ１が使用者Ｕに視認される。図６（ｂ）は、注視表示ゾーンが第２の表示ゾーンＺ２である場合の例を示す。図６（ｂ）に示す例では、風景に重畳するＡＲ情報として、経路案内マーク（矢印マーク）と駐車場マーク（「Ｐ」を含むアイコン）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ２が使用者Ｕに視認される。図６（ｃ）は、注視表示ゾーンが第３の表示ゾーンＺ３である場合の例を示す。図６（ｃ）に示す例では、緊急度の高い警告状態に関する情報として、残燃料の減少（警告状態）を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ３が使用者Ｕに視認される。
　図７は、使用者Ｕが車両Ｃを運転している場合のＨＵＤ装置１００の他の表示例を示すものである。他の表示例では、ステップＳ１０１で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその虚像が注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視位置Ｐ近傍よりも外側に位置する情報に対して強調されるように表示器７０に表示画像が表示される。本実施形態においては、制御部１０は、注視位置情報と表示器７０に表示される表示画像における情報の位置とから、その虚像の少なくとも一部が使用者Ｕの注視位置Ｐを含む注視領域Ｅの内側に位置すると判断される場合に使用者Ｕの注視位置Ｐ近傍に位置すると判断し、その虚像が注視領域Ｅの外側に位置すると判断される場合に使用者Ｕの注視位置Ｐ近傍の外側に位置すると判断する。なお、注視領域Ｅは注視位置Ｐを中心として車両Ｃの水平方向（使用者Ｕの前後方向に対して垂直な方向）に広がる円状の範囲である。なお、図７では使用者Ｕに視認される表示画像の虚像を示している。図７は、注視表示ゾーンが第２の表示ゾーンＺ２である場合の例を示す。図７に示す例では、風景に重畳するＡＲ情報として、経路案内マーク（矢印マーク）と駐車場マーク（「Ｐ」を含むアイコン）を含む表示画像が表示器７０に表示され、その表示画像の虚像Ｖ２２が使用者Ｕに視認される。さらに、表示画像に含まれるＡＲ情報のうち、経路案内マークはその虚像の一部が注視領域Ｅの内側に位置し、駐車場マークはその虚像が注視領域Ｅの外側に位置しており、経路案内マークが駐車場マークよりも強調されている表示画像が表示器７０に表示される。ここで、特定の情報を他の情報よりも強調するとは、特定の情報が他の情報よりも鮮明に使用者Ｕに視認されることを意味し、その具体的な方法としては、特定の情報の表示輝度を他の情報よりも高くする、表示色を異ならせるなどのほか、他の情報の表示輝度を下げる、他の情報の表示色をカラーからモノクロ（白黒）とする、他の情報をぼかして表示する（ピントをずらす）など他の情報の視認性を強調する特定の情報よりも低下させて相対的に強調する方法がある。なお、かかる他の表示例では、注視表示ゾーンが第１、第３の表示ゾーンＺ１、Ｚ３である場合も同様に、ステップＳ１０１で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその虚像の少なくとも一部が使用者Ｕの注視位置Ｐを含む注視領域Ｅの内側、すなわち注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視領域Ｅよりも外側に位置する情報に対して強調されるように表示器７０に表示画像が表示され、その虚像が使用者Ｕに視認される。
　次に、ステップＳ１１１における警告表示処理について図８を用いて説明する。
　まず、ステップＳ１２１において、制御部１０は、警告状態の発生を示す警告状態発生情報、ステップＳ１０１、Ｓ１０３～Ｓ１０５で取得した注視位置情報、撮像情報、状態情報を通信部６０を介してクラウドサーバ２００に送信する。
　ＨＭＤ装置１００（の通信部６０）からこれらの情報を受信したクラウドサーバ２００は、受信した警告状態発生情報及び各種情報に基づいて、自身に蓄積される画像情報から第３の表示ゾーンＺ３に関連付けられた情報を示す画像情報を抽出する。具体的に、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報（新たに発生した警告状態に関する画像情報）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。
　次に、ステップＳ１２２において、制御部１０は、通信部６０を介してクラウドサーバ２００が抽出した画像情報を受信する。このとき、クラウドサーバ２００から受信する画像情報は、第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報となる。
　次に、ステップＳ１２３において、制御部１０は、第３の表示ゾーンＺ３の奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させる。
　次に、ステップＳ１２４において、制御部１０は、表示器７０にステップＳ１０７でクラウドサーバ２００から受信した、第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報に応じた表示画像を表示させる（表示画像を更新させる）。
　以上の処理を実行することによって、ＨＭＤ装置１００は、警告状態が新たに発生した場合には、使用者Ｕの注視位置に係わらず、優先順位の高い情報を虚像として使用者Ｕに視認させることができる。これにより、新たに発生した優先順位の高い情報が使用者Ｕに近い結像位置で自動的に表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。なお、警告状態が継続する場合、制御部１０は、ステップＳ１０１からの処理を繰り返し実行することで、再び使用者Ｕの注視表示ゾーンに関連付けられた情報を示す表示画像の表示を行う。すなわち、使用者Ｕの注視位置が第３の表示ゾーンＺ３に維持されない場合は、虚像の結像位置が他の表示ゾーンに移動し、また、視認される虚像はその表示内容が緊急度の高い警告状態に関する情報から使用者Ｕの注視表示ゾーンに関連付けられた情報に切り替わることとなる。
　図９は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の警告表示処理による表示例を示すものである。なお、図９においては使用者Ｕに視認される表示画像の虚像を示している。図９（ａ）に示す第１の例では、警告表示処理により、使用者Ｕの注視位置に応じた情報の表示に替えて、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））のみを含む表示画像が表示器７０に表示され、その表示画像の虚像Ｖ４が使用者Ｕに視認される。図９（ｂ）に示す第２の例では、警告表示処理により、使用者Ｕの注視表示ゾーンに関連付けられた情報の表示（風景に重畳するＡＲ情報（経路案内マーク（矢印マーク）及び駐車場マーク（「Ｐ」を含むアイコン））に、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））が使用者Ｕ側となるように重なり、かつ緊急度の高い警告状態に関する情報が使用者Ｕの注視表示ゾーンに関連付けられた情報よりも強調されている表示画像が表示器７０に表示され、その表示画像の虚像Ｖ５が使用者Ｕに視認される。情報を強調する具体的な方法としては、その表示輝度を他の情報よりも高くする、表示色を異ならせるなど前述の方法が用いられる。図９（ｃ）に示す第３の例では、警告表示処理により、使用者Ｕの注視表示ゾーンに関連付けられた情報の表示（風景に重畳するＡＲ情報（経路案内マーク（矢印マーク）及び駐車場マーク（「Ｐ」を含むアイコン））に、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））が使用者Ｕ側となるように重なり、かつ、使用者Ｕの注視表示ゾーンに関連付けられた情報が緊急度の高い警告状態に関する情報よりも視認性を下げられた表示画像が表示器７０に表示され、その表示画像の虚像Ｖ６が使用者Ｕに視認される。情報の視認性を下げる具体的な方法としては、その表示輝度を他の情報よりも低くする、彩度及び／あるいは明度を下げる、表示をぼかす（ピントをずらす）、一部（例えば緊急度の高い警告状態に関する情報と重なる部分及び周辺部分）を非表示とする、大きさを縮小するなどの方法がある。さらに、図９（ｄ）に示す例の表示画像の虚像Ｖ７のように、情報の視認性を下げる方法として、使用者Ｕの注視表示ゾーンに関連付けられた情報を緊急度の高い警告状態に関する情報と重ならない表示位置に移動させてもよい。
　本実施形態におけるＨＭＤ装置１００は、使用者Ｕに風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、使用者Ｕの注視位置を検出する注視位置検出部２０と、表示画像を示す表示光を出射する表示器７０と、クラウドサーバ２００と通信可能な通信部６０と、通信部６０を介してクラウドサーバ２００から取得した画像情報に応じた表示画像を表示器７０に表示させる制御部１０と、前記表示光によって使用者Ｕに視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部８０と、を備え、
　制御部１０は、使用者Ｕ前方に奥行き方向の位置が異なる複数の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定し、注視位置検出部２０からの注視位置情報に基づいて使用者Ｕが注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させ、通信部６０を介してクラウドサーバ２００から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器７０に取得した前記画像情報に応じた前記表示画像を表示させる。
　これによれば、使用者Ｕが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。
　また、ＨＭＤ装置１００は、複数の表示ゾーンとして、第１の表示ゾーンＺ１とこの第１の表示ゾーンＺ１よりも奥行き側に位置する第２の表示ゾーンＺ２が設定され、
　クラウドサーバ２００において、第１の表示ゾーンＺ１に関連付けられて使用者Ｕ及び／あるいは使用者Ｕと共に移動する移動体（車両Ｃ）に関する第１の情報が記憶されており、第２の表示ゾーンＺ２に関連付けられて風景に重畳する第２の情報が記憶されている。
　またさらに、ＨＭＤ装置１００は、複数の表示ゾーンとして、さらに第１の表示ゾーンＺ１よりも手前側に位置する第３の表示ゾーンＺ３が設定され、
　クラウドサーバ２００において、第３の表示ゾーンＺ３に関連付けられて警告状態に関する第３の情報が記憶されている。
　これによれば、使用者Ｕが注視する位置に応じて優先度の異なる情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の視認性を向上することができる。
　また、ＨＭＤ装置１００において、制御部１０は、取得した前記画像情報に応じた前記表示画像を表示器７０に表示させる際に、前記注視位置情報に基づいて前記表示画像に含まれる前記情報のうちその虚像が使用者Ｕの注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視位置Ｐ近傍よりも外側に位置する情報に対して強調されるように表示器７０に前記表示画像を表示させる。
　これによれば、使用者Ｕが虚像によって付加される情報のうち、より注視位置に近い情報を瞬時に認識することができ、情報の視認性を向上することができる。
　また、ＨＭＤ装置１００において、制御部１０は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、前記注視位置情報に係わらず前記表示画像の虚像の結像位置を第３の表示ゾーンＺ３の奥行き位置に一致するように結像位置調整部８０を駆動させ、通信部６０を介してクラウドサーバ２００から前記第３の情報を示す画像情報を取得して、表示器７０に取得した前記第３の情報を示す画像情報に応じた前記表示画像を表示させる。
　これによれば、新たに発生した警告状態に関する情報を優先的に表示でき、状況に応じた最適な情報を提供することができる。
　また、ＨＭＤ装置１００において、制御部１０は、前記警告状態が発生したと判定し、表示器７０に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記第３の情報が前記情報よりも強調されるように前記表示器に前記表示画像を表示させる。
　これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
　また、ＨＭＤ装置１００において、制御部１０は、前記警告状態が発生したと判定し、表示器７０に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記情報が前記第３の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる。
　これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
　本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ装置に好適である。
　１００　ヘッドマウントディスプレイ装置（ＨＭＤ装置）
　１０　　制御部
　２０　　注視位置検出部
　３０　　撮像部
　４０　　位置情報取得部
　５０　　状態情報取得部
　６０　　通信部
　７０　　表示器
　８０　　結像位置調整部
　Ｃ　　　車両
　Ｕ　　　使用者
　Ｖ１～Ｖ７、Ｖ２２　表示画像の虚像

Claims (7)

  1. 　使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、
    　使用者の注視位置を検出する注視位置検出部と、
    　表示画像を示す表示光を出射する表示器と、
    　外部サーバと通信可能な通信部と、
    　前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
    　前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
    　前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者が注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とするヘッドマウントディスプレイ装置。
  2. 　前記複数の表示ゾーンとして、第１の表示ゾーンとこの第１の表示ゾーンよりも奥行き側に位置する第２の表示ゾーンが設定され、
    　前記外部サーバにおいて、前記第１の表示ゾーンに関連付けられて使用者及び／あるいは使用者と共に移動する移動体に関する第１の情報が記憶されており、前記第２の表示ゾーンに関連付けられて風景に重畳する第２の情報が記憶されている、ことを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
  3. 　前記複数の表示ゾーンとして、さらに前記第１の表示ゾーンよりも手前側に位置する第３の表示ゾーンが設定され、
    　前記外部サーバにおいて、前記第３の表示ゾーンに関連付けられて警告状態に関する第３の情報が記憶されている、ことを特徴とする請求項２に記載のヘッドマウントディスプレイ装置。
  4. 　前記制御部は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、前記注視位置情報に係わらず前記表示画像の虚像の結像位置を前記第３の表示ゾーンの奥行き位置に一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから前記第３の情報を示す画像情報を取得して、前記表示器に取得した前記第３の情報を示す画像情報に応じた前記表示画像を表示させる、ことを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。
  5. 　前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記第３の情報が前記情報よりも強調されるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項４に記載のヘッドマウントディスプレイ装置。
  6. 　前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記情報が前記第３の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項４に記載のヘッドマウントディスプレイ装置。
  7. 　前記制御部は、取得した前記画像情報に応じた前記表示画像を前記表示器に表示させる際に、前記注視位置情報に基づいて前記表示画像に含まれる前記情報のうちその虚像が前記使用者の注視位置近傍に位置する情報をその虚像が前記使用者の注視位置近傍よりも外側に位置する情報に対して強調されるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ装置。
PCT/JP2016/057008 2015-03-12 2016-03-07 ヘッドマウントディスプレイ装置 WO2016143744A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/557,351 US10288882B2 (en) 2015-03-12 2016-03-07 Head mounted display device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-049921 2015-03-12
JP2015049921 2015-03-12
JP2015057277A JP6443677B2 (ja) 2015-03-12 2015-03-20 ヘッドマウントディスプレイ装置
JP2015-057277 2015-03-20

Publications (1)

Publication Number Publication Date
WO2016143744A1 true WO2016143744A1 (ja) 2016-09-15

Family

ID=56880555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/057008 WO2016143744A1 (ja) 2015-03-12 2016-03-07 ヘッドマウントディスプレイ装置

Country Status (1)

Country Link
WO (1) WO2016143744A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019011983A (ja) * 2017-06-29 2019-01-24 アイシン・エィ・ダブリュ株式会社 走行情報案内装置及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066927A (ja) * 2012-09-26 2014-04-17 Seiko Epson Corp 映像表示システムおよび頭部装着型表示装置
JP2014225727A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 表示制御装置、表示制御方法および記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066927A (ja) * 2012-09-26 2014-04-17 Seiko Epson Corp 映像表示システムおよび頭部装着型表示装置
JP2014225727A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 表示制御装置、表示制御方法および記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019011983A (ja) * 2017-06-29 2019-01-24 アイシン・エィ・ダブリュ株式会社 走行情報案内装置及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
JP6443677B2 (ja) ヘッドマウントディスプレイ装置
US20140098008A1 (en) Method and apparatus for vehicle enabled visual augmentation
JP4501778B2 (ja) 車両用情報表示方法及び車両用情報表示装置
US20230249618A1 (en) Display system and display method
JP6264037B2 (ja) 車両用情報表示装置及び車両用情報表示方法
JP4970379B2 (ja) 車両用表示装置
JP4367212B2 (ja) 虚像表示装置およびプログラム
JP2015015708A (ja) 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置
JP2014068331A (ja) 立体表示装置及びその表示方法
JP6620977B2 (ja) 表示制御装置、投影装置、および表示制御プログラム
JP2017009406A (ja) 車両用表示システム
JP5008611B2 (ja) 車両用表示装置
JP2018185654A (ja) ヘッドアップディスプレイ装置
JP2018041011A (ja) 表示装置
US9875562B2 (en) Vehicle information display device and vehicle information display method
JP2011128799A (ja) 運転者状態推定装置及び運転者状態推定方法
WO2016143744A1 (ja) ヘッドマウントディスプレイ装置
JP6485310B2 (ja) 情報提供システム、情報提供方法及びコンピュータプログラム
JP6315427B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP2018041010A (ja) 表示装置
JP2018042166A (ja) 表示装置
JP2018039444A (ja) 車両用表示装置
JP2018041008A (ja) 表示装置
JP2017167623A (ja) 情報表示装置、情報表示方法及びプログラム
JP2018041009A (ja) 表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16761712

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15557351

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16761712

Country of ref document: EP

Kind code of ref document: A1