WO2013145147A1 - ヘッドマウントディスプレイ及び表示方法 - Google Patents

ヘッドマウントディスプレイ及び表示方法 Download PDF

Info

Publication number
WO2013145147A1
WO2013145147A1 PCT/JP2012/058119 JP2012058119W WO2013145147A1 WO 2013145147 A1 WO2013145147 A1 WO 2013145147A1 JP 2012058119 W JP2012058119 W JP 2012058119W WO 2013145147 A1 WO2013145147 A1 WO 2013145147A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
display
adjustment
mounted display
Prior art date
Application number
PCT/JP2012/058119
Other languages
English (en)
French (fr)
Inventor
佐々木　智子
小林　孝史
新飼　康広
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2014507115A priority Critical patent/JP5960799B2/ja
Priority to PCT/JP2012/058119 priority patent/WO2013145147A1/ja
Publication of WO2013145147A1 publication Critical patent/WO2013145147A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Definitions

  • the present invention relates to a technique for displaying information.
  • Patent Literature 1 discloses a head-mounted display that changes the display position of an AR image by detecting the tilt of the wearer's head.
  • the present invention has been made to solve the above-described problems, and has as its main object to provide a head-mounted display and a display method capable of adjusting the display position of an image to an appropriate position for each user. To do.
  • the invention according to claim 1 is a head-mounted display that causes a user to recognize an image superimposed on a scene observed through a transmissive member, and that displays the image to be recognized by the user.
  • the invention according to claim 9 is a display method executed by a head-mounted display that superimposes an image on a scene observed through a transmissive member so as to be recognized by a user, and the image to be recognized by the user is displayed.
  • the display position of the image by the display step is determined based on the position of the image for adjustment recognized in the landscape and the position of the mirror image observed by the user through the transmission member.
  • an adjusting step for adjusting is performed by a head-mounted display that superimposes an image on a scene observed through a transmissive member so as to be recognized by a user, and the image to be recognized by the user is displayed.
  • the schematic structure of the head mounted display which concerns on a present Example is shown.
  • the front view in the mounting state of a head mounted display is shown.
  • a state in which a user wearing a head mounted display faces the mirror is shown.
  • a photographed image and a trimmed image are shown.
  • the field of view of the user when a trimmed image is displayed is shown.
  • It is a flowchart which shows a user's operation procedure and the process sequence which a control part performs in connection with it.
  • the display positions of the AR image when the distance from the viewpoint to the display object is short and when the distance is long are shown.
  • a head-mounted display that superimposes an image on a scene observed through a transmissive member and allows the user to recognize the display, the display displaying the image to be recognized by the user.
  • a user who is recognized by the user by displaying the adjustment image by means of the display means, a photographing means for photographing an adjustment image that is at least a part of a mirror image of the user wearing the head-mounted display, and the display means.
  • the display position of the AR image by the display means is determined by the user.
  • the head mounted display includes a display unit, a photographing unit, and an adjusting unit by superimposing an image on a scene observed through the transmissive member and allowing the user to recognize the image.
  • the display means displays an image (AR image) that is recognized by the user.
  • the imaging means captures an adjustment image that is at least a part of a mirror image of the user wearing the head mounted display.
  • the adjustment means is based on the position of the adjustment image in the landscape recognized by the user by displaying the adjustment image on the display means and the position of the mirror image observed by the user via the transmission member. Then, the user adjusts the display position of the AR image. In this way, the head mounted display can adjust the display position of the AR image to an appropriate position for each user.
  • the adjustment means includes an image for adjustment recognized by the user via the transmission member and a mirror image observed by the user via the transmission member. So that the user can adjust the display position of the image. By doing in this way, the head mounted display can adjust suitably the shift
  • the adjusting means displays the adjustment image in which a mark provided on the head mounted display is located at the center.
  • the head mounted display can adjust suitably the shift
  • the display means determines a position for displaying the image based on the distance of the optical path. According to this aspect, the head mounted display can accurately determine the display position of the AR image.
  • the display means causes the user to recognize the image by reflecting a part of light for drawing the image on the transmissive member.
  • the head mounted display can adjust suitably the shift
  • the adjusting unit causes the user to adjust the display position of the image by the display unit for each eye of the user.
  • the head mounted display sets the display position of the AR image to an appropriate position for each user. Can be set to
  • the photographing unit includes a camera positioned in the vicinity of each eye of the user when the head mounted display is mounted.
  • the head-mounted display can capture the adjustment image from the vicinity of the viewpoint of the eye viewing the AR image, so that the display position of the AR image can be adjusted with higher accuracy.
  • the photographing unit has a camera provided at a central portion in the longitudinal direction of the head mounted display.
  • the camera is disposed at a position between both eyes close to either eye of the user, and thus the head mounted display can adjust the display position of the AR image with high accuracy.
  • a display method executed by a head-mounted display that superimposes an image on a scene observed through a transmissive member so as to be recognized by the user, and allows the user to recognize the display method.
  • a display step of displaying an image a photographing step of photographing an adjustment image that is at least a part of a mirror image of the user wearing the head mounted display, and displaying the adjustment image by the display step. Display of the image by the display step based on the position in the landscape of the image for adjustment recognized by the user and the position of the mirror image observed by the user through the transmission member And an adjusting step for adjusting the position.
  • the head mounted display can adjust the display position of the AR image to an appropriate position for each user by executing this display method.
  • FIG. 1 is a schematic configuration diagram illustrating an example of a head mounted display 1 according to the present embodiment.
  • the head-mounted display is appropriately expressed as “HMD”.
  • the HMD 1 mainly includes a control unit 2, a light source unit 3, a half mirror 4, and a camera 5.
  • the HMD 1 is a see-through type HMD configured in, for example, a glasses type, and is configured to be worn on the user's head.
  • the HMD 1 is configured to display an image only on one eye of the user or display an image on both eyes, for example.
  • the light source unit 3 emits light constituting the image generated by the control unit 2 toward the half mirror 4.
  • the light source unit 3 includes a laser light source, an LCD light source, and the like, and emits light from such a light source.
  • the control unit 2 and the light source unit 3 function as “display means” in the present invention.
  • the half mirror 4 reflects the light from the light source unit 3 toward the user's eyeball. Thereby, a virtual image corresponding to an image (also referred to as “AR image”) formed by the HMD 1 is visually recognized by the user.
  • the half mirror 4 has substantially the same transmittance and reflectance, but instead of using such a half mirror 4, a mirror (so-called beam splitter) whose transmittance and reflectance are not equal may be used. .
  • the half mirror 4 is an example of the “transmission member” in the present invention.
  • the camera 5 captures a scene in front of the HMD 1 based on the control of the control unit 2 and generates a captured image “Ic”.
  • the camera 5 supplies the generated captured image Ic to the control unit 2.
  • the camera 5 is preferably installed at a central portion in the longitudinal direction of the HMD 1 and is set so as to be positioned between both eyes of the user when the HMD 1 is worn. In this way, the control unit 2 and the camera 5 function as “photographing means” in the present invention.
  • the input unit 7 generates an input signal based on a user operation and transmits it to the control unit 2.
  • the input unit 7 is a remote controller having, for example, a button for operation by a user, a cross key, and a button.
  • the input unit 7 generates an input signal for instructing start of AR image position adjustment based on a user's operation, or instructs to change the display position of the AR image according to the user's operation amount. Generate an input signal.
  • the control unit 2 and the input unit 7 function as “adjusting means” in the present invention.
  • the control unit 2 has a processor such as a CPU (not shown) and a memory such as a RAM and a ROM, and performs overall control of the HMD 1. For example, the control unit 2 performs control for allowing the user to recognize an AR image superimposed on a scene observed through the half mirror 4. That is, control for AR display is performed.
  • a processor such as a CPU (not shown)
  • a memory such as a RAM and a ROM
  • the control unit 2 displays an AR image indicating information on the display object.
  • the “AR image” is an image indicating information about an object such as a place, a facility, or a signboard, and is represented by an icon, a tag, a comment, a balloon, or the like.
  • the control unit 2 analyzes the captured image Ic of the camera 5 to identify a display object on which information is to be displayed, generates information about the display object, and selects an AR image corresponding to the information. Generate.
  • the control unit 2 acquires information about a display object from a navigation device (including a portable terminal device such as a smartphone) (not shown) and generates an AR image corresponding to the information.
  • control unit 2 performs control so that the virtual image corresponding to the AR image is recognized at a position corresponding to the display object in the scenery.
  • the “position according to the display object” corresponds to, for example, a position superimposed on the display object or a position near the display object.
  • the control unit 2 appropriately corrects the display position (focus position) of the AR image based on the user's operation. Specifically, the control unit 2 changes the display position of the AR image, for example, by changing the light emission direction of the light source unit 3 according to the operation amount of the user to the input unit 7. This will be described in detail in the section [AR image position adjustment].
  • FIG. 2 shows a front view of the HMD 1 mounted.
  • the longitudinal direction of the HMD 1 is defined as “X-axis direction”
  • the lateral direction of the HMD 1 is defined as “Y-axis direction”
  • each positive direction is determined as shown in FIG.
  • a marker 6 is pasted on the front surface of the HMD 1 on the side opposite to the surface facing the user 10.
  • the marker 6 is pasted at a position that does not overlap the drawable range “Rd” indicating the range in which the light source unit 3 can emit light in the HMD 1 so as not to obstruct the field of view of the user 10.
  • the marker 6 preferably has a color or the like different from that of the HMD 1 or the like so that the control unit 2 can easily recognize the position of the marker 6 from the acquired photographed image Ic.
  • Information such as the width “Wm” of the marker 6 in the X-axis direction and the color for identifying the marker 6 is stored in advance in the memory of the control unit 2.
  • the marker 6 is an example of the “mark” in the present invention.
  • the control unit 2 operates the user 10 to align the mirror image of the marker 6 captured by the camera 5 and displayed as an AR image with the mirror image of the marker 6 observed through the half mirror 4. Based on. Thereby, the control unit 2 sets the display position of the AR image suitable for the user 10 wearing the HMD 1.
  • FIG. 3 shows a state where the user 10 wearing the HMD 1 faces the mirror 8.
  • the direction perpendicular to the XY plane and directed from the HMD 1 toward the mirror 8 is defined as a positive Z-axis direction.
  • the user 10 first stands still in a state of facing the mirror 8 so that the mirror 8 and the marker 6 are in a parallel position.
  • the user 10 views the mirror image of the HMD 1 to which the user 10 and the marker 6 are attached through the half mirror 4.
  • the distance from the mirror 8 to the marker 6 substantially matches the distance from the mirror 8 to the viewpoint of the user 10 (also referred to as “adjustment target distance Dtag”). That is, the gazing point distance is twice the distance from the viewpoint of the user 10 to the mirror 8. That is, the width indicated by the double arrow 90 in FIG. 3 corresponds to 1 ⁇ 2 of the adjustment target distance Dtag.
  • the distance twice the distance between the user 10 and the mirror 8 becomes the adjustment target distance Dtag. Therefore, in this case, even when the display position of the AR image is adjusted indoors or the like, it is possible to suppress the adjustment target distance Dtag from becoming excessively short. Further, by adjusting the position of the AR image, which will be described later, with the user 10 facing the mirror 8, the user 10 can be prevented from moving unintentionally during the position adjustment of the AR image, and the position adjustment of the AR image can be performed with high accuracy. It can be carried out.
  • the control unit 2 recognizes the marker 6 from the captured image Ic acquired from the camera 5 in the state shown in FIG. 3, and the width in the X-axis direction of the marker 6 in the captured image Ic (“in-image marker width”). Is also measured.). Then, the control unit 2 calculates the adjustment target distance Dtag with reference to a predetermined map or expression based on the width Wm of the marker 6 and the marker width in the image stored in advance in the memory.
  • the above-described map and expression are determined experimentally or theoretically, for example, and stored in advance in the memory of the control unit 2. The use of the calculated adjustment target distance Dtag will be described in detail in the section “Corresponding to Changes in Focal Length”.
  • FIG. 4A shows the captured image Ic generated in the state of FIG.
  • the captured image Ic of FIG. 4A for the sake of convenience of explanation, a vertical center line “91V”, a horizontal center line “91H”, and a center point “91C” that is an intersection of these are shown.
  • the captured image Ic mainly includes a display area 8A of the mirror 8, a mirror image display area 1A of the HMD 1, a mirror image display area 6A of the marker 6, and a mirror image of the user 10. Display area 10A.
  • the mirror image display area 1A of the HMD 1 is shifted from the vertical center line 91V of the captured image Ic due to the installation position of the camera 5 and the like.
  • the control unit 2 generates an image (also referred to as “trimming image It”) obtained by cutting out the captured image Ic so that the mirror image display area 6A of the marker 6 is positioned at the center of the image.
  • FIG. 4B shows a trimmed image It cut from the captured image Ic so that the mirror image display area 6A of the marker 6 is located at the center.
  • the center point 92C which is the intersection of the vertical center line 92V and the horizontal center line 92H, and the center of the mirror image display area 6A overlap. That is, the display area 6A of the mirror image of the marker 6 exists at the center point 92C of the trimmed image It.
  • the trimmed image It is an example of the “adjustment image” in the present invention.
  • FIG. 5A shows the field of view of the user 10 when the trimmed image It shown in FIG. 4B is displayed.
  • a trimmed image It that is an AR image
  • a mirror 8 that is observed through the HMD1
  • a mirror image 1B of the HMD1 in the mirror 8 and a marker 6
  • 6B of the user 10 and a mirror image 10B of the user 10 exist.
  • the control unit 2 matches the display area 6A of the marker 6 in the trimming image It with the position of the mirror image 6B of the marker 6 observed through the HMD 1 based on the operation of the user 10 to the input unit 7. .
  • the user 10 instructs parallel movement of the AR image in the XY plane, rotational movement in the XY plane, and the like.
  • the control unit 2 adjusts the position of the light source unit 3 in accordance with the input signal received from the input unit 7, so that the display region 6 ⁇ / b> A of the marker 6 in the trimming image It is actually observed.
  • control unit 2 draws the trimmed image It in a range smaller than the drawable range Rd. Thereby, the control part 2 can perform easily operation which performs the instruction
  • FIG. 1
  • FIG. 5B shows the field of view of the user 10 after the display position of the AR image is adjusted by the operation of the user 10 on the input unit 7.
  • the display area 6A of the marker 6 in the trimmed image It has moved to a position overlapping the mirror image 6B of the marker 6 that is actually observed.
  • the control unit 2 can adjust the display position of the AR image to a position suitable for the user 10.
  • control unit 2 and the user 10 execute the above-described processing for each of the right eye and the left eye of the user 10.
  • the control unit 2 can display the AR image at a display position suitable for the user 10 regardless of whether the AR image is visually recognized by either one of the left eye or the right eye or both eyes. . This will be described later with reference to the flowchart of FIG.
  • FIG. 6 is an example of a flowchart showing an operation procedure of the user 10 and a processing procedure executed by the control unit 2 in association therewith.
  • the control unit 2 adjusts the position of the HMD for each eye of the user 10.
  • the user 10 wearing the HMD 1 faces the mirror 8 (step S201).
  • the user 10 performs an operation for instructing the start of the position adjustment of the AR image on the input unit 7 (step S202).
  • the control part 2 of HMD1 starts the process after step S101.
  • step S202 the control unit 2 notifies the user 10 that the position adjustment of the AR image is performed for a predetermined one eye (for example, the right eye) (step S101).
  • the control unit 2 performs voice guidance for closing eyes other than the target eye using, for example, a speaker (not shown).
  • the user 10 closes the eyes that are not the adjustment target of the display position of the AR image (step S203).
  • the control unit 2 acquires a captured image Ic (see FIG. 4A) generated by the camera 5 (step S102). Then, the control unit 2 calculates the adjustment target distance Dtag based on the in-image marker width that is the width of the marker 6 in the captured image Ic (step S103). Specifically, the control unit 2 calculates the adjustment target distance Dtag using a predetermined formula based on the width Wm of the marker 6 stored in advance and the marker width in the image. The use of the calculated adjustment target distance Dtag will be described in detail in the section “Corresponding to Changes in Focal Length”.
  • control unit 2 trims the captured image Ic so that the display area 6A of the marker 6 is centered (step S104). Thereby, the control part 2 produces
  • the user 10 operates the input unit 7 so that the display area 6A of the marker 6 of the trimmed image It overlaps the mirror image 6B of the marker 6 (step S204).
  • the user 10 instructs the control unit 2 to perform parallel movement and rotational movement of the AR image in the XY plane by operating the input unit 7.
  • control part 2 changes the position of the trimming image It which is AR image by changing the position etc. of the light source unit 3 based on the input signal transmitted from the input part 7 (step S106).
  • the control unit 2 changes the position of the trimming image It that is the AR image to a position where the display area 6A of the marker 6 in the trimming image It overlaps with the mirror image 6B of the marker 6 that is observed through the HMD1. (See FIG. 5B).
  • the control unit 2 sets the AR image at a display position suitable for the user 10 who is the wearer, regardless of individual differences for each wearing user, alignment errors of each component of the HMD 1, and the like. Can do.
  • control unit 2 includes the position information of the AR image after execution of step S106 or the amount of movement of the XY plane adjusted in step S106 together with the information for specifying the adjusted one eye and the adjustment target distance Dtag calculated in step S103. And adjustment information such as rotation angle is stored in the memory.
  • step S107 determines whether or not both eyes of the user 10 have been adjusted. In other words, the control unit 2 determines whether or not the processing from step S102 to step S106 has been performed for each of the right eye and the left eye. And when both eyes of the user 10 are adjusted (step S107: Yes), the control part 2 complete
  • control unit 2 notifies that the AR image position is adjusted for one eye different from the one eye (for example, the right eye) targeted in the previous step S101 (step S101).
  • the process of step S106 is performed again.
  • the user 10 performs the processes of step S203 and step S204.
  • the control unit 2 can control either the left eye or the right eye or both eyes when viewing the AR image. Even so, the AR image can be displayed at a display position suitable for the user 10.
  • the appropriate display position of the AR image also changes. This will be described with reference to FIG.
  • FIG. 7A shows the display position 81 of the AR image when the distance from the viewpoint to the display object 80 is short
  • FIG. 7B shows the distance from the viewpoint to the display object 80 shown in FIG.
  • the direction of the line of sight changes according to the distance from the viewpoint to the display object 80.
  • the angle “D1” formed between the line of sight and the HMD1 in FIG. 7A is smaller than the angle “D2” formed between the line of sight and the HMD1 in FIG.
  • the control unit 2 needs to move the display position of the AR image in the direction away from the center of the HMD 1 on the X axis.
  • the control unit 2 when displaying an AR image on an arbitrary display object 80, the control unit 2 recognizes the distance from the viewpoint to the display object 80, and determines the AR image according to the distance. Move the display position. For example, the control unit 2 first refers to the current position information acquired from a GPS receiver (not shown), the map information stored in the memory, and the like from the position of the user 10 based on the position information of the display object 80. The distance to the display object 80 is calculated. Next, the control unit 2 determines the display position of the AR image according to the difference or ratio between the calculated distance and the adjustment target distance Dtag when the AR image position adjustment is performed in FIG. Move from the position set in the process. In this case, the control unit 2 determines the movement amount of the AR image based on the above-described difference or ratio with reference to, for example, a map or formula obtained in advance by experiment or theory.
  • control unit 2 can appropriately move the position of the AR image to an appropriate position even when the distance from the viewpoint to the display object 80 changes.
  • the HMD 1 is installed in the vicinity of the left eye of the user 10 in the wearing state and is installed in the vicinity of the right eye of the user 10 in the wearing state and a left-eye camera for adjusting the position of the AR image that is visually recognized by the left eye. You may provide two with the camera for right eyes for adjusting the position of AR image visually recognized by eyes.
  • the HMD 1 when the position of the AR image to be visually recognized by the left eye is adjusted, the HMD 1 generates a captured image Ic by the left-eye camera and performs an AR image position adjustment process, and the AR image to be visually recognized by the right eye.
  • the captured image Ic is generated by the right-eye camera and the AR image position adjustment process is performed. Thereby, the HMD 1 can adjust the position of the AR image with higher accuracy.
  • the marker 6 is not limited to a member attached to the HMD 1, and may be a protruding shape formed on the front surface of the HMD 1 or a region colored in a predetermined color. Even in this case, the control unit 2 stores in advance the width in the X-axis direction of the above-described shape or region. Also by this, the control part 2 can calculate the adjustment object distance Dtag suitably.
  • the marker 6 may be formed in a cross shape. Accordingly, the user can easily align the position in the X-axis direction when performing an operation of superimposing the display area 6A of the marker 6 in the trimmed image It on the mirror image 6B of the marker 6 in step S204 of FIG. it can.
  • the present invention can be suitably applied to an apparatus that performs AR display.
  • HMD Head mounted display
  • Control unit Control unit 3
  • Light source unit 4
  • Half mirror 5

Abstract

　ヘッドマウントディスプレイは、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させ、表示手段と、撮影手段と、調整手段とを有する。表示手段は、利用者に認識させるＡＲ画像を表示させる。撮影手段は、ヘッドマウントディスプレイを装着した利用者の鏡像の少なくとも一部である調整用画像を撮影する。調整手段は、表示手段によって調整用画像を表示させることで利用者に認識される調整用画像の風景中での位置と、透過部材を介して利用者に観察される鏡像の位置とに基づいて、ＡＲ画像の表示位置を利用者に調整させる。

Description

ヘッドマウントディスプレイ及び表示方法
　本発明は、情報を表示する技術に関する。
　近年、ヘッドマウントディスプレイなどの表示装置を用いて、所定の情報をユーザの前方の景色に重畳して表示させるＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）に関する技術が提案されている。例えば、特許文献１には、装着者の頭部の傾きを検知することで、ＡＲ画像の表示位置を変化させるヘッドマウントディスプレイが開示されている。
特開２００８－１７６０９６号公報
　一般に、ユーザごとに視差等が異なることから、ヘッドマウントディスプレイによる画像（ＡＲ画像）の適切な表示位置は、ユーザごとに異なる。従って、特許文献１のように、装着者の頭部の傾きを検知することでは、ユーザごとの視差等の個人差に基づく画像の表示位置の調整を行うことができない。
　本発明は、上記のような課題を解決するためになされたものであり、画像の表示位置をユーザごとに適切な位置に調整可能なヘッドマウントディスプレイ及び表示方法を提供することを主な目的とする。
　請求項１に記載の発明は、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイであって、前記利用者に認識させる画像を表示させる表示手段と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影手段と、前記表示手段によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示手段による前記画像の表示位置を前記利用者に調整させる調整手段と、を有する。
　請求項９に記載の発明は、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイが実行する表示方法であって、前記利用者に認識させる画像を表示させる表示工程と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影工程と、前記表示工程によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示工程による前記画像の表示位置を調整させる調整工程と、を有する。
本実施例に係るヘッドマウントディスプレイの概略構成を示す。 ヘッドマウントディスプレイの装着状態での正面図を示す。 ヘッドマウントディスプレイを装着したユーザが鏡に正対した状態を示す。 撮影画像及びトリミング画像を示す。 トリミング画像が表示された際のユーザの視界を示す。 ユーザの操作手順及びそれに伴い制御部が実行する処理手順を示すフローチャートである。 視点から表示対象物までの距離が短い場合及び長い場合のＡＲ画像の表示位置をそれぞれ示す。
　本発明の１つの好適な実施形態では、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイであって、前記利用者に認識させる画像を表示させる表示手段と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影手段と、前記表示手段によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示手段によるＡＲ画像の表示位置を前記利用者に調整させる調整手段と、を有する。
　上記ヘッドマウントディスプレイは、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させ、表示手段と、撮影手段と、調整手段とを有する。表示手段は、利用者に認識させる画像（ＡＲ画像）を表示させる。撮影手段は、ヘッドマウントディスプレイを装着した利用者の、鏡像の少なくとも一部である調整用画像を撮影する。調整手段は、表示手段によって調整用画像を表示させることで利用者に認識される、調整用画像の風景中での位置と、透過部材を介して利用者に観察される鏡像の位置とに基づいて、ＡＲ画像の表示位置を利用者に調整させる。このようにすることで、ヘッドマウントディスプレイは、ＡＲ画像の表示位置をユーザごとに適切な位置に調整することができる。
　上記ヘッドマウントディスプレイの一態様では、前記調整手段は、前記透過部材を介して前記利用者に認識された前記調整用画像と、前記透過部材を介して前記利用者が観察する鏡像とが重複して認識されるように、前記画像の表示位置を前記利用者に調整させる。このようにすることで、ヘッドマウントディスプレイは、好適に、ＡＲ画像の表示位置のずれをユーザの視線位置に合わせて調整することができる。
　上記ヘッドマウントディスプレイの他の一態様では、前記調整手段は、前記ヘッドマウントディスプレイに設けられた目印が中心に位置する前記調整用画像を表示させる。このようにすることで、ヘッドマウントディスプレイは、好適に、ＡＲ画像の表示位置のずれをユーザの視線位置に合わせて調整することができる。
　上記ヘッドマウントディスプレイの他の一態様では、前記ヘッドマウントディスプレイに設けられた目印の大きさと、前記調整用画像内での前記目印の大きさとに基づき、前記目印から前記利用者の視点までの光路の距離を算出する算出手段を有し、前記表示手段は、前記光路の距離に基づいて、前記画像を表示させる位置を決定する。この態様により、ヘッドマウントディスプレイは、ＡＲ画像の表示位置を的確に定めることができる。
　上記ヘッドマウントディスプレイの他の一態様では、前記表示手段は、前記画像を描画するための光の一部を前記透過部材に反射させることで、前記利用者に前記画像を認識させる。このようにすることで、ヘッドマウントディスプレイは、好適に、ＡＲ画像の表示位置のずれをユーザの視線位置に合わせて調整することができる。
　上記ヘッドマウントディスプレイの他の一態様では、前記調整手段は、前記利用者の片眼ごとに、前記表示手段による前記画像の表示位置を前記利用者に調整させる。このようにすることで、いずれかの眼にＡＲ画像を表示する場合や両眼にＡＲ画像を表示する場合であっても、ヘッドマウントディスプレイは、ＡＲ画像の表示位置をユーザごとに適切な位置に設定することができる。
　上記ヘッドマウントディスプレイの他の一態様では、前記撮影手段は、前記ヘッドマウントディスプレイの装着時に前記利用者の各眼の近傍にそれぞれ位置するカメラを有する。この態様により、ヘッドマウントディスプレイは、調整用画像を、ＡＲ画像を視認する眼の視点の近傍から撮影することができるため、より高精度にＡＲ画像の表示位置を調整することができる。
　上記ヘッドマウントディスプレイの他の一態様では、前記撮影手段は、前記ヘッドマウントディスプレイの長手方向における中央部分に設けられたカメラを有する。この態様により、カメラは、ユーザのいずれの眼にも近い両眼の間の位置に配置されるため、ヘッドマウントディスプレイは、高精度にＡＲ画像の表示位置を調整することができる。
　本発明の他の好適な実施形態では、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイが実行する表示方法であって、前記利用者に認識させる画像を表示させる表示工程と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影工程と、前記表示工程によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示工程による前記画像の表示位置を調整させる調整工程と、を有する。ヘッドマウントディスプレイは、この表示方法を実行することで、ＡＲ画像の表示位置をユーザごとに適切な位置に調整することが可能となる。
　以下、図面を参照して本発明の好適な実施例について説明する。
　［装置構成］
　図１は、本実施例に係るヘッドマウントディスプレイ１の一例を示した概略構成図である。以下では、ヘッドマウントディスプレイを適宜「ＨＭＤ」と表記する。
　図１に示すように、ＨＭＤ１は、主に、制御部２と、光源ユニット３と、ハーフミラー４と、カメラ５とを有する。ＨＭＤ１は、例えば眼鏡型に構成されたシースルー型ＨＭＤであり、ユーザの頭部に装着可能に構成されている。また、ＨＭＤ１は、例えばユーザの片眼にのみ画像を表示したり、両眼に対して画像を表示したりするように構成されている。
　光源ユニット３は、制御部２によって生成された画像を構成する光を、ハーフミラー４に向けて出射する。例えば、光源ユニット３は、レーザ光源やＬＣＤ光源などを有しており、このような光源から光を出射する。このように、制御部２及び光源ユニット３は、本発明における「表示手段」として機能する。
　ハーフミラー４は、光源ユニット３からの光を、ユーザの眼球に向けて反射する。これにより、ＨＭＤ１によって形成された画像（「ＡＲ画像」とも呼ぶ。）に対応する虚像が、ユーザに視認されることとなる。なお、ハーフミラー４は透過率と反射率とが概ね等しいが、このようなハーフミラー４を用いる代わりに、透過率と反射率とが等しくないようなミラー（所謂ビームスプリッタ）を用いても良い。ハーフミラー４は、本発明における「透過部材」の一例である。
　カメラ５は、制御部２の制御に基づき、ＨＭＤ１の前方の景色を撮影し、撮影画像「Ｉｃ」を生成する。カメラ５は、生成した撮影画像Ｉｃを制御部２に供給する。カメラ５は、好適には、ＨＭＤ１の長手方向における中央部分に設置され、ＨＭＤ１の装着状態において、ユーザの両眼の間に位置するように設定される。このように、制御部２及びカメラ５は、本発明における「撮影手段」として機能する。
　入力部７は、ユーザの操作に基づく入力信号を生成して制御部２に送信する。入力部７は、例えばユーザが操作するためのボタンや十字キー及びボタンなどを有するリモートコントローラである。本実施例では、入力部７は、ユーザの操作に基づき、ＡＲ画像の位置調整の開始を指示する入力信号を生成したり、ユーザの操作量に応じたＡＲ画像の表示位置の変更を指示する入力信号を生成したりする。このように、制御部２及び入力部７は、本発明における「調整手段」として機能する。
　制御部２は、図示しないＣＰＵなどのプロセッサやＲＡＭやＲＯＭなどのメモリを有しており、ＨＭＤ１の全体的な制御を行う。例えば、制御部２は、ハーフミラー４を透して観察される景色に重畳させたＡＲ画像をユーザに認識させるための制御を行う。つまり、ＡＲ表示のための制御を行う。
　具体的には、制御部２は、ハーフミラー４を透して観察される景色に含まれる所定のオブジェクト（「表示対象物」とも呼ぶ。）について、当該表示対象物の情報を示すＡＲ画像を生成する。ここで、「ＡＲ画像」は、場所や、施設や、看板などの対象物についての情報を示す画像であり、アイコンや、タグや、コメントや、吹き出しなどによって表される。例えば、制御部２は、カメラ５の撮影画像Ｉｃを解析することで情報を表示すべき表示対象物を特定して、当該表示対象物についての情報を生成し、当該情報に対応するＡＲ画像を生成する。他の例では、制御部２は、図示しないナビゲーション装置（スマートフォンなどの携帯型端末装置も含む）などから表示対象物についての情報を取得し、当該情報に対応するＡＲ画像を生成する。
　さらに、制御部２は、ＡＲ画像に対応する虚像が、景色中の表示対象物に応じた位置にて認識されるように制御を行う。ここで、「表示対象物に応じた位置」とは、例えば表示対象物に重畳する位置や、表示対象物の近傍の位置が該当する。一般に、ＡＲ画像の表示位置は、両目の間隔の違い等に起因して、ユーザごとに適切な位置が異なる。従って、本実施例では、制御部２は、ＡＲ画像の表示位置（焦点位置）をユーザの操作に基づき適切に補正する。具体的には、制御部２は、入力部７へのユーザの操作量に応じて、光源ユニット３の光の出射方向を変更することなどにより、ＡＲ画像の表示位置を変更する。これについては、［ＡＲ画像位置調整］のセクションで詳しく説明する。
　図２は、ＨＭＤ１の装着状態での正面図を示す。以後では、ＨＭＤ１の長手方向を「Ｘ軸方向」、ＨＭＤ１の短手方向を「Ｙ軸方向」とし、各正方向を図２に示すように定める。
　図２に示すように、ユーザ１０と対向する面と反対側にあるＨＭＤ１の正面には、マーカ６が貼り付けられている。マーカ６は、ユーザ１０の視界を遮らないように、ＨＭＤ１において光源ユニット３が光を出射可能な範囲を示す描画可能範囲「Ｒｄ」と重ならない位置に貼り付けられる。また、マーカ６は、好適には、取得した撮影画像Ｉｃから制御部２がマーカ６の位置を容易に認識できるように、ＨＭＤ１等とは異なる色等を有する。マーカ６のＸ軸方向の幅「Ｗｍ」及びマーカ６を識別するための色などの情報は、制御部２のメモリにより予め記憶される。マーカ６は、本発明における「目印」の一例である。
　［ＡＲ画像位置調整］
　次に、ＡＲ画像の位置調整方法について説明する。概略的には、制御部２は、カメラ５が撮影してＡＲ画像として表示したマーカ６の鏡像と、ハーフミラー４を透して観察したマーカ６の鏡像との位置合わせを、ユーザ１０の操作に基づき行う。これにより、制御部２は、ＨＭＤ１を装着したユーザ１０に適したＡＲ画像の表示位置を設定する。
　（１）処理概要
　まず、図３乃至図５を参照してＡＲ画像の位置調整方法の概要を説明する。
　図３は、ＨＭＤ１を装着したユーザ１０が鏡８に正対した状態を示す。図３では、ＸＹ平面と垂直な方向であって、ＨＭＤ１から鏡８に向かう方向をＺ軸正方向とする。図３に示すように、ユーザ１０は、まず、鏡８とマーカ６とが平行な位置となるように、鏡８に正対した状態で静止する。この状態では、ユーザ１０は、ハーフミラー４を透してユーザ１０及びマーカ６が付されたＨＭＤ１の鏡像を視認する。このとき、鏡８からマーカ６までの距離は、概ね鏡８からユーザ１０の視点の距離（「調整対象距離Ｄｔａｇ」とも呼ぶ。）と一致する。即ち注視点距離は、ユーザ１０の視点から鏡８までの距離の２倍となる。即ち、図３の両矢印９０が示す幅は、調整対象距離Ｄｔａｇの１／２に相当する。
　本実施例では、ユーザ１０が鏡８に正対した状態でＡＲ画像の位置調整を行うことで、ユーザ１０と鏡８との距離の２倍の距離が調整対象距離Ｄｔａｇとなる。従って、この場合、屋内等でＡＲ画像の表示位置を調整する場合であっても、調整対象距離Ｄｔａｇが過度に短くなるのを抑制することができる。また、ユーザ１０が鏡８に正対した状態で後述するＡＲ画像の位置調整を行うことで、ユーザ１０がＡＲ画像の位置調整時に無意識に動くのを防ぎ、高精度にＡＲ画像の位置調整を行うことができる。
　次に、制御部２は、図３に示す状態でカメラ５から取得された撮影画像Ｉｃからマーカ６を認識し、撮影画像Ｉｃ内でのマーカ６のＸ軸方向における幅（「画像内マーカ幅」とも呼ぶ。）を測定する。そして、制御部２は、メモリに予め記憶したマーカ６の幅Ｗｍと画像内マーカ幅とに基づき、所定のマップ又は式などを参照して、調整対象距離Ｄｔａｇを算出する。上述のマップ及び式は、例えば実験又は理論的に定められ、制御部２のメモリに予め記憶される。算出した調整対象距離Ｄｔａｇの用途については、［焦点距離の変化への対応］のセクションで詳しく説明する。
　図４（ａ）は、図３の状態で生成された撮影画像Ｉｃを示す。図４（ａ）の撮影画像Ｉｃには、説明の便宜上、縦中心線「９１Ｖ」、横中心線「９１Ｈ」、及びこれらの交点である中心点「９１Ｃ」が示されている。図４（ａ）に示すように、撮影画像Ｉｃは、主に、鏡８の表示領域８Ａと、ＨＭＤ１の鏡像の表示領域１Ａと、マーカ６の鏡像の表示領域６Ａと、ユーザ１０の鏡像の表示領域１０Ａとを有する。撮影画像Ｉｃでは、カメラ５の設置位置等に起因して、ＨＭＤ１の鏡像の表示領域１Ａが、撮影画像Ｉｃの縦中心線９１Ｖからずれている。
　ここで、制御部２は、マーカ６の鏡像の表示領域６Ａが画像の中心に位置するように撮影画像Ｉｃを切り出した画像（「トリミング画像Ｉｔ」とも呼ぶ。）を生成する。図４（ｂ）は、マーカ６の鏡像の表示領域６Ａが中心に位置するように撮影画像Ｉｃから切り取られたトリミング画像Ｉｔを示す。図４（ｂ）に示すように、トリミング画像Ｉｔでは、縦中心線９２Ｖ及び横中心線９２Ｈとの交点である中心点９２Ｃと、マーカ６の鏡像の表示領域６Ａの中心とが重なっている。即ち、トリミング画像Ｉｔの中心点９２Ｃには、マーカ６の鏡像の表示領域６Ａが存在する。トリミング画像Ｉｔは、本発明における「調整用画像」の一例である。
　次に、制御部２は、トリミング画像ＩｔをＡＲ画像として表示する。図５（ａ）は、図４（ｂ）に示すトリミング画像Ｉｔが表示された際のユーザ１０の視界を示す。図５（ａ）に示すように、ユーザ１０の視界には、ＡＲ画像であるトリミング画像Ｉｔと、ＨＭＤ１を透して観察される鏡８と、鏡８内のＨＭＤ１の鏡像１Ｂと、マーカ６の鏡像６Ｂと、ユーザ１０の鏡像１０Ｂとが存在する。
　ここで、ＡＲ画像であるトリミング画像Ｉｔ内のマーカ６の表示領域６Ａと、ＨＭＤ１を透して観察されるマーカ６の鏡像６Ｂとにずれが生じている。従って、制御部２は、ユーザ１０の入力部７への操作に基づき、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａが、ＨＭＤ１を透して観察されるマーカ６の鏡像６Ｂの位置に一致させる。ここで、ユーザ１０は、ＡＲ画像のＸＹ平面内での平行移動及びＸＹ平面内での回転移動等を指示する。これにより、制御部２は、入力部７から受信した入力信号に応じて光源ユニット３の位置調整などを行うことで、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａを、実際に観察されるマーカ６の鏡像６Ｂに重ねる。ここで、制御部２は、トリミング画像Ｉｔを、描画可能範囲Ｒｄよりも小さい範囲に描画している。これにより、制御部２は、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａをマーカ６の鏡像６Ｂに重ねるための指示を行う操作を、容易に実行させることができる。
　図５（ｂ）は、ユーザ１０の入力部７への操作によりＡＲ画像の表示位置が調整された後のユーザ１０の視界を示す。図５（ｂ）に示すように、この場合、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａは、実際に観察されるマーカ６の鏡像６Ｂと重なる位置に移動している。これにより、制御部２は、ＡＲ画像の表示位置を、ユーザ１０に適した位置に調整することができる。
　なお、制御部２及びユーザ１０は、上述した処理を、ユーザ１０の右眼及び左眼の各々を対象にしてそれぞれ実行する。これにより、制御部２は、左眼若しくは右眼のいずれか一方又は両眼にＡＲ画像を視認させる場合のいずれであっても、ユーザ１０に適した表示位置でＡＲ画像を表示させることができる。これについては、後述する図６のフローチャートで説明する。
　（２）フローチャート
　図６は、ユーザ１０の操作手順及びそれに伴い制御部２が実行する処理手順を示すフローチャートの一例である。図６に示す例では、制御部２は、ユーザ１０の両眼を対象に片眼ずつＨＭＤの位置調整を行う。
　まず、ＨＭＤ１を装着したユーザ１０は、鏡８に正対する（ステップＳ２０１）。次に、ユーザ１０は、ＡＲ画像の位置調整の開始を指示する操作を入力部７に対して行う（ステップＳ２０２）。これにより、ＨＭＤ１の制御部２は、ステップＳ１０１以降の処理を開始する。
　そして、制御部２は、ステップＳ２０２の後、所定の片眼（例えば右眼）を対象にＡＲ画像の位置調整を行う旨をユーザ１０に通知する（ステップＳ１０１）。この場合、制御部２は、例えば図示しないスピーカにより、対象となる眼以外の眼を閉じる旨の音声案内を行う。これに従い、ユーザ１０は、ＡＲ画像の表示位置の調整対象でない眼を閉じる（ステップＳ２０３）。
　次に、制御部２は、カメラ５が生成した撮影画像Ｉｃ（図４（ａ）参照）を取得する（ステップＳ１０２）。そして、制御部２は、撮影画像Ｉｃ内のマーカ６の幅である画像内マーカ幅に基づき、調整対象距離Ｄｔａｇを算出する（ステップＳ１０３）。具体的には、制御部２は、予め記憶したマーカ６の幅Ｗｍと、画像内マーカ幅とに基づき、所定の式などを用いて、調整対象距離Ｄｔａｇを算出する。算出した調整対象距離Ｄｔａｇの用途については、［焦点距離の変化への対応］のセクションで詳しく説明する。
　次に、制御部２は、マーカ６の表示領域６Ａが中心となるように、撮影画像Ｉｃのトリミングを行う（ステップＳ１０４）。これにより、制御部２は、トリミング画像Ｉｔを生成する（図４（ｂ）参照）。そして、制御部２は、トリミング画像ＩｔをＡＲ画像として表示する（ステップＳ１０５）。これにより、ユーザ１０は、トリミング画像Ｉｔを視認した状態で、ＨＭＤ１を透してマーカ６の鏡像６Ｂ等を視認する（図５（ａ）参照）。そして、制御部２は、好適には、ユーザ１０に対し、後述するステップＳ２０４の操作を実行すべき旨の音声案内などを行う。
　次に、ユーザ１０は、トリミング画像Ｉｔのマーカ６の表示領域６Ａが、マーカ６の鏡像６Ｂと重なるように入力部７に対して操作を行う（ステップＳ２０４）。この場合、ユーザ１０は、入力部７への操作により、ＡＲ画像のＸＹ平面内での平行移動及びＸＹ平面内での回転移動を制御部２に対して指示する。
　そして、制御部２は、入力部７から送信される入力信号に基づき、光源ユニット３の位置等を変更することで、ＡＲ画像であるトリミング画像Ｉｔの位置を変更する（ステップＳ１０６）。これにより、制御部２は、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａが、ＨＭＤ１を透して観察されるマーカ６の鏡像６Ｂと重なる位置に、ＡＲ画像であるトリミング画像Ｉｔの位置を変更する（図５（ｂ）参照）。このようにすることで、制御部２は、装着するユーザごとの個人差やＨＭＤ１の各部品のアライメント誤差等によらず、ＡＲ画像を装着者であるユーザ１０に適した表示位置に設定することができる。そして、制御部２は、調整を行った片眼を特定する情報及びステップＳ１０３で算出した調整対象距離Ｄｔａｇと共に、ステップＳ１０６実行後のＡＲ画像の位置情報又はステップＳ１０６で調整したＸＹ平面の移動量や回転角度などの調整情報をメモリに記憶する。
　次に、制御部２は、ユーザ１０の両方の眼とも調整を行ったか否か判定する（ステップＳ１０７）。言い換えると、制御部２は、右眼及び左眼の各々に対し、ステップＳ１０２乃至ステップＳ１０６の処理を行ったか否か判定する。そして、ユーザ１０の両方の眼とも調整を行った場合（ステップＳ１０７：Ｙｅｓ）、制御部２は、フローチャートの処理を終了する。この場合、同様に、ユーザ１０は、ＡＲ画像の位置調整のための操作を終了する（ステップＳ２０５）。一方、ユーザ１０の一方の眼に対するＡＲ画像の位置調整を行っていない場合（ステップＳ１０７：Ｎｏ）、制御部２は、ステップＳ１０１へ処理を戻す。この場合、制御部２は、前回ステップＳ１０１で対象とした片眼（例えば右眼）とは異なる片眼を対象にＡＲ画像位置の調整を行う旨の通知を行い（ステップＳ１０１）、ステップＳ１０２乃至ステップＳ１０６の処理を再度行う。また、この場合、ユーザ１０は、ステップＳ２０３及びステップＳ２０４の処理を行う。
　このように、左眼及び右眼の両方について、それぞれＡＲ画像の位置調整を行うことで、制御部２は、左眼若しくは右眼のいずれか一方又は両眼にＡＲ画像を視認させる場合のいずれであっても、ユーザ１０に適した表示位置でＡＲ画像を表示することができる。
　［焦点距離の変化への対応］
　次に、種々の表示対象物にＡＲ画像を重畳して表示させる場合のＡＲ画像の位置調整について説明する。
　一般に、表示対象物によって当該表示対象物からユーザ１０の視点までの距離（即ち焦点距離）が異なり、また、上述の距離が変化した場合、ＡＲ画像の適切な表示位置も変化する。これについて、図７を参照して説明する。
　図７（ａ）は、視点から表示対象物８０までの距離が短い場合のＡＲ画像の表示位置８１を示し、図７（ｂ）は、視点から表示対象物８０までの距離が図７（ａ）の例よりも長い場合のＡＲ画像の表示位置８２を示す。なお、図７では、説明の便宜上、ＨＭＤ１は、右眼に対応するＡＲ画像のみを表示するものとする。
　図７に示すように、視点から表示対象物８０までの距離に応じて、視線の方向が変化する。具体的には、図７（ａ）において視線とＨＭＤ１とがなす角度「Ｄ１」は、図７（ｂ）において視線とＨＭＤ１とがなす角度「Ｄ２」よりも小さくなっている。このように、制御部２は、視点から表示対象物８０までの距離が長い程、ＡＲ画像の表示位置をＸ軸においてＨＭＤ１の中心から離れて外側に向かう方向に移動させる必要がある。
　以上を勘案し、制御部２は、任意の表示対象物８０に対してＡＲ画像を表示する場合には、視点から表示対象物８０までの距離を認識し、当該距離に応じて、ＡＲ画像の表示位置を移動させる。例えば、制御部２は、まず、図示しないＧＰＳ受信機から取得した現在位置情報と、メモリに記憶した地図情報などを参照して、表示対象物８０の位置情報とに基づき、ユーザ１０の位置から表示対象物８０までの距離を算出する。次に、制御部２は、算出した距離と、図６でＡＲ画像の位置調整を行った際の調整対象距離Ｄｔａｇとの差又は比などに応じて、ＡＲ画像の表示位置を、図６の処理で設定した位置から移動させる。この場合、制御部２は、例えば、予め実験又は理論的に求めたマップ又は式を参照して、上述の差又は比によりＡＲ画像の移動量を定める。
　これにより、制御部２は、視点から表示対象物８０までの距離が変化した場合であっても、適切にＡＲ画像の位置を適切な位置に移動させることができる。
　［変形例］
　以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
　（変形例１）
　ＨＭＤ１は、装着状態においてユーザ１０の左眼近傍に設置され、左眼に視認させるＡＲ画像の位置調整を行うための左眼用カメラと、装着状態においてユーザ１０の右眼近傍に設置され、右眼に視認させるＡＲ画像の位置調整を行うための右眼用カメラとの２つを備えてもよい。この場合、ＨＭＤ１は、左眼に視認させるＡＲ画像の位置調整を行う場合には左眼用カメラにより撮影画像Ｉｃを生成してＡＲ画像の位置調整処理を行い、右眼に視認させるＡＲ画像の位置調整を行う場合には右眼用カメラにより撮影画像Ｉｃを生成してＡＲ画像の位置調整処理を行う。これにより、ＨＭＤ１は、より高精度にＡＲ画像の位置調整を行うことができる。
　（変形例２）
　マーカ６は、ＨＭＤ１に貼り付ける部材に限定されず、ＨＭＤ１の正面に形成された突起した形状又は所定の色に着色された領域であってもよい。この場合であっても、制御部２は、上述の形状又は領域のＸ軸方向の幅を予め記憶しておく。これによっても、制御部２は、好適に、調整対象距離Ｄｔａｇを算出することができる。
　（変形例３）
　マーカ６は、十字型に形成されていてもよい。これにより、ユーザは、図６のステップＳ２０４において、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａを、マーカ６の鏡像６Ｂに重ねる操作を行う際に、Ｘ軸方向の位置を揃え易くすることができる。
　本発明は、ＡＲ表示を行う装置に好適に適用することができる。
　１　ヘッドマウントディスプレイ（ＨＭＤ）
　２　制御部
　３　光源ユニット
　４　ハーフミラー
　５　カメラ
　６　マーカ

Claims (9)

  1. 　透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイであって、
    　前記利用者に認識させる画像を表示させる表示手段と、
    　当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影手段と、
    　前記表示手段によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示手段による前記画像の表示位置を前記利用者に調整させる調整手段と、
    　を有することを特徴とするヘッドマウントディスプレイ。
  2. 　前記調整手段は、前記透過部材を介して前記利用者に認識された前記調整用画像と、前記透過部材を介して前記利用者が観察する鏡像とが重複して認識されるように、前記画像の表示位置を前記利用者に調整させることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
  3. 　前記調整手段は、前記ヘッドマウントディスプレイに設けられた目印が中心に位置する前記調整用画像を表示させることを特徴とする請求項１または２に記載のヘッドマウントディスプレイ。
  4. 　前記ヘッドマウントディスプレイに設けられた目印の大きさと、前記調整用画像内での前記目印の大きさとに基づき、前記目印から前記利用者の視点までの光路の距離を算出する算出手段を有し、
    　前記表示手段は、前記光路の距離に基づいて、前記画像を表示させる位置を決定することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
  5. 　前記表示手段は、前記画像を描画するための光の一部を前記透過部材に反射させることで、前記利用者に前記画像を認識させることを特徴とする請求項１乃至４のいずれか一項に記載のヘッドマウントディスプレイ。
  6. 　前記調整手段は、前記利用者の片眼ごとに、前記表示手段による前記画像の表示位置を前記利用者に調整させることを特徴とする請求項１乃至５のいずれか一項に記載のヘッドマウントディスプレイ。
  7. 　前記撮影手段は、前記ヘッドマウントディスプレイの装着時に前記利用者の各眼の近傍にそれぞれ位置するカメラを有することを特徴とする請求項６に記載のヘッドマウントディスプレイ。
  8. 　前記撮影手段は、前記ヘッドマウントディスプレイの長手方向における中央部分に設けられたカメラを有することを特徴とする請求項１乃至６のいずれか一項に記載のヘッドマウントディスプレイ。
  9. 　透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイが実行する表示方法であって、
    　前記利用者に認識させる画像を表示させる表示工程と、
    　当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影工程と、
    　前記表示工程によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示工程による前記画像の表示位置を調整させる調整工程と、
    を有することを特徴とする表示方法。
PCT/JP2012/058119 2012-03-28 2012-03-28 ヘッドマウントディスプレイ及び表示方法 WO2013145147A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014507115A JP5960799B2 (ja) 2012-03-28 2012-03-28 ヘッドマウントディスプレイ及び表示方法
PCT/JP2012/058119 WO2013145147A1 (ja) 2012-03-28 2012-03-28 ヘッドマウントディスプレイ及び表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/058119 WO2013145147A1 (ja) 2012-03-28 2012-03-28 ヘッドマウントディスプレイ及び表示方法

Publications (1)

Publication Number Publication Date
WO2013145147A1 true WO2013145147A1 (ja) 2013-10-03

Family

ID=49258513

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/058119 WO2013145147A1 (ja) 2012-03-28 2012-03-28 ヘッドマウントディスプレイ及び表示方法

Country Status (2)

Country Link
JP (1) JP5960799B2 (ja)
WO (1) WO2013145147A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213271A (ja) * 2014-05-07 2015-11-26 セイコーエプソン株式会社 画像表示装置
JP2016009912A (ja) * 2014-06-23 2016-01-18 富士通株式会社 キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法
JP2017102696A (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
JP2017107359A (ja) * 2015-12-09 2017-06-15 Kddi株式会社 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
US10222876B2 (en) 2016-03-08 2019-03-05 Fujitsu Limited Display control system and method
US10613333B2 (en) 2017-02-28 2020-04-07 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device
JP2020520487A (ja) * 2017-03-29 2020-07-09 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． Ｖｒインタラクションの改良された方法およびシステム
JP2021509482A (ja) * 2018-01-02 2021-03-25 ルムス エルティーディー． アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法
WO2022270455A1 (ja) * 2021-06-21 2022-12-29 ピクシーダストテクノロジーズ株式会社 表示制御装置、表示制御方法、及びプログラム
US11747635B2 (en) 2016-12-31 2023-09-05 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element
US11822088B2 (en) 2021-05-19 2023-11-21 Lumus Ltd. Active optical engine
US11860369B2 (en) 2021-03-01 2024-01-02 Lumus Ltd. Optical system with compact coupling from a projector into a waveguide
US11886008B2 (en) 2021-08-23 2024-01-30 Lumus Ltd. Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2008287588A (ja) * 2007-05-18 2008-11-27 Canon Inc 画像処理装置および方法
JP2009284175A (ja) * 2008-05-21 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 表示デバイスのキャリブレーション方法及び装置
JP2010156929A (ja) * 2009-01-05 2010-07-15 Toshiba Corp 表示装置
JP2011002753A (ja) * 2009-06-22 2011-01-06 Sony Corp 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289548A (ja) * 2003-03-24 2004-10-14 Olympus Corp 画像調整装置及び頭部装着型表示装置
WO2013128612A1 (ja) * 2012-03-01 2013-09-06 パイオニア株式会社 ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2008287588A (ja) * 2007-05-18 2008-11-27 Canon Inc 画像処理装置および方法
JP2009284175A (ja) * 2008-05-21 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 表示デバイスのキャリブレーション方法及び装置
JP2010156929A (ja) * 2009-01-05 2010-07-15 Toshiba Corp 表示装置
JP2011002753A (ja) * 2009-06-22 2011-01-06 Sony Corp 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213271A (ja) * 2014-05-07 2015-11-26 セイコーエプソン株式会社 画像表示装置
JP2016009912A (ja) * 2014-06-23 2016-01-18 富士通株式会社 キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法
JP2017102696A (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
JP2017107359A (ja) * 2015-12-09 2017-06-15 Kddi株式会社 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
US10222876B2 (en) 2016-03-08 2019-03-05 Fujitsu Limited Display control system and method
US11747635B2 (en) 2016-12-31 2023-09-05 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element
US10613333B2 (en) 2017-02-28 2020-04-07 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device
JP2020520487A (ja) * 2017-03-29 2020-07-09 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． Ｖｒインタラクションの改良された方法およびシステム
US11294450B2 (en) 2017-03-29 2022-04-05 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and system for VR interaction
JP2021509482A (ja) * 2018-01-02 2021-03-25 ルムス エルティーディー． アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法
US11860369B2 (en) 2021-03-01 2024-01-02 Lumus Ltd. Optical system with compact coupling from a projector into a waveguide
US11822088B2 (en) 2021-05-19 2023-11-21 Lumus Ltd. Active optical engine
WO2022270455A1 (ja) * 2021-06-21 2022-12-29 ピクシーダストテクノロジーズ株式会社 表示制御装置、表示制御方法、及びプログラム
US11886008B2 (en) 2021-08-23 2024-01-30 Lumus Ltd. Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors

Also Published As

Publication number Publication date
JPWO2013145147A1 (ja) 2015-08-03
JP5960799B2 (ja) 2016-08-02

Similar Documents

Publication Publication Date Title
JP5960799B2 (ja) ヘッドマウントディスプレイ及び表示方法
CN105589199B (zh) 显示装置、显示装置的控制方法以及程序
JP4686586B2 (ja) 車載用表示装置及び表示方法
JP6387825B2 (ja) 表示システム、及び、情報表示方法
JP4886751B2 (ja) 車載用表示システム及び表示方法
KR101845350B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US8693103B2 (en) Display device and display method
US20160284129A1 (en) Display, control method of display, and program
US9076248B2 (en) Display apparatus
US10365710B2 (en) Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
JP2019159076A (ja) 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
JP2015060071A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP2006308674A (ja) 画像表示装置
JP6590050B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP2016085350A (ja) 表示装置、及び、表示装置の制御方法
JP2019109850A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2015026286A (ja) 表示装置、表示システムおよび表示装置の制御方法
JP2016186561A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2018182570A (ja) 視線情報共有方法および視線情報共有システム
US10690923B1 (en) Scanning system for a tiling display
JP2006039359A (ja) 頭部装着型表示装置
JP4504160B2 (ja) 合成表示装置
WO2018147084A1 (ja) 視線情報共有方法および視線情報共有システム
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
WO2013179425A1 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12872713

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507115

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12872713

Country of ref document: EP

Kind code of ref document: A1