WO2014017348A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2014017348A1
WO2014017348A1 PCT/JP2013/069378 JP2013069378W WO2014017348A1 WO 2014017348 A1 WO2014017348 A1 WO 2014017348A1 JP 2013069378 W JP2013069378 W JP 2013069378W WO 2014017348 A1 WO2014017348 A1 WO 2014017348A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
observer
optical system
display
positional relationship
Prior art date
Application number
PCT/JP2013/069378
Other languages
English (en)
French (fr)
Inventor
孝文 森藤
緒形　昌美
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014526871A priority Critical patent/JP6248931B2/ja
Priority to CN201380037860.6A priority patent/CN104508538B/zh
Priority to US14/415,316 priority patent/US9835864B2/en
Publication of WO2014017348A1 publication Critical patent/WO2014017348A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present technology relates to an image display apparatus and an image display method, and more particularly to an image display apparatus such as a head mounted display configured to guide an image displayed on a display element to an observer's eye by a magnifying optical system.
  • an image display apparatus such as a head mounted display configured to guide an image displayed on a display element to an observer's eye by a magnifying optical system.
  • a head-mounted display mounted on the head of a user.
  • this head mounted display is configured to magnify an image displayed on a small display element with a magnifying optical system and to guide the image to the observer's eye. That is, the head mounted display is configured to optically magnify the image displayed on the display element and to allow the user to observe the image as a magnified virtual image.
  • FIG. 14A when a shift occurs between the center of the optical system and the position of the observer's eye, an image is applied to comfortable image observation. In this case, for example, depending on the amount of deviation, color deviation may occur, contrast may be reduced, or image distortion may occur.
  • FIG. 14B shows the case where there is no deviation between the center of the optical system and the position of the observer's eye.
  • Patent Document 1 proposes a head mount display in which the optical system is configured to be movable, and the observer manually moves and adjusts the optical system to correct positional deviation between the observer's eye and the optical system. .
  • An object of the present technology is to enable appropriate correction of misalignment between an optical system and an observer's eye.
  • an image display apparatus includes a positional relationship correction unit that corrects the positional relationship between the optical system and the observer's eyes based on the positional relationship detected by the positional relationship detection unit.
  • the positional relationship detection unit detects the positional relationship between the optical system that guides the image displayed on the display element to the observer's eye and the observer's eye.
  • the image displayed on the display element is guided to the observer's eye by the optical system.
  • the image displayed on the display element is optically magnified and observed by the observer as a magnified virtual image.
  • an optical system a first optical system for guiding the left eye image displayed on the display element to the left eye of the observer, and a second optical system for guiding the right eye image displayed on the display element to the right eye of the observer
  • An optical system may be present.
  • it may be further provided with an optical system that guides the image displayed on the display element to the observer's eye.
  • an eye position estimation unit for estimating the eye position of the observer's eye is further provided, and the positional relationship detection unit determines the positional relationship between the optical system and the observer's eye based on the eye position estimated by the eye position estimation unit. It may be made to detect.
  • the estimation of the eyeball position may be performed by, for example, application of a scleral reflex method, an EOG (Electro-Oculogram) method, a face recognition technique, or the like.
  • the positional relationship detection unit detects the positional relationship between the optical system and the observer's eye based on the estimated eye position.
  • the positional relationship correction unit corrects the positional relationship between the optical system and the observer's eye based on the positional relationship detected by the positional relationship detection unit. For example, the positional relationship correction unit may shift the display position of the image displayed on the display element based on the positional relationship detected by the positional relationship detection unit. Also, for example, the positional relationship correction unit may move the optical system based on the positional relationship detected by the positional relationship detection unit.
  • the positional relationship correction unit is configured to present the positional relationship detected by the positional relationship detection unit to the observer, and the positional relationship between the optical system and the observer's eyes according to the operation of the observer. It may be made to have a control part to control.
  • control unit may perform shift control of the display position of the image displayed on the display element according to the operation of the observer. Also, for example, in this case, the control unit may perform movement control of the optical system according to the operation of the observer.
  • the positional relationship presentation unit may be configured to display the positional relationship detected by the positional relationship detection unit on the display element.
  • the gap between the optical system and the observer's eye may be displayed by a gauge, characters, or the like.
  • an operation method of the remote control device may be displayed to reduce the deviation.
  • the display of this positional relationship may be displayed on a display element separate from the display element described above.
  • the presentation of this positional relationship may be performed by voice, vibration, and further by the intensity of light emission.
  • the positional deviation between the optical system and the observer's eye is corrected based on the detection result of the positional relationship between the optical system and the observer's eye. Therefore, it becomes possible to appropriately correct the positional deviation between the optical system and the observer's eye.
  • the present technology further includes, for example, a tilt estimation unit that estimates the tilt of the optical system, and the positional relationship detection unit is configured to estimate the tilt of the optical system and the observer eye based on the estimated tilt as well as the estimated eye position.
  • the positional relationship may be detected. In this case, even when the optical system is inclined, the positional relationship between the optical system and the observer's eye can be accurately detected, and the positional deviation between the optical system and the observer's eye can be appropriately corrected. .
  • FIG. 1 shows a schematic configuration example of an optical transmission head mounted display (HMD) 100 according to a first embodiment.
  • This configuration example is a binocular HMD.
  • the HMD 100 has a left eyeglass lens unit 101L and a right eyeglass lens unit 101R.
  • the spectacle lens unit 101L and the spectacle lens unit 101R are integrally connected by the connection member 102.
  • Each of the spectacle lens parts 101L and 101R is a combination of a spectacle lens and a HOE (holographic optical element) sheet.
  • This HOE sheet has a function like a half mirror which combines external light and display light, and a function of concave surface and free-form surface which enlarges a display image.
  • Infrared sensors 103L and 103R are attached to the spectacle lens portions 101L and 101R, respectively.
  • the infrared sensor 103L is attached to the horizontal center position of the spectacle lens unit 101L (the center position in the horizontal direction of the left-eye optical system).
  • the infrared sensor 103R is attached to the horizontal center position of the spectacle lens unit 101R (the center position in the horizontal direction of the right-eye optical system).
  • a gyro sensor 104 for detecting an inclination of an optical system including the eyeglass lens portions 101L and 101R is attached to the eyeglass lens portion 101L.
  • the sensor outputs of the infrared sensors 103L and 103R are used for eye position estimation by the scleral reflection method.
  • the scleral reflex method is a method utilizing the fact that the reflectances of the cornea (black eye) and the sclera (white eye) are different.
  • the infrared sensor scans in the horizontal direction the weak infrared rays emitted to the observer's eye side, and detects the reflected light. Since the intensity of the reflected light in the cornea (black eye) and the sclera (white eye) are largely different, it is possible to estimate the eyeball position of the observer from the sensor output.
  • the HMD 100 includes an image correction unit 111, display drivers 112L and 112R, displays 113L and 113R, an eye position estimation unit 114, a tilt estimation unit 115, and a display control unit 116.
  • the display 113L constitutes a display element and displays a left eye image.
  • the display 113L is configured of, for example, an LCD (Liquid Crystal Display), and is driven by the display driver 112L to display a left eye image forming a stereoscopic image.
  • the display 113R configures a display element and displays a right eye image.
  • the display 113R is configured of, for example, an LCD (Liquid Crystal Display), and is driven by the display driver 112R to display a right eye image forming a stereoscopic image.
  • the eye position estimation unit 114 estimates the eye positions of the left eye and the right eye of the observer based on the sensor outputs from the infrared sensors 103L and 103R. In this case, based on the level of the sensor output of the infrared sensor 103L, the eyeball position estimating unit 114 sets the angle ⁇ L at the time of the cornea (black eye) scan as the estimation result of the eyeball position of the left eye. Further, in this case, the eyeball position estimating unit 114 determines the angle ⁇ R at the time of the cornea (black eye) scan as the estimation result of the eyeball position of the right eye based on the level of the sensor output of the infrared sensor 103R.
  • the tilt estimation unit 115 estimates the tilt ⁇ of the optical system including the spectacle lens units 101L and 101R with respect to the horizontal direction based on the sensor output of the gyro sensor 104.
  • the display control unit 116 detects the positional relationship between the left eye optical system and the left eye based on the eye position estimation result of the left eye and the right eye and the inclination estimation result of the optical system, and the right eye optical system and the right eye Detect the positional relationship with
  • the display control unit 116 determines the positional deviation dL of the left-eye optical system with respect to the left eye based on the angle ⁇ L, which is the estimation result of the eye position of the left eye, and estimates the eye position of the right eye. Based on the angle ⁇ R, the positional deviation dR of the right-eye optical system with respect to the right eye of the observer is determined. Then, the display control unit 116 calculates the inter-eye distance de based on the positional deviations dL and dR thus obtained and the inter-sensor distance ds of the infrared sensors 103L and 103R, which are known.
  • FIG. 2 shows an example of the positional relationship between the optical system and the eye.
  • FIG. 2 shows the case where the inclination ⁇ of the optical system is zero.
  • the tilt ⁇ of the optical system may not be zero.
  • the display control unit 116 calculates the inter-eye distance de based on the positional deviations dL and dR thus obtained, the inter-sensor distance ds of the known infrared sensors 103L and 103R, and the inclination ⁇ . Do.
  • FIG. 3 shows an example of the positional relationship between the optical system and the eye in that case.
  • the interocular distance de is expressed as shown in the following equation (2).
  • the display control unit 116 shifts and controls the display positions of the left eye image and the right eye image in mutually opposite directions in the horizontal direction based on the inter-eye distance de. That is, the display control unit 116 automatically corrects the positional deviation between the optical system and the eyeball position of the observer by manipulating the image and electronically moving the optical system.
  • the display control unit 116 shifts the display position of the left eye image and the right eye image according to the difference s (de ⁇ ds ⁇ cos ⁇ ) between the inter-eye distance de and the inter-sensor distance ds ⁇ cos ⁇ in consideration of the inclination ⁇ .
  • FIG. 4 schematically shows the shift control of the display position of the left eye image and the right eye image.
  • S 0, as shown in FIG. 4A, the shift amount of the left eye image and the right eye image in the horizontal direction is set to zero.
  • the image correction unit 111 shifts the display position under control of the display control unit 116 with respect to left eye image data and right eye image data for displaying a stereoscopic (3D) image. Perform image correction processing for The image correction unit 111 supplies the corrected left eye image data to the display driver 112L, and supplies the corrected right eye image data to the display driver 112R.
  • the left eye image data is supplied to the display driver 112 L via the image correction unit 111.
  • the display driver 112L drives the display 113L, and the left eye image is displayed on the display 113L.
  • right-eye image data is supplied to the display driver 112R via the image correction unit 111.
  • the display 113R is driven by the display driver 112R, and a right eye image is displayed on the display 113R.
  • the light from the left eye image displayed on the display 113L is reflected by the spectacle lens unit 101L and reaches the left eye of the observer.
  • the left eye image displayed on the display 113L is optically enlarged by the spectacle lens unit 101L, and is observed by the observer's left eye as an enlarged virtual image.
  • the light from the right eye image displayed on the display 113R is reflected by the spectacle lens unit 101R and reaches the right eye of the observer.
  • the right-eye image displayed on the display 113R is optically enlarged by the spectacle lens unit 101R, and is observed by the observer's right eye as an enlarged virtual image.
  • the viewer's eye side is irradiated with weak infrared rays from the infrared sensor 103L attached to the horizontal center position (center position in the horizontal direction of the left eye optical system) of the spectacle lens unit 101L, and the horizontal direction Will be scanned. Also, in this image display state, the viewer's eye side is irradiated with weak infrared rays from the infrared sensor 103R attached to the horizontal center position (center position in the horizontal direction of the right eye optical system) of the eyeglass lens unit 101R. Scan horizontally.
  • the sensor outputs of the infrared sensors 103L and 103R are respectively supplied to the eyeball position estimation unit 114.
  • the eyeball position estimation unit 114 estimates the eyeball positions of the left eye and the right eye of the observer based on the sensor outputs from the infrared sensors 103L and 103R.
  • the eye position estimating unit 114 outputs the angles ⁇ L and ⁇ R at the time of the cornea (black eye) scan as estimation results of the eye positions of the left eye and the right eye (see FIGS. 2 and 3).
  • the sensor output of the gyro sensor 104 attached to the spectacle lens unit 101 L is supplied to the inclination estimation unit 115.
  • the tilt estimation unit 115 based on the sensor output of the gyro sensor 104, the tilt ⁇ of the optical system including the spectacle lens units 101L and 101R with respect to the horizontal direction is estimated (see FIG. 3).
  • the angles ⁇ L and ⁇ R that are estimation results of the eyeball position estimation unit 114 are supplied to the display control unit 116. Further, the inclination ⁇ which is the estimation result of the inclination estimation unit 115 is supplied to the display control unit 116.
  • the display control unit 116 based on the estimation results of the eye position of the left eye and the right eye and the inclination estimation result of the optical system, the positional deviation dL of the observer of the left eye optical system with respect to the left eye The positional deviation dR of the lens with respect to the right eye is obtained (see FIGS. 2 and 3).
  • the display control unit 116 calculates the inter-eye distance de based on the positional deviations dL and dR, the known inter-sensor distance ds of the infrared sensors 103L and 103R, and the inclination ⁇ (see equation (2)). . In this case, by considering the inclination ⁇ , the inter-eye distance de can be obtained with high accuracy.
  • the image correction unit 111 is controlled by the display control unit 116, and the display positions of the left eye image and the right eye image displayed on the displays 113L and 113R are shift-controlled.
  • the difference s is controlled to be 0 according to the difference s (de ⁇ ds ⁇ cos ⁇ ) between the inter-eye distance de and the inter-sensor distance ds ⁇ cos ⁇ in which the inclination ⁇ is taken into consideration.
  • the horizontal center of the left eye image is made to coincide with the left eye of the observer, and the horizontal center of the right eye image is made to coincide with the right eye of the observer. Misalignment of the eyes is corrected.
  • the display positions of the left eye image and the right eye image are shift-controlled based on the detection result of the positional relationship between the optical system and the observer's eye, and the optical system and the observer's eye Misalignment is corrected electronically. Therefore, the positional deviation between the optical system and the observer's eye can be corrected appropriately.
  • FIG. 5 shows a schematic configuration example of an optical transmission head mounted display (HMD) 100A as a second embodiment.
  • This configuration example is a binocular HMD.
  • parts corresponding to FIG. 1 are given the same reference numerals, and the detailed description thereof will be omitted as appropriate.
  • the HMD 100A has a left eyeglass lens unit 101L and a right eyeglass lens unit 101R.
  • the spectacle lens unit 101L and the spectacle lens unit 101R are connected by the optical system adjustment mechanism 122.
  • the optical system adjustment mechanism 122 expands and contracts the distance between the left and right optical systems, that is, the distance between the eyeglass lens unit 101L forming the left eye optical system and the eyeglass lens unit 101R forming the right eye optical system.
  • Infrared sensors 103L and 103R are attached to the spectacle lens portions 101L and 101R, respectively.
  • a gyro sensor 104 for detecting an inclination of an optical system including the eyeglass lens portions 101L and 101R is attached to the eyeglass lens portion 101L.
  • the sensor outputs of the infrared sensors 103L and 103R are used for eye position estimation by the scleral reflection method.
  • the HMD 100A further includes display drivers 112L and 112R, displays 113L and 113R, an eye position estimation unit 114, a tilt estimation unit 115, a display control unit 116A, and an optical system position correction unit 117.
  • the display 113 ⁇ / b> L is driven by the display driver 112 ⁇ / b> L to display a left eye image forming a stereoscopic image.
  • the display 113R is driven by the display driver 112R to display a right-eye image forming a stereoscopic image.
  • the eye position estimation unit 114 estimates the eye positions of the left eye and the right eye of the observer based on the sensor outputs from the infrared sensors 103L and 103R, and determines the angles ⁇ L and ⁇ R at the time of the cornea (black eye) scan as the eye positions. It outputs as an estimation result of (refer FIG. 2, FIG. 3).
  • the inclination estimation unit 115 outputs, as an estimation result, the inclination ⁇ with respect to the horizontal direction of the optical system including the spectacle lens units 101L and 101R based on the sensor output of the gyro sensor 104 (see FIG. 3).
  • the display control unit 116A determines the positional shift dL of the left-eye optical system with respect to the left eye of the observer based on the angle ⁇ L, and determines the positional shift dR with respect to the right eye of the observer of the right-eye optical system based on the angle ⁇ R.
  • the display control unit 116A calculates the inter-eye distance de based on the positional deviations dL and dR, the inter-sensor distance ds of the known infrared sensors 103L and 103R, and the inclination ⁇ (see equation (2)). .
  • the display control unit 116A selects the left-eye optical system and the right-eye optical system according to the difference s (de ⁇ ds ⁇ cos ⁇ ) between the inter-eye distance de and the inter-sensor distance ds ⁇ cos ⁇ in consideration of the inclination ⁇ .
  • the position is controlled to shift in the opposite direction to the horizontal direction. That is, the display control unit 116A automatically corrects the positional deviation between the optical system and the eyeball position of the observer by mechanically moving the optical system.
  • This shift control is similar to the shift control of the display position of the left eye image and the right eye image described above (see FIG. 4).
  • the optical system position correction unit 117 corrects the optical system position under the control of the display control unit 116A. That is, the optical system position correction unit 117 adjusts the expansion and contraction of the optical system adjustment mechanism 122 to adjust the horizontal position of the spectacle lens unit 101L and the spectacle lens unit 101R. Further, along with this, the optical system position correction unit 117 also adjusts the positions of the displays 113L and 113R.
  • the left eye image data is supplied to the display driver 112L.
  • the display driver 112L drives the display 113L, and the left eye image is displayed on the display 113L.
  • right eye image data is supplied to the display driver 112R.
  • the display 113R is driven by the display driver 112R, and a right eye image is displayed on the display 113R.
  • the light from the left eye image displayed on the display 113L is reflected by the spectacle lens unit 101L and reaches the left eye of the observer.
  • the left eye image displayed on the display 113L is optically enlarged by the spectacle lens unit 101L, and is observed by the observer's left eye as an enlarged virtual image.
  • the light from the right eye image displayed on the display 113R is reflected by the spectacle lens unit 101R and reaches the right eye of the observer.
  • the right-eye image displayed on the display 113R is optically enlarged by the spectacle lens unit 101R, and is observed by the observer's right eye as an enlarged virtual image.
  • the viewer's eye side is irradiated with weak infrared rays from the infrared sensor 103L attached to the horizontal center position (center position in the horizontal direction of the left eye optical system) of the spectacle lens unit 101L, and the horizontal direction Will be scanned. Also, in this image display state, the viewer's eye side is irradiated with weak infrared rays from the infrared sensor 103R attached to the horizontal center position (center position in the horizontal direction of the right eye optical system) of the eyeglass lens unit 101R. Scan horizontally.
  • the sensor outputs of the infrared sensors 103L and 103R are respectively supplied to the eyeball position estimation unit 114.
  • the eyeball position estimation unit 114 estimates the eyeball positions of the left eye and the right eye of the observer based on the sensor outputs from the infrared sensors 103L and 103R.
  • the eye position estimating unit 114 outputs the angles ⁇ L and ⁇ R at the time of the cornea (black eye) scan as estimation results of the eye positions of the left eye and the right eye (see FIGS. 2 and 3).
  • the sensor output of the gyro sensor 104 attached to the spectacle lens unit 101 L is supplied to the inclination estimation unit 115.
  • the tilt estimation unit 115 based on the sensor output of the gyro sensor 104, the tilt ⁇ of the optical system including the spectacle lens units 101L and 101R with respect to the horizontal direction is estimated (see FIG. 3).
  • the angles ⁇ L and ⁇ R that are estimation results of the eye position estimation unit 114 are supplied to the display control unit 116A. Further, the inclination ⁇ which is the estimation result of the inclination estimation unit 115 is supplied to the display control unit 116A.
  • the display control unit 116A based on the estimation results of the eye position of the left eye and the right eye and the inclination estimation result of the optical system, the positional deviation dL of the observer of the left eye optical system with respect to the left eye and the observer of the right eye optical system The positional deviation dR of the lens with respect to the right eye is obtained (see FIGS. 2 and 3).
  • the inter-eye distance de is calculated based on the positional deviations dL and dR, the inter-sensor distance ds of the known infrared sensors 103L and 103R, and the inclination ⁇ (see equation (2)) . In this case, by considering the inclination ⁇ , the inter-eye distance de can be obtained with high accuracy.
  • the optical system position correction unit 117 is controlled by the display control unit 116A, and the positions of the left eye optical system and the right eye optical system, that is, the positions of the eyeglass lens units 101L and 101R and the positions of the displays 113L and 113R are shift controlled. Ru.
  • the difference s is controlled to be 0 according to the difference s (de ⁇ ds ⁇ cos ⁇ ) between the inter-eye distance de and the inter-sensor distance ds ⁇ cos ⁇ in which the inclination ⁇ is taken into consideration.
  • the horizontal center of the left-eye optical system coincides with the left eye of the observer
  • the horizontal center of the right-eye optical system coincides with the right eye of the observer. Misalignment of the observer's eye is corrected.
  • the positions of the left eye optical system and the right eye optical system are shift-controlled based on the detection result of the positional relationship between the optical system and the observer's eye, and the optical system and the observer Misalignment of the eye is mechanically corrected. Therefore, the positional deviation between the optical system and the observer's eye can be corrected appropriately.
  • FIG. 6 shows a schematic configuration example of an optical transmission head mounted display (HMD) 100B according to the third embodiment.
  • This configuration example is a binocular HMD.
  • the HMD 100B has a left eyeglass lens unit 101L and a right eyeglass lens unit 101R.
  • the spectacle lens unit 101L and the spectacle lens unit 101R are integrally connected by the connection member 102.
  • Infrared sensors 103L and 103R are attached to the spectacle lens portions 101L and 101R, respectively.
  • a gyro sensor 104 for detecting an inclination of an optical system including the eyeglass lens portions 101L and 101R is attached to the eyeglass lens portion 101L.
  • the sensor outputs of the infrared sensors 103L and 103R are used for eye position estimation by the scleral reflection method.
  • the HMD 100B further includes display drivers 112L and 112R, displays 113L and 113R, an eye position estimation unit 114, an inclination estimation unit 115, a display control unit 116B, an image correction unit 111, and an OSD superposition unit 118. ing.
  • the display 113 ⁇ / b> L is driven by the display driver 112 ⁇ / b> L to display a left eye image forming a stereoscopic image.
  • the display 113R is driven by the display driver 112R to display a right-eye image forming a stereoscopic image.
  • the eye position estimation unit 114 estimates the eye positions of the left eye and the right eye of the observer based on the sensor outputs from the infrared sensors 103L and 103R, and determines the angles ⁇ L and ⁇ R at the time of the cornea (black eye) scan as the eye positions. It outputs as an estimation result of (refer FIG. 2, FIG. 3).
  • the inclination estimation unit 115 outputs, as an estimation result, the inclination ⁇ with respect to the horizontal direction of the optical system including the spectacle lens units 101L and 101R based on the sensor output of the gyro sensor 104 (see FIG. 3).
  • the display control unit 116B determines the positional shift dL of the left-eye optical system with respect to the left eye of the observer based on the angle ⁇ L, and determines the positional shift dR with respect to the right eye of the observer of the right-eye optical system based on the angle ⁇ R.
  • the display control unit 116B calculates the inter-eye distance de based on the positional deviations dL and dR, the inter-sensor distance ds of the known infrared sensors 103L and 103R, and the inclination ⁇ (see Formula (2)). .
  • the display control unit 116B performs OSD display of the difference s or this display according to the difference s (de ⁇ ds ⁇ cos ⁇ ) between the inter-eye distance de and the inter-sensor distance ds ⁇ cos ⁇ in consideration of the inclination ⁇ .
  • An OSD is displayed to prompt the user to correct the difference s.
  • FIG. 7 shows an example of the OSD display.
  • FIG. 7A is an example of displaying a gauge indicating the difference s (the amount of positional deviation), in which the gauge is displayed on the left side of the screen.
  • FIG. 7B is also an example of displaying a gauge indicating the difference s (the amount of positional deviation), in which the gauge is displayed on the upper end side of the screen.
  • FIG. 7C is also an example of displaying a gauge indicating the difference s (the amount of positional deviation), in which the gauge is displayed at the center of the screen.
  • FIGS. 7D and 7E show an example of displaying a character indicating the difference s (the amount of positional deviation). Further, FIG.
  • FIG. 7F shows an example of the OSD display for prompting the user to perform the operation of correcting the difference s, and as indicated by the arrow P, the operation button of the remote control device to be operated by the user (operation portion )It is shown. It is also conceivable to display by combining the display of the gauge, the display of characters, the display of the operation button of the remote control device, and the like as appropriate.
  • the display control unit 116B shifts the display positions of the left eye image and the right eye image based on the user operation acquired by the user operation acquisition unit 119.
  • the user performs correction so that the difference s becomes 0 based on the OSD display of the difference s or the OSD display for prompting the user to perform the operation of correcting the difference s. I will do the operation.
  • the image correction unit 111 performs an image correction process for shifting the display position of the left eye image data and the right eye image data for displaying a stereoscopic (3D) image under the control of the display control unit 116B. Do.
  • the image correction unit 111 supplies the corrected left eye image data to the display driver 112L through the OSD superimposing unit 118, and supplies the corrected right eye image data to the display driver 112R.
  • the OSD superimposing unit 118 superimposes the display signal for OSD display output from the display control unit 116B on the left eye image data and the right eye image data.
  • the left eye image data is supplied to the display driver 112 L via the image correction unit 111.
  • the display driver 112L drives the display 113L, and the left eye image is displayed on the display 113L.
  • right-eye image data is supplied to the display driver 112R via the image correction unit 111.
  • the display 113R is driven by the display driver 112R, and a right eye image is displayed on the display 113R.
  • the light from the left eye image displayed on the display 113L is reflected by the spectacle lens unit 101L and reaches the left eye of the observer.
  • the left eye image displayed on the display 113L is optically enlarged by the spectacle lens unit 101L, and is observed by the observer's left eye as an enlarged virtual image.
  • the light from the right eye image displayed on the display 113R is reflected by the spectacle lens unit 101R and reaches the right eye of the observer.
  • the right-eye image displayed on the display 113R is optically enlarged by the spectacle lens unit 101R, and is observed by the observer's right eye as an enlarged virtual image.
  • the viewer's eye side is irradiated with weak infrared rays from the infrared sensor 103L attached to the horizontal center position (center position in the horizontal direction of the left eye optical system) of the spectacle lens unit 101L, and the horizontal direction Will be scanned. Also, in this image display state, the viewer's eye side is irradiated with weak infrared rays from the infrared sensor 103R attached to the horizontal center position (center position in the horizontal direction of the right eye optical system) of the eyeglass lens unit 101R. Scan horizontally.
  • the sensor outputs of the infrared sensors 103L and 103R are respectively supplied to the eyeball position estimation unit 114.
  • the eyeball position estimation unit 114 estimates the eyeball positions of the left eye and the right eye of the observer based on the sensor outputs from the infrared sensors 103L and 103R.
  • the eye position estimating unit 114 outputs the angles ⁇ L and ⁇ R at the time of the cornea (black eye) scan as estimation results of the eye positions of the left eye and the right eye (see FIGS. 2 and 3).
  • the sensor output of the gyro sensor 104 attached to the spectacle lens unit 101 L is supplied to the inclination estimation unit 115.
  • the tilt estimation unit 115 based on the sensor output of the gyro sensor 104, the tilt ⁇ of the optical system including the spectacle lens units 101L and 101R with respect to the horizontal direction is estimated (see FIG. 3).
  • the angles ⁇ L and ⁇ R which are estimation results of the eye position estimation unit 114, are supplied to the display control unit 116B.
  • the inclination ⁇ which is the estimation result of the inclination estimation unit 115, is supplied to the display control unit 116B.
  • the positional deviation dL of the observer of the left eye optical system with respect to the left eye and the observer of the right eye optical system is obtained (see FIGS. 2 and 3).
  • the inter-eye distance de is calculated based on the positional deviations dL and dR, the known inter-sensor distance ds of the infrared sensors 103L and 103R, and the inclination ⁇ (see equation (2)) . In this case, by considering the inclination ⁇ , the inter-eye distance de can be obtained with high accuracy.
  • a difference s (de ⁇ ds ⁇ cos ⁇ ) between the inter-eye distance de and the inter-sensor distance ds ⁇ cos ⁇ in consideration of the inclination ⁇ is obtained from the display control unit 116B, and the OSD display of the difference s or A display signal for OSD display for prompting the user to correct the difference s is output.
  • This display signal is supplied to the OSD superimposing unit 118 and superimposed on the left eye image data and the right eye image data. As a result, the OSD is displayed on the displays 113L and 113R.
  • a correction operation is performed by the observer based on the OSD display so that the difference s becomes zero.
  • the user operation acquisition unit 119 acquires this user operation and sends it to the display control unit 116B.
  • the display control unit 116B controls the image correction unit 111 to shift-control the display positions of the left eye image and the right eye image displayed on the displays 113L and 113R.
  • the horizontal center of the left eye image is made to coincide with the left eye of the observer
  • the horizontal center of the right eye image is made to coincide with the right eye of the observer. Misalignment of the eyes is corrected.
  • the positional deviation between the optical system and the observer's eye is OSD-displayed based on the detection result of the positional relationship between the optical system and the observer's eye.
  • the observer Based on this OSD display, the observer performs a correction operation so as to eliminate positional deviation. Then, in response to the correction operation, the display positions of the left eye image and the right eye image are shift-controlled, and the positional deviation between the optical system and the observer's eye is electronically corrected. Therefore, the positional deviation between the optical system and the observer's eye can be corrected appropriately.
  • FIG. 8 shows a schematic configuration example of an optical transmission head mounted display (HMD) 100C according to a fourth embodiment.
  • This configuration example is a binocular HMD.
  • portions corresponding to FIGS. 2 and 6 are denoted by the same reference numerals, and the detailed description thereof is appropriately omitted.
  • the HMD 100C has a left eyeglass lens unit 101L and a right eyeglass lens unit 101R.
  • the spectacle lens unit 101L and the spectacle lens unit 101R are connected by the optical system adjustment mechanism 122.
  • Infrared sensors 103L and 103R are attached to the spectacle lens portions 101L and 101R, respectively.
  • a gyro sensor 104 for detecting an inclination of an optical system including the eyeglass lens portions 101L and 101R is attached to the eyeglass lens portion 101L.
  • the sensor outputs of the infrared sensors 103L and 103R are used for eye position estimation by the scleral reflection method.
  • the HMD 100C includes the display drivers 112L and 112R, the displays 113L and 113R, the eye position estimation unit 114, the tilt estimation unit 115, the display control unit 116C, the optical system position correction unit 117, and the OSD superposition unit 118. , And the user operation acquisition unit 119.
  • the display 113 ⁇ / b> L is driven by the display driver 112 ⁇ / b> L to display a left eye image forming a stereoscopic image.
  • the display 113R is driven by the display driver 112R to display a right-eye image forming a stereoscopic image.
  • the eye position estimation unit 114 estimates the eye positions of the left eye and the right eye of the observer based on the sensor outputs from the infrared sensors 103L and 103R, and determines the angles ⁇ L and ⁇ R at the time of the cornea (black eye) scan as the eye positions. It outputs as an estimation result of (refer FIG. 2, FIG. 3).
  • the inclination estimation unit 115 outputs, as an estimation result, the inclination ⁇ with respect to the horizontal direction of the optical system including the spectacle lens units 101L and 101R based on the sensor output of the gyro sensor 104 (see FIG. 3).
  • the display control unit 116C determines the positional deviation dL of the left-eye optical system with respect to the left eye of the observer based on the angle ⁇ L, and determines the positional deviation dR with respect to the right eye of the observer of the right-eye optical system based on the angle ⁇ R.
  • the display control unit 116C calculates the inter-eye distance de based on the positional deviations dL and dR, the inter-sensor distance ds of the known infrared sensors 103L and 103R, and the inclination ⁇ (see Formula (2)). .
  • the display control unit 116C performs OSD display of the difference s or the difference s according to the difference s (de ⁇ ds ⁇ cos ⁇ ) between the inter-eye distance de and the inter-sensor distance ds ⁇ cos ⁇ in consideration of the inclination ⁇ .
  • the OSD is displayed to prompt the user to perform an operation to correct the
  • the display control unit 116C shifts the positions of the left eye optical system and the right eye optical system based on the user operation acquired by the user operation acquisition unit 119.
  • the user performs correction so that the difference s becomes 0 based on the OSD display of the difference s or the OSD display for prompting the user to perform the operation of correcting the difference s. I will do the operation.
  • the optical system position correction unit 117 corrects the optical system position under the control of the display control unit 116C. That is, the optical system position correction unit 117 adjusts the expansion and contraction of the optical system adjustment mechanism 122 to adjust the horizontal position of the spectacle lens unit 101L and the spectacle lens unit 101R. Further, along with this, the optical system position correction unit 117 also adjusts the positions of the displays 113L and 113R.
  • the OSD superimposing unit 118 superimposes the display signal for OSD display output from the display control unit 116C on the left eye image data and the right eye image data.
  • the left eye image data is supplied to the display driver 112L.
  • the display driver 112L drives the display 113L, and the left eye image is displayed on the display 113L.
  • right eye image data is supplied to the display driver 112R.
  • the display 113R is driven by the display driver 112R, and a right eye image is displayed on the display 113R.
  • the light from the left eye image displayed on the display 113L is reflected by the spectacle lens unit 101L and reaches the left eye of the observer.
  • the left eye image displayed on the display 113L is optically enlarged by the spectacle lens unit 101L, and is observed by the observer's left eye as an enlarged virtual image.
  • the light from the right eye image displayed on the display 113R is reflected by the spectacle lens unit 101R and reaches the right eye of the observer.
  • the right-eye image displayed on the display 113R is optically enlarged by the spectacle lens unit 101R, and is observed by the observer's right eye as an enlarged virtual image.
  • the viewer's eye side is irradiated with weak infrared rays from the infrared sensor 103L attached to the horizontal center position (center position in the horizontal direction of the left eye optical system) of the spectacle lens unit 101L, and the horizontal direction Will be scanned. Also, in this image display state, the viewer's eye side is irradiated with weak infrared rays from the infrared sensor 103R attached to the horizontal center position (center position in the horizontal direction of the right eye optical system) of the eyeglass lens unit 101R. Scan horizontally.
  • the sensor outputs of the infrared sensors 103L and 103R are respectively supplied to the eyeball position estimation unit 114.
  • the eyeball position estimation unit 114 estimates the eyeball positions of the left eye and the right eye of the observer based on the sensor outputs from the infrared sensors 103L and 103R.
  • the eye position estimating unit 114 outputs the angles ⁇ L and ⁇ R at the time of the cornea (black eye) scan as estimation results of the eye positions of the left eye and the right eye (see FIGS. 2 and 3).
  • the sensor output of the gyro sensor 104 attached to the spectacle lens unit 101 L is supplied to the inclination estimation unit 115.
  • the tilt estimation unit 115 based on the sensor output of the gyro sensor 104, the tilt ⁇ of the optical system including the spectacle lens units 101L and 101R with respect to the horizontal direction is estimated (see FIG. 3).
  • the angles ⁇ L and ⁇ R that are estimation results of the eyeball position estimation unit 114 are supplied to the display control unit 116C.
  • the inclination ⁇ which is the estimation result of the inclination estimation unit 115, is supplied to the display control unit 116C.
  • the positional deviation dL of the observer of the left eye optical system with respect to the left eye and the observer of the right eye optical system is obtained (see FIGS. 2 and 3).
  • the inter-eye distance de is calculated based on the positional deviations dL and dR, the inter-sensor distance ds of the known infrared sensors 103L and 103R, and the inclination ⁇ (see Formula (2)) . In this case, by considering the inclination ⁇ , the inter-eye distance de can be obtained with high accuracy.
  • a difference s (de ⁇ ds ⁇ cos ⁇ ) between the inter-eye distance de and the inter-sensor distance ds ⁇ cos ⁇ in consideration of the inclination ⁇ is obtained from the display control unit 116C, and the OSD display of the difference s or A display signal for OSD display for prompting the user to correct the difference s is output.
  • This display signal is supplied to the OSD superimposing unit 118 and superimposed on the left eye image data and the right eye image data. As a result, the OSD is displayed on the displays 113L and 113R.
  • a correction operation is performed by the observer based on the OSD display so that the difference s becomes zero.
  • the user operation acquisition unit 119 acquires this user operation and sends it to the display control unit 116C.
  • the optical system position correction unit 117 is controlled by the display control unit 116C, and the positions of the left eye optical system and the right eye optical system, that is, the positions of the eyeglass lens units 101L and 101R and those of the displays 101L and 101R. Position is shift controlled.
  • the horizontal center of the left-eye optical system coincides with the left eye of the observer
  • the horizontal center of the right-eye optical system coincides with the right eye of the observer. Misalignment of the observer's eye is corrected.
  • the positional deviation between the optical system and the observer's eye is OSD-displayed based on the detection result of the positional relationship between the optical system and the observer's eye.
  • the observer Based on this OSD display, the observer performs a correction operation so as to eliminate positional deviation. Then, in response to this correction operation, the left eye optical system and the right eye optical system are shift-controlled, and the positional deviation between the optical system and the observer's eye is mechanically corrected. Therefore, the positional deviation between the optical system and the observer's eye can be corrected appropriately.
  • FIG. 9 shows a schematic configuration example of an optical transmission head mounted display (HMD) 100D according to the fifth embodiment.
  • This configuration example is a monocular HMD.
  • parts corresponding to FIG. 1 are given the same reference numerals, and the detailed description thereof will be omitted as appropriate.
  • this HMD 100D is a monocular HMD
  • the HMD 100 shown in FIG. 1 has one eyeglass lens portion 101 while the HMD 100 shown in FIG. 1 has two eyeglass lens portions 101L and 101R.
  • An infrared sensor 103 is attached to the spectacle lens unit 101.
  • the infrared sensor 103 functions in the same manner as the infrared sensors 103L and 103R in the HMD 100 shown in FIG. 1 and sends the sensor output to the eye position estimation unit 114.
  • a gyro sensor 104 for detecting the inclination of the optical system including the eyeglass lens unit 101 is attached to the eyeglass lens unit 101.
  • the gyro sensor 104 sends the sensor output to the tilt estimation unit 105.
  • the HMD 100D since the HMD 100D is a monocular HMD, it has one display driver 112 and display 113.
  • the display 113 is driven by the display driver 112 to display an image.
  • the light from the image displayed on the display 113 is reflected by the spectacle lens unit 101 and reaches the observer's eye (left eye or right eye).
  • the image displayed on the display 113 is optically magnified by the spectacle lens unit 101, and is observed by the observer's eye as a magnified virtual image.
  • the eye position estimation unit 114 estimates the eye position of the observer's eye based on the sensor output from the infrared sensor 103 as in the eye position estimation unit 114 in the HMD 100 of FIG. (Black eye)
  • the angle ⁇ at the time of scanning is output (see FIGS. 2 and 3).
  • the inclination estimating unit 115 estimates the inclination ⁇ of the optical system including the eyeglass lens unit 101 with respect to the horizontal direction based on the sensor output of the gyro sensor 104 as in the inclination estimating unit 115 of the HMD 100 in FIG. 3).
  • the display control unit 116D obtains the positional deviation d of the optical system with respect to the observer's eye based on the eye position estimation result and the inclination estimation result of the optical system.
  • This positional deviation d corresponds to dL / cos ⁇ or dR / cos ⁇ , as shown in FIG.
  • the display control unit 116D controls the image correction unit 111 to shift the display position of the image displayed on the display 113 in the horizontal direction so that the value becomes 0 based on the positional deviation d.
  • the horizontal center of the image is made to coincide with the observer's eye, and the positional deviation between the optical system and the observer's eye is corrected.
  • the other parts of the HMD 100D shown in FIG. 9 are configured in the same manner as the HMD 100 shown in FIG. As described above, in the HMD 100D shown in FIG. 9, the display position of the image is shift-controlled based on the detection result of the positional relationship between the optical system and the observer's eye, and the positional deviation between the optical system and the observer's eye is electronic. Corrected to Therefore, the positional deviation between the optical system and the observer's eye can be corrected appropriately.
  • FIG. 10 shows a schematic configuration example of an optical transmission head mounted display (HMD) 100E according to a sixth embodiment.
  • This configuration example is a monocular HMD.
  • parts corresponding to FIGS. 5 and 9 are assigned the same reference numerals, and the detailed description thereof will be omitted as appropriate.
  • the HMD 100E is a monocular HMD
  • the HMD 100A shown in FIG. 5 has two spectacle lens parts 101L and 101R, but has one spectacle lens part 101.
  • An infrared sensor 103 is attached to the spectacle lens unit 101.
  • the infrared sensor 103 functions in the same manner as the infrared sensors 103L and 103R in the HMD 100A shown in FIG. 5, and sends the sensor output to the eye position estimation unit 114.
  • a gyro sensor 104 for detecting the inclination of the optical system including the eyeglass lens unit 101 is attached to the eyeglass lens unit 101.
  • the gyro sensor 104 sends the sensor output to the tilt estimation unit 105.
  • the HMD 100E since the HMD 100E is a monocular HMD, it has one display driver 112 and display 113.
  • the display 113 is driven by the display driver 112 to display an image.
  • the light from the image displayed on the display 113 is reflected by the spectacle lens unit 101 and reaches the observer's eye (left eye or right eye).
  • the image displayed on the display 113 is optically magnified by the spectacle lens unit 101, and is observed by the observer's eye as a magnified virtual image.
  • the eye position estimation unit 114 estimates the eye position of the observer's eye based on the sensor output from the infrared sensor 103 as in the eye position estimation unit 114 in the HMD 100A of FIG. (Black eye)
  • the angle ⁇ at the time of scanning is output (see FIGS. 2 and 3).
  • the inclination estimating unit 115 estimates the inclination ⁇ of the optical system including the eyeglass lens unit 101 with respect to the horizontal direction based on the sensor output of the gyro sensor 104, similarly to the inclination estimating unit 115 in the HMD 100A of FIG. 3).
  • the display control unit 116E obtains the positional deviation d of the optical system with respect to the observer's eye based on the eye position estimation result and the inclination estimation result of the optical system.
  • This positional deviation d corresponds to dL / cos ⁇ or dR / cos ⁇ , as shown in FIG.
  • the display control unit 116E controls the optical system position correction unit 117 so that the value becomes 0 based on the positional deviation d, and shifts the position of the spectacle lens unit 101, that is, the optical system in the horizontal direction.
  • the display control unit 116 ⁇ / b> E also controls the position of the display 113 in accordance with the shift control of the spectacle lens unit 101. As a result, the horizontal center of the image is made to coincide with the observer's eye, and the positional deviation between the optical system and the observer's eye is corrected.
  • the rest of the HMD 100E shown in FIG. 10 is configured in the same manner as the HMD 100A shown in FIG.
  • the optical system is shift-controlled based on the detection result of the positional relationship between the optical system and the observer's eye, and the positional deviation between the optical system and the observer's eye is mechanically corrected. Be done. Therefore, the positional deviation between the optical system and the observer's eye can be corrected appropriately.
  • FIG. 11 shows a schematic configuration example of an optical transmission head mounted display (HMD) 100F according to a seventh embodiment.
  • This configuration example is a monocular HMD.
  • parts corresponding to FIGS. 6 and 9 are assigned the same reference numerals, and the detailed description thereof will be omitted as appropriate.
  • the HMD 100F is a monocular HMD
  • the HMD 100B shown in FIG. 6 has two spectacle lens parts 101L and 101R, but has one spectacle lens part 101.
  • An infrared sensor 103 is attached to the spectacle lens unit 101.
  • the infrared sensor 103 functions in the same manner as the infrared sensors 103L and 103R in the HMD 100B shown in FIG. 6, and sends the sensor output to the eye position estimation unit 114.
  • a gyro sensor 104 for detecting the inclination of the optical system including the eyeglass lens unit 101 is attached to the eyeglass lens unit 101.
  • the gyro sensor 104 sends the sensor output to the tilt estimation unit 105.
  • the HMD 100F since the HMD 100F is a monocular HMD, it has one display driver 112 and display 113.
  • the display 113 is driven by the display driver 112 to display an image.
  • the light from the image displayed on the display 113 is reflected by the spectacle lens unit 101 and reaches the observer's eye (left eye or right eye).
  • the image displayed on the display 113 is optically magnified by the spectacle lens unit 101, and is observed by the observer's eye as a magnified virtual image.
  • the eye position estimation unit 114 estimates the eye position of the observer's eye based on the sensor output from the infrared sensor 103 as in the eye position estimation unit 114 in the HMD 100B of FIG. (Black eye)
  • the angle ⁇ at the time of scanning is output (see FIGS. 2 and 3).
  • the inclination estimating unit 115 estimates the inclination ⁇ of the optical system including the eyeglass lens unit 101 with respect to the horizontal direction based on the sensor output of the gyro sensor 104 similarly to the inclination estimating unit 115 in the HMD 100B of FIG. 3).
  • the display control unit 116F determines the positional deviation d of the optical system with respect to the observer's eye based on the eye position estimation result and the inclination estimation result of the optical system. This positional deviation d corresponds to dL / cos ⁇ or dR / cos ⁇ , as shown in FIG.
  • the display control unit 116F outputs an OSD display of the positional deviation d or a display signal for an OSD display for prompting the user to correct the positional deviation d, and supplies the display signal to the OSD overlapping unit 118.
  • the OSD display is performed on the display 113.
  • a correction operation is performed by the observer based on the OSD display so that the positional deviation d becomes zero.
  • the user operation acquisition unit 119 acquires this user operation and sends it to the display control unit 116F.
  • the display control unit 116F performs shift control of the display position of the image displayed on the display 113 based on the correction operation. As a result, the horizontal center of the image is made to coincide with the observer's eye, and the positional deviation between the optical system and the observer's eye is corrected.
  • the positional deviation between the optical system and the observer's eye is OSD-displayed based on the detection result of the positional relationship between the optical system and the observer's eye.
  • the observer Based on this OSD display, the observer performs a correction operation so as to eliminate positional deviation. Then, according to this correction operation, the display position of the image is shift-controlled, and the positional deviation between the optical system and the observer's eye is electronically corrected. Therefore, the positional deviation between the optical system and the observer's eye can be corrected appropriately.
  • FIG. 12 shows a schematic configuration example of an optical transmission head mounted display (HMD) 100G according to the eighth embodiment.
  • This configuration example is a monocular HMD.
  • the portions corresponding to FIGS. 8 and 9 are assigned the same reference numerals, and the detailed description thereof will be omitted as appropriate.
  • the HMD 100G is a monocular HMD
  • the HMD 100C shown in FIG. 8 has two spectacle lens parts 101L and 101R, but has one spectacle lens part 101.
  • An infrared sensor 103 is attached to the spectacle lens unit 101.
  • the infrared sensor 103 functions in the same manner as the infrared sensors 103 L and 103 R in the HMD 100 C shown in FIG. 8 and sends the sensor output to the eye position estimation unit 114.
  • a gyro sensor 104 for detecting the inclination of the optical system including the eyeglass lens unit 101 is attached to the eyeglass lens unit 101.
  • the gyro sensor 104 sends the sensor output to the tilt estimation unit 105.
  • the HMD 100G since the HMD 100G is a monocular HMD, it has one display driver 112 and display 113.
  • the display 113 is driven by the display driver 112 to display an image.
  • the light from the image displayed on the display 113 is reflected by the spectacle lens unit 101 and reaches the observer's eye (left eye or right eye).
  • the image displayed on the display 113 is optically magnified by the spectacle lens unit 101, and is observed by the observer's eye as a magnified virtual image.
  • the eye position estimation unit 114 estimates the eye position of the observer's eye based on the sensor output from the infrared sensor 103 as in the eye position estimation unit 114 in the HMD 100C of FIG. (Black eye)
  • the angle ⁇ at the time of scanning is output (see FIGS. 2 and 3).
  • the inclination estimating unit 115 estimates the inclination ⁇ of the optical system including the eyeglass lens unit 101 with respect to the horizontal direction based on the sensor output of the gyro sensor 104 as in the inclination estimating unit 115 in the HMD 100C of FIG. 3).
  • the display control unit 116G determines the positional deviation d of the optical system with respect to the observer's eye based on the eye position estimation result and the inclination estimation result of the optical system. This positional deviation d corresponds to dL / cos ⁇ or dR / cos ⁇ , as shown in FIG.
  • the display control unit 116G outputs an OSD display of the displacement d or a display signal for an OSD display for prompting the user to correct the displacement d, and supplies the display signal to the OSD superimposing unit 118.
  • the OSD display is performed on the display 113.
  • a correction operation is performed by the observer based on the OSD display so that the positional deviation d becomes zero.
  • the user operation acquisition unit 119 acquires this user operation and sends it to the display control unit 116G.
  • the display control unit 116G controls the optical system position correction unit 117 based on this correction operation to shift control the position of the optical system, that is, the position of the spectacle lens unit 101 and the position of the display 103.
  • the center of the optical system in the horizontal direction coincides with the observer's eye, and the positional deviation between the optical system and the observer's eye is corrected.
  • the positional deviation between the optical system and the observer's eye is OSD-displayed based on the detection result of the positional relationship between the optical system and the observer's eye.
  • the observer Based on this OSD display, the observer performs a correction operation so as to eliminate positional deviation. Then, in accordance with this correction operation, the optical system is shift-controlled, and the positional deviation between the optical system and the observer's eye is mechanically corrected. Therefore, the positional deviation between the optical system and the observer's eye can be corrected appropriately.
  • the example which estimated inclination (theta) as the whole optical system based on the sensor output of the Jai sensor 104 attached to the spectacle lens part 101L was shown.
  • a configuration is also conceivable in which the inclination of the optical system on the left eye side and the right eye side is detected, respectively.
  • a gyro sensor is attached to the spectacle lens unit 101R.
  • one infrared sensor was attached to each spectacles lens part, and the example in which the weak infrared rays irradiated to the observer side were scan-operated was shown.
  • a plurality of infrared sensors IRS are attached to the spectacle lens part GL, and the position of the observer's eye is comprehensively judged based on the sensor output of each infrared sensor IRS. It is also conceivable to configure it. In this case, when the number of infrared sensors IRS is large, it is not necessary to scan the weak infrared rays emitted from the infrared sensors IRS to the observer side.
  • the example which an infrared sensor is attached to each spectacles lens part was shown.
  • FIG. 13B it is also possible to install the infrared sensor IRS in a place separated to some extent from the spectacle lens part GL by using the reflection sheet RS.
  • FIG. 13C a plurality of infrared sensors IRS are arranged, and the position of the observer's eye is comprehensively determined based on the sensor output of each infrared sensor IRS. It is also conceivable to configure it to
  • the image correction unit 111 shifts the display position of the image in the horizontal direction. Strictly, it is also conceivable to perform alignment by vertical shift, rotation, enlargement, reduction or the like.
  • the eye position estimation is performed by applying the sclera reflex method.
  • EOG Electro-Oculogram
  • the positional relationship (difference s, positional deviation d, and the like) detected by the positional relationship detection unit is OSD-displayed on the display for displaying an image.
  • this positional relationship may be displayed on a display element separate from the display for image display.
  • a vibrator when using vibration, a vibrator is provided, and the vibration is configured to be larger as the amount of positional deviation is larger. Also, for example, in the case of using voice, the amount of deviation or the operation method is reproduced, or the volume is increased as the amount of deviation is larger.
  • the example which applied this technique to HMD was shown.
  • the present technology is not limited to this, and can be widely applied to other image display devices such as a camera finder and electronic binoculars.
  • the present technology can also be configured as follows.
  • An optical system for guiding an image displayed on a display element to the observer's eye based on the eyeball position of the observer's eye, and a positional relationship detection unit for detecting the positional relationship between the observer's eyes An image display apparatus comprising: a positional relationship correction unit configured to correct the positional relationship between the optical system and the observer's eye based on the positional relationship detected by the positional relationship detection unit.
  • the positional relationship correction unit The image display apparatus according to (1), wherein the display position of the image displayed on the display element is shifted based on the positional relationship detected by the positional relationship detection unit.
  • the positional relationship correction unit The image display apparatus according to (1), wherein the optical system is moved based on the positional relationship detected by the positional relationship detection unit.
  • the positional relationship correction unit A positional relationship presentation unit for presenting the positional relationship detected by the positional relationship detection unit to an observer;
  • the image display apparatus according to (1) further including: a control unit that controls the positional relationship between the optical system and the observer's eyes in accordance with the operation of the observer.
  • the control unit The image display apparatus according to (4), wherein shift control of the display position of the image displayed on the display element is performed according to the operation of the observer.
  • the control unit The image display apparatus according to (4), wherein movement control of the optical system is performed according to the operation of the observer.
  • the positional relationship presentation unit The image display apparatus according to any one of (4) to (6), wherein the positional relationship detected by the positional relationship detection unit is displayed on the display element.
  • the apparatus further comprises a tilt estimation unit that estimates the tilt of the optical system,
  • the positional relationship detection unit The image display apparatus according to any one of (1) to (7), wherein a positional relationship between the optical system and the observer's eye is detected based on the estimated inclination as well as the estimated eye position.
  • An eyeball position estimation unit for estimating the eyeball position of the observer's eye further comprising: The positional relationship detection unit detects the positional relationship between the optical system and the observer's eye based on the eyeball position estimated by the eyeball position estimation unit.
  • the image display device according to (9) or (10) .
  • An optical system for guiding an image displayed on a display element to the observer's eye, and a positional relation detection step of detecting the positional relation of the observer's eye An image display method, comprising: a positional relationship correction step of correcting the positional relationship between the optical system and the observer's eyes based on the detected positional relationship.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

　光学系と観察者眼の位置ずれの補正を適切に行い得るようにする。　観察者眼の眼球位置に基づいて、表示素子に表示された画像を観察者眼に導く光学系と観察者眼の位置関係、つまりそれらの位置ずれを検出する。このように検出された位置関係に基づいて、光学系と観察者眼の位置関係を補正する。例えば、表示素子に表示される画像の位置をシフト制御し、位置ずれを電子的に補正する。また、例えば、表示素子を含む光学系をシフト制御し、位置ずれを機械的に補正する。

Description

画像表示装置および画像表示方法
　本技術は、画像表示装置および画像表示方法に関し、特に、表示素子に表示された画像を拡大光学系によって観察者眼に導くように構成されたヘッドマウントディスプレイなどの画像表示装置等に関する。
　近年、使用者の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ：Head-Mounted Display）が知られている。このヘッドマウントディスプレイは、原理的には、小型の表示素子に表示された画像を、拡大光学系で拡大して、観察者眼に導く構成である。つまり、ヘッドマウントディスプレイは、表示素子に表示された画像を光学的に拡大し、拡大された虚像として使用者に観察させるように構成されている。
　この種のヘッドマウントディスプレイでは、例えば、図１４（ａ）に示すように、光学系の中心と観察者眼の位置にずれが生じた場合、快適な画像観察に映像を及ぼす。この場合、例えば、ずれ量に応じて、色ずれが発生したり、コントラストが低下したり、画像歪が発生したりする。なお、図１４（ｂ）は、光学系の中心と観察者眼の位置にずれがない場合を示している。
　例えば、特許文献１には、光学系を移動可能に構成し、観察者が光学系を手動で移動調整して観察者眼と光学系の位置ずれを補正し得るヘッドマウントディスプレイが提案されている。
特開２００９－１１６１９６号公報
　上述の特許文献１に記載される補正技術にあっては、観察者は、観察者眼と光学系の位置ずれがどの程度であるかを正確に知る手段がなく、光学系の位置を最適な位置に移動調整することが困難であった。
　本技術の目的は、光学系と観察者眼の位置ずれの補正を適切に行い得るようにすることにある。
　本技術の概念は、
　観察者眼の眼球位置に基づいて、表示素子に表示された画像を上記観察者眼に導く光学系と上記観察者眼の位置関係を検出する位置関係検出部と、
　上記位置関係検出部で検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
　画像表示装置にある。
　本技術においては、位置関係検出部により、表示素子に表示された画像を上記観察者眼に導く光学系と観察者眼の位置関係が検出される。表示素子に表示された画像が、光学系により、観察者眼に導かれる。これにより、表示素子に表示された画像は、光学的に拡大され、拡大された虚像として観察者に観察される。例えば、光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第２の光学系が存在する、ようにされてもよい。例えば、表示素子に表示された画像を観察者眼に導く光学系を更に備える、ようにされてもよい。
　例えば、観察者眼の眼球位置を推定する眼球位置推定部を更に備え、位置関係検出部は、この眼球位置推定部により推定された眼球位置に基づいて、光学系と観察者眼の位置関係を検出する、ようにされてもよい。この眼球位置の推定は、例えば、強膜反射法、ＥＯＧ（Electro-Oculogram）法、顔認識技術の応用などにより行う、ようにされてもよい。位置関係検出部により、推定された眼球位置に基づいて、光学系と観察者眼の位置関係が検出される。
　位置関係補正部により、位置関係検出部で検出された位置関係に基づいて、光学系と観察者眼の位置関係が補正される。例えば、位置関係補正部は、位置関係検出部で検出された位置関係に基づいて、表示素子に表示される画像の表示位置をシフトする、ようにされてもよい。また、例えば、位置関係補正部は、位置関係検出部で検出された位置関係に基づいて、光学系を移動させる、ようにされてもよい。
　また、例えば、位置関係補正部は、位置関係検出部で検出された位置関係を観察者に提示する位置関係提示部と、観察者の操作に応じて、光学系と観察者眼の位置関係を制御する制御部とを有する、ようにされてもよい。
　例えば、この場合、制御部は、観察者の操作に応じて、表示素子に表示される画像の表示位置のシフト制御を行う、ようにされてもよい。また、例えば、この場合、制御部は、観察者の操作に応じて、光学系の移動制御を行う、ようにされてもよい。
　また、例えば、この場合、位置関係提示部は、表示素子に、位置関係検出部で検出された位置関係を表示する、ようにされてもよい。この場合、例えば、光学系と観察者眼のずれがゲージや文字等により表示されてもよい。また、この際、ずれを小さくするための、例えばリモコン装置の操作方法を表示する、ようにされてもよい。なお、この位置関係の表示を、上述の表示素子とは別個の表示素子に表示するようにされてもよい。また、この位置関係の提示を、音声、振動、さらには発光の強弱によって行う、ようにされてもよい。
　このように本技術においては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれが補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことが可能となる。
　なお、本技術において、例えば、光学系の傾きを推定する傾き推定部をさらに備え、位置関係検出部は、推定された眼球位置と共に、推定された傾きに基づいて、光学系と観察者眼の位置関係を検出する、ようにされてもよい。この場合、光学系が傾いている場合にあっても、光学系と観察者眼の位置関係を精度よく検出でき、光学系と観察者眼の位置ずれの補正を適切に行うことが可能となる。
　本技術によれば、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
第１の実施の形態としての光学透過のヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。 光学系と眼球との位置関係の一例を示す図である。 光学系と眼球との位置関係の他の例を示す図である。 左眼画像、右眼画像の表示位置のシフト制御を概略的に示す図である。 第２の実施の形態としての光学透過のヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。 第３の実施の形態としての光学透過のヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。 ＯＳＤ表示の一例を示す図である。 第４の実施の形態としての光学透過のヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。 第５の実施の形態としての光学透過のヘッドマウントディスプレイ（単眼）の概略的な構成例を示す図である。 第６の実施の形態としての光学透過のヘッドマウントディスプレイ（単眼）の概略的な構成例を示す図である。 第７の実施の形態としての光学透過のヘッドマウントディスプレイ（単眼）の概略的な構成例を示す図である。 第８の実施の形態としての光学透過のヘッドマウントディスプレイ（単眼）の概略的な構成例を示す図である。 赤外線センサの取り付け例を示す図である。 従来のヘッドマウントディスプレイを説明するための図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．第３の実施の形態
　４．第４の実施の形態
　５．第５の実施の形態
　６．第６の実施の形態
　７．第７の実施の形態
　８．第８の実施の形態
　９．変形例
　＜１．第１の実施の形態＞
　［ヘッドマウントディスプレイ（両眼）の構成例］
　図１は、第１の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００の概略的な構成例を示している。この構成例は両眼ＨＭＤである。このＨＭＤ１００は、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、接続部材１０２により一体的に接続されている。
　メガネレンズ部１０１Ｌ，１０１Ｒは、それぞれ、メガネレンズとＨＯＥ（Holographic Optical Element）シートとが一体化されたものである。このＨＯＥシートは、外界光と表示光とを合成するハーフミラーのような機能と、表示画像を拡大する凹面や自由曲面の機能を併せ持っている。
　メガネレンズ部１０１Ｌ，１０１Ｒに、それぞれ、赤外線センサ１０３Ｌ，１０３Ｒが取り付けられている。この場合、赤外線センサ１０３Ｌは、メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている。また、赤外線センサ１０３Ｒは、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている。また、メガネレンズ部１０１Ｌに、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。
　赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力は、強膜反射法による眼球位置推定のために使用される。強膜反射法は、角膜（黒目）と強膜（白目）においての反射率が異なることを利用した手法である。この場合、赤外線センサは、観察者眼側に照射する微弱赤外線を水平方向にスキャンし、その反射光を検出する。角膜（黒目）と強膜（白目）における反射光の強さが大きく異なるので、センサ出力から観察者の眼球位置を推定することが可能となる。
　また、ＨＭＤ１００は、画像補正部１１１と、ディスプレイドライバ１１２Ｌ，１１２Ｒと、ディスプレイ１１３Ｌ，１１３Ｒと、眼球位置推定部１１４と、傾き推定部１１５と、表示制御部１１６を有している。
　ディスプレイ１１３Ｌは、表示素子を構成し、左眼画像を表示する。このディスプレイ１１３Ｌは、例えばＬＣＤ（Liquid Crystal Display）により構成され、ディスプレイドライバ１１２Ｌにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ１１３Ｒは、表示素子を構成し、右眼画像を表示する。このディスプレイ１１３Ｒは、例えばＬＣＤ（Liquid Crystal Display）により構成され、ディスプレイドライバ１１２Ｒにより駆動されて、立体画像を構成する右眼画像を表示する。
　眼球位置推定部１１４は、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定する。この場合、眼球位置推定部１１４は、赤外線センサ１０３Ｌのセンサ出力のレベルに基づいて、角膜（黒目）スキャン時の角度ωLを、左眼の眼球位置の推定結果とする。また、この場合、眼球位置推定部１１４は、赤外線センサ１０３Ｒのセンサ出力のレベルに基づいて、角膜（黒目）スキャン時の角度ωRを、右眼の眼球位置の推定結果とする。
　傾き推定部１１５は、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθを推定する。表示制御部１１６は、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系と左眼との位置関係を検出すると共に、右眼光学系と右眼との位置関係を検出する。
　すなわち、表示制御部１１６は、左眼の眼球位置の推定結果である角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれｄLを求め、右眼の眼球位置の推定結果である角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれｄRを求める。そして、表示制御部１１６は、このように求められた位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsに基づいて、両眼間隔ｄeを算出する。
　図２は、光学系と眼球との位置関係の一例を示している。この例の場合、両眼間隔ｄsは、以下の数式（１）に示すように表される。
　　　ｄe＝ｄs－ｄL－ｄR　　　・・・（１）
　なお、図２の例は、光学系の傾きθが０である場合を示している。しかし、光学系の傾きθが０でない場合もある。その場合、表示制御部１１６は、このように求められた位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeを算出する。
　図３は、その場合における光学系と眼球との位置関係の一例を示している。この例の場合、両眼間隔ｄeは、以下の数式（２）に示すように表される。このように傾きθを考慮することで、両眼間隔ｄeを精度よく取得することが可能となる。
　　　ｄe＝ｄs/cosθ－ｄL/cosθ＋ｄR/cosθ
　　　　 ＝(ｄs－ｄL＋ｄR)/cosθ　　　・・・（２）
　表示制御部１１６は、両眼間隔ｄeに基づいて、左眼画像、右眼画像の表示位置を、水平方向の互いに逆方向にシフト制御する。つまり、表示制御部１１６は、画像を操作し、電子的に光学系を移動させることにより、自動で光学系と観察者の眼球位置の位置ずれを補正する。
　表示制御部１１６は、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe－ｄs・cosθ）に応じて、左眼画像、右眼画像の表示位置をシフトさせる。図４は、左眼画像、右眼画像の表示位置のシフト制御を概略的に示している。Ｓ＝０である場合には、図４（ａ）に示すように、左眼画像、右眼画像の水平方向へのシフト量は０とされる。
　また、Ｓ＞０である場合には、図４（ｂ）に示すように、左眼画像、右眼画像の水平方向へのシフト量はそれぞれｓ／２とされ、表示位置が互いに離れるようにされる。また、Ｓ＜０である場合には、図４（ｃ）に示すように、左眼画像、右眼画像の水平方向へのシフト量はそれぞれ｜ｓ｜／２とされ、表示位置が互いに近づくようにされる。
　図１に戻って、画像補正部１１１は、立体（３Ｄ）画像を表示するための左眼画像データ、右眼画像データに対して、表示制御部１１６の制御のもと、表示位置をシフトさせるための画像補正処理を行う。画像補正部１１１は、補正後の左眼画像データをディスプレイドライバ１１２Ｌに供給し、補正後の右眼画像データをディスプレイドライバ１１２Ｒに供給する。
　［位置ずれ補正時の動作］
　図１に示すＨＭＤ１００における光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。
　左眼画像データは、画像補正部１１１を介してディスプレイドライバ１１２Ｌに供給される。このディスプレイドライバ１１２Ｌによりディスプレイ１１３Ｌが駆動され、このディスプレイ１１３Ｌに左眼画像が表示される。同様に、右眼画像データは、画像補正部１１１を介してディスプレイドライバ１１２Ｒに供給される。このディスプレイドライバ１１２Ｒによりディスプレイ１１３Ｒが駆動され、このディスプレイ１１３Ｒに右眼画像が表示される。
　ディスプレイ１１３Ｌに表示された左眼画像からの光は、メガネレンズ部１０１Ｌで反射されて観察者の左眼に届く。これにより、ディスプレイ１１３Ｌに表示された左眼画像は、メガネレンズ部１０１Ｌで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ１１３Ｒに表示された右眼画像からの光は、メガネレンズ部１０１Ｒで反射されて観察者の右眼に届く。これにより、ディスプレイ１１３Ｒに表示された右眼画像は、メガネレンズ部１０１Ｒで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体（３Ｄ）画像が知覚される。
　この画像表示状態で、メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｌから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｒから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。
　赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力はそれぞれ眼球位置推定部１１４に供給される。この眼球位置推定部１１４では、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部１１４からは、左眼、右眼の眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωL，ωRが出力される（図２、図３参照）。
　また、メガネレンズ部１０１Ｌに取り付けられているジャイロセンサ１０４のセンサ出力は傾き推定部１１５に供給される。この傾き推定部１１５では、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθが推定される（図３参照）。
　眼球位置推定部１１４の推定結果である角度ωL，ωRは表示制御部１１６に供給される。また、傾き推定部１１５の推定結果である傾きθは表示制御部１１６に供給される。表示制御部１１６では、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれｄLと、右眼光学系の観察者の右眼に対する位置ずれｄRが求められる（図２、図３参照）。
　表示制御部１１６では、位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeが算出される（（２）式参照）。この場合、傾きθが考慮されることで、両眼間隔ｄeが高い精度で求められる。
　そして、表示制御部１１６により、画像補正部１１１が制御され、ディスプレイ１１３Ｌ，１１３Ｒに表示される左眼画像、右眼画像の表示位置がシフト制御される。この場合、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe－ｄs・cosθ）に応じて、その差ｓが０となるように制御される。これにより、観察者の左眼に左眼画像の水平方向の中心が一致するようにされ、観察者の右眼に右眼画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
　上述したように、図１に示すＨＭＤ１００においては、光学系と観察者眼の位置関係の検出結果に基づいて、左眼画像、右眼画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
　＜２．第２の実施の形態＞
　［ヘッドマウントディスプレイ（両眼）の構成例］
　図５は、第２の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ａの概略的な構成例を示している。この構成例は両眼ＨＭＤである。この図５において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
　このＨＭＤ１００Ａは、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、光学系調整機構１２２によりにより接続されている。この光学系調整機構１２２は、左右の光学系の間隔、つまり左眼光学系を構成するメガネレンズ部１０１Ｌと、右眼光学系を構成するメガネレンズ部１０１Ｒの間隔を伸縮する。
　メガネレンズ部１０１Ｌ，１０１Ｒに、それぞれ、赤外線センサ１０３Ｌ，１０３Ｒが取り付けられている。また、メガネレンズ部１０１Ｌに、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力は、強膜反射法による眼球位置推定のために使用される。
　また、ＨＭＤ１００Ａは、ディスプレイドライバ１１２Ｌ，１１２Ｒと、ディスプレイ１１３Ｌ，１１３Ｒと、眼球位置推定部１１４と、傾き推定部１１５と、表示制御部１１６Ａと、光学系位置補正部１１７を有している。ディスプレイ１１３Ｌは、ディスプレイドライバ１１２Ｌにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ１１３Ｒは、ディスプレイドライバ１１２Ｒにより駆動されて、立体画像を構成する右眼画像を表示する。
　眼球位置推定部１１４は、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定し、角膜（黒目）スキャン時の角度ωL，ωRを、眼球位置の推定結果として出力する（図２、図３参照）。傾き推定部１１５は、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθを推定結果として出力する（図３参照）。
　表示制御部１１６Ａは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれｄLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれｄRを求める。表示制御部１１６Ａは、この位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeを算出する（（２）式参照）。
　そして、表示制御部１１６Ａは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe－ｄs・cosθ）に応じて、左眼光学系、右眼光学系の位置を、水平方向の互いに逆方向にシフト制御する。つまり、表示制御部１１６Ａは、機械的に光学系を移動させることにより、自動で光学系と観察者の眼球位置の位置ずれを補正する。このシフト制御は、上述した左眼画像、右眼画像の表示位置のシフト制御と同様である（図４参照）。
　光学系位置補正部１１７は、表示制御部１１６Ａの制御のもと、光学系位置を補正する。すなわち、光学系位置補正部１１７は、光学系調整機構１２２の伸縮を調整し、メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒの水平方向位置を調整する。また、これに伴って、光学系位置補正部１１７は、ディスプレイ１１３Ｌ，１１３Ｒの位置も調整する。
　［位置ずれ補正時の動作］
　図５に示すＨＭＤ１００Ａにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。
　左眼画像データはディスプレイドライバ１１２Ｌに供給される。このディスプレイドライバ１１２Ｌによりディスプレイ１１３Ｌが駆動され、このディスプレイ１１３Ｌに左眼画像が表示される。同様に、右眼画像データはディスプレイドライバ１１２Ｒに供給される。このディスプレイドライバ１１２Ｒによりディスプレイ１１３Ｒが駆動され、このディスプレイ１１３Ｒに右眼画像が表示される。
　ディスプレイ１１３Ｌに表示された左眼画像からの光は、メガネレンズ部１０１Ｌで反射されて観察者の左眼に届く。これにより、ディスプレイ１１３Ｌに表示された左眼画像は、メガネレンズ部１０１Ｌで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ１１３Ｒに表示された右眼画像からの光は、メガネレンズ部１０１Ｒで反射されて観察者の右眼に届く。これにより、ディスプレイ１１３Ｒに表示された右眼画像は、メガネレンズ部１０１Ｒで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体（３Ｄ）画像が知覚される。
　この画像表示状態で、メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｌから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｒから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。
　赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力はそれぞれ眼球位置推定部１１４に供給される。この眼球位置推定部１１４では、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部１１４からは、左眼、右眼の眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωL，ωRが出力される（図２、図３参照）。
　また、メガネレンズ部１０１Ｌに取り付けられているジャイロセンサ１０４のセンサ出力は傾き推定部１１５に供給される。この傾き推定部１１５では、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθが推定される（図３参照）。
　眼球位置推定部１１４の推定結果である角度ωL，ωRは表示制御部１１６Ａに供給される。また、傾き推定部１１５の推定結果である傾きθは表示制御部１１６Ａに供給される。表示制御部１１６Ａでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれｄLと、右眼光学系の観察者の右眼に対する位置ずれｄRが求められる（図２、図３参照）。
　表示制御部１１６Ａでは、位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeが算出される（（２）式参照）。この場合、傾きθが考慮されることで、両眼間隔ｄeが高い精度で求められる。
　そして、表示制御部１１６Ａにより、光学系位置補正部１１７が制御され、左眼光学系、右眼光学系の位置、つまりメガネレンズ部１０１Ｌ，１０１Ｒの位置およびディスプレイ１１３Ｌ，１１３Ｒの位置がシフト制御される。この場合、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe－ｄs・cosθ）に応じて、その差ｓが０となるように制御される。これにより、観察者の左眼に左眼光学系の水平方向の中心が一致するようにされ、観察者の右眼に右眼光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
　上述したように、図５に示すＨＭＤ１００Ａにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、左眼光学系、右眼光学系の位置がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
　＜３．第３の実施の形態＞
　［ヘッドマウントディスプレイ（両眼）の構成例］
　図６は、第３の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｂの概略的な構成例を示している。この構成例は両眼ＨＭＤである。この図６において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このＨＭＤ１００Ｂは、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、接続部材１０２により一体的に接続されている。
　メガネレンズ部１０１Ｌ，１０１Ｒに、それぞれ、赤外線センサ１０３Ｌ，１０３Ｒが取り付けられている。また、メガネレンズ部１０１Ｌに、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力は、強膜反射法による眼球位置推定のために使用される。
　また、ＨＭＤ１００Ｂは、ディスプレイドライバ１１２Ｌ，１１２Ｒと、ディスプレイ１１３Ｌ，１１３Ｒと、眼球位置推定部１１４と、傾き推定部１１５と、表示制御部１１６Ｂと、画像補正部１１１と、ＯＳＤ重畳部１１８を有している。ディスプレイ１１３Ｌは、ディスプレイドライバ１１２Ｌにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ１１３Ｒは、ディスプレイドライバ１１２Ｒにより駆動されて、立体画像を構成する右眼画像を表示する。
　眼球位置推定部１１４は、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定し、角膜（黒目）スキャン時の角度ωL，ωRを、眼球位置の推定結果として出力する（図２、図３参照）。傾き推定部１１５は、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθを推定結果として出力する（図３参照）。
　表示制御部１１６Ｂは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれｄLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれｄRを求める。表示制御部１１６Ｂは、この位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeを算出する（（２）式参照）。
　そして、表示制御部１１６Ｂは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe－ｄs・cosθ）に応じて、この差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示を行う。図７は、ＯＳＤ表示の一例を示している。図７（ａ）は、差ｓ（位置ずれの量）を示すゲージを表示する例であって、ゲージを画面左端側に表示したものである。
　図７（ｂ）も、差ｓ（位置ずれの量）を示すゲージを表示する例であって、ゲージを画面上端側に表示したものである。図７（ｃ）も差ｓ（位置ずれの量）を示すゲージを表示する例であって、ゲージを画面中央に表示したものである。ゲージを画面中央に表示することで、観察者がゲージ自体に注目して視線がずれることを防止できる。図７（ｄ）、（ｅ）は、差ｓ（位置ずれの量）を示す文字を表示する例である。また、図７（ｆ）は、差ｓを補正する操作をユーザに促すためのＯＳＤ表示の例を示しており、矢印Ｐで示すように、ユーザが操作すべきリモコン装置の操作ボタン（操作箇所）が示されている。なお、ゲージの表示、文字の表示、リモコン装置の操作ボタンの表示などを適宜組み合わせて表示することも考えられる。
　また、表示制御部１１６Ｂは、ユーザ操作取得部１１９で取得されたユーザ操作に基づいて、左眼画像、右眼画像の表示位置をシフトさせる。なお、この場合、ユーザは、上述したように、差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示に基づいて、差ｓが０となるように、補正操作を行うことになる。
　画像補正部１１１は、立体（３Ｄ）画像を表示するための左眼画像データ、右眼画像データに対して、表示制御部１１６Ｂの制御のもと、表示位置をシフトさせるための画像補正処理を行う。画像補正部１１１は、ＯＳＤ重畳部１１８を介して、補正後の左眼画像データをディスプレイドライバ１１２Ｌに供給し、補正後の右眼画像データをディスプレイドライバ１１２Ｒに供給する。ＯＳＤ重畳部１１８は、表示制御部１１６Ｂから出力されるＯＳＤ表示用の表示信号を、左眼画像データ、右眼画像データに重畳する。
　［位置ずれ補正時の動作］
　図６に示すＨＭＤ１００Ｂにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。
　左眼画像データは、画像補正部１１１を介してディスプレイドライバ１１２Ｌに供給される。このディスプレイドライバ１１２Ｌによりディスプレイ１１３Ｌが駆動され、このディスプレイ１１３Ｌに左眼画像が表示される。同様に、右眼画像データは、画像補正部１１１を介してディスプレイドライバ１１２Ｒに供給される。このディスプレイドライバ１１２Ｒによりディスプレイ１１３Ｒが駆動され、このディスプレイ１１３Ｒに右眼画像が表示される。
　ディスプレイ１１３Ｌに表示された左眼画像からの光は、メガネレンズ部１０１Ｌで反射されて観察者の左眼に届く。これにより、ディスプレイ１１３Ｌに表示された左眼画像は、メガネレンズ部１０１Ｌで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ１１３Ｒに表示された右眼画像からの光は、メガネレンズ部１０１Ｒで反射されて観察者の右眼に届く。これにより、ディスプレイ１１３Ｒに表示された右眼画像は、メガネレンズ部１０１Ｒで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体（３Ｄ）画像が知覚される。
　この画像表示状態で、メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｌから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｒから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。
　赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力はそれぞれ眼球位置推定部１１４に供給される。この眼球位置推定部１１４では、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部１１４からは、左眼、右眼の眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωL，ωRが出力される（図２、図３参照）。
　また、メガネレンズ部１０１Ｌに取り付けられているジャイロセンサ１０４のセンサ出力は傾き推定部１１５に供給される。この傾き推定部１１５では、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθが推定される（図３参照）。
　眼球位置推定部１１４の推定結果である角度ωL，ωRは表示制御部１１６Ｂに供給される。また、傾き推定部１１５の推定結果である傾きθは表示制御部１１６Ｂに供給される。表示制御部１１６Ｂでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれｄLと、右眼光学系の観察者の右眼に対する位置ずれｄRが求められる（図２、図３参照）。
　表示制御部１１６Ｂでは、位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeが算出される（（２）式参照）。この場合、傾きθが考慮されることで、両眼間隔ｄeが高い精度で求められる。
　そして、表示制御部１１６Ｂからは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe－ｄs・cosθ）が求められ、この差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示のための表示信号が出力される。この表示信号は、ＯＳＤ重畳部１１８に供給され、左眼画像データ、右眼画像データに重畳される。これにより、ディスプレイ１１３Ｌ，１１３Ｒに、ＯＳＤ表示される。
　観察者により、このＯＳＤ表示に基づいて、差ｓが０となるように、補正操作が行われる。ユーザ操作取得部１１９は、このユーザ操作を取得し、表示制御部１１６Ｂに送る。この補正操作に基づいて、表示制御部１１６Ｂにより、画像補正部１１１が制御され、ディスプレイ１１３Ｌ，１１３Ｒに表示される左眼画像、右眼画像の表示位置がシフト制御される。これにより、観察者の左眼に左眼画像の水平方向の中心が一致するようにされ、観察者の右眼に右眼画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
　上述したように、図６に示すＨＭＤ１００Ｂにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがＯＳＤ表示される。このＯＳＤ表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、左眼画像、右眼画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
　＜４．第４の実施の形態＞
　［ヘッドマウントディスプレイ（両眼）の構成例］
　図８は、第４の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｃの概略的な構成例を示している。この構成例は両眼ＨＭＤである。この図８において、図２、図６と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このＨＭＤ１００Ｃは、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、光学系調整機構１２２によりにより接続されている。
　メガネレンズ部１０１Ｌ，１０１Ｒに、それぞれ、赤外線センサ１０３Ｌ，１０３Ｒが取り付けられている。また、メガネレンズ部１０１Ｌに、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力は、強膜反射法による眼球位置推定のために使用される。
　また、ＨＭＤ１００Ｃは、ディスプレイドライバ１１２Ｌ，１１２Ｒと、ディスプレイ１１３Ｌ，１１３Ｒと、眼球位置推定部１１４と、傾き推定部１１５と、表示制御部１１６Ｃと、光学系位置補正部１１７と、ＯＳＤ重畳部１１８と、ユーザ操作取得部１１９を有している。ディスプレイ１１３Ｌは、ディスプレイドライバ１１２Ｌにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ１１３Ｒは、ディスプレイドライバ１１２Ｒにより駆動されて、立体画像を構成する右眼画像を表示する。
　眼球位置推定部１１４は、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定し、角膜（黒目）スキャン時の角度ωL，ωRを、眼球位置の推定結果として出力する（図２、図３参照）。傾き推定部１１５は、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθを推定結果として出力する（図３参照）。
　表示制御部１１６Ｃは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれｄLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれｄRを求める。表示制御部１１６Ｃは、この位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeを算出する（（２）式参照）。
　表示制御部１１６Ｃは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe－ｄs・cosθ）に応じて、この差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示を行う。
　また、表示制御部１１６Ｃは、ユーザ操作取得部１１９で取得されたユーザ操作に基づいて、左眼光学系、右眼光学系の位置をシフトさせる。なお、この場合、ユーザは、上述したように、差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示に基づいて、差ｓが０となるように、補正操作を行うことになる。
　光学系位置補正部１１７は、表示制御部１１６Ｃの制御のもと、光学系位置を補正する。すなわち、光学系位置補正部１１７は、光学系調整機構１２２の伸縮を調整し、メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒの水平方向位置を調整する。また、これに伴って、光学系位置補正部１１７は、ディスプレイ１１３Ｌ，１１３Ｒの位置も調整する。ＯＳＤ重畳部１１８は、表示制御部１１６Ｃから出力されるＯＳＤ表示用の表示信号を、左眼画像データ、右眼画像データに重畳する。
　［位置ずれ補正時の動作］
　図８に示すＨＭＤ１００Ｃにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。
　左眼画像データはディスプレイドライバ１１２Ｌに供給される。このディスプレイドライバ１１２Ｌによりディスプレイ１１３Ｌが駆動され、このディスプレイ１１３Ｌに左眼画像が表示される。同様に、右眼画像データはディスプレイドライバ１１２Ｒに供給される。このディスプレイドライバ１１２Ｒによりディスプレイ１１３Ｒが駆動され、このディスプレイ１１３Ｒに右眼画像が表示される。
　ディスプレイ１１３Ｌに表示された左眼画像からの光は、メガネレンズ部１０１Ｌで反射されて観察者の左眼に届く。これにより、ディスプレイ１１３Ｌに表示された左眼画像は、メガネレンズ部１０１Ｌで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ１１３Ｒに表示された右眼画像からの光は、メガネレンズ部１０１Ｒで反射されて観察者の右眼に届く。これにより、ディスプレイ１１３Ｒに表示された右眼画像は、メガネレンズ部１０１Ｒで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体（３Ｄ）画像が知覚される。
　この画像表示状態で、メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｌから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｒから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。
　赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力はそれぞれ眼球位置推定部１１４に供給される。この眼球位置推定部１１４では、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部１１４からは、左眼、右眼の眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωL，ωRが出力される（図２、図３参照）。
　また、メガネレンズ部１０１Ｌに取り付けられているジャイロセンサ１０４のセンサ出力は傾き推定部１１５に供給される。この傾き推定部１１５では、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθが推定される（図３参照）。
　眼球位置推定部１１４の推定結果である角度ωL，ωRは表示制御部１１６Ｃに供給される。また、傾き推定部１１５の推定結果である傾きθは表示制御部１１６Ｃに供給される。表示制御部１１６Ｃでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれｄLと、右眼光学系の観察者の右眼に対する位置ずれｄRが求められる（図２、図３参照）。
　表示制御部１１６Ｃでは、位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeが算出される（（２）式参照）。この場合、傾きθが考慮されることで、両眼間隔ｄeが高い精度で求められる。
　そして、表示制御部１１６Ｃからは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe－ｄs・cosθ）が求められ、この差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示のための表示信号が出力される。この表示信号は、ＯＳＤ重畳部１１８に供給され、左眼画像データ、右眼画像データに重畳される。これにより、ディスプレイ１１３Ｌ，１１３Ｒに、ＯＳＤ表示される。
　観察者により、このＯＳＤ表示に基づいて、差ｓが０となるように、補正操作が行われる。ユーザ操作取得部１１９は、このユーザ操作を取得し、表示制御部１１６Ｃに送る。この補正操作に基づいて、表示制御部１１６Ｃにより、光学系位置補正部１１７が制御され、左眼光学系、右眼光学系の位置、つまりメガネレンズ部１０１Ｌ，１０１Ｒの位置およびディスプレイ１０１Ｌ，１０１Ｒの位置がシフト制御される。これにより、観察者の左眼に左眼光学系の水平方向の中心が一致するようにされ、観察者の右眼に右眼光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
　上述したように、図８に示すＨＭＤ１００Ｃにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがＯＳＤ表示される。このＯＳＤ表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、左眼光学系、右眼光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
　＜５．第５の実施の形態＞
　［ヘッドマウントディスプレイ（単眼）の構成例］
　図９は、第５の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｄの概略的な構成例を示している。この構成例は単眼ＨＭＤである。この図９において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
　このＨＭＤ１００Ｄは、単眼ＨＭＤであることから、図１に示すＨＭＤ１００が２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１に赤外線センサ１０３が取り付けられている。この赤外線センサ１０３は、図１に示すＨＭＤ１００における赤外線センサ１０３Ｌ，１０３Ｒと同様に機能し、そのセンサ出力を眼球位置推定部１１４に送る。また、メガネレンズ部１０１に、メガネレンズ部１０１を含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４は、そのセンサ出力を傾き推定部１０５に送る。
　また、ＨＭＤ１００Ｄは、単眼ＨＭＤであるので、１系統のディスプレイドライバ１１２と、ディスプレイ１１３を有している。ディスプレイ１１３は、ディスプレイドライバ１１２により駆動されて、画像を表示する。ディスプレイ１１３に表示された画像からの光は、メガネレンズ部１０１で反射されて観察者眼（左眼または右眼）に届く。これによりディスプレイ１１３に表示された画像は、メガネレンズ部１０１で光学的に拡大され、拡大された虚像として、観察者眼で観察される。
　眼球位置推定部１１４は、図１のＨＭＤ１００における眼球位置推定部１１４と同様に、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωを出力する（図２、図３参照）。また、傾き推定部１１５は、図１のＨＭＤ１００における傾き推定部１１５と同様に、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１を含む光学系の水平方向に対する傾きθを推定する（図３参照）。
　表示制御部１１６Ｄは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれｄを求める。この位置ずれｄは、図３を参照すると、ｄL／cosθあるいはｄR／cosθに相当するものである。表示制御部１１６Ｄは、この位置ずれｄに基づき、その値が０となるように、画像補正部１１１を制御し、ディスプレイ１１３に表示される画像の表示位置を水平方向にシフト制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
　図９に示すＨＭＤ１００Ｄのその他は、詳細説明は省略するが、図１に示すＨＭＤ１００と同様に構成され、同様に動作する。上述したように、図９に示すＨＭＤ１００Ｄにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
　＜６．第６の実施の形態＞
　［ヘッドマウントディスプレイ（単眼）の構成例］
　図１０は、第６の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｅの概略的な構成例を示している。この構成例は単眼ＨＭＤである。この図１０において、図５、図９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
　このＨＭＤ１００Ｅは、単眼ＨＭＤであることから、図５に示すＨＭＤ１００Ａが２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１に赤外線センサ１０３が取り付けられている。この赤外線センサ１０３は、図５に示すＨＭＤ１００Ａにおける赤外線センサ１０３Ｌ，１０３Ｒと同様に機能し、そのセンサ出力を眼球位置推定部１１４に送る。また、メガネレンズ部１０１に、メガネレンズ部１０１を含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４は、そのセンサ出力を傾き推定部１０５に送る。
　また、ＨＭＤ１００Ｅは、単眼ＨＭＤであるので、１系統のディスプレイドライバ１１２と、ディスプレイ１１３を有している。ディスプレイ１１３は、ディスプレイドライバ１１２により駆動されて、画像を表示する。ディスプレイ１１３に表示された画像からの光は、メガネレンズ部１０１で反射されて観察者眼（左眼または右眼）に届く。これによりディスプレイ１１３に表示された画像は、メガネレンズ部１０１で光学的に拡大され、拡大された虚像として、観察者眼で観察される。
　眼球位置推定部１１４は、図５のＨＭＤ１００Ａにおける眼球位置推定部１１４と同様に、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωを出力する（図２、図３参照）。また、傾き推定部１１５は、図５のＨＭＤ１００Ａにおける傾き推定部１１５と同様に、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１を含む光学系の水平方向に対する傾きθを推定する（図３参照）。
　表示制御部１１６Ｅは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれｄを求める。この位置ずれｄは、図３を参照すると、ｄL／cosθあるいはｄR／cosθに相当するものである。表示制御部１１６Ｅは、この位置ずれｄに基づき、その値が０となるように、光学系位置補正部１１７を制御し、メガネレンズ部１０１、つまり光学系の位置を水平方向にシフト制御する。また、表示制御部１１６Ｅは、メガネレンズ部１０１のシフト制御に伴って、ディスプレイ１１３の位置も制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
　図１０に示すＨＭＤ１００Ｅのその他は、詳細説明は省略するが、図５に示すＨＭＤ１００Ａと同様に構成され、同様に動作する。上述したように、図１０に示すＨＭＤ１００Ｅにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
　＜７．第７の実施の形態＞
　［ヘッドマウントディスプレイ（単眼）の構成例］
　図１１は、第７の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｆの概略的な構成例を示している。この構成例は単眼ＨＭＤである。この図１１において、図６、図９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
　このＨＭＤ１００Ｆは、単眼ＨＭＤであることから、図６に示すＨＭＤ１００Ｂが２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１に赤外線センサ１０３が取り付けられている。この赤外線センサ１０３は、図６に示すＨＭＤ１００Ｂにおける赤外線センサ１０３Ｌ，１０３Ｒと同様に機能し、そのセンサ出力を眼球位置推定部１１４に送る。また、メガネレンズ部１０１に、メガネレンズ部１０１を含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４は、そのセンサ出力を傾き推定部１０５に送る。
　また、ＨＭＤ１００Ｆは、単眼ＨＭＤであるので、１系統のディスプレイドライバ１１２と、ディスプレイ１１３を有している。ディスプレイ１１３は、ディスプレイドライバ１１２により駆動されて、画像を表示する。ディスプレイ１１３に表示された画像からの光は、メガネレンズ部１０１で反射されて観察者眼（左眼または右眼）に届く。これによりディスプレイ１１３に表示された画像は、メガネレンズ部１０１で光学的に拡大され、拡大された虚像として、観察者眼で観察される。
　眼球位置推定部１１４は、図６のＨＭＤ１００Ｂにおける眼球位置推定部１１４と同様に、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωを出力する（図２、図３参照）。また、傾き推定部１１５は、図６のＨＭＤ１００Ｂにおける傾き推定部１１５と同様に、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１を含む光学系の水平方向に対する傾きθを推定する（図３参照）。
　表示制御部１１６Ｆは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれｄを求める。この位置ずれｄは、図３を参照すると、ｄL／cosθあるいはｄR／cosθに相当するものである。表示制御部１１６Ｆは、位置ずれｄのＯＳＤ表示、あるいは、この位置ずれｄを補正する操作をユーザに促すためのＯＳＤ表示のための表示信号を出力し、ＯＳＤ重畳部１１８に供給する。これにより、ディスプレイ１１３に、そのＯＳＤ表示が行われる。
　観察者により、このＯＳＤ表示に基づいて、位置ずれｄが０となるように、補正操作が行われる。ユーザ操作取得部１１９は、このユーザ操作を取得し、表示制御部１１６Ｆに送る。表示制御部１１６Ｆは、この補正操作に基づいて、ディスプレイ１１３に表示される画像の表示位置をシフト制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
　上述したように、図１１に示すＨＭＤ１００Ｆにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがＯＳＤ表示される。このＯＳＤ表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
　＜８．第８の実施の形態＞
　［ヘッドマウントディスプレイ（単眼）の構成例］
　図１２は、第８の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｇの概略的な構成例を示している。この構成例は単眼ＨＭＤである。この図１２において、図８、図９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
　このＨＭＤ１００Ｇは、単眼ＨＭＤであることから、図８に示すＨＭＤ１００Ｃが２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１に赤外線センサ１０３が取り付けられている。この赤外線センサ１０３は、図８に示すＨＭＤ１００Ｃにおける赤外線センサ１０３Ｌ，１０３Ｒと同様に機能し、そのセンサ出力を眼球位置推定部１１４に送る。また、メガネレンズ部１０１に、メガネレンズ部１０１を含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４は、そのセンサ出力を傾き推定部１０５に送る。
　また、ＨＭＤ１００Ｇは、単眼ＨＭＤであるので、１系統のディスプレイドライバ１１２と、ディスプレイ１１３を有している。ディスプレイ１１３は、ディスプレイドライバ１１２により駆動されて、画像を表示する。ディスプレイ１１３に表示された画像からの光は、メガネレンズ部１０１で反射されて観察者眼（左眼または右眼）に届く。これによりディスプレイ１１３に表示された画像は、メガネレンズ部１０１で光学的に拡大され、拡大された虚像として、観察者眼で観察される。
　眼球位置推定部１１４は、図８のＨＭＤ１００Ｃにおける眼球位置推定部１１４と同様に、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωを出力する（図２、図３参照）。また、傾き推定部１１５は、図８のＨＭＤ１００Ｃにおける傾き推定部１１５と同様に、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１を含む光学系の水平方向に対する傾きθを推定する（図３参照）。
　表示制御部１１６Ｇは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれｄを求める。この位置ずれｄは、図３を参照すると、ｄL／cosθあるいはｄR／cosθに相当するものである。表示制御部１１６Ｇは、位置ずれｄのＯＳＤ表示、あるいは、この位置ずれｄを補正する操作をユーザに促すためのＯＳＤ表示のための表示信号を出力し、ＯＳＤ重畳部１１８に供給する。これにより、ディスプレイ１１３に、そのＯＳＤ表示が行われる。
　観察者により、このＯＳＤ表示に基づいて、位置ずれｄが０となるように、補正操作が行われる。ユーザ操作取得部１１９は、このユーザ操作を取得し、表示制御部１１６Ｇに送る。表示制御部１１６Ｇは、この補正操作に基づいて、光学系位置補正部１１７を制御し、光学系の位置、つまりメガネレンズ部１０１の位置およびディスプレイ１０３の位置をシフト制御する。これにより、観察者眼に光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
　上述したように、図１２に示すＨＭＤ１００Ｇにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがＯＳＤ表示される。このＯＳＤ表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
　＜９．変形例＞
　なお、上述実施の形態では、光学系の傾きθを考慮することで補正精度を高めるようにしている。しかし、この光学系の傾きθを考慮しない簡易的な構成も考えられる。その場合には、ジャイロセンサ１０４、傾き推定部１１５等の構成要素は不要となる。
　また、上述実施の形態では、ジャイセンサ１０４がメガネレンズ部１０１Ｌに取り付けられたジャイセンサ１０４のセンサ出力に基づいて光学系全体としての傾きθを推定する例を示した。しかし、左眼側と右眼側の光学系の傾きをそれぞれ検出する構成も考えられる。その場合には、メガネレンズ部１０１Ｌの他に、メガネレンズ部１０１Ｒにもジャイロセンサが取り付けられることになる。
　また、上述実施の形態では、ディスプレイ１１３Ｌ，１１３Ｒに表示される左眼画像、右眼画像を水平方向にシフト制御することで、光学系と観察者眼の水平方向の位置ずれを補正する例を示した。詳細説明は省略するが、同様にして、さらに、光学系と観察者眼の垂直方向の位置ずれを補正することも考えられる。
　また、上述実施の形態では、各メガネレンズ部に１個の赤外線センサが取り付けられ、観察者側に照射される微弱赤外線がスキャン操作される例を示した。しかし、例えば、図１３（ａ）に示すように、メガネレンズ部ＧＬに複数個の赤外線センサＩＲＳを取り付け、各赤外線センサＩＲＳのセンサ出力に基づいて観察者眼の位置を総合的に判断するように構成することも考えられる。この場合、赤外線センサＩＲＳの個数が多い場合には、各赤外線センサＩＲＳから観察者側に照射される微弱赤外線をスキャン操作しなくてもよくなる。
　また、上述実施の形態では、各メガネレンズ部に赤外線センサが取り付けられる例を示した。しかし、例えば、図１３（ｂ）に示すように、反射シートＲＳを利用することで、赤外線センサＩＲＳをメガネレンズ部ＧＬからある程度離れた場所に設置することも可能である。なお、この場合にあっても、図１３（ｃ）に示すように、複数個の赤外線センサＩＲＳを配置して、各赤外線センサＩＲＳのセンサ出力に基づいて観察者眼の位置を総合的に判断するように構成することも考えられる。
　また、上述実施の形態では、画像補正部１１１では、画像の表示位置を水平方向にシフトさせる例を示した。厳密に、さらに、垂直方向へのシフト、回転、拡大、縮小等により位置合わせを行うことも考えられる。
　また、上述実施の形態では、眼球位置推定を強膜反射法を応用することで行っている。しかし、その他の技術、例えばＥＯＧ（Electro-Oculogram）法や顔認識技術等を応用することも考えられる。
　また、上述実施の形態では、画像表示のためのディスプレイに、位置関係検出部で検出された位置関係（差ｓ、位置ずれｄなど）をＯＳＤ表示する例を示した。しかし、この位置関係を、画像表示のためのディスプレイとは別個の表示素子に表示するようにされてもよい。また、これらと共に、あるいはこれらの代わりに、位置関係を、音声、振動、さらには発光の強弱によって提示することも考えられる。
　例えば、振動を利用する場合には、バイブレータを装備し、位置ずれの量が大きいほど振動が大きくなるように構成される。また、例えば、音声を利用する場合には、ずれ量や操作方法を再生し、あるいはずれ量が大きいほど音量が大きくなるように構成される。
　また、上述実施の形態においては、本技術をＨＭＤに適用した例を示した。しかし、本技術は、これに限定されるものではなく、その他の画像表示装置、例えば、カメラのファインダ、電子双眼鏡などにも広く適用することが可能である。
　また、本技術は、以下のような構成をとることもできる。
　（１）観察者眼の眼球位置に基づいて、表示素子に表示された画像を上記観察者眼に導く光学系と上記観察者眼の位置関係を検出する位置関係検出部と、
　上記位置関係検出部で検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
　画像表示装置。
　（２）上記位置関係補正部は、
　上記位置関係検出部で検出された位置関係に基づいて、上記表示素子に表示される画像の表示位置をシフトする
　前記（１）に記載の画像表示装置。
　（３）上記位置関係補正部は、
　上記位置関係検出部で検出された位置関係に基づいて、上記光学系を移動させる
　前記（１）に記載の画像表示装置。
　（４）上記位置関係補正部は、
　上記位置関係検出部で検出された位置関係を観察者に提示する位置関係提示部と、
　上記観察者の操作に応じて、上記光学系と上記観察者眼の位置関係を制御する制御部とを有する
　前記（１）に記載の画像表示装置。
　（５）上記制御部は、
　上記観察者の操作に応じて、上記表示素子に表示される画像の表示位置のシフト制御を行う
　前記（４）に記載の画像表示装置。
　（６）上記制御部は、
　上記観察者の操作に応じて、上記光学系の移動制御を行う
　前記（４）に記載の画像表示装置。
　（７）上記位置関係提示部は、
　上記表示素子に、上記位置関係検出部で検出された位置関係を表示する
　前記（４）から（６）のいずれかに記載の画像表示装置。
　（８）上記光学系の傾きを推定する傾き推定部をさらに備え、
　上記位置関係検出部は、
　上記推定された眼球位置と共に、上記推定された傾きに基づいて、上記光学系と上記観察者眼の位置関係を検出する
　前記（１）から（７）のいずれかに記載の画像表示装置。
　（９）上記表示素子に表示された画像を上記観察者眼に導く光学系を更に備える
　前記（１）から（８）のいずれかに記載の画像表示装置。
　（１０）上記光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第２の光学系が存在する
　前記（９）に記載の画像表示装置。
　（１１）上記観察者眼の眼球位置を推定する眼球位置推定部を更に備え、
　上記位置関係検出部は、上記眼球位置推定部により推定された眼球位置に基づいて、上記光学系と上記観察者眼の位置関係を検出する
　前記（９）または（１０）に記載の画像表示装置。
　（１２）表示素子に表示された画像を観察者眼に導く光学系と該観察者眼の位置関係を検出する位置関係検出ステップと、
　上記検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正ステップとを備える
　画像表示方法。
　１００，１００Ａ～１００Ｇ・・・ヘッドマウントディスプレイ
　１０１，１０１Ｌ，１０１Ｒ・・・メガネレンズ部
　１０２・・・接続部材
　１０３，１０３Ｌ，１０３Ｒ・・・赤外線センサ
　１０４・・・ジャイロセンサ
　１１１・・・画像補正部
　１１２，１１２Ｌ，１１２Ｒ・・・ディスプレイドライバ
　１１３，１１３Ｌ，１１３Ｒ・・・ディスプレイ
　１１４・・・眼球位置推定部
　１１５・・・傾き推定部
　１１６，１１６Ａ～１１６Ｇ・・・表示制御部
　１１７・・・光学系位置補正部
　１１８・・・ＯＳＤ重畳部
　１１９・・・ユーザ操作取得部
　１２２・・・光学系調整機構

Claims (12)

  1. 　観察者眼の眼球位置<!--メインクレームにはエレメントとしていれない-->に基づいて、表示素子に表示された画像を上記観察者眼に導く光学系と上記観察者眼の位置関係を検出する位置関係検出部と、
    　上記位置関係検出部で検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
    　画像表示装置。
  2. 　上記位置関係補正部は、
    　上記位置関係検出部で検出された位置関係に基づいて、上記表示素子に表示される画像の表示位置をシフトする
    　請求項１に記載の画像表示装置。
  3. 　上記位置関係補正部は、
    　上記位置関係検出部で検出された位置関係に基づいて、上記光学系を移動させる
    　請求項１に記載の画像表示装置。
  4. 　上記位置関係補正部は、
    　上記位置関係検出部で検出された位置関係を観察者に提示する位置関係提示部と、
    　上記観察者の操作に応じて、上記光学系と上記観察者眼の位置関係を制御する制御部と
    を有する
    　請求項１に記載の画像表示装置。
  5. 　上記制御部は、
    　上記観察者の操作に応じて、上記表示素子に表示される画像の表示位置のシフト制御を行う
    　請求項４に記載の画像表示装置。
  6. 　上記制御部は、
    　上記観察者の操作に応じて、上記光学系の移動制御を行う
    　請求項４に記載の画像表示装置。
  7. 　上記位置関係提示部は、
    　上記表示素子に、上記位置関係検出部で検出された位置関係を表示する
    　請求項４に記載の画像表示装置。
  8. 　上記光学系の傾きを推定する傾き推定部をさらに備え、
    　上記位置関係検出部は、
    　上記推定された眼球位置と共に、上記推定された傾きに基づいて、上記光学系と上記観察者眼の位置関係を検出する
    　請求項１に記載の画像表示装置。
  9. 上記表示素子に表示された画像を上記観察者眼に導く光学系を更に備える
    　請求項１に記載の画像表示装置。
  10. 　上記光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第２の光学系が存在する
    　請求項９に記載の画像表示装置。
  11. 　上記観察者眼の眼球位置を推定する眼球位置推定部を更に備え、
    　上記位置関係検出部は、上記眼球位置推定部により推定された眼球位置に基づいて、上記光学系と上記観察者眼の位置関係を検出する
    　請求項９に記載の画像表示装置。
  12. 　表示素子に表示された画像を観察者眼に導く光学系と該観察者眼の位置関係を検出する位置関係検出ステップと、
     上記検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正ステップとを備える
    　画像表示方法。
PCT/JP2013/069378 2012-07-24 2013-07-17 画像表示装置および画像表示方法 WO2014017348A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014526871A JP6248931B2 (ja) 2012-07-24 2013-07-17 画像表示装置および画像表示方法
CN201380037860.6A CN104508538B (zh) 2012-07-24 2013-07-17 图像显示装置及图像显示方法
US14/415,316 US9835864B2 (en) 2012-07-24 2013-07-17 Image display apparatus and method for displaying image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012163324 2012-07-24
JP2012-163324 2012-07-24

Publications (1)

Publication Number Publication Date
WO2014017348A1 true WO2014017348A1 (ja) 2014-01-30

Family

ID=49997162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/069378 WO2014017348A1 (ja) 2012-07-24 2013-07-17 画像表示装置および画像表示方法

Country Status (4)

Country Link
US (1) US9835864B2 (ja)
JP (1) JP6248931B2 (ja)
CN (1) CN104508538B (ja)
WO (1) WO2014017348A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071230A (ja) * 2012-09-28 2014-04-21 Pioneer Electronic Corp 画像表示装置、制御方法、プログラム及び記憶媒体
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
JP2016085350A (ja) * 2014-10-27 2016-05-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2017026943A (ja) * 2015-07-27 2017-02-02 株式会社東芝 画像表示装置及び画像処理装置
WO2018186168A1 (ja) * 2017-04-05 2018-10-11 シャープ株式会社 映像生成装置、映像生成方法および映像生成プログラム
JP2020112713A (ja) * 2019-01-15 2020-07-27 ブルーオプテック株式会社 ウエアラブル画像表示装置
JP2020533721A (ja) * 2017-09-06 2020-11-19 エクス・ワイ・ジィー リアリティ リミテッドＸｙｚ Ｒｅａｌｉｔｙ Ｌｉｍｉｔｅｄ 建物情報モデルの仮想画像の表示
CN113260427A (zh) * 2019-01-11 2021-08-13 环球城市电影有限责任公司 掉落检测系统和方法
JP2021141612A (ja) * 2015-11-04 2021-09-16 マジック リープ, インコーポレイテッドMagic Leap, Inc. 眼追跡に基づく動的ディスプレイ較正
WO2021229821A1 (ja) * 2020-05-15 2021-11-18 日本電信電話株式会社 位置合わせ支援装置、位置合わせ支援方法およびプログラム
JP2021532464A (ja) * 2018-07-24 2021-11-25 マジック リープ, インコーポレイテッドMagic Leap, Inc. 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
WO2021261100A1 (ja) * 2020-06-22 2021-12-30 ソニーグループ株式会社 画像表示装置および画像表示方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US9746675B2 (en) * 2015-05-28 2017-08-29 Microsoft Technology Licensing, Llc Alignment based view matrix tuning
US11252399B2 (en) 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US10515482B2 (en) 2015-08-24 2019-12-24 Pcms Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
WO2017062289A1 (en) 2015-10-08 2017-04-13 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
CN105391997B (zh) * 2015-11-05 2017-12-29 广东未来科技有限公司 立体显示装置的三维视点校正方法
CN105898275A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 虚拟现实图像校准方法及装置
CN108153417B (zh) * 2017-12-25 2022-03-04 北京凌宇智控科技有限公司 画面补偿方法及采用该方法的头戴式显示装置
CN111103971A (zh) 2018-10-29 2020-05-05 托比股份公司 头戴式装置在用户上的位置的确定
US11741673B2 (en) 2018-11-30 2023-08-29 Interdigital Madison Patent Holdings, Sas Method for mirroring 3D objects to light field displays
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN112255800B (zh) * 2020-11-09 2022-12-20 Oppo广东移动通信有限公司 图像显示的控制方法及增强现实设备、装置、计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311361A (ja) * 1994-05-16 1995-11-28 Olympus Optical Co Ltd 眼球投影型映像表示装置
JP2002328330A (ja) * 2001-04-27 2002-11-15 Sony Corp 映像表示装置
JP2003279882A (ja) * 2002-03-22 2003-10-02 Victor Co Of Japan Ltd ヘッドマウントディスプレイ装置
JP2005311754A (ja) * 2004-04-22 2005-11-04 Canon Inc 撮像カメラと瞳位置検知機能を備えた頭部装着型映像表示装置
WO2009066475A1 (ja) * 2007-11-21 2009-05-28 Panasonic Corporation 表示装置
JP2012042654A (ja) * 2010-08-18 2012-03-01 Sony Corp 表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714967A (en) 1994-05-16 1998-02-03 Olympus Optical Co., Ltd. Head-mounted or face-mounted image display apparatus with an increased exit pupil
JPH09304728A (ja) * 1996-05-15 1997-11-28 Sony Corp 光学視覚装置
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
JP2009116196A (ja) 2007-11-08 2009-05-28 Canon Inc 画像表示装置
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311361A (ja) * 1994-05-16 1995-11-28 Olympus Optical Co Ltd 眼球投影型映像表示装置
JP2002328330A (ja) * 2001-04-27 2002-11-15 Sony Corp 映像表示装置
JP2003279882A (ja) * 2002-03-22 2003-10-02 Victor Co Of Japan Ltd ヘッドマウントディスプレイ装置
JP2005311754A (ja) * 2004-04-22 2005-11-04 Canon Inc 撮像カメラと瞳位置検知機能を備えた頭部装着型映像表示装置
WO2009066475A1 (ja) * 2007-11-21 2009-05-28 Panasonic Corporation 表示装置
JP2012042654A (ja) * 2010-08-18 2012-03-01 Sony Corp 表示装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071230A (ja) * 2012-09-28 2014-04-21 Pioneer Electronic Corp 画像表示装置、制御方法、プログラム及び記憶媒体
JP2016085350A (ja) * 2014-10-27 2016-05-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
JP2017026943A (ja) * 2015-07-27 2017-02-02 株式会社東芝 画像表示装置及び画像処理装置
JP2021141612A (ja) * 2015-11-04 2021-09-16 マジック リープ, インコーポレイテッドMagic Leap, Inc. 眼追跡に基づく動的ディスプレイ較正
US11536559B2 (en) 2015-11-04 2022-12-27 Magic Leap, Inc. Light field display metrology
JP7218398B2 (ja) 2015-11-04 2023-02-06 マジック リープ， インコーポレイテッド 眼追跡に基づく動的ディスプレイ較正
WO2018186168A1 (ja) * 2017-04-05 2018-10-11 シャープ株式会社 映像生成装置、映像生成方法および映像生成プログラム
JP2020533721A (ja) * 2017-09-06 2020-11-19 エクス・ワイ・ジィー リアリティ リミテッドＸｙｚ Ｒｅａｌｉｔｙ Ｌｉｍｉｔｅｄ 建物情報モデルの仮想画像の表示
JP7456995B2 (ja) 2018-07-24 2024-03-27 マジック リープ， インコーポレイテッド 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
JP2021532464A (ja) * 2018-07-24 2021-11-25 マジック リープ, インコーポレイテッドMagic Leap, Inc. 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
US12105875B2 (en) 2018-07-24 2024-10-01 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
JP7529672B2 (ja) 2019-01-11 2024-08-06 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー ウェアラブル視覚化システム及び方法
CN113260427A (zh) * 2019-01-11 2021-08-13 环球城市电影有限责任公司 掉落检测系统和方法
US11675196B2 (en) 2019-01-15 2023-06-13 Blue Optech Co., Ltd. Wearable device with image display module
JP2020112713A (ja) * 2019-01-15 2020-07-27 ブルーオプテック株式会社 ウエアラブル画像表示装置
JP7409497B2 (ja) 2020-05-15 2024-01-09 日本電信電話株式会社 位置合わせ支援装置、位置合わせ支援方法およびプログラム
JPWO2021229821A1 (ja) * 2020-05-15 2021-11-18
WO2021229821A1 (ja) * 2020-05-15 2021-11-18 日本電信電話株式会社 位置合わせ支援装置、位置合わせ支援方法およびプログラム
WO2021261100A1 (ja) * 2020-06-22 2021-12-30 ソニーグループ株式会社 画像表示装置および画像表示方法
US12072497B2 (en) 2020-06-22 2024-08-27 Sony Group Corporation Image display apparatus and image display method

Also Published As

Publication number Publication date
US20150198808A1 (en) 2015-07-16
JP6248931B2 (ja) 2017-12-20
CN104508538B (zh) 2018-06-22
US9835864B2 (en) 2017-12-05
CN104508538A (zh) 2015-04-08
JPWO2014017348A1 (ja) 2016-07-11

Similar Documents

Publication Publication Date Title
JP6248931B2 (ja) 画像表示装置および画像表示方法
JP4686586B2 (ja) 車載用表示装置及び表示方法
JP6520119B2 (ja) 画像処理装置および画像処理方法
JP3717653B2 (ja) 頭部搭載型画像表示装置
JP6516234B2 (ja) 立体画像表示装置
JP4857885B2 (ja) 表示装置
US20110080536A1 (en) Stereoscopic image display apparatus
JP5173395B2 (ja) 視機能検査装置
JP2010070066A (ja) ヘッドアップディスプレイ
US7229174B2 (en) Method to detect misalignment and distortion in near-eye displays
JP2011133508A (ja) 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
WO2013145147A1 (ja) ヘッドマウントディスプレイ及び表示方法
JP2008176096A (ja) 画像表示装置
JP2006208407A (ja) 立体画像観察用顕微鏡システム
JP2011085830A (ja) 映像表示システム
JP7118650B2 (ja) 表示装置
JP2018203245A (ja) 表示システム、電子ミラーシステム及び移動体
US20100259820A1 (en) Stereoscopic image display
US20140139916A1 (en) Electronic image display apparatus
JPWO2018199244A1 (ja) 表示システム
JP4353001B2 (ja) ３次元画像撮像アダプター
JP2007267261A (ja) 立体表示装置
JP6932501B2 (ja) 画像表示装置
JPWO2019151314A1 (ja) 表示装置
JP2018129826A (ja) 立体画像表示装置及び立体画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13822355

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014526871

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14415316

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13822355

Country of ref document: EP

Kind code of ref document: A1