WO2013140697A1 - 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents

表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム Download PDF

Info

Publication number
WO2013140697A1
WO2013140697A1 PCT/JP2012/083736 JP2012083736W WO2013140697A1 WO 2013140697 A1 WO2013140697 A1 WO 2013140697A1 JP 2012083736 W JP2012083736 W JP 2012083736W WO 2013140697 A1 WO2013140697 A1 WO 2013140697A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction
distortion
correction information
unit
user
Prior art date
Application number
PCT/JP2012/083736
Other languages
English (en)
French (fr)
Inventor
池田 潔
研 玉山
将之 清水
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/117,692 priority Critical patent/US9740007B2/en
Priority to CN201280023550.4A priority patent/CN103534748B/zh
Priority to EP12871725.3A priority patent/EP2688060A4/en
Priority to JP2014505976A priority patent/JP5907250B2/ja
Publication of WO2013140697A1 publication Critical patent/WO2013140697A1/ja
Priority to US15/653,938 priority patent/US10831027B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/12Adjusting pupillary distance of binocular pairs
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background

Definitions

  • the technology disclosed in the present specification relates to a display device that combines a display panel and a lens, such as a head-mounted display, an image processing device and an image processing method, and a computer program.
  • the present invention relates to a display device, an image processing device, an image processing method, and a computer program that correct image distortion caused by individual differences among users.
  • a display device that is worn on the head and views an image that is, a head-mounted display (HMD) is widely known.
  • the head-mounted display has an optical unit for each of the left and right eyes, and is configured to be used in combination with headphones to control vision and hearing.
  • the head-mounted display can also project different images to the left and right eyes, and can display a 3D image by displaying an image with parallax in the left and right eyes.
  • a high-resolution display panel made of, for example, liquid crystal or an organic EL (Electro-Luminescence) element can be used for the left and right eye display units of the head mounted display. If the image display element is enlarged and projected by the eyepiece optical system to set a wide angle of view and multiple channels are reproduced with headphones, the realistic sensation as viewed in a movie theater can be reproduced.
  • EL Electro-Luminescence
  • the head-mounted display has eyepiece optical systems independently on the left and right, but the eye height and eyewidth vary from user to user, so the eyepiece optical system and the user's eye must be aligned. There is. Since a large screen is displayed in front of the eyes, when viewing a Blu-ray Disc playback image for a long time, the image displayed from the head-mounted display is accurately adjusted to the eye width for the health of the eyes. It is preferable.
  • a head-mounted display that includes an eye width adjustment mechanism using a rack-and-pinion method and supports individual differences for each user has been proposed (for example, see Patent Document 1).
  • a rotation member is provided between the display unit for the left eye and the display unit for the right eye, and a rotation member connected to each display unit via an arm is provided.
  • a head mounted display provided with an eye width adjustment mechanism that adjusts the distance between the eye display unit and the right eye display unit symmetrically (for example, see Patent Document 2).
  • Patent Document 3 Japanese Patent Application No. 2010-287835
  • the wearing user can operate the eye width adjustment mechanism to adjust the eye width accurately.
  • Proposals have been made for head-mounted displays. This head-mounted display displays a signal pattern for eye width adjustment when adjusting the eye width, so the user can operate the eye width adjustment mechanism while observing the signal pattern to adjust the eye width. It can be adjusted more accurately.
  • the eye width adjustment mechanism can fix the position only in a stepwise manner and cannot adjust the position steplessly, the user may not be able to adjust the eye width strictly in the first place.
  • An object of the technology disclosed in the present specification is to provide an excellent display device, an image processing device, an image processing method, and a computer that can suitably correct image distortion caused by a user's condition and individual differences for each user. ⁇ To provide a program.
  • a further object of the technology disclosed in the present specification is due to a mismatch between the center of the lens that projects the display image and the center of the eye of the user who observes the projection image when displaying an image with a combination of the display panel and the lens.
  • An object of the present invention is to provide an excellent display device, an image processing device and an image processing method, and a computer program capable of suitably correcting image distortion.
  • a display for displaying an image An eyepiece optical unit that projects a display image of the display unit on a user's eye; A correction information holding unit that holds correction information created in advance according to the user's condition; A distortion correction unit that corrects distortion of the display image based on correction information according to a current user state; Is a display device.
  • the correction information holding unit of the display device uses, as the correction information, a deviation amount between the lens center of the eyepiece optical unit and the center position of the user's eye.
  • a correction vector for correcting distortion of the display image caused by the distortion, and the distortion correction unit, based on a correction vector according to the amount of deviation between the lens center of the eyepiece optical unit and the center position of the user's eye The display image is configured to be corrected.
  • the display device further includes an eye width adjustment mechanism that adjusts the position of the display unit with respect to the user's eye width in a stepwise manner.
  • the correction information holding unit as the correction information, corrects a correction vector for correcting distortion of the display image caused by a shift amount corresponding to an interpolation position for interpolating between the stepwise adjustment positions of the eye width adjustment mechanism.
  • the distortion correction unit is configured to correct the display image based on a correction vector corresponding to a deviation amount corresponding to the interpolation position remaining after adjustment by the eye width adjustment mechanism.
  • the correction information holding unit of the display device is configured to correct distortion of the display image caused by spectacle-specific aberrations as the correction information.
  • the correction vector is held, and the distortion correction unit is configured to correct the display image based on the correction vector corresponding to the glasses worn by the user.
  • the correction information holding unit of the display device uses, as the correction information, a lens design with respect to a distance direction between the lens of the eyepiece optical unit and the user's pupil.
  • a correction vector for correcting distortion of the display image caused by a difference due to an individual difference from the appropriate distance is held.
  • the distortion correction unit is configured to correct the display image based on the correction vector.
  • the invention according to claim 6 of the present application is A correction information holding unit that holds correction information created in advance according to the user's condition; A distortion correction unit that corrects distortion of the display image based on correction information according to the current user state; Is an image processing apparatus.
  • the invention according to claim 7 of the present application is A correction information holding step for holding correction information created in advance according to the user's condition; A distortion correction step for correcting distortion of the display image based on correction information according to the current user state; Is an image processing method.
  • the invention according to claim 8 of the present application is A correction information holding unit that holds correction information created in advance according to the user's condition; A distortion correction unit that corrects distortion of the display image based on correction information according to the current user state; As a computer program written in a computer readable format to allow the computer to function.
  • the computer program according to claim 8 of the present application defines a computer program described in a computer-readable format so as to realize predetermined processing on a computer.
  • a cooperative operation is exhibited on the computer, and the same effect as the image processing apparatus according to claim 5 of the present application is obtained. be able to.
  • Display apparatus when displaying an image with a combination of a display panel and a lens, it is possible to suitably correct image distortion caused by a user's condition and individual differences for each user.
  • Display apparatus, image processing apparatus, image processing method, and computer program can be provided.
  • the center of the lens that projects the display image and the center of the eye of the user who observes the projection image are caused to be inconsistent. It is possible to provide an excellent display device, image processing device, image processing method, and computer program that can suitably correct image distortion.
  • a distortion correction vector corresponding to the amount of deviation between the lens center of the eyepiece optical system and the eye center position is created in advance, and the actual deviation when the user wears the display device is created.
  • Image correction can be performed using a correction vector corresponding to the amount.
  • the configuration of the eye width adjustment mechanism can be simplified and the cost can be reduced by supplementing fine adjustment of the eye width by image correction.
  • FIG. 1 is a diagram schematically showing the configuration of an image display system including a head-mounted display.
  • FIG. 2 is a view showing a state where the top surface of the main body of the head mount unit 10 equipped with the eye width adjustment mechanism is viewed from above.
  • FIG. 3 is a diagram illustrating an observation image when the lens center of the eyepiece optical system is coincident with the center position of the eye.
  • FIG. 4 is a diagram illustrating an observation image when the lens center of the eyepiece optical system does not coincide with the center position of the eye.
  • FIG. 5A is a diagram illustrating a display image after the input image is corrected based on the correction vector when the lens center of the eyepiece optical system and the center position of the eye do not match.
  • FIG. 1 is a diagram schematically showing the configuration of an image display system including a head-mounted display.
  • FIG. 2 is a view showing a state where the top surface of the main body of the head mount unit 10 equipped with the eye width adjustment mechanism is viewed from above.
  • FIG. 5B is a view showing an image observed through the lens after the corrected display image shown in FIG. 5A.
  • FIG. 6 is a diagram schematically showing a configuration of a video signal processing system in the head-mounted display.
  • FIG. 7 is a diagram for explaining a mechanism of eye width adjustment by the eye width adjustment mechanism.
  • FIG. 8 is a diagram for explaining a mechanism for interpolating between the eye width adjustment positions by the eye width adjustment mechanism.
  • FIG. 9 is a diagram illustrating a corrected image when the lens center of the eyepiece optical system 604 and the center position of the eye coincide with each other.
  • FIG. 10 is a diagram showing a corrected image when the center position of the eye is shifted to the left by 4 mm with respect to the lens center of the eyepiece optical system 604.
  • FIG. 11A is a diagram for explaining a procedure for performing interpolation of the eye width adjustment mechanism.
  • FIG. 11B is a diagram for explaining a procedure for performing interpolation of the eye width adjustment mechanism.
  • FIG. 11C is a diagram for explaining a procedure for performing interpolation of the eye width adjustment mechanism.
  • FIG. 1 schematically shows the configuration of an image display system including a head-mounted display.
  • the illustrated system includes a Blu-ray disc playback device 20 that is a source of viewing content, a front end box 40 that processes an AV signal output from the Blu-ray disc playback device 20, and a Blu-ray disc playback device 20.
  • a head-mounted display device (head mounted unit) 10 that is the output destination of the playback content, and a high-definition display (for example, an HDMI-compatible TV) that is the other output destination of the playback content of the Blu-ray Disc playback device 20 30.
  • the head mount unit 10 and the front end box 40 constitute one head mount display.
  • the front end box 40 corresponds to an HDMI repeater that, for example, performs signal processing and outputs HDMI when the AV signal output from the Blu-ray disc playback apparatus 20 is HDMI input.
  • the front end box 40 is also a two-output switcher that switches the output destination of the Blu-ray disc playback apparatus 20 to either the head mount unit 10 or the high-definition display 30.
  • the front end box 40 has two outputs, but may have three or more outputs. However, the front end box 40 makes the output destination of the AV signal exclusive, and gives the highest priority to the output to the head mount unit 10.
  • HDMI High-Definition Multimedia Interface
  • DVI Digital Visual Interface
  • TMDS Transition Minimized Differential Signaling
  • the HDMI cable is connected between the Blu-ray Disc player 20 and the front end box 40, and between the front end box 40 and the high-definition display 30.
  • the front end box 40 and the head mount unit 10 can also be configured to be connected by an HDMI cable, but the AV signal may be serially transferred using a cable of other specifications. Good. However, the AV signal and power are supplied by a single cable connecting the front end box 40 and the head mount unit 10, and the head mount unit 10 also obtains drive power via this cable. be able to.
  • the head mount unit 10 includes independent display units for the left eye and the right eye. Each display unit uses a display panel made of, for example, an organic EL element. Each of the left and right display units is equipped with an eyepiece optical system with low distortion and high resolution and a wide viewing angle. When an image display device is enlarged and projected by an eyepiece optical system to set a wide angle of view and multiple channels are reproduced with headphones, it is possible to reproduce a sense of realism as viewed in a movie theater.
  • the head mount unit 10 has an optical system independently on the left and right sides, the height and width of the eyes vary from user to user, so it is necessary to align the optical system with the user's eyes. is there.
  • the main body of the head mount unit 10 is equipped with an eye width adjustment mechanism that adjusts the eye width between the display unit for the right eye and the display unit for the left eye. .
  • the eye width adjustment mechanism adjusts the position of the display unit with respect to the user's eye width.
  • FIG. 2 shows a state in which the top surface of the main body of the head mount unit 10 equipped with the eye width adjustment mechanism is viewed from above.
  • ⁇ It is optional what kind of mechanism parts to mount the eye width adjustment mechanism.
  • the mechanism used for binoculars, microscopes, etc. that adjusts the eye width with the uniaxial eye width adjustment axis of the left and right lens barrels is a nose pad portion (that is, the user's Since the height from the position of the nose) to the display unit varies, it is not preferable.
  • the eye width adjustment mechanism is configured by the rack and pinion method, the height from the nose pad portion to the display portion can be kept constant during eye width adjustment.
  • the gist of the technology disclosed in the present specification is not limited to the rack and pinion method, and if there is no problem such as the height of the display unit fluctuating during eye width adjustment work, It may be an eye width adjustment mechanism made of another method.
  • a method for correcting distortion by signal processing is known in the art.
  • the correction vector has a pixel position on the input image as a start point, and a pixel position on the display image corresponding to the start point as an end point.
  • FIG. 3 illustrates an observation image in the case where the lens center of the eyepiece optical system is coincident with the center position of the eye.
  • FIG. 4 illustrates an observation image when the lens center of the eyepiece optical system and the center position of the eye do not match.
  • the lattice image of the white line displayed on the display panel is correctly observed through the lens.
  • the center position of the eye is shifted to the left with respect to the center of the lens, a lateral chromatic aberration occurs at the right edge of the screen. There is a shift on the left side.
  • the eye width adjustment mechanism capable of adjusting the position in a stepless manner has a complicated mechanism and causes an increase in apparatus cost.
  • the center of the lens and the center of the eye do not have to coincide with each other, but the apparatus cost increases and the feeling of wearing decreases due to an increase in the lens weight.
  • a distortion correction vector corresponding to the amount of deviation between the lens center of the eyepiece optical system and the eye center position is created in advance. Then, by correcting the input image using a correction vector corresponding to the shift amount between the lens center of the eyepiece optical system and the center position of the eye when the user mounts the head mount unit 10, distortion and color misregistration are performed. I try to present images without.
  • FIG. 5A shows a display image after the input image is corrected based on the correction vector when the lens center of the eyepiece optical system and the center position of the eye do not match.
  • FIG. 5B shows an image obtained by observing the display image through the lens.
  • a chromatic aberration of magnification occurs such that red shifts to the right and blue shifts to the left with respect to the green signal.
  • the correction vector for this is such that red is shifted to the left side and blue is shifted to the right side with respect to the green signal.
  • a white line grid can be correctly seen as shown in FIG. 5B.
  • FIG. 6 schematically shows the configuration of the video signal processing system in the head-mounted display. In the figure, only one of the left eye and the right eye is shown, but the configuration for each eye is the same.
  • the display unit 603 includes a high-resolution display panel made of, for example, a liquid crystal or an organic EL (Electro-Luminescence) element.
  • the eyepiece optical system 604 enlarges and projects the display image of the display unit 603.
  • the lenses constituting the eyepiece optical system 604 are designed based on the result of optical simulation, for example.
  • the video reduction unit 601 performs reduction processing so that the input video signal matches the size of the display panel.
  • the distortion correction unit 602 performs image correction on the input image from the video reduction unit 601 based on a correction vector corresponding to a mismatch between the lens center of the eyepiece optical system 604 and the eye center position.
  • the correction vector holding unit 605 stores correction vectors created in advance.
  • the correction vector holding unit 605 corrects a correction vector for correcting lens distortion and lateral chromatic aberration of the eyepiece optical system 604, and lateral chromatic aberration based on a mismatch between the lens center of the eyepiece optical system 604 and the center position of the user's eye.
  • One or more correction vectors created in advance such as a correction vector to be stored, are stored.
  • the distortion correction unit 602 can also correct the input image by superimposing two or more correction vectors in the correction vector holding unit 605 as necessary.
  • Fig. 7 illustrates the mechanism of eye width adjustment by the eye width adjustment mechanism.
  • the eye width adjustment mechanism can adjust the position in a stepwise manner within a range of ⁇ 2 around the initial position 0 with the predetermined interval G1 as a unit of scale.
  • the lens center and the eye center position coincide with each other at the position of scale + 1.
  • the lens center does not always coincide with the eye center position at any scale position.
  • the center of the lens is closest to the center position of the eye by adjusting the position to +1 on the scale G1, but it is not completely coincident. That is, even if the eye width is adjusted by the eye width adjusting mechanism, there is a possibility that a deviation less than the stepwise adjustment position interval remains. If such a discrepancy is left unattended, lateral chromatic aberration will occur in the observed image as shown in FIG.
  • a correction vector for correcting the lateral chromatic aberration caused by the mismatch of the gap G2 (G2 ⁇ G1) smaller than the unit G1 of the position adjustment scale of the eye width adjustment mechanism is created in advance and stored in the correction vector holding unit 605. Keep it. After adjusting the eye width as much as possible with the eye width adjustment mechanism, the distortion correction unit 602 performs image correction according to the correction vector so that the interval between the minimum intervals G1 of position adjustment by the eye width adjustment mechanism is interpolated. Distortion can be corrected.
  • correction vectors are prepared in advance at ⁇ 1 interpolation positions in units of the interval G2 at each position adjustment scale. Then, by adjusting the eye width adjustment mechanism to the position of the scale +1, the lens center is closest to the center position of the eye, but when the interpolation scale G2 is still shifted by ⁇ 1, “ ⁇ 1” By applying the correction vector for "", it is possible to make a fine adjustment at the interval G2 and suppress the lateral chromatic aberration.
  • FIG. 9 shows a corrected image in the case where the lens center of the eyepiece optical system 604 is coincident with the center position of the eye (in the figure, the narrow dotted line is red, the wide dotted line is blue, one point)
  • the chain line corresponds to green).
  • the original image before correction is a white line grid image. Since distortion correction and lateral chromatic aberration correction are performed independently for each of RGB, a corrected image in which the RGB positions are slightly shifted is obtained. Further, since the amount of distortion increases toward the periphery of the image, the shift for each color component increases. By viewing this image through the eyepiece optical system 604, a correct white line grid image can be seen.
  • FIG. 10 shows a corrected image when the center position of the eye is shifted to the left by 4 mm with respect to the lens center of the eyepiece optical system 604.
  • the wide dotted line is blue, and the alternate long and short dash line is green).
  • the original image before correction is a white line grid image.
  • correction of the center position shift of the eye is performed.
  • the corrected image is slightly shifted in RGB position, but the corrected image at the right end is different for each RGB and is different from the image before correction.
  • the red and blue shifts with respect to the green so that the shift becomes easier. Therefore, the shift amount of RGB at the right end on the corrected image is smaller than the example shown in FIG.
  • FIGS. 11A to 11C An example of the procedure for performing the eye width adjustment mechanism interpolation will be described with reference to FIGS. 11A to 11C.
  • the user performs a mechanical eye width adjustment with a minimum gap G1 using the eye width adjustment mechanism, and the lens center is closest to the eye center. Select the position.
  • FIG. 11C An example of the procedure for performing the eye width adjustment mechanism interpolation will be described with reference to FIGS. 11A to 11C.
  • the information indicating the interpolation position is displayed in OSD together with the correction image based on the correction vector at each interpolation position, and the user selects which interpolation position correction vector should be corrected among those shown in FIGS. 11A to 11C. You may make it make it.
  • the user's eye width and eye center position may be read using a camera or the like, and the adjustment may be automatically performed.
  • interpolation of the eye width adjustment mechanism can be realized by changing only the correction vector to be applied to the input image and without making any other design change.
  • by allowing a certain degree of distortion and lateral chromatic aberration generated in the observed image and compensating for it by image correction it is possible to reduce the manufacturing cost of the lens and reduce the weight of the lens.
  • the distortion correction unit 202 can cope with various aberrations caused by individual differences for each user.
  • the aberration inherent to the spectacles may be seen and a correct image may not be observed.
  • the aberration of the glasses is measured in advance, and the correction vector for correcting the aberration of the glasses is stored in the correction vector holding unit 605.
  • the distortion correction unit 602 superimposes the correction vector for spectacles on the correction vector for correcting lens distortion, lateral chromatic aberration, or correction vector for interpolating the eye width position. This makes it possible to present a correct image with corrected aberration even when wearing glasses.
  • the distortion correction unit 602 adds the difference between the lens distortion, the correction vector for correcting the chromatic aberration of magnification, or the correction vector for interpolating the eye width position from the appropriate distance of the user. By superimposing a correction vector for use, it is possible to present a correct image with corrected aberration even when wearing glasses.
  • a display unit that displays an image
  • an eyepiece optical unit that projects a display image of the display unit on a user's eye
  • a correction information holding unit that holds correction information created in advance according to the user's state
  • a distortion correction unit configured to correct distortion of the display image based on correction information according to a current user state.
  • the correction information holding unit holds, as the correction information, a correction vector for correcting distortion of the display image caused by a shift amount between the lens center of the eyepiece optical unit and the center position of the user's eye.
  • the distortion correction unit corrects the display image based on a correction vector corresponding to a deviation amount between a lens center of the eyepiece optical unit and a center position of a user's eye.
  • It further includes an eye width adjustment mechanism that adjusts the position of the display unit with respect to the user's eye width in a stepwise manner, and the correction information holding unit uses the stepwise adjustment position of the eye width adjustment mechanism as the correction information.
  • the display device Holding a correction vector for correcting the distortion of the display image due to the amount of shift of the interpolation position for interpolating between, and the distortion correction unit is the amount of interpolation position remaining after adjustment by the eye width adjustment mechanism
  • the display device wherein the display image is corrected based on a correction vector corresponding to an amount of deviation.
  • the correction information holding unit holds, as the correction information, a correction vector for correcting distortion of the display image caused by spectacle-specific aberration, and the distortion correction unit is used for the glasses worn by the user.
  • the display device wherein the display image is corrected based on a corresponding correction vector.
  • the correction information holding unit includes, as the correction information, distortion of the display image caused by a difference due to an individual difference between a lens design appropriate distance with respect to a distance direction between the lens of the eyepiece optical unit and the user's pupil.
  • the display device wherein a correction vector for correction is held, and the distortion correction unit corrects the display image based on the correction vector.
  • a correction information holding unit that holds correction information created in advance according to the user's state, and a distortion correction unit that corrects distortion of the display image based on the correction information according to the current user state.
  • the embodiment in which the technology disclosed in this specification is applied to a head-mounted display has been mainly described.
  • the gist of the technology disclosed in this specification is the configuration of a specific head-mounted display. It is not limited to.
  • the technology disclosed in this specification can be similarly applied to various types of display systems in which an image is presented to a user with a combination of a display panel and a lens.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)

Abstract

 表示パネルとレンズの組合せで画像を表示する際に、レンズの中心と投影像を観察するユーザーの眼中心位置の不一致に起因する画像の歪みを補正する。 接眼光学系のレンズ中心と眼の中心位置のずれ量に応じた歪みの補正ベクトルをあらかじめ作成しておくようにした。そして、ユーザーがヘッド・マウント・ユニット(10)を装着した際の接眼光学系のレンズ中心と眼の中心位置のずれ量に応じた補正ベクトルを用いて入力画像の補正を行なうことで、歪みや色ずれのない画像を提示する。

Description

表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
 本明細書で開示する技術は、例えばヘッド・マウント・ディスプレイのように、表示パネルとレンズを組み合わせた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムに係り、特に、ユーザーの状態やユーザー毎の個人差に起因する画像の歪みを補正する表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。
 頭部に装着して画像を視聴する表示装置、すなわちヘッド・マウント・ディスプレイ(HMD)が広く知られている。ヘッド・マウント・ディスプレイは、左右の眼毎に光学ユニットを持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3D画像を提示することができる。
 ヘッド・マウント・ディスプレイの左右の眼の表示部には、例えば液晶や有機EL(Electro-Luminescence)素子などからなる高解像度の表示パネルを用いることができる。また、接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができるであろう。
 ヘッド・マウント・ディスプレイは左右に独立して接眼光学系を持つ一方、眼の高さや眼幅にはユーザー毎に個人差があるため、接眼光学系と装着したユーザーの眼とを位置合わせする必要がある。眼の前に大きな画面が映し出されるため、ブルーレイ・ディスクの再生映像などを長時間鑑賞するときには、目の健康のためにも、ヘッド・マウント・ディスプレイから映し出される画像を、眼幅に正確に合わせることが好ましい。
 例えば、ラック・アンド・ピニオン方式を用いた眼幅調整機構を備え、ユーザー毎の個人差に対応したヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献1を参照のこと)。また、左眼用表示ユニットと右眼用表示ユニットとの間に回転軸を有し、各表示ユニットとそれぞれアームを介して接続された回転部材を設けて、回転部材が回転することによって、左眼用表示ユニットと右眼用表示ユニットとの間の距離を左右対称に調整する眼幅調整機構を備えたヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献2を参照のこと)。
 また、本出願人に既に譲渡されている特願2010-287835号明細書(特許文献3)には、装着したユーザーが自ら眼幅調整機構を操作して、眼幅を正確に合わせることができるヘッド・マウント・ディスプレイについて提案がなされている。このヘッド・マウント・ディスプレイは、眼幅を調整する際に、眼幅調整用の信号パターンを表示するので、ユーザーは、信号パターンを観察しながら自ら眼幅調整機構を操作して、眼幅をより正確に合わせることができる。
 接眼光学系のレンズ中心と眼の中心位置が一致していないと、表示画像の一部もしくは全体が歪んで見えたり、レンズの倍率色収差の影響でRGBそれぞれが画面の一部若しくは全体でずれて見えたりする原因になる。
 しかしながら、眼幅調整機構を以ってしても、接眼光学系のレンズ中心と、眼の中心位置を厳密に一致させることは困難である。また、眼幅調整機構が段階的にしか位置を固定できず、無段階で位置調整できないときには、ユーザーによってはそもそも厳密に眼幅調整できないこともある。
 レンズ中心と眼の中心位置が一致しなくても、歪みや倍率色収差が少ないレンズを使用することで、上記のような眼幅調整の問題を解消することができる。ところが、このようなレンズは。製造コストが高い。また、レンズ重量が重くなることから、ヘッド・マウント・ディスプレイの装着感を劣化させてしまう。
 あるいは、無段階で位置調整可能な眼幅調整機構を採用することで、上記のような眼幅調整の問題を解消することができるが、機構が複雑化して、装置コストの増大を招来する。
特開平6-276459号公報 特許第4609256号公報 特開2012-138654号公報
 本明細書で開示する技術の目的は、ユーザーの状態やユーザー毎の個人差に起因する画像の歪みを好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
 本明細書で開示する技術のさらなる目的は、表示パネルとレンズの組合せで画像を表示する際に、表示画像を投影するレンズの中心と投影像を観察するユーザーの眼中心位置の不一致に起因する画像の歪みを好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
 本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
 画像を表示する表示部と、
 前記表示部の表示画像をユーザーの眼に投影する接眼光学部と、
 ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部と、
 現在のユーザーの状態に応じた補正情報に基づいて前記表示画像の歪みを補正する歪み補正部と、
を具備する表示装置である。
 本願の請求項2に記載の技術によれば、請求項1に記載の表示装置の補正情報保持部は、前記補正情報として、前記接眼光学部のレンズ中心とユーザーの眼の中心位置のずれ量に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、歪み補正部は、前記接眼光学部のレンズ中心とユーザーの眼の中心位置のずれ量に応じた補正ベクトルに基づいて前記表示画像を補正するように構成されている。
 本願の請求項3に記載の技術によれば、請求項1に記載の表示装置は、ユーザーの眼幅に対する前記表示部の位置を段階的に調整する眼幅調整機構をさらに備えている。そして、補正情報保持部は、前記補正情報として、前記眼幅調整機構の段階的な調整位置の間を補間する補間位置分のずれ量に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、歪み補正部は、前記眼幅調整機構で調整した後に残存する補間位置分のずれ量に応じた補正ベクトルに基づいて前記表示画像を補正するように構成されている。
 本願の請求項4に記載の技術によれば、請求項1に記載の表示装置の補正情報保持部は、前記補正情報として、眼鏡固有の収差に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、歪み補正部は、ユーザーが着用する眼鏡に対応する補正ベクトルに基づいて前記表示画像を補正するように構成されている。
 本願の請求項5に記載の技術によれば、請求項1に記載の表示装置の補正情報保持部は、前記補正情報として、前記接眼光学部のレンズとユーザーの瞳との距離方向に対するレンズ設計の適正距離との個人差による差分に起因する前記表示画像の歪みを補正するための補正ベクトルを保持している。そして、歪み補正部は、この補正ベクトルに基づいて前記表示画像を補正するように構成されている。
 また、本願の請求項6に記載の発明は、
 ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部と、
 現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正部と、
を具備する画像処理装置である。
 また、本願の請求項7に記載の発明は、
 ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持ステップと、
 現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正ステップと、
を有する画像処理方法である。
 また、本願の請求項8に記載の発明は、
 ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部、
 現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。
 本願の請求項8に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項8に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項5に係る画像処理装置と同様の作用効果を得ることができる。
 本明細書で開示する技術によれば、表示パネルとレンズの組合せで画像を表示する際に、ユーザーの状態やユーザー毎の個人差に起因する画像の歪みを好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。
 また、本明細書で開示する技術によれば、表示パネルとレンズの組合せで画像を表示する際に、表示画像を投影するレンズの中心と投影像を観察するユーザーの眼中心位置の不一致に起因する画像の歪みを好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。
 本明細書で開示する技術によれば、接眼光学系のレンズ中心と眼の中心位置のずれ量に応じた歪み補正ベクトルをあらかじめ作成しておき、ユーザーが表示装置を装着した際に実際のずれ量に応じた補正ベクトルを用いて画像補正を行なうことができる。
 本明細書で開示する技術によれば、観察画像に生じるある程度の歪みや倍率色収差を許容し、画像補正で補うことで、レンズの製造コストを下げたり、レンズの重量を軽くしたりすることができる。
 また、本明細書で開示する技術によれば、眼幅の微調整を画像補正により補うことにより、眼幅調整機構の構成を簡単にすることができ、コストを削減することができる。
 また、本明細書で開示する技術によれば、接眼光学部のレンズとユーザーの瞳との距離方向に対するレンズ設計の適正距離との個人差による差分に起因する収差を画像補正により補うことができる。
 本明細書で開示する技術によれば、補正ベクトルを変更することで、ユーザーの状態やユーザー毎の個人差に起因するさまざまな収差に対応することができる。例えば、眼鏡着用者がヘッド・マウント・ディスプレイを使用すると、眼鏡固有の収差が見えてしまい、正しい画像を観察できないことがある。このような場合には、眼鏡の収差をあらかじめ計測し、歪み補正ベクトルに重畳することで、眼鏡着用時にも収差の補正された正しい画像を提示することが可能となる。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示した図である。 図2は、眼幅調整機構を装備したヘッド・マウント・ユニット10の本体の上面を俯瞰した様子を示した図である。 図3は、接眼光学系のレンズ中心と眼の中心位置が一致している場合の観察画像を例示した図である。 図4は、接眼光学系のレンズ中心と眼の中心位置が一致していない場合の観察画像を例示した図である。 図5Aは、接眼光学系のレンズ中心と眼の中心位置が一致していない場合に、入力画像を補正ベクトルに基づいて補正した後の表示画像を示した図である。 図5Bは、図5Aに示した補正後の表示画像をレンズ越しに観察される画像を示した図である。 図6は、ヘッド・マウント・ディスプレイにおける映像信号の処理系統の構成を模式的に示した図である。 図7は、眼幅調整機構による眼幅調整の仕組みを説明するための図である。 図8は、眼幅調整機構による眼幅調整位置の間を補間する仕組みを説明するための図である。 図9は、接眼光学系604のレンズ中心と眼の中心位置が一致している場合の補正画像を示した図である。 図10は、接眼光学系604のレンズ中心に対して眼の中心位置が左に4mmだけずれている場合の補正画像を示した図である。 図11Aは、眼幅調整機構の補間を行なう手順を説明するための図である。 図11Bは、眼幅調整機構の補間を行なう手順を説明するための図である。 図11Cは、眼幅調整機構の補間を行なう手順を説明するための図である。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
 図1には、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図示のシステムは、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置20と、ブルーレイ・ディスク再生装置20から出力されるAV信号の処理を行なうフロント・エンド・ボックス40と、ブルーレイ・ディスク再生装置20の再生コンテンツの出力先となる頭部装着型の表示装置(ヘッド・マウント・ユニット)10と、ブルーレイ・ディスク再生装置20の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ(例えば、HDMI対応テレビ)30で構成される。ヘッド・マウント・ユニット10とフロント・エンド・ボックス40で、1つのヘッド・マウント・ディスプレイが構成される。
 フロント・エンド・ボックス40は、ブルーレイ・ディスク再生装置20から出力されるAV信号をHDMI入力すると、例えば信号処理して、HDMI出力するHDMIリピーターに相当する。また、フロント・エンド・ボックス40は、ブルーレイ・ディスク再生装置20の出力先をヘッド・マウント・ユニット10又はハイビジョン・ディスプレイ30のいずれかに切り替える2出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス40は2出力であるが、3以上の出力を有していてもよい。但し、フロント・エンド・ボックス40は、AV信号の出力先を排他的とし、且つ、ヘッド・マウント・ユニット10への出力を最優先とする。
 なお、HDMI(High-Definition Multimedia Interface)は、DVI(Digital Visual Interface)を基にし、物理層にTMDS(Transition Minimized Differential Signaling)を用いた、主に音声と映像の伝送を用途としたディジタル家電向けのインターフェース規格である。本システムは、例えばHDMI1.4に準拠する。
 ブルーレイ・ディスク再生装置20とフロント・エンド・ボックス40間、並びに、フロント・エンド・ボックス40とハイビジョン・ディスプレイ30間は、それぞれHDMIケーブルで接続されている。フロント・エンド・ボックス40とヘッド・マウント・ユニット10間も、HDMIケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてAV信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス40とヘッド・マウント・ユニット10間を接続するケーブル1本で、AV信号と電力を供給するものとし、ヘッド・マウント・ユニット10はこのケーブルを介して駆動電力も得ることができる。
 ヘッド・マウント・ユニット10は、左眼用及び右眼用の独立した表示部を備えている。各表示部は、例えば有機EL素子からなる表示パネルを用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角の接眼光学系を装備している。接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。
 ヘッド・マウント・ユニット10は左右に独立して光学系を持つ一方、眼の高さや眼幅にはユーザー毎に個人差があるため、光学系と装着したユーザーの眼とを位置合わせする必要がある。このため、本実施形態では、ヘッド・マウント・ユニット10の本体部は、右眼用の表示部と左眼用の表示部の間に、眼幅を調整する眼幅調整機構を装備している。左右個々の眼と表示部との関係で言えば、眼幅調整機構は、ユーザーの眼幅に対する前記表示部の位置を調整する。図2には、眼幅調整機構を装備したヘッド・マウント・ユニット10の本体部の上面を俯瞰した様子を示している。
 眼幅調整機構をどのような機構部品で実装するかは任意である。但し、双眼鏡や顕微鏡などにおいて用いられている、左右の鏡筒を一軸の眼幅調整軸で眼幅を調整する機構は、眼幅調整軸の回転に伴い、ノーズ・パッド部(すなわち、ユーザーの鼻の位置)から表示部までの高さが変動してしまうので、好ましくない。これに対し、例えばラック・アンド・ピニオン方式により眼幅調整機構を構成すれば、眼幅の調整の際に、ノーズ・パッド部から表示部までの高さを一定に保つことができるのでよい。但し、本明細書で開示する技術の要旨はラック・アンド・ピニオン方式にのみ限定されるものではなく、眼幅の調整作業の際に表示部の高さが変動するなどの不具合がなければ、他の方式からなる眼幅調整機構であってもよい。
 ここで、ヘッド・マウント・ディスプレイのように、表示パネルとレンズを組み合わせた表示装置においては、レンズ歪みや倍率色収差のために、表示画像をレンズ越しに観察した際に歪みが生じるという問題がある。当業界では、歪みを信号処理によって補正する方法が知られている。すなわち、表示画像に対して接眼光学系の歪み特性と逆方向となるような歪みを与えることで、接眼光学系越しに見たときには、歪みを含まない正常な画像として観察できるようにする。入力画像の各画素に与える逆方向に歪みのことを、以下では「補正ベクトル」と呼ぶ。補正ベクトルは、入力画像上の画素位置を始点とし、この始点に対応する表示画像上の画素位置を終点とする。
 また、接眼光学系のレンズ中心と眼の中心位置が一致していないと、表示画像の一部もしくは全体が歪んで見えたり、レンズの倍率色収差の影響でRGBそれぞれが画面の一部若しくは全体でずれて見えたりする、という問題がある。
 図3には、接眼光学系のレンズ中心と眼の中心位置が一致している場合の観察画像を例示している。これに対し、図4には、接眼光学系のレンズ中心と眼の中心位置が一致していない場合の観察画像を例示している。前者では、表示パネルに表示した白線の格子画像がレンズ越しに正しく観察される。しかしながら、後者では、レンズ中心に対し眼の中心位置が左側にずれているために、画面の右端で倍率色収差が発生して、グリーンの信号に対して、レッドは右側にずれ、反対にブルーは左側にずれが生じている。
 ユーザーにとって、接眼光学系のレンズ中心と、眼の中心位置を厳密に一致させる作業が困難なこともある。また、眼幅調整機構が段階的にしか位置を固定できず、無段階で位置調整できないときには、ユーザーによってはそもそも厳密に眼幅調整できないこともある。無段階で位置調整可能な眼幅調整機構は、機構が複雑で、装置コストの増大を招来する。また、歪みや倍率色収差が少ないレンズを使用することで、レンズ中心と眼の中心位置が一致しなくてもよくなるが、装置コストが高くなるとともに、レンズ重量の増加により装着感が低下する。
 そこで、本実施形態では、接眼光学系のレンズ中心と眼の中心位置のずれ量に応じた歪みの補正ベクトルをあらかじめ作成しておくようにした。そして、ユーザーがヘッド・マウント・ユニット10を装着した際の接眼光学系のレンズ中心と眼の中心位置のずれ量に応じた補正ベクトルを用いて入力画像の補正を行なうことで、歪みや色ずれのない画像を提示するようにしている。
 図5Aには、接眼光学系のレンズ中心と眼の中心位置が一致していない場合に、入力画像を補正ベクトルに基づいて補正した後の表示画像を示している。また、図5Bには、この表示画像をレンズ越しに観察される画像を示している。図4を参照しながら説明したように、レンズ中心と眼の中心位置の不一致のために、グリーンの信号に対して、レッドは右側にずれ、ブルーは左側にずれるという倍率色収差が発生するので、これに対する補正ベクトルは、図5Aに示すように、グリーンの信号に対して、レッドを左側にずらし、反対にブルーを右側にずらすものとなる。そして、この補正画像をレンズ越しに観察すると、図5Bに示すように、正しく白線の格子を見ることができる。
 図6には、ヘッド・マウント・ディスプレイにおける映像信号の処理系統の構成を模式的に示している。同図では、左眼又は右眼の一方のみ図示しているが、各眼用の構成は同様である。
 表示部603は、例えば液晶や有機EL(Electro-Luminescence)素子などからなる高解像度の表示パネルを備えている。また、接眼光学系604は、表示部603の表示映像を拡大投影する。接眼光学系604を構成するレンズは、例えば光学シミュレーションの結果に基づいて設計される。
 映像縮小部601は、入力した映像信号が表示パネルのサイズに適合するように縮小処理する。歪み補正部602は、映像縮小部601からの入力画像に対して、接眼光学系604のレンズ中心と眼の中心位置の不一致に応じた補正ベクトルに基づいて、画像補正を行なう。
 補正ベクトル保持部605は、あらかじめ作成しておいた補正ベクトルを記憶している。補正ベクトル保持部605には、接眼光学系604のレンズ歪みや倍率色収差を補正するための補正ベクトルや、接眼光学系604のレンズ中心とユーザーの眼の中心位置との不一致に基づく倍率色収差を補正するための補正ベクトルなど、あらかじめ作成された1以上の補正ベクトルを記憶されている。歪み補正部602は、必要に応じて、補正ベクトル保持部605内の2以上の補正ベクトルを重畳して、入力画像の補正を行なうこともできる。
 図7には、眼幅調整機構による眼幅調整の仕組みを図解している。眼幅調整機構は、所定の間隔G1を目盛りの単位として、初期の位置0を中心に±2の範囲で、段階的に位置を調整することができるものとする。図示の例では、目盛り+1の位置で、レンズ中心と眼の中心位置が一致している。
 しかしながら、眼幅調整機構が無段階で位置調整できないときには、いずれかの目盛りの位置で必ずレンズ中心と眼の中心位置が一致しているとは限らない。図8に示す例では、目盛りG1で+1の位置に調整することで、レンズ中心を眼の中心位置に最も接近しているが、完全には一致していない。すなわち、眼幅調整機構で眼幅を調整しても、段階的な調整位置の間隔未満のずれが残存する可能性がある。このような不一致を放置すると、図4に示したように観察画像に倍率色収差が生じてしまう。
 そこで、眼幅調整機構の位置調整の目盛りの単位G1よりも小さい間隔G2(G2<G1)の不一致により生じる倍率色収差を補正するための補正ベクトルをあらかじめ作成し、補正ベクトル保持部605に記憶させておく。眼幅調整機構で可能な限り眼幅を調整した上で、歪み補正部602が補正ベクトルに応じて画像補正を行なうことで、眼幅調整機構による位置調整の最小間隔G1の間を補間するように歪みを補正することができる。
 図8に示す例では、位置調整の各目盛りで、間隔G2単位で±1の補間位置で補正ベクトルをあらかじめ用意しておく。そして、眼幅調整機構を目盛り+1の位置に調整することで、レンズ中心を眼の中心位置に最も接近しているが、依然として、補間の目盛りG2で-1だけずれているときには、「-1」用の補正ベクトルを適用することで、間隔G2で微小な調整を行ない、倍率色収差を抑えることができる。
 図9には、接眼光学系604のレンズ中心と眼の中心位置が一致している場合の補正画像を示している(同図中、幅の狭い点線がレッド、幅の広い点線がブルー、一点鎖線がグリーンに相当する)。但し、補正前の元画像は、白線の格子画像とする。RGB各々に独立して歪み補正と倍率色収差の補正を行なうため、RGBの位置が少しずれた補正画像となる。また、画像周辺に行くほど、歪み量が大きくなるため、色成分毎のずれが大きくなる。この画像を接眼光学系604越しに見ることで、正しい白線の格子画像が見えることになる。
 また、図10には、接眼光学系604のレンズ中心に対して眼の中心位置が左に4mmだけずれている場合の補正画像を示している(同図中、幅の狭い点線がレッド、幅の広い点線がブルー、一点鎖線がグリーンに相当する)。但し、補正前の元画像は、白線の格子画像とする。この場合、RGB各々に独立して歪み補正と倍率色収差の補正に加えて、眼の中心位置ずれの補正を行なう。RGBの位置が少しずれた補正画像となるが右端の補正画像がRGB毎にすれ補正前の画像と違ってくる。図示の例では、グリーンに対するレッド、ブルーのずれがすくなる方向にずれるため、補正画像上では右端のRGBのずれ量が図9に示した例よりも小さくなっている。
 眼幅調整機構の補間を行なう手順の一例について、図11A~図11Cを参照しながら説明する。例えば白線の格子画像などを左右の表示パネルに表示した状態で、ユーザーは、眼幅調整機構を用いて最小間隔G1でメカニカルな眼幅調整を行ない、レンズ中心が眼の中心に最も接近している位置を選択する。次に、当該眼幅調整位置で、眼幅調整機構による位置調整の最小間隔G1の間を補間する、目盛りG2各位置-1、0、+1の補正ベクトルで白線の格子画像を補正した画像を順番に表示する。図11Cに示す例では、当該眼幅調整位置では、補間位置+1でレンズ中心と眼の中心位置が最も一致していることから、補間位置+1用の補正ベクトルによる補正画像は、色収差がほとんど観察されない、正しい白線の格子画像となる。他方、図11A、図11Bに示すように、補間位置-1、0ではいずれも、眼の中心がレンズ中心に対して左側にずれることから、画面の右側ほど色ずれが顕著になる。
 例えば、各補間位置での補正ベクトルによる補正画像とともに、補間位置を示す情報をOSD表示し、図11A~図11Cに示したもののうち、いずれの補間位置の補正ベクトルで補正すべきかをユーザーに選択させるようにしてもよい。あるいは、カメラなどを用いてユーザーの眼幅及び眼の中心位置を読み取り、自動で調整を行なうようにしてもよい。
 このようにすれば、無段階調整可能な眼幅調整機構を用いる必要はなく、装置コストを削減することができる。また、入力画像に適用する補正ベクトルを変更するだけで、他の設計変更を一切することなく、眼幅調整機構の補間を実現することができる。また、観察画像に生じるある程度の歪みや倍率色収差を許容し、画像補正で補うことで、レンズの製造コストを下げたり、レンズの重量を軽くしたりすることができる。
 また、補正ベクトル保持部605に記憶する補正ベクトルを変更することで、歪み補正部202は、ユーザー毎の個人差に起因するさまざまな収差に対応することができる。
 ユーザー毎の個人差に起因する他の例として、眼鏡着用者がヘッド・マウント・ディスプレイを使用すると、眼鏡固有の収差が見えてしまい、正しい画像を観察できないことがある。このような場合には、眼鏡の収差をあらかじめ計測して、眼鏡の収差補正用の補正ベクトルを補正ベクトル保持部605に記憶させておく。そして、眼鏡着用者がヘッド・マウント・ユニットを装着したときには、歪み補正部602は、レンズ歪み、倍率色収差補正用の補正ベクトル、あるいは眼幅位置補間用の補正ベクトルに眼鏡用の補正ベクトルを重畳することで、眼鏡着用時にも収差の補正された正しい画像を提示することが可能となる。
 また、ユーザー毎の個人差に起因する他の例として、Z方向、すなわち接眼光学系604のレンズとユーザーの瞳との距離方向に対して、レンズ設計の適正距離との個人差による差分に起因して収差が見えてしまい、正しい画像を観察できないことがある。このような場合も、レンズ設計の適正距離との個人差による差分に起因に起因する収差をユーザー毎にあらかじめ計測して、補正ベクトルを補正ベクトル保持部605に記憶させておく。そして、ユーザーがヘッド・マウント・ユニットを装着したときには、歪み補正部602は、レンズ歪み、倍率色収差補正用の補正ベクトル、あるいは眼幅位置補間用の補正ベクトルに、当該ユーザーの適正距離との差分用の補正ベクトルを重畳することで、眼鏡着用時にも収差の補正された正しい画像を提示することが可能となる。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)画像を表示する表示部と、前記表示部の表示画像をユーザーの眼に投影する接眼光学部と、ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部と、現在のユーザーの状態に応じた補正情報に基づいて前記表示画像の歪みを補正する歪み補正部と、を具備する表示装置。
(2)前記補正情報保持部は、前記補正情報として、前記接眼光学部のレンズ中心とユーザーの眼の中心位置のずれ量に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、前記歪み補正部は、前記接眼光学部のレンズ中心とユーザーの眼の中心位置のずれ量に応じた補正ベクトルに基づいて前記表示画像を補正する、上記(1)に記載の表示装置。
(3)ユーザーの眼幅に対する前記表示部の位置を段階的に調整する眼幅調整機構をさらに備え、前記補正情報保持部は、前記補正情報として、前記眼幅調整機構の段階的な調整位置の間を補間する補間位置分のずれ量に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、前記歪み補正部は、前記眼幅調整機構で調整した後に残存する補間位置分のずれ量に応じた補正ベクトルに基づいて前記表示画像を補正する、上記(1)に記載の表示装置。
(4)前記補正情報保持部は、前記補正情報として、眼鏡固有の収差に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、前記歪み補正部は、ユーザーが着用する眼鏡に対応する補正ベクトルに基づいて前記表示画像を補正する、上記(1)に記載の表示装置。
(5)前記補正情報保持部は、前記補正情報として、前記接眼光学部のレンズとユーザーの瞳との距離方向に対するレンズ設計の適正距離との個人差による差分に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、前記歪み補正部は、前記補正ベクトルに基づいて前記表示画像を補正する、上記(1)に記載の表示装置。
(6)ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部と、現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正部と、を具備する画像処理装置。
(7)ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持ステップと、現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正ステップと、を有する画像処理方法。
(8)ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部、現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書では、本明細書で開示する技術をヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨は特定のヘッド・マウント・ディスプレイの構成に限定されるものではない。表示パネルとレンズの組合せで画像をユーザーに提示するさまざまなタイプの表示システムにも、同様に本明細書で開示する技術を適用することができる。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 10…ヘッド・マウント・ユニット
 20…ブルーレイ・ディスク再生装置
 30…ハイビジョン・ディスプレイ
 40…フロント・エンド・ボックス
 601…映像縮小部
 602…歪み補正部
 603…表示部
 604…接眼光学系
 605…補正ベクトル保持部
 

Claims (8)

  1.  画像を表示する表示部と、
     前記表示部の表示画像をユーザーの眼に投影する接眼光学部と、
     ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部と、
     現在のユーザーの状態に応じた補正情報に基づいて前記表示画像の歪みを補正する歪み補正部と、
    を具備する表示装置。
  2.  前記補正情報保持部は、前記補正情報として、前記接眼光学部のレンズ中心とユーザーの眼の中心位置のずれ量に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、
     前記歪み補正部は、前記接眼光学部のレンズ中心とユーザーの眼の中心位置のずれ量に応じた補正ベクトルに基づいて前記表示画像を補正する、
    請求項1に記載の表示装置。
  3.  ユーザーの眼幅に対する前記表示部の位置を段階的に調整する眼幅調整機構をさらに備え、
     前記補正情報保持部は、前記補正情報として、前記眼幅調整機構の段階的な調整位置の間を補間する補間位置分のずれ量に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、
     前記歪み補正部は、前記眼幅調整機構で調整した後に残存する補間位置分のずれ量に応じた補正ベクトルに基づいて前記表示画像を補正する、
    請求項1に記載の表示装置。
  4.  前記補正情報保持部は、前記補正情報として、眼鏡固有の収差に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、
     前記歪み補正部は、ユーザーが着用する眼鏡に対応する補正ベクトルに基づいて前記表示画像を補正する、
    請求項1に記載の表示装置。
  5.  前記補正情報保持部は、前記補正情報として、前記接眼光学部のレンズとユーザーの瞳との距離方向に対するレンズ設計の適正距離との個人差による差分に起因する前記表示画像の歪みを補正するための補正ベクトルを保持し、
     前記歪み補正部は、前記補正ベクトルに基づいて前記表示画像を補正する、
    請求項1に記載の表示装置。
  6.  ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部と、
     現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正部と、
    を具備する画像処理装置。
  7.  ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持ステップと、
     現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正ステップと、
    を有する画像処理方法。
  8.  ユーザーの状態に応じてあらかじめ作成された補正情報を保持する補正情報保持部、
     現在のユーザーの状態に応じた補正情報に基づいて表示画像の歪みを補正する歪み補正部、
    としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
     
PCT/JP2012/083736 2012-03-22 2012-12-26 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム WO2013140697A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/117,692 US9740007B2 (en) 2012-03-22 2012-12-26 Display device, image processing device and image processing method, and computer program
CN201280023550.4A CN103534748B (zh) 2012-03-22 2012-12-26 显示装置、图像处理装置和图像处理方法
EP12871725.3A EP2688060A4 (en) 2012-03-22 2012-12-26 DISPLAY DEVICE, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROCESS AND COMPUTER PROGRAM THEREFOR
JP2014505976A JP5907250B2 (ja) 2012-03-22 2012-12-26 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US15/653,938 US10831027B2 (en) 2012-03-22 2017-07-19 Display device, image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012064899 2012-03-22
JP2012-064899 2012-03-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/117,692 A-371-Of-International US9740007B2 (en) 2012-03-22 2012-12-26 Display device, image processing device and image processing method, and computer program
US15/653,938 Continuation US10831027B2 (en) 2012-03-22 2017-07-19 Display device, image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2013140697A1 true WO2013140697A1 (ja) 2013-09-26

Family

ID=49222183

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083736 WO2013140697A1 (ja) 2012-03-22 2012-12-26 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム

Country Status (5)

Country Link
US (2) US9740007B2 (ja)
EP (1) EP2688060A4 (ja)
JP (1) JP5907250B2 (ja)
CN (1) CN103534748B (ja)
WO (1) WO2013140697A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161767A (ja) * 2015-03-02 2016-09-05 アルプス電気株式会社 画像表示装置
JP2016200753A (ja) * 2015-04-13 2016-12-01 株式会社ニコン 画像表示装置
JP2018049039A (ja) * 2016-09-20 2018-03-29 キヤノン株式会社 画像表示装置
JP2019507363A (ja) * 2015-12-08 2019-03-14 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 焦点調整するバーチャルリアリティヘッドセット
JP2019045630A (ja) * 2017-08-31 2019-03-22 キヤノン株式会社 画像表示装置
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
JP2019191588A (ja) * 2014-09-30 2019-10-31 株式会社ソニー・インタラクティブエンタテインメント 眼追跡によるリアルタイムレンズ収差補正
JP2020167657A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP2020167600A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
JPWO2020170455A1 (ja) * 2019-02-22 2021-12-16 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
JP7358258B2 (ja) 2020-01-28 2023-10-10 キヤノン株式会社 画像観察装置
US11960086B2 (en) 2019-02-22 2024-04-16 Sony Interactive Entertainment Inc. Image generation device, head-mounted display, and image generation method

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901622B (zh) * 2014-04-23 2016-05-25 成都理想境界科技有限公司 3d头戴观影设备及对应的视频播放器
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
WO2016093750A1 (en) * 2014-12-10 2016-06-16 Telefonaktiebolaget Lm Ericsson (Publ) Device for and method of corneal imaging
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US9836828B2 (en) * 2015-04-22 2017-12-05 Esight Corp. Methods and devices for optical aberration correction
US10271042B2 (en) * 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
CN106405832A (zh) * 2015-08-12 2017-02-15 毛颖 一种可消除色差的头戴式显示装置
EP3330961A4 (en) * 2015-09-07 2019-04-03 Sony Interactive Entertainment Inc. INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, OUTPUT DEVICE, PROGRAM, AND RECORDING MEDIUM
WO2017043125A1 (ja) 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体
DE102015116405A1 (de) 2015-09-28 2017-03-30 Carl Zeiss Ag Anzeigevorrichtung mit Vorverzeichnung
US9940696B2 (en) * 2016-03-24 2018-04-10 GM Global Technology Operations LLC Dynamic image adjustment to enhance off- axis viewing in a display assembly
US10373297B2 (en) * 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion
US10043318B2 (en) * 2016-12-09 2018-08-07 Qualcomm Incorporated Display synchronized image warping
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10962779B2 (en) * 2017-02-15 2021-03-30 Sharp Kabushiki Kaisha Display control device, method for controlling display control device, and storage medium
US10277893B1 (en) * 2017-06-22 2019-04-30 Facebook Technologies, Llc Characterization of optical distortion in a head mounted display
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
TWI697692B (zh) * 2017-08-01 2020-07-01 緯創資通股份有限公司 近眼顯示系統及其操作方法
US10317680B1 (en) * 2017-11-09 2019-06-11 Facebook Technologies, Llc Optical aberration correction based on user eye position in head mounted displays
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ, インコーポレイテッド レーダ頭部姿勢位置特定
US10825424B2 (en) 2018-06-05 2020-11-03 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
JP7142762B2 (ja) * 2019-02-22 2022-09-27 株式会社ソニー・インタラクティブエンタテインメント 表示装置および画像表示方法
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ, インコーポレイテッド 第1および第2の拡張現実ビューア間でのローカルコンテンツの位置合わせ
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
CN114446262B (zh) * 2020-10-30 2023-09-08 华为技术有限公司 色偏矫正方法和头戴显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058703A (ja) * 2006-08-31 2008-03-13 Canon Inc 画像表示装置
JP2009156992A (ja) * 2007-12-25 2009-07-16 Canon Inc 制御装置、表示装置及びそれらの制御方法、複合現実システム、及びコンピュータプログラム
JP2010287835A (ja) 2009-06-15 2010-12-24 Hitachi Chem Co Ltd 半導体回路部材の製造方法
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3299804B2 (ja) 1993-03-23 2002-07-08 オリンパス光学工業株式会社 眼幅調整可能な映像表示装置
US5369450A (en) * 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
JP4287375B2 (ja) * 2002-09-24 2009-07-01 健爾 西 画像表示装置及び投影光学系
JP4321128B2 (ja) * 2003-06-12 2009-08-26 株式会社デンソー 画像サーバ、画像収集装置、および画像表示端末
JP4965800B2 (ja) * 2004-10-01 2012-07-04 キヤノン株式会社 画像表示システム
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JP4609256B2 (ja) 2005-09-15 2011-01-12 ソニー株式会社 ヘッドマウントディスプレイ
CA2641001C (en) * 2006-02-21 2012-01-03 Matsushita Electric Works, Ltd. Image display apparatus and image distortion correction method of the same
JP2007235335A (ja) * 2006-02-28 2007-09-13 Victor Co Of Japan Ltd 回転機構付き表示装置、および回転機構付き表示装置における映像信号の歪み補正方法
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
JP5341462B2 (ja) 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
JP2012138654A (ja) 2010-12-24 2012-07-19 Sony Corp ヘッド・マウント・ディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058703A (ja) * 2006-08-31 2008-03-13 Canon Inc 画像表示装置
JP2009156992A (ja) * 2007-12-25 2009-07-16 Canon Inc 制御装置、表示装置及びそれらの制御方法、複合現実システム、及びコンピュータプログラム
JP2010287835A (ja) 2009-06-15 2010-12-24 Hitachi Chem Co Ltd 半導体回路部材の製造方法
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2688060A4

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019191588A (ja) * 2014-09-30 2019-10-31 株式会社ソニー・インタラクティブエンタテインメント 眼追跡によるリアルタイムレンズ収差補正
JP2016161767A (ja) * 2015-03-02 2016-09-05 アルプス電気株式会社 画像表示装置
JP2016200753A (ja) * 2015-04-13 2016-12-01 株式会社ニコン 画像表示装置
JP2019507363A (ja) * 2015-12-08 2019-03-14 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 焦点調整するバーチャルリアリティヘッドセット
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10937129B1 (en) 2015-12-08 2021-03-02 Facebook Technologies, Llc Autofocus virtual reality headset
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US11016301B1 (en) 2016-04-07 2021-05-25 Facebook Technologies, Llc Accommodation based optical correction
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
JP2018049039A (ja) * 2016-09-20 2018-03-29 キヤノン株式会社 画像表示装置
JP2019045630A (ja) * 2017-08-31 2019-03-22 キヤノン株式会社 画像表示装置
JP7150134B2 (ja) 2019-02-22 2022-10-07 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
JPWO2020170455A1 (ja) * 2019-02-22 2021-12-16 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
US11960086B2 (en) 2019-02-22 2024-04-16 Sony Interactive Entertainment Inc. Image generation device, head-mounted display, and image generation method
JP2020167600A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
JP2020167657A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP7261642B2 (ja) 2019-03-29 2023-04-20 株式会社ソニー・インタラクティブエンタテインメント 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
US11640058B2 (en) 2019-03-29 2023-05-02 Sony Interactive Entertainment Inc. Image processing method, image processing apparatus, and head-mounted display
JP7429515B2 (ja) 2019-03-29 2024-02-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP7358258B2 (ja) 2020-01-28 2023-10-10 キヤノン株式会社 画像観察装置

Also Published As

Publication number Publication date
JPWO2013140697A1 (ja) 2015-08-03
US9740007B2 (en) 2017-08-22
US10831027B2 (en) 2020-11-10
US20170315363A1 (en) 2017-11-02
EP2688060A1 (en) 2014-01-22
CN103534748A (zh) 2014-01-22
EP2688060A4 (en) 2015-08-05
US20140078023A1 (en) 2014-03-20
CN103534748B (zh) 2017-05-17
JP5907250B2 (ja) 2016-04-26

Similar Documents

Publication Publication Date Title
JP5907250B2 (ja) 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US10356375B2 (en) Display device, image processing device and image processing method, and computer program
US11551602B2 (en) Non-uniform resolution, large field-of-view headworn display
EP3161784B1 (en) Distortion meshes against chromatic aberrations
JP2013192193A (ja) 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US9268138B2 (en) Head-mounted display
JP5222856B2 (ja) 画像表示装置、その表示方法、プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、双眼鏡、及び卓上型ディスプレイ
US20120162764A1 (en) Head-mounted display
WO2011125368A1 (ja) 立体画像表示装置、表示システム、駆動方法、駆動装置、表示制御方法、表示制御装置、プログラム、およびコンピュータ読み取り可能な記録媒体
WO2011036827A1 (ja) 立体映像表示装置および立体映像表示方法
US20080174659A1 (en) Wide field of view display device and method
JP2013257457A (ja) 表示装置、および表示制御方法、並びにプログラム
JPH10327373A (ja) 接眼映像表示装置
JP2013044913A (ja) 表示装置及び表示制御方法
CN102967937A (zh) 头戴式显示器和显示控制方法
US10360829B2 (en) Head-mounted display and chroma aberration compensation method using sub-pixel shifting
JP2004236191A (ja) 画像表示装置
JP6932501B2 (ja) 画像表示装置
US20160187967A1 (en) Video image display device and method
JP3351000B2 (ja) 眼鏡型表示装置
JPH10221636A (ja) 頭部装着型表示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014505976

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012871725

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12871725

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14117692

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE