WO2017130603A1 - 画像表示装置及び画像処理装置 - Google Patents

画像表示装置及び画像処理装置 Download PDF

Info

Publication number
WO2017130603A1
WO2017130603A1 PCT/JP2016/087766 JP2016087766W WO2017130603A1 WO 2017130603 A1 WO2017130603 A1 WO 2017130603A1 JP 2016087766 W JP2016087766 W JP 2016087766W WO 2017130603 A1 WO2017130603 A1 WO 2017130603A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
unit
color
corrected
Prior art date
Application number
PCT/JP2016/087766
Other languages
English (en)
French (fr)
Inventor
貴之 佐々木
山口 潤
馬場 雅裕
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Publication of WO2017130603A1 publication Critical patent/WO2017130603A1/ja
Priority to US15/914,456 priority Critical patent/US20180197503A1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • G09G2340/145Solving problems related to the presentation of information to be displayed related to small screens

Definitions

  • Embodiments described herein relate generally to an image display device and an image processing device.
  • a display unit that displays an image; and an optical unit that includes an optical element such as a plurality of lenses; a projection unit that projects the image displayed on the display unit; and an image projected from the projection unit
  • an image display device having a reflection part (combiner) that reflects toward the eye.
  • optical distortion or chipping may occur in an image viewed by the viewer depending on the arrangement of the projection unit and the pupil position of the viewer. It is desirable that the viewer can easily adjust the display so that the optical distortion or the like is suppressed and is easy to see.
  • Embodiments of the present invention provide an image display device and an image processing device that can be adjusted so that a viewer can easily see the display.
  • an image display device including an optical unit and a control unit.
  • the control unit receives first input image data and second input image data.
  • the control unit causes the optical unit to emit first light based on first corrected image data obtained by correcting the first input image data.
  • the control unit receives a signal that employs first correction information indicating a relationship between the first input image data and the first correction image data
  • the control unit receives the second input image based on the first correction information. Second light based on the second corrected image data with the corrected data is emitted to the optical unit.
  • FIG. 1 is a schematic view illustrating an image display device according to a first embodiment.
  • 1 is a block diagram illustrating an image display device according to a first embodiment. It is a block diagram which illustrates the adjustment part of the image display apparatus which concerns on 1st Embodiment. It is a schematic diagram which illustrates the image display apparatus which concerns on a reference example.
  • FIG. 5A to FIG. 5D are schematic views illustrating an image display device of a reference example. It is a schematic diagram which illustrates the image processing in the image display apparatus which concerns on 1st Embodiment.
  • FIG. 9A to FIG. 9C are schematic views illustrating the first pattern used for the processing of the image display apparatus according to the first embodiment.
  • FIG. 10A and FIG. 10B are schematic views illustrating another image display device according to the first embodiment.
  • FIG. 11 is a flowchart illustrating the operation of the image display apparatus according to the second embodiment.
  • FIG. 12A to FIG. 12C are schematic views illustrating the second pattern used for the processing of the image display apparatus according to the second embodiment. It is a block diagram which illustrates the image display device concerning a 3rd embodiment. It is a block diagram which illustrates the adjustment part which concerns on 3rd Embodiment. It is a flowchart which illustrates the adjustment part which concerns on 3rd Embodiment.
  • FIG. 17A and FIG. 17B are schematic views illustrating the image display device according to the embodiment.
  • FIG. 18A and FIG. 18B are schematic views illustrating the image display device according to the embodiment.
  • FIG. 19A and FIG. 19B are schematic views illustrating the image display device according to the embodiment.
  • FIG. 20A and FIG. 20B are schematic views illustrating the image display device according to the embodiment.
  • FIG. 21A and FIG. 21B are schematic views illustrating the image display device according to the embodiment.
  • FIG. 23A to FIG. 23C are schematic views illustrating patterns used for processing of the image display apparatus according to the fourth embodiment.
  • FIG. 1 is a schematic view illustrating an image display device according to the first embodiment.
  • FIG. 2 is a block diagram illustrating the image display apparatus according to the first embodiment.
  • the image display apparatus 101 includes a projection unit 125 and a control unit 14.
  • the control unit 14 includes a circuit unit 140 (image processing device).
  • the projection unit 125 includes a display unit 110 and an optical unit 120.
  • the image display apparatus 101 further includes a reflection unit 130, a holding unit 320, and a position control unit 126.
  • the circuit unit 140 is connected to an external storage medium, a network, or the like by wire or wirelessly and receives image information.
  • the circuit unit 140 is electrically connected to the display unit 110 by a bendable cable 145. Display image (corrected image) data is input from the circuit unit 140 to the display unit 110.
  • the circuit unit 140 includes a correction unit 141 and an adjustment unit 142 (see FIG. 2).
  • the adjustment unit 142 outputs the correction coefficient to the correction unit 141.
  • a corrected image is generated by applying distortion correction to the target image based on the correction coefficient, and display image (corrected image) data is input to the display unit 110.
  • the display unit 110 includes a plurality of pixels 110e.
  • the plurality of pixels 110e are provided side by side on a plane.
  • the display unit 110 emits image light L1 including image information.
  • the display unit 110 is a display that displays an image. Light including image information is emitted toward the optical unit 120.
  • the display for example, liquid crystal, organic EL, liquid crystal on silicon (Liquid Crystal On Silicon) or the like is used. However, the embodiment is not limited to these.
  • the optical unit 120 is provided between the display unit 110 and the reflection unit 130 on the optical path of the image light L1 emitted from the plurality of pixels 110e of the display unit 110.
  • the optical unit 120 includes at least one or more optical elements.
  • the optical unit 120 projects the incident image light L1.
  • a lens, a prism, a mirror, or the like can be used as the optical element.
  • the optical unit 120 changes the traveling direction of at least part of the image light L1.
  • the projection unit 125 (the optical unit 120) emits image light including image information toward the reflection unit 130.
  • a plurality of optical elements are used, they do not have to be arranged on a straight line.
  • the emission direction of the image light emitted from the projection unit 125 with respect to the reflection unit 130 can be adjusted.
  • the reflection unit 130 reflects at least a part of the image light L1 that has passed through the optical unit 120.
  • the reflection unit 130 reflects light that has passed through the optical unit 120 toward the pupil 150 of the viewer 60 (user) of the image display device.
  • the light reflected by the reflector 130 forms an image 170 (observed image) as a virtual image when viewed from the pupil 150. In this way, the viewer 60 can see the image.
  • the reflection unit 130 transmits part of light incident on the reflection unit 130 from the outside. Thereby, the human viewer 60 can view the outside world through the reflector 130.
  • the reflection unit 130 is provided along the first surface 11p.
  • a plurality of fine reflecting surfaces are arranged in parallel on the first surface 11 p to form the reflecting unit 130.
  • the first surface 11p may be a flat surface or a curved surface.
  • Each of the reflecting surfaces is, for example, a half mirror, and reflects at least a part of incident light.
  • Each of the reflection surfaces is inclined with respect to the first surface 11p, and a step is formed between the reflection surfaces.
  • the angle formed by the reflecting surface and the first surface 11p is determined by the positional relationship between the optical axis of the optical unit 120 and the assumed pupil 150. Thereby, for example, the reflection angle of light can be adjusted.
  • the reflection unit 130 has a Fresnel shape formed by a plurality of reflection surfaces and a plurality of steps.
  • the reflection unit 130 is not limited to such a half mirror.
  • a normal half mirror may be used, or another member capable of adjusting the reflection angle may be used.
  • an example is described in which a half mirror having the same reflectance and transmittance is applied, but the embodiment is not limited to the same ratio.
  • the material used for the reflecting surface may be any material as long as it is a material that transmits part of light and reflects part of light.
  • the image is displayed as a virtual image.
  • the reflection unit 130 may be separated from the pupil 150 and displayed as a real image.
  • an image 170 is displayed in front of the pupil 150.
  • an image may be displayed at the end of the field of view of the viewer 60 like the image 171. Thereby, the visual field of the viewer 60 is not obstructed.
  • the image display device 101 is a glasses-type image display device.
  • the holding unit 320 is, for example, a spectacle frame (a temple or a vine).
  • the image display apparatus 101 can be attached to the head of the viewer 60 by the holding unit 320.
  • the image display device 101 further includes a spectacle lens 160.
  • the holding unit 320 further includes a nose pad 321 and a bridge 322.
  • the bridge 322 connects one spectacle lens 160 and the other spectacle lens 160.
  • a rim of the spectacle lens 160 (a frame for holding the spectacle lens 160) or the like may be provided as necessary.
  • the embodiment may be configured such that left and right lenses are integrated.
  • the spectacle lens 160 (reflecting unit 130) is held by the holding unit 320.
  • the angle between the holding unit 320 and the spectacle lens 160 may be variable.
  • the relative arrangement of the nose pad 321 and the spectacle lens 160 is fixed.
  • the reflector 130 is included in the spectacle lens 160 (provided integrally with the spectacle lens 160). That is, a combiner-integrated spectacle lens 160 is used, and the relative positional relationship between the reflector 130 and the spectacle lens 160 is fixed.
  • the spectacle lens 160 has a first surface 161 and a second surface 162.
  • the second surface 162 is separated from the first surface 161.
  • the reflection unit 130 is provided between the first surface 161 and the second surface 162.
  • the position of the reflection part 130 is not limited to the above, For example, the structure which distribute
  • FIG. 1 a binocular head mounted display (HMD) using two image display devices 101 is illustrated.
  • One image display device displays an image for the right eye of the viewer 60, and the other display device displays an image for the left eye.
  • the embodiment may be a monocular HMD that uses one image display device 101 and displays an image for one eye.
  • one circuit unit 140 is provided for each image display apparatus 101. When two image display devices 101 are used, the circuit unit 140 may be integrated as much as possible.
  • the viewer 60 puts the nose pad 321 on the nose and puts one end 320e of the holding part 320 on the ear when the image display apparatus 101 is used.
  • the position of the holding unit 320 and the relative position of the spectacle lens 160 (and the reflecting unit 130) are defined according to the position of the nose and ear of the viewer 60.
  • the relative arrangement of the reflection unit 130 with respect to the holding unit 320 is substantially fixed.
  • the position of the pupil 150 with respect to the reflecting unit 130 moves with eye movement.
  • the relative arrangement of the display unit 110 and the optical unit 120 is fixed.
  • the relative arrangement of the display unit 110 and the optical unit 120 may be variable so as not to impair the function of projecting an image.
  • the display unit 110 and the optical unit 120 are attached with screws.
  • forms by adjusting the tightening degree of a screw may be sufficient.
  • the distance between the display unit 110 and the optical unit 120 the distance from the viewer 60 to the virtual image viewed can be changed. For example, an image that was seen 1 m ahead of the face can be moved 2 m away.
  • the position control unit 126 is fixed to the holding unit 320.
  • the relative arrangement of the projection unit 125 and the reflection unit 130 is variable by the position control unit 126.
  • the position control unit 126 rotates the projection unit 125 to change the position or orientation of the projection unit 125.
  • the emission direction of the image light emitted from the projection unit 125 is adjusted.
  • the position control unit 126 By adjusting the pupil so that the pupil falls within the eye range by the adjustment mechanism of the position control unit 126, the viewer 60 can see a screen that is not missing. Specific examples of the position control unit 126 (see FIGS. 17A to 21B) will be described later.
  • the extending direction of the holding part 320 is defined as the Y-axis direction.
  • One direction perpendicular to the Y-axis direction is taken as the X-axis direction.
  • a direction perpendicular to the X-axis direction and perpendicular to the Y-axis direction is taken as a Z-axis direction.
  • the X-axis direction corresponds to the left-right direction (lateral direction) of the viewer 60
  • the Y-axis direction corresponds to the front-rear direction of the viewer 60
  • the Z-axis direction corresponds to the up-down direction of the viewer 60.
  • the holding unit 320 has a side extending linearly in the Y-axis direction, but the embodiment includes a case where the shape of the holding unit 320 is gently curved.
  • the shape of the holding part 320 is appropriately changed in consideration of design and convenience in use.
  • FIG. 3 is a block diagram illustrating the adjustment unit of the image display apparatus according to the first embodiment.
  • FIG. 3 shows the adjustment unit 142 included in the circuit unit 140 of the image display apparatus 101.
  • the adjustment unit 142 performs processing for causing the viewer 60 to select a correction coefficient (correction table).
  • the storage unit 144 included in the adjustment unit 142 stores the selected correction coefficient.
  • the adjustment unit 142 outputs a correction coefficient to the correction unit 141.
  • the correction unit 141 acquires a target image (input image) that is a display target.
  • the correction unit 141 corrects the target image based on the correction coefficient output from the adjustment unit 142, and generates a corrected image.
  • the corrected image is an image for correcting a chipping or distortion in an image viewed by a viewer.
  • the correction unit 141 outputs the generated correction image to the display unit 110.
  • the display unit 110 displays the input corrected image and emits image light toward the optical unit 120.
  • the optical unit 120 emits correction light, in which the traveling direction of at least some of the light beams constituting the image light incident on the optical unit 120 is corrected, toward the reflection unit 130.
  • the reflection unit 130 reflects a part of the incident light, and the reflected light forms an image as an observation image when viewed from the pupil 150.
  • the display unit 110 displays the corrected image, thereby displaying an easy-to-see observation image in which optical distortion and chipping are suppressed. Details of the correction process will be described later.
  • FIG. 4 is a schematic view illustrating an image display device of a reference example.
  • the image display device 109 according to the reference example includes a reflection unit 130b and a projection unit 125b. A configuration similar to that of the reflection unit 130 can be applied to the reflection unit 130b, and a configuration similar to that of the projection unit 125 can be applied to the projection unit 125b.
  • the image display device 109 is different from the image display device 101 according to the embodiment in that the circuit unit 140 is not included. That is, the image display device 109 does not perform the correction process for the target image described above.
  • An image 170b (observation image) is formed by the light emitted from the projection unit 125b.
  • the optical design is made on the assumption that the pupil of the observer is located within a certain range.
  • FIG. 4 illustrates that there is a range of pupil positions where the observation image 170b can be observed. This range is called an eye range 180 and is an area having a diameter of about several millimeters.
  • the position of the reflection unit 130 with respect to the eye position is determined according to the arrangement of the ears, nose, and eyes of the viewer 60. For example, when the viewer 60 changes, the position of the reflection unit 130 with respect to the eye changes. For this reason, when the viewer 60 changes, the position of the image seen from the viewer 60 may change, and the image may not be displayed at an appropriate position.
  • the pupil 150 is in the eye range 180, the viewer can see the entire observation image 170b. However, when the pupil 150 is outside the eye range 180, the screen is missing.
  • the light including the image information emitted from the display unit travels to the pupil via an optical element such as a lens or a half mirror constituting the optical unit or the reflection unit 130b.
  • an optical element such as a lens or a half mirror constituting the optical unit or the reflection unit 130b.
  • Optical distortion is an aberration when light emitted from the display unit passes through an optical element.
  • the optical distortion is caused when the image of the light passing through the optical element loses similarity to the image of the light emitted from the display unit.
  • color breakup is an aberration caused by a difference in light wavelength.
  • the size of the image of light after passing through the optical element depends on the wavelength of the light. For example, as the wavelength is shorter, refraction by a lens or the like is likely to occur, and the eye range is likely to be narrowed.
  • the center position of the image depends on the wavelength of light and varies depending on the color.
  • FIG. 5A to FIG. 5D are schematic views illustrating an image display device of a reference example.
  • FIG. 5A shows how the light emitted from the projection unit 125b reaches the pupil 150a (position PA).
  • FIG. 5A shows how the light emitted from the projection unit 125c reaches the pupil 150b (position PB).
  • the difference between the projection unit 125b and the projection unit 125c is due to the difference in the arrangement (orientation) of the projection units.
  • the difference in pupil position is caused by individual differences among the viewers 60, for example.
  • FIG. 5B is an example of the image PI displayed on the display unit of the image display device 109.
  • the image PI includes a white square lattice image Pw. White is displayed by overlapping red, blue and green.
  • FIG. 5C is an example of a virtual image that can be seen from the pupil 150a (position PA) when the image PI is displayed on the display unit.
  • FIG. 5D is an example of a virtual image that can be seen from the pupil 150b (position PB) when the image PI is displayed on the display unit.
  • the shape of the displayed virtual image is distorted with respect to the shape of the image PI. This is due to the phenomenon caused by the above-described optical distortion and color breakup. Furthermore, due to color breakup, the size and position of the area Pb in which blue is displayed, the area Pg in which green is displayed, and the area Pr in which red is displayed are different from each other, and the displayable areas are different for each color. I can confirm. In FIG. 5C, a part of the leftmost virtual image is missing. This is a phenomenon that occurs when the position PB exists outside the eye range 180 of the image display device 109.
  • the circuit unit 140 performs processing for causing the viewer 60 to select a correction coefficient. Then, based on the selected correction coefficient, the observation image is displayed by the generated correction image. Thereby, it can adjust to the state which is easy to see a display for every viewer.
  • FIG. 6 is a schematic view illustrating image processing in the image display apparatus according to the first embodiment.
  • FIG. 6 illustrates processing for generating a corrected image by correcting the target image based on the correction coefficient.
  • the correction coefficient stores a correspondence relationship between each pixel of the corrected image and each pixel of the target image.
  • the correction unit 141 obtains the position of each pixel of the target image corresponding to the corrected image by referring to this correspondence relationship, and generates a corrected image.
  • the distortion is different for each color.
  • a corrected image is generated using three correction coefficients set for each color.
  • FIG. 7A to FIG. 7G are schematic views illustrating correction coefficients used in the image display apparatus according to the first embodiment.
  • a correction coefficient can be determined from the correspondence between each pixel of the observed image and each pixel of the corrected image.
  • the target image and the corrected image are images represented by three primary colors such as red, green, and blue, the pixel correspondence is stored for each color.
  • FIG. 7A shows an image Ra represented by the first color (in this example, red “R”) in the corrected image. This image is generated from the first color pixel of the target image, for example.
  • FIG. 7B shows an image Ga represented by the second color (green “G” in this example) in the corrected image. This image is generated from the second color pixel of the target image, for example.
  • FIG. 7C shows an image Ba represented by the third color (blue “B” in this example) in the corrected image. This image is generated from, for example, the third color pixel of the target image.
  • the observation image viewed by the viewer 60 includes a plurality of color images corresponding to a plurality of color components.
  • the observation image is a superposition of a first color image corresponding to the first color pixel, a second color image corresponding to the second color pixel, and a third color image corresponding to the third color pixel.
  • FIG. 7D shows a first color image Rb formed by red light including the information of the image Ra in FIG.
  • FIG. 7E shows a second color image Gb formed by green light including the information of the image Ga in FIG.
  • FIG. 7F shows a third color image Bb formed by blue light including the information of the image Ba in FIG.
  • the correspondence between the observed image and the corrected image differs for each color due to the effect of color breakup.
  • the areas where the first to third color images are displayed are different from each other.
  • color display is possible in a region where the first to third color images overlap each other, but color display cannot be performed in other regions. Therefore, the display areas of the three primary colors are integrated into areas capable of color display.
  • the inscribed rectangles Rc, Gc, and Bc of the reference position area of each color are obtained.
  • the product area of each inscribed rectangle is obtained.
  • the reference position of each color is normalized by the size of the product area.
  • a correction coefficient that can refer to a color displayable area (aspect ratio a: 1) is generated.
  • the aspect ratio a: 1 is stored in the correction coefficient.
  • the correction coefficient includes information related to the overlapping area Sa (product area) in the viewing image in which a plurality of color images (first to third color images) overlap each other.
  • the correction coefficient includes information on a ratio (a: 1) of the length along the horizontal direction of the overlapping region Sa and the length along the vertical direction of the overlapping region Sa.
  • the correction coefficient may include information on an area that can be displayed in a single color or two colors. That is, for example, the correction coefficient may further include information regarding the non-overlapping region Sb in the viewing image in which a plurality of color images (first color image and second color image) do not overlap each other.
  • information on a region Rd capable of displaying a single color may be stored in the correction coefficient separately from the region capable of displaying color.
  • the correction coefficient may include information on an area where a single color other than red can be displayed, or information on an area where a combination of two colors can be displayed.
  • the correction factor may include a curve expression parameter.
  • FIG. 8 is a flowchart illustrating the operation of the image display apparatus according to the first embodiment.
  • FIG. 8 shows a process in which the circuit unit 140 (control unit 14) causes the viewer 60 to select a correction coefficient.
  • the circuit unit 140 executes the first process (steps S ⁇ b> 130, S ⁇ b> 140, and S ⁇ b> 150) when the image display apparatus 101 is activated or when a predetermined input is input to the image display apparatus 101.
  • step S130 the adjustment unit 142 generates a display image based on the first pattern (first test pattern) based on the correction coefficient.
  • the generated image is output as image data from the processing unit 143 to the display unit 110, for example, as shown in FIG.
  • the first pattern, the display image, and the like will be described later (see FIGS. 9A to 9C).
  • the circuit unit 140 (the storage unit 144 of the adjustment unit 142) stores a plurality of correction coefficients (for example, the first correction coefficient (first correction information C1) and the second correction coefficient (second correction information C2)) in advance. is doing.
  • the number of correction coefficients may be an arbitrary number of 2 or more.
  • An appropriate correction coefficient varies depending on the pupil position of the viewer 60 and the arrangement of the projection unit. Therefore, each of the plurality of correction coefficients stored in the storage unit 144 may be determined according to the positional relationship between the projection unit 125 and the reflection unit 130. Alternatively, each of the plurality of correction coefficients stored in the storage unit 144 may be determined corresponding to the positional relationship between the pupil of the viewer 60 and the projection unit 125.
  • Each of the plurality of correction coefficients may be determined for each individual image display device 101 in consideration of individual differences (manufacturing variation and the like) among the image display devices 101.
  • the storage unit 144 may store one reference correction coefficient calculated from a plurality of correction coefficients.
  • the adjustment unit 142 selects one of a plurality of correction coefficients stored in the storage unit 144, and generates a display image (correction image) based on the selected correction coefficient.
  • the selected correction coefficient may be the first or last correction coefficient in the registration order, or a predetermined correction coefficient serving as a reference.
  • Information on the position of the projection unit 125 or information on the pupil position of the viewer may be acquired as a reference for selecting one of the stored correction coefficients.
  • the position control unit 126 includes a mechanical mechanism that adjusts the position of the projection unit 125 step by step, and a scale that indicates the position of the projection unit 125 is provided
  • the position control unit 126 corresponds to the value of the scale.
  • Information is input to the circuit unit 140 by the viewer 60.
  • the correction factor may be selected based on this information.
  • the position control unit 126 may detect the position of the projection unit 125.
  • An arbitrary sensor such as a camera or a potentiometer can be used to detect the position of the projection unit 125.
  • a correction coefficient may be selected based on the detected position information.
  • the image display apparatus 101 further includes a detection unit 182 (see FIG. 1) that detects the pupil position.
  • the detection unit 182 is provided in the holding unit 320, for example.
  • the detection unit 182 can be any sensor such as an infrared sensor or a visible camera.
  • the pupil position can be measured (estimated) based on information such as an image obtained from the sensor.
  • An electrooculogram or the like may be used for measuring the pupil position. For example, a change in electrooculogram when light enters the pupil 150 is measured. Information on the pupil position can be obtained based on the incident direction of light and changes in electrooculogram.
  • FIG. For example, in a glasses-type display device, the relative arrangement of the reflection unit 130 and the optical unit 120 changes according to the arrangement of the viewer's 60 ears, nose, eyes, and the like. For this reason, it is also possible to estimate the pupil position of the human viewer 60 to some extent based on information on the relative arrangement of the optical unit 120 and the reflecting unit 130.
  • step S ⁇ b> 130 when step S ⁇ b> 130 is executed for the first time, the adjustment unit 142 corrects the first image (first input image data Pm ⁇ b> 1) including the first pattern on the basis of the first correction coefficient to correct the first display image (first image). 1 corrected image data Cm1) is generated.
  • the first correction coefficient is a correction coefficient calculated from one of a plurality of correction coefficients stored in the storage unit 144 or a plurality of correction coefficients stored in the storage unit 144.
  • the circuit unit 140 causes the light including the image information of the generated first display image (light Ld1) to be emitted from the projection unit 125 as image light.
  • the adjustment unit 142 sends the corrected image data (first corrected image data Cm1) obtained by correcting the test input image data (first input image data Pm1) to the projection unit 125.
  • the projection unit 125 emits first light (light Ld1) based on the first corrected image data Cm1.
  • the first display image (first corrected image data Cm1) is displayed to the viewer 60.
  • the first image before correction may be stored in the storage unit 144 or the like, or may be input from the outside.
  • the viewer 60 can input a signal for selecting the first correction coefficient (first display image) to the circuit unit 140 based on the displayed image.
  • the circuit unit 140 receives selection of a correction coefficient from the viewer 60.
  • the circuit unit 140 receives the signal Sig1 that employs the first correction information indicating the relationship between the first input image data and the first corrected image data, for example.
  • step S160 is executed.
  • step S140 when the circuit unit 140 does not receive a signal for selecting the first correction coefficient, step S150 is executed.
  • the viewer 60 inputs information regarding whether or not to select the correction coefficient (for example, a code indicating the end of step S140) to the image display apparatus 101.
  • information regarding whether or not to select the correction coefficient for example, a code indicating the end of step S140
  • software is installed in a computer or a portable terminal, and information is input from the viewer 60 to the circuit unit 140 via the computer or the portable terminal.
  • step S150 the circuit unit 140 switches the correction coefficient currently used to another correction coefficient. Then, using the changed correction coefficient, the circuit unit 140 executes Step S130 again.
  • the circuit unit 140 As a method for the circuit unit 140 to switch the correction coefficient, there is a method in which the viewer 60 inputs information instructing switching of the correction coefficient to the image display device.
  • software application
  • information is input from the viewer 60 to the circuit unit 140 via the computer or the portable terminal.
  • the information obtained in the first step S130 may be used for switching the correction coefficient in step S150.
  • the correction coefficient selected or generated in step S150 is used.
  • correction coefficient used for generating the display image
  • a correction according to the arrangement of the projection unit
  • b correction according to the pupil position
  • c individual image display device
  • a correction coefficient corresponding to the arrangement of the projection unit 125 is generated from a plurality of correction coefficients stored in the storage unit 144 by a linear interpolation method such as bilinear interpolation.
  • a uniaxial bar or the like is displayed, and the viewer 60 inputs an input value indicating the position of the projection unit 125 to the image display device.
  • the adjustment unit 142 generates a correction coefficient by a linear interpolation method according to the input value.
  • the viewer 60 may input information indicating the rotation position of the projection unit 125 to the image display device.
  • a plurality of correction coefficients stored in the storage unit 144 may be sequentially switched.
  • “b: calculation of correction coefficient according to pupil position” can be performed.
  • the correction coefficient can be switched by the same processing as in the case of “a: correction according to the arrangement of the projection unit”.
  • “c: correction according to individual difference of image display device” is performed. In this case, the plurality of correction coefficients stored in the storage unit 144 are switched in order.
  • step S150 the circuit unit 140 switches the first correction coefficient to the second correction coefficient.
  • the second correction coefficient is a correction coefficient calculated from one of a plurality of correction coefficients stored in the storage unit 144 or a plurality of correction coefficients stored in the storage unit 144.
  • the circuit unit 140 corrects the first image (first input image data Pm1) based on the second correction coefficient to generate a second display image (third corrected image data Cm3). To do.
  • the circuit unit 140 causes the light (light Ld2) including the image information of the generated second display image to be emitted from the projection unit 125 as image light.
  • the adjustment unit 142 sends corrected image data (third corrected image data Cm3) obtained by correcting the test input image data (first input image data Pm1) to the projection unit 125.
  • the projection unit 125 emits third light (light Ld2) based on the third corrected image data Cm3.
  • the third corrected image data Cm3 is different from the first corrected image data Cm1.
  • the second display image (third corrected image data Cm3) is displayed to the viewer 60.
  • the viewer 60 can input a signal for selecting the second correction coefficient (second display image) to the circuit unit 140 based on the displayed image. That is, for example, the circuit unit 140 can receive the signal Sig2 that employs the second correction information C2 indicating the relationship between the first input image data Pm1 and the third correction image data Cm3.
  • steps S130 to S150 are repeated to cause the viewer 60 to select any display image (correction coefficient).
  • the viewer 60 selects a display image in which distortion and the like are appropriately corrected.
  • the circuit unit 140 stores first information regarding the relationship between any selected display image and the first image before correction.
  • the first information includes, for example, a correction coefficient used for generating the selected display image.
  • the storage unit 144 stores the first information. For example, when the first display image is selected, the storage unit 144 stores the first correction coefficient.
  • the viewer 60 can easily adjust the display so that the display is easy to see. Thereafter, when the image display apparatus 101 performs display, the correction unit 141 generates a corrected image in which the target image (input data) is corrected based on the first information (selected correction coefficient), and the projection unit 125. Then, light including image information of the corrected image is emitted.
  • the viewer 60 selects the first display image, and the circuit unit 140 employs the first correction information C1 indicating the relationship between the first input image data Pm1 and the first corrected image data Cm1.
  • the image display apparatus 101 performs display based on the first correction information C1.
  • the circuit unit 140 sends the corrected image data (second corrected image data Cm2) obtained by correcting the input data (second input image data Pm2) to the projection unit 125 based on the first correction information C1.
  • the projection unit 125 emits second light (light Ld3) based on the second corrected image data.
  • FIG. 9A to FIG. 9C are schematic views illustrating the first pattern used for the processing of the image display apparatus according to the first embodiment.
  • FIG. 9A shows an image (first image M1) including the first pattern P1.
  • the first image M1 includes a plurality of pixels.
  • the pixels included in the first image M1 include two or more color components.
  • the first pattern P1 includes a first element r1 and a second element r2.
  • the first element r1 and the second element r2 are substantially rectangular images (designs) extending in the first direction D1 in the first image M1, respectively. That is, the length of the first element r1 along the first direction D1 is longer than the length of the first element r1 along the second direction D2 perpendicular to the first direction D1.
  • the first element r1 is located on the left side (for example, the left end) of the first image M1. In other words, in the first image M1 shown in FIG. 9A, the distance between the first side e1 and the first element r1 is larger than the distance between the second side e2 and the first element r1. short.
  • the first side e1 and the second side e2 are sides of the first image M1 that are separated from each other in the second direction D2.
  • the second element r2 is located on the right side (for example, the right end) of the first image M1. In other words, in the first image M1, the distance between the second side e2 and the second element r2 is shorter than the distance between the first side e1 and the second element r2.
  • the color of the first element r1 and the color of the second element r2 are each represented by two or more primary colors among the primary colors used in the display unit 110. For example, when three colors of red, green, and blue are used for the display unit 110, the color of each rectangle can be magenta in which red and blue are combined (overlapped).
  • the primary color used in the display unit 110 is the color of light emitted from the sub-pixels included in the pixel 110e of the display unit 110.
  • each of the pixels 110e includes a first sub-pixel that emits light of a first color (eg, red), a second sub-pixel that emits light of a second color (eg, green), and a third color (eg, blue).
  • a color image is displayed by superimposing the three colors of light.
  • FIG. 9B shows a display image (first display image MD1) generated from the first image M1 using the first correction coefficient.
  • FIG. 9C shows a display image (second display image MD2) generated from the first image M1 using the second correction coefficient.
  • the first display image MD1 (first corrected image data) includes a first image s1 in which the first element r1 is corrected.
  • the second display image MD2 (third corrected image data) includes a second image s2 in which the first element r1 is corrected.
  • the correction coefficient has a component corresponding to each color.
  • the circuit unit 140 converts the coordinates of each pixel included in the first image M1 for each color component, and generates a first display image MD1 and a second display image MD2. Therefore, the first image s1 includes a first color image s3 (third image) based on the first pattern P1 and a second color image s4 (fourth image) based on the first pattern P1.
  • the second image s2 includes a first color image s5 (fifth image) based on the first pattern P1 and a second color image s6 (sixth image) based on the first pattern P1.
  • the image s3, the image s4, the image s5, and the image s6 are images in which the first element r1 is corrected.
  • the color breakup and distortion in the observation image differ depending on the pupil position of the viewer 60 and the arrangement of the projection unit 125.
  • the correction result differs depending on the correction coefficient. That is, for example, the shape of the image s1 shown in FIG. 9B is different from the shape of the image s2 shown in FIG.
  • the width of the image s1 along the second direction D2 is different from the width of the image s2 along the second direction D2.
  • the positional relationship (for example, the interval or overlap) between the image s3 and the image s4 in the first display image MD1 is different from the positional relationship between the image s5 and the image s6 in the second display image MD2.
  • the circuit unit 140 corrects the input image for each color component. That is, for example, the first correction information C1 (first correction coefficient) includes the first color correction information Ca for correcting the first color component and the second color correction information Cb for correcting the second color component. Including.
  • the first color correction information Ca is different from the second color correction information Cb.
  • the first image M1 is an overlay of the first color image and the second color image. That is, the first input image data Pm1 representing the first image M1 includes the first color input image data Pc1 representing the first color image and the second color input image data Pc2 representing the second color image. .
  • the first corrected image data Cm1 representing the first display image MD1 includes first color corrected image data Cc1 related to the first color and second color corrected image data Cc2 related to the second color.
  • the first color corrected image data is data obtained by correcting the first color input image data by the first color correction information
  • the second color corrected image data is corrected by the second color correction information by the second color input image data.
  • the first color correction information Ca indicates the relationship between the first color input image data Pc1 and the first color correction image data Cc1
  • the second color correction information Cb indicates the second color input image data Pc2 and the second color input image data Pc2. The relationship with the color correction image data Cc2 is shown.
  • the image display apparatus 101 displays a plurality of display images (first and second display images MD1, MD2, etc.) corresponding to different color breakups. Thereby, the process which makes the viewer 60 select a correction coefficient is performed. Thereby, the human viewer 60 can easily adjust the display so that the display is easy to see.
  • a method of suppressing color breakup and distortion by adjusting the optical design of the reflection unit 130 and the optical unit 120 is also conceivable.
  • the degree of freedom in optical design is likely to be limited. For this reason, an easy-to-see display may not be obtained only by adjusting the optical design.
  • the viewer 60 selects a correction coefficient and generates a corrected image using the selected correction coefficient. Thereby, the viewer 60 can obtain a display that is easy to see.
  • the left side distortion and the right side distortion may be different in the observed image viewed by the viewer 60.
  • the first pattern P1 shown in FIG. 9A includes a first element r1 arranged on the left side of the image and a second element r2 arranged on the right side of the image.
  • the distortion at the end of the observation image tends to be larger than the distortion at the center of the observation image. For this reason, it is desirable that the first element r1 and the second element r2 are close to the end of the first image M1. That is, the distance between the first element r1 and the side e1 is shorter than the distance between the first element r1 and the center c1. Further, the distance between the second element r2 and the side e2 is shorter than the distance between the second element r2 and the center c1. Thereby, it is possible to easily adjust the display.
  • the first pattern (the first direction D1 in which the rectangle extends and the second direction D2 in which the two rectangles are arranged) is preferably determined based on the relative arrangement of the projection unit 125 and the reflection unit 130. For example, as shown in FIG. 1, when the image light travels along the XY plane, in the virtual image (observed image) displayed to the viewer 60, rather than distortion in the vertical direction (Z-axis direction), The distortion in the horizontal direction (X-axis direction) is larger. For this reason, the first pattern is determined so that the distortion in the horizontal direction can be easily recognized.
  • FIG. 10A and FIG. 10B are schematic views illustrating another image display device according to the first embodiment.
  • the image display device 101a illustrated in FIG. 10A includes a projection unit 125a and a reflection unit 130a.
  • the projection unit 125 a is located above the pupil 150 of the viewer 60.
  • the projection unit 125a emits image light from above the pupil 150 to the reflection unit 130a.
  • the image light travels in the incident direction DL1 and enters the reflecting portion 130a.
  • the reflection unit 130a reflects the image light, and the reflected image light travels in the reflection direction DL2 and enters the pupil 150.
  • the same description as the image display device 101 described with reference to FIG. 1 can be applied to the image display device 101a.
  • the plane including the incident direction DL1 and the reflection direction DL2 is a ZY plane.
  • the distortion in the vertical direction is larger than the distortion in the horizontal direction.
  • the first pattern as shown in FIG. 10B is used in selecting the correction coefficient used for correcting the distortion.
  • the first direction D1 in which the first element r1 extends corresponds to the horizontal direction (X-axis direction), and the first direction from the first element r1 toward the second element r2.
  • the two directions D2 correspond to the vertical direction (Z-axis direction).
  • the first direction D1 on the virtual image is perpendicular to the plane including the incident direction and the reflection direction of the image light (the central ray of the light beam) at the reflection unit 130. It is desirable that the direction be
  • the second direction D2 on the virtual image when viewed from the viewer 60 is preferably a direction parallel to a plane including the incident direction and the reflection direction of the image light reflection unit 130. Thereby, it is possible to make it easy to confirm distortion and color breakup, and to facilitate adjustment of display.
  • the first pattern shown in FIGS. 9A and 10B is shown as an example, and may not necessarily match the actual test pattern.
  • the width and height of the rectangle are arbitrary. Two or more rectangles may be included in the first pattern.
  • the background need not be white, and may be black or other colors. Adjustment text may be included in the image.
  • FIG. 11 is a flowchart illustrating the operation of the image display apparatus according to the second embodiment. Similar to the image display apparatus 101 according to the first embodiment, the image display apparatus according to the second embodiment includes a control unit 14 (circuit unit 140), a projection unit 125, a reflection unit 130, and the like. The second embodiment is different from the first embodiment regarding the processing in the circuit unit 140. Other than this, the same description as in the first embodiment can be applied to the second embodiment.
  • FIG. 11 shows a process in which the circuit unit 140 causes the viewer 60 to select a correction coefficient.
  • the circuit unit 140 performs the second process (steps S110 and S120) before the first process (steps S130, S140, and S150).
  • steps S130, S140, and S150 are the same as those described in the first embodiment.
  • terms such as “first” and “second” do not indicate the order of processing in the image display device unless otherwise specified.
  • the third input image data Pm3 including information on the second pattern (second test pattern) is input to the circuit unit 140.
  • the circuit unit 140 causes the optical unit 120 to emit light Ld4 including the image information n1 of the display image (third display image MD3) based on the third input image data.
  • the third display image MD3 is used for this light, the relative arrangement of the optical unit 120 and the reflection unit 130, the relative arrangement of the optical unit 120 and the eyes of the viewer 60, and the reflection unit.
  • 130 includes information n2 of an instruction image instructing the viewer to change at least one of the relative positions of 130 and the eyes of the viewer 60. For example, an instruction is given to the viewer by a sentence or an illustration.
  • FIG. 12A is a schematic diagram illustrating the third display image MD3 including the second pattern P2.
  • the second pattern P2 is an image indicating at least a part of the outer periphery (outermost periphery) of the third display image MD3.
  • the second pattern P2 has a rectangular shape (frame shape) surrounding the center of the third display image MD3 and along the outer periphery of the third display image MD3.
  • the color of the second pattern P2 is one of the primary colors used for the display unit 110.
  • the color of the second pattern P2 is any one of red, green, and blue, which is green in this example.
  • the second pattern P2 may be a pattern showing the four corners of the third display image MD3 as shown in FIGS. 12 (b) and 12 (c). As a pattern indicating each of the four corners, four circles arranged at the four corners are used. In FIG. 12B, the color of the second pattern P2 is, for example, green. In FIG. 12C, the color of the second pattern P2 is not a primary color, and the gradation changes continuously according to the distance from the center of each circle.
  • the second pattern P2 shown in FIGS. 12A to 12C is shown as an example, and may not necessarily match the actual test pattern.
  • the width of the outer frame may be an arbitrary size, and the color of the second pattern P2 may be black instead of the primary color.
  • the radius of the circle may be an arbitrary size, and the shape of the symbol indicating the four corners may be an arbitrary shape instead of a circle.
  • the background does not have to be white, black or other colors may be used, and adjustment text may be included in the image.
  • a reference correction coefficient may be prepared, and a third display image may be generated and displayed as a corrected image of the second pattern based on the correction coefficient.
  • step S120 the circuit unit 140 detects the end of step S110.
  • the circuit unit 140 executes the process of step S130.
  • the circuit unit 140 inputs information indicating the end of step S110 (for example, a code indicating the end of step S110) to the image display device.
  • information indicating the end of step S110 for example, a code indicating the end of step S110
  • software is installed in a computer or a portable terminal, and information is input from the viewer 60 to the circuit unit 140 via the computer or the portable terminal.
  • the projection direction 125 can be rotated by the position control unit 126 to adjust the emission direction of the image light.
  • the viewer 60 is caused to adjust the rotation angle of the projection unit 125 in step S110.
  • the position control unit 126 may be a mechanical mechanism that adjusts the position of the projection unit 125 in stages.
  • a scale such as a dial indicating position information may be provided, and a mechanism that adjusts the position of the projection unit 125 in stages may be used.
  • the method of adjusting the screen defect by the viewer 60 may be any method that can adjust the relative arrangement of the pupil position of the viewer 60 with respect to the reflecting unit 130, and does not necessarily use the rotation of the projection unit 125. Good.
  • a method of replacing the nose pads 321 having different shapes may be used.
  • the positional relationship between the projection unit 125 and the pupil 150 changes according to individual differences such as the shape of the head of the viewer 60. For this reason, when the user of the image display apparatus changes, the screen may be missing.
  • chipping can be suppressed by adjusting the position of the projection unit 125 by executing step S110.
  • step S110 is preferably performed before the first process (steps S130 to S150). Thereby, the human viewer 60 can easily adjust the display so that the display is easy to see.
  • the influence of color breakup can be suppressed by using the color of the second pattern P2 as a primary color. This makes it easy to adjust screen defects.
  • the third display image MD3 is an image corrected by the correction coefficient, the influence of color breakup and distortion can be suppressed. This makes it easier to adjust screen defects.
  • FIG. 13 is a block diagram illustrating an image display apparatus according to the third embodiment. Similar to the image display device 101 according to the first embodiment, the image display device 102 according to the present embodiment includes a display unit 110, an optical unit 120, a reflection unit 130, and the like. These are the same as those in the first embodiment and the second embodiment. The third embodiment differs from the first embodiment or the second embodiment in the processing of the circuit unit 140.
  • user information (viewer information indicating the viewer 60, such as a user ID) is input to the circuit unit 140 from the outside.
  • the user information is unique information associated with the correction coefficient, and is input to the image display device 102 by the user (viewer 60), for example.
  • software application
  • the circuit unit 140 outputs display image (corrected image) data from the target image and the input user information.
  • FIG. 14 is a block diagram illustrating an adjustment unit according to the third embodiment.
  • the adjustment unit 142 according to the present embodiment includes a processing unit 143 and a storage unit 144.
  • the storage unit 144 has the same function as that described in the block diagram of the first embodiment.
  • the storage unit 144 can further store user information.
  • the storage unit 144 stores the first information (the correction coefficient selected by the user in steps S130 to S150 described above) and the user information of the user in association with each other.
  • the adjustment unit 142 outputs a correction coefficient to the correction unit 141 based on the user information.
  • step S170 the processing unit 143 acquires user information input from the outside by the user.
  • step S180 the processing unit 143 determines whether or not the acquired user information matches the user information registered in advance. That is, the processing unit 143 performs the process B when the user information input in step S170 matches the user information already stored in the storage unit 144, and executes the process A when the user information does not match. .
  • FIG. 16 illustrates processing A and processing B. As shown in FIG. 16, the process A includes steps S110, S120, S130, S140, and S150. These are the same as the steps described in the first and second embodiments. Process A further includes step S161.
  • step S140 the processing unit 143 receives a signal for selecting a correction coefficient. Thereafter, step S161 is executed.
  • step S161 the storage unit 144 stores the user information input in step S170 and the first information (the correction coefficient used for generating the selected display image) in association with each other.
  • Process B includes steps S190, S200, S210, and S140.
  • step S190 the processing unit 143 reads from the storage unit 144 first information (correction coefficient) associated with the user information input in step S170.
  • step S200 the processing unit 143 generates a corrected image (fourth display image) based on the first information.
  • the fourth display image includes a third test pattern.
  • the third test pattern has the same characteristics as the second pattern P2 described with reference to FIGS. 12 (a) to 12 (c).
  • the third test pattern may include an image based on the first pattern P1, similarly to the display image shown in FIG. 9B or the like. That is, the fourth display image includes at least one of an image indicating the outer periphery of the fourth display image and an image based on the first pattern P1.
  • step S210 the processing unit 143 causes the projection unit 125 to emit light including image information of the fourth display image MD4.
  • the viewer 60 can suppress the lack of the screen by changing the position of the projection unit 125 while viewing the virtual image of the fourth display image.
  • the correction coefficient (first information) used for the generation of the fourth display image is selected so that the color breakup and distortion are suppressed in the state where the screen defect is avoided by the process A. For this reason, if the projection unit 125 is changed to an appropriate position, it is possible to obtain an easy-to-see display in which screen defects, color breakup, and distortion are suppressed.
  • the viewer 60 selects a correction coefficient again by a method similar to the description regarding steps S130, S140, and S150 described above.
  • the processing unit 143 receives a signal for selecting a correction coefficient in step S140, the process B ends.
  • the viewer 60 selects the correction coefficient again.
  • the selection of the correction coefficient again is a fine adjustment of the correction coefficient.
  • the number of adjustment steps can be reduced as compared with process A. As described above, the viewer 60 can adjust the display to a state in which the display can be easily seen.
  • the storage unit 144 stores user information associated with the first correction information (first correction coefficient).
  • the processing unit 143 performs the process B as a result of the determination in step S180.
  • the processing unit 143 reads the first correction information.
  • the processing unit 143 generates second corrected image data from the input image (second input image data) using the first correction information. That is, in this example, the second corrected image data is data representing the above-described fourth display image MD4.
  • the processing unit 143 causes the projection unit 125 to emit the second light including information on the second corrected image data. Using the image (virtual image) displayed in this way, the viewer 60 can adjust the display.
  • FIGS. 2, 3, 13 and 14 are shown as examples and do not necessarily match the actual modules. There is a case.
  • a part of each block may be provided separately from the image display device.
  • a part of the circuit unit 140 (such as the storage unit 144) may be provided separately from other parts of the circuit unit 140, and may be connected to other parts by wire or wireless.
  • FIGS. 21 (a) and 21 (b) An example of the position control unit 126 used in the image display devices according to the first to third embodiments will be described with reference to FIGS. 21 (a) and 21 (b).
  • FIG. 17A and FIG. 17B are schematic views illustrating the image display device according to the embodiment. 17A and 17B, a position control unit 126a is used as an example of the position control unit 126.
  • the distance between the projection unit 125 and the reflection unit 130 is variable by the position control unit 126a.
  • the distance is variable along the optical axis of the optical unit 120.
  • the long hole 31 is provided in the position control unit 126a along the optical axis of the optical unit 120.
  • the projection unit 125 is provided with a movable shaft 51.
  • the movable shaft 51 is fixed to the projection unit 125.
  • the movable shaft 51 can pass through the long hole 31 and slide in the long hole 31. Thereby, the position of the projection unit 125 can be adjusted.
  • 17A shows a state where the distance between the projection unit 125 and the reflection unit 130 is long
  • FIG. 17B shows a state where the distance between the projection unit 125 and the reflection unit 130 is short. Yes.
  • 17A and 17B show an optical path of light L2 emitted from one end of the projection unit 125 and an optical path of light L3 emitted from another end of the projection unit 125.
  • the light L ⁇ b> 3 is reflected by the reflecting unit 130 and enters the pupil 150.
  • a part of the light L ⁇ b> 2 reflected by the reflecting unit 130 does not enter the pupil 150. For this reason, the human viewer 60 cannot see the right end of the image, for example.
  • the distance between the reflection unit 130 and the projection unit 125 is shortened. Thereby, the spread of the light L2 in the reflecting portion 130 is suppressed. Since the light emitted from the end of the projection unit enters the pupil, a correct virtual image can be seen.
  • FIG. 18A and FIG. 18B are schematic views illustrating the image display device according to the embodiment.
  • a position control unit 126b is used as an example of the position control unit 126.
  • the relative arrangement between the projection unit 125 and the reflection unit 130 is variable by the position control unit 126b.
  • the reflection unit 130 is provided along the first surface 11p.
  • the arrangement of the projection unit 125 is variable.
  • the direction Dx is parallel to a plane including the incident direction (for example, DL1) and the reflection direction (DL2) of the light emitted from the projection unit 125 (display unit 110) in the reflection unit 130.
  • the direction Dx is parallel to the X-axis direction.
  • the relative arrangement of the projection unit 125 and the reflection unit 130 is variable.
  • the position controller 126b is provided with a long hole 32 along the X-axis direction.
  • the movable shaft 52 fixed to the projection unit 125 can pass through the long hole 32 and slide in the long hole 32. Thereby, the position of the projection part 125 can be adjusted in the left-right direction of the human viewer 60.
  • FIG. 18A shows a state in which the projection unit 125 is arranged on the right side
  • FIG. 18B shows a state in which the projection unit 125 is arranged on the left side.
  • the distance between the projection unit 125 and the holding unit 320 in FIG. 18A is shorter than the distance between the projection unit 125 and the holding unit 320 in FIG.
  • the projection unit 125 As shown in FIG. 18A, in this example, a part of the light L2 emitted from the projection unit 125 is not incident on the pupil 150. For this reason, the viewer 60 cannot see the right end of the image, for example. On the other hand, the projection unit 125 is moved to the left as shown in FIG. Thereby, the light L2 enters the pupil 150. Since the light emitted from the end of the projection unit enters the pupil, a correct virtual image can be seen. As the projection unit 125 moves in the left-right direction, the image viewed from the viewer 60 also moves in the left-right direction.
  • FIG. 19A and FIG. 19B are schematic views illustrating the image display device according to the embodiment.
  • FIG. 19A and FIG. 19B are side views of the viewer 60 viewed from the lateral direction.
  • a position control unit 126c is used as an example of the position control unit 126.
  • the relative positions of the projection unit 125 and the reflection unit 130 can be changed by the position control unit 126c.
  • the reflection unit 130 is provided along the first surface 11p.
  • the arrangement of the projection unit 125 is variable in the direction Dz along the first surface 11p.
  • the direction Dz is a direction perpendicular to the first direction Dx described in FIG.
  • the direction Dz is parallel to the Z-axis direction.
  • the relative arrangement of the projection unit 125 and the reflection unit 130 is variable.
  • the position control unit 126c is provided with a long hole 33 along the Z-axis direction.
  • the movable shaft 53 fixed to the projection unit 125 can pass through the long hole 33 and slide in the long hole 33. Thereby, the position of the projection part 125 can be adjusted in the up-down direction of the human viewer 60.
  • FIG. 19A shows a state where the projection unit 125 is arranged on the lower side
  • FIG. 19B shows a state where the projection unit 125 is arranged on the upper side.
  • part of the light L ⁇ b> 2 emitted from the projection unit 125 is not incident on the pupil 150. For this reason, the viewer 60 cannot see the lower end of the image, for example.
  • the projection unit 125 is moved upward. Thereby, the light L2 enters the pupil 150. Since the light emitted from the end of the projection unit enters the pupil, a correct virtual image can be seen.
  • the projection unit 125 moves in the vertical direction, the image viewed from the viewer 60 also moves in the vertical direction.
  • FIG. 20A and FIG. 20B are schematic views illustrating the image display device according to the embodiment. 20A and 20B, a position control unit 126d is used as an example of the position control unit 126.
  • the relative arrangement of the projection unit 125 and the reflection unit 130 is variable by the position control unit 126d.
  • the optical unit 120 has an optical axis 120a.
  • the angle between the optical axis 120a and the first surface 11p is variable by the position controller 126d.
  • the incident direction DLa of the image light L1 including the image information in the reflection unit 130 is variable by the position control unit 126d.
  • the position control unit 126d includes a rotation shaft unit 54.
  • the projection unit 125 is held by the rotation shaft unit 54.
  • the projection unit 125 can be rotated around the rotation shaft unit 54.
  • the projection unit 125 can be rotated in the XY plane.
  • FIG. 20A shows a state where the incident angle of the image light L1 to the reflecting portion 130 is large
  • FIG. 20B shows a state where the incident angle of the image light L1 to the reflecting portion 130 is small.
  • the projection unit 125 by rotating the projection unit 125, the incident direction DLa and the reflection direction DLb of the image light L1 in the reflection unit 130 can be adjusted. Thereby, the direction in which an image can be seen can be adjusted.
  • FIG. 21A and FIG. 21B are schematic views illustrating the image display device according to the embodiment.
  • the incident direction DLa of the image light L1 including the image information in the reflecting unit 130 is variable by the position control unit 126d.
  • the projection part 125 is provided with an attachment part 55.
  • the attachment portion 55 has a shape of a part of a sphere.
  • An opening 35 is provided in the position controller 126d.
  • the opening 35 covers at least a part of the attachment portion 55.
  • the attachment portion 55 is held by the position control portion 126d, and the attachment portion 55 can be rotated in the opening 35.
  • the projection part 125 can be rotated in the up-down direction and the left-right direction, and the direction in which an image can be seen can be adjusted.
  • the position control unit 126 changes the arrangement of the projection unit 125. Thereby, for example, the degree of freedom is increased in adjusting the relative arrangement of the reflection unit 130 and the projection unit 125.
  • the mechanism of the position control unit 126 described above is an example, and the embodiment includes any form that can similarly adjust the position of the projection unit. Furthermore, a plurality of mechanisms of the position control unit 126 described above may be combined.
  • the position control unit 126e shown in FIG. 21B is an example in which a rotation mechanism in the XY plane and a position adjustment mechanism in the left-right direction are combined.
  • the mechanism and the number of mechanisms used for the combination are arbitrary. Thereby, the projection part 125 can be arrange
  • FIG. 22 illustrates an example of a system configuration of the image display apparatus according to the embodiment.
  • the circuit unit 140 includes, for example, an interface 42, a processing circuit (processor) 43, and a memory 44.
  • the circuit unit 140 is connected to an external storage medium or network via the interface 42, and acquires a target image (input image).
  • a target image input image
  • either a wired or wireless method may be used.
  • User information and information input by the viewer 60 in steps S120, S140, and S150 may be input to the circuit unit 140 via the interface 42.
  • the memory 44 stores, for example, a program 45 for processing the acquired target image.
  • the target image is appropriately corrected based on the program 45, and accordingly, appropriate display is performed on the display unit 110.
  • the program 45 may be provided in a state stored in the memory 44 in advance, or may be provided via a storage medium such as a CD-ROM or a network, and may be installed as appropriate.
  • Image information may be held in the memory 44.
  • information such as the first image M1, the first pattern P1, and the second pattern P2 may be stored in the memory 44.
  • a part of the memory 44 corresponds to the storage unit 144 that stores a plurality of correction coefficients.
  • the circuit unit 140 may include a sensor 46.
  • a sensor 46 for example, an arbitrary sensor such as a camera, a microphone, a position sensor, or an acceleration sensor can be used.
  • the image displayed on the display unit 110 is appropriately changed based on information obtained from the sensor 46. Thereby, the convenience and visibility of the image display device can be improved.
  • Position information regarding the relative arrangement of the projection unit 125 and the reflection unit 130 may be detected by the sensor 46.
  • processing circuit 43 information obtained from the sensor 46, image information, and the like are processed based on the program 45.
  • the image information obtained in this way is input from the circuit unit 140 to the display unit 110 and displayed on the image display device.
  • a part of the processing circuit 43 corresponds to the correction unit 141 and the processing unit 143, and the processing in the adjustment unit 142 and the correction unit 141 is performed in the processing circuit 43 based on the program 45.
  • FIG. 22 is an example of the image display apparatus according to the embodiment, and may not necessarily match an actual module.
  • An integrated circuit such as an LSI (Large Scale Integration) or an IC (Integrated Circuit) chip set can be used for some or all of the blocks of the circuit unit 140.
  • An individual circuit may be used for each block, or a circuit in which part or all of the blocks are integrated may be used.
  • Each block may be provided integrally, or a part of the blocks may be provided separately. In addition, a part of each block may be provided separately.
  • the integration is not limited to LSI, and a dedicated circuit or a general-purpose processor may be used.
  • FIG. 23A to FIG. 23C are schematic views illustrating test patterns used for processing of the image display apparatus according to the fourth embodiment.
  • the first image includes a third pattern (third test pattern).
  • FIG. 23A is an example of the first image M1 including the third pattern P3.
  • the third pattern P3 included in the first image M1 is, for example, a circle.
  • FIG. 23B is a display image (first display image MD1) generated from the first image M1 using the first correction coefficient.
  • FIG. 23C is a display image (second display image MD2) generated from the first image M1 using the second correction coefficient.
  • the fourth pattern P4 included in the first display image MD1 in FIG. 23B and the fifth pattern P5 included in the second display image MD2 in FIG. 23C are patterns obtained by correcting the third pattern P3, respectively. It is.
  • the aspect ratio of the third pattern P3, the aspect ratio of the fourth pattern P4, and the aspect ratio of the fifth pattern P5 are different from each other.
  • the image display device 101 displays a plurality of display images having different aspect ratios. By causing the viewer 60 to select a display image, processing for selecting a correction coefficient having an aspect ratio appropriate for the viewer 60 is performed. Thereby, the human viewer 60 can easily adjust the display so that the display is easy to see.
  • the image display device 101 generates a second corrected image obtained by correcting the second input image data based on the selected correction coefficient, and emits second light based on the second corrected image data.
  • an image display device and an image processing device that can be adjusted so that the viewer can easily see the display.
  • vertical and parallel include not only strictly vertical and strictly parallel, but also include, for example, variations in the manufacturing process, and may be substantially vertical and substantially parallel. It ’s fine.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

実施形態によれば、光学部と、制御部と、を含む画像表示装置が提供される。前記制御部には、第1入力画像データと第2入力画像データが入力される。前記制御部は、前記第1入力画像データを補正した第1補正画像データに基づく第1光を前記光学部に出射させる。前記制御部は、前記第1入力画像データと前記第1補正画像データとの関係を示す第1補正情報を採用する信号を受けた場合に、前記第1補正情報に基づいて前記第2入力画像データを補正した第2補正画像データに基づく第2光を前記光学部に出射させる。

Description

画像表示装置及び画像処理装置
 本発明の実施形態は、画像表示装置及び画像処理装置に関する。
 映像を表示する表示部と、複数のレンズなどの光学素子を含む光学部と、を含み、表示部に表示された映像を投影する投影部と、投影部から投影された映像を観視者の眼へ向けて反射する反射部(コンバイナ)と、を有する画像表示装置がある。この画像表示装置では、投影部の配置や観視者の瞳孔位置に応じて、観視者が見る像に光学歪みや欠けが発生することがある。観視者が簡便に、光学歪等が抑制された見易い状態に表示を調整できることが望まれる。
特開2008-3500号公報
 本発明の実施形態は、観視者が表示を見易い状態に調整することができる画像表示装置及び画像処理装置を提供する。
 本発明の実施形態によれば、光学部と、制御部と、を含む画像表示装置が提供される。前記制御部には、第1入力画像データと第2入力画像データが入力される。前記制御部は、前記第1入力画像データを補正した第1補正画像データに基づく第1光を前記光学部に出射させる。前記制御部は、前記第1入力画像データと前記第1補正画像データとの関係を示す第1補正情報を採用する信号を受けた場合に、前記第1補正情報に基づいて前記第2入力画像データを補正した第2補正画像データに基づく第2光を前記光学部に出射させる。
第1の実施形態に係る画像表示装置を例示する模式図である。 第1の実施形態に係る画像表示装置を例示するブロック図である。 第1の実施形態に係る画像表示装置の調整部を例示するブロック図である。 参考例に係る画像表示装置を例示する模式図である。 図5(a)~図5(d)は、参考例の画像表示装置を例示する模式図である。 第1の実施形態に係る画像表示装置における画像処理を例示する模式図である。 図7(a)~図7(g)は、第1の実施形態に係る画像表示装置に用いられる補正係数を例示する模式図である。 第1の実施形態に係る画像表示装置の動作を例示するフローチャートである。 図9(a)~図9(c)は、第1の実施形態に係る画像表示装置の処理に用いられる第1パターンを例示する模式図である。 図10(a)及び図10(b)は、第1の実施形態に係る別の画像表示装置を例示する模式図である。 図11は、第2の実施形態に係る画像表示装置の動作を例示するフローチャートである。 図12(a)~図12(c)は、第2の実施形態に係る画像表示装置の処理に用いられる第2パターンを例示する模式図である。 第3の実施形態に係る画像表示装置を例示するブロック図である。 第3の実施形態に係る調整部を例示するブロック図である。 第3の実施形態に係る調整部を例示するフローチャートである。 第3の実施形態に係る調整部を例示するフローチャートである。 図17(a)及び図17(b)は、実施形態に係る画像表示装置を例示する模式図である。 図18(a)及び図18(b)は、実施形態に係る画像表示装置を例示する模式図である。 図19(a)及び図19(b)は、実施形態に係る画像表示装置を例示する模式図である。 図20(a)及び図20(b)は、実施形態に係る画像表示装置を例示する模式図である。 図21(a)及び図21(b)は、実施形態に係る画像表示装置を例示する模式図である。 実施形態に係る画像表示装置のシステム構成を例示する模式図である。 図23(a)~図23(c)は、第4の実施形態に係る画像表示装置の処理に用いられるパターンを例示する模式図である。
 以下に、各実施の形態について図面を参照しつつ説明する。
 図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
 本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
 (第1の実施形態)
 図1は、第1の実施形態に係る画像表示装置を例示する模式図である。
 図2は、第1の実施形態に係る画像表示装置を例示するブロック図である。
 図1及び図2に表したように、画像表示装置101は、投影部125と、制御部14と、を含む。制御部14は、回路部140(画像処理装置)を含む。投影部125は、表示部110と光学部120とを含む。この例では、画像表示装置101は、さらに、反射部130と、保持部320と、位置制御部126と、を含む。
 回路部140は、外部の記憶媒体やネットワークなどに有線あるいは無線で接続され、画像情報を受け取る。例えば図1に表したように、回路部140は、屈曲可能なケーブル145によって表示部110と電気的に接続されている。回路部140から表示部110に表示画像(補正画像)のデータが入力される。
 回路部140は、補正部141と調整部142とを含む(図2を参照)。調整部142は補正部141へ補正係数を出力する。補正部141では、補正係数を基に対象画像に対して歪補正を適用することで補正画像を生成し、表示部110に表示画像(補正画像)のデータが入力される。
 表示部110は、複数の画素110eを含む。複数の画素110eは、平面上に並べて設けられる。表示部110は、画像情報を含む画像光L1を出射する。表示部110は、映像を表示するディスプレイである。画像情報を含む光は、光学部120へ向けて出射される。ディスプレイには、例えば、液晶、有機ELまたはリキッドクリスタルオンシリコン(Liquid Crystal On Silicon)などが用いられる。但し、実施形態は、これらに限定されない。
 光学部120は、表示部110の複数の画素110eから出射された画像光L1の光路上において、表示部110と反射部130との間に設けられる。光学部120は、少なくとも1つ以上の光学素子を含む。光学部120は、入射した画像光L1を投影する。光学素子には、レンズ、プリズム、またはミラーなどを用いることができる。光学部120は、例えば、画像光L1の少なくとも一部の進行方向を変化させる。このようにして、投影部125(光学部120)は、画像情報を含む画像光を反射部130へ向けて出射する。なお、複数の光学素子を用いた場合、それらは直線上に配置されていなくてもよい。投影部125が出射する画像光の、反射部130に対する出射方向は、調整可能である。
 反射部130は、光学部120を通過した画像光L1の少なくとも一部を反射する。例えば、反射部130は、画像表示装置の観視者60(ユーザ)の瞳孔150に向けて、光学部120を通過した光を反射する。反射部130によって反射された光は、瞳孔150から見て、虚像として像170(観測画像)を形成する。このようにして、観視者60は、像を見ることができる。
 反射部130は、外界から反射部130へ入射した光の一部を透過させる。これにより、観視者60は、反射部130を通して外界を観視することができる。反射部130は、第1面11pに沿って設けられている。例えば、第1面11pに複数の微細な反射面を並列に配置し、反射部130とする。第1面11pは、平面であっても曲面であってもよい。反射面のそれぞれは、例えばハーフミラーであり、入射した光の少なくとも一部を反射させる。反射面のそれぞれは、第1面11pに対して傾斜しており、反射面同士の間には、段差が形成される。反射面と第1面11pとのなす角は、光学部120の光軸と、想定される瞳孔150との位置関係によって定まる。これにより、例えば、光の反射角度を調整することができる。反射部130は、複数の反射面及び複数の段差によって形成されたフレネル形状を有する。
 但し、実施形態においては、反射部130は、このようなハーフミラーに限られない。反射部130として、通常のハーフミラーを用いてもよいし、同様に反射角度を調整できる他の部材を用いてもよい。また、一例として、反射率と透過率とが同率であるハーフミラーを適用する例を説明しているが、実施形態は、同率に限られない。反射面に用いられる材料は、一部の光を透過し一部の光を反射する材料であれば、どのようなものでも構わない。
 この例では、虚像として像を表示している。但し、反射部130を瞳孔150から離して実像として像を表示してもよい。
 この例では、瞳孔150の正面に像170を表示している。但し、像171のように、観視者60の視界の端に像を表示してもよい。これにより、観視者60の視界が遮られない。
 図1に表した例では、画像表示装置101は、眼鏡型の画像表示装置である。保持部320は、例えば、眼鏡フレーム(テンプル、つる)である。画像表示装置101は、保持部320によって、観視者60の頭部に装着可能である。
 画像表示装置101は、眼鏡レンズ160をさらに含む。この例では、保持部320は、ノーズパッド321と、ブリッジ322と、をさらに含む。ブリッジ322は、一方の眼鏡レンズ160と他方の眼鏡レンズ160とを接続する。必要に応じて眼鏡レンズ160のリム(眼鏡レンズ160を保持する枠)等が設けられてもよい。なお、本願では通常の矯正用眼鏡と同様の構成について述べるが、実施形態は、左右のレンズが一体化したような構成であってもよい。
 眼鏡レンズ160(反射部130)は、保持部320に保持される。例えば、通常の眼鏡フレームと同様に、保持部320と眼鏡レンズ160との間の角度は、可変であってもよい。
 例えば、ノーズパッド321と眼鏡レンズ160との相対的配置は、固定されている。反射部130は、眼鏡レンズ160に内包されている(眼鏡レンズ160と一体に設けられている)。すなわち、コンバイナ一体型の眼鏡レンズ160が用いられており、反射部130と眼鏡レンズ160との相対的位置関係は、固定されている。
 眼鏡レンズ160は、第1表面161と、第2表面162と、を有する。第2表面162は、第1表面161と離間する。反射部130は、第1表面161と第2表面162との間に設けられる。なお、反射部130の位置は、上記に限定されず、例えば第2表面162上に反射部130を配す構成であっても良い。
 なお、図1では、2つの画像表示装置101を用いた両眼ヘッドマウントディスプレイ(HMD)が例示されている。一方の画像表示装置は、観視者60の右目に対して画像を表示し、他方の表示装置は、左目に対して画像を表示する。実施形態は、1つの画像表示装置101を用い、片方の眼に対して画像を表示する単眼HMDであってもよい。
 この例では、1つの画像表示装置101に対して回路部140が一つずつ設けられている。2つの画像表示装置101を用いる場合、可能な範囲で回路部140を統合してもよい。
 観視者60は、画像表示装置101の使用時において、ノーズパッド321を鼻に載せ、保持部320の一端320eを耳に載せる。このようにして、観視者60の鼻及び耳の位置に応じて、保持部320の位置と眼鏡レンズ160(及び反射部130)の相対的位置が規定される。画像表示装置101の使用時において、保持部320に対する反射部130の相対的配置は、実質的に固定されている。瞳孔150の反射部130に対する位置は、眼球運動に伴って移動する。
 図1の投影部125内において、表示部110と光学部120との相対的配置は固定されている。なお、表示部110と光学部120との相対的配置は、画像を投影する機能を損なわない程度に可変であってもよい。例えば、投影部125内において表示部110と光学部120とがネジで取り付けられている。ネジの締め具合を調整することで、表示部110と光学部120との相対的な距離や、互いになす角を調整することができる構成であってもよい。表示部110と光学部120との間の距離を調整することで、観視者60から見た虚像までの距離を変化させることができる。例えば、顔の1m先に見えていた像を2m先に移動させることができる。
 図1の投影部125は、位置制御部126を介して、保持部320に保持される。位置制御部126は、保持部320に固定されている。位置制御部126によって、投影部125と反射部130との相対的配置が可変である。例えば、位置制御部126によって、投影部125を回転させて、投影部125の位置又は向きを変更する。これにより、投影部125が出射する画像光の出射方向が調整される。位置制御部126の調整機構によって、アイレンジ内に瞳孔が収まる様に調整することで、観視者60は、欠けていない画面を見ることができる。位置制御部126の具体例(図17(a)~図21(b)参照)については後述する。
 図1において、保持部320の延在する方向をY軸方向とする。Y軸方向に対して垂直な1つの方向をX軸方向とする。X軸方向に対して垂直でY軸方向に対して垂直な方向をZ軸方向とする。例えば、X軸方向は、観視者60の左右方向(横方向)に対応し、Y軸方向は、観視者60の前後方向に対応し、Z軸方向は、観視者60の上下方向(縦方向)に対応する。なお、図1において、保持部320は、Y軸方向において直線状に延在する辺を有するが、実施形態は、保持部320の形状が緩やかに湾曲した場合も含む。保持部320の形状は、デザイン性や使用上の利便性を考慮して適宜変更される。
 図3は、第1の実施形態に係る画像表示装置の調整部を例示するブロック図である。
 図3は、画像表示装置101の回路部140に含まれる調整部142を表す。
 画像表示装置101の起動時又は、画像表示装置101の回路部140に所定の入力があった時に、調整部142は、観視者60に補正係数(補正テーブル)を選択させる処理を行う。調整部142に含まれる記憶部144は、選択された補正係数を記憶する。画像表示装置101が像を表示する際に、調整部142は、補正部141へ補正係数を出力する。図2に表したように、補正部141は、表示の対象である対象画像(入力画像)を取得する。そして、補正部141は、調整部142から出力された補正係数に基づき、対象画像に対して補正を行い、補正画像を生成する。補正画像は、観視者が見る像における、欠けや歪を補正するための画像である。補正部141は、生成された補正画像を表示部110へ出力する。
 その後、表示部110は、入力された補正画像を表示し、画像光を光学部120に向けて出射する。光学部120は、光学部120に入射した画像光を構成する少なくとも一部の光線の進行方向を補正した補正光を反射部130へ向けて出射する。反射部130は、入射した光の一部を反射させ、反射された光は、瞳孔150から見て、観測画像として像を形成する。このように、実施形態においては、表示部110が補正画像を表示することで、光学歪みや欠けが抑制された見易い観測画像が表示される。なお、補正処理の詳細については、後述する。
 次に、観視者が見る像における、欠け、歪み及び色割れについて、図4及び図5(a)~図5(d)を参照して説明する。
 図4は、参考例の画像表示装置を例示する模式図である。
 参考例に係る画像表示装置109は、反射部130bと、投影部125bと、を含む。反射部130bには反射部130と同様の構成を適用することができ、投影部125bには、投影部125と同様の構成を適用することができる。画像表示装置109は、回路部140を含まない点において、実施形態に係る画像表示装置101と異なる。すなわち、画像表示装置109では、前述した対象画像の補正処理が行われない。
 投影部125bから出射された光によって像170b(観測画像)が形成される。例えば、画像表示装置では、観察者の瞳孔が一定の範囲内に位置することを前提に光学設計がなされている。図4は、観測画像170bを観測可能な瞳孔位置の範囲が存在することを例示している。この範囲は、アイレンジ180と呼ばれ、直径数ミリメートル程度の領域である。
 このような眼鏡型の画像表示装置においては、観視者60の耳、鼻及び眼の配置に応じて、眼の位置に対する反射部130の位置が定まる。例えば観視者60が変わると、眼に対する反射部130の位置が変化する。このため、観視者60が変わると、観視者60から見える像の位置が変化し、適切な位置に像が表示されない場合がある。瞳孔150がアイレンジ180内にある場合は、観視者は観測画像170bの全体を見ることができる。しかし、瞳孔150がアイレンジ180外にある場合は、画面の欠けが生じる。
 表示部から出射された画像情報を含む光は、光学部や反射部130bを構成するレンズやハーフミラーなどの光学素子を経由して瞳孔へ向かう。例えば、光が光学素子を通過するごとに、または光学素子において反射されるごとに、収差が発生する。このため、観測画像170bに光学歪みや色割れなどの劣化が生じる。
 光学歪みは、表示部から出射された光が光学素子を経由する際の収差である。光学歪みは、光学素子を経由した光の像が、表示部から出射された光の像に対する相似性を失うことで生じる。
 カラー画像の表示において、色割れは、光の波長の違いにより生じる収差である。光学素子を経由した後の光の像の大きさは、光の波長に依存する。例えば、波長が短いほどレンズ等による屈折が生じやすく、アイレンジが狭くなり易い。例えば、像の中心位置は、光の波長に依存し、色によって異なる。
 図5(a)~図5(d)は、参考例の画像表示装置を例示する模式図である。
 図5(a)は、投影部125bから出射された光が瞳孔150a(位置PA)に到達する様子を示す。図5(a)は、投影部125cから出射された光が瞳孔150b(位置PB)に到達する様子を示す。投影部125bと投影部125cとの違いは、投影部の配置(向き)の違いによるものである。瞳孔位置の違いは、例えば、観視者60の個人差によって生じる。
 図5(b)は、画像表示装置109の表示部において表示される画像PIの例である。画像PIは、白い正方格子の画像Pwを含む。白色は、赤色、青色および緑色の重ね合わせによって表示される。
 図5(c)は、表示部で画像PIを表示した場合に瞳孔150a(位置PA)から見える虚像の例である。図5(d)は、表示部で画像PIを表示した場合に瞳孔150b(位置PB)から見える虚像の例である。
 図5(c)及び図5(d)に表したように、画像PIの形状に対して、表示される虚像の形状は、歪んでいる。これは、上述した光学歪みや色割れによって生じる現象に起因するものである。さらに、色割れにより、青色が表示される領域Pb、緑色が表示される領域Pg、赤色が表示される領域Prの大きさや位置が互いに異なっており、色毎に表示可能な領域が異なることが確認できる。図5(c)では、左端の虚像の一部が欠けている。これは、位置PBが画像表示装置109のアイレンジ180外に存在する場合に生じる現象である。
 このように、瞳孔と投影部との相対的配置に応じて、表示される画像に歪みが生じる。さらに、アイレンジ外に瞳孔が存在する場合は、画面欠けが生じる。
 これに対して、実施形態においては、回路部140が、観視者60に補正係数を選択させる処理を行う。そして、選択された補正係数に基づいて、生成された補正画像によって観測画像が表示される。これにより、観視者毎に表示を見易い状態に調整することができる。
 次に、この補正処理の詳細について説明する。
 図6は、第1の実施形態に係る画像表示装置における画像処理を例示する模式図である。
 図6は、補正係数に基づき対象画像を補正して、補正画像を生成する処理を例示している。図6に表したように、補正係数には、補正画像の各画素と対象画像の各画素との対応関係が保存されている。補正部141は、この対応関係を参照することで、補正画像に対応する対象画像の各画素の位置を取得し、補正画像を生成する。
 対象画像が例えば、赤、緑、青などの3原色で表される画像の場合は、色毎に歪が異なる。この場合は、色毎に設定された3つの補正係数を用いて補正画像が生成される。
 図7(a)~図7(g)は、第1の実施形態に係る画像表示装置に用いられる補正係数を例示する模式図である。
 補正係数の設定の際には、例えば、観測画像をカメラを用いて撮像する。観測画像の各画素と補正画像の各画素との対応関係から、補正係数を定めることができる。対象画像及び補正画像が赤、緑、青などの3原色で表される画像の場合は、画素の対応関係を色毎に保存する。
 図7(a)は、補正画像のうち第1色(この例では赤色「R」)によって表される画像Raを示す。この画像は、例えば、対象画像の第1色画素から生成される。
 図7(b)は、補正画像のうち第2色(この例では緑色「G」)によって表される画像Gaを示す。この画像は、例えば、対象画像の第2色画素から生成される。
 図7(c)は、補正画像のうち第3色(この例では青色「B」)によって表される画像Baを示す。この画像は、例えば、対象画像の第3色画素から生成される。
 観視者60が見る観測画像は、複数の色成分に対応する複数の色像を含む。例えば、観測画像は、第1色画素に対応した第1色像と、第2色画素に対応した第2色像と、第3色画素に対応した第3色像と、の重ね合わせである。
 図7(d)は、図7(a)の画像Raの情報を含む赤色光によって形成される第1色像Rbを示す。
 図7(e)は、図7(b)の画像Gaの情報を含む緑色光によって形成される第2色像Gbを示す。
 図7(f)は、図7(c)の画像Baの情報を含む青色光によって形成される第3色像Bbを示す。
 上述したとおり、色割れの影響により、色毎に観測画像と補正画像との対応関係が異なる。例えば、図7(d)~図7(f)に表したように、第1~第3色像が表示される領域は、互いに異なる。観視像において、第1~第3色像が互いに重なる領域では、カラー表示が可能であるが、それ以外の領域ではカラー表示ができない。そこで、3原色の表示領域を、カラー表示可能な領域へ統合する。図7(d)~図7(f)に示すように、各色の参照位置領域の内接矩形Rc、Gc、Bcを求める。そして、図7(g)に示すように、各内接矩形の積領域を求める。その積領域の大きさによって各色の参照位置を正規化する。これにより、カラー表示可能な領域(アスペクト比a:1)を参照することができる補正係数を生成する。
 アスペクト比a:1は、補正係数に保存されているものとする。例えば、補正係数は、複数の色像(第1~第3色像)が互いに重なる観視像中の重複領域Sa(積領域)に関する情報を含む。具体的には、補正係数は、重複領域Saの横方向に沿った長さと、重複領域Saの縦方向に沿った長さと、の比(a:1)の情報を含む。これにより、例えば、歪み補正時に対象画像のアスペクト比を維持することができる。
 以上の処理により、RGBの3色のそれぞれに関して、補正画像上の座標位置と正規化座標上の位置との対応関係が得られる。
 なお、カラー表示可能な領域以外において、三色同時に表現できない領域は、単色または2色を表示可能な領域として定義されてもよい。補正係数は、単色もしくは二色表示可能な領域の情報を含んでいてもよい。すなわち、例えば、補正係数は、複数の色像(第1色像と第2色像)が互いに重ならない観視像中の非重複領域Sbに関する情報をさらに含んでいてもよい。
 例えば、赤色の場合、図7(d)に示すように、カラー表示可能な領域とは別に、単色の表示が可能な領域Rdの情報が補正係数に保存されていても良い。補正係数は、赤以外の単色を表示可能な領域の情報、または、2色の組合せを表示可能な領域の情報を含んでいてもよい。
 補正係数は、曲線表現のパラメータを含んでもよい。これにより、補正画像の画素と観測画像の画素との対応を計算することができる。
 図8は、第1の実施形態に係る画像表示装置の動作を例示するフローチャートである。
 図8は、回路部140(制御部14)が観視者60に補正係数を選択させる処理を示している。図8に表したように、画像表示装置101の起動時又は画像表示装置101に所定の入力があった時に、回路部140は、第1処理(ステップS130、S140、S150)を実行する。
 ステップS130では、調整部142は、補正係数に基づいて、第1パターン(第1のテストパターン)に基づく表示画像を生成する。生成された画像は、例えば図3に表したように処理部143から表示部110へ画像データとして出力される。なお、第1パターン及び表示画像等については、後述する(図9(a)~図9(c)参照)。
 例えば、回路部140(調整部142の記憶部144)は、予め複数の補正係数(例えば、第1補正係数(第1補正情報C1)、第2補正係数(第2補正情報C2))を記憶している。この補正係数の数は、2以上の任意の数でよい。適切な補正係数は、観視者60の瞳孔位置や投影部の配置に応じて異なる。そのため、記憶部144に記憶された複数の補正係数のそれぞれは、投影部125と反射部130との位置関係に対応して定められていてもよい。または、記憶部144に記憶された複数の補正係数のそれぞれは、観視者60の瞳孔と投影部125との位置関係に対応して定められていてもよい。複数の補正係数のそれぞれは、画像表示装置101の個体差(製造ばらつき等)を考慮して、画像表示装置101の個体毎に定められていてもよい。記憶部144は、複数の補正係数から計算される、基準となる1つの補正係数を記憶していてもよい。
 ステップS130を初めて行う場合、調整部142は、記憶部144に記憶されている複数の補正係数のうちの一つを選択し、選択された補正係数に基づいて表示画像(補正画像)を生成する。選択される補正係数は、登録順の最初又は最後の補正係数でもよいし、基準となる所定の補正係数でもよい。
 記憶されている補正係数のうちの一つを選択する基準として、投影部125の位置の情報、または、観視者の瞳孔位置の情報を取得してもよい。
 例えば、位置制御部126に、段階的に投影部125の位置を調整する機械的な機構が含まれ、投影部125の位置を表す目盛り等が設けられている場合、その目盛りの値に応じた情報を観視者60に回路部140へ入力させる。補正係数は、この情報に基づいて選択されてもよい。または、位置制御部126に投影部125の位置を検出させてもよい。投影部125の位置の検出には、カメラやポテンショメータなどの任意のセンサを用いることができる。検出された位置情報に基づいて補正係数が選択されてもよい。
 例えば、画像表示装置101は、瞳孔位置を検知する検知部182(図1参照)をさらに含む。検知部182は、例えば保持部320に設けられる。検知部182には、赤外線センサ、可視カメラなどの任意のセンサを用いることができる。センサから得られる画像などの情報に基づいて、瞳孔位置を計測(推定)することができる。瞳孔位置の計測には、眼電位等を利用してもよい。例えば、瞳孔150に光が入射したときの眼電位の変化を計測する。光の入射方向や眼電位の変化に基づいて、瞳孔位置に関する情報を得ることができる。
 なお、観視者60の瞳孔位置の推定に、投影部位置情報を用いてもよい。例えば、眼鏡型の表示装置においては、観視者60の耳、鼻、眼などの配置に応じて、反射部130と光学部120との相対的配置は変化する。このため、光学部120と反射部130との相対的配置の情報に基づいて、観視者60の瞳孔位置をある程度推定することも可能である。
 例えば、ステップS130が初めて実行される場合、調整部142は、第1補正係数に基づいて、第1パターンを含む第1画像(第1入力画像データPm1)を補正して第1表示画像(第1補正画像データCm1)を生成する。
 第1補正係数は、記憶部144に記憶された複数の補正係数のうちの1つ、または、記憶部144に記憶された複数の補正係数から算出された補正係数である。そして、回路部140(制御部14)は、生成された第1表示画像の画像情報を含む光(光Ld1)を画像光として投影部125から出射させる。
 すなわち、調整部142は、テスト用の入力画像データ(第1入力画像データPm1)を補正した補正画像データ(第1補正画像データCm1)を投影部125へ送る。投影部125は、第1補正画像データCm1に基づく第1光(光Ld1)を出射する。
 これにより、第1表示画像(第1補正画像データCm1)が観視者60に表示される。なお、補正前の第1画像は、記憶部144等に記憶されていても良いし、外部から入力されてもよい。
 観視者60は、表示された画像に基づいて、第1補正係数(第1表示画像)を選択する信号を回路部140に入力可能である。ステップS140において、回路部140は、観視者60から補正係数の選択を受け付ける。すなわち、回路部140は、例えば、第1入力画像データと第1補正画像データとの関係を示す第1補正情報を採用する信号Sig1を受け付ける。回路部140が第1補正係数を選択する信号(第1補正情報を採用する信号)を受信した場合は、ステップS160が実行される。ステップS140において、回路部140が第1補正係数を選択する信号を受信しなかった場合は、ステップS150が実行される。
 ある補正係数の選択を回路部140が受け付ける方法としては、当該補正係数を選択するか否かに関する情報(例えばステップS140の終了を示すコード等)を観視者60が画像表示装置101に入力する方法が挙げられる。例えば、コンピュータや携帯端末にソフト(アプリケーション)がインストールされ、コンピュータ又は携帯端末などを介して、観視者60から回路部140に情報が入力される。
 ステップS150において、回路部140は、現在使用している補正係数を、別の補正係数に切り替える。そして、切り替えられた補正係数を用いて、回路部140は、再びステップS130を実行する。
 回路部140が補正係数を切り替える方法としては、補正係数の切り替えを指示する情報を観視者60が画像表示装置に入力する方法が挙げられる。例えば、コンピュータや携帯端末にソフト(アプリケーション)がインストールされ、コンピュータ又は携帯端末などを介して、観視者60から回路部140に情報が入力される。
 ステップS150における補正係数の切り替えには、1回目のステップS130で取得した情報(例えば投影部125の位置の情報、観視者60の瞳孔位置の情報など)を用いてもよい。2回目以降のステップS130では、ステップS150で選択または生成された補正係数が使用される。
 表示画像の生成に用いられる補正係数を切り替える際には、例えば、「a:投影部の配置に応じた補正」、「b:瞳孔位置に応じた補正」、又は「c:画像表示装置の個体差に応じた補正」を行う。a~cの3つのうち2つ以上を組み合わせて、補正係数を切り替えてもよい。
 投影部125の配置毎に補正係数が記憶されている場合、「a:投影部の配置に応じた補正」を行うことができる。この場合、例えば、記憶部144に記憶された複数の補正係数から、バイリニア補間など線形補間手法により投影部125の配置に応じた補正係数を生成する。例えば、1軸のバー等が表示され、観視者60が投影部125の位置を示す入力値を画像表示装置に入力する。調整部142は、その入力値に応じた線形補間手法によって、補正係数を生成する。または、観視者60が、投影部125の回転位置を示す情報を画像表示装置に入力してもよい。または、記憶部144が記憶している複数の補正係数を、順に切り替えてもよい。観視者60の瞳孔の位置毎に補正係数が記憶されている場合、「b:瞳孔位置に応じた補正係数の算出」を行うことができる。この場合には「a:投影部の配置に応じた補正」の場合と同様の処理によって、補正係数を切り替えることができる。画像表示装置の個体差毎に補正係数が記憶されている場合は、「c:画像表示装置の個体差に応じた補正」を行う。この場合には、記憶部144に記憶されている複数の補正係数を、順番に切り替える。
 例えば、ステップS150において、回路部140は、前述の第1補正係数を第2補正係数に切り替える。第2補正係数は、記憶部144に記憶された複数の補正係数のうちの1つ、または、記憶部144に記憶された複数の補正係数から算出された補正係数である。その後、ステップS130において、回路部140は、第2補正係数に基づいて、前述の第1画像(第1入力画像データPm1)を補正して第2表示画像(第3補正画像データCm3)を生成する。そして、回路部140は、生成された第2表示画像の画像情報を含む光(光Ld2)を画像光として投影部125から出射させる。
 すなわち、調整部142は、テスト用の入力画像データ(第1入力画像データPm1)を補正した補正画像データ(第3補正画像データCm3)を投影部125へ送る。投影部125は、第3補正画像データCm3に基づく第3光(光Ld2)を出射する。第3補正画像データCm3は、第1補正画像データCm1と異なる。
 これにより、第2表示画像(第3補正画像データCm3)が観視者60に表示される。観視者60は、表示された画像に基づいて、第2補正係数(第2表示画像)を選択する信号を回路部140に入力可能である。すなわち、例えば、回路部140は、第1入力画像データPm1と第3補正画像データCm3との関係を示す第2補正情報C2を採用する信号Sig2を受け付けることができる。
 このようにステップS130~S150を繰り返して、観視者60に、いずれかの表示画像(補正係数)を選択させる。例えば、観視者60は、歪等が適切に補正された表示画像を選択する。
 回路部140は、選択されたいずれかの表示画像と、補正前の第1画像と、の関係に関する第1情報を記憶する。この第1情報は、例えば、選択された表示画像の生成に用いられた補正係数を含む。
 ステップS160において、記憶部144は、第1情報を記憶する。例えば、第1表示画像が選択された場合は、記憶部144は第1補正係数を記憶する。
 以上により、観視者60は、簡便に表示を見易い状態に調整することができる。
 その後、画像表示装置101が表示を行う際には、補正部141は、第1情報(選択された補正係数)に基づいて対象画像(入力データ)を補正した補正画像を生成し、投影部125からその補正画像の画像情報を含む光を出射させる。
 例えば、ステップS140において、観視者60が第1表示画像を選択し、回路部140が第1入力画像データPm1と第1補正画像データCm1との関係を示す第1補正情報C1を採用する信号Sig1を受け付けた場合、画像表示装置101は、第1補正情報C1に基づいて表示を行う。この場合、回路部140は、第1補正情報C1に基づいて、入力データ(第2入力画像データPm2)を補正した補正画像データ(第2補正画像データCm2)を投影部125へ送る。投影部125は、第2補正画像データに基づく第2光(光Ld3)を出射する。
 図9(a)~図9(c)は、第1の実施形態に係る画像表示装置の処理に用いられる第1パターンを例示する模式図である。
 図9(a)は、第1パターンP1を含む画像(第1画像M1)を示す。第1画像M1は、複数の画素を含む。第1画像M1に含まれる画素は、2以上の複数の色成分を含む。
 図9(a)に表した例では、第1パターンP1は、第1要素r1及び第2要素r2を含む。例えば、第1要素r1及び第2要素r2は、それぞれ、第1画像M1中の第1方向D1に延在する略矩形の像(図柄)である。すなわち、第1方向D1に沿った第1要素r1の長さは、第1方向D1に対して垂直な第2方向D2に沿った第1要素r1の長さよりも長い。
 第1要素r1は、第1画像M1の左側(例えば左端)に位置する。言い換えると、図9(a)に表した第1画像M1中において、第1辺e1と第1要素r1との間の距離は、第2辺e2と第1要素r1との間の距離よりも短い。なお、第1辺e1及び第2辺e2は、第2方向D2において互いに離間した第1画像M1の辺である。第2要素r2は、第1画像M1の右側(例えば右端)に位置する。言い換えると、第1画像M1中において、第2辺e2と第2要素r2との間の距離は、第1辺e1と第2要素r2との間の距離よりも短い。
 第1要素r1の色及び第2要素r2の色は、それぞれ、表示部110に用いられる原色のうち、2以上の原色によって表される。例えば、表示部110に赤、緑及び青の3色が用いられている場合、各矩形の色を、赤と青とが組み合わされた(重ね合わされた)マゼンタとすることができる。
 なお、表示部110に用いられる原色とは、表示部110の画素110eに含まれるサブ画素が出射する光の色である。例えば、画素110eのそれぞれは、第1色(例えば赤)の光を出射する第1サブ画素、第2色(例えば緑)の光を出射する第2サブ画素、及び第3色(例えば青)の光を出射する第3サブ画素を含む。3色の光の重ね合わせにより、カラー画像が表示される。
 図9(b)は、第1画像M1から第1補正係数を用いて生成された表示画像(第1表示画像MD1)を示す。図9(c)は、第1画像M1から第2補正係数を用いて生成された表示画像(第2表示画像MD2)を示す。第1表示画像MD1(第1補正画像データ)は、第1要素r1が補正された第1像s1を含む。第2表示画像MD2(第3補正画像データ)は、第1要素r1が補正された第2像s2を含む。
 図6及び図7(a)~図7(g)に関して説明したように、色毎に歪み方が異なるため、補正係数は、各色に対応した成分を有する。そして、回路部140は、第1画像M1に含まれる各画素の座標を、色成分毎に変換して、第1表示画像MD1及び第2表示画像MD2を生成する。このため、第1像s1は、第1パターンP1に基づく第1色の像s3(第3像)と、第1パターンP1に基づく第2色の像s4(第4像)と、を含む。また、第2像s2は、第1パターンP1に基づく第1色の像s5(第5像)と、第1パターンP1に基づく第2色の像s6(第6像)と、を含む。図示した例では、像s3、像s4、像s5、像s6は、それぞれ、第1要素r1が補正された像である。
 既に述べたとおり、観視者60の瞳孔位置や投影部125の配置によって、観測画像における色割れや歪み方は異なる。そのため、補正係数によって補正結果に違いが生じる。すなわち、例えば、図9(b)に表した像s1の形状は、図9(c)に表した像s2の形状とは異なる。例えば、像s1の第2方向D2に沿った幅は、像s2に第2方向D2に沿った幅とは異なる。また、第1表示画像MD1における像s3と像s4との位置関係(例えば間隔又は重なり)は、第2表示画像MD2における像s5と像s6との位置関係と異なる。
 このように、回路部140は、入力された画像を色成分毎に補正する。すなわち、例えば、第1補正情報C1(第1補正係数)は、第1色の成分を補正する第1色補正情報Caと、第2色の成分を補正する第2色補正情報Cbと、を含む。第1色補正情報Caは、第2色補正情報Cbとは異なる。第1画像M1は、第1色の画像と、第2色の画像と、の重ね合わせである。つまり、第1画像M1を表す第1入力画像データPm1は、第1色の画像を表す第1色入力画像データPc1と、第2色の画像を表す第2色入力画像データPc2と、を含む。また、第1表示画像MD1を表す第1補正画像データCm1は、第1色に関する第1色補正画像データCc1と、第2色に関する第2色補正画像データCc2と、を含む。第1色補正画像データは、第1色入力画像データが第1色補正情報によって補正されたデータであり、第2色補正画像データは、第2色入力画像データが第2色補正情報によって補正されたデータである。換言すると、第1色補正情報Caは、第1色入力画像データPc1と第1色補正画像データCc1との関係を示し、第2色補正情報Cbは、第2色入力画像データPc2と第2色補正画像データCc2との関係を示す。
 以上説明したように、実施形態に係る画像表示装置101は、互いに異なる色割れ等に対応した複数の表示画像(第1及び第2表示画像MD1、MD2等)を表示する。これにより、観視者60に補正係数を選択させる処理が行われる。これにより、観視者60は、簡便に表示を見易い状態に調整することができる。
 例えば、反射部130や光学部120の光学設計を調整することで、色割れや歪みを抑制する方法も考えられる。しかしながら、画像表示装置101のように観視者60の側方から画像光が投影される場合、光学設計の自由度は、制限されやすい。このため、光学設計の調整だけでは見易い表示が得られないことがある。また、使用者毎に光学設計の調整を行うことは、難しい場合がある。これに対して、実施形態においては、観視者60に補正係数を選択させ、選択された補正係数を用いて補正画像を生成する。これにより、観視者60は、簡便に見易い表示が得られる。
 画像表示装置101にように観視者60の側方から画像光が投影される場合、観視者60が見る観測画像において、左側の歪みと右側の歪みとが異なることがある。これに対して、図9(a)に表した第1パターンP1は、画像の左側に配置された第1要素r1と、画像の右側に配置された第2要素r2と、を含む。これにより、観視者60は、左右の歪みを比較して、より見易い状態に表示を調整することができる。
 観測画像の端部における歪みは、観測画像の中心部における歪みよりも大きくなり易い。このため、第1要素r1及び第2要素r2は、第1画像M1の端部に近いことが望ましい。すなわち、第1要素r1と辺e1との距離は、第1要素r1と中心c1との距離よりも短い。また、第2要素r2と辺e2との距離は、第2要素r2と中心c1との距離よりも短い。これにより、表示の調整を行い易くすることができる。
 第1パターン(矩形が延びる第1方向D1、及び、2つの矩形が並ぶ第2方向D2)は、投影部125と反射部130との相対的配置に基づいて定められることが望ましい。例えば、図1のように、画像光がX-Y平面に沿って進行する場合、観視者60に表示される虚像(観測画像)においては、垂直方向(Z軸方向)における歪みよりも、水平方向(X軸方向)における歪みの方が大きい。このため、第1パターンは、水平方向の歪みを視認し易いように定められる。
 第1パターンの形状は、投影部125と反射部130との相対的配置に応じて変化してもよい。これについて図10(a)及び図10(b)を参照して説明する。
 図10(a)及び図10(b)は、第1の実施形態に係る別の画像表示装置を例示する模式図である。図10(a)に表した画像表示装置101aは、投影部125aと、反射部130aを含む。投影部125aは、観視者60の瞳孔150よりも上方に位置する。投影部125aは、瞳孔150よりも上方から反射部130aへ画像光を出射する。画像光は、入射方向DL1に進行して反射部130aに入射する。反射部130aは、画像光を反射し、反射された画像光は、反射方向DL2に進行して瞳孔150へ入射する。これ以外は、画像表示装置101aには、図1に関して説明した画像表示装置101と同様の説明を適用できる。
 この例では、入射方向DL1と反射方向DL2とを含む平面は、Z-Y平面である。この場合には、観視者60に表示される虚像において、水平方向における歪みよりも、垂直方向における歪みの方が大きい。このとき、歪みの補正に用いられる補正係数の選択において、図10(b)に表したような第1パターンを用いる。図10(b)に表した第1パターンでは、第1要素r1が延在する第1方向D1は、水平方向(X軸方向)に対応し、第1要素r1から第2要素r2へ向かう第2方向D2は、垂直方向(Z軸方向)に対応する。
 このように、観視者60から見たときに虚像上における第1方向D1は、画像光(光束の中心の光線)の反射部130における入射方向と反射方向とを含む平面に対して、垂直な方向であることが望ましい。観視者60から見たときに虚像上における第2方向D2は、画像光の反射部130における入射方向と反射方向とを含む平面に対して、平行な方向であることが望ましい。これにより、歪みや色割れを確認し易くすることができ、表示の調整を行い易くすることができる。
 なお、図9(a)や図10(b)において示した第1パターンは、例として示したものであり、必ずしも実際のテストパターンとは一致しない場合がある。例えば、矩形の幅と高さは任意である。第1パターンに2つ以上の矩形が含まれていてもよい。背景は白色である必要は無く、黒やその他の色でもよい。画像に調整用の文章が含まれていてもよい。
 (第2の実施形態)
 図11は、第2の実施形態に係る画像表示装置の動作を例示するフローチャートである。
 第2の実施形態に係る画像表示装置は、第1の実施形態に係る画像表示装置101と同様に、制御部14(回路部140)、投影部125及び反射部130等を含む。第2の実施形態は、回路部140における処理に関して、第1の実施形態と異なる。これ以外については、第2の実施形態には、第1の実施形態と同様の説明を適用できる。
 図11は、回路部140が観視者60に補正係数を選択させる処理を示している。図11に表したように、第2の実施形態においては、回路部140は、第1処理(ステップS130、S140、S150)が行われる前に、第2処理(ステップS110、S120)を行う。ステップS130、S140及びS150は、第1の実施形態における説明と同様である。なお、本願明細書において、第1、第2などの用語は、特に示さない限り、画像表示装置における処理の順序を示すものではない。
 例えば、回路部140には、第2パターン(第2のテストパターン)の情報を含む第3入力画像データPm3が入力されている。
 ステップS110では、回路部140は、第3入力画像データに基づく表示画像(第3表示画像MD3)の画像情報n1を含む光Ld4を光学部120から出射させる。また、この光は、例えば、第3表示画像MD3を用いて、光学部120と反射部130との相対的配置、光学部120と観視者60の眼との相対的配置、及び、反射部130と観視者60の眼との相対的配置の少なくともいずれかを変えるように観視者に指示する指示画像の情報n2を含む。例えば、文章又はイラストによって観視者に指示が与えられる。
 図12(a)は、第2パターンP2を含む第3表示画像MD3を例示する模式図である。第2パターンP2は、第3表示画像MD3の外周(最外周)の少なくとも一部の位置を示す像である。図12(a)の例では、第2パターンP2は、第3表示画像MD3の中央部を囲み、第3表示画像MD3の外周に沿った矩形状(枠状)である。第2パターンP2の色は、表示部110に用いられる原色のうちのいずれかである。例えば、第2パターンP2の色は、赤、緑及び青のいずれかであり、この例では緑である。
 第2パターンP2は、図12(b)及び図12(c)に表したように、第3表示画像MD3の四隅を示すパターンでもよい。四隅のそれぞれを示すパターンとして、四隅に配置された4つの円を用いている。図12(b)では、第2パターンP2の色は、例えば緑色である。図12(c)では、第2パターンP2の色は、原色でなく、各円の中心からの距離に応じて階調が連続的に変化する。
 なお、図12(a)~図12(c)において示した第2パターンP2は、例として示したものであり、必ずしも実際のテストパターンとは一致しない場合がある。例えば、図12(a)において、外枠の幅は任意の大きさでもよいし、第2パターンP2の色は、原色でなく黒色でもよい。図12(b)及び図12(c)において、円の半径は任意の大きさでもよいし、四隅を示すシンボルの形状は、円でなく任意の形状でもよい。図12(a)~図12(c)において、背景は白色である必要は無く、黒やその他の色でもよいし、画像に調整用の文章が含まれていてもよい。また、前述のステップS130と同様に、基準となる補正係数を用意し、その補正係数に基づいて、第2パターンの補正画像として第3表示画像を生成及び表示してもよい。
 ステップS110において表示される観測画像を参照しながら、観視者60は、画面欠けの調整(アイレンジの調整)を行うことができる。ステップS120において、回路部140は、ステップS110の終了を検知する。回路部140は、ステップS120において、ステップS110の終了を検知すると、ステップS130の処理を実行する。ステップS110の終了を回路部140が検知する方法としては、観視者60がステップS110の終了を示す情報(例えばステップS110の終了を示すコード等)を画像表示装置に入力する方法が挙げられる。例えば、コンピュータや携帯端末にソフト(アプリケーション)がインストールされ、コンピュータ又は携帯端末などを介して、観視者60から回路部140に情報が入力される。
 図1に関して説明したように、位置制御部126によって投影部125を回転させて、画像光の出射方向を調整することができる。例えば、画面欠けの調整のため、ステップS110において、観視者60に投影部125の回転角度を調整させる。位置制御部126には、段階的に投影部125の位置を調整する機械的な機構を用いてもよい。例えば、位置情報を示すダイヤルなどの目盛を設け、段階的に投影部125の位置を調整する機構を用いてもよい。なお、観視者60が画面欠けを調整する方法は、反射部130に対する観視者60の瞳孔位置の相対的配置が調整できる方法であればよく、必ずしも投影部125の回転を用いなくてもよい。例えば、形状の異なるノーズパッド321を取り替える方法でもよい。
 例えば、観視者60の頭部の形状などの個人差に応じて、投影部125と瞳孔150との位置関係が変化する。このため、画像表示装置のユーザが変わったときに、画面欠けが生じることがある。これに対して、本実施形態によれば、ステップS110が実行されることで、投影部125の位置の調整によって欠けを抑制することができる。
 既に述べたように、実施形態のような画像表示装置においては、画面欠けだけでなく、色割れ及び歪みが生じやすい。例えば、調整用の画面を表示してユーザに画面欠けを調整させただけでは、見易い表示状態が得られない場合がある。これに対して、本実施形態によれば、ステップS130~S150によって色割れ及び歪みを抑制することができる。
 色割れ及び歪みは、投影部125の反射部130に対する位置と、観視者60の瞳孔位置と、に依存する。そこで、まず、投影部125の反射部130に対する位置を調整して画面欠けを調整し、その後、色割れ及び歪みを調整することが望ましい。すなわち、第2処理(ステップS110)は、第1処理(ステップS130~S150)の前に行われることが望ましい。これにより、観視者60は、簡便に表示を見易い状態に調整することができる。
 例えば、参考例の方法においては、調整用画像を表示してユーザに画面欠けを調整させる際に、色割れや歪みが考慮されない。この場合、調整用画像の色割れ及び歪みによって、視認性が低下し、観視者60が画面欠けを十分に調整できないことがある。これに対して、本実施形態では、例えば図12(a)のように第2パターンP2の色を原色とすることで、色割れの影響を抑制できる。これにより、画面欠けの調整が行い易くなる。第3表示画像MD3が、補正係数によって補正された画像である場合、色割れ及び歪みの影響を抑制することができる。これにより、さらに画面欠けの調整が行い易くなる。
 (第3の実施形態)
 図13は、第3の実施形態に係る画像表示装置を例示するブロック図である。
 本実施形態に係る画像表示装置102は、第1の実施形態に係る画像表示装置101と同様に、表示部110、光学部120及び反射部130等を含む。これらは、第1の実施形態および第2の実施形態と同様である。第3の実施形態は、回路部140の処理において第1の実施形態又は第2の実施形態と異なる。
 図13に表したように、回路部140には、外部からユーザ情報(観視者60を示す観視者情報、例えばユーザID等)が入力される。ユーザ情報は、補正係数に対応付けられる固有情報であり、例えば、ユーザ(観視者60)によって画像表示装置102に入力される。例えば、コンピュータや携帯端末にソフト(アプリケーション)がインストールされ、コンピュータ又は携帯端末などを介して、観視者60から回路部140に情報が入力される。回路部140は、対象画像と、入力されたユーザ情報と、から表示画像(補正画像)のデータを出力する。
 図14は、第3の実施形態に係る調整部を例示するブロック図である。
 図14に表したように、本実施形態に係る調整部142は、処理部143と、記憶部144と、を含む。記憶部144は、第1の実施形態のブロック図で説明した機能と同様の機能を有する。
 本実施形態では、記憶部144は、さらにユーザ情報を記憶することができる。記憶部144は、第1情報(ユーザが前述のステップS130~S150において選択した補正係数)と、そのユーザのユーザ情報と、を対応付けて記憶する。調整部142は、外部からユーザ情報が入力されたときに、そのユーザ情報に基づいて補正部141に補正係数を出力する。
 図15及び図16は、第3の実施形態に係る調整部を例示するフローチャートである。
 ステップS170において、処理部143は、ユーザが外部から入力したユーザ情報を取得する。
 ステップS180において、処理部143は、取得したユーザ情報が事前に登録されているユーザ情報と一致するか否かを判定する。すなわち、処理部143は、ステップS170で入力されたユーザ情報が、記憶部144に既に記憶されているユーザ情報と一致する場合は、処理Bを実施し、一致しない場合は、処理Aを実施する。
 図16は、処理A及び処理Bを例示している。
 図16に表したように、処理Aは、ステップS110、S120、S130、S140、S150を含む。これらは、第1及び第2の実施形態において説明したステップと同様である。処理Aは、ステップS161をさらに含む。
 第1の実施形態における説明と同様にステップS140において処理部143が補正係数を選択する信号を受信する。その後、ステップS161が実行される。ステップS161において、記憶部144は、ステップS170で入力されたユーザ情報と、第1情報(選択された表示画像の生成に用いられた補正係数)と、を対応付けて記憶する。
 処理Bは、ステップS190、S200、S210、S140を含む。
 ステップS190において、処理部143は、ステップS170で入力されたユーザ情報と対応付けられている第1情報(補正係数)を記憶部144から読み込む。
 ステップS200において、処理部143は、第1情報に基づいて、補正画像(第4表示画像)を生成する。
 第4表示画像は、第3のテストパターンを含む。第3のテストパターンは、図12(a)~図12(c)に関して説明した第2パターンP2と同様の特徴を有する。または、第3のテストパターンは、図9(b)等に表した表示画像と同様に、第1パターンP1に基づく像を含んでいてもよい。すなわち、第4表示画像は、第4表示画像の外周を示す像、及び、第1パターンP1に基づく像、の少なくともいずれかを含む。
 ステップS210において、処理部143は、第4表示画像MD4の画像情報を含む光を投影部125から出射させる。
 第4表示画像が外周を示す像を含む場合、観視者60は、第4表示画像の虚像を見ながら、投影部125の位置を変更することで、画面欠けを抑制することができる。ここで、第4表示画像の生成に用いられた補正係数(第1情報)は、処理Aによって画面欠けが回避された状態において、色割れ及び歪みが抑制されるように選択されている。このため、投影部125を適切な位置に変更すれば、画面欠け、色割れ及び歪みが抑制された見易い表示を得ることができる。
 第4表示画像が第1パターンP1に基づく像を含む場合、観視者60は、前述のステップS130、S140及びS150に関する説明と同様の方法により、再び補正係数を選ぶ。図16の例では、ステップS140において、処理部143が補正係数を選択する信号を受信すると処理Bが終了する。このように、観視者60が補正係数の選択を再度行う。これにより、色割れ及び歪みをより抑制することができる。再度の補正係数の選択は、補正係数の微調整となる。また、処理Bのようにユーザ情報に対応付けられた第1情報を用いて第4表示画像を表示することにより、処理Aに比べて調整のステップ数を減らすことができる。以上により、観視者60は、より簡便に表示を見やすい状態に調整することができる。
 例えば、記憶部144は、第1補正情報(第1補正係数)に対応付けられたユーザ情報を記憶している。このとき、ステップS170において、第1補正情報と対応付けられたユーザ情報が入力されると、ステップS180における判定の結果、処理部143は、処理Bを実施する。処理BのステップS190において、処理部143は、第1補正情報を読み出す。そして、ステップS200において、処理部143は、当該第1補正情報を用いて、入力画像(第2入力画像データ)から第2補正画像データを生成する。すなわち、この例では、第2補正画像データは、前述の第4表示画像MD4を表すデータである。その後、ステップS210において、処理部143は、第2補正画像データの情報を含む第2光を投影部125から出射させる。これにより表示された画像(虚像)を用いて、観視者60は、表示を調整することができる。
 なお、第1~第3の実施形態に係る画像表示装置に関して、図2、図3、図13及び図14の各ブロック図は、例として示したものであり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部が画像表示装置とは別に設けられてもよい。例えば、回路部140の一部(記憶部144など)が、回路部140の他の部分と別に設けられ、有線又は無線等によって他の部分と接続されていてもよい。
 (位置制御部126)
 次に、図17(a)、図17(b)、図18(a)、図18(b)、図19(a)、図19(b)、図20(a)、図20(b)、図21(a)及び図21(b)を参照して、第1~第3の実施形態に係る画像表示装置に用いられる位置制御部126の例について説明する。
 図17(a)及び図17(b)は、実施形態に係る画像表示装置を例示する模式図である。
 図17(a)及び図17(b)においては、位置制御部126の一例として位置制御部126aを用いている。図17(a)及び図17(b)に表した例では、位置制御部126aによって、投影部125と反射部130との間の距離が可変である。例えば、光学部120の光軸上に沿って、距離が可変である。
 この例では、位置制御部126aには、光学部120の光軸に沿って、長孔31が設けられている。投影部125には可動軸51が設けられている。可動軸51は、投影部125に固定されている。可動軸51は、長孔31を通り、長孔31内を滑って動くことができる。これにより、投影部125の位置を調整することができる。図17(a)は、投影部125と反射部130との間の距離が長い状態を示し、図17(b)は、投影部125と反射部130との間の距離が短い状態を示している。
 図17(a)及び図17(b)において、投影部125の一端から出射された光L2の光路と、投影部125の別の端から出射された光L3の光路と、を示す。図17(a)の例では、光L3は、反射部130において反射され、瞳孔150へ入射する。一方、反射部130において反射された光L2の一部は、瞳孔150へ入射していない。このため、観視者60は、例えば像の右端を見ることができない。
 これに対して図17(b)のように、反射部130と投影部125との間の距離を短くする。これにより、光L2の反射部130における拡がりが抑制される。投影部の端から出射された光が瞳孔に入射するため正しい虚像を見ることができる。
 図18(a)及び図18(b)は、実施形態に係る画像表示装置を例示する模式図である。
 図18(a)及び図18(b)においては、位置制御部126の一例として位置制御部126bを用いている。図18(a)及び図18(b)に表した例では、位置制御部126bによって、投影部125と反射部130と相対的配置が可変である。
 例えば、反射部130は、第1面11pに沿って設けられている。第1面11pに沿った方向Dxにおいて、投影部125の配置が可変である。例えば、方向Dxは、投影部125(表示部110)から出射された光の反射部130における入射方向(例えばDL1)と反射方向(DL2)とを含む平面に対して平行である。この例では、方向Dxは、X軸方向に対して平行である。観視者60の左右方向において、投影部125と反射部130との相対的配置が可変である。
 位置制御部126bには、X軸方向に沿った長孔32が設けられている。投影部125に固定された可動軸52は、長孔32を通り、長孔32内を滑って動くことができる。これにより、観視者60の左右方向において、投影部125の位置を調整することができる。図18(a)は、投影部125を右側に配置した状態を示し、図18(b)は、投影部125を左側に配置した状態を示す。例えば、図18(a)における投影部125と保持部320との間の距離は、図18(b)における投影部125と保持部320との間の距離よりも短い。
 図18(a)に表したように、この例では、投影部125から出射された光L2の一部が瞳孔150へ入射していない。このため、観視者60は、例えば、像の右端を見ることができない。これに対して、図18(b)のように、投影部125を左側へ移動させる。これにより、光L2は瞳孔150へ入射する。投影部の端から出射された光が瞳孔に入射するため正しい虚像を見ることができる。投影部125の左右方向の移動に伴って、観視者60から見た像も左右方向に移動する。
 図19(a)及び図19(b)は、実施形態に係る画像表示装置を例示する模式図である。図19(a)及び図19(b)は、観視者60の横方向から見た側面図である。図19(a)及び図19(b)においては、位置制御部126の一例として位置制御部126cを用いている。図19(a)及び図19(b)に表した例では、位置制御部126cによって、投影部125と反射部130と相対的配置が可変である。
 例えば、反射部130は、第1面11pに沿って設けられている。第1面11pに沿った方向Dzにおいて、投影部125の配置が可変である。方向Dzは、図18(a)において説明した第1方向Dxに対して垂直な方向である。この例では、方向Dzは、Z軸方向に対して平行である。観視者60の上下方向において、投影部125と反射部130との相対的配置が可変である。
 位置制御部126cには、Z軸方向に沿った長孔33が設けられている。投影部125に固定された可動軸53は、長孔33を通り、長孔33内を滑って動くことができる。これにより、観視者60の上下方向において、投影部125の位置を調整することができる。図19(a)は、投影部125を下側に配置した状態を示し、図19(b)は、投影部125を上側に配置した状態を示す。
 図19(a)に表したように、この例では、投影部125から出射された光L2の一部が瞳孔150へ入射していない。このため、観視者60は、例えば、像の下端を見ることができない。これに対して、図19(b)のように、投影部125を上側へ移動させる。これにより、光L2は瞳孔150へ入射する。投影部の端から出射された光が瞳孔に入射するため正しい虚像を見ることができる。投影部125の上下方向の移動に伴って、観視者60から見た像も上下方向に移動する。
 図20(a)及び図20(b)は、実施形態に係る画像表示装置を例示する模式図である。図20(a)及び図20(b)においては、位置制御部126の一例として位置制御部126dを用いている。位置制御部126dによって、投影部125と反射部130と相対的配置が可変である。
 例えば、光学部120は、光軸120aを有する。位置制御部126dによって、光軸120aと第1面11pとの間の角度が可変である。すなわち、位置制御部126dによって、画像情報を含む画像光L1の反射部130における入射方向DLaが可変である。
 この例では、位置制御部126dは、回転軸部54を有する。投影部125は、回転軸部54によって保持されている。回転軸部54を中心に投影部125を回転させることができる。例えば、X-Y平面内において投影部125を回転させることができる。
 図20(a)は、画像光L1の反射部130への入射角が大きい状態を示し、図20(b)は、画像光L1の反射部130への入射角が小さい状態を示す。
 このように、投影部125を回転させることで、反射部130における画像光L1の入射方向DLaと反射方向DLbとを調整することができる。これにより、像が見える方向を調整することができる。
 図21(a)及び図21(b)は、実施形態に係る画像表示装置を例示する模式図である。図21(a)に表した例においては、位置制御部126dによって、画像情報を含む画像光L1の反射部130における入射方向DLaが可変である。投影部125には、取付部55が設けられている。例えば、取付部55は、球の一部の形状を有する。位置制御部126dには、開口部35が設けられている。例えば、開口部35は、取付部55の少なくとも一部を覆っている。位置制御部126dによって取付部55が保持され、開口部35内で取付部55を回転させることができる。これにより、上下方向及び左右方向において投影部125を回転させることができ、像が見える方向を調整することができる。
 例えば、投影部125の配置を変更せずに、反射部130の位置を変更することで、虚像の位置を調整する参考例の方法がある。しかし、眼鏡型の画像表示装置では、使用時において、眼鏡フレームと眼鏡レンズ(反射部130)との相対的配置は実質的に固定されている。このため、前述のように、観視者60の瞳孔150と反射部130との相対的配置は実質的に固定されており、反射部130の位置を変更することが困難な場合がある。これに対して、実施形態においては、位置制御部126によって、投影部125の配置を変更する。これにより、例えば、反射部130と投影部125との相対的配置の調整において自由度が高まる。
 以上説明した位置制御部126の機構は一例であり、実施形態は、同様に投影部の位置を調整することができる任意の形態を含む。さらに、以上説明した位置制御部126の機構を複数組み合わせてもよい。例えば、図21(b)に表した位置制御部126eは、X-Y平面内における回転機構と、左右方向における位置調整機構と、を組み合わせた例である。実施形態においては、組み合わせに用いる機構及び機構の数は、任意である。これにより、投影部125を適切な位置に配置し、像の位置を調整することができ、見易い表示を得ることができる。
 図22は、実施形態に係る画像表示装置のシステム構成の一例を例示している。
 図22に表したように、回路部140は、例えば、インターフェース42、処理回路(プロセッサ)43、及びメモリ44を含む。
 例えば、回路部140は、インターフェース42を介して、外部の記憶媒体やネットワークと接続され、対象画像(入力画像)を取得する。外部との接続には、有線及び無線のいずれの方法を用いてもよい。ユーザ情報及びステップS120、S140、S150において観視者60によって入力される情報などは、インターフェース42を介して回路部140に入力されてもよい。
 メモリ44には、例えば取得した対象画像を処理するプログラム45が記憶されている。例えばプログラム45に基づいて対象画像が適宜補正され、これにより、表示部110において適切な表示が行われる。プログラム45は、予めメモリ44に記憶された状態で提供されてもよいし、CD-ROM等の記憶媒体やネットワークを介して提供され、適宜インストールされてもよい。
 メモリ44において、画像情報が保持されていてもよい。例えば、第1画像M1、第1パターンP1及び第2パターンP2などの情報は、メモリ44に記憶されていてもよい。例えば、メモリ44の一部は、複数の補正係数を記憶する記憶部144に相当する。
 回路部140は、センサ46を含んでもよい。センサ46には、例えば、カメラ、マイク、位置センサ又は加速度センサなどの任意のセンサを用いることができる。例えば、センサ46から得られる情報に基づいて、表示部110に表示される画像を適宜変更する。これにより、画像表示装置の利便性や見易さを向上させることができる。投影部125と反射部130との相対的配置に関する位置情報は、センサ46によって検出されてもよい。
 処理回路43において、センサ46から得られる情報や画像情報などが、プログラム45に基づいて処理される。このようにして得られた画像情報が、回路部140から表示部110に入力され、画像表示装置において表示が行われる。例えば、処理回路43の一部は、補正部141及び処理部143に相当し、調整部142及び補正部141における処理は、プログラム45に基づいて、処理回路43において行われる。
 なお、図22に表した例は、実施形態に係る画像表示装置の一例であり、必ずしも実際のモジュールとは一致しない場合がある。
 回路部140の各ブロックの一部、又は全部には、LSI(Large Scale Integration)等の集積回路またはIC(Integrated Circuit)チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、LSIに限らず、専用回路又は汎用プロセッサを用いてもよい。
 (第4の実施形態)
 本実施形態は、補正係数によって観測画像のアスペクト比を補正する点において、第1の実施形態と異なる。
 図23(a)~図23(c)は、第4の実施形態に係る画像表示装置の処理に用いられるテストパターンを例示する模式図である。
 本実施形態では、第1画像は、第3パターン(第3のテストパターン)を含む。図23(a)は、第3パターンP3を含む第1画像M1の例である。第1画像M1に含まれる第3パターンP3は、例えば円形である。図23(b)は、第1画像M1から第1補正係数を用いて生成された表示画像(第1表示画像MD1)である。図23(c)は、第1画像M1から第2補正係数を用いて生成された表示画像(第2表示画像MD2)である。
 図23(b)の第1表示画像MD1に含まれる第4パターンP4、図23(c)の第2表示画像MD2に含まれる第5パターンP5は、それぞれ、第3パターンP3が補正されたパターンである。第3パターンP3のアスペクト比、第4パターンP4のアスペクト比、および第5パターンP5のアスペクト比は、互いに異なる。画像表示装置101は、互いにアスペクト比が異なる複数の表示画像を表示する。観視者60に表示画像を選択させることにより、観視者60にとって適切なアスペクト比を持つ補正係数を選択させる処理が行われる。これにより、観視者60は、簡便に表示を見易い状態に調整することができる。画像表示装置101は、選択された補正係数に基づいて第2入力画像データを補正した第2補正画像を生成し、第2補正画像データに基づく第2光を出射する。
 実施形態によれば、観視者が表示を見易い状態に調整することができる画像表示装置及び画像処理装置が提供できる。
 なお、本願明細書において、「垂直」及び「平行」は、厳密な垂直及び厳密な平行だけではなく、例えば製造工程におけるばらつきなどを含むものであり、実質的に垂直及び実質的に平行であれば良い。
 以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、投影部、反射部、回路部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
 また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
 その他、本発明の実施の形態として上述した画像表示装置及び画像処理装置を基にして、当業者が適宜設計変更して実施し得る全ての画像表示装置及び画像処理装置も、本発明の要旨を包含する限り、本発明の範囲に属する。
 その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
 本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (18)

  1.  光学部と、
     第1入力画像データと第2入力画像データが入力される制御部であって、前記第1入力画像データを補正した第1補正画像データに基づく第1光を前記光学部に出射させ、前記第1入力画像データと前記第1補正画像データとの関係を示す第1補正情報を採用する信号を受けた場合に、前記第1補正情報に基づいて前記第2入力画像データを補正した第2補正画像データに基づく第2光を前記光学部に出射させる制御部と、
     を備えた画像表示装置。
  2.  前記制御部は、前記第1入力画像データを補正した前記第1補正画像データに基づく前記第1光を前記光学部に出射させ、前記第1入力画像データを補正した前記第1補正画像データと異なる第3補正画像データに基づく第3光を前記光学部に出射させ、前記第1入力画像データと前記第1補正画像データとの関係を示す前記第1補正情報を採用する信号を受けた場合に、前記第1補正情報に基づいて前記第2入力画像データを補正した前記第2補正画像データに基づく前記第2光を前記光学部に出射させる、請求項1記載の画像表示装置。
  3.  前記第1補正画像データは、前記第1入力画像データの少なくとも一部が補正された第1像のデータを含み、
     前記第3補正画像データは、前記第1入力画像データの前記少なくとも一部が補正された第2像のデータを含み、
     前記第1像の形状は、前記第2像の形状とは異なる、請求項2記載の画像表示装置。
  4.  前記第1像は、第1色の第3像と、第2色の第4像と、を含み、
     前記第2像は、前記第1色の第5像と、前記第2色の第6像と、を含み、
     前記第3像と前記第4像との位置関係は、前記第5像と前記第6像との位置関係とは異なる、請求項3記載の画像表示装置。
  5.  前記光学部から出射された前記第1光の少なくとも一部及び前記第2光の少なくとも一部を反射する反射部をさらに備える、請求項1記載の画像表示装置。
  6.  前記制御部には、さらに第3入力画像データが入力され、
     前記光学部は、前記第3入力画像データに基づく表示画像の情報と、前記表示画像を用いて、前記光学部と前記反射部との相対的配置、前記光学部と観視者の眼との相対的配置、及び、前記反射部と前記眼との相対的配置の少なくともいずれかを変えるように前記観視者に指示する画像の情報と、を含む光を出射する、請求項5記載の画像表示装置。
  7.  前記第1入力画像データは、第1色に関する第1色入力画像データと、第2色に関する第2色入力画像データと、を含み、
     前記第1補正画像データは、前記第1色に関する第1色補正画像データと、前記第2色に関する第2色補正画像データと、を含み、
     前記第1補正情報は、前記第1色入力画像データと前記第1色補正画像データとの関係を示す第1色補正情報と、前記第2色入力画像データと前記第2色補正画像データとの関係を示し前記第1色補正情報とは異なる第2色補正情報と、を含む、請求項1記載の画像表示装置。
  8.  前記制御部は、前記第1補正情報と対応付けられ観視者を示す観視者情報を記憶し、前記観視者情報が入力されると前記第2補正画像データに基づく第2光を前記光学部に出射させる、請求項1記載の画像表示装置。
  9.  前記第3入力画像データに基づく前記表示画像は、前記表示画像の外周を示すパターンを含む、請求項6記載の画像表示装置。
  10.  前記パターンの色は、赤、青及び緑のいずれかである、請求項9記載の画像表示装置。
  11.  前記第1入力画像データは、第1パターンを含む第1画像を表すデータであり、
     前記第1パターンは、前記第1画像中において第1方向に延在する第1要素を含む、請求項1記載の画像表示装置。
  12.  前記光学部から出射された前記第1光の少なくとも一部及び前記第2光の少なくとも一部を反射する反射部をさらに備え、
     前記第1方向は、前記光学部と前記反射部との相対的配置に基づいて決定される、請求項11記載の画像表示装置。
  13.  前記第1パターンは、前記第1画像中において、前記第1方向に延在し前記第1方向と交差する第2方向において前記第1要素と並ぶ第2要素をさらに含む、請求項12記載の画像表示装置。
  14.  前記光学部から出射された前記第1光の少なくとも一部及び前記第2光の少なくとも一部を反射する反射部をさらに備え、
     前記第1補正情報は、前記光学部と前記反射部との位置関係に基づいて定められた請求項1記載の画像表示装置。
  15.  第1入力画像データと第2入力画像データが入力され、前記第1入力画像データを補正した第1補正画像データを出力し、前記第1入力画像データと前記第1補正画像データとの関係を示す第1補正情報を採用する信号を受けた場合に、前記第1補正情報に基づいて前記第2入力画像データを補正した第2補正画像データを出力する制御部を備える画像処理装置。
  16.  前記制御部は、
      前記第1入力画像データを補正した前記第1補正画像データ及び前記第1入力画像データを補正した、前記第1補正画像データと異なる第3補正画像データを出力し、
      前記第1入力画像データと前記第1補正画像データとの関係を示す前記第1補正情報を採用する信号を受けた場合に、前記第1補正情報に基づいて前記第2入力画像データを補正した前記第2補正画像データを出力する、請求項15記載の画像処理装置。
  17.  前記第1補正画像データは、前記第1入力画像データの少なくとも一部が補正された第1像のデータを含み、
     前記第3補正画像データは、前記第1入力画像データの前記少なくとも一部が補正された第2像のデータを含み、
     前記第1像の形状は、前記第2像の形状とは異なる、請求項16記載の画像処理装置。
  18.  前記第1像は、第1色の第3像と、第2色の第4像と、を含み、
     前記第2像は、前記第1色の第5像と、前記第2色の第6像と、を含み、
     前記第3像と前記第4像との位置関係は、前記第5像と前記第6像との位置関係とは異なる、請求項17記載の画像処理装置。
PCT/JP2016/087766 2016-01-29 2016-12-19 画像表示装置及び画像処理装置 WO2017130603A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/914,456 US20180197503A1 (en) 2016-01-29 2018-03-07 Image display device and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016015597A JP2017134327A (ja) 2016-01-29 2016-01-29 画像表示装置及び画像処理装置
JP2016-015597 2016-01-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/914,456 Continuation US20180197503A1 (en) 2016-01-29 2018-03-07 Image display device and image processing device

Publications (1)

Publication Number Publication Date
WO2017130603A1 true WO2017130603A1 (ja) 2017-08-03

Family

ID=59397753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087766 WO2017130603A1 (ja) 2016-01-29 2016-12-19 画像表示装置及び画像処理装置

Country Status (3)

Country Link
US (1) US20180197503A1 (ja)
JP (1) JP2017134327A (ja)
WO (1) WO2017130603A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11215828B1 (en) * 2018-08-03 2022-01-04 Rockwell Collins, Inc. In field visor characterization for visor projected displays
US11086161B2 (en) * 2018-09-26 2021-08-10 Facebook Technologies, Llc Active alignment of pancake lens based display assemblies
JP2020113916A (ja) * 2019-01-15 2020-07-27 サン電子株式会社 頭部装着型表示装置及びコンピュータプログラム
JP2022086074A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 虚像表示装置、光学ユニット、虚像表示装置の調整方法及び虚像表示装置の製造方法
US11626057B1 (en) * 2022-04-01 2023-04-11 Meta Platforms Technologies, Llc Real-time color conversion in display panels under thermal shifts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10327373A (ja) * 1997-05-26 1998-12-08 Mitsubishi Electric Corp 接眼映像表示装置
JP2011160315A (ja) * 2010-02-03 2011-08-18 Seiko Epson Corp プロジェクター及び画像投射方法
JP2015220666A (ja) * 2014-05-20 2015-12-07 株式会社東芝 表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5094430B2 (ja) * 2008-01-10 2012-12-12 キヤノン株式会社 画像処理方法、画像処理装置、システム
JP5341462B2 (ja) * 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
US20150077312A1 (en) * 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
CN108364623B (zh) * 2012-02-22 2021-09-07 索尼公司 信息处理设备、信息处理方法和计算机可读介质
JP6364936B2 (ja) * 2014-05-07 2018-08-01 セイコーエプソン株式会社 画像表示装置
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10327373A (ja) * 1997-05-26 1998-12-08 Mitsubishi Electric Corp 接眼映像表示装置
JP2011160315A (ja) * 2010-02-03 2011-08-18 Seiko Epson Corp プロジェクター及び画像投射方法
JP2015220666A (ja) * 2014-05-20 2015-12-07 株式会社東芝 表示装置

Also Published As

Publication number Publication date
JP2017134327A (ja) 2017-08-03
US20180197503A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
JP5886896B2 (ja) 表示装置
WO2017130603A1 (ja) 画像表示装置及び画像処理装置
US10390006B2 (en) Method and device for projecting a 3-D viewable image
JP6658529B2 (ja) 表示装置、表示装置の駆動方法、及び、電子機器
US8269692B2 (en) Image display apparatus, display method thereof, program, integrated circuit, goggle-type head-mounted display, vehicle, binoculars, and desktop display
US11003411B2 (en) Image display system, image display device and method of controlling image display system
US10642350B2 (en) Virtual image display device
WO2013140697A1 (ja) 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US10701351B2 (en) Virtual image display device
US11789274B2 (en) Displays and methods of operating thereof
CN114600035A (zh) 瞳孔匹配的具有遮挡能力的光学透视头戴式显示器
JP6656213B2 (ja) 画像表示装置
TWI663427B (zh) 頭戴式顯示器及利用子像素位移之色差補償方法
US10884254B2 (en) Image display device having ocular optical system causing images to overlap in a blending area
US20200033595A1 (en) Method and system for calibrating a wearable heads-up display having multiple exit pupils
JP2017026943A (ja) 画像表示装置及び画像処理装置
WO2010103974A1 (ja) 画像表示装置
US10930185B2 (en) Information processing system, information processing apparatus, output apparatus, program, and recording medium
JP2017026704A (ja) 表示装置および眼鏡型表示装置
JP2020079829A (ja) ヘッドマウントディスプレイ、及び表示方法
WO2022064564A1 (ja) ヘッドマウントディスプレイ
WO2023210115A1 (ja) 光学モジュールの調整方法及び検査方法
JP2017026944A (ja) 表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16888187

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16888187

Country of ref document: EP

Kind code of ref document: A1