WO2019221105A1 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
WO2019221105A1
WO2019221105A1 PCT/JP2019/019075 JP2019019075W WO2019221105A1 WO 2019221105 A1 WO2019221105 A1 WO 2019221105A1 JP 2019019075 W JP2019019075 W JP 2019019075W WO 2019221105 A1 WO2019221105 A1 WO 2019221105A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
display device
area
phase modulation
Prior art date
Application number
PCT/JP2019/019075
Other languages
English (en)
French (fr)
Inventor
秋元　修
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/052,613 priority Critical patent/US11328643B2/en
Priority to JP2020519648A priority patent/JP7325408B2/ja
Priority to CN201980030419.2A priority patent/CN112106132A/zh
Publication of WO2019221105A1 publication Critical patent/WO2019221105A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present disclosure relates to a display device that performs image display with partially changed resolution.
  • a technique for improving the visibility by partially increasing the resolution only in the observer's gaze area.
  • a technique for changing the resolution so as not to give an uncomfortable feeling to the appearance of the entire image.
  • a display device displays at least one display element that performs image display with different resolutions for each of a plurality of image regions in an original image, and image display with different resolutions for each of the plurality of image regions. And an optical element that optically corrects at least one of distortion of a display image caused by the operation and an image display position between a plurality of image areas.
  • the display element performs image display with different resolutions for each of a plurality of image regions in the original image. At least one of the distortion of the display image caused by performing image display with different resolutions for each of the plurality of image areas and the position of image display between the plurality of image areas is optically corrected by the optical element.
  • FIG. 3 is a configuration diagram schematically illustrating a first configuration example of a display device according to a first embodiment of the present disclosure. It is a block diagram which shows schematically the 2nd structural example of the display apparatus which concerns on 1st Embodiment. It is explanatory drawing which shows the outline
  • First embodiment (display device for changing the resolution of an original image partially)
  • Comparative Example (Fig. 1) 1.1 Configuration and operation of the display device according to the first embodiment (FIGS. 2 to 8) 1.2 Effects Second Embodiment (Display Device that Performs Image Display Based on Gaze Detection) (FIGS. 9 to 10) 3.
  • Third embodiment (display device including two image display elements) (FIGS. 11 to 13) 4).
  • FIG. 1 shows an overview of a display device 101 according to a comparative example.
  • the display device 101 includes a first display unit 110, a second display unit 120, a beam splitter 130, and an optical element 140.
  • the first display unit 110 and the second display unit 120 are composed of, for example, an OLED (Organic Light Emitting Diode) display.
  • OLED Organic Light Emitting Diode
  • the second display unit 120 partially displays only the image area that is desired to have a higher definition than the original image.
  • the first display unit 110 performs image display of the entire image area other than the image area to be made high definition.
  • the entire display image by the first display unit 110 and the partial display image by the second display unit 120 are synthesized via the beam splitter 130 and the optical element 140, and the observer The light is emitted toward the eye 100. As a result, the observer can observe a partially high-definition image.
  • the image area to be high-definition may be fixed to the central area of the image, but in the display device 101, for example, by changing the arrangement angle of the beam splitter 130, It is possible to change an image area desired to be high definition to an arbitrary area. At this time, it is also possible to detect the observer's gaze area by the gaze sensor and set the gaze area as an image area where high definition is desired.
  • the display device 101 it is possible to move an image region desired to be high-definition by mechanically moving the beam splitter 130, for example.
  • this method it is difficult to synthesize the entire display image by the first display unit 110 and the partial display image by the second display unit 120 while maintaining the positional accuracy in pixel units.
  • FIG. 2 schematically illustrates a first configuration example of the display device according to the first embodiment of the present disclosure.
  • FIG. 3 schematically illustrates a second configuration example of the display device according to the first embodiment of the present disclosure.
  • the display device according to the first embodiment is suitable for a head mounted display, for example.
  • the display device according to the first embodiment can be applied to devices other than the head mounted display.
  • the display device includes an image display element 10 and an optical element (hereinafter referred to as “correction optical element”) that optically corrects distortion of a display image of the image display element 10. Yes.
  • the display device further includes a display element drive circuit 11, a phase modulation element drive circuit 12, and a signal processing unit 13.
  • the image signal Vin corresponding to the original image is input to the signal processing unit 13.
  • the signal processing unit 13 performs image processing on the image signal Vin so that the image display element 10 displays the original image in a state in which the resolution is different for each of the plurality of image regions.
  • the image display element 10 is composed of, for example, a liquid crystal display or an OLED display.
  • the display element driving circuit 11 drives the image display element 10 and causes the image display element 10 to display an image based on the image signal Vin after the signal processing by the signal processing unit 13.
  • the image display element 10 displays an image with different resolutions for each of a plurality of image areas in the original image.
  • the plurality of image areas include a first image area and a second image area.
  • the image display element 10 performs image display so that the resolution of the first image area is higher than that of the second image area.
  • the correction optical element is composed of an element having an optical action such as a free-form surface lens capable of optically enlarging or reducing an arbitrary area of a display image, for example, an optical phase modulation element.
  • the optical phase modulation element is composed of an SLM (Spatial Light Modulator) such as a liquid crystal panel. As shown in FIGS. 7 and 8 to be described later, the optical phase modulation element can change the optical action in units of pixels by changing the phase distribution (refractive index distribution) with respect to the light passing through the element.
  • the correction optical element optically corrects the distortion of the display image on the image display element 10 caused by performing image display with different resolutions for each of a plurality of image areas.
  • the display device 1 includes a transmissive phase modulation element 20 as a correction optical element.
  • the phase modulation element driving circuit 12 has a phase distribution (refractive index distribution) in the transmissive phase modulation element 20 so that distortion of the display image is optically corrected according to the state of the image displayed on the image display element 10.
  • the image display element 10 and the transmissive phase modulation element 20 are arranged on the same optical path.
  • the light of the display image displayed on the image display element 10 is transmitted through the transmissive phase modulation element 20 so that the distortion of the display image is optically corrected and then emitted toward the eye 100 of the observer.
  • the observer can observe a partially high-definition image.
  • the display device 1A according to the second configuration example shown in FIG. 3 includes a reflective phase modulation element 20A as a correction optical element.
  • the display device 1 ⁇ / b> A according to the second configuration example further includes a polarization beam splitter 30 and a ⁇ / 4 plate 31.
  • the phase modulation element driving circuit 12 has a phase distribution (refractive index distribution) in the reflective phase modulation element 20A so that distortion of the display image is optically corrected according to the state of the image displayed on the image display element 10.
  • the image display element 10 and the reflective phase modulation element 20 ⁇ / b> A are arranged to face each other on two different faces of the polarization beam splitter 30 that face each other.
  • the ⁇ / 4 plate 31 is inserted between the reflective phase modulation element 20 ⁇ / b> A and the polarization beam splitter 30.
  • the ⁇ / 4 plate 31 rotates the direction of polarization so that the reflected light from the reflective phase modulation element 20A becomes polarized light reflected by the polarization beam splitter 30.
  • a polarizing plate may be further inserted between the ⁇ / 4 plate 31 and the reflective phase modulation element 20A in order to improve image characteristics, particularly contrast.
  • the light of the display image displayed on the image display element 10 enters the reflective phase modulation element 20 ⁇ / b> A via the polarization beam splitter 30 and the ⁇ / 4 plate 31.
  • the light of the display image is reflected by the reflective phase modulation element 20 ⁇ / b> A, so that the distortion of the display image is optically corrected and then applied to the observer's eye 100 via the ⁇ / 4 plate 31 and the polarization beam splitter 30. It is emitted toward. As a result, the observer can observe a partially high-definition image.
  • FIG. 4 shows an outline of image display on the image display element 10 in the display devices 1 and 1A.
  • FIG. 5 shows an outline of correction of distortion of the display image in the image display element 10.
  • FIG. 6 shows a specific example of image display by the display devices 1 and 1A.
  • Display devices 1, 1A display images with different resolutions for each of a plurality of image regions in the original image.
  • the plurality of image areas are two image areas of a first image area and a second image area.
  • three or more image areas may be set and displayed with different resolutions in three or more stages.
  • there may be a plurality of first image areas (a plurality of areas for increasing the resolution may be present).
  • the resolution of the specific first image area 51 in the original image is higher than that of the second image area 52 other than the first image area 51.
  • objects can be seen well only at the gazing point (the center axis of the eyeball, that is, the position of the object looking at the line of sight) and its narrow periphery, and the image is blurred in other areas.
  • the phenomenon of being visible is known (usually an area of ⁇ 5 ° around the line of sight).
  • the observer's gaze area is often the central area of the image. Therefore, as shown in FIG.
  • the first image area 51 is set as a central area of the original image, for example, and the first image area 51 is displayed on the image display element 10 with a relatively high resolution.
  • the second image area 52 is set as a surrounding area other than the central area of the original image, for example, and the second image area 52 is displayed on the image display element 10 with a relatively low resolution.
  • the original image has 4K resolution (horizontal pixels are 4096 pixels).
  • the first image region 51 is, for example, a central region (horizontal pixels are 1024 pixels), and the second image region 52 is a peripheral region other than the central region.
  • the entire horizontal display resolution of the image display element 10 is 2048 pixels.
  • image processing is performed such that the resolution of the first image area 51 remains the original image and the second image area 52 is thinned out of pixels.
  • the display element driving circuit 11 displays an image based on the image signal Vin after the signal processing by the signal processing unit 13 on the image display element 10.
  • the first image area 51A in the image display element 10 is displayed with a relatively high resolution
  • the second image area 52A in the image display element 10 is displayed with a relatively low resolution.
  • the first image in the image display element 10 with respect to the image ratio between the first image region 51 and the second image region 52 in the original image.
  • the image ratios of the area 51A and the second image area 52A are displayed differently.
  • the image ratio of the first image region 51A in the image display element 10 to the first image region 51 in the original image is increased.
  • the image ratio of the second image region 52A in the image display element 10 is smaller than the second image region 52 in the original image.
  • the distortion of the display image is optically corrected by the correction optical element (transmission type phase modulation element 20 or reflection type phase modulation element 20A).
  • the correction optical element optically reduces the image of the first image area 51A on the image display element 10 (lowers the optical magnification), and optically enlarges the image of the second image area 52A. Correct (to increase the optical magnification).
  • the observation image (display image after optical correction) in the eye 100 of the observer has a high resolution of the gaze area and a little uncomfortable appearance as the entire image.
  • the correction optical element is composed of an optical phase modulation element
  • the lens characteristics such as the focal length can be changed to an arbitrary state. Therefore, the correction optical element can perform not only distortion of the display image but also optical correction according to the visual acuity of the observer. Thereby, you may add a visual acuity adjustment function.
  • the central area of the original image is set as the area for increasing the resolution (first image area 51), but the area for increasing the resolution may be an area other than the central area of the original image. Good.
  • optical phase modulation element (Specific example of optical phase modulation element) A specific example of an optical phase modulation element (transmission type phase modulation element 20 or reflection type phase modulation element 20A) as a correction optical element will be described.
  • FIG. 7 shows a configuration example of the optical phase modulation element.
  • FIG. 7 shows an example in which the optical phase modulation element is composed of a phase modulation liquid crystal panel.
  • the optical phase modulation element includes, for example, a first glass substrate and a second glass substrate that are arranged to face each other.
  • a liquid crystal layer including liquid crystal molecules 23 is sealed between the first glass substrate and the second glass substrate by a sealing member (not shown).
  • a counter electrode (common electrode) 22 is provided on the first glass substrate.
  • a plurality of pixel electrodes 21 are provided on the second glass substrate.
  • both the counter electrode 22 and the pixel electrode 21 are made of transparent electrodes that transmit light.
  • the optical phase modulation element is the reflection type phase modulation element 20A
  • the counter electrode 22 is configured by a transparent electrode that transmits light
  • the pixel electrode 21 is configured by a reflective electrode that reflects light.
  • a common voltage is applied to the counter electrode 22.
  • An applied voltage corresponding to the input signal is applied to the plurality of pixel electrodes 21.
  • the inclination of the liquid crystal molecules 23 in the optical phase modulation element changes according to the applied voltage.
  • the phase distribution (refractive index distribution) for the light passing through the element changes as shown in the lower part of FIG. Thereby, the optical action can be changed in units of pixels.
  • the material that performs optical phase modulation is not limited to liquid crystal, and may be an electro-optic crystal.
  • FIG. 8 shows application examples of the optical phase modulation element to various optical elements.
  • various lenses such as a convex lens, a concave lens, a lens array, a Fresnel lens, and a free-form surface lens are known as various optical elements.
  • the optical path length is changed by changing the thickness of the lens material.
  • the optical path length can be changed by changing the refractive index distribution in the element.
  • an arbitrary image region can be partially displayed with high resolution.
  • a visual adjustment function can be added by the correction optical element.
  • the overall resolution of the image display element 10 is lower than that of the original image, it is possible to partially display at a high resolution. Thereby, for example, the resolution of the gaze area can be relatively increased while taking advantage of the performance of the image display element 10.
  • FIG. 9 schematically illustrates a first configuration example of the display device according to the second embodiment of the present disclosure.
  • the display device 1B illustrated in FIG. 9 further includes a line-of-sight detection unit 40 as compared with the configuration of the display device 1A illustrated in FIG.
  • the line-of-sight detection unit 40 detects the observer's line-of-sight position by detecting the observer's line-of-sight position via the polarization beam splitter 30.
  • the line-of-sight detection unit 40 may be, for example, an infrared detection method using an infrared sensor or a visible light detection method using a visible light image sensor.
  • the line-of-sight detection unit 40 outputs the detection result to the signal processing unit 13. Based on the detection result of the line-of-sight detection unit 40, the signal processing unit 13 sets the gaze area as the first image area 51 and the area other than the gaze area as the second image area 52. Image processing may be performed on the image signal Vin so that the gaze area is displayed with a relatively high resolution and the area other than the gaze area is displayed with a relatively low resolution.
  • a function that allows an observer to arbitrarily specify an area for high-resolution display may be added.
  • it may be configured such that an area to be displayed with high resolution is determined based on the detection result of the line-of-sight detection unit 40 or designated by the observer.
  • partial high-resolution display is performed based on the detection result by the line-of-sight detection unit 40, so that the line-of-sight position of the observer is Even if it has changed, high-resolution display of the gaze area can always be performed by tracking the line of sight.
  • the display device 1 (FIG. 2) using the transmission phase modulation element 20 as the correction optical element can similarly be configured to include the line-of-sight detection unit 40.
  • FIG. 10 schematically illustrates a second configuration example of the display apparatus according to the second embodiment of the present disclosure.
  • the display device 1C shown in FIG. 10 further includes line-of-sight detection units 40A and 40B in addition to the configuration of the display device 1 shown in FIG.
  • the line-of-sight detection unit 40 ⁇ / b> A is disposed between the transmission type phase modulation element 20 and the eye 100.
  • the line-of-sight detection unit 40B is disposed between the image display element 10 and the transmissive phase modulation element 20.
  • the line-of-sight detection units 40A and 40B detect the observer's gaze area by detecting the line-of-sight position of the observer, similarly to the line-of-sight detection unit 40 in the display device 1B shown in FIG.
  • the line-of-sight detection units 40A and 40B may be, for example, an infrared detection system using an infrared sensor or a visible light detection system using a visible light image sensor.
  • the line-of-sight detection units 40A and 40B output detection results to the signal processing unit 13, respectively.
  • the signal processing unit 13 sets the gaze area as the above-described first image area 51 and the area other than the gaze area as the second image area 52 based on the detection results of the line-of-sight detection units 40A and 40B, and the image display element. 10, the image processing may be performed on the image signal Vin so that the gaze area is displayed with a relatively high resolution and the area other than the gaze area is displayed with a relatively low resolution.
  • the line-of-sight detection unit 40A and the line-of-sight detection unit 40B may be arranged, and the line-of-sight position of the observer may be detected by only one of them.
  • FIG. 11 schematically illustrates a first configuration example of a display device according to the third embodiment of the present disclosure.
  • FIG. 12 shows an outline of image display in the display device 1D according to the third embodiment.
  • the display device 1D shown in FIG. 11 has a high-definition image display element drive circuit 11A and a normal image display element drive circuit instead of the display element drive circuit 11 with respect to the configuration of the display device 1A shown in FIG. 11B.
  • the high-definition image display element 10 ⁇ / b> A corresponds to a specific example of “first display element” in the technology of the present disclosure.
  • the normal image display element 10B corresponds to a specific example of “second display element” in the technology of the present disclosure.
  • the high-definition image display element driving circuit 11A drives the high-definition image display element 10A and causes the image display element 10 to display an image based on the image signal Vin after the signal processing by the signal processing unit 13.
  • the normal image display element driving circuit 11B drives the normal image display element 10B and causes the image display element 10 to display an image based on the image signal Vin after the signal processing by the signal processing unit 13.
  • the high-definition image display element 10 ⁇ / b> A and the reflective phase modulation element 20 ⁇ / b> A are disposed opposite to each other on two different surfaces facing each other in the polarization beam splitter 30.
  • the normal image display element 10 ⁇ / b> B is disposed on the surface of the polarization beam splitter 30 that faces the eye 100.
  • the high-definition image display element 10A performs relatively high-resolution image display.
  • the normal image display element 10B displays an image with a relatively low and high resolution (normal resolution).
  • the polarizing beam splitter 30 corresponds to a specific example of “combining element” in the technology of the present disclosure.
  • the polarization beam splitter 30 combines the display image by the high-definition image display element 10A and the display image by the normal image display element 10B.
  • the polarization beam splitter 30 displays a display image by the high-definition image display element 10A in an area (gaze area) corresponding to the first image area 51 described above, and an area (gazing) corresponding to the second image area 52 described above.
  • the images are synthesized so that the display image by the normal image display element 10B is displayed in a region other than the region.
  • the reflection type phase modulation element 20 ⁇ / b> A optically corrects the image display position between the two image areas, the area corresponding to the first image area 51 and the area corresponding to the second image area 52.
  • the display device 1B illustrated in FIG. 11 further includes line-of-sight detection units 40A and 40B in addition to the configuration of the display device 1A illustrated in FIG.
  • the line-of-sight detection unit 40 ⁇ / b> A is disposed between the polarization beam splitter 30 and the eye 100.
  • the line-of-sight detection unit 40B is disposed on the surface side of the polarization beam splitter 30 where the normal image display element 10B is disposed.
  • Gaze detection units 40A and 40B detect the viewer's gaze position to detect the viewer's gaze area.
  • the line-of-sight detection units 40A and 40B may be, for example, an infrared detection system using an infrared sensor or a visible light detection system using a visible light image sensor.
  • the line-of-sight detection unit 40A and the line-of-sight detection unit 40B may be arranged, and the line-of-sight position of the observer may be detected by only one of them.
  • the line-of-sight detection units 40A and 40B output detection results to the signal processing unit 13, respectively. Based on the detection results of the line-of-sight detection units 40A and 40B, the signal processing unit 13 optically corrects the display position of the display image of the high-definition image display element 10A with respect to the display position of the display image of the normal image display element 10B.
  • the optical characteristics of the reflective phase modulation element 20A are controlled via the phase modulation element driving circuit 12 so that the display position of the display image of the high-definition image display element 10A corresponds to the gaze area. To do. Thereby, the display after the synthesis by the polarization beam splitter 30 has a relatively high resolution in the gaze area and a relatively low resolution in the area other than the gaze area.
  • FIG. 13 is a configuration diagram schematically showing a modification of the display device according to the third embodiment.
  • the display device 1E shown in FIG. 13 further includes an acceleration sensor 41 with respect to the configuration of the display device 1D shown in FIG.
  • the acceleration sensor 41 detects the movement of the observer's head when the display device 1D is configured as a head-mounted display, for example.
  • the signal processing unit 13 calculates, for example, the direction and distance of the observer's head movement based on the detection result of the acceleration sensor 41.
  • the signal processing unit 13 displays the display image of the high-definition image display element 10A based on the detection result of the visual line position by the visual line detection units 40A and 40B and the detection result of the movement of the observer's head by the acceleration sensor 41.
  • the optical characteristics of the reflective phase modulation element 20A are controlled via the phase modulation element drive circuit 12 so that the position is optically corrected.
  • the reflection type phase modulation element 20A displays the display position of the display image of the high-definition image display element 10A so that the display position of the display image by the high-definition image display element 10A moves in the moving direction of the observer's head. Is optically corrected. As a result, the motion of the image can be matched with the motion of the observer, and so-called “VR sickness” can be suppressed.
  • the display position of the display image by the high-definition image display element 10A is optically corrected using the reflection type phase modulation element 20A.
  • the reliability can be improved.
  • the position of the image region desired to be high-definition is changed by mechanically moving the beam splitter 130. Decreases.
  • the amount of image movement by the beam splitter 130 differs between the vicinity of the movable fulcrum of the beam splitter 130 and the place away from the movable fulcrum, it is difficult to correct the display position with high accuracy.
  • the display position can be corrected with high accuracy.
  • the display position of the display image is corrected by the high-definition image display element 10A
  • the display position is determined using the reflective phase modulation element 20A.
  • the distortion of the display image by the high-definition image display element 10A may be corrected.
  • this technique can also take the following structures.
  • image display is performed with different resolutions for each of the plurality of image areas, and at least one of distortion of the display image caused by the display and image display positions between the plurality of image areas is optically displayed. Since the optical correction is performed by the element, it is possible to perform display with less discomfort in the appearance of the entire image while partially changing the resolution.
  • At least one display element that displays an image with a different resolution for each of a plurality of image areas in the original image;
  • An optical element that optically corrects at least one of distortion of a display image caused by performing image display with a different resolution for each of the plurality of image areas and an image display position between the plurality of image areas.
  • a signal processing unit that performs image processing on the original image so that the original image is displayed in a state in which the resolution is different for each of the plurality of image regions;
  • the display device according to (1) further comprising: (3)
  • the plurality of image areas include at least one first image area and a second image area, The display device according to (1) or (2), wherein the at least one display element displays an image so that a resolution of the first image region is higher than that of the second image region.
  • the first image region includes a central region of an image;
  • the first image area includes a gaze area where an observer gazes
  • the display device according to (5) further including a detection unit that detects the gaze region.
  • the display device according to any one of (1) to (8), wherein the optical element is a transmissive phase modulation element.
  • the at least one display element includes a first display element that displays an image with a relatively high resolution, and a second display element that displays an image with a relatively low resolution.
  • the display device according to any one of (1) to (8), further including a combining element that combines the display image by the first display element and the display image by the second display element.
  • the optical element is a phase modulation element, and optically corrects the display position of the display image of the first display element with respect to the display position of the display image by the second display element, based on the line of sight of the observer The display device according to (11).
  • the optical element is a phase modulation element, and based on the movement of the observer's head, the display position of the display image of the first display element relative to the display position of the display image by the second display element is optically changed.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

本開示の表示装置は、元画像における複数の画像領域ごとに解像度を異ならせて画像表示を行う少なくとも１つの表示素子と、複数の画像領域ごとに解像度の異なる画像表示を行ったことによって生じる表示画像の歪み、および複数の画像領域間の画像表示の位置の少なくとも一方を光学的に補正する光学素子とを備える。

Description

表示装置
　本開示は、部分的に解像度を変えた画像表示を行う表示装置に関する。
　ＶＲ（バーチャルリアリティ）向けのヘッドマウントディスプレイにおいて、観察者の視線位置に応じた画像表示を行う技術が開発されている（例えば特許文献１参照）。
米国特許出願公開第２０１７／０２６２０５４号明細書
　例えばヘッドマウントディスプレイなどの表示装置では、観察者の注視領域のみ部分的に解像度を高めて視認性を向上させる技術の開発が望まれる。この場合、画像全体としての見え方に違和感を与えることがないように、解像度を変える技術の開発が望まれる。
　部分的に解像度を変えつつ、画像全体としての見え方に違和感の少ない表示を行うことが可能な表示装置を提供することが望ましい。
　本開示の一実施の形態に係る表示装置は、元画像における複数の画像領域ごとに解像度を異ならせて画像表示を行う少なくとも１つの表示素子と、複数の画像領域ごとに解像度の異なる画像表示を行ったことによって生じる表示画像の歪み、および複数の画像領域間の画像表示の位置の少なくとも一方を光学的に補正する光学素子とを備えるものである。
　本開示の一実施の形態に係る表示装置では、表示素子において、元画像における複数の画像領域ごとに解像度を異ならせて画像表示が行われる。複数の画像領域ごとに解像度の異なる画像表示を行ったことによって生じる表示画像の歪み、および複数の画像領域間の画像表示の位置の少なくとも一方が、光学素子によって光学的に補正される。
比較例に係る表示装置の概要を示す構成図である。 本開示の第１の実施の形態に係る表示装置の第１の構成例を概略的に示す構成図である。 第１の実施の形態に係る表示装置の第２の構成例を概略的に示す構成図である。 第１の実施の形態に係る表示装置における画像表示素子への画像表示の概要を示す説明図である。 第１の実施の形態に係る表示装置における表示画像の歪みの補正の概要を示す説明図である。 第１の実施の形態に係る表示装置による画像表示の具体例を示す説明図である。 光位相変調素子の一構成例を示す説明図である。 光位相変調素子の各種光学素子への適用例を示す説明図である。 第２の実施の形態に係る表示装置の第１の構成例を概略的に示す構成図である。 第２の実施の形態に係る表示装置の第２の構成例を概略的に示す構成図である。 第３の実施の形態に係る表示装置の一構成例を概略的に示す構成図である。 第３の実施の形態に係る表示装置における画像表示の概要を示す説明図である。 第３の実施の形態に係る表示装置の一変形例を概略的に示す構成図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（元画像の解像度を部分的に変えて表示する表示装置）
　　１．０　比較例（図１）
　　１．１　第１の実施の形態に係る表示装置の構成および動作（図２～図８）
　　１．２　効果
　２．第２の実施の形態（視線検出に基づく画像表示を行う表示装置）（図９～図１０）
　３．第３の実施の形態（２つの画像表示素子を備える表示装置）（図１１～図１３）
　４．その他の実施の形態
＜１．第１の実施の形態＞
［１．０　比較例］
（比較例に係る表示装置の概要と課題）
　図１は、比較例に係る表示装置１０１の概要を示している。
　比較例に係る表示装置１０１は、第１の表示部１１０と、第２の表示部１２０と、ビームスプリッタ１３０と、光学素子１４０とを備えている。
　第１の表示部１１０と第２の表示部１２０は、例えばＯＬＥＤ（Organic Light Emitting Diode）ディスプレイで構成されている。
　第２の表示部１２０は、元画像に対して高精細化したい画像領域のみを部分的に表示する。第１の表示部１１０は、高精細化したい画像領域以外の画像領域全体の画像表示を行う。表示装置１０１では、ビームスプリッタ１３０と光学素子１４０とを介して、第１の表示部１１０による全体的な表示画像と、第２の表示部１２０による部分的な表示画像とを合成し、観察者の眼１００に向けて出射する。これにより、観察者は部分的に高精細化された画像を観察することができる。
　一般に観察者は画像の中央領域を注視するので、例えば高精細化したい画像領域は画像の中央領域に固定してもよいが、表示装置１０１では、例えばビームスプリッタ１３０の配置角度を変えることによって、高精細化したい画像領域を任意の領域に変えることが可能である。この際、視線センサによって観察者の注視領域を検出し、その注視領域を高精細化したい画像領域に設定することも可能である。
　比較例に係る表示装置１０１では、例えばビームスプリッタ１３０を機械的に動かすことで、高精細化したい画像領域を移動させることが可能である。この方式では、画素単位での位置精度を保ちつつ、第１の表示部１１０による全体的な表示画像と第２の表示部１２０による部分的な表示画像とを合成することは困難である。また、観察者の視力に応じた表示補正を行う視力調節機能があることが望ましいが、視力調節機能を付加することが困難である。
［１．１　第１の実施の形態に係る表示装置の構成および動作］
（表示装置の概要）
　図２は、本開示の第１の実施の形態に係る表示装置の第１の構成例を概略的に示している。図３は、本開示の第１の実施の形態に係る表示装置の第２の構成例を概略的に示している。
　第１の実施の形態に係る表示装置は、例えばヘッドマウントディスプレイに好適である。ただし、第１の実施の形態に係る表示装置は、ヘッドマウントディスプレイ以外の装置にも適用可能である。
　第１の実施の形態に係る表示装置は、画像表示素子１０と、画像表示素子１０の表示画像の歪みを光学的に補正する光学素子（以下、「補正光学素子」という。）とを備えている。第１の実施の形態に係る表示装置は、表示素子駆動回路１１と、位相変調素子駆動回路１２と、信号処理部１３とをさらに備えている。
　信号処理部１３には、元画像に相当する画像信号Ｖｉｎが入力される。信号処理部１３は、画像表示素子１０において、元画像が、複数の画像領域ごとに解像度が異なる状態で表示されるように、画像信号Ｖｉｎに対して画像処理を行う。
　画像表示素子１０は、例えば液晶ディスプレイやＯＬＥＤディスプレイで構成されている。表示素子駆動回路１１は、画像表示素子１０を駆動して、信号処理部１３によって信号処理された後の画像信号Ｖｉｎに基づく画像を画像表示素子１０に表示させる。
　画像表示素子１０は、元画像における複数の画像領域ごとに解像度を異ならせて画像表示を行う。例えば、複数の画像領域は、第１の画像領域と第２の画像領域とを含む。画像表示素子１０は、第２の画像領域よりも第１の画像領域の解像度が高くなるように画像表示を行う。
　補正光学素子は、表示画像の任意の領域を光学的に拡大または縮小させることが可能な自由曲面レンズのような光学作用を有する素子、例えば光位相変調素子で構成されている。光位相変調素子は、例えば液晶パネル等のＳＬＭ（Spatial Light Modulator）で構成される。光位相変調素子は、後述する図７および図８に示すように、素子内を通過する光に対する位相分布（屈折率分布）を変化させることで、画素単位で光学作用を変化させることができる。
　補正光学素子は、複数の画像領域ごとに解像度の異なる画像表示を行ったことによって生じる、画像表示素子１０における表示画像の歪みを光学的に補正する。
　例えば、図２に示した第１の構成例に係る表示装置１では、補正光学素子として、透過型位相変調素子２０を備えている。位相変調素子駆動回路１２は、画像表示素子１０に表示する画像の状態に応じて表示画像の歪みが光学的に補正されるように、透過型位相変調素子２０内の位相分布（屈折率分布）を変化させる。表示装置１では、画像表示素子１０と透過型位相変調素子２０とが同一光路上に配置されている。画像表示素子１０に表示された表示画像の光が透過型位相変調素子２０を透過することによって、表示画像の歪みが光学的に補正された後、観察者の眼１００に向けて出射される。これにより、観察者は部分的に高精細化された画像を観察することができる。
　また、例えば図３に示した第２の構成例に係る表示装置１Ａでは、補正光学素子として、反射型位相変調素子２０Ａを備えている。第２の構成例に係る表示装置１Ａは、偏光ビームスプリッタ３０と、λ／４板３１とをさらに備えている。位相変調素子駆動回路１２は、画像表示素子１０に表示する画像の状態に応じて表示画像の歪みが光学的に補正されるように、反射型位相変調素子２０Ａ内の位相分布（屈折率分布）を変化させる。表示装置１Ａでは、偏光ビームスプリッタ３０における互いに対向する２つの異なる面にそれぞれ、画像表示素子１０と反射型位相変調素子２０Ａとが対向配置されている。λ／４板３１は、反射型位相変調素子２０Ａと偏光ビームスプリッタ３０との間に挿入されている。λ／４板３１は、反射型位相変調素子２０Ａからの反射光が偏光ビームスプリッタ３０で反射される偏光となるように偏光の向きを回転させる。なお、画像特性、特にコントラスト向上のため、偏光板をλ／４板３１と反射型位相変調素子２０Ａとの間にさらに挿入してもよい。表示装置１Ａでは、画像表示素子１０に表示された表示画像の光が偏光ビームスプリッタ３０およびλ／４板３１を介して反射型位相変調素子２０Ａに入射する。表示画像の光が反射型位相変調素子２０Ａで反射されることによって、表示画像の歪みが光学的に補正された後、λ／４板３１および偏光ビームスプリッタ３０を介して観察者の眼１００に向けて出射される。これにより、観察者は部分的に高精細化された画像を観察することができる。
（表示動作の具体例）
　図４は、表示装置１，１Ａにおける画像表示素子１０への画像表示の概要を示している。図５は、画像表示素子１０における表示画像の歪みの補正の概要を示している。図６は、表示装置１，１Ａによる画像表示の具体例を示している。
　表示装置１，１Ａでは、元画像における複数の画像領域ごとに解像度を異ならせて画像表示を行う。以下では、簡単のため、複数の画像領域が、第１の画像領域と第２の画像領域との２つの画像領域である場合を例に説明する。ただし、３以上の画像領域を設定し、解像度を３段階以上に異ならせて表示させてもよい。また、第１の画像領域が複数、あってもよい（解像度を高くする領域が複数、あってもよい）。
　例えば、図４に示したように、画像表示素子１０において、元画像における特定の第１の画像領域５１の解像度を、第１の画像領域５１以外の第２の画像領域５２よりも高くなるように画像表示を行う。ここで、人の視覚特性として、注視点（眼球の中心軸すなわち視線を向けて見ている対象の位置）およびその狭い周囲でのみ、物がよく見えて、それ以外の領域では像がぼけて見えるという現象が知られている（通常は視線を中心に±５゜の領域）。通常、観察者の注視領域は画像の中央領域であることが多い。そこで、図４に示したように、第１の画像領域５１を例えば元画像の中央領域とし、第１の画像領域５１を画像表示素子１０において相対的に解像度を高くして表示する。また、第２の画像領域５２を例えば元画像の中央領域以外の周囲領域とし、第２の画像領域５２を画像表示素子１０において相対的に解像度を低くして表示する。
　例えば、図６の左側に示したように、元画像が４Ｋ解像度（水平方向の画素は４０９６ｐｉｘｅｌ）であるものとする。第１の画像領域５１は例えば中央領域（水平方向の画素は１０２４ｐｉｘｅｌ）であり、第２の画像領域５２は中央領域以外の周囲領域であるものとする。また、図６の中央に示したように、画像表示素子１０の全体の水平方向の表示解像度は２０４８ｐｉｘｅｌであるものとする。この場合、信号処理部１３において、例えば、第１の画像領域５１の解像度は元画像のままとし、第２の画像領域５２は画素を間引くような画像処理を行う。表示素子駆動回路１１は、信号処理部１３によって信号処理された後の画像信号Ｖｉｎに基づく画像を画像表示素子１０に表示する。これにより、画像表示素子１０における第１の画像領域５１Ａは相対的に高解像度表示、画像表示素子１０における第２の画像領域５２Ａは相対的に低解像度表示となる。
　以上のような方式で部分的に高解像度表示を行った場合、元画像における第１の画像領域５１と第２の画像領域５２との画像比率に対して、画像表示素子１０における第１の画像領域５１Ａと第２の画像領域５２Ａとの画像比率が異なって表示されてしまう。元画像における第１の画像領域５１に対して画像表示素子１０における第１の画像領域５１Ａのの画像比率は大きくなる。逆に、元画像における第２の画像領域５２に対して画像表示素子１０における第２の画像領域５２Ａの画像比率が小さくなる。
　そこで、図５および図６の右側に示したように、補正光学素子（透過型位相変調素子２０または反射型位相変調素子２０Ａ）によって、表示画像の歪みを光学的に補正する。具体的には、補正光学素子によって、画像表示素子１０における第１の画像領域５１Ａの画像を光学的に縮小し（光学倍率を下げ）、第２の画像領域５２Ａの画像を光学的に拡大する（光学倍率を上げる）ように補正する。これにより、観察者の眼１００における観察画像（光学補正後の表示画像）は、注視領域の解像度が高く、かつ、画像全体としての見え方の違和感が少ないものとなる。
　なお、補正光学素子を光位相変調素子で構成した場合、焦点距離等のレンズ特性を任意の状態に変化させることができる。このため、補正光学素子において、表示画像の歪みだけでなく、観察者の視力に応じた光学補正を行うことも可能である。これにより、視力調節機能を付加してもよい。
　また、以上の具体例では、元画像の中央領域を解像度を高くする領域（第１の画像領域５１）として設定したが、解像度を高くする領域は元画像の中央領域以外の領域であってもよい。
（光位相変調素子の具体例）
　補正光学素子としての光位相変調素子（透過型位相変調素子２０または反射型位相変調素子２０Ａ）の具体例を説明する。図７は、光位相変調素子の一構成例を示している。
　図７には、光位相変調素子を位相変調液晶パネルで構成した例を示している。光位相変調素子は、例えば、互いに対向配置された第１のガラス基板と第２のガラス基板とを備えている。第１のガラス基板と第２のガラス基板との間には、液晶分子２３を含む液晶層が図示しない封止部材によって封止されている。
　第１のガラス基板には、対向電極（共通電極）２２が設けられている。第２のガラス基板には、複数の画素電極２１が設けられている。
　光位相変調素子が透過型位相変調素子２０である場合、対向電極２２と画素電極２１とが共に、光を透過する透明電極で構成される。光位相変調素子が反射型位相変調素子２０Ａである場合、対向電極２２は光を透過する透明電極で構成され、画素電極２１は光を反射する反射電極で構成される。
　対向電極２２には、共通電圧が印加される。複数の画素電極２１には、入力信号に応じた印加電圧が印加される。光位相変調素子における液晶分子２３の傾きは、印加電圧に応じて変化する。液晶分子２３の傾きが変わることにより、図７の下段に示したように素子内を通過する光に対する位相分布（屈折率分布）が変化する。これにより、画素単位で光学作用を変化させることができる。なお、光位相変調を行う材料は液晶に限定されず、電気光学結晶などでもよい。
　図８は、光位相変調素子の各種光学素子への適用例を示している。
　図８に示したように、各種光学素子として、凸レンズ、凹レンズ、レンズアレイ、フレネルレンズ、および自由曲面レンズ等の各種レンズが知られている。これらのレンズでは、レンズ材料の厚みを変えることで、光路長を変化させている。光位相変調素子では、素子内の屈折率分布を変えることで、光路長を変化させることができる。これにより、各種レンズと同等の光学特性を得ることができる。
［１．２　効果］
　以上説明したように、第１の実施の形態に係る表示装置１，１Ａによれば、複数の画像領域ごとに解像度を異ならせて画像表示を行い、それによって生じる表示画像の歪みを補正光学素子によって光学的に補正するようにしたので、部分的に解像度を変えつつ、画像全体としての見え方に違和感の少ない表示を行うことが可能となる。
　また、第１の実施の形態に係る表示装置１，１Ａによれば、任意の画像領域を部分的に高解像度表示することができる。また、補正光学素子によって視力調節機能を付加することができる。また、画像表示素子１０の全体の解像度が元画像に対して低解像度であっても、部分的に高解像度表示することができる。これにより、画像表示素子１０の性能を生かしつつ、例えば注視領域の解像度を相対的に高めることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態に係る表示装置について説明する。なお、以下では、上記第１の実施の形態に係る表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図９は、本開示の第２の実施の形態に係る表示装置の第１の構成例を概略的に示している。
　図９に示した表示装置１Ｂは、図３に示した表示装置１Ａの構成に対して、視線検出部４０をさらに備えている。視線検出部４０は、偏光ビームスプリッタ３０を介して観察者の視線位置を検出することにより、観察者の注視領域を検出する。
　視線検出部４０は、例えば赤外線センサを用いた赤外線検出方式であってもよいし、可視光イメージセンサを用いた可視光検出方式であってもよい。
　視線検出部４０は、検出結果を信号処理部１３に出力する。信号処理部１３は、視線検出部４０の検出結果に基づいて、注視領域を上述の第１の画像領域５１、注視領域以外の領域を第２の画像領域５２に設定し、画像表示素子１０において注視領域が相対的に高解像度表示され、注視領域以外の領域が相対的に低解像度表示されるように画像信号Ｖｉｎに対して画像処理を行ってもよい。
　なお、高解像度表示を行う領域を観察者が任意に指定可能な機能を追加してもよい。この場合、高解像度表示する領域を視線検出部４０の検出結果によって決定するか、観察者自身が指定するを選択可能な構成にしてもよい。
　以上説明したように、第２の実施の形態に係る表示装置１Ｂによれば、視線検出部４０による検出結果に基づいて部分的な高解像度表示を行うようにしたので、観察者の視線位置が変わったとしても、視線追尾によって常時、注視領域の高解像度表示を行うことができる。
　なお、補正光学素子として透過型位相変調素子２０を用いた表示装置１（図２）においても、同様に視線検出部４０を備えた構成にすることが可能である。
　図１０は、本開示の第２の実施の形態に係る表示装置の第２の構成例を概略的に示している。
　図１０に示した表示装置１Ｃは、図２に示した表示装置１の構成に対して、視線検出部４０Ａ，４０Ｂをさらに備えている。視線検出部４０Ａは、透過型位相変調素子２０と眼１００との間に配置されている。視線検出部４０Ｂは、画像表示素子１０と透過型位相変調素子２０との間に配置されている。
　視線検出部４０Ａ，４０Ｂは、図９に示した表示装置１Ｂにおける視線検出部４０と同様に、観察者の視線位置を検出することにより、観察者の注視領域を検出する。視線検出部４０Ａ，４０Ｂは、例えば赤外線センサを用いた赤外線検出方式であってもよいし、可視光イメージセンサを用いた可視光検出方式であってもよい。
　視線検出部４０Ａ，４０Ｂはそれぞれ、検出結果を信号処理部１３に出力する。信号処理部１３は、視線検出部４０Ａ，４０Ｂの検出結果に基づいて、注視領域を上述の第１の画像領域５１、注視領域以外の領域を第２の画像領域５２に設定し、画像表示素子１０において注視領域が相対的に高解像度表示され、注視領域以外の領域が相対的に低解像度表示されるように画像信号Ｖｉｎに対して画像処理を行ってもよい。
　なお、視線検出部４０Ａおよび視線検出部４０Ｂのうちいずれか一方のみを配置し、いずれか一方のみによって観察者の視線位置を検出するようにしてもよい。
　その他の構成、動作および効果は、上記第１の実施の形態に係る表示装置１，１Ａと略同様であってもよい。
＜３．第３の実施の形態＞
　次に、本開示の第３の実施の形態に係る表示装置について説明する。なお、以下では、上記第１または第２の実施の形態に係る表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１１は、本開示の第３の実施の形態に係る表示装置の第１の構成例を概略的に示している。図１２は、第３の実施の形態に係る表示装置１Ｄにおける画像表示の概要を示している。
　図１１に示した表示装置１Ｄは、図３に示した表示装置１Ａの構成に対して、画像表示素子１０に代えて、高精細画像表示素子１０Ａと通常画像表示素子１０Ｂとを備えている。また、図１１に示した表示装置１Ｄは、図３に示した表示装置１Ａの構成に対して、表示素子駆動回路１１に代えて、高精細画像表示素子駆動回路１１Ａと通常画像表示素子駆動回路１１Ｂとを備えている。
　高精細画像表示素子１０Ａは、本開示の技術における「第１の表示素子」の一具体例に相当する。通常画像表示素子１０Ｂは、本開示の技術における「第２の表示素子」の一具体例に相当する。
　高精細画像表示素子駆動回路１１Ａは、高精細画像表示素子１０Ａを駆動して、信号処理部１３によって信号処理された後の画像信号Ｖｉｎに基づく画像を画像表示素子１０に表示させる。
　通常画像表示素子駆動回路１１Ｂは、通常画像表示素子１０Ｂを駆動して、信号処理部１３によって信号処理された後の画像信号Ｖｉｎに基づく画像を画像表示素子１０に表示させる。
　高精細画像表示素子１０Ａと反射型位相変調素子２０Ａは、偏光ビームスプリッタ３０における互いに対向する２つの異なる面側に対向配置されている。
　通常画像表示素子１０Ｂは、偏光ビームスプリッタ３０における眼１００と対向する面側に配置されている。
　図１２に示したように、高精細画像表示素子１０Ａは、相対的に高解像度の画像表示を行う。通常画像表示素子１０Ｂは、相対的に低高解像度（通常解像度）の画像表示を行う。
　偏光ビームスプリッタ３０は、本開示の技術における「合成素子」の一具体例に相当する。偏光ビームスプリッタ３０は、高精細画像表示素子１０Ａによる表示画像と通常画像表示素子１０Ｂによる表示画像とを合成する。偏光ビームスプリッタ３０は、上述の第１の画像領域５１に相当する領域（注視領域）に高精細画像表示素子１０Ａによる表示画像が表示され、上述の第２の画像領域５２に相当する領域（注視領域以外の領域）に通常画像表示素子１０Ｂによる表示画像が表示されるように画像を合成する。
　反射型位相変調素子２０Ａは、第１の画像領域５１に相当する領域と第２の画像領域５２に相当する領域との２つの画像領域間の画像表示の位置を光学的に補正する。
　ここで、図１１に示した表示装置１Ｂは、図３に示した表示装置１Ａの構成に対して、視線検出部４０Ａ，４０Ｂをさらに備えている。視線検出部４０Ａは、偏光ビームスプリッタ３０と眼１００との間に配置されている。視線検出部４０Ｂは、偏光ビームスプリッタ３０における通常画像表示素子１０Ｂが配置された面側に配置されている。
　視線検出部４０Ａ，４０Ｂは、観察者の視線位置を検出することにより、観察者の注視領域を検出する。視線検出部４０Ａ，４０Ｂは、例えば赤外線センサを用いた赤外線検出方式であってもよいし、可視光イメージセンサを用いた可視光検出方式であってもよい。
　なお、視線検出部４０Ａおよび視線検出部４０Ｂのうちいずれか一方のみを配置し、いずれか一方のみによって観察者の視線位置を検出するようにしてもよい。
　視線検出部４０Ａ，４０Ｂはそれぞれ、検出結果を信号処理部１３に出力する。信号処理部１３は、視線検出部４０Ａ，４０Ｂの検出結果に基づいて、通常画像表示素子１０Ｂによる表示画像の表示位置に対する、高精細画像表示素子１０Ａの表示画像の表示位置が光学的に補正されるように（高精細画像表示素子１０Ａの表示画像の表示位置が注視領域に相当する位置となるように）、位相変調素子駆動回路１２を介して、反射型位相変調素子２０Ａの光学特性を制御する。これにより、偏光ビームスプリッタ３０による合成後の表示は、注視領域が相対的に高解像度となり、注視領域以外の領域が相対的に低解像度となる。
　図１３は、第３の実施の形態に係る表示装置の一変形例を概略的に示す構成図である。
　図１３に示した表示装置１Ｅは、図１１に示した表示装置１Ｄの構成に対して、加速度センサ４１をさらに備えている。加速度センサ４１は、表示装置１Ｄが例えばヘッドマウントディスプレイとして構成された場合において、観察者の頭部の動きを検出する。
　信号処理部１３は、加速度センサ４１の検出結果に基づいて、例えば、観察者の頭部の動きの方向や距離を算出する。信号処理部１３は、視線検出部４０Ａ，４０Ｂによる視線位置の検出結果と、加速度センサ４１による観察者の頭部の動きの検出結果とに基づいて、高精細画像表示素子１０Ａの表示画像の表示位置が光学的に補正されるように、位相変調素子駆動回路１２を介して、反射型位相変調素子２０Ａの光学特性を制御する。反射型位相変調素子２０Ａは、例えば、高精細画像表示素子１０Ａによる表示画像の表示位置が、観察者の頭部が動く方向に移動するように、高精細画像表示素子１０Ａの表示画像の表示位置を光学的に補正する。これにより、画像の動きと観察者が動きとを一致させることができ、いわゆる「ＶＲ酔い」を抑制することが可能となる。
　以上の第３の実施の形態に係る表示装置によれば、反射型位相変調素子２０Ａを用いて高精細画像表示素子１０Ａによる表示画像の表示位置を光学的に補正するようにしたので、表示位置を補正するための可動部が存在せず、信頼性を向上させることができる。例えば図１に示した比較例に係る表示装置１０１では、ビームスプリッタ１３０を機械的に移動させることで、高精細化したい画像領域の位置を変化させているので、可動部が存在し、信頼性が低下する。また、この場合、ビームスプリッタ１３０の可動支点の近傍と可動支点から離れた場所とでビームスプリッタ１３０による画像の移動量が異なるため、高精度での表示位置の補正が困難である。これに対し、第３の実施の形態に係る表示装置によれば、高精度での表示位置の補正が可能となる。
　なお、以上の第３の実施の形態の説明では、高精細画像表示素子１０Ａによる表示画像の表示位置の補正を行う場合を例に説明したが、反射型位相変調素子２０Ａを用いて、表示位置だけでなく、高精細画像表示素子１０Ａによる表示画像の歪みを補正するようにしてもよい。
　その他の構成、動作および効果は、上記第１または第２の実施の形態に係る表示装置と略同様であってもよい。
＜４．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、複数の画像領域ごとに解像度を異ならせて画像表示を行い、それによって生じる表示画像の歪み、および複数の画像領域間の画像表示の位置の少なくとも一方を光学素子によって光学的に補正するようにしたので、部分的に解像度を変えつつ、画像全体としての見え方に違和感の少ない表示を行うことが可能となる。
（１）
　元画像における複数の画像領域ごとに解像度を異ならせて画像表示を行う少なくとも１つの表示素子と、
　前記複数の画像領域ごとに解像度の異なる画像表示を行ったことによって生じる表示画像の歪み、および前記複数の画像領域間の画像表示の位置の少なくとも一方を光学的に補正する光学素子と
　を備える
　表示装置。
（２）
　前記少なくとも１つの表示素子において、前記元画像が、前記複数の画像領域ごとに解像度が異なる状態で表示されるように、前記元画像に対して画像処理を行う信号処理部、
　をさらに備えた
　上記（１）に記載の表示装置。
（３）
　前記複数の画像領域として、少なくとも１つの第１の画像領域と、第２の画像領域とを含み、
　前記少なくとも１つの表示素子は、前記第２の画像領域よりも前記第１の画像領域の解像度が高くなるように画像表示を行う
　上記（１）または（２）に記載の表示装置。
（４）
　前記第１の画像領域は、画像の中央領域を含み、
　前記第２の画像領域は、前記中央領域以外の周囲領域を含む
　上記（３）に記載の表示装置。
（５）
　前記第１の画像領域は、観察者が注視する注視領域を含み、
　前記第２の画像領域は、前記注視領域以外の領域を含む
　上記（３）に記載の表示装置。
（６）
　前記注視領域を検出する検出部、をさらに備えた
　上記（５）に記載の表示装置。
（７）
　前記検出部は、赤外線センサである
　上記（６）に記載の表示装置。
（８）
　前記検出部は、イメージセンサである
　上記（６）に記載の表示装置。
（９）
　前記光学素子は、透過型位相変調素子である
　上記（１）ないし（８）のいずれか１つに記載の表示装置。
（１０）
　前記光学素子は、反射型位相変調素子である
　上記（１）ないし（８）のいずれか１つに記載の表示装置。
（１１）
　前記少なくとも１つの表示素子は、相対的に高解像度の画像表示を行う第１の表示素子と、相対的に低高解像度の画像表示を行う第２の表示素子とを含み、
　前記第１の表示素子による表示画像と前記第２の表示素子による表示画像とを合成する合成素子、をさらに備える
　上記（１）ないし（８）のいずれか１つに記載の表示装置。
（１２）
　前記光学素子は、位相変調素子であり、観察者の視線位置に基づいて、前記第２の表示素子による表示画像の表示位置に対する前記第１の表示素子の表示画像の表示位置を光学的に補正する
　上記（１１）に記載の表示装置。
（１３）
　前記光学素子は、位相変調素子であり、観察者の頭部の動きに基づいて、前記第２の表示素子による表示画像の表示位置に対する前記第１の表示素子の表示画像の表示位置を光学的に補正する
　上記（１１）または（１２）に記載の表示装置。
　本出願は、日本国特許庁において２０１８年５月１５日に出願された日本特許出願番号第２０１８－０９３７１６号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (13)

  1. 　元画像における複数の画像領域ごとに解像度を異ならせて画像表示を行う少なくとも１つの表示素子と、
    　前記複数の画像領域ごとに解像度の異なる画像表示を行ったことによって生じる表示画像の歪み、および前記複数の画像領域間の画像表示の位置の少なくとも一方を光学的に補正する光学素子と
    　を備える
    　表示装置。
  2. 　前記少なくとも１つの表示素子において、前記元画像が、前記複数の画像領域ごとに解像度が異なる状態で表示されるように、前記元画像に対して画像処理を行う信号処理部、
    　をさらに備えた
    　請求項１に記載の表示装置。
  3. 　前記複数の画像領域として、少なくとも１つの第１の画像領域と、第２の画像領域とを含み、
    　前記少なくとも１つの表示素子は、前記第２の画像領域よりも前記第１の画像領域の解像度が高くなるように画像表示を行う
    　請求項１に記載の表示装置。
  4. 　前記第１の画像領域は、画像の中央領域を含み、
    　前記第２の画像領域は、前記中央領域以外の周囲領域を含む
    　請求項３に記載の表示装置。
  5. 　前記第１の画像領域は、観察者が注視している注視領域を含み、
    　前記第２の画像領域は、前記注視領域以外の領域を含む
    　請求項３に記載の表示装置。
  6. 　前記注視領域を検出する検出部、をさらに備えた
    　請求項５に記載の表示装置。
  7. 　前記検出部は、赤外線センサである
    　請求項６に記載の表示装置。
  8. 　前記検出部は、イメージセンサである
    　請求項６に記載の表示装置。
  9. 　前記光学素子は、透過型位相変調素子である
    　請求項１に記載の表示装置。
  10. 　前記光学素子は、反射型位相変調素子である
    　請求項１に記載の表示装置。
  11. 　前記少なくとも１つの表示素子は、相対的に高解像度の画像表示を行う第１の表示素子と、相対的に低高解像度の画像表示を行う第２の表示素子とを含み、
    　前記第１の表示素子による表示画像と前記第２の表示素子による表示画像とを合成する合成素子、をさらに備える
    　請求項１に記載の表示装置。
  12. 　前記光学素子は、位相変調素子であり、観察者の視線位置に基づいて、前記第２の表示素子による表示画像の表示位置に対する前記第１の表示素子の表示画像の表示位置を光学的に補正する
    　請求項１１に記載の表示装置。
  13. 　前記光学素子は、位相変調素子であり、観察者の頭部の動きに基づいて、前記第２の表示素子による表示画像の表示位置に対する前記第１の表示素子の表示画像の表示位置を光学的に補正する
    　請求項１１に記載の表示装置。
PCT/JP2019/019075 2018-05-15 2019-05-14 表示装置 WO2019221105A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/052,613 US11328643B2 (en) 2018-05-15 2019-05-14 Display unit
JP2020519648A JP7325408B2 (ja) 2018-05-15 2019-05-14 表示装置
CN201980030419.2A CN112106132A (zh) 2018-05-15 2019-05-14 显示单元

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-093716 2018-05-15
JP2018093716 2018-05-15

Publications (1)

Publication Number Publication Date
WO2019221105A1 true WO2019221105A1 (ja) 2019-11-21

Family

ID=68539741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019075 WO2019221105A1 (ja) 2018-05-15 2019-05-14 表示装置

Country Status (4)

Country Link
US (1) US11328643B2 (ja)
JP (1) JP7325408B2 (ja)
CN (1) CN112106132A (ja)
WO (1) WO2019221105A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578564A (zh) * 2020-12-15 2021-03-30 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
WO2023139445A1 (ja) * 2022-01-21 2023-07-27 株式会社半導体エネルギー研究所 電子機器
US20240036317A1 (en) * 2022-07-29 2024-02-01 Htc Corporation Head mounted display, display device and image display method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102355017B1 (ko) * 2021-08-23 2022-01-21 이민호 렌즈

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02291787A (ja) * 1989-05-02 1990-12-03 A T R Tsushin Syst Kenkyusho:Kk 広視野表示装置
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
JPH07104210A (ja) * 1993-10-04 1995-04-21 Nec Corp 頭部搭載型画像表示装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
JP2009211049A (ja) * 2007-12-20 2009-09-17 Raytheon Co 画像化システム
JP2015126304A (ja) * 2013-12-26 2015-07-06 セイコーエプソン株式会社 映像表示システムおよび映像表示システムを構成する映像送信装置と映像受信表示装置との間の映像無線伝送規格に従った接続方法、並びに、映像送信装置および映像受信表示装置
JP2017522591A (ja) * 2014-06-17 2017-08-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画素配分最適化を用いた方法およびディスプレイ装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090295683A1 (en) * 2008-05-27 2009-12-03 Randall Pugh Head mounted display with variable focal length lens
BR112016015126A2 (pt) 2013-12-26 2017-08-08 Seiko Epson Corp Sistema para a exibição e transmissão de vídeo
CN104464620B (zh) * 2014-11-14 2017-06-16 北京智谷睿拓技术服务有限公司 图像显示控制方法和装置、显示设备
US11106276B2 (en) * 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
DE102016123188A1 (de) 2016-12-01 2018-06-07 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Justierbarer Laderoboter

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02291787A (ja) * 1989-05-02 1990-12-03 A T R Tsushin Syst Kenkyusho:Kk 広視野表示装置
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
JPH07104210A (ja) * 1993-10-04 1995-04-21 Nec Corp 頭部搭載型画像表示装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
JP2009211049A (ja) * 2007-12-20 2009-09-17 Raytheon Co 画像化システム
JP2015126304A (ja) * 2013-12-26 2015-07-06 セイコーエプソン株式会社 映像表示システムおよび映像表示システムを構成する映像送信装置と映像受信表示装置との間の映像無線伝送規格に従った接続方法、並びに、映像送信装置および映像受信表示装置
JP2017522591A (ja) * 2014-06-17 2017-08-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画素配分最適化を用いた方法およびディスプレイ装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578564A (zh) * 2020-12-15 2021-03-30 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
WO2023139445A1 (ja) * 2022-01-21 2023-07-27 株式会社半導体エネルギー研究所 電子機器
US20240036317A1 (en) * 2022-07-29 2024-02-01 Htc Corporation Head mounted display, display device and image display method thereof
US11899215B1 (en) * 2022-07-29 2024-02-13 Htc Corporation Head mounted display, display device and image display method thereof

Also Published As

Publication number Publication date
JPWO2019221105A1 (ja) 2021-07-08
JP7325408B2 (ja) 2023-08-14
CN112106132A (zh) 2020-12-18
US20210241667A1 (en) 2021-08-05
US11328643B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
JP7325408B2 (ja) 表示装置
US10054797B2 (en) Combining a high resolution narrow field display and a mid resolution wide field display
JP6423945B2 (ja) 表示装置、およびプロジェクタを用いた表示方法
WO2017150631A1 (en) Head Mounted Display Using Spatial Light Modulator To Move the Viewing Zone
US9851565B1 (en) Increasing effective eyebox size of an HMD
US9958676B2 (en) Projector device
US20200301239A1 (en) Varifocal display with fixed-focus lens
US8780096B2 (en) Scanning image display apparatus
US10712576B1 (en) Pupil steering head-mounted display
JP2016212177A (ja) 透過型表示装置
US20220317463A1 (en) Augmented reality head-up display with steerable eyebox
US11885968B2 (en) Pupil matched occlusion-capable optical see-through head-mounted display
US11714283B2 (en) Optical apparatus and near-eye display apparatus including the same
US10609364B2 (en) Pupil swim corrected lens for head mounted display
JP2019061198A (ja) 虚像表示装置
US10775617B2 (en) Eye tracked lens for increased screen resolution
US20180101006A1 (en) Display device
CN114764195B (zh) 一种hud系统及车辆
US11199710B2 (en) Low-obliquity beam scanner with reflective polarizer
CN110618529A (zh) 用于增强现实的光场显示系统和增强现实装置
JP6741643B2 (ja) 表示装置、およびコンテキストディスプレイとプロジェクタを用いた表示方法
JP7424823B2 (ja) 画像表示装置
JP2019061199A (ja) 虚像表示装置
JP2021152565A (ja) 表示装置及び光学素子
US20230041406A1 (en) Tunable lens with deformable reflector

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19803696

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020519648

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19803696

Country of ref document: EP

Kind code of ref document: A1