WO2022010070A1 - 근안 디스플레이 장치 - Google Patents

근안 디스플레이 장치 Download PDF

Info

Publication number
WO2022010070A1
WO2022010070A1 PCT/KR2021/003528 KR2021003528W WO2022010070A1 WO 2022010070 A1 WO2022010070 A1 WO 2022010070A1 KR 2021003528 W KR2021003528 W KR 2021003528W WO 2022010070 A1 WO2022010070 A1 WO 2022010070A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
virtual image
observer
lens
pupil
Prior art date
Application number
PCT/KR2021/003528
Other languages
English (en)
French (fr)
Inventor
김성규
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to CN202180006734.9A priority Critical patent/CN114747210A/zh
Priority to US17/778,979 priority patent/US20230048195A1/en
Publication of WO2022010070A1 publication Critical patent/WO2022010070A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining

Definitions

  • the present invention relates to a near-eye display device capable of realizing multifocal while dynamically providing a 3D parallax image.
  • Patent Document 1 Korean Patent Registration No. 10-0617396 (hereinafter referred to as Patent Document 1) is a three-dimensional image display device capable of providing two or more parallax images within the minimum pupil diameter of the eye.
  • a parallax image providing unit including a laser light source, a light diffuser, and a light modulator, and a parallax image convergence unit including a pinhole, a lens, etc. Therefore, there is a problem that the size and volume restrictions follow.
  • Patent Document 2 Korean Patent Registration No. 10-1059763 (hereinafter referred to as Patent Document 2) is a three-dimensional image display device that can provide a complete parallax image by arranging two or more projection optical systems.
  • Patent Document 2 it is difficult to achieve a commercial-level HMD size by using a discretely distributed selective light source, a flat panel, a two-dimensional arrangement of a selective opening/closing opening, a transmissive micro display, and at least three lenses.
  • Patent Document 3 Korean Patent Registration No. 10-1919486 (hereinafter referred to as Patent Document 3) also uses a plurality of IP lenses or apertures, or a combination thereof, when implementing multifocal, so that the resolution of each viewpoint image is deteriorated.
  • the resolution of each parallax image is greatly reduced when used as a VR/MR/AR device because the resolution is spatially divided by using a plurality of IP lenses or pinhole arrays on the same microdisplay panel.
  • Patent Document 3 provides a plurality of parallax images, but it is difficult to provide a high-quality virtual image because the display area is partially divided and a virtual image is provided using a lens arrangement.
  • Patent Document 1 Korean Patent No. 10-0617396 (registered on August 31, 2006)
  • Patent Document 2 Korean Patent No. 10-1059763 (registered on August 26, 2011)
  • Patent Document 3 Korean Patent No. 10-1919486 (registered on November 19, 2018)
  • Another object of the present invention is to provide a virtual image formed through a lens and a dynamic aperture to a viewer's eye position using the full resolution of the display.
  • One aspect of the present invention for achieving the above object is a display, a first lens disposed at regular intervals on the front surface of the display, and disposed adjacent to the first lens so as to be perpendicular to the aperture size and optical axis of the first lens
  • the eye pupil of the observer is located in the exit pupil spaced apart from the lens, and the size and horizontal position of the exit pupil are changed according to the opening size and horizontal position of the dynamic aperture control element, which is adjusted according to the control signal of the control unit.
  • a near-eye display device for dynamically controlling the horizontal position and size of the aperture on a plane, a main optical lens spaced apart from the first lens by a predetermined distance, and a controller for controlling the dynamic aperture control element, the main optical
  • the eye pupil of the observer is located
  • the size of the opening of the dynamic opening control element may be adjusted so that the size of the exit pupil is within 2 mm smaller than the pupil size of the observer.
  • the dynamic aperture control device may be a liquid crystal device (LCD) or an electronic shutter capable of changing the aperture size and horizontal position according to a control signal from the controller.
  • LCD liquid crystal device
  • electronic shutter capable of changing the aperture size and horizontal position according to a control signal from the controller.
  • the horizontal position of the opening of the dynamic opening control element is two or more, and according to a control signal from the control unit, the openings at each horizontal position of the dynamic opening adjustment element are sequentially operated within one frame virtual image to emit the output. Two or more dongs may be sequentially arranged.
  • the controller may sequentially provide two or more parallax images to the display in synchronization with a change in the opening position of the dynamic opening control element, so that different parallax images are arranged at each position of the exit pupil.
  • a pupil tracking device for tracking the position of the eye pupil of the observer
  • the control unit uses the pupil tracking information obtained by the pupil tracking device to continuously place the exit pupil in the eye pupil of the observer.
  • the horizontal position of the opening of the dynamic opening adjusting element can be controlled in real time.
  • the dynamic aperture control element generates two or more aperture arrangements rearranged according to the movement direction of the observer's eye pupil of the pupil tracking device, and the output of each horizontal position of the dynamic aperture control element according to the control signal of the control unit
  • One opening is always arranged within the pupil of the eye according to the direction of movement of the eye of the observer, so that the size of the exit pupil in the direction of movement of the eye of the observer can be substantially expanded with only one parallax image.
  • the dynamic aperture control element generates two or more opening arrangements rearranged according to the movement direction of the observer's eye pupil of the pupil tracking device, and the opening at each horizontal position of the dynamic aperture adjustment element according to a control signal from the control unit operates sequentially in one frame virtual image, and two or more exit pupils are sequentially arranged according to the observer's eye movement direction, thereby increasing the size of the exiting pupil in the observer's eye movement direction.
  • the two or more opening positions of the dynamic opening adjusting element may be arranged in a horizontal, vertical, diagonal direction in a plane perpendicular to the optical axis, or a combination thereof.
  • the controller includes a blurring size of a nearest image point of an image point at which the closest virtual image is focused on the retina at a focal position of the eyeball, and an outermost image blur of an image point at which the outermost virtual image is focused on the retina at the focal position of the eyeball.
  • the optimal position of the image point of the virtual image is, in diopters, of the nearest eye so that the magnitude is the same, and the nearest and outermost image blurring magnitude is within 20% of the same value as that of the image blurring by diffraction.
  • the size of the exit pupil at the pupil position of the eye is determined by adjusting the size of the opening of the dynamic opening element according to the set optimal virtual image position and the range of the focal depth so as to be the arithmetic average position of the focal position and the focal position of the outermost eye. can be adjusted
  • the aperture of the dynamic aperture control element may be an Annular Aperture consisting of a circular light blocking portion within a circular aperture.
  • the ratio of the radius of the circular opening to the radius of the circular light blocking portion is ⁇ ( ⁇ a 0 /a)
  • ⁇ may be greater than or equal to 0 and less than or equal to 1/3.
  • the ratio of the radius of the circular opening to the radius of the circular light blocking portion is ⁇ ( ⁇ a 0 /a)
  • ⁇ may be 0 or more and 0.45 or less.
  • control unit may reduce the depth of focus range at the optimal virtual image position set according to the type of the virtual image and adjust the size of the opening of the dynamic aperture control element to be wide in order to provide an image with increased resolution.
  • the display device further comprises a display positioning element for adjusting the distance between the display and the first lens, wherein the controller controls the display positioning element according to the set optimal virtual image position to adjust the optimal virtual image position.
  • the controller controls the display positioning element according to the set optimal virtual image position to adjust the optimal virtual image position.
  • the first lens may adjust a focal length according to a control signal from the controller, and the controller may adjust the optimal virtual image position by controlling the focal length of the first lens according to a set optimal virtual image position. .
  • a pupil tracking device for tracking the eye pupil focusing position of the observer, and the controller uses the pupil tracking information obtained by the pupil tracking device to obtain an optimal virtual image close to the observer's eye pupil focusing position.
  • the display positioning element may be controlled to form a position.
  • a pupil tracking device for tracking the eye pupil focusing position of the observer, and the controller uses the pupil tracking information obtained by the pupil tracking device to obtain an optimal virtual image close to the observer's eye pupil focusing position.
  • the focal length of the first lens may be controlled to form a position.
  • control unit may control the display positioning element to form an optimal virtual image position close to the convergence position of both eyes of the observer.
  • the control unit can control the focal length of the first lens to form an optimal virtual image position close to the convergence position of both eyes of the observer.
  • the display position corresponding to the set optimal virtual image position is corrected by inputting a visual acuity correction value to the controller, so that even an abnormal observer wears vision correction glasses. It is possible to provide an optimal virtual image position without
  • the display positioning element is a piezoelectric element capable of precise position control, a VCM, or a liquid crystal element in which the refractive index is changed according to an electric signal to adjust the effective distance between the display and the first lens.
  • the visual acuity of the abnormal observer is also improved. It is possible to provide an optimal virtual image position without wearing correction glasses.
  • the first lens capable of adjusting the focal length is a focus-tunable lens, a polymer lens, a liquid lens, a liquid crystal lens, or an electric signal that can manually or electrically control a precise focal length.
  • the display includes a plurality of pixels, and adjacent pixels of each pixel provide a first virtual image of a first polarization and a second virtual image of a second polarization that are orthogonal to each other, wherein the dynamic aperture control element comprises: and a set of polarization apertures comprising a first aperture of a first polarization and a second aperture of a second polarization, wherein two virtual images of the display are transmitted to an observer's eye position through a set of polarization apertures of the dynamic aperture control element;
  • the exit cavity can be expanded.
  • the first virtual image and the second virtual image may be parallax images.
  • the horizontal positions of the polarization aperture sets of the dynamic aperture control element are two or more, and the openings at each horizontal position of the dynamic aperture control element are sequentially operated within one frame virtual image according to a control signal from the control unit.
  • the size of the exit cavity can be enlarged by sequentially disposing two or more exit pupils.
  • control unit sequentially provides two or more parallax images to the display in synchronization with the change in the position of the polarization opening set of the dynamic aperture control element, so that different parallax images may be arranged at each position of the exit pupil.
  • two external foreground cameras are further provided, and the external image captured by the two external foreground cameras may be provided to both eyes of the observer by synthesizing the external image and the virtual image on the display through the control unit. have.
  • the information obtained from each pupil position tracking device is transmitted to the control unit, and the control unit may provide the images of the two external foreground cameras to each eye of the observer as disparity images for each eye through a dynamic aperture.
  • the near-eye display device is disposed in the left eye and the right eye, respectively, and may further include a mirror for changing an optical path between each dynamic aperture control element and the main optical lens.
  • the near-eye display device is disposed in the left eye and the right eye, respectively, and further comprising a polarization beam splitter between each dynamic aperture control element and the main optical lens, and a 1/2 ⁇ wave retarder between each polarization beam splitter.
  • the light passing through the left (or right) dynamic aperture passes through the left (or right) polarizing beam splitter and 1/2 ⁇ wave retarder, the polarization is converted and reflected by the right (or left) polarizing beam splitter, and then the right (or left) polarizing beam splitter It can proceed with the left) main optical lens.
  • it may further comprise a mirror for changing the optical path between each dynamic aperture control element and the polarizing beam splitter.
  • a dynamic aperture control element for dynamically controlling the horizontal position of an aperture on a plane, a reflective mirror disposed at a predetermined distance from the first lens and reflecting a virtual image to a beam splitter, a virtual image providing direction and an external viewing window direction are mutually exclusive It includes a beam splitter arranged so that there is no interference so that a virtual image and an external image are provided to an observer at the same time, a transflective concave mirror that reflects the virtual image to the observer and passes the external image, and a control unit that controls the dynamic aperture control element and the eye pupil of the observer is positioned in the exit pupil spaced apart from the main optical lens by a predetermined distance, and the size and horizontal position of the exit pupil are horizontal and the size of the opening of the
  • a vision correction lens for a nearsighted or farsighted observer may be further provided on the outer surface of the external viewing window of the transflective concave mirror.
  • a display position adjusting element for adjusting the distance between the display position and the first lens is further provided, wherein the controller controls the display position adjusting element according to the set optimal virtual image position to adjust the optimal virtual image position.
  • a pupil tracking device for tracking the position of the eye pupil of the observer is further provided, and the control unit uses the pupil tracking information obtained by the pupil tracking device to obtain an optimal virtual image position close to the focus adjustment position of the observer's eye. It is possible to control the display positioning element to be formed.
  • a pupil tracking device for tracking the position of the eye pupil of the observer is further provided, and the control unit uses the pupil tracking information obtained by the pupil tracking device to obtain an optimal virtual image position close to the focus adjustment position of the observer's eye.
  • the focal length of the first lens may be controlled to form .
  • control unit may control the display positioning element to form an optimal virtual image position close to the convergence position of both eyes of the observer.
  • the control unit can control the focal length of the first lens to form an optimal virtual image position close to the convergence position of both eyes of the observer.
  • the display position corresponding to the set optimal virtual image position is corrected by inputting a visual acuity correction value to the controller, so that even an abnormal observer wears vision correction glasses. It is possible to provide an optimal observation position without
  • a visual acuity correction value to the controller to adjust the focal length of the first lens corresponding to the set optimal virtual image position, the visual acuity even for an abnormal observer It is possible to provide an optimal observation position without wearing correction glasses.
  • an external foreground shielding part and two external foreground cameras are further provided on the outer surface of the external viewing window of the transflective concave mirror, and the external image captured by the two external foreground cameras is displayed on the display through the control unit
  • An external image and a virtual image can be synthesized and provided to both eyes of the observer.
  • the external view shielding component may be a selectively detachable clip type or a device capable of adjusting transmittance according to an electrical control signal.
  • the external images of the two external foreground cameras may be corrected in consideration of the corresponding observer's eye position and provided to both eyes of the observer.
  • the present invention it is possible to implement a near-eye display device with an extended depth of focus, and the size of the convergence region of the virtual image at the eye position is formed smaller than the pupil size that varies depending on the use environment, so that a virtual image without deterioration in image quality according to the pupil size can be produced.
  • the reduced convergence region or the reduced exit pupil determined according to it
  • the pupil position information of the eye referring to the pupil position information of the eye, it is continuously applied to the pupil of the eye within the outermost part of the entire exit sinus. can provide one optimal virtual image at any moment.
  • the size of the blur caused by the diffraction effect determined by the diffraction at the same aperture size (airy radius) can be reduced. Accordingly, it is possible to widen the range of the depth of focus in the same optical system and increase the MTF value at the spatial frequency of high frequency.
  • an observer with abnormal vision can efficiently view a virtual image by using the device of the present invention without vision correction glasses.
  • the light passing through the dynamic aperture is polarized by applying a polarizing beam splitter and 1/2 ⁇ wave retarder. It is possible to reduce the optical loss and at the same time reduce the volume of the entire optical system.
  • FIG. 1 is a side cross-sectional view showing a basic configuration of a near-eye display apparatus according to a first embodiment of the present invention.
  • FIGS. 2 (a) to (c) are side cross-sectional views showing the configuration of the exit pupil size and position change of the observer position according to the change in the size and position of the dynamic opening according to the first embodiment of the present invention.
  • 3 is a table showing the results of calculating the depth of focus range according to the adjustment of the exit pupil size of the observer's position, including the constant, in detail according to the first embodiment of the present invention.
  • FIG 4 is a graph showing a specific application example of a virtual image resolution (CPD; Cycle per degree) and a design horizontal angle of view (H_FOV) implemented for each resolution of the display used according to the first embodiment of the present invention.
  • CPD virtual image resolution
  • H_FOV design horizontal angle of view
  • FIG. 5 is a side cross-sectional view schematically illustrating the entire exit sinus and the signal transmission system of the control unit when the dynamic opening is maximally opened according to the second embodiment of the present invention.
  • 6A to 6C are side cross-sectional views illustrating an embodiment in which three parallax images are sequentially provided in one frame in synchronization with a dynamic aperture position.
  • FIG. 7 is a side cross-sectional view conceptually illustrating a configuration in which three exit pupils 51, 52, 53 are formed in the entire exit sinus 50 at an eye position formed by the time division operation of the dynamic opening of FIG. 6 .
  • FIG. 8 is a side cross-sectional view for explaining the coupling structure of the dynamic aperture control and the pupil tracking device according to the third embodiment of the present invention.
  • Fig. 9 (a) is a side cross-sectional view showing the configuration of forming the reduced exit pupil region 52 when the pupil position of the observer's eye moves in the left direction (-y axis) of the optical axis
  • b) is a side cross-sectional view showing the configuration of forming the reduced exit pupil region 53 when the pupil position of the observer's eye moves in the right direction (+y-axis) of the optical axis.
  • FIG. 11 (a) and (b) are cross-sectional views conceptually illustrating a situation in which a dynamic parallax image is provided at an eyeball position according to a fourth embodiment of the present invention.
  • FIG. 12 is a plan view illustrating an arrangement example of a dynamic opening according to a fourth embodiment of the present invention.
  • FIG. 13 is a graph showing the size of the blurring according to the diffraction of the image formed on the retina of the eyeball by the size of the convergence area (PDeye) (ie, the size of the entire or partial exit pupil) of the image point of the virtual image and the size of the geometric blurring. .
  • PDeye convergence area
  • 15 is a graph showing the results of computational simulation of spatial frequencies at which MTF values are 0.1, 0.2, and 0.3 according to the size of a convergence region (PDeye) of an image point of a virtual image.
  • PDeye convergence region
  • 16 is a side cross-sectional view illustrating a near-eye display device to which a dynamic aperture is applied according to a fifth embodiment of the present invention.
  • 17 is a side cross-sectional view of a near-eye display device to which a dynamic aperture is applied for improving optical performance by changing the shape of the dynamic aperture according to the sixth embodiment of the present invention.
  • FIG. 18 is a cross-sectional view showing the dynamic aperture viewed on a plane (x-y plane) perpendicular to the optical axis with respect to the annular dynamic aperture of FIG. 17 .
  • 20 is a graph showing the result of calculating the normalized relative light distribution function value of the PSF according to three representative ⁇ values according to the sixth embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a configuration for adjusting a depth of focus according to a seventh embodiment of the present invention.
  • 23A to 23C are tables and graphs showing the results of mathematically calculating the relationship between the main variables for the determination of the depth of focus range according to the seventh embodiment of the present invention.
  • 24A is a side cross-sectional view illustrating a configuration for changing an optimal position of a virtual image according to a display position adjustment according to an eighth embodiment of the present invention.
  • 24B is a side cross-sectional view illustrating a configuration for changing an optimal position of a virtual image according to a focus adjustment of a first lens according to another embodiment of the eighth embodiment of the present invention.
  • 25A is a graph illustrating a positional relationship of a display for adjusting a formation position of a virtual image according to an eighth embodiment of the present invention.
  • 25B is a graph showing the relationship between the focal lengths of the first lens for adjusting the formation position of the virtual image according to another embodiment of the eighth embodiment of the present invention.
  • 26A is a side cross-sectional view illustrating a configuration for adjusting an optimal position of a virtual image from an eyeball by adjusting a display distance from a first lens according to an eighth embodiment of the present invention.
  • 26B is a side cross-sectional view showing the configuration of adjusting the optimal position of the virtual image from the eyeball by adjusting the focal length to the first lens according to another embodiment of the eighth embodiment of the present invention.
  • FIG. 27 is a side cross-sectional view showing a pupil tracking device for tracking eye pupil center information in both eyes of an observer, and a configuration for adjusting a position for forming a virtual image by calculating a gaze depth of both eyes in FIG. 26 .
  • FIG. 28 is a side cross-sectional view showing a refractive power error of the eye according to normal vision and myopia or farsightedness for explaining the vision correction principle of an abnormal (myopia or farsighted) observer according to the ninth embodiment of the present invention.
  • 29 is a side cross-sectional view illustrating a structure showing the principle of a correcting lens for an abnormal (near vision or farsightedness) eye.
  • 30A is a side cross-sectional view illustrating a configuration for correcting an observer's visual acuity in an abnormal state by adjusting a display distance from a first lens according to a ninth embodiment of the present invention.
  • 30B is a side cross-sectional view illustrating a configuration for correcting an observer's visual acuity when abnormal according to focus adjustment of the first lens according to another embodiment of the ninth embodiment of the present invention.
  • 31A is a graph showing a specific optimal virtual image formation position (based on diopter units) and display position adjustment according to a ninth embodiment of the present invention.
  • 31B is a graph illustrating a specific optimal virtual image formation position (diopter unit basis) and adjustment of the focal length of the first lens according to another embodiment of the ninth embodiment of the present invention.
  • FIG. 32 is a side cross-sectional view illustrating a dynamic aperture control element to which a polarization aperture set is applied according to a tenth embodiment of the present invention.
  • FIG 33 is a side cross-sectional view illustrating a near-eye display device when used as an augmented reality (AR) device according to an eleventh embodiment of the present invention.
  • AR augmented reality
  • FIG. 34 is a side cross-sectional view illustrating a structure used as an AR device additionally provided with a vision correction lens according to a twelfth embodiment of the present invention.
  • 35 is a side cross-sectional view illustrating a configuration in which a shielding part and an external foreground camera are provided in front of an external viewing window according to a thirteenth embodiment of the present invention.
  • AR and MR Mated Reality
  • XR Extended Reality
  • FIG. 36 shows a case in which it is used as an MR or XR device according to a fourteenth embodiment of the present invention.
  • an external camera is provided for each eye.
  • optical structure 37 is a case in which the optical structure is applied to both eyes when applied to VR, AR, or MR in another embodiment of the present invention.
  • 38 and 39 are diagrams for explaining a reduction in the volume of the entire optical system by applying a polarizing beam splitter and a 1/2 ⁇ wave retarder to polarize light passing through a dynamic aperture, as compared with FIG. 37 .
  • FIG. 1 is a side cross-sectional view showing a basic configuration of a near-eye display apparatus according to a first embodiment of the present invention.
  • the near-eye display device includes a display 10 , a first lens 20 , a dynamic aperture control element 30 , and a main optical lens 40 . , and a control unit 60 (not shown).
  • the first lens 20 is spaced apart from the front surface of the display 10 by a first distance D md .
  • the dynamic aperture control element 30 is disposed adjacent to the first lens 20 to dynamically control the aperture size A dl of the first lens 20 and the horizontal position of the aperture on a plane perpendicular to the optical axis.
  • the dynamic aperture control element 30 may be positioned between the display 10 and the first lens 20 , or between the first lens 20 and the main optical lens 40 .
  • the dynamic aperture control element 30 may be placed inside the composite lens.
  • the main optical lens 40 is spaced apart from the first lens 20 by a second distance (D o ).
  • the exit pupil 50 is disposed at a position separated from the main optical lens by a third distance (D e ).
  • the controller 60 (not shown) controls the dynamic opening adjusting element 30 .
  • the virtual image information provided in the entire area of the display 10 generates an intermediate image on the intermediate image plane (P i ) using the first lens 20 , and the generated intermediate image passes through the main optical lens at a certain distance ( D e, Eye Relief) converges to the distant observer's eye. It has a basic configuration so that an observer can see the virtual image of a predetermined distance (D best ) determined in this way.
  • a 1:1 ratio or a reduced or enlarged image may be generated.
  • the field of view (FOV) may be magnified compared to 1:1 while maintaining a predetermined distance (De, Eye Relief) with the same display 10 .
  • the first lens 20 and the main optical lens 40 are expressed as one thin lens (lens represented by one principal plane) for convenience of explanation, but in reality, optical performance improvement is For this purpose, it may be applied in the form of a compound lens (lens group) having the same focal length.
  • the eye pupil of the observer is located in the exit pupil 50 .
  • the light generated in the entire area of the display forms a common light distribution area near the dynamic aperture control element 30 and the first lens 20, passes through the main optical lens 40 and is spaced apart from the eyeballs by a predetermined distance (D e ).
  • a convergence region is formed at the position, and the maximum cross-section of the convergence region in a plane (xy plane) perpendicular to the optical axis may be defined as the exit pupil 50 . Therefore, the exit pupil has a size of a certain area in a plane (xy plane) perpendicular to the optical axis (z-axis). Since it is not easy to display this on the side view as in FIG.
  • the convergence region of the eyeball position is displayed for convenience of display, and this is referred to as the exit sinus 50 .
  • the size of the diameter of the area on the xy plane of the exit pupil is has a circular shape. In the following description, this is the size of the exit sinus or the size of the convergence area of the eyeball position ( ) is indicated.
  • the size of the exit cavity (50) ( ) and the center position of the exit pupil on a plane (xy plane) perpendicular to the optical axis (z-axis) (hereinafter referred to as the horizontal position of the exit pupil) is a dynamic aperture control that is adjusted according to a control signal from the control unit 60 (not shown).
  • the opening of the dynamic aperture control element 30 has a circular shape on a plane (xy plane) perpendicular to the optical axis (z-axis), and the size of its diameter is specified as the opening size, and on the plane (xy plane)
  • the central position of the dynamic opening is specified as the horizontal position of the dynamic opening.
  • the dynamic aperture control element 30 is disposed adjacent to the first lens 20 , for example at the front or rear of the first lens 20 , so that the dynamic aperture size A dl and the vertical plane of the optical axis (xy plane) ), the size and position of the common light distribution area can be controlled by adjusting the horizontal position of the aperture.
  • the size of the common light distribution area is defined as a spatial area in which light coming from the entire area of the display 10 exists in common.
  • the size ( ) and the horizontal position are determined. 1 shows the exit pupil 50 formed when the dynamic opening is maximally opened. In this case, it is preferable that the size of the exit pupil is designed to be larger than the pupil size of the eyeball (3 to 4 mm) in a general environment.
  • the dynamic aperture control device 30 may be a liquid crystal device (LCD) or an electronic shutter capable of changing the aperture size and horizontal position according to a control signal from the controller 60 (not shown).
  • the dynamic aperture size (A dl ) and horizontal position adjustment are liquid crystal devices (LCDs) capable of locally adjusting transmittance according to the application of electrical signals or devices used as electronic shutters of various other methods can be used. .
  • FIG. 2 a case in which the size (A dl ) of the dynamic opening is reduced to 1/3 of the entire opening has been described as an example, but the ratio may be selected and applied according to the purpose.
  • 2A is an embodiment in which the size (A dl ) of the dynamic opening is reduced to 1/3 of the entire opening, and the position of the opening is located in the center. Since the common light distribution region C1 formed by the dynamic opening is reduced, the size of the first exit pupil 51 at the observer's position is reduced by 1/3 compared to the case where the entire opening is opened. At this time, since the position of the dynamic opening is located on the optical axis, the central position of the first exit pupil 51 is also on the optical axis. The common light distribution region C1 and the exit pupil 51 formed in FIG. 2A become a certain portion in the common light distribution region and the entire exit pupil 50 formed when the dynamic opening is fully opened.
  • 2B is an embodiment when the dynamic opening size (A dl ) is 1/3 of the total opening and the opening formation position is changed in the +y-axis direction to form the dynamic opening.
  • the size of the reduced common light distribution region C2 and the second exit pupil 52 at the position of the observer is reduced to 1/3 compared to the case in which the entire opening is opened.
  • the common light distribution region C2 is shifted along the +y-axis, so that the second exit pupil 52 at the observer's position is shifted from the optical axis to the ⁇ y-axis.
  • FIG. 2(c) is a case in which the position of the dynamic opening is changed in the opposite direction (-y-axis) to FIG. 2(b), and the third exit pupil ( 53) is formed by moving in the opposite direction (+y-axis) from the optical axis.
  • the first exit sinuses to the third exit sinuses are arranged to have 1/3 the size of the entire exit sinuses.
  • the shape of the dynamic aperture control element 30 may be a circular shape and, if necessary, an elliptical shape or a polygonal shape.
  • the shape of the exit pupil 50 is the same as that of the dynamic aperture control element and is the same or reduced according to the ratio. In the case of the above example, the width is reduced to 1/3.
  • the dynamic aperture disposed adjacent to the first lens 20 is generated from the display 10 and controls the size and position of the light width passing through the first lens 20 to form an exit pupil formed at the position of the observer's eyeball.
  • the position and size of (50,51,52,53) can be adjusted.
  • the exit pupils 50, 51, 52, 53 correspond to the size of the convergence region (PD eye) of the virtual image.
  • the size of the exit pupils 50 , 51 , 52 , and 53 of the position of the eyeball is directly related to the DOF range of the eyeball. The specific relationship is described as follows.
  • 3 is a table showing the results of calculating the depth of focus range according to the adjustment of the exit pupil size according to the first embodiment of the present invention, including constants.
  • the depth of focus range (DOF Range) in the unit of diopter (Diopter) is the exit pupil size ( ) is inversely proportional to the square of the
  • the controller 60 may adjust the opening size of the dynamic opening adjustment element so that the size of the exit pupil 50 is within 2 mm smaller than the pupil size of the observer.
  • the position of the dynamic opening is changed in real time by combining time-division dynamic opening interlocking operation or a pupil position tracking device to change the position of the exit pupil 50 ) can solve the problem of size reduction.
  • a near-eye display device with an extended depth of focus can be implemented, and the size of the convergence region of the virtual image is formed smaller than the pupil size (2 mm to 8 mm) that varies depending on the use environment, so that the image quality deterioration according to the pupil size is reduced. It is possible to provide a virtual image that does not exist.
  • the present invention it is possible to provide a virtual image formed by being transmitted through the first lens 20 and the dynamic aperture to the position of the observer's eye using the full resolution of the display.
  • FIG. 4 is a graph showing a specific application example of a virtual image resolution (CPD; Cycle per degree) and a design horizontal angle of view (H_FOV) implemented for each resolution of a display used according to the first embodiment of the present invention.
  • CPD virtual image resolution
  • H_FOV design horizontal angle of view
  • the maximum line-space pair (Line-Space) in an angle unit at which the virtual image can generate the resolution of the virtual image viewed by the observer. Pair) can be expressed as the density of the image. This can be expressed in CPD (cycle per degree) units.
  • H_Resolution The horizontal resolution (H_Resolution), the horizontal angle of view (H_FOV), and the CPD value of the virtual image have the relationship of Equation 2 below.
  • FIG. 4 A specific application example according to the design H_FOV value for the resolution of the display 10 is shown in FIG. 4 .
  • H_FOV horizontal angle of view
  • FHD-class (1920x1080) display an image resolution of 30CPD can be provided, but when a VGA-class (640x480) display is applied, it is approximately 1/ It will provide a video resolution of 10.7 CPD, reduced by 3.
  • a virtual image of the same angle of view when a virtual image of the same angle of view is provided, a virtual image having a higher resolution than that of the prior art can be provided to an observer.
  • FIG. 5 is a side cross-sectional view schematically illustrating the entire exit sinus and the signal transmission system of the control unit when the dynamic opening is maximally opened according to the second embodiment of the present invention.
  • the horizontal opening positions of the dynamic opening adjusting element 30 are two or more, and the openings at each local horizontal position of the dynamic opening adjusting element 30 are determined according to a control signal from the controller 60 (not shown).
  • the controller 60 By sequentially operating within one frame virtual image to sequentially arrange two or more partial exit cavities within the exit wing 50 , the size of the exit ridge 50 can be utilized to the maximum.
  • control unit 60 sequentially provides two or more parallax images to the display in synchronization with the local opening position change of the dynamic aperture control element 30, so that two or more partial exit motions in the exit pupil 50 are provided. Different parallax images may be arranged at each position.
  • the total exit pupil 50 of the observer's eye position which is formed when the dynamic opening is opened as much as possible, is designed to be 4 mm or more, and the total exit pupil 50 is designed to have sufficient clearance according to the eye movement range and the distance between the user's eyes. can do.
  • the controller 60 receives a manually input of a depth range of a virtual image by a user, or a depth range automatically determined according to a type or necessity of a virtual image such as, for example, a 2D text image or a 3D virtual image. According to the required size (A dl ) of the dynamic opening is determined and transmitted to the dynamic opening adjustment element (30).
  • the controller 60 (not shown) synchronizes the parallax image corresponding to the exit pupil 50 of the eye position formed according to the position of the dynamic opening within one frame.
  • the partial exit pupils 51 , 52 , 53 provided with different parallax images within the entire exit pupil 50 are sequentially formed on a plane (xy plane) perpendicular to the optical axis by time division and sequential provision. .
  • FIG. 6A to 6C are side cross-sectional views illustrating an embodiment in which three parallax images are sequentially provided in one frame in synchronization with a dynamic aperture position.
  • FIG. 6(a) shows a structure for controlling a dynamic aperture and providing a parallax image corresponding to a 1/3 frame
  • FIG. 6(b) is a 2/3 frame
  • FIG. 6(c) is a 3/3 frame.
  • three dynamic apertures arranged in a direction perpendicular to the ground (y-axis direction) are sequentially operated during one frame, and a synchronized parallax image is provided on the display.
  • the three parallax images are synchronized with the position of the dynamic aperture, and are sequentially provided in one frame, so that three different parallax images can be provided to each partial exit pupil 51 , 52 , 53 of the eyeball position.
  • one frame is 30 Hz or higher (90 Hz or higher based on three parallax image providing frames)
  • the user provides three parallax images in the entire exit pupil 50 due to the afterimage effect of the eyeball (51, 52,53) as a combination.
  • FIG. 7 is a side cross-sectional view conceptually showing a configuration in which three partial exit pupils 51, 52, 53 are formed in the entire exit sinus 50 at an eye position formed by the time division operation of the dynamic opening of FIG. .
  • the light path shown in FIG. 7 only the light path for the entire exit pupil 50 is shown.
  • the dynamic aperture may be disposed two-dimensionally on a plane (xy plane) perpendicular to the optical axis.
  • the effective use of the parallax image is that the aperture arrangement in the same direction (y-axis direction in this embodiment) as the arrangement of both eyes of the observer is effective, but in order to effectively increase the number of parallax images, the dynamic aperture is It is possible to increase the number of the partial exit pupils 51 , 52 , 53 providing a parallax image by arranging them in a dimension.
  • the case where the partial exit cavities 51 , 52 , 53 formed by the adjacent dynamic openings are disposed adjacent to each other without an empty space has been described as an example. It is possible even if there is a space, and when the number of parallax images increases or the size of the dynamic aperture (A dl ) increases according to the adjustment of the depth of focus range, a certain portion of the adjacent exit pupils 51, 52, 53 overlaps. can be formed.
  • the size of the partial exit pupils (51, 52, 53) formed at the eyeball position is formed within 2 mm to widen the range of the depth of focus by applying the dynamic opening, so the size of the entire exit pupil 50
  • the embodiment can additionally provide a parallax image having a wide depth of focus without reducing the size of the entire exit pupil 50 even when a dynamic opening having a partial size of the entire opening is applied.
  • FIG. 8 is a side cross-sectional view for explaining the coupling structure of the dynamic aperture control and the pupil tracking device according to the third embodiment of the present invention.
  • the near-eye display device may include a pupil tracking device 70 for tracking the position of the eye pupil of the observer.
  • the control unit 60 uses the pupil tracking information obtained by the pupil tracking device 70 to continuously position the partial exit pupil 51 in the eye pupil of the observer.
  • the horizontal position of the opening can be controlled in real time.
  • the dynamic aperture center position is set on the optical axis when the pupil center of the observer's eye is near the center of the optical axis, the partial exit pupil is located near the center of the eye pupil by the common light distribution forming region C1 formed by the dynamic aperture. (51) is formed.
  • the exit pupil 50 of the observer's eye position which is formed when the dynamic opening is maximally opened, is designed to be 4 mm or more, so that the entire exit pupil 50 has sufficient clearance according to the movement range of the eyes and the distance between the user's eyes.
  • the controller 60 receives a manually input of a depth range of a virtual image by a user, or a required dynamic aperture according to a depth range automatically determined according to a type of a virtual image (such as a two-dimensional text image or a three-dimensional virtual image).
  • a size (A dl ) of can be determined and transmitted to the dynamic aperture control element 30 .
  • FIG. 9A is a side cross-sectional view showing a configuration in which the partial exit pupil 52 is formed when the pupil position of the observer's eye moves in the left direction (-y-axis) of the optical axis.
  • FIG. 9B is a side cross-sectional view showing a configuration in which the partial exit pupil 53 is formed when the pupil position of the observer's eye moves in the right direction (+y-axis) of the optical axis.
  • the horizontal position of the opening of the dynamic opening adjustment element 30 is two or more, and the arrangement of the opening is rearranged according to the movement direction of the observer's eye pupil of the pupil tracking device 70.
  • the openings at each horizontal position of the dynamic aperture control element 30 are sequentially operated within one frame virtual image, so that the partial exit pupils 52 and 53 are opened to the viewer.
  • Two or more may be sequentially arranged according to the direction of eye movement. Accordingly, it is possible to provide an optimal virtual image for the pupil movement of the eye within the entire exit pupil 50 even if the partial exit pupils 52 and 53 formed in synchronization with the movement direction of the pupil position of the observer's eye are used. As a result, the size of the entire exit pupil 50 can be effectively used.
  • one dynamic partial exit pupil 51 , 52 , 53 close to the center of the moving pupil in one frame virtual image may be selected.
  • the controller 60 controls the depth of focus range (DOF Range).
  • DOF Range depth of focus range
  • the dynamic aperture moves in the -y direction
  • the size of the movement is determined according to the design of the ratio of the second interval (D o ) to the third interval (D e ) of the optical system.
  • the second interval (D o ): the third interval (D e ) 2:1
  • the central position of the dynamic opening is adjusted to 1 mm to move the dynamic partial exit pupils 52 and 53 of the eyeball position. Move 2mm.
  • the control unit 60 that receives feedback of the direction and size of the movement from the captured image of the pupil tracking device (60, not shown) time) to the dynamic aperture control element 30 to form a second common light distribution region C2 according to the second dynamic aperture position change to form a reduced partial exit pupil 52 near the center of the eye pupil do.
  • the control unit 60 that receives feedback of the movement direction and size from the captured image of the pupil tracking device time) to the dynamic aperture control element 30 to form a third common light distribution region C3 according to the third dynamic aperture position change to form a reduced partial exit pupil 53 near the center of the eye pupil do.
  • FIGS. 10 show that the opening position is set so that the outermost reduced partial exit pupils 52 and 53 that the system can provide are located within the pupil size of the observer's eye.
  • 10 (a) and 10 (b) are diagrams for a case in which the pupil of the eyeball is moved in the horizontal direction (y-axis direction). This case corresponds to the case where the gap between the observers' eyes does not match. However, ideally, when the pupils of both eyes of the observer are initially set on their respective optical axes, rotation of the eyes may occur as the observer's eyes change the gaze direction. Accordingly, the horizontal direction (y-axis direction) of the eye pupil may be changed. This case is shown in FIGS.
  • the embodiment of the present invention is applicable to both of the above two cases.
  • the pupil center position of the observer's eye moves out of the total exit pupil 50 area that can be provided by the design of the optical system of the present invention, it is difficult to apply in consideration of the pupil size of the eye. it's difficult.
  • the size of the entire exit pupil 50 of the eyeball position should be set in consideration of the corresponding pupil movement path of the observer's eye.
  • the preceding embodiment generates partial exit sinuses 51, 52, 53 having a parallax image by applying time division to the entire exit sinus 50 without eye tracking, thereby reducing the entire exit sinus 50.
  • this embodiment uses the position of the reduced partial exit pupils 51, 52, 53 with a wide depth of focus in the eyeball position as the pupil position of the eyeball. By changing the information by referring to the information, it is possible to continuously provide an optimal virtual image to the pupil of the eye located within the outermost portion of the entire exit pupil 50 .
  • FIGS. 10(c) and 10(d) are cross-sectional views conceptually illustrating a situation in which a dynamic parallax image is provided at an eyeball position according to a fourth embodiment of the present invention.
  • 11 shows a case in which the observer's eyeball is moved in the horizontal direction (y-axis direction) and the pupil is moved in the horizontal direction (y-axis direction), but as shown in FIGS. 10(c) and 10(d), the eyeball It can also be reflected in the horizontal direction (y-axis direction) movement of the pupil by the rotation.
  • FIG. 11 describes only the horizontal movement of the eyeball.
  • the pupil tracking device 70 controls the coordinate information of the pupil position of the observer's eye to the controller 60 , not shown).
  • the control unit 60 (not shown) sequentially constructs three dynamic openings within one frame so that the intermediate partial exit sinus 52 is located among the partial exit pupils 51, 52, 53 that provide three parallax images at the pupil center coordinates. works with At this time, the control unit 60 (not shown) synchronizes with the operation opening of the dynamic opening to provide a parallax image on the display 10 .
  • the position of the dynamic opening can be adjusted with respect to the two-dimensional (x-y plane) information of the pupil.
  • 11A shows a situation in which the pupil position is located on the optical axis of the optical system, that is, at the center of the entire exit pupil 50 when the dynamic aperture is fully opened.
  • the observer's pupil size is about the full width of the partial exit pupils 51, 52, 53 providing three parallax images
  • a realistic 3D image similar to a hologram is provided by providing a super multi-viewpoint image to the observer's pupil. can be provided to the observer.
  • the central exit pupil 52 is located at the center of the observer's pupil.
  • FIG 11 (b) shows the partial exit pupil 52 of intermediate parallax at the central position of the eye pupil according to the adjustment of the dynamic opening within the entire exit pupil 50 when the observer's pupil center moves to the left (-y direction). This arrangement shows the result of sequentially providing disparity images within one frame.
  • the partial exit sinus 52 providing this central parallax image is aligned with the pupil center.
  • a parallax image is provided to the exit pupils (52 or 53 in FIG. 10) of the outermost part of the dynamic opening.
  • the provision of the time-division parallax image may be partially limited.
  • FIG. 12 is a plan view illustrating an arrangement example of a dynamic opening according to a fourth embodiment of the present invention.
  • two or more horizontal opening positions of the dynamic opening control element 30 may be arranged in a horizontal, vertical, or diagonal direction in the x-y plane, or a combination thereof.
  • the pupil may move in two dimensions on a plane (x-y plane) perpendicular to the optical axis of the optical system.
  • the positions of the plurality of dynamic openings may be variously set.
  • 12 (a) to (c) show the arrangement of several possible dynamic openings among them.
  • 12 is an example, and in reality, various dynamic apertures can be arranged, adjacent dynamic apertures can be overlapped according to the setting of the depth-of-focus range, and the dynamic generated according to the type of virtual image viewed by the user and the measured pupil size
  • the control unit 60 (not shown) process algorithmically so that the number and arrangement of the openings are changed.
  • a super multi-view image of complete parallax can be provided in the pupil, simulating artificial light focusing and defocusing. This can provide an effect of providing a virtual image similar to a hologram.
  • FIGS. 13 to 16 show the size and geometric blurring of the image formed on the retina of the eyeball by the size of the convergence area (PD eye ) (ie, the size of the full or partial exit pupil) of the virtual image at the pupil position of the eyeball according to the diffraction is a graph showing the size of the convergence area (PD eye ) (ie, the size of the full or partial exit pupil) of the virtual image at the pupil position of the eyeball according to the diffraction is a graph showing the size of
  • the distance (Dn) and the outer distance (Df) are set, and the inner range is an area where the user does not feel the difference in image quality, and the range of the depth of focus is defined.
  • the depth of focus range is inversely proportional to the square of the size of the dynamic partial exit pupils 51, 52, 53 formed at the pupil position of the eye (the size of the convergence region of the virtual image associated therewith), as already described in conjunction with FIG. 3 . have a relationship (see Equation 1).
  • the size (A dl ) of the dynamic opening it is possible to adjust the size of the partial exit sinus (51, 52, 53) among the sizes of the entire exit sinus 50 at the eyeball position, and accordingly, the virtual The size of the convergence area (PD eye ) of the image point of the image can be adjusted.
  • the size of the blur due to diffraction on the retina of the eye (Airy Radius) and the size of the geometric blur (Geometric Blur Radius) are the size of the convergence area of the image point of the virtual image (PD). Eye ), the increase and decrease tend to be opposite to each other.
  • the size of the convergence region (PD eye ) of the image point of the virtual image is the position B in this embodiment.
  • the size of the convergence area (PD eye ) of the image point of the virtual image at position A and position C results in a relatively larger diffraction effect or geometric blurring, resulting in larger image blur than at position B, reducing the depth of focus range.
  • the size of the convergence area (PD eye ) of the image point of the virtual image is 0.978 mm
  • the size of the blur due to diffraction and the radius of the size of the geometric blur are the same value as 12.12 ⁇ m will have
  • 14 is an optimal virtual image position ( ), the nearest position in the depth-of-focus range ( ) of the image point, the outermost position ( It is a graph showing the MTF value for each frequency in the retina for the image point of ) and the image point at the optimal image position.
  • 15 is a graph showing the results of computational simulation of spatial frequencies at which MTF values are 0.1, 0.2, and 0.3 according to the size of the convergence region (PD eye) of the image point of the virtual image.
  • the optimal position of the size of the convergence area (PD eye ) of the image point of the virtual image is the size of the blur according to diffraction (Diffraction Airy Radius) and the size of the geometric blurring (Geometric Blur Radius).
  • Diffraction Airy Radius the size of the geometric blurring
  • Gauometric Blur Radius the size of the geometric blurring
  • the size of the convergence region (PD eye ) of the image point of the optimal virtual image is defined as a condition in which diffraction and geometric blurring are the same.
  • the value and the MTF contrast value will not be the same.
  • the cut-off spatial frequency of the MTF determined according to the optical design may vary, but the change in the MTF value according to the spatial frequency is the same. Accordingly, the MTF value of the maximum usable spatial frequency in consideration of the observer's visibility in the determined optical system is 0.1 to 0.3.
  • FIG. 15 is a result of computational simulation of spatial frequencies at which MTF values are typically 0.1, 0.2, and 0.3 according to the size of the convergence region (PD eye) of the image point of the virtual image.
  • the size of the convergence region (PD eye ) of the image point of the virtual image providing the maximum spatial frequency according to the reference MTF value is different from the optimal condition.
  • This range is approximately ⁇ 20% of the size of the convergence area (PD eye ) of the image point of the optimal virtual image. Within this range, it is desirable to adjust and use the size of the convergence area (PD eye ) of the image point of the virtual image, which is determined according to the appropriate range of depth of focus according to the priority of optical design matters.
  • the controller 60 (not shown) adjusts the size of the aperture of the dynamic aperture element according to the set optimal virtual image position and the range of the depth of focus, so that the nearest image blurring size of the image point focused on the retina at the focal point of the nearest eye. And, so that the outermost image blur size of the image point focused on the retina at the focal position of the outermost eye is the same, the nearest and outermost image blurring size is within ⁇ 20% of the same value as the image blurring size due to diffraction It is desirable to adjust the size of the exit pupil at the pupil position of the eye so that the optimal position of the image point of the virtual image is the arithmetic average position of the focal position of the nearest eye and the focal position of the outermost eye in units of diopters.
  • 16 is a side cross-sectional view illustrating a near-eye display device to which a dynamic aperture is applied according to a fifth embodiment of the present invention.
  • the unit of each distance is a unit of diopter (Diopter). Note that, when expressed in units of distance, the optimal virtual image formation position (D best ) is not an arithmetic mean relation of the outermost distance of the depth-of-focus range.
  • FIG. 16 conceptually shows a relationship between a dynamic aperture-applied near-eye display device, a range of depth of focus determined accordingly, and major variables related to formation of an optimal virtual image position.
  • FIG. 17 is a side cross-sectional view of a near-eye display device for improving optical performance by changing a shape of a dynamic aperture according to a sixth embodiment of the present invention.
  • FIG. 18 is a cross-sectional view illustrating the dynamic aperture viewed on a plane (x-y plane) in which an optical axis is perpendicular to the annular dynamic aperture of FIG. 17 .
  • the opening of the dynamic aperture control element 30 is an Annular Aperture composed of a circular light blocking portion in a circular opening, the radius of the circular opening is a, and the circular light blocking portion is a.
  • the radius of the portion is a 0
  • the ratio of the radius of the circular opening to the radius of the circular light blocking portion is defined as ⁇ ( ⁇ a 0 /a).
  • the shape of the opening of the dynamic opening has an annular shape that blocks light in a portion of the middle region of the opening, so that the common light distribution region ( Among C1), a region through which a certain portion of the center of the optical axis does not pass is generated, and as shown in FIG. 17 , an intermediate region of the light bundle passing through the dynamic aperture is empty.
  • the dynamic aperture has an annular shape, it is possible to reduce the amount of blur due to diffraction (Airy Radius) in the high-frequency spatial frequency region, thereby improving the optical properties.
  • the diffraction condition equal to the size of the geometric blurring is changed, so that the condition of the same aperture size and the optimum condition or optimal condition range as that of the general aperture of the preceding embodiments are changed.
  • the shape of the dynamic aperture viewed on a plane (xy plane) perpendicular to the optical axis for the annular dynamic aperture according to this embodiment is shown in FIG. 18 .
  • Size (A dl) of the dynamic aperture is present in this area does not a certain area, the light passes through the central area of the opening in the same given dynamic aperture size (A dl) with the preceding embodiment example, if.
  • the ratio of the occluded portion to the defined dynamic size (a 0 /a) is important, and the present invention will be described by defining it as ⁇ .
  • the Strehl ratio of the PSF is 0.8 (approximately Rayleigh's quarterwave criterion) or more, it is judged that there is no problem.
  • ⁇ satisfying the above two conditions is 1/3.
  • the depth of focus range is reduced to 12.5% from the size of the convergence area (PD eye) of the image point of the same virtual image without feeling the image quality deterioration in the user's visibility. can be made wider. Therefore, in applying the ⁇ value of the annular aperture according to the present invention to the present invention, a value of about 1/3 can be optimally applied to ⁇ , and the ⁇ value is set to 1 according to the specific gravity of the depth of focus and light quantity control. It is desirable to apply within /3.
  • 20 is a graph showing the result of calculating the normalized relative light distribution function value of the PSF according to three representative ⁇ values according to the sixth embodiment of the present invention.
  • the appropriate ⁇ value considering the MTF according to the spatial frequency is the maximum ⁇ value showing the characteristic that the MTF value monotonically decreases according to the increase of the spatial frequency.
  • the ⁇ value that satisfies this is 0.45.
  • the amount of light at this time is about 80% compared to the case where the ⁇ value is 0, and the Strehl ratio of the PSF is reduced to 0.64. It is an applicable condition when considering the range and spatial frequency of high frequency (providing virtual images with increased resolution).
  • ⁇ is within 1/3, but when recognizable resolution or depth range becomes more important, ⁇ can be extended to 0.45.
  • FIG. 21 shows the MTF value and the ⁇ value in the spatial frequency (representing the cut-off spatial frequency as 1) normalized from the representative ⁇ values (0, 1/3, 0.45) as described above compared to the case where the DOF range is 0 12% to 25% dilatation is shown, compared with a smaller circular aperture corresponding to a ⁇ value of 0 corresponding to an expanded DOF.
  • FIG. 22 is a diagram illustrating a configuration for adjusting a depth of focus according to a seventh embodiment of the present invention. Referring to FIG. 22 , an application embodiment related to adjusting the depth of focus range in consideration of the required resolution of a virtual image will be described as follows.
  • the controller 60 reduces the depth of focus range at the optimal virtual image position set according to the type of the virtual image and widens the size of the opening of the dynamic aperture control element 30 to provide an image with increased resolution.
  • the depth of focus in order to widen the range of the size of the converging area of the eye position (PD eye) is to be reduced more reduced image convergence zone size (PD eye) of a point of the virtual image becomes large, the diffraction effect of resolution that can be provided by the optical system
  • the maximum resolution that can be seen is determined according to the resolution and field of view (FOV) of the display used in the optical system (see FIG. 4 ), but the maximum resolution may be further limited by the diffraction effect. As a result, it becomes difficult to properly recognize detailed patterns (text or images with fine patterns).
  • the size of the convergence region (PD eye ) of the image point of the virtual image at the eye position and the size of the blurring due to diffraction (Airy Radius) satisfy the following equations.
  • ⁇ is the wavelength
  • d eye is the distance between the eye lens and the retina.
  • the control unit in the preceding embodiments automatically or the user reduces the depth of focus range (that is, by greatly adjusting the size of the convergence area (PD eye ) of the image point of the virtual image) so that the user can comfortably view the virtual image that requires high resolution.
  • 23A to 23C are tables and graphs showing the results of mathematically calculating the relationship between the main variables for the determination of the depth of focus range according to the seventh embodiment of the present invention.
  • FIGS. 23A to 23C A specific example of adjusting the depth of focus range and adjusting the resolution will be described with reference to FIGS. 23A to 23C .
  • the convergence area size (PD eye1 ) of the image point of the first optimal virtual image is 1.693 mm
  • the image point of the optimal second virtual image is 3 diopters.
  • the size of the convergence area (PD eye2 ) is 0.9776mm.
  • the size of the convergence region (PD eye1 ) of the image point of the first virtual image of the eye position is proportional to the size (A dl ) of the dynamic aperture of the dynamic aperture control element disposed adjacent to the first lens, which is D o :D e of the optical system determined by the ratio.
  • the ideal diffraction limit (airy radius) is increased from 7 ⁇ m in the case of 1 diopter to 12.12 ⁇ m in the case of 3 diopters when the formula of Equation 3 is applied.
  • the maximum spatial resolution (which corresponds to the Rayleigh Criterion as the maximum resolution that can distinguish two adjacent pixels in consideration of diffraction) increases. system can be implemented.
  • 1 diopter is 3 times brighter than 3 diopters (as shown in Equation 1, the DOF range is inversely proportional to the square of the size of the convergence area), and as the diffraction effect is reduced, the maximum spatial resolution is increased by 1.72 times. .
  • the increase in the maximum spatial resolution has the effect of increasing the MTF value at the spatial frequency, even if an area with a smaller spatial frequency is used in consideration of the display resolution and the angle of view, so that the higher contrast ratio of the virtual image ( contrast ratio), so that a clearer image can be realized.
  • the dynamic aperture width is determined as a condition for giving the size of the convergence area (PD eye ) of the image point of the virtual image required for the virtual image at the eye position.
  • the size of the dynamic aperture (A dl) and the convergence region of the image point of the virtual image size (PD eye) is in the proportional relation, D o of the optical system: are determined according to D e ratio. Specifically, the relationship of Equation 4 below is satisfied.
  • the dynamic aperture size (A dl ) according to the convergence area size (PD eye ) of the image point of the virtual image required for each DOF range to be applied is made into an internal lookup table, or a simple formula is calculated should be applied.
  • the dynamic aperture size A dl may be changed by the control unit 60 (not shown) through the dynamic aperture control element 30 to change the dynamic aperture size A dl .
  • the controller 60 adjusts the content type It is possible to automatically adjust the size of the dynamic aperture (A dl ) by selecting the required DOF range to
  • the dynamic aperture control element 30 is disposed adjacent to (in front or behind) the first lens according to the dynamic aperture size (A dl ) received from the controller to adjust the area of light of the virtual image passing through the first lens. It is a device
  • the dynamic aperture control element 30 needs to adjust the position and size of the region through which light is transmitted according to an electric signal.
  • a liquid crystal element LCD
  • suitable for application as an optical shutter is high-speed among them.
  • An FLC device that can be driven is easy.
  • other devices capable of adjusting the size and position of the transmission region according to electrical signals may be used as the dynamic opening of the present invention.
  • 24A is a side cross-sectional view illustrating a configuration for changing an optimal position of a virtual image according to a display position adjustment according to an eighth embodiment of the present invention.
  • FIG. 24A is the same structure as the basic optical system of the present invention shown in FIG. 1 , so a description of the basic structure is omitted, and the basic principle of changing the optimal position (D best ) of the virtual image will be described with reference to FIG. 16 .
  • the description of the dynamic aperture control element 30 in FIG. 24A is also omitted.
  • a display position adjusting element 80 (not shown) for adjusting the distance between the position of the display 10 and the first lens 20 is provided, and the controller 60 (not shown) controls the set optimal virtual image
  • the optimal virtual image position may be adjusted by controlling the display position adjusting element 80 according to the position.
  • the virtual image information generated by the display 10 forms an intermediate image between the first lens 20 and the main optical lens 40, and the position of the intermediate image from the main optical lens is determined by the focal length of the main optical lens and the In the same case, the focusing distance of the eye away from the main optical lens with the eye relief becomes infinity (0 diopters).
  • this infinite distance intermediate image formation position is the focus of the first lens 20 . It is determined according to the phase equation according to the distance and the distance between the display 10 and the first lens 20 . Accordingly, the distance D md0 between the reference display position P 0 and the first lens is determined.
  • the position of the virtual image according to the intermediate image formation position is the optimal position (D best ) of the virtual image viewed from the eyeball.
  • the optimal position of the virtual image may be changed by adjusting the display position (P 0 ) closer to the first lens 20 separated by a predetermined distance from the reference position (P 1 ).
  • 24B is a side cross-sectional view illustrating a configuration for changing an optimal position of a virtual image according to a focus adjustment of a first lens according to another embodiment of the eighth embodiment of the present invention.
  • the display 10 and the first lens 20 capable of adjusting the focal length are provided, and the controller 60 (not shown) for controlling this is provided with the first lens 20 according to the set optimal virtual image position. ) to adjust the optimal virtual image position by changing the focal length.
  • the virtual image information generated by the display 10 forms an intermediate image between the first lens 20 and the main optical lens 40, and the position of the intermediate image from the main optical lens is determined by the focal length of the main optical lens and the In the same case, the focusing distance of the eye away from the main optical lens with the eye relief becomes infinity (0 diopters).
  • this infinite distance intermediate image formation position is the focus of the first lens 20 . It is determined according to the phase equation according to the distance and the distance between the display 10 and the first lens 20 . Accordingly, when the distance D md0 between the display position and the first lens is determined, the intermediate image formation position is determined according to the focal length of the first lens.
  • the focal length of the first lens at the distance between the determined display position and the first lens 20 can be adjusted so that the intermediate image forming position becomes I 0 , and in order to change the intermediate image forming position to I 1 close to the main optical lens 40, the focal length must be changed longer than in the previous case.
  • This relationship can be calculated using the lens equation.
  • I 1 is a distance closer than the focal length of the main optical lens, a virtual image is generated.
  • the position of the virtual image according to the intermediate image formation position is the optimal position (D best ) of the virtual image viewed from the eyeball.
  • the optimal position of the virtual image may be changed by fixing the distance between the display position and the first lens and adjusting the focal length of the first lens 20 .
  • 25A is a graph illustrating a positional relationship of a display for adjusting a formation position of a virtual image according to an eighth embodiment of the present invention.
  • the absolute value for adjusting the display 10 from the reference position depends on the design parameters of the optical system, but if you look at the relevance, It can be seen that the position of the display 10 is linearly proportional to the first lens 20 .
  • 25A shows a positional relationship of a display for adjusting the formation position of a virtual image from an infinite position (0 diopters) to 250 mm (4 diopters) as an example according to an embodiment of the present invention.
  • 25B is a graph showing the focal length relationship of the first lens for adjusting the formation position of the virtual image according to another embodiment of the eighth embodiment of the present invention.
  • the absolute value for adjusting the focal length of the first lens 20 from (infinite virtual image formation position) varies depending on design parameters of the optical system, but if you look at the relationship, the virtual image formation position based on diopters It can be seen that the focal length of the first lens 20 for adjustment is increased in linear proportion.
  • 25B shows a relationship with the focal length of the first lens 20 for adjusting the formation position of a virtual image from an infinity position (0 diopters) to 250 mm (4 diopters) according to an embodiment of the present invention.
  • 26A is a side cross-sectional view illustrating a configuration for adjusting an optimal position of a virtual image from an eyeball by adjusting a display distance from a first lens according to an eighth embodiment of the present invention.
  • a pupil tracking device 70 for tracking an observer's eye pupil focus adjustment position is further provided, and the controller 60 (not shown) includes the pupil tracking device 70
  • the display positioning element 80 may be controlled to form an optimal virtual image position close to the gaze depth position of the observer's eye using the obtained pupil tracking information.
  • the control unit 60 transmits the display adjustment position information corresponding to the optimal position information to the position adjustment element 80 for controlling the position of the display 10 . It is also possible to adjust the optimal virtual image formation position by adjusting the position of the display 10 through the position adjusting element 80 .
  • 26A shows the optimal position of the virtual image from the eyeball to D best1 to D as the distance from the first lens 20 to the display 10 is adjusted from D md1 to D md2 according to the eighth embodiment of the present invention.
  • the structure adjusted to best2 is shown.
  • 26B is a side cross-sectional view showing the configuration of adjusting the optimal position of the virtual image from the eyeball as the focal length of the first lens is adjusted according to another embodiment of the eighth embodiment of the present invention.
  • a pupil tracking device 70 for tracking an observer's eye pupil focusing position is further provided, and the controller 60 (not shown) includes the pupil tracking device ( 70) may control the focal length of the first lens so that an optimal virtual image position close to the gaze depth position of the observer's eye is formed using the pupil tracking information obtained.
  • the controller 60 transmits the focal length information to the first lens corresponding to the optimal position information to adjust the optimal virtual image formation position.
  • 26B shows the focal length of the first lens 20 according to another embodiment of the eighth embodiment of the present invention.
  • the structure is the optimum position of the virtual image is adjusted in D best1 from the eye to the D best2 is shown as adjusted to.
  • this First virtual image optimum position (D best1) the smaller the case is to be formed away from the eye than a second virtual image optimum position (D best1).
  • FIG. 27 is a side view showing a pupil tracking device for tracking eye pupil center information in both eyes of an observer in FIGS. 26A and 26B, and a control unit for receiving this information and calculating a gaze depth of both eyes to adjust a position for forming a virtual image It is a cross section.
  • the control unit 60 (not shown) forms an optimal virtual image position close to the depth of convergence of the gaze of both eyes of the observer.
  • the display positioning element 80 may be controlled so as to be possible.
  • the controller 60 determines the optimal virtual image position close to the gaze convergence depth of both eyes of the observer.
  • the focal length of the first lens may be controlled according to the control signal to be formed.
  • the pupil tracking devices 71 and 72 that apply an algorithm for tracking the direction of the eye pupil orientation are calculated in the convergence positions of both eyes, and this distance is judged as the optimal focal length of the observer's gaze. Accordingly, it may be more preferable as an embodiment of the present invention to provide the optimum virtual image formation position information to the control unit 60 (not shown).
  • a piezoelectric element capable of precise position control a VCM, or a liquid crystal element in which the refractive index is changed according to an electric signal to adjust the effective distance between the display and the first lens, etc. may be used.
  • the type of the first lens capable of controlling the focal length according to the control signal of the controller of FIG. 26B is a focus tunable lens, a polymer lens, a liquid lens, a liquid crystal lens, or the refractive index of the lens is changed according to an electric signal according to an electric signal. is the lens
  • the distance between the display and the first lens can be controlled by the control unit in order to change the optimal formation position of the virtual image, and the fixed display and the first lens (variable focal length lens) can be controlled separately from this. It was shown that the focal length of the first lens can be controlled while maintaining the distance between the focal length lenses.
  • two or more optimal positions for forming virtual images can be implemented in one frame by driving the two technologies of the present invention in a time division manner. Through this, it is possible to effectively widen the range of the depth of focus of the virtual image.
  • 28 is a side cross-sectional view showing a refractive power error of the eye according to normal vision and myopia or farsightedness for explaining the vision correction principle of an abnormal (myopia or farsighted) observer according to the ninth embodiment of the present invention.
  • 29 is a side cross-sectional view illustrating a structure showing the principle of a correcting lens for an abnormal (near vision or farsightedness) eye.
  • 30A and 30B are side cross-sectional views illustrating a configuration for correcting an observer's visual acuity when abnormal according to a ninth embodiment of the present invention.
  • the display 10 corresponding to the optimal virtual image position set by inputting a visual acuity correction value to the control unit 60 (not shown) for an observer with abnormal nearsightedness or farsightedness By correcting the position, it is possible to provide an optimal virtual image position even to an observer in an abnormal state without wearing vision correction glasses.
  • the first lens By correcting the focal length of 20), it is possible to provide an optimal virtual image position to an abnormal observer without wearing vision correction glasses.
  • the adjustment to the optimal position of the virtual image has been described with reference to an observer with normal eyes, but in reality, many observers do not have normal vision without vision correction glasses (lenses).
  • an optimal virtual image is obtained when sufficient eye relief is not secured according to the design of the optical system as well as inconvenience in use of the device. There is a problem that is difficult to see.
  • this embodiment allows an observer with abnormal vision such as nearsightedness or farsightedness to properly view a virtual image using the device of the present invention without vision correction glasses.
  • the difference between normal vision and abnormal eyes such as myopia or farsightedness is that normal vision for an infinite distance object can focus properly on the retina under Relaxed Accommodation, but not in the case of nearsightedness and farsightedness.
  • an image is formed in front of the retina (if the focal length of the eye lens is shorter than the average or the distance of the retina is longer than the average), whereas in the case of farsightedness, an image is formed behind the retina (eye lens) is longer than the average, or the distance from the ocular lens to the retina is shorter than the average).
  • This is called the refractive error of the eye, and it can be corrected by using a vision correction lens.
  • myopia is a case where the focal length of the eye at maximum relaxation is too short (or when the optical power is too large) for an infinite distance object, and negative optical power is
  • a lens with a concave lens as a corrective lens
  • the virtual image of an infinite distance object is located at a certain distance (S f1 ) in front of the correcting lens, so that the light of an infinite distance object is diverge as much as the visual acuity correction value from the eyeball position. It is possible to properly focus on the retina of the user with
  • Hyperopia is when the focal length of the eyeball at maximum relaxation is too long (or the optical power is too small) for an infinite distance object, and a lens with positive optical power (convex lens) is used as a corrective lens
  • a lens with positive optical power convex lens
  • S f2 certain distance from the back of the correction lens (the side where the eyeball is located) so that the light from the object at an infinite distance converges as much as the visual acuity correction value at the eyeball position of the retina can be properly focused.
  • This position becomes a reference display position (D md0 ) and an intermediate virtual image formation position (I 0 ) providing a virtual image in normal operation.
  • the virtual image position (I 1 ) is formed closer to the main optical lens 40 than the reference position (I 0 ) of the virtual image of the emetic eye, and the above-mentioned correction glasses for myopia and
  • the position of the display 10 may be adjusted to be closer to the first lens 20 than the position of the emmetropic eye by D md1 .
  • the virtual image position (I 2 ) is set farther to the main optical lens 40 than the reference position (I 0 ) of the virtual image of the emmetropic eye, and the above-described correction of far-sightedness is set.
  • the light entering the eye is well focused on the retina, so that a virtual image can be viewed at an infinite distance.
  • the position of the display 10 may be adjusted to be farther from the position of the first lens 20 than the position of the emmetropic eye by D md2.
  • the reference position of the infinite distance virtual image unlike emmetropic eyes, has been described for display reference position correction for myopic and far-sighted eyes.
  • the display position can be changed by reflecting the virtual image formation position from the reference display position of each user.
  • the control unit 60 (not shown) refers to the built-in data table regarding the reference display position (reference position for an infinite distance object) for each corrected visual acuity that reflects the above, and controls the position of the display according to the optimal position of the virtual image You just have to pass it on to the child.
  • the focal length of the first lens 20 is adjusted to correct the observer's eyesight.
  • 31A is a graph showing a specific optimal virtual image formation position (based on diopter units) and display position adjustment according to a ninth embodiment of the present invention.
  • FIG. 31A display positions that provide the same optimal virtual image for users of normal eyes, myopia (-2 diopters), and far-sighted eyes (+2 diopters) are compared.
  • the dotted line indicates that the display position that provides the optimal image corresponding to 2D (0.5 m) for emmetropic eyes is the same as the optimal image position for near-sighted 0D (infinity distance), whereas 4D (0.25 m) for far-sighted eyes is the same as the display position. It is the same as the location where the optimal image is provided. This is the result of correcting the user's eyesight correction by the corresponding numerical value.
  • a method for correcting a user's eyesight on an external object when used as such an AR device will be described as a twelfth embodiment to be described later.
  • 31B is a graph illustrating a specific optimal virtual image formation position (diopter unit basis) and adjustment of the focal length of the first lens according to another embodiment of the ninth embodiment of the present invention.
  • the focal lengths of the first lens that provide the same optimal virtual image to users of normal eyes, myopia (-2 diopters), and far-sighted eyes (+2 diopters) are compared.
  • comparison of the focal length of the first lens and the emmetropic, near-sighted, and far-sighted eyes of the virtual image formation position can be compared in the same manner as in the relationship of FIG. 31A .
  • a method for correcting a user's eyesight on an external object when used as such an AR device will be described as a twelfth embodiment to be described later.
  • FIG. 32 is a side cross-sectional view illustrating a dynamic aperture control element to which a polarization aperture set is applied according to a tenth embodiment of the present invention.
  • two parallax images adjacent to an eyeball position are provided by applying two polarization-divided display pixels and two dynamic apertures having polarization directions orthogonal to each other.
  • the display 10 is composed of a plurality of pixels, and adjacent pixels of each pixel provide a first virtual image of a first polarization and a second virtual image of a second polarization that are orthogonal to each other, and a dynamic aperture control element ( 30) consists of a set of polarization apertures comprising a first aperture of a first polarization and a second aperture of a second polarization.
  • the two virtual images of the display 10 are transmitted to the observer's eye position through the polarization aperture set of the dynamic aperture control element 30 so that the exit pupil can be expanded.
  • the first virtual image and the second virtual image may be parallax images.
  • the horizontal positions of the polarization aperture sets of the dynamic aperture control element 30 are two or more, and according to a control signal from the controller 60 (not shown), the openings at each horizontal position of the dynamic aperture control element 30 are one.
  • control unit 60 sequentially provides two or more parallax images to the display 10 in synchronization with the change in the position of the polarization opening set of the dynamic opening adjustment element 30, so that different A parallax image may be disposed.
  • Some pixels of the elements of the display 10 have a first polarization (circularly or linearly polarized light) and the remaining pixels are of a second polarization (circularly or linearly polarized light) orthogonal thereto, and the dynamic aperture is the same polarization as the first polarization
  • the DOF range is wide and the exit pupil is expanded while providing two parallax images to the user's eye even if there is no time division A virtual image can be provided.
  • FIG. 32 shows an embodiment of providing two parallax images adjacent to an eyeball position by applying two polarization-divided display pixels of the present invention and two dynamic apertures having polarization directions orthogonal to each other.
  • the light path indicated by the solid line is the first parallax image of the first polarization
  • the light path indicated by the dotted line is the convergence point of the eyeball position formed by the second parallax image of the second polarization.
  • polarization division and time division at the same time.
  • an embodiment in which two sets of polarization apertures are applied can be used in combination with the preceding first to third embodiments. When these are used in combination, the number of parallax images in the exit pupil can be effectively increased while the DOF range is wide.
  • polarization division two mutually orthogonal polarization apertures are used as one dynamic aperture set
  • three dynamic aperture sets are time-divisionally driven and used sequentially within one frame
  • FIG 33 is a side cross-sectional view illustrating a near-eye display device when used as an augmented reality (AR) device according to an eleventh embodiment of the present invention.
  • AR augmented reality
  • each lens may be used as a compound lens group.
  • the technology of the present invention is used as an AR (Augmented Reality) device
  • the position of the display 10 providing a virtual image should not cover the external viewing window, such as a mirror or a beam splitter
  • An optical path changing element needs to be additionally used.
  • FIG. 33 shows a specific embodiment in which the concept of the present invention is applied to AR, a double Gauss lens system (20, Double Gauss Lens system) is used instead of the first lens, and a transflective concave mirror ((410) , a Trans-reflective Concave mirror) and a Birdbath type AR (Birdbath type AR) optical system composed of a beam splitter 420 is applied.
  • a double Gauss lens system (20, Double Gauss Lens system) is used instead of the first lens
  • a transflective concave mirror ((410) , a Trans-reflective Concave mirror)
  • a Birdbath type AR Beirdbath type AR
  • the dynamic aperture control element 30 may be disposed near the center position of the Double Gauss Lens system.
  • the position of the display 10 may be adjusted to change the optimal virtual image formation position by the position adjusting element 80 .
  • the AR structure according to the present invention can be largely divided into two parts, which can be divided into a multi-focus (MF) optics module and a basic AR optical system.
  • MF multi-focus
  • the operation method of the multifocal optical module the operation method of the preceding embodiments may be applied, and the light passing through the lens system 20 is reflected by the reflection mirror 90 and proceeds to the AR optical system.
  • the light reflected from the beam splitter 420 is reflected back by the transflective concave mirror 410 and proceeds to the user's eye.
  • a pupil tracking system may be additionally provided as in the previous embodiment.
  • FIG. 34 is a side cross-sectional view illustrating a structure used as an AR device additionally equipped with a vision correction lens according to a twelfth embodiment of the present invention.
  • MF Optical module even when the eyesight of the user's eyes is not normal (near vision / farsightedness), a virtual image of a specific distance can be provided by adjusting the display position and correcting the user's eyesight (for vision correction) For detailed description, refer to the preceding embodiments).
  • a lens for correcting the user's eyesight may be additionally provided in front of the external visible window of the AR optical system.
  • a vision correction lens When a user wears a vision correction lens and uses the device, it may be difficult to observe an optimal image due to insufficient eye relief.
  • a vision correction lens 41 for a near-sighted or far-sighted observer may be optionally additionally provided on the outer surface of the external viewing window in the AR optical system.
  • the vision correction lens a detachable fixed lens or a vision correction lens designed for the user may be applied.
  • a visual acuity correction value to the controller 60 (not shown) to correct the position of the display 10 corresponding to the set optimal virtual image position, or to adjust the position of the first lens 20 .
  • the controller 60 By correcting the focal length, it is possible to provide an optimal observation position even to an observer in an abnormal state without wearing vision correction glasses.
  • 35 is a side cross-sectional view of an optical system when applied as an MR or XR device showing a configuration including a shielding part selectively applied in front of an external viewing window and an external foreground camera in the AR optical system according to the thirteenth embodiment of the present invention; to be.
  • a selective shielding film 100 is provided in front of the external viewing window in the AR optical system, and two external foreground cameras 110 (On the drawing, only one eye is displayed for convenience. ) may be provided.
  • the external image captured by the first and second external foreground cameras 110 may be provided to both eyes of the observer by synthesizing the external image and the virtual image on the display 10 through the control unit 60 (not shown).
  • the external images of the two external foreground cameras 110 may be corrected in consideration of the corresponding observer's eyeball positions and provided respectively to both eyes of the observer.
  • the control unit 60 (not shown), and the control unit 60 (not shown) compares the positions of the observer's binocular eyes with the positions of the two external foreground cameras 110 to obtain a corresponding external image.
  • the virtual image may be provided to an observer by synthesizing an externally captured image and a built-in virtual image.
  • clip-type sunglasses, etc. may be used as the shielding part to selectively apply the external view shielding part located on the outer surface of the external viewing window, and sunglasses having transmittance adjustable according to an electrical signal may be used.
  • FIG. 36 shows a case in which it is used as an MR or XR device according to a fourteenth embodiment of the present invention.
  • an external foreground camera is provided for each eye.
  • the VR optical system structure to which Figs. It is equipped by adding a camera.
  • each camera provides the depth of focus in the depth-of-focus region to be provided by the present invention or a camera including image processing such as a depth camera It can be a system.
  • the image for each eye adjusted by the camera corresponding to each eye is used as the disparity image for each eye.
  • a parallax image for each eye can be generated even with a single camera.
  • mirrors 510 and 510' may be additionally included.
  • FIG. 38 and 39 are diagrams illustrating reduction of the overall optical system volume by applying a polarization beam splitter and a 1/2 ⁇ wave retarder to polarize light passing through a dynamic aperture, compared with FIG. 37 .
  • a polarization beam splitter and a 1/2 ⁇ wave retarder For example, if light passing through the left dynamic aperture is made P-polarized, then P-polarized light passing through the left dynamic aperture is transmitted through the left polarized beam splitter 530, followed by a 1/2 ⁇ wave retarder on the optical path. After passing through 520, it becomes S-polarized and is reflected by the right polarization beam splitter 530', and the light proceeds to the right main lens 40'. This light is incident on the right eye of the user's both eyes.

Abstract

본 발명은 근안 디스플레이 장치에 관한 것으로, 디스플레이, 디스플레이의 전면에 일정 간격 이격하여 배치된 제1 렌즈, 제1 렌즈에 인접 배치되어 제1 렌즈의 개구 크기와 광축에 수직한 평면상의 개구의 수평위치와 크기를 동적으로 제어하는 동적 개구 조절 소자, 제1 렌즈로부터 일정 간격 이격하여 배치된 주 광학렌즈 및, 동적 개구 조절 소자를 제어하는 제어부를 포함하며, 주 광학렌즈로부터 일정 간격 이격하여 배치되는 출사동에 관찰자의 안구 동공이 위치하고, 상기 출사동의 크기와 수평위치는 제어부의 제어 신호에 따라 조절되는 동적 개구 조절 소자의 개구 크기와 수평위치에 따라 변경된다.

Description

근안 디스플레이 장치
본 발명은 3차원 시차영상을 동적으로 제공하면서 다초점을 구현할 수 있는 근안 디스플레이 장치에 관한 것이다.
한국등록특허 제10-0617396호(이하, 특허문헌 1이라 함)는 3차원 영상 표시장치로서, 눈의 동공 최소 직경 내에 2개 이상의 시차영상을 제공할 수 있다. 그러나, 상기 특허문헌 1에는 동공 내에 적어도 2개 이상의 시차영상을 제공하기 위하여, 레이저 광원, 광 확산기, 광 변조기를 포함하는 시차영상 제공부와, 핀홀, 렌즈 등을 포함하는 시차영상 수렴부를 구성해야 하므로, 크기와 부피의 제약이 따르는 문제점이 있다.
한국등록특허 제10-1059763호(이하, 특허문헌 2라 함)는 3차원 영상 디스플레이 장치로서, 2개 이상의 투사광학계를 배열하여 완전시차 영상을 제공할 수 있다. 그러나, 상기 특허문헌 2는 이산적으로 분포된 선택적 광원과 평판 패널과 선택적 개폐식 개구의 2차원 배열 그리고 투과형 마이크로 디스플레이 그리고 최소 3개의 렌즈를 이용하여 부피를 상용 수준의 HMD 크기를 달성하기가 어렵다.
한국등록특허 제10-1919486호(이하, 특허문헌 3이라 함) 또한 다초점을 구현할 때 복수의 IP용 렌즈 또는 개구, 또는 그 조합을 이용하므로, 각 시점 영상의 해상도 저하가 발생하게 된다. 상기 특허문헌 3은 동일 마이크로 디스플레이 패널에 여러 개의 IP용 렌즈 또는 핀홀 배열을 이용하여 해상도를 공간적으로 분할하여 사용하므로 VR/MR/AR 장치로 사용시에 각 시차 영상의 해상도 저하가 크게 나타난다.
즉, 상기 특허문헌 3은 디스플레이 영역을 일부 분할하고, 렌즈 배열을 사용하여 가상영상을 제공하기 때문에, 복수의 시차영상을 제공하지만 고화질의 가상영상은 제공하기 어렵다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 한국등록특허 제10-0617396호(2006.08.31 등록)
(특허문헌 2) 한국등록특허 제10-1059763호(2011.08.26 등록)
(특허문헌 3) 한국등록특허 제10-1919486호(2018.11.19 등록)
본 발명의 목적은 렌즈에 인접 배치된 동적 개구를 통해 렌즈를 통과하는 광폭의 크기와 위치를 제어하여 관찰자 안구위치에서 형성되는 가상영상의 수렴영역의 위치 및 크기를 조절함에 있다.
본 발명의 다른 목적은 디스플레이 전체 해상도를 사용하여 렌즈와 동적 개구를 통하여 형성되는 가상영상을 관찰자 안구 위치에 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일측면은, 디스플레이, 상기 디스플레이의 전면에 일정 간격 이격하여 배치된 제1 렌즈, 상기 제1 렌즈에 인접 배치되어 상기 제1 렌즈의 개구 크기와 광축에 수직한 평면상의 개구의 수평위치와 크기를 동적으로 제어하는 동적 개구 조절 소자, 상기 제1 렌즈로부터 일정 간격 이격하여 배치된 주 광학렌즈 및, 상기 동적 개구 조절 소자를 제어하는 제어부를 포함하며, 상기 주 광학렌즈로부터 일정 간격 이격하여 배치되는 출사동에 관찰자의 안구 동공이 위치하고, 상기 출사동의 크기와 수평위치는 상기 제어부의 제어 신호에 따라 조절되는 상기 동적 개구 조절 소자의 개구 크기와 수평위치에 따라 변경되는, 근안 디스플레이 장치이다.
바람직하게, 상기 출사동의 크기가 관찰자의 동공 크기보다 작은 2mm 이내가 되도록 상기 동적 개구 조절 소자의 개구 크기를 조절할 수 있다.
바람직하게, 상기 동적 개구 조절 소자는 상기 제어부의 제어 신호에 따라 개구 크기와 수평위치를 변경할 수 있는 액정소자(LCD) 또는 전자 셔터일 수 있다.
바람직하게, 상기 동적 개구 조절 소자의 개구 수평 위치는 2개 이상이며, 상기 제어부의 제어신호에 따라 상기 동적 개구 조절 소자의 각 수평위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하여 상기 출사동이 2개 이상 순차적으로 배치될 수 있다.
바람직하게, 상기 제어부는 상기 동적 개구 조절 소자의 개구 위치 변경에 동기화하여 상기 디스플레이에 2개 이상의 시차 영상을 순차적으로 제공하여, 상기 출사동의 각 위치에 서로 다른 시차 영상이 배치되도록 할 수 있다.
바람직하게, 상기 관찰자의 안구 동공 위치를 추적하는 동공 추적 장치가 구비되며, 상기 제어부는 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 상기 관찰자의 안구 동공 내에 상기 출사동이 지속적으로 배치될 수 있도록 상기 동적 개구 조절 소자의 개구의 수평위치를 실시간으로 제어할 수 있다.
바람직하게, 상기 동적 개구 조절 소자는 상기 동공 추적 장치의 관찰자 안구 동공 이동방향에 따라 재배치된 2개 이상의 개구 배치를 생성하고, 상기 제어부의 제어신호에 따라 상기 동적 개구 조절 소자의 각 수평 위치의 출사동이 관찰자 안구 이동 방향에 따라 1개의 개구가 항상 안구의 동공 이내에 배치됨으로써 하나의 시차영상 만으로 관찰자 안구 이동 방향의 출사동의 크기를 실질적으로 확장 할 수 있다.
바람직하게, 상기 동적 개구 조절 소자는 상기 동공 추적 장치의 관찰자 안구 동공 이동방향에 따라 재배치된 2개 이상의 개구 배치를 생성하고, 상기 제어부의 제어신호에 따라 상기 동적 개구 조절 소자의 각 수평 위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하며, 상기 출사동이 관찰자 안구 이동 방향에 따라 2개 이상 순차적으로 배치됨으로써 관찰자 안구 이동 방향의 출사동의 크기를 확대할 수 있다.
바람직하게, 상기 동적 개구 조절 소자의 2개 이상의 개구 위치는 광축에 수직한 평면에서 수평, 수직, 대각선 방향 또는 이들의 조합으로 배치될 수 있다.
바람직하게, 상기 제어부가, 최근접 가상 영상이 안구의 초점위치에서 망막에 맺히는 영상점의 최근접 영상 흐려짐 크기와, 최외곽 가상 영상이 안구의 초점위치에서 망막에 맺히는 영상점의 최외곽 영상 흐려짐 크기가 동일하도록, 상기 최근접 및 최외곽 영상 흐려짐 크기가, 회절에 의한 영상 흐려짐 크기와, 동일한 값에서 20% 내에 있도록, 가상 영상의 영상점의 최적 위치는, 디옵터 단위로 상기 최근접 안구의 초점위치와 상기 최외곽 안구의 초점위치의 산술평균 위치가 되도록, 설정된 최적 가상영상 위치와 초점심도범위에 따라 상기 동적 개구 소자의 개구의 크기를 조절하여, 안구의 동공위치에서 상기 출사동의 크기를 조절할 수 있다.
바람직하게, 상기 동적 개구 조절 소자의 개구는 원형 개구 내에 원형의 광 차단 부분으로 이루어진 환 모양 개구(Annular Aperture)일 수 있다.
바람직하게, 상기 원형 개구의 반지름이 a이고, 상기 원형의 광 차단 부분의 반지름이 a 0인 경우, 상기 원형 개구의 반지름과 상기 원형의 광 차단 부분의 반지름의 비가 β(≡ a 0/a)로 정의될 때, 상기 β는 0 이상 1/3 이하일 수 있다.
바람직하게, 상기 원형 개구의 반지름이 a이고, 상기 원형의 광 차단 부분의 반지름이 a 0인 경우, 상기 원형 개구의 반지름과 상기 원형의 광 차단 부분의 반지름의 비가 β(≡ a 0/a)로 정의될 때, 상기 β는 0 이상 0.45 이하일 수 있다.
바람직하게, 상기 제어부는 가상영상의 종류에 따라 설정된 최적 가상영상 위치에서 초점심도범위를 감소시키고, 해상력이 증대된 영상을 제공하기 위해 상기 동적 개구 조절 소자의 개구의 크기를 넓게 조절할 수 있다.
바람직하게, 상기 디스플레이와 상기 제1 렌즈 사이의 거리를 조절하는 디스플레이 위치조정 소자를 더 포함하며, 상기 제어부는 설정된 최적 가상영상 위치에 따라 상기 디스플레이 위치조정 소자를 제어하여 최적 가상영상 위치를 조정할 수 있다.
바람직하게, 상기 제1 렌즈는 상기 제어부의 제어신호에 따라 초점거리를 조절할 수 있고, 상기 제어부는 설정된 최적 가상영상 위치에 따라 상기 제1 렌즈의 초점거리를 제어하여 최적 가상영상 위치를 조정할 수 있다.
바람직하게, 상기 관찰자의 안구 동공 초점 조절 위치를 추적하는 동공 추적 장치가 구비되며, 상기 제어부가 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 초점조절 위치에 근접한 최적 가상영상 위치가 형성되도록 상기 디스플레이 위치조정 소자를 제어할 수 있다.
바람직하게, 상기 관찰자의 안구 동공 초점 조절 위치를 추적하는 동공 추적 장치가 구비되며, 상기 제어부가 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 초점조절 위치에 근접한 최적 가상영상 위치가 형성되도록 상기 제1 렌즈의 초점거리를 제어할 수 있다.
바람직하게, 상기 동공 추적 장치는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 상기 제어부가 관찰자의 양안의 수렴위치에 근접한 최적 가상영상 위치가 형성되도록 상기 디스플레이 위치조정 소자를 제어할 수 있다.
바람직하게, 상기 동공 추적 장치는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 상기 제어부가 관찰자의 양안의 수렴위치에 근접한 최적 가상영상 위치가 형성되도록 상기 제1 렌즈의 초점거리를 제어할 수 있다.
바람직하게, 근시 또는 원시의 비 정상시 관찰자를 위해, 상기 제어부에 시력보정 수치를 입력하여 상기 설정된 최적 가상영상 위치와 대응되는 상기 디스플레이 위치를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적 가상영상 위치를 제공할 수 있다.
바람직하게, 상기 디스플레이 위치조정 소자는 정밀 위치 제어가 가능한 압전소자, VCM, 또는 전기신호에 따라 굴절률이 변경되어 디스플레이와 제1 렌즈 사이의 유효거리를 조정하는 액정소자이다.
바람직하게, 근시 또는 원시의 비 정상시 관찰자를 위해, 상기 제어부에 시력보정 수치를 입력하여 상기 설정된 최적 가상영상 위치와 대응되는 상기 제1 렌즈의 초점거리를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적 가상영상 위치를 제공할 수 있다.
바람직하게, 상기 초점거리 조정이 가능한 제1 렌즈는 정밀 초점거리 제어가 수동 또는 전기적으로 가능한 포커스 튜너블 렌즈(Focus-Tunable Lens), 폴리머 렌즈, 액체렌즈(Liquid Lens), 액정 렌즈, 또는 전기신호에 따라 굴절률이 변경되는 렌즈이다.
바람직하게, 상기 디스플레이는 복수의 화소들로 구성되며, 각 화소의 인접화소는 서로 직교하는 제1 편광의 제1 가상영상과 제2 편광의 제2 가상영상을 제공하며, 상기 동적 개구 조절 소자는 제1 편광의 제1 개구와 제2 편광의 제2 개구를 포함하는 편광 개구 세트로 구성되며, 상기 디스플레이의 2개의 가상영상이 상기 동적 개구 조절 소자의 편광 개구 세트를 통하여 관찰자 안구위치에 전달되어 출사동이 확장될 수 있다.
바람직하게, 상기 제1 가상영상과 상기 제2 가상영상은 시차영상일 수 있다.
바람직하게, 상기 동적 개구 조절 소자의 편광 개구 세트의 수평 위치는 2개 이상이며, 상기 제어부의 제어신호에 따라 상기 동적 개구 조절 소자의 각 수평 위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하여 상기 출사동이 2개 이상 순차적으로 배치되도록 하여 출사동의 크기를 확대할 수 있다.
바람직하게, 상기 제어부는 상기 동적 개구 조절 소자의 편광 개구 세트 위치 변경에 동기화하여 상기 디스플레이에 2개 이상의 시차 영상을 순차적으로 제공하여, 상기 출사동의 각 위치에 서로 다른 시차 영상이 배치될 수 있다.
바람직하게, 2대의 외부 전경용 카메라가 더 구비되며, 상기 2대의 외부 전경용 카메라로 촬영된 외부영상은 상기 제어부를 통하여 상기 디스플레이에 외부영상과 가상영상이 합성되어 관찰자의 양안에 각각 제공될 수 있다.
바람직하게, 각 동공 위치추적 장치에서 취득한 정보는 상기 제어부에 송신되며, 상기 제어부는 관찰자 양안 각각에 상기 2개의 외부 전경용 카메라의 영상을 안구별로의 시차영상으로 동적 개구를 통하여 제공할 수 있다.
바람직하게, 상기 근안 디스플레이 장치가 좌안 및 우안에 각각 배치되며, 각 동적 개구 조절 소자와 주 광학렌즈 사이에 광 경로를 변경시키는 미러를 더 포함할 수 있다.
바람직하게, 상기 근안 디스플레이 장치가 좌안 및 우안에 각각 배치되며, 각 동적 개구 조절 소자와 주 광학렌즈 사이에 편광 빔 분할기를 더 포함하고, 각 편광 빔 분할기 사이에 1/2λ 웨이브 지연기를 더 포함하되, 좌(또는 우)측 동적 개구를 지나는 광이 좌(또는 우)측 편광 빔 분할기 및 1/2λ 웨이브 지연기를 지나 편광이 변환되어 우(또는 좌)측 편광 빔 분할기에서 반사한 후 우(또는 좌)측 주 광학렌즈로 진행될 수 있다.
바람직하게, 각 동적 개구 조절 소자와 편광 빔 분할기 사이에 광 경로를 변경시키는 미러를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 디스플레이, 상기 디스플레이의 전면에 일정 간격 이격하여 배치된 제1 렌즈, 상기 제1 렌즈에 인접 배치되어 상기 제1 렌즈의 개구 크기와 광축에 수직한 평면상의 개구의 수평위치를 동적으로 제어하는 동적 개구 조절 소자, 상기 제1 렌즈로부터 일정 간격 이격하여 배치되며, 가상영상을 빔 스플리터로 반사시키는 반사 거울, 가상영상 제공 방향과 외부 시야창 방향이 서로 간섭이 없도록 배치되어, 가상영상과 외부영상이 동시에 관찰자에게 제공되도록 하는 빔 스플리터, 가상영상을 관찰자에게 반사시키고 외부영상을 통과시키는 반투과형 오목거울 및, 상기 동적 개구 조절 소자를 제어하는 제어부를 포함하며, 상기 주 광학렌즈로부터 일정 간격 이격하여 배치되는 출사동에 관찰자의 안구 동공이 위치하고, 상기 출사동의 크기와 수평위치는 상기 제어부의 제어 신호에 따라 조절되는 상기 동적 개구 조절 소자의 개구 크기와 수평위치에 따라 변경될 수 있다.
바람직하게, 상기 반투과형 오목거울의 외부 시야창 바깥면에 근시 또는 원시의 비 정상시 관찰자의 시력보정 렌즈가 더 구비될 수 있다.
바람직하게, 상기 디스플레이 위치와 상기 제1 렌즈 사이의 거리를 조절하는 디스플레이 위치조정 소자가 더 구비되며, 상기 제어부는 설정된 최적 가상영상 위치에 따라 디스플레이 위치조정 소자를 제어하여 최적 가상영상 위치를 조정할 수 있다.
바람직하게, 상기 관찰자의 안구 동공 위치를 추적하는 동공 추적 장치가 더 구비되며, 상기 제어부가 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 초점조절 위치에 근접한 최적 가상영상 위치가 형성되도록 상기 디스플레이 위치조정 소자를 제어할 수 있다.
바람직하게, 상기 관찰자의 안구 동공 위치를 추적하는 동공 추적 장치가 더 구비되며, 상기 제어부가 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 초점조절 위치에 근접한 최적 가상영상 위치가 형성되도록 상기 제1 렌즈의 초점거리를 제어할 수 있다.
바람직하게, 상기 동공 추적 장치는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 상기 제어부가 관찰자의 양안의 수렴위치에 근접한 최적 가상영상 위치가 형성되도록 상기 디스플레이 위치조정 소자를 제어할 수 있다.
바람직하게, 상기 동공 추적 장치는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 상기 제어부가 관찰자의 양안의 수렴위치에 근접한 최적 가상영상 위치가 형성되도록 상기 제1 렌즈의 초점거리를 제어할 수 있다.
바람직하게, 근시 또는 원시의 비 정상시 관찰자를 위해, 상기 제어부에 시력보정 수치를 입력하여 상기 설정된 최적 가상영상 위치와 대응되는 상기 디스플레이 위치를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적관찰위치를 제공할 수 있다.
바람직하게, 근시 또는 원시의 비 정상시 관찰자를 위해, 상기 제어부에 시력보정 수치를 입력하여 상기 설정된 최적 가상영상 위치와 대응되는 상기 제1 렌즈의 초점거리를 조절함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적관찰위치를 제공할 수 있다.
바람직하게, 상기 반투과형 오목거울의 외부 시야창 바깥면에 외부전경 차폐부품 및 2대의 외부 전경용 카메라가 더 구비되며, 상기 2대의 외부 전경용 카메라로 촬영된 외부영상은 상기 제어부를 통하여 상기 디스플레이에 외부영상과 가상영상이 합성되어 관찰자의 양안에 각각 제공될 수 있다.
바람직하게, 상기 외부전경 차폐부품은 선택적으로 탈착이 가능한 클립형태 또는 전기적 제어신호에 따라 투과율 조절이 가능한 소자일 수 있다.
바람직하게, 상기 2대의 외부 전경용 카메라의 외부영상은 대응되는 관찰자의 안구위치를 고려하여 보정되어 관찰자의 양안에 각각 제공될 수 있다.
본 발명에 따르면, 초점심도가 확장된 근안 디스플레이 장치를 구현할 수 있으며, 안구위치에서 가상영상의 수렴영역의 크기가 사용 환경에 따라 달라지는 동공 크기보다 작게 형성되어 동공크기에 따른 화질 저하 없는 가상영상을 제공할 수 있다.
또한, 일부 크기의 동적 개구에 동기화된 시차영상의 시간분할을 적용하여 전체 개구의 일부 크기의 동적 개구를 적용하더라도, 전체 출사동의 크기를 줄이지 않으면서도 초점심도가 넓은 시차영상을 추가로 제공할 수 있다.
또한, 안구위치에서의 초점심도가 넓은 축소된 수렴영역(또는 이에 따라 결정되는 축소된 출사동)의 위치를 안구의 동공위치 정보를 참조하여 변경함으로써 전체 출사동의 최외곽 내에 있는 안구의 동공에 계속적으로 어느 순간에 하나의 최적의 가상영상을 제공할 수 있다.
또한, 동공 내에 시간 분할 방식으로 완전 시차의 초다시점 영상을 제공할 수 있게 되어 홀로그램과 유사한 가상영상을 제공할 수 있다.
또한, 회절 효과를 보다 효율적으로 제어하는 환형 개구를 적용하여 동일 개구 크기에서 회절에 의해 결정되는 회절효과에 의한 흐려짐의 크기(Airy Radius)를 줄여줄 수 있다. 이에 따라, 동일 광학계에서 초점심도 범위를 넓혀줄 수 있고, 고주파의 공간주파수에서의 MTF 값을 증가시켜 준다.
또한, 비 정상시(근시 또는 원시) 안구를 가지는 관찰자에게 시력보정 안경 없이 본 발명의 장치를 사용하여 가상영상을 효율적으로 볼 수 있도록 한다.
또한 VR, AR 또는 MR 이나 XR 로 적용하는 예에서, 그 광학구조를 양안에 적용하는 경우에 동적 개구를 지나는 광이 편광되도록하여 편광 빔 분할기와 1/2λ 웨이브 지연기(wave retarder)를 적용함으로써 광손실을 줄임과 동시에 전체 광학계의 부피를 줄일 수 있다.
도 1은 본 발명의 제1 실시예에 따른 근안 디스플레이 장치의 기본 구성을 도시한 측단면도다.
도 2의 (a) 내지 (c)는 본 발명의 제1 실시예에 따른 동적 개구의 크기와 위치 변경에 따른 관찰자 위치의 출사동 크기와 위치 변경에 대한 구성을 도시한 측단면도이다.
도 3은 본 발명의 제1 실시예에 따른 관찰자 위치의 출사동 크기 조정에 따른 초점심도 범위를 상수를 포함하여 구체적으로 계산한 결과를 나타낸 표이다.
도 4는 본 발명의 제1 실시예에 따른 사용되는 디스플레이의 해상도별로 구현되는 가상영상의 해상력(CPD; Cycle per degree)과 설계 수평화각(H_FOV) 값에 대한 구체적 적용사례를 나타낸 그래프이다.
도 5는 본 발명의 제2 실시예에 따른 동적 개구가 최대로 오픈되었을 때의 전체 출사동과 제어부의 신호 전달 체계를 개략적으로 도시한 측단면도이다.
도 6의 (a) 내지 (c)는 3개의 시차영상이 동적 개구 위치와 동기화되어 하나의 프레임에 순차적으로 제공되는 실시예를 도시한 측단면도이다.
도 7은 도 6의 동적 개구의 시간 분할 작동에 의해 형성되는 안구위치에서의 3개의 출사동(51,52,53)이 전체 출사동(50) 내에 형성된 구성을 개념적으로 도시한 측단면도이다.
도 8은 본 발명의 제3 실시예에 따른 동적 개구 제어와 동공 추적 장치의 결합 구조를 설명하기 위한 측단면도이다.
도 9의 (a)는 관찰자 안구의 동공위치가 광 축의 왼쪽 방향(-y축)으로 움직인 경우에 축소된 출사동 영역(52)을 형성하는 구성을 도시한 측단면도이며, 도 9의 (b)는 관찰자 안구의 동공위치가 광 축의 오른쪽 방향(+y축)으로 움직인 경우에 축소된 출사동 영역(53)을 형성하는 구성을 도시한 측단면도이다.
도 10의 (a) 내지 (d)는 관찰자 안구의 동공크기 내에서 시스템이 제공 가능한 전체 출사동(50)의 최외곽 축소된 출사동 영역(52 또는 53)이 위치하도록 개구 위치를 설정하는 과정을 도시한 단면도이다.
도 11의 (a) 및 (b)는 본 발명의 제4 실시예에 따른 안구위치에서의 동적 시차영상 제공 상황을 개념적으로 나타낸 단면도이다
도 12는 본 발명의 제4 실시예에 따른 동적 개구의 배치 예를 설명하는 평면도이다.
도 13은 가상영상의 영상점의 수렴영역 크기(PDeye)(즉, 전체 또는 부분 출사동의 크기)에 의해 안구 망막상에 맺혀지는 영상의 회절에 따른 흐려짐의 크기와 기하학적 흐려짐의 크기를 나타낸 그래프이다.
도 14는 본 발명의 제5 실시예에 있어서, 안구가 최적 가상영상 위치(
Figure PCTKR2021003528-appb-img-000001
)에 초점이 맞추어진 경우에 초점심도 범위의 최근접 위치(
Figure PCTKR2021003528-appb-img-000002
)의 영상점, 최외곽 위치(
Figure PCTKR2021003528-appb-img-000003
)의 영상점, 그리고 최적 영상위치에서의 영상점에 대한 망막에서의 주파수 별로 MTF 값을 보여주는 그래프이다.
도 15는 MTF 값이 0.1, 0.2, 0.3이 되는 공간주파수를 가상영상의 영상점의 수렴영역 크기(PDeye)에 따라 전산모사한 결과를 나타낸 그래프이다.
도 16은 본 발명의 제5 실시예에 따른 따른 동적 개구 적용 근안 디스플레이 장치를 도시한 측단면도이다.
도 17은 본 발명의 제6 실시예에 따른 동적 개구의 모양 변경에 의한 광학 성능 개선을 위한 동적 개구 적용 근안 디스플레이 장치의 측단면도이다.
도 18은 도 17의 환 모양의 동적 개구에 대해 광축에 수직한 평면(x-y평면) 상에서 보는 동적 개구를 나타낸 단면도이다.
도 19의 (a), (b)는 β에 따른 안구위치에서의 주요 광 특성 변화를 나타낸 그래프이다.
도 20은 본 발명의 제6 실시예에 따른 대표적인 3개의 β값에 따른 PSF의 규격화된 상대 광 분포 함수값을 계산한 결과를 나타낸 그래프이다.
도 21은 본 발명의 제6 실시예에 따른 동적 개구에 있어서, β= 1/3, β= 0.45 인 환형 개구와 원형 개구(β= 0)의 MTF 곡선과 DOF를 비교한 그래프이다.
도 22는 본 발명의 제7 실시예에 따른 초점심도를 조절하기 위한 구성을 나타낸 도면이다.
도 23의 (a) 내지 (c)는 본 발명의 제7 실시예에 따른 초점 심도 범위의 결정에 대한 주요 변수들의 관계를 수식적으로 계산한 결과를 나타낸 표와 그래프이다.
도 24a는 본 발명의 제8 실시예에 따른 디스플레이 위치 조정에 따라 가상영상의 최적위치를 변경하기 위한 구성을 도시한 측단면도이다.
도 24b은 본 발명의 제8 실시예의 다른 실시형태에 따른 제1 렌즈의 초점 조절에 따라 가상영상의 최적위치를 변경하기 위한 구성을 도시한 측단면도이다.
도 25a는 본 발명의 제8 실시예에 따라 가상영상의 형성위치를 조정하기 위한 디스플레이의 위치 관계를 나타낸 그래프이다.
도 25b는 본 발명의 제8 실시예의 다른 실시형태 따라 가상영상의 형성위치를 조정하기 위한 제1 렌즈의 초점거리의 관계를 나타낸 그래프이다.
도 26a은 본 발명의 제8 실시예에 따른 제1 렌즈로부터의 디스플레이 거리를 조정함에 따라 가상영상의 최적위치를 안구로부터 조정하는 구성을 도시한 측단면도이다.
도 26b은 본 발명의 제8 실시예의 다른 실시형태에 따른 제1 렌즈로의 초점저리를 조정함에 따라 가상영상의 최적위치를 안구로부터 조정하는 구성을 도시한 측단면도이다.
도 27은 도 26에 있어서, 관찰자 양안에 안구 동공 중심 정보를 추적하는 동공 추적 장치와 이를 받아 양안의 주시깊이를 계산하여 가상영상을 형성하는 위치를 조정하는 구성을 도시한 측단면도이다.
도 28은 본 발명의 제9 실시예에 의한 비 정상시(근시 또는 원시) 관찰자의 시력보정 원리를 설명하기 위한 정상시와 근시 또는 원시에 따른 안구의 굴절력 에러를 나타낸 측단면도이다.
도 29는 비 정상시(근시 또는 원시) 안구의 보정 렌즈 원리를 보여주는 구조를 도시한 측단면도이다.
도 30a은 본 발명의 제9 실시예에 따른 제1 렌즈로부터의 디스플레이 거리를 조정함에 따라 비 정상시 관찰자의 시력을 보정하기 위한 구성을 도시한 측단면도이다.
도 30b은 본 발명의 제9 실시예의 다른 실시형태에 따른 제1 렌즈의 초점 조절에 따라 비 정상시 관찰자의 시력을 보정하기 위한 구성을 도시한 측단면도이다.
도 31a은 본 발명의 제9 실시예에 따른 구체적 최적 가상영상 형성위치(디옵터 단위기준)와 디스플레이 위치 조정을 나타낸 그래프이다.
도 31b은 본 발명의 제9 실시예의 다른 실시형태에 따른 구체적 최적 가상영상 형성위치(디옵터 단위기준)와 제1 렌즈의 초점거리 조정을 나타낸 그래프이다.
도 32는 본 발명의 제10 실시예에 따른 편광 개구 세트가 적용된 동적 개구 조절 소자를 설명하기 위한 측단면도이다.
도 33은 본 발명의 제11 실시예에 따른 AR(Augmented Reality) 장치로 사용하는 경우의 근안 디스플레이 장치를 설명하는 측단면도이다.
도 34는 본 발명의 제12 실시예에 따른 시력 보정 렌즈가 추가로 구비된 AR 장치로 사용되는 구조를 도시한 측단면도이다.
도 35는 본 발명의 제13 실시예에 따른 외부 시야창 앞에 차폐부품 및 외부 전경용 카메라를 구비한 구성을 도시한 측단면도이다. 이 경우에는 AR의 기능에 외부광 차폐부품을 필요에 따라 적용하여 AR과 MR(Mixed Reality)또는 XR(Extended Reality) 기능을 혼용하는 경우를 나타낸다.
도 36은 본 발명의 제14 실시예에 따른 MR 또는 XR 기기로 사용되는 경우를 나타낸다. 이 경우는 도 8에서 외부 카메라를 각 안구별로 구비하는 경우이다.
도 37은 본 발명의 다른 실시예에서 VR, AR 또는 MR 로 적용할 때 그 광학구조를 양안에 적용하는 경우이다.
도 38과 39은 도 37과 비교하여, 동적 개구를 지나는 광이 편광되도록하여 편광 빔 분할기와 1/2λ 웨이브 지연기(wave retarder)를 적용함으로써 전체 광학계의 부피를 줄이는 것을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 제1 실시예에 따른 근안 디스플레이 장치의 기본 구성을 도시한 측단면도다.
도 1을 참조하면, 본 발명의 제1 실시예에 따른 근안 디스플레이 장치는 디스플레이(10), 제1 렌즈(20), 동적 개구 조절 소자(30), 주 광학렌즈(Main Optics Lens)(40), 및 제어부(60, 미도시)를 포함한다.
제1 렌즈(20)는 디스플레이(10)의 전면에 제1 간격(D md)만큼 이격 배치된다. 동적 개구 조절 소자(30)는 제1 렌즈(20)에 인접 배치되어 제1 렌즈(20)의 개구 크기(A dl)와 광축에 수직한 평면상의 개구의 수평위치를 동적으로 제어한다. 동적 개구 조절 소자(30)는 디스플레이(10)와 제1 렌즈(20) 사이에 위치할 수도 있고, 제1 렌즈(20)와 주 광학렌즈(40) 사이에 둘 수 있다. 또한 제1 렌즈(20)가 복합렌즈인 경우 복합렌즈 내부에 동적 개구 조절 소자(30)를 둘 수도 있다. 주 광학렌즈(40)는 제1 렌즈(20)로부터 제2 간격(D o)만큼 이격 배치된다. 주 광학렌즈로부터 제3 간격(D e)만큼 떨어진 위치에 출사동(50)이 배치된다. 제어부(60, 미도시)는 동적 개구 조절 소자(30)를 제어한다.
디스플레이(10)의 전체 영역에서 제공하는 가상영상 정보가 제1 렌즈(20)를 사용하여 중간영상 평면(P i)에 중간영상을 생성하고, 생성된 중간영상이 주 광학렌즈를 통하여 일정거리(D e, Eye Relief) 떨어진 관찰자 안구에 수렴한다. 이렇게 결정된 일정거리(D best)의 가상영상을 관찰자가 볼 수 있도록 하는 기본 구성을 갖는다.
여기서 디스플레이(10)와 제1 렌즈(20)와의 거리관계를 고려하여 중간영상 평면(P i)에 중간영상을 생성할 때 1:1 비율로 하거나 축소 또는 확대된 영상을 생성할 수 있다. 1:1에 비하여 확대하는 경우에는 동일 디스플레이(10)로 일정거리(D e, Eye Relief)를 유지한 상태에서 시야각(FOV)을 1:1에 비하여 확대할 수 있다.
제1 렌즈(20)와 주 광학렌즈(40)는 설명의 편의상 하나의 얇은 렌즈(Thin Lens)(하나의 주평면(principal plane)으로 표현되는 렌즈)로 표현되어 있지만, 실제로는 광학 성능 개선을 위해 초점거리가 동일한 복합 렌즈(렌즈군)의 형태로 적용될 수 있다.
도 1에 도시된 것처럼, 출사동(Exit Pupil)(50)에 관찰자의 안구 동공이 위치한다. 디스플레이의 전체영역에서 발생되는 광이 동적 개구 조절 소자(30)와 제1 렌즈(20) 인근에 공통 광 분포영역을 형성하고, 주 광학렌즈(40)을 지나 일정간격(D e) 이격된 안구위치에서 수렴영역을 형성하게 되는데, 광축에 수직한 평면(x-y평면)에서 수렴영역의 최대단면을 출사동(50)으로 정의할 수 있다. 그러므로, 출사동은 광축(z축)에 수직한 평면(x-y평면)에 일정 영역의 크기를 갖는다. 이를 도 1과 같은 측면도에 표시하는 것이 용이하지 않아서, 본 명세서의 도면에서는 표시의 편의를 위해 안구위치의 수렴영역을 표시하고, 이를 출사동(50)이라 표기 한다. 이때, 출사동의 x-y평면상의 영역은 지름의 크기가
Figure PCTKR2021003528-appb-img-000004
인 원형의 형태를 갖는다. 이후 설명에서는 이를 출사동의 크기 또는 안구위치의 수렴영역의 크기(
Figure PCTKR2021003528-appb-img-000005
)로 기재한다. 출사동(50)의 크기(
Figure PCTKR2021003528-appb-img-000006
)와 광축(z축)에 수직한 평면(x-y평면)상의 출사동 중심위치(이후, 출사동의 수평위치로 명기함.)는 제어부(60, 미도시)의 제어 신호에 따라 조절되는 동적 개구 조절 소자(30)의 개구 크기와 수평위치에 따라 변경된다. 이때, 동적 개구 조절 소자(30)의 개구는 광축(z축)에 수직한 평면(x-y평면)상의 원형의 형태를 갖고, 이것의 지름의 크기를 개구 크기로 명기하고, 평면(x-y평면)상에서 동적 개구의 중심위치를 동적 개구의 수평위치로 명기한다.
동적 개구 조절 소자(30)는 예를 들어, 제1 렌즈(20)의 전방 또는 후방에서 제1 렌즈(20)에 인접하게 배치되어, 동적 개구 크기(A dl)와 광축의 수직평면(x-y 평면) 상의 개구 수평위치를 조절하여 공통 광 분포영역의 크기와 위치를 제어할 수 있다. 상기 공통 광 분포영역의 크기는 디스플레이(10)의 전체 영역으로부터 오는 광이 공통적으로 존재하는 공간적 영역으로 정의된다. 조정된 공통 광 분포영역에 따라 관찰자의 안구위치에 형성되는 출사동(50)의 크기(
Figure PCTKR2021003528-appb-img-000007
)와 수평위치가 결정된다. 도 1에서는 동적 개구가 최대로 열려 있을 시에 형성되는 출사동(50)이 나타나 있다. 이때의 출사동의 크기는 일반적 환경에서의 안구의 동공크기(3~4mm) 보다 크게 설계되는 것이 바람직하다.
동적 개구 조절 소자(30)는 제어부(60, 미도시)의 제어 신호에 따라 개구 크기와 수평위치를 변경할 수 있는 액정소자(LCD) 또는 전자 셔터일 수 있다. 상세하게는, 동적 개구의 크기(A dl)와 수평위치 조정은 전기적 신호 인가에 따라 국부적으로 투과율을 조정할 수 있는 액정소자(LCD) 또는 그 외의 다양한 방법의 전자 셔터로 사용되는 소자들이 사용될 수 있다.
도 2의 (a) 내지 (c)는 본 발명의 제1 실시예에 따른 동적 개구의 크기(A dl)와 위치 변경에 따른 관찰자 위치의 출사동 크기와 위치 변경에 대한 구성을 도시한 측단면도이다. 도 2에서는 동적 개구의 크기(A dl)를 전체 개구의 1/3으로 줄이는 경우를 예로 들어 설명하였으나, 목적에 따라 그 비율을 선택하여 적용할 수 있다.
도 2의 (a)는 동적 개구의 크기(A dl)를 전체 개구의 1/3으로 줄이고, 개구의 위치가 중앙에 위치하는 경우의 실시예이다. 동적 개구에 의해 형성되는 공통 광분포 영역(C1)이 줄어들어 관찰자 위치의 제1 출사동(51)의 크기가 전체 개구를 오픈하는 경우에 비해 1/3으로 감소되어 형성된다. 이때, 동적 개구의 위치가 광 축상에 위치하므로 제1 출사동(51)의 중심위치도 광 축상에 있다. 도 2의 (a)에서 형성된 공통 광분포 영역(C1)과 출사동(51)은, 동적 개구를 전체 오픈했을 때 형성되는 공통 광분포 영역 및 전체 출사동(50) 내의 일정 부분이 된다.
도 2의 (b)는 동적 개구의 크기(A dl)가 전체 개구의 1/3이고, +y축 방향으로 개구형성 위치가 변경되어 동적 개구를 형성했을 때의 실시예이다. 이 경우는 앞의 경우와 같이 축소된 공통 광분포영역(C2)과 관찰자 위치의 제2 출사동(52)의 크기가 전체 개구를 오픈하는 경우에 비해 1/3으로 감소된다. 또한, 공통 광분포영역(C2)이 +y축으로 이동되어, 관찰자 위치의 제2 출사동(52)은 광축으로부터 -y축으로 이동되어 형성된다.
도 2의 (c)는 도 2의 (b)와 반대방향(-y축)으로 동적 개구의 위치를 변경한 경우로서, 도 2의 (b)와 동일 크기의 관찰자 위치의 제3 출사동(53)이 광축으로부터 반대방향(+y축)으로 이동되어 형성되는 것을 보여준다. 이때, 안구위치에서의 전체 출사동(50)의 크기내에 제1 출사동 내지 제3 출사동이 전체 출사동의 1/3 크기를 가지고 배치된다.
그리고 동적 개구 조절 소자(30)의 형태는 원형인 경우와 필요에 따라 타원형 또는 다각형 등의 형태를 사용할 수 있다. 출사동(50)의 형태는 동적 개구 조절 소자의 형태와 동일하고 비율에 따라 동일 또는 축소된다. 상기 예시의 경우 폭이 1/3로 축소된다.
본 발명에 따르면, 제1 렌즈(20)에 인접 배치된 동적 개구는 디스플레이(10)로부터 생성되어 제1 렌즈(20)를 통과하는 광폭의 크기와 위치를 제어하여 관찰자 안구위치에서 형성되는 출사동(50,51,52,53)의 위치와 크기를 조절할 수 있다. 출사동(50,51,52,53)은 가상영상의 수렴영역 크기(PD eye)에 대응된다. 안구 위치의 출사동(50,51,52,53)의 크기는 안구의 초점심도 범위(DOF Range)와 직접적으로 연관된다. 구체적인 관계를 설명하면 다음과 같다.
[출사동 크기 조정에 따른 초점심도 범위]
도 3은 본 발명의 제1 실시예에 따른 출사동 크기 조정에 따른 초점심도 범위를 상수를 포함하여 구체적으로 계산한 결과를 나타낸 표이다.
도 3을 참조하면, 디옵터(Diopter) 단위에서의 초점심도 범위(DOF Range)는 안구 렌즈 위치에서의 출사동 크기(
Figure PCTKR2021003528-appb-img-000008
)의 제곱에 반비례 관계에 있다.
Figure PCTKR2021003528-appb-img-000009
(식 1)
무한대의 가상영상(D far= 0 디옵터)로부터 가상영상과 상호작용하기 용이한 거리인 근접거리(D near)를 약 333mm 내지 1000mm까지 선명한 가상영상을 표현하기 위해서는 초점심도 범위가 3 디옵터 내지 1 디옵터를 갖는 시스템이 필요하다.
이를 위해서는 가상영상의 수렴영역의 크기(PD eye)를 2mm 이내로 구현하는 것이 필요하다. 즉 초점심도의 범위를 넓히려면 제어부(60, 미도시)는 출사동(50)의 크기가 관찰자의 동공 크기보다 작은 2mm 이내가 되도록 상기 동적 개구 조절 소자의 개구 크기를 조절할 수 있다.
[출사동(50) 형성 수평위치의 조정]
동적 개구를 전체 오픈하였을 때 형성되는 출사동(50)이 작아질수록 초점심도 범위를 넓힐 수 있으나, 관찰자 안구위치의 가상영상을 볼 수 있는 수평위치범위가 축소되는 문제점이 있다.
이를 보완하여, 동적 개구를 전체 오픈하였을 때의 출사동(50) 크기를 유지하기 위해, 시간분할 동적 개구 연동 작동이나 동공위치 추적 장치와 결합하여 동적 개구의 위치를 실시간으로 변경하여 출사동(50) 크기 축소의 문제점을 해소할 수 있다.
이 실시예에 따르면, 초점심도가 확장된 근안 디스플레이 장치를 구현할 수 있으며, 가상영상의 수렴영역의 크기가 사용환경에 따라 달라지는 동공 크기(2mm 내지 8mm)보다 작게 형성되어 동공 크기에 따른 화질 저하가 없는 가상영상을 제공할 수 있다.
본 발명에 따르면, 디스플레이 전체 해상도를 사용하여 제1 렌즈(20)와 동적 개구를 통하여 전달되어 형성되는 가상영상을 관찰자 안구 위치에 제공할 수 있다.
도 4는 본 발명의 제1 실시예에 따라 사용되는 디스플레이의 해상도별로 구현되는 가상영상의 해상력(CPD; Cycle per degree)과 설계 수평화각(H_FOV) 값에 대한 구체적 적용사례를 나타낸 그래프이다. 도 4를 참조하여 본 발명의 제1 실시예를 상세하게 설명하면 다음과 같다.
[디스플레이 해상도와 화각(FOV)에 따른 가상 영상의 해상도]
디스플레이(10)의 해상도가 결정되고, 설계된 광학계의 가상영상의 화각(FOV)이 결정되면 관찰자가 보는 가상영상의 해상도를 가상영상이 생성할 수 있는 각도 단위의 최대 라인-스페이스 쌍(Line-Space Pair) 영상의 밀도로 표현할 수 있다. 이를 CPD(Cycle per degree) 단위로 표현할 수 있다.
수평 해상도(H_Resolution)와 수평 화각(H_FOV)과 가상영상의 CPD 값은 다음 식 2의 관계를 갖는다.
Figure PCTKR2021003528-appb-img-000010
(식 2)
디스플레이(10)의 해상도에 대해 설계 H_FOV 값에 따른 구체적 적용사례는 도 4에 도시된 바와 같다.
예를 들어, FHD 급(1920x1080) 디스플레이를 사용하여 32도의 수평화각(H_FOV)의 가상 영상을 구현하면, 30CPD의 영상 해상도를 제공할 수 있지만, VGA급(640x480) 디스플레이를 적용하면 이의 대략 1/3만큼 줄어든 10.7CPD의 영상 해상도를 제공하게 된다.
이 실시예에 따르면, 동일 화각의 가상영상을 제공할 경우 종래기술 대비 고해상도의 가상영상을 관찰자에게 제공할 수 있다.
도 5는 본 발명의 제2 실시예에 따른 동적 개구가 최대로 오픈되었을 때의 전체 출사동과 제어부의 신호 전달 체계를 개략적으로 도시한 측단면도이다.
도 5를 참조하면, 동적 개구 조절 소자(30)의 개구 수평 위치는 2개 이상이며, 제어부(60, 미도시)의 제어신호에 따라 동적 개구 조절 소자(30)의 국소 각 수평위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하여 출사동(50)내에 부분 출사동을 2개 이상 순차적으로 배치되게 함으로써 출사동(50)의 크기를 최대한 활용할 수 있다.
또한, 제어부(60, 미도시)는 동적 개구 조절 소자(30)의 국소 개구 위치 변경에 동기화하여 디스플레이에 2개 이상의 시차 영상을 순차적으로 제공하여, 출사동(50)내의 2개 이상의 부분 출사동의 각 위치에 서로 다른 시차 영상이 배치되도록 할 수 있다.
동적 개구를 최대한 오픈한 경우에 형성되는 관찰자 안구위치의 전체 출사동(50)은 4mm 이상이 되도록 설계되어, 전체 출사동(50)이 안구의 움직임 범위와 사용자 양안 간격에 따른 유격이 충분하도록 설계할 수 있다.
제어부(60, 미도시)는 사용자에 의해 수동으로 가상영상의 심도범위를 입력받거나, 예를 들어, 2차원 텍스트 영상 또는 3차원 가상영상과 같은 가상영상의 종류 또는 필요에 따라 자동으로 결정된 심도범위에 따라 필요한 동적 개구의 크기(A dl)를 결정하여 동적 개구 조절 소자(30)에 전달한다.
또한, 제어부(60, 미도시)는 준비된 시차영상을 디스플레이(10)에 제공함에 있어서, 동적 개구의 위치에 따라 형성되는 안구 위치의 출사동(50)에 대응되는 시차영상을 동기화하여 한 프레임 내에 시간분할하여 순차적으로 제공하여, 관찰자에게 전체 출사동(50) 내에 서로 다른 시차영상이 제공된 부분 출사동(51,52,53)이 순차적으로 광축에 수직한 평면(x-y 평면) 상에 형성되게 한다.
도 6의 (a) 내지 (c)는 3개의 시차영상이 동적 개구 위치와 동기화되어 하나의 프레임에 순차적으로 제공되는 실시예를 도시한 측단면도이다. 도 6의 (a)는 1/3 프레임, 도 6의 (b)는 2/3 프레임, 및 도 6의 (c)는 3/3 프레임에 해당하는 동적 개구 제어 및 시차영상 제공 구조를 나타낸다.
도 6의 (a) 내지 (c)를 참조하면, 지면에 수직한 방향(y축 방향)으로 배치된 3개의 동적 개구가 하나의 프레임 동안에 순차적으로 작동되고, 동기화된 시차 영상이 디스플레이에 제공될 수 있다. 3개의 시차영상이 동적 개구의 위치와 동기화되어, 하나의 프레임에 순차적으로 제공되어 서로 다른 3개의 시차영상이 안구위치의 각각의 부분 출사동(51,52,53)에 제공될 수 있다. 그 결과, 하나의 프레임이 30Hz 이상인 경우(3개의 시차영상 제공 프레임 기준 90Hz 이상)에 사용자는 안구의 잔상 효과에 의해 전체 출사동(50) 내에 3개의 시차영상을 제공하는 부분 출사동(51,52,53)들의 조합으로 인식하게 된다.
도 7은 도 6의 동적 개구의 시간 분할 작동에 의해 형성되는 안구위치에서의 3개의 부분 출사동(51,52,53)이 전체 출사동(50) 내에 형성된 구성을 개념적으로 도시한 측단면도이다. 도 7에 표시된 광 경로는 전체 출사동(50) 형성에 대한 광 경로만 표시되어 있다.
본 발명의 상기 실시예는 광축에 수직한 일 방향(y축 방향)에 일렬로 배치된 동적 개구를 기준으로 설명되었지만, 동적 개구는 광축에 수직한 평면(x-y 평면) 상에 2차원으로 배치될 수 있다. 실제로, 시차 영상이 효율적으로 사용되는 것은 관찰자 양안의 배치와 같은 방향(이 실시예에서는 y축 방향)의 개구 배치가 유효하나, 시차 영상의 수를 효과적으로 늘리기 위하여, 동적 개구를 x-y 평명상에 2차원으로 배열하여 시차 영상을 제공하는 부분 출사동(51,52,53)의 개수를 늘릴 수 있다.
또한, 본 발명의 상기 실시예에서는 인접 동적 개구에 의해 형성되는 부분 출사동(51,52,53) 간에 빈 공간 없이 인접하여 배치된 경우를 예를 들어 설명되었지만, 인점 출사동(50) 간에 빈 공간이 있는 경우도 가능하고, 시차영상의 개수가 늘어나거나 초점심도 범위 조정에 따라 동적 개구의 크기(A dl)가 증가될 경우에는 인접 부분 출사동(51,52,53) 간에 일정 부분 중첩되어 형성될 수 있다.
이 실시예에 따르면, 본 발명은 동적 개구를 적용하여 초점심도 범위를 넓히기 위해 안구위치에 형성되는 부분 출사동(51,52,53) 크기를 2mm 이내로 형성함에 따라 전체 출사동(50)의 크기가 감소하는 문제를 해결하기 위하여, 전체 출사동(50) 내에 초점심도 범위가 확장된 시차영상을 제공하는 2개 이상의 부분 출사동(51,52,53)의 조합을 만들 수 있다. 이로부터, 상기 실시예는 전체 개구의 일부 크기의 동적 개구를 적용하더라도, 전체 출사동(50)의 크기를 감소시키지 않으면서도 초점심도가 넓은 시차영상을 추가로 제공할 수 있다.
도 8은 본 발명의 제3 실시예에 따른 동적 개구 제어와 동공 추적 장치의 결합 구조를 설명하기 위한 측단면도이다.
도 8을 참조하면, 근안 디스플레이 장치는 관찰자의 안구 동공 위치를 추적하는 동공 추적 장치(70)를 구비할 수 있다. 제어부(60, 미도시)는 동공 추적 장치(70)가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구 동공 내에 부분 출사동(51)이 지속적으로 배치될 수 있도록 동적 개구 조절 소자(30)의 개구의 수평위치를 실시간으로 제어할 수 있다.
관찰자 안구의 동공중심이 광축의 중심 근처에 있을 시의 동적 개구 중심위치가 광축에 설정된 경우에, 동적 개구에 의해 형성된 공통 광분포 형성 영역(C1)에 의해 안구 동공의 중심 근처 위치에 부분 출사동(51)이 형성된다.
동적 개구를 최대로 오픈한 경우에 형성되는 관찰자 안구위치의 출사동(50)은 4mm 이상이 되도록 설계되어, 전체 출사동(50)이 안구의 움직임 범위와 사용자 양안 간격에 따른 유격이 충분하도록 할 수 있다.
제어부(60, 미도시)는 사용자에 의해 수동으로 가상영상의 심도범위를 입력받거나, 가상영상의 종류(2차원 텍스트 영상 또는 3차원 가상영상 등)에 따라 자동으로 결정된 심도범위에 따라 필요한 동적 개구의 크기(A dl)를 결정하여 동적 개구 조절 소자(30)에 전달할 수 있다.
도 9의 (a)는 관찰자 안구의 동공위치가 광 축의 왼쪽 방향(-y축)으로 움직인 경우에 부분 출사동(52)을 형성하는 구성을 도시한 측단면도이다. 도 9의 (b)는 관찰자 안구의 동공위치가 광 축의 오른쪽 방향(+y축)으로 움직인 경우에 부분 출사동(53)을 형성하는 구성을 도시한 측단면도이다.
도 9의 (a) 및 (b)를 참조하면, 동적 개구 조절 소자(30)의 개구 수평위치는 2개 이상이며, 동공 추적 장치(70)의 관찰자 안구 동공 이동방향에 따라 재배치된 개구 배치를 생성하여, 제어부(60, 미도시)의 제어신호에 따라 동적 개구 조절 소자(30)의 각 수평 위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하여 부분 출사동(52,53)이 관찰자 안구 이동 방향에 따라 2개 이상 순차적으로 배치되도록 할 수 있다. 이에 따라, 관찰자 안구의 동공위치 이동 방향에 따라 동기되어 형성되는 부분 출사동(52,53)을 사용하더라도 전체 출사동(50) 내에서 안구의 동공 움직임에 최적의 가상영상을 제공할 수 있다. 결과적으로 전체 출사동(50)의 크기를 효과적으로 사용할 수 있다. 또한 하나의 프레임 가상 영상 내에 움직이는 동공의 중심에 가까운 하나의 동적 부분 출사동(51,52,53)이 선택되도록 할 수 있다.
관찰자의 안구의 동공위치를 실시간으로 추적하는 동공 추적 장치(70)에서 실시간 안구의 동공위치 정보를 제어부(60, 미도시)에 전달하면, 제어부(60, 미도시)는 초점심도 범위(DOF Range)에 따라 결정된 동적 개구의 크기(A dl)와 관찰자 안구 동공의 중심위치에 대응되는 동적 개구의 중심위치를 변경하여, 관찰자 안구에 동적 부분 출사동(51,52,53)의 위치를 실시간으로 변경하여 대응한다. 본 실시예에서는 동적 개구의 중심 위치가 광축에 수직한 평면(x-y 평면) 상에서 움직이며, 이 평면상에서의 동적 개구 중심위치는 관찰자 안구 움직임과 반대 방향이 된다.
즉, 관찰자가 +y 방향으로 움직이면 동적 개구는 -y 방향으로 움직이며, 움직이는 크기는 광학계의 제2 간격(D o)과 제3 간격(D e) 비의 설계에 따라 결정된다. 예를 들어, 제2 간격(D o): 제3 간격(D e)= 2:1인 경우에는, 안구위치의 동적 부분 출사동(52,53) 이동을 1mm 시키기 위해서 동적 개구의 중심 위치를 2mm 이동하면 된다.
도 9의 (a)를 참조하면, 관찰자 안구의 동공위치가 광 축의 왼쪽 방향(-y축)으로 움직인 경우에 동공 추적 장치의 촬영 영상으로부터 움직인 방향과 크기를 피드백 받은 제어부(60, 미도시)에서 동적 개구 조절 소자(30)에 전달하여 제2 동적 개구 위치 변경에 따라 제2 공통 광분포 영역(C2)을 형성하여 안구 동공 중심 근처에 축소된 부분 출사동(52)이 형성되도록 동작된다.
도 9의 (b)를 참조하면, 관찰자 안구의 동공위치가 광 축의 오른쪽 방향(+y축)으로 움직인 경우에 동공 추적 장치의 촬영 영상으로부터 움직인 방향과 크기를 피드백 받은 제어부(60, 미도시)에서 동적 개구 조절 소자(30)에 전달하여 제3 동적 개구 위치 변경에 따라 제3 공통 광분포 영역(C3)을 형성하여 안구 동공 중심 근처에서 축소된 부분 출사동(53)이 형성되도록 동작된다.
본 발명의 동적 개구 제어와 동공 추적 장치 결합 구조 및 작동 방법의 실시예들을 설명하면 다음과 같다.
[관찰자 안구의 중심이 제공가능한 전체 출사동(50)의 범위를 넘는 경우]
도 10의 (a), (b), (c) 및 (d)는 관찰자 안구의 동공크기 내에서 시스템이 제공 가능한 최외곽 축소된 부분 출사동(52,53)이 위치하도록 개구 위치를 설정하는 과정을 도시한 단면도이다 도 10의 (a)와 도 10의 (b)는 안구의 동공이 수평방향(y축 방향)으로 이동된 경우에 대한 도면이다. 이 경우는 관찰자의 양안 유격이 맞지 않는 경우에 해당된다. 그러나, 이상적으로 관찰자 양안의 동공이 각각의 광축에 초기 세팅된 경우에 관찰자의 안구가 주시 방향을 바꿈에 따라 안구의 회전이 발생될 수 있다. 이에 따라 안구 동공의 수평방향(y축 방향)이 바뀔 수 있다. 이 경우는 도 10의 (c)와 도 10의 (d)에 보여준다. 본 발명의 실시예는 위의 두가지 경우에 모두 적용 가능하다. 본 발명의 상술한 실시예들을 적용함에 있어서, 관찰자 안구의 동공 중심위치가 본 발명의 광학계의 설계상 제공가능한 전체 출사동(50) 영역을 벗어나서 움직이는 경우에는 안구의 동공크기를 고려하여 적용하기가 어렵다. 다만, 동공의 가장자리 안에 전체 출사동(50) 일정영역이 겹치는 경우에는 가상영상을 볼 수 있게 된다. 그러므로, 본 발명의 실제 적용에 있어서는 관찰자 안구의 대응 동공 이동경로를 고려하여 안구 위치의 전체 출사동(50) 크기를 설정해야 한다.
상세하게는, 도 9의 (a)와 도 9의 (b)의 상황에서, 관찰자의 이동 크기가 동적 개구의 최외각 개구영역을 사용하더라도 동공 중심에 맞출 수 없는 경우에는 도 10의 (a)와 도 10의 (b)(또는 도 10의 (c)와 도 10의 (d))와 같이 관찰자 안구의 동공 크기(P eye) 내에서 시스템이 제공 가능한 최외곽 축소된 크기의 부분 출사동(52,53)이 위치하도록 제어부(60, 미도시)는 동적 개구 조절 소자(30)에 개구 위치를 설정하도록 한다.
이 실시예에 따르면, 선행하는 실시예는 안구 추적 없이 전체 출사동(50)에 시간분할을 적용하여 시차영상을 갖는 부분 출사동(51,52,53)을 생성하여 전체 출사동(50)을 대부분 활용하면서 시차영상 제공과 초점심도가 넓은 가상영상을 제공하는 반면에, 이 실시예는 안구 위치에서의 초점심도가 넓은 축소된 부분 출사동(51,52,53)의 위치를 안구의 동공 위치 정보를 참조하여 변경하여, 전체 출사동(50)의 최외곽 내에 있는 안구의 동공에 계속적으로 최적의 가상영상을 제공할 수 있다.
이하, 본 발명의 제4 실시예에 따른 시차영상 제공과 안구추적 정보를 동시 사용하여 동적 개구를 제어하는 것을 설명한다.
도 11의 (a) 및 (b)는 본 발명의 제4 실시예에 따른 안구위치에서의 동적 시차영상 제공 상황을 개념적으로 나타낸 단면도이다. 도 11은 관찰자 안구가 수평방향(y축 방향)으로 이동되어 동공의 수평방향(y축 방향)으로 이동되는 경우를 보여주고 있지만, 도 10의 (c)와 도 10의 (d)와 같이 안구의 회전에 의한 동공의 수평방향(y축 방향)이동에도 반영될 수 있다. 편의상 도 11은 안구의 수평 방향 이동에 대해서만 설명한다.
도 11의 (a) 및 (b)를 참조하여 3개의 시차 영상을 동적으로 생성하는 실시예를 예를 들어 설명하면, 동공 추적 장치(70)는 관찰자 안구의 동공 위치의 좌표 정보를 제어부(60, 미도시)에 전달한다. 제어부(60, 미도시)는 동공 중심 좌표에 3개의 시차영상을 제공하는 부분 출사동(51,52,53) 중에서 중간 부분 출사동(52)이 위치하도록 3개의 동적 개구를 하나의 프레임 내에 순차적으로 작동한다. 이때, 제어부(60, 미도시)는 동적 개구의 작동개구와 동기되어 시차영상을 디스플레이(10)에서 제공하도록 한다. 여기에서는, 간단히 동공의 1차원 방향(Y축 방향)만 고려하여 설명하였지만, 실제로는 동공의 2차원(x-y 평면) 정보에 대해 동적 개구의 위치를 조정할 수 있음은 물론이다. 도 11의 (a)는 동공 위치가 광학계의 광축에 위치하는 경우, 즉, 동적 개구를 전체 오픈했을 때의 전체 출사동(50)의 중심에 있는 경우의 상황을 보여주고 있다. 관찰자의 동공 크기가 3개의 시차영상을 제공하는 부분 출사동(51,52,53)의 전체 폭 정도가 되는 경우, 관찰자 동공에 초다시점 영상을 제공함에 따라 홀로그램과 유사한 현실감 있는 3차원 영상을 관찰자에게 제공할 수 있다. 이때는 관찰자 동공 중심에 중심 부분 출사동(52)이 위치하게 된다.
도 11의 (b)는 관찰자의 동공중심이 왼쪽으로(-y방향) 움직이는 경우에 전체 출사동(50) 내에서 동적 개구의 조정에 따라 안구 동공 중심위치에 중간 시차의 부분 출사동(52)이 배치되도록 하여, 시차영상을 하나의 프레임 내에 순차적으로 제공한 결과를 보여준다.
다만, 안구의 동공 중심위치가 동적 개구로 제어 가능한 전체 출사동(50)의 외곽으로 가면, 제3 실시예에서 나타낸 바와 같이 이 중심시차 영상을 제공하는 부분 출사동(52)을 동공 중심에 맞출 수 없고, 제3 실시예에서 나타낸 방법과 같이 동적 개구의 최외곽 부분 출사동(도 10의 52 또는 53)들에 시차영상을 제공한다. 한편, 필요에 따라 동공 위치가 전체 출사동(50) 외곽으로 이동시에는 시분할 시차영상 제공을 일부 제한할 수 있다.
도 12는 본 발명의 제4 실시예에 따른 동적 개구의 배치 예를 설명하는 평면도이다.
도 12를 참조하면, 동적 개구 조절 소자(30)의 2개 이상의 개구 수평 위치는 x-y평면의 수평, 수직, 대각선 방향 또는 이들의 조합으로 배치될 수 있다.
상술한 실시예에서는 안구의 동공 위치가 1차원 방향으로만 움직이는 경우를 예를 들어 설명하였지만, 실제로는 동공이 광학계 광축에 수직한 평면(x-y평면) 상에 2차원으로 움직일 수 있다. 이 경우에 동공의 움직이는 속도와 동적 개구의 반응 속도를 효과적으로 대응시키기 위하여 복수의 동적 개구의 위치를 다양하게 세팅할 수 있다.
도 12의 (a) 내지 (c)는 이 중에 가능한 몇 가지 동적 개구의 배치를 보여주고 있다. 도 12는 예시적인 것이며, 실제로는 다양한 동적 개구의 배치가 가능하고, 인접하는 동적 개구가 초점심도 범위 설정에 따라 중첩될 수 있으며, 사용자가 보는 가상 영상 종류와 측정된 동공크기에 따라 생성된 동적 개구의 개수와 배치가 바뀌도록 제어부(60, 미도시)가 알고리즘적으로 처리하는 것이 바람직하다.
본 발명의 실시예에 따라 2차원의 동적 개구와 시분할을 사용한 시차영상을 2차원적으로 제공하게 되면, 동공 내에 완전시차의 초다시점 영상을 제공할 수 있게 되어 인위적인 광의 초점화와 비초점화를 모사할 수 있어 홀로그램과 유사한 가상영상을 제공하는 효과를 제공할 수 있다.
이하 본 발명의 제5 실시예에 따른 초점심도 범위 조정 방법 및 작동 구조에 대해 도 13 내지 도 16을 참조하여 설명한다. 도 13은 안구의 동공위치에서 가상영상의 영상점의 수렴영역 크기(PD eye)(즉, 전체 또는 부분 출사동의 크기)에 의해 안구 망막상에 맺혀지는 영상의 회절에 따른 흐려짐의 크기와 기하학적 흐려짐의 크기를 나타낸 그래프이다.
도 13을 참조하면, 회절효과에 의한 흐려짐의 크기(Airy Radius)와 안구의 초점이 최적거리(D best)의 초점에서 벗어났을 때 기하학적 흐려짐 크기(Geometric Blur Radius)가 같아지는 영역을 최외각 근접거리(Dn)와 외곽거리(Df)로 설정하고, 그 내부 범위를 사용자가 영상의 화질 차이를 느끼지 못하는 영역으로 초점심도 범위를 정의한다.
초점심도 범위는 도 3과 함께 이미 설명한 바와 같이, 안구의 동공위치에서 형성되는 동적 부분 출사동(51,52,53)의 크기(이와 결부된 가상영상의 수렴영역의 크기)의 제곱에 반비례하는 관계를 갖는다(식 1 참조).
제1 실시예에서 설명하였듯이, 동적 개구의 크기(A dl)를 조절하여 안구위치에서 전체 출사동(50)의 크기 중에서 부분 출사동의 크기(51,52,53)로 조정할 수 있고, 이에 따라 가상영상의 영상점의 수렴영역 크기(PD eye)를 조절할 수 있다.
도 13의 실시예는 초점심도 범위(DOF Range)가 3디옵터(일 예로, D n= 3디옵터(= 333mm), D f= 0디옵터(= 무한 거리(Infinite distance)인 경우)인 광학계를 구성할 경우에 따른 최외곽 거리(D n 또는 D f)에서 안구 망막상의 회절에 따른 흐려짐의 크기(Airy Radius)와 기하학적 흐려짐의 크기(Geometric Blur Radius)가 가상영상의 영상점의 수렴영역 크기(PD eye)에 따라 증가와 감소가 서로 반대 방향의 경향을 갖는다. 이때, 회절과 기하학적 흐려짐의 크기가 동일하게 되는 가상영상의 영상점의 수렴영역 크기(PD eye)는 이 실시예에서는 B 위치가 된다. A 위치와 C 위치의 가상영상의 영상점의 수렴영역 크기(PD eye) 조건은 상대적으로 회절효과 또는 기하학적 흐려짐이 더 커지게 되어 B 위치보다 영상 흐려짐이 커져 초점심도범위가 줄어들게 된다.
이 실시예는 초점심도 범위가 3디옵터인 경우로서, 가상영상의 영상점의 수렴영역 크기(PD eye)가 0.978mm에서 회절에 따른 흐려짐의 크기와 기하학적 흐려짐의 크기의 반지름이 12.12um로 같은 값을 갖게 된다. 이때, 본 발명의 실시예로 계산에 사용된 파장(λ)과 안구의 유효망막거리(d eye)는 λ= 0.587um와 d eye= 16.535mm이다.
도 14는 본 발명의 제5 실시예에 있어서, 안구가 최적 가상영상 위치(
Figure PCTKR2021003528-appb-img-000011
)에 초점이 맞추어진 경우에 초점심도 범위의 최근접 위치(
Figure PCTKR2021003528-appb-img-000012
)의 영상점, 최외곽 위치(
Figure PCTKR2021003528-appb-img-000013
)의 영상점, 그리고 최적 영상위치에서의 영상점에 대한 망막에서의 주파수 별로 MTF 값을 보여주는 그래프이다. 도 15는 MTF 값이 0.1, 0.2, 0.3이 되는 공간주파수를 가상영상의 영상점의 수렴영역 크기(PD eye)에 따라 전산모사한 결과를 나타낸 그래프이다.
초점 심도 범위에 따른 가상영상의 영상점의 수렴영역 크기(PD eye)의 범위를 결정하기 위한 구성의 상세 설명은 다음과 같다.
상술한 바와 같이 초점 심도 범위가 결정되면, 가상영상의 영상점의 수렴영역 크기(PD eye)의 최적위치는 회절에 따른 흐려짐의 크기(Diffraction Airy Radius)와 기하학적 흐려짐의 크기(Geometric Blur Radius)가 일치하는 값이 된다. 이때의 안구가 최적 가상영상 위치(D best)에 초점을 맞출 때와, 최외곽 위치(D n 또는 D f)에 초점 조절을 한 경우의 MTF 특성이 동일하지 않고, 도 14와 같이 공간 주파수 별로 MTF 값이 작아지는 것을 알 수 있다.
그 결과, 디스플레이 해상도와 화각을 고려하여 구현되는 가상영상의 최대 공간주파수 영역에 따라, 최적의 가상영상의 영상점의 수렴영역 크기(PD eye) 크기가 회절과 기하학적 흐려짐이 동일해지는 조건으로 정의된 값과 MTF 대조(MTF contrast) 값이 동일하지 않게 된다.
광학 설계에 따라 결정되는 MTF의 컷오프(Cut-off) 공간주파수는 달라질 수 있으나, 공간주파수에 따른 MTF 값의 변화는 동일하다. 이에 따라 정해진 광학계에서 실질적으로 관찰자의 시인성을 고려한 사용 가능한 최대 공간주파수는 MTF 값이 0.1 내지 0.3이다. 도 15는 이 중 대표적으로 MTF 값이 0.1, 0.2, 0.3이 되는 공간주파수를 가상영상의 영상점의 수렴영역 크기(PD eye)에 따라 전산모사한 결과이다.
이 결과에 나타난 바와 같이, 기준 MTF 값에 따라 최대 공간주파수를 제공하는 가상영상의 영상점의 수렴영역 크기(PD eye)는 최적조건으로부터 달라지게 된다. 이 범위는 최적의 가상영상의 영상점의 수렴영역 크기(PD eye)의 대략 ±20% 정도의 범위가 된다. 이 범위 내에서 광학 설계 사항의 우선순위에 따라 적합한 초점심도범위에 따라 결정되는 가상영상의 영상점의 수렴영역 크기(PD eye)를 조정하여 사용하는 것이 바람직하다.
따라서, 제어부(60, 미도시)는 설정된 최적 가상영상 위치와 초점심도범위에 따라 동적 개구 소자의 개구의 크기를 조절하여, 최근접 안구의 초점위치에서 망막에 맺히는 영상점의 최근접 영상 흐려짐 크기와, 최외곽 안구의 초점위치에서 망막에 맺히는 영상점의 최외곽 영상 흐려짐 크기가 동일하도록, 최근접 및 최외곽 영상 흐려짐 크기가, 회절에 의한 영상 흐려짐 크기와, 동일한 값에서 ±20% 범위 내에 있도록, 가상 영상의 영상점의 최적 위치는, 디옵터 단위로 최근접 안구의 초점위치와 최외곽 안구의 초점위치의 산술평균 위치가 되도록, 안구의 동공위치에서 출사동의 크기를 조절하는 것이 바람직하다.
도 16은 본 발명의 제5 실시예에 따른 따른 동적 개구 적용 근안 디스플레이 장치를 도시한 측단면도이다.
도 16을 참조하여 본 발명에 따른 초점심도 범위와 최적 가상영상 형성 위치를 조정하는 것을 설명하면 다음과 같다.
상술한 바와 같은 가상영상의 영상점의 수렴영역 크기(PD eye)에 따라 초점 심도 범위를 결정하면, 최적의 가상영상의 형성위치(D best)는 초점심도범위의 최근접거리(D n)와 최외곽거리(D f)의 산술평균 위치(D best= (D n +D f)/2)로 결정된다. 이때, 각 거리의 단위는 디옵터(Diopter) 단위이다. 거리 단위로 표현되면, 상기의 최적 가상영상의 형성위치(D best)가 초점심도범위의 최외곽 거리의 산술평균 관계가 아님에 유의한다.
본 발명의 실시예로서 도 16은 동적 개구 적용 근안 디스플레이 장치와 이에 따라 결정되는 초점심도 범위와 최적 가상영상 위치 형성에 관한 주요 변수들 간의 관계를 개념적으로 보여주고 있다.
도 17은 본 발명의 제6 실시예에 따른 동적 개구의 모양 변경에 의한 광학 성능 개선을 위한 근안 디스플레이 장치의 측단면도이다. 도 18은 도 17의 환 모양의 동적 개구에 대해 광축이 수직한 평면(x-y평면) 상에서 보는 동적 개구를 나타낸 단면도이다.
도 17을 참조하여, 동적 개구의 모양 변경(환 모양 개구: Annular Aperture)에 따른 광 특성 개선 원리를 설명하면 다음과 같다.
도 18에 도시된 것처럼, 동적 개구 조절 소자(30)의 개구는 원형 개구 내에 원형의 광 차단 부분으로 이루어진 환 모양 개구(Annular Aperture)이고, 상기 원형 개구의 반지름이 a이고, 상기 원형의 광 차단 부분의 반지름이 a 0인 경우, 상기 원형 개구의 반지름과 상기 원형의 광 차단 부분의 반지름의 비가 β(≡ a 0/a)로 정의된다.
선행하는 실시예들에 따른 동적 개구는 기본적으로 원형의 개구(β= 0)를 기준으로 설명하였으나, 회절 효과를 보다 효율적으로 제어하는 환 모양 개구를 적용하면 동일 개구 크기에서 회절에 의해 결정되는 회절에 따른 흐려짐의 크기(Airy Radius)를 줄일 수 있다. 이에 따라, 동일 광학계에서 초점심도 범위를 넓혀 줄 수 있고, 고주파의 공간주파수 영역에서의 MTF 값을 증가시켜 준다.
도 18을 참조하면, 이 실시예에 선행하는 실시예들의 광학계의 기본 구조가 적용되나, 동적 개구의 개구 모양이 개구의 중간영역의 일부분의 광을 차단하는 환 모양을 갖게 되어 공통 광분포 영역(C1) 중 광 축 중심의 일정 부분의 광이 통과하지 않는 영역이 발생하여, 도 17에 도시된 바와 같이 동적 개구를 통과하는 광 다발의 중간영역이 비어있는 특성을 갖게 된다.
그렇지만, 이 경우에도 동일 동적 개구 크기(A dl)를 갖는 경우(즉, A dl= 2a이고, β= 0인 경우)에는 기하학적으로 결정되는 관찰자 위치에서의 부분 출사동(51)의 크기 또는 이에 의해 결정되는 가상영상의 영상점의 수렴영역 크기(PD eye)는 동일하게 된다. 그러나, 동적 개구가 환 모양이 될 경우 회절에 따른 흐려짐의 크기(Airy Radius)를 고주파 공간주파수 영역에서 줄일 수 있게 되어 광학 특성을 개선시킬 수 있다. 환 모양의 동적 개구에서는 기하학적 흐려짐의 크기와 같아지는 회절 조건이 변경되어 선행하는 실시예들의 일반적인 개구와 동일 개구크기 조건과 최적조건 또는 최적조건 범위가 달라짐에 유의한다.
이 실시예에 따른 환 모양의 동적 개구에 대해 광축에 수직한 평면(x-y평면) 상에서 보는 동적 개구의 형상은 도 18에 나타나 있다. 동적 개구의 크기(A dl)는 선행하는 실시예들과 동일한 동적 개구 크기(A dl)로 주어진 경우에 개구부의 중심 영역에 일정영역 광이 통과하지 못하는 영역이 존재한다. 정의된 동적 크기 대비 가려진 부분의 비(a 0/a)가 중요하며, 이를 β로 정의하여 본 발명을 설명한다.
도 19의 (a), (b)는 β에 따른 안구위치에서의 주요 광 특성 변화를 나타낸 그래프이다.
β가 0인 경우가 선행하는 실시예들의 일반적인 동적 개구 조건이며, β가 증가될수록 회절에 의한 흐려짐의 크기(Airy Radius)가 줄어들게 된다. 그 결과, 가상영상의 동일 수렴영역의 크기(PD eye)에서 초점심도 범위가 증가되는 장점이 있다. 그러나, 안구의 망막에 맺혀지는 영상점의 PSF(Point Spread Function)의 중심의 피크값(Strehl ratio)이 줄어들어 영상 품질이 저하되는 문제와 동일 개구 크기(A dl)에서 β가 증가됨에 따라 광량이 줄어드는 문제가 있게 된다.
β의 최적 사용범위에 대한 조건의 고려 사항에 대하여, 줄어드는 광량의 크기가 20% 이내가 되는 것이 실제 응용에서 광 손실이 크게 문제되지 않을 것이고, 사용자의 시인성을 고려하여 PSF의 스트렐 비율(Strehl ratio)이 0.8(근사적으로 레일리 쿼터 웨이브 기준(Rayleigh's quarterwave criterion)) 이상인 경우에는 문제가 없을 것으로 판단된다.
상기 두 가지 조건을 만족하는 β는 1/3이다. 이 경우, β가 0인 경우에 비해 89% 정도의 광을 사용하면서, 사용자의 시인성 상 화질 저하를 못 느끼면서 동일한 가상영상의 영상점의 수렴영역 크기(PD eye)에서 초점 심도 범위를 12.5% 정도 넓게 할 수 있다. 그러므로, 본 발명에 의한 환 모양 개구의 β값을 본 발명에 적용하는 데 있어서 최적으로는 β에 1/3 근처의 값을 적용할 수 있고, 초점 심도와 광량 조절의 비중에 따라 β값을 1/3 이내로 적용하는 것이 바람직하다.
도 20은 본 발명의 제6 실시예에 따른 대표적인 3개의 β값에 따른 PSF의 규격화된 상대 광 분포 함수값을 계산한 결과를 나타낸 그래프이다. 도 21은 본 발명의 제6 실시예에 따른 동적 개구에 있어서, β= 1/3, β= 0.45인 환형 개구와 원형개구(β= 0)의 MTF 곡선과 DOF를 비교한 그래프이다.
도 20 및 도 21을 참조하여, 가상영상의 광학 특성을 종합적으로 판단하는 공간주파수에 따른 MTF(Modulation Transfer Function) 특성에 따른 β의 사용 범위를 설명하면 다음과 같다.
도 20은 대표적인 3개의 β값에 따른 PSF의 규격화된 상대 광 분포 함수값을 계산한 결과를 보여준다. β값이 증가될수록 상술한 바와 같이 회절에 의한 흐려짐의 크기(Airy Radius)가 줄어들게 되나, PSF의 중심 피크(Peak) 대비 인접 피크(Peak)의 광량이 상대적으로 증가되어 중간영역의 공간주파수에서 MTF 값을 저하시키는 문제가 발생한다.
공간 주파수에 따른 MTF를 고려한 적절한 β값은 공간주파수 증가에 따른 MTF 값이 단조 감소하는 특성을 보이는 최대 β값으로 정하는 것이 적절하다. 이것을 만족하는 β값은 0.45이다. 이때의 광량은 β값이 0인 경우에 비해 80% 정도이고, PSF의 스트렐 비(Strehl ratio)가 0.64로 감소되어 원형동적 개구(β= 0)에 비해 일부 화질 저하가 느껴지지만, 초점심도범위와 고주파의 공간주파수(해상력 증가된 가상영상 제공)을 고려할 경우에 적용 가능한 조건이다.
그러므로, 본 발명에 따른 환 모양의 동적 개구는 바람직하게는 β가 1/3 이내인 것이 적절하나, 시인할 수 있는 해상력 또는 심도범위가 더 중요해질 경우에는 β를 0.45까지 확장할 수 있다.
도 21은 상술한 바와 같은 대표적인 β값(0, 1/3, 0.45)에서 표준화한 공간주파수(Cut-off Spatial frequency를 1로 표현)에서의 MTF 값과 β값이 0인 경우 대비 DOF 범위가 12% 내지 25% 확장됨을 보이고, 확장된 DOF에 해당하는 β값이 0에 해당하는 보다 작은 원형 개구와 비교한다. 결과적으로 β값이 0인 경우보다 β가 커질수록 중간 이하 공간주파수의 MTF 값은 떨어지지만, 고주파 영역의 MTF 값은 증가됨을 확인할 수 있다.
도 22는 본 발명의 제7 실시예에 따른 초점심도를 조절하기 위한 구성를 나타낸 도면이다. 도 22를 참조하여, 가상 영상의 필요 해상력을 고려한 초점심도 범위 조정 관련 응용 실시예를 설명하면 다음과 같다.
제어부(60, 미도시)는 가상영상의 종류에 따라 설정된 최적 가상영상 위치에서 초점심도범위를 감소시키고, 해상력이 증대된 영상을 제공하기 위해 동적 개구 조절 소자(30)의 개구의 크기를 넓게 조절할 수 있다.
초점심도 범위를 넓히기 위해서는 안구위치의 수렴영역의 크기(PD eye)가 줄어들어야 하는데 가상영상의 영상점의 수렴영역 크기(PD eye)가 줄어들수록 회절효과가 커지게 되어 광학계가 제공할 수 있는 해상력이 줄어들게 되는 단점이 있다. 광학계에 사용되는 디스플레이의 해상도와 화각(FOV)에 따라 볼 수 있는 최대 해상력은 결정되지만(도 4 참조), 회절효과에 의해 최대 해상력이 더 제한될 수 있다. 결과적으로 세부 패턴(텍스트 또는 미세패턴이 있는 영상)을 제대로 시인하기 어렵게 된다.
안구위치에서 가상영상의 영상점의 수렴영역 크기(PD eye)와 회절에 따른 흐려짐의 크기(Airy Radius)는 다음 수식을 만족한다.
Figure PCTKR2021003528-appb-img-000014
(식 3)
이때, λ는 파장이고, d eye는 안구렌즈와 망막 사이의 거리이다. 이때, 본 발명의 실시예로 계산에 사용한 파장(λ)과 안구의 유효망막거리(d eye)는 λ= 0.587um와 d eye= 16.535mm이다(변수 관계는 도 22 참조).
이 실시예에 따르면, 가상영상의 종류에 따라 고화질의 미세패턴이 많은 가상영상을 제공하는 경우나, 텍스트와 같은 2차원 영상 표현이 주가 되는 가상영상을 제공하는 경우에는 선행하는 실시예들에서 제어부(60, 미도시)가 자동으로 또는 사용자가 초점심도 범위를 줄여서(즉, 가상영상의 영상점의 수렴영역 크기(PD eye)를 크게 조정하여) 높은 해상력이 필요한 가상 영상을 사용자가 편하게 볼 수 있게 한다.
도 23의 (a) 내지 (c)는 본 발명의 제7 실시예에 따른 초점 심도 범위의 결정에 대한 주요 변수들의 관계를 수식적으로 계산한 결과를 나타낸 표와 그래프이다.
도 23의 (a) 내지 (c)를 참조하여 초점심도 범위 조정과 해상력 조정의 구체적 실시예를 설명하면 다음과 같다.
예를 들어 DOF 범위(DOF Range)가 1디옵터인 경우의 최적 제1 가상영상의 영상점의 수렴영역 크기(PD eye1)는 1.693mm이고, 3디옵터인 경우의 최적 제2 가상영상의 영상점의 수렴영역 크기(PD eye2)는 0.9776mm이다.
안구 위치의 제1 가상영상의 영상점의 수렴영역 크기(PD eye1)는 제1 렌즈 인접 배치된 동적 개구 조절소자의 동적 개구의 크기(A dl)에 비례하는데, 이는 광학계의 D o:D e 비율에 따라 결정된다. 도 2의 예로 D o:D e가 3:1인 경우에는 동적 개구의 크기(A dl)는 A dl= 3* PD eye가 된다.
그러므로, 1디옵터인 경우 동적 개구 크기(A dl)는 A dl1= 5.08mm가 되고, 3디옵터인 경우 동적 개구 크기(A dl)는 A dl2= 2.933mm이 된다. 이때, 이상적인 회절 한계(Airy Radius)는 식3의 수식을 적용하여 계산하면, 1디옵터인 경우 7um에서 3디옵터인 경우 12.12um로 증가된다.
상기 결과로부터, 초점심도범위를 3디옵터에서 1디옵터로 줄이게 되면, 더 밝으면서 최대 공간해상도(회절을 고려하여 두 인접화소를 구별할 수 있는 최대해상도로 레일리 기준(Rayleigh Criterion)에 해당됨)가 증가되는 시스템을 구현할 수 있다.
상기 경우는 상대 밝기가 1디옵터가 3디옵터에 비해 3배 밝고 (식 1에서 보여지듯이 DOF 범위는 수렴영역의 크기의 제곱 반비례함), 회절 효과가 줄어듬에 따라 최대 공간 해상도는 1.72배 정도 증가된다.
또한, 최대 공간 해상도의 증가는 디스플레이 해상도와 화각을 고려하여 실제 사용되는 공간주파수가 더 적은 영역을 사용한다고 하더라도, 해당 공간 주파수에서의 MTF의 값을 증가시키는 효과를 주어 가상 영상의 더 높은 대조비(Contrast ratio)를 제공할 수 있어서, 보다 선명한 영상을 구현할 수 있다.
본 발명의 제7 실시예에 따른 동적 개구 폭 조정에 대해 구체적으로 설명하면 다음과 같다.
동적 개구 폭은 DOF 범위가 결정되면, 안구위치에서 가상영상의 필요한 가상영상의 영상점의 수렴영역 크기(PD eye)를 부여하는 조건으로 결정된다. 동적 개구의 크기(A dl)과 가상영상의 영상점의 수렴영역 크기(PD eye)는 비례관계에 있으며, 광학시스템의 D o:D e 비에 따라 결정된다. 구체적으로는 다음 식 4의 관계를 만족한다.
Figure PCTKR2021003528-appb-img-000015
(식 4)
그러므로, 가상영상 제공 광학계가 결정되면, 적용하고자 하는 DOF 범위별 필요한 가상영상의 영상점의 수렴영역 크기(PD eye)에 따른 동적 개구 크기(A dl)를 내부 룩업 테이블로 만들어 놓거나, 간단히 수식계산을 적용하면 된다.
이러한 동적 개구 크기(A dl)의 변경은 수동으로 사용자가 DOF 범위를 설정하면, 제어부(60, 미도시)에서 동적 개구 조절 소자(30)를 통해 동적 개구 크기(A dl)를 변경할 수 있다.
또 다른 실시예로서, 사용자가 사용하는 콘텐츠 종류(DOF 범위가 큰 것이 필요한 경우 또는 텍스트와 같이 특정 거리에서 높은 해상도의 영상이 필요한 경우 등)에 따라 제어부(60, 미도시)에서 콘텐츠 종류에 맞도록 필요한 DOF 범위를 선택하여 자동으로 동적 개구의 크기(A dl)를 조정하게 할 수 있다.
동적 개구 조절 소자(30)는 제어부에서 전달받은 동적 개구 크기(A dl)에 따라 제1 렌즈에 인접(앞 또는 뒤에 배치)하여 배치되어 제1 렌즈를 통과하는 가상영상의 광의 영역을 조절해 주는 장치이다.
동적 개구 조절 소자(30)는 광이 투과되는 영역의 위치와 크기를 전기 신호에 따라 조절해주어야 하는데, 구체적으로는 액정 소자(LCD)를 사용할 수 있으며, 광 셔터로 적용하기에 적합한 것은 이 중에서 고속 구동이 가능한 FLC 소자가 용이하다. 이 외에 전기적 신호에 따라 투과영역의 크기와 위치를 조절할 수 있는 다른 소자 등이 본 발명의 동적 개구로 사용될 수 있다.
도 24a는 본 발명의 제8 실시예에 따른 디스플레이 위치 조정에 따라 가상영상의 최적위치를 변경하기 위한 구성을 도시한 측단면도이다.
도 24a는 도 1에 의한 본 발명의 기본 광학계와 동일한 구조이므로 기본 구조에 대한 설명은 생략하고, 도 16을 함께 참조하여 가상영상의 최적위치(D best)를 변경하는 기본 원리에 대해 설명한다. 도 24a에서 동적 개구 조절 소자(30)에 대한 설명도 생략한다.
도 24a를 참조하면, 디스플레이(10) 위치와 제1 렌즈(20) 사이의 거리를 조절하는 디스플레이 위치조정 소자(80, 미도시)가 구비되며, 제어부(60, 미도시)는 설정된 최적 가상영상 위치에 따라 디스플레이 위치조정 소자(80)를 제어하여 최적 가상영상 위치를 조정할 수 있다.
디스플레이(10)에서 생성된 가상영상 정보는 제1 렌즈(20)와 주 광학렌즈(40) 사이에서 중간 영상을 형성하게 되는데, 주 광학렌즈로부터 중간영상의 형성위치가 주 광학렌즈의 초점거리와 같을 경우에 주 광학렌즈로부터 아이 릴리프(Eye Relief) 떨어진 안구의 초점 조절 거리는 무한거리(0 디옵터)가 된다.
이 무한거리의 가상영상을 관찰자에게 제공하는 기준 중간영상 형성위치(I 0)의 주 광학렌즈로부터 거리를 D obj0라 할 경우에, 이 무한거리 중간영상 형성위치는 제1 렌즈(20)의 초점거리와 디스플레이(10)와 제1 렌즈(20) 사이의 거리에 따라 상 방정식에 따라 결정이 된다. 이에 따라, 기준 디스플레이 위치(P 0)와 제1 렌즈 사이의 거리(D md0)가 결정된다.
상기 결정된 기준 디스플레이 위치(P 0)를 제1 렌즈(20)에 가까운 위치(P 1)로 변경하게 되면(즉, D md1 < D md0 조건이 만족되면), 기준 중간영상 형성위치가 I 0에서 I 1으로 변경되어 주 광학렌즈(40)와의 거리가 가까워진다. 도면에 나타난 바와 같이, D obj1 <D obj0인 조건이 만족된다.
이때의 I 1은 주광학렌즈의 초점거리보다 가까운 거리이므로 허상이 발생되는 조건이 되며, 그 위치는 기준 위치로부터 떨어진 거리가 커질수록 허상의 위치가 주 광학렌즈(40)에 가까워진다. 이러한 중간영상 형성위치에 따른 허상의 위치가 안구에서 바라본 가상영상 최적위치(D best)이다.
그러므로, 디스플레이 위치(P 0)를 기준 위치로부터 일정거리 떨어진 제1 렌즈(20)에 가깝게 조정(P 1)하여 가상영상의 최적위치를 변경할 수 있다.
도 24b은 본 발명의 제8 실시예의 다른 실시형태에 따른 제1 렌즈의 초점 조절에 따라 가상영상의 최적위치를 변경하기 위한 구성을 도시한 측단면도이다.
도 24a에서는 디스플레이 위치를 조정하였으나 도 24b에서는 제1 렌즈가 초점조절이 가능한 렌즈인 경우에 가상영상의 최적위치(D best)를 변경하는 기본 원리에 대해 설명한다.
도 24b을 참조하면, 디스플레이(10) 및 초점거리를 조절할 수 있는 제1 렌즈(20)가 구비되며, 이를 제어하는 제어부(60, 미도시)는 설정된 최적 가상영상 위치에 따라 제1 렌즈(20)의 초점거리를 변경하여 최적 가상영상 위치를 조정할 수 있다.
디스플레이(10)에서 생성된 가상영상 정보는 제1 렌즈(20)와 주 광학렌즈(40) 사이에서 중간 영상을 형성하게 되는데, 주 광학렌즈로부터 중간영상의 형성위치가 주 광학렌즈의 초점거리와 같을 경우에 주 광학렌즈로부터 아이 릴리프(Eye Relief) 떨어진 안구의 초점 조절 거리는 무한거리(0 디옵터)가 된다.
이 무한거리의 가상영상을 관찰자에게 제공하는 기준 중간영상 형성위치(I 0 ) 의 주 광학렌즈로부터 거리를 D obj0라 할 경우에, 이 무한거리 중간영상 형성위치는 제1 렌즈(20)의 초점거리와 디스플레이(10)와 제1 렌즈(20) 사이의 거리에 따라 상 방정식에 따라 결정이 된다. 이에 따라, 디스플레이 위치와 제1 렌즈 사이의 거리(D md0)가 정해진 경우에 제1 렌즈의 초점거리에 따라 중간영상 형성위치가 결정된다.
상기 결정된 디스플레이 위치와 제1 렌즈(20) 사이 거리에서 제1 렌즈의 초점거리를
Figure PCTKR2021003528-appb-img-000016
로 조정하여 중간영상 형성위치가 I 0가 되도록 조정할 수 있고, 중간영상 형성 위치를 주 광학렌즈(40)에 가까운 I 1으로 변경시키기 위해서는 초점거리를 이전 경우에 비하여 길게 변경시켜야 한다. 이러한 관계는 렌즈방정식으로 계산이 가능하다. 이때의 I 1은 주광학렌즈의 초점거리보다 가까운 거리이므로 허상이 발생되는 조건이 되며, 그 위치는 기준 위치로부터 떨어진 거리가 커질수록 허상의 위치가 주 광학렌즈(40)에 가까워진다. 이러한 중간영상 형성위치에 따른 허상의 위치가 안구에서 바라본 가상영상 최적위치(D best)이다.
그러므로, 디스플레이 위치와 제1 렌즈 사이의 거리를 고정하고 제1 렌즈(20)의 초점거리를 조절하여 가상영상의 최적위치를 변경할 수 있다.
도 25a는 본 발명의 제8 실시예에 따라 가상영상의 형성위치를 조정하기 위한 디스플레이의 위치 관계를 나타낸 그래프이다.
도 25a를 참조하면, 디스플레이(10)를 기준위치(무한의 가상영상 형성 위치)로부터 조정하는 절대값은 광학계의 설계변수에 따라 달라지지만, 그 관련성을 보면 디옵터 기준으로 가상영상 형성위치 조정을 위한 디스플레이(10) 위치는 선형 비례하여 제1 렌즈(20)에 가까워지는 것을 알 수 있다.
도 25a는 본 발명의 실시예에 따른 일 예로 가상영상의 형성위치를 무한위치(0 디옵터)로부터 250mm(4 디옵터)로 조정하기 위한 디스플레이의 위치 관계를 보여준다.
도 25b는 본 발명의 제8 실시예의 다른 실시형태에 따라 가상영상의 형성위치를 조정하기 위한 제1 렌즈의 초점거리 관계를 나타낸 그래프이다.
도 25b를 참조하면, 제1 렌즈(20)의 초점거리를 (무한의 가상영상 형성 위치)로부터 조정하는 절대값은 광학계의 설계변수에 따라 달라지지만, 그 관련성을 보면 디옵터 기준으로 가상영상 형성위치 조정을 위한 제1 렌즈(20)의 초점거리는 선형 비례하여 증가되는 것을 알 수 있다.
도 25b는 본 발명의 실시형태에 따른 일 예로 가상영상의 형성위치를 무한위치(0 디옵터)로부터 250mm(4 디옵터)로 조정하기 위한 제1 렌즈(20)의 초점거리와의 관계를 보여준다.
도 26a은 본 발명의 제8 실시예에 따른 제1 렌즈로부터의 디스플레이 거리를 조정함에 따라 가상영상의 최적위치를 안구로부터 조정하는 구성을 도시한 측단면도이다.
도 26a을 참조하면, 본 발명의 제8 실시예에서는 관찰자의 안구 동공 초점 조절 위치를 추적하는 동공 추적 장치(70)가 더 구비되며, 제어부(60, 미도시)가 동공 추적 장치(70)가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 주시 깊이 위치에 근접한 최적 가상영상 위치가 형성되도록 디스플레이 위치조절 소자(80)를 제어할 수 있다.
또는, 사용자가 가상영상 최적위치 정보를 수동으로 입력하면, 제어부(60, 미도시)에서 최적위치 정보에 대응하는 디스플레이 조정 위치 정보를 디스플레이(10)의 위치를 제어하는 위치조절 소자(80)에 전달하여, 위치조절 소자(80)를 통해 디스플레이(10)의 위치를 조절하여 최적의 가상영상 형성위치를 조정할 수도 있다.
도 26a에는 본 발명의 제8 실시예에 따른, 제1 렌즈(20)로부터의 디스플레이(10)까지의 거리를 D md1에서 D md2로 조정함에 따라 가상영상의 최적위치가 안구로부터 D best1에서 D best2로 조정되는 구조가 나타나 있다.
도 26b은 본 발명의 제8 실시예의 다른 실시형태에 따른 제1 렌즈의 초점거리를 조정함에 따라 가상영상의 최적위치를 안구로부터 조정하는 구성을 도시한 측단면도이다.
도 26b을 참조하면, 본 발명의 제8 실시예의 다른 실시형태에서는 관찰자의 안구 동공 초점 조절 위치를 추적하는 동공 추적 장치(70)가 더 구비되며, 제어부(60, 미도시)가 동공 추적 장치(70)가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 주시 깊이 위치에 근접한 최적 가상영상 위치가 형성되도록 제1 렌즈의 초점 거리를 제어할 수 있다.
또는, 사용자가 가상영상 최적위치 정보를 수동으로 입력하면, 제어부(60, 미도시)에서 최적위치 정보에 대응하는 제1 렌즈에 초점 거리 정보를 전달하여, 최적의 가상영상 형성위치를 조정할 수도 있다.
도 26b에는 본 발명의 제8 실시예의 다른 실시형태에 따른, 제1 렌즈(20)의 초점 거리를
Figure PCTKR2021003528-appb-img-000017
에서
Figure PCTKR2021003528-appb-img-000018
로 조정함에 따라 가상영상의 최적위치가 안구로부터 D best1에서 D best2로 조정되는 구조가 나타나 있다. 이때,
Figure PCTKR2021003528-appb-img-000019
이
Figure PCTKR2021003528-appb-img-000020
보다 작은 경우에 제1 가상영상 최적 위치(D best1)는 제2 가상영상 최적위치(D best1)보다 안구로부터 멀리 형성되게 된다.
도 27은 도 26a 및 26b에 있어서, 관찰자 양안에 안구 동공 중심 정보를 추적하는 동공 추적 장치와 이 정보를 수신하여 양안의 주시깊이를 계산하여 가상영상을 형성하는 위치를 조정하는 제어부를 도시한 측단면도이다.
도 27을 참조하면, 동공 추적 장치(71,72)는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 제어부(60, 미도시)가 관찰자의 양안의 주시 수렴 깊이에 근접한 최적 가상영상 위치가 형성되도록 디스플레이 위치조정 소자(80)를 제어할 수 있다.
또한 도 27을 참조하면, 동공 추적 장치(71,72)는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 제어부(60, 미도시)가 관찰자의 양안의 주시 수렴 깊이에 근접한 최적 가상영상 위치가 형성되도록 제어 신호에 따라 제1 렌즈의 초점거리를 제어할 수 있다.
선행하는 실시예들 중에서 하나의 동공 위치 추적 장치(70)를 사용하는 경우에 단안의 동공 중심의 위치 정보만을 사용하여 관찰자 양안의 주시 깊이를 판단한다는 것이 어려울 수 있다. 이를 보완하기 위해, 관찰자 양안에 안구 동공 지향방향을 추적하는 알고리즘을 적용하는 동공 추적 장치(71, 72)를 사용하여 양안의 지향되는 수렴위치에 산출하여 이 거리를 관찰자의 응시 최적 초점거리로 판단하여, 제어부(60, 미도시)에 최적 가상영상 형성위치 정보를 제공하는 것이 본 발명의 실시예로서 더 바람직할 수 있다.
한편, 도 26a의 디스플레이 위치조정 소자는 정밀 위치 제어가 가능한 압전소자, VCM, 또는 전기신호에 따라 굴절률이 변경되어 디스플레이와 제1 렌즈 사이의 유효거리를 조정하는 액정소자 등이 사용될 수 있다.
한편, 도 26b의 제어부의 제어신호에 따라 초점거리조절 제어가 가능한 제1 렌즈의 종류는 포커스 튜너블 렌즈, 폴리머 렌즈, 액체렌즈, 액정 렌즈, 또는 전기신호에 따라 렌즈의 위치별 굴절률이 변경되는 렌즈이다.
앞의 실시예에서 가상영상의 최적 형성위치를 변경하기 위해 디스플레이와 제1 렌즈(고정 초점거리 렌즈) 사이의 거리를 제어부에서 제어할 수 있다는 것과, 이와 별개로 고정된 디스플레이와 제1 렌즈(가변 초점거리 렌즈) 사이의 거리를 유지하면서 제1 렌즈의 초점거리를 제어할 수 있다는 것을 보였다. 본 발명에서 구체적으로 기술하지는 않겠지만, 위의 본 발명의 두 기술을 시분할로 구동하여 두 개 이상의 가상영상 최적 형성위치를 한 프레임 내에 구현 할 수 있다. 이를 통하여 가상영상의 초점심도 범위를 효과적으로 넓혀 줄 수 있다. 반면에, 하나의 가상영상 최적 형성위치에서 초점심도 범위를 넓히기 위해서는 안구위치에서의 출사동의 크기를 줄여야 되는데, 이는 안구에 들어오는 광량의 손실과 회절한계의 증대에 따른 가상영상의 해상력 감소를 유발한다. 이의 단점을 극복할 수 있는 대안으로 시분할로 두 개 이상의 가상영상의 최적형성위치를 형성하는 것에 장점이 있다.
도 28은 본 발명의 제9 실시예에 의한 비 정상시(근시 또는 원시) 관찰자의 시력보정 원리를 설명하기 위한 정상시와 근시 또는 원시에 따른 안구의 굴절력 에러를 나타낸 측단면도이다. 도 29는 비 정상시(근시 또는 원시) 안구의 보정 렌즈 원리를 보여주는 구조를 도시한 측단면도이다. 도 30a 및 30b은 본 발명의 제9 실시예에 따른 비 정상시 관찰자의 시력을 보정하기 위한 구성을 도시한 측단면도이다.
도 28, 도 29, 및 도 30a을 참조하면, 근시 또는 원시의 비 정상시 관찰자를 위해, 제어부(60, 미도시)에 시력보정 수치를 입력하여 설정된 최적 가상영상 위치와 대응되는 디스플레이(10) 위치를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적 가상영상 위치를 제공할 수 있다.
도 28, 도 29, 및 도 30b을 참조하면, 근시 또는 원시의 비 정상시 관찰자를 위해, 제어부(60, 미도시)에 시력보정 수치를 입력하여 설정된 최적 가상영상 위치와 대응되는 제1 렌즈(20)의 초점거리를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적 가상영상 위치를 제공할 수 있다.
선행하는 실시예에서의 가상영상 최적위치에 조정은 정상시의 안구를 갖고 있는 관찰자를 기준으로 하여 설명하였으나, 실제로는 많은 관찰자가 시력보정 안경(렌즈) 없이 정상 시력을 갖지 못한다. 또한, 시력보정 안경을 장착하고 본 발명의 근안 디스플레이 장치를 사용할 경우에는 장치의 사용상의 불편함뿐만 아니라, 광학계의 설계에 따라 충분한 아이 릴리프(Eye Relief)를 확보하지 못한 경우에는 최적의 가상영상을 보기 어려운 문제가 있다.
이 실시예는 이러한 문제를 해결하기 위해 근시 또는 원시와 같은 비 정상시 안구를 갖는 관찰자에게 시력보정 안경없이 본 발명의 장치를 사용하여 가상영상을 제대로 볼 수 있도록 한다.
도 28에는 정상시와 근시 또는 원시와 같은 비 정상시 안구의 차이가 나타나 있다. 정상시와 근시 또는 원시의 차이는 무한거리 물체에 대해서 정상시인 경우는 이완 초점조절(Relaxed Accommodation) 상태에서 망막에 제대로 초점을 맞출 수 있지만, 근시와 원시의 경우에는 그렇지 못하다.
근시인 경우에는 망막보다 앞에 이미지 영상이 맺혀지고(안구렌즈의 초점거리가 평균보다 짧거나, 망막의 거리가 평균보다 긴 경우), 반면에 원시인 경우에는 망막보다 뒤에 이미지 영상이 맺혀진다(안구렌즈의 초점거리가 평균보다 길거나, 안구렌즈로부터 망막의 거리가 평균보다 짧은 경우). 이를 안구의 굴절력 에러라고 하며, 이는 시력보정렌즈를 써서 보정할 수 있다.
도 29를 참조하면, 근시는 무한 거리의 물체에 대해 최대 이완시의 안구 초점거리가 너무 짧은 경우(또는 광 파워(Optical power)가 너무 큰 경우)로서, 음의 광 파워(Negative Optical Power)를 갖는 렌즈(오목렌즈)를 보정렌즈로 사용하여 무한거리의 물체가 보정렌즈 앞의 일정거리(S f1)에 허상이 위치하도록 하여 무한 거리의 물체의 광이 안구위치에서 시력보정치만큼 발산하도록 하여 근시안을 갖는 사용자의 망막에 초점이 제대로 맺히게 할 수 있다.
원시는 무한 거리의 물체에 대해 최대 이완시의 안구 초점거리가 너무 긴 경우(또는 광 파워가 너무 작은 경우)로서, 양의 광 파워(Positive Optical Power)를 갖는 렌즈(볼록렌즈)를 보정렌즈로 사용하여 무한거리의 물체가 보정렌즈 뒤쪽(안구가 위치한 측)으로부터 일정거리(S f2)에 실상으로 위치하도록 하여 무한 거리의 물체의 광이 안구위치에서 시력보정치만큼 수렴하도록 하여 원시안을 갖는 사용자의 망막에 초점이 제대로 맺히게 할 수 있다.
도 30a을 참조하면, 앞에서 간단히 설명한 근시 또는 원시인 비 정상시안의 보정 윈리를 적용하기 위해 무한 거리 물체 위치를 제공하는 기본 세팅(즉, D best= 0디옵터)을 기준으로 관찰자의 시력을 보정한다.
구체적으로 언급하면, 디스플레이(10)와 제1 렌즈(20) 사이의 거리를 D md0로 조정하여, 중간 가상영상 형성위치가 주 광학렌즈 앞에 렌즈의 초점거리만큼 떨어지게 조정하게 되면(I 0= F mo인 조건), 광학계로부터 아이 릴리프(Eye Relief)(D e) 위치에 있는 정상시의 사용자는 무한대 위치에 있는 가상 영상을 관찰할 수 있다. 이 위치가 정상시에 가상영상을 제공하는 기준 디스플레이 위치(D md0)와 중간 가상영상 형성위치(I 0)가 된다.
근시안의 사용자에게 무한 거리 가상 영상을 제공하기 위해서는 정시안의 가상영상의 기준위치(I 0)보다 주 광학렌즈(40)에 가깝게 가상영상 위치(I 1)를 형성하게 하여 상술한 근시안의 보정안경과 같은 원리로 안구에 들어오는 광이 망막에 잘 맺히도록 하여 무한거리의 가상영상을 볼 수 있게 된다. 이를 구현하기 위해서는 디스플레이(10) 위치가 D md1으로 정시안의 위치보다 제1 렌즈(20)에 가깝도록 조정하면 된다.
원시안의 사용자에게 무한 거리 가상 영상을 제공하기 위해서는 정시안의 가상영상의 기준위치(I 0)보다 주 광학렌즈(40)에 멀게 가상영상 위치(I 2)를 설정하여, 상술한 원시안의 보정안경과 같은 원리로 안구에 들어오는 광이 망막에 잘 맺히도록 하여 무한거리의 가상영상을 볼 수 있게 된다. 이것을 구현하기 위해서는 디스플레이(10) 위치가 D md2로 정시안의 위치보다 제1 렌즈(20)에 멀도록 조정하면 된다.
앞에서 정시안과 다르게 무한 거리 가상영상의 기준위치가 근시안과 원시안에 대해 디스플레이 기준 위치 보정에 대해 설명하였다. 이 위치를 기준으로 D best가 무한 거리에서 가까워지게 되면, 각 사용자의 기준 디스플레이 위치로부터 가상영상 형성위치를 반영하여 디스플레이 위치를 변경하면 된다.
상기 내용을 반영한 보정시력별로 기준 디스플레이 위치(무한 거리 물체에 대한 기준위치)에 관한 내장 데이터 테이블을 제어부(60, 미도시)가 참조하여, 가상영상의 최적위치에 따른 디스플레이의 위치정보를 위치 제어 소자에 전달해주면 된다.
도 30b을 참조하면, 앞에서 설명한 도 30a의 경우인 디스플레이(10)와 제1 렌즈(20) 사이의 거리 조정을 대신하여 제1 렌즈(20)의 초점거리를 조정하여 관찰자의 시력을 보정한다.
도 31a은 본 발명의 제9 실시예에 따른 구체적 최적 가상영상 형성위치(디옵터 단위기준)와 디스플레이 위치 조정을 나타낸 그래프이다.
도 31a을 참조하면, 정상시안, 근시안(-2디옵터), 및 원시안(+2디옵터)의 사용자에 대한 동일한 최적의 가상영상을 제공하는 디스플레이 위치를 비교한다. 이 중, 점선은 정시안의 2D(0.5m)에 해당하는 최적영상을 제공하는 디스플레이 위치는 근시안의 0D(무한대 거리)의 최적영상 제공 위치와 동일하고, 반면에 원시안에 대해서는 4D(0.25m)의 최적영상 제공 위치와 동일하다. 이는 비 정상시안의 사용자의 시력보정이 해당 수치만큼 보정된 결과이다.
이는 가상영상에 대한 비 정상시 사용자에 대한 시력보정의 실시예이며, 외부 실물을 가상영상과 같이 볼 필요가 있는 AR 기기로 본 발명이 사용될 경우에는, 별도의 외부 실물에 대한 비 정상시 사용자에 대한 시력보정이 필요하다. 이러한 AR 기기로 사용될 경우에 대한 외부 실물에 대한 사용자의 시력보정 방법은 후술할 제12 실시예로서 설명된다.
도 31b은 본 발명의 제9 실시예의 다른 실시형태에 따른 구체적 최적 가상영상 형성위치(디옵터 단위기준)와 제1 렌즈의 초점거리 조정을 나타낸 그래프이다.
도 31b을 참조하면, 정상시안, 근시안(-2디옵터), 및 원시안(+2디옵터)의 사용자에 대한 동일한 최적의 가상영상을 제공하는 제1 렌즈의 초점거리를 비교한다. 여기에서의 제1 렌즈의 초점거리와 가상영상형성위치의 정시안, 근시, 원시안의 비교는 도 31a의 관계와 같은 방식으로 비교가 가능하다.
이는 가상영상에 대한 비 정상시 사용자에 대한 시력보정의 실시예이며, 외부 실물을 가상영상과 같이 볼 필요가 있는 AR 기기로 본 발명이 사용될 경우에는, 별도의 외부 실물에 대한 비 정상시 사용자에 대한 시력보정이 필요하다. 이러한 AR 기기로 사용될 경우에 대한 외부 실물에 대한 사용자의 시력보정 방법은 후술할 제12 실시예로서 설명된다.
도 32는 본 발명의 제10 실시예에 따른 편광 개구 세트가 적용된 동적 개구 조절 소자를 설명하기 위한 측단면도이다.
도 32를 참조하면, 2개의 편광 분할된 디스플레이 화소와 서로 편광 방향이 직교하는 2개의 동적 개구를 적용하여 안구 위치에 인접한 2개의 시차 영상을 제공한다.
구체적으로 디스플레이(10)는 복수의 화소들로 구성되며, 각 화소의 인접화소는 서로 직교하는 제1 편광의 제1 가상영상과 제2 편광의 제2 가상영상을 제공하며, 동적 개구 조절 소자(30)는 제1 편광의 제1 개구와 제2 편광의 제2 개구를 포함하는 편광 개구 세트로 구성된다. 디스플레이(10)의 2개의 가상영상이 상기 동적 개구 조절 소자(30)의 편광 개구 세트를 통하여 관찰자 안구위치에 전달되어 출사동이 확장될 수 있다. 상기 제1 가상영상과 상기 제2 가상영상은 시차영상일 수 있다.
또한, 동적 개구 조절 소자(30)의 편광 개구 세트의 수평 위치는 2개 이상이며, 제어부(60, 미도시)의 제어신호에 따라 동적 개구 조절 소자(30)의 각 수평 위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하여 상기 출사동이 2개 이상 순차적으로 배치되도록 하여 출사동의 크기를 확대할 수 있다.
또한, 제어부(60, 미도시)는 동적 개구 조절 소자(30)의 편광 개구 세트 위치 변경에 동기화하여 디스플레이(10)에 2개 이상의 시차 영상을 순차적으로 제공하여, 상기 출사동의 각 위치에 서로 다른 시차 영상이 배치될 수 있다.
이하, 편광 분할을 사용하는 방법을 더욱 상세하게 설명한다.
디스플레이(10)의 소자의 일부 화소는 제1 편광(원편광 또는 선편광)을 갖고, 나머지 화소는 이에 직교하는 제2 편광(원편광 또는 선편광)으로 이루어져 있고, 동적 개구가 제1 편광과 동일한 편광 영역의 제1 개구와 제2 편광과 동일한 편광 영역의 제2 개구로 이루어진 경우에는 시간 분할이 없더라도, 사용자의 안구에 2개의 시차영상을 제공하면서 DOF 범위가 넓고, 출사동(Exit Pupil)이 확장된 가상영상을 제공할 수 있다.
다만, 디스플레이의 전체 해상도를 1/2씩 나누어 동적 제1 개구와 제2 개구를 통과한 가상영상이 형성되어 해상도 저하가 있으나, 현재 사용 가능한 디스플레이가 Full HD 해상도(1920x1080)를 가지므로 1/2로 해상도를 시차영상별로 나누더라도 화질저하가 크게 문제되지 않으며, 향후 4K 이상의 고정세 디스플레이가 개발되면 각 시차 영상별 FHD 이상의 영상을 제공할 수 있다
도 32는 본 발명의 2개의 편광 분할된 디스플레이 화소와 서로 편광 방향이 직교하는 2개의 동적 개구를 적용하여 안구 위치에 인접한 2개의 시차 영상을 제공하는 실시예를 나타낸다. 실선의 광경로로 표시된 것은 제1 편광의 제1 시차영상이고, 점선의 광경로로 표시된 것은 제2 편광의 제2 시차영상에 의해 형성되는 안구위치의 수렴점에 대한 것이다.
더욱이, 편광 분할과 시간 분할을 동시에 사용할 수도 있다. 예를 들어, 2개의 편광개구 세트를 적용하는 실시예는 선행하는 제1 내지 제3 실시예와 조합하여 사용될 수 있다. 이를 조합하여 사용하면, DOF 범위가 넓으면서 출사동(Exit Pupil) 내에 시차영상의 개수를 효과적으로 늘릴 수 있다. 예를 들어, 편광분할(2개의 서로 직교하는 편광의 개구가 하나의 동적 개구 세트로 사용)과 3개의 동적 개구 세트를 시분할로 한 프레임 내에서 순차적으로 구동하여 사용하면 6개의 시차 영상을 제공할 수 있다.
도 33은 본 발명의 제11 실시예에 따른 AR(Augmented Reality) 장치로 사용하는 경우의 근안 디스플레이 장치를 설명하는 측단면도이다.
선행하는 실시예들에서는 본 발명의 작동원리와 가상영상 제어방법을 설명의 편의를 위해 얇은 렌즈(Thin Lens)로 표현된 제1 렌즈(20)와 주 광학렌즈(40)를 기준으로 설명하였으나, 실제로 본 발명을 적용하기 위해서는 각 렌즈는 복합렌즈 군으로 사용될 수 있다.
특히, 본 발명의 기술을 AR(Augmented Reality) 장치로 사용할 경우에는, 가상영상을 제공하는 디스플레이(10)의 위치가 외부 시야창을 가리면 안되기 때문에 미러(Mirror) 또는 빔 스플리터(Beam Splitters)와 같은 광 경로 변경 소자가 추가로 사용될 필요가 있다.
도 33은 본 발명의 개념을 AR에 적용한 구체적 실시예로서, 제1 렌즈 대신에 이중 가우스 렌즈 시스템(20, Double Gauss Lens system)이 사용되고, 주 광학렌즈(40)로서 반투과형 오목거울((410, Trans-reflective Concave mirror)과 빔 스플리터(420)로 구성되는 버드배스 타입 AR(Birdbath type AR) 광학계가 적용된 경우이다. 또한, 효과적으로 컴팩트한 근안 디스플레이 장치를 구현하기 위해 렌즈 시스템(20)과 AR 광학계 사이에 하나의 반사 거울(90)이 사용된 경우이다.
동적 개구 조절 소자(30)는 이중 가우스 렌즈 시스템(Double Gauss Lens system)의 중심 위치 부근에 배치될 수 있다. 또한, 디스플레이(10) 위치는 위치조절 소자(80)에 의해 최적가상영상 형성위치 변경을 위해 조정될 수 있다.
본 발명에 따른 AR 구조는 크게 두 개의 부분으로 나눌 수 있는데, 다초점 광학 모듈(Multi-Focus(MF) Optics module)과 기본 AR 광학계로 구분될 수 있다. 다초점 광학 모듈의 구체적인 작동방법은 선행하는 실시예들의 작동방법이 적용될 수 있고, 렌즈 시스템(20)을 통과한 광은 반사 거울(90)에서 반사되어 AR 광학계로 진행한다. AR 광학계에서 빔 스플리터(420)에서 반사된 광은 반투과형 오목거울(410)에서 다시 반사되어 사용자 안구로 진행한다. 도면에는 표시하지 않았지만, 앞의 실시예에서와 같이 동공추적 시스템이 추가로 구비될 수 있다.
도 34는 본 발명의 제12 실시예에 따른 시력 보정 렌즈가 추가로 구비된 AR 장치로 사용되는 구조를 도시한 측단면도이다.
MF 광학 모듈(MF Optical module)에서 사용자 안구의 시력이 정상시가 아닌 경우(근시/원시)에도 디스플레이 위치를 조절하여 사용자의 시력을 보정함으로써 특정거리의 가상영상을 제공할 수 있다(시력보정에 대한 상세한 설명은 선행하는 실시예들 참조).
그런데 본 발명이 AR(Augmented Reality) 장치에 응용될 때는 외부의 실제 물체와 가상 영상을 동시에 제대로 보아야 한다. 이를 위해 AR 광학계의 외부 가시창 앞에 사용자의 시력보정을 위한 렌즈를 추가로 구비할 수도 있다. 사용자가 시력보정 렌즈를 쓰고 장치를 사용하면, 아이 릴리프(Eye relief)가 충분하지 않아 최적의 영상 관찰이 어려울 수 있는데, 상기 구성을 통해 이러한 불편함을 해소할 수 있다.
도 34를 참조하면, 본 발명의 제12 실시예에서는 AR 광학계에서 외부 시야창 바깥면에 근시 또는 원시의 비 정상시 관찰자의 시력보정 렌즈(41)가 선택적으로 추가로 구비될 수 있음을 보여준다. 한편, 시력보정 렌즈는 탈착식 고정형 렌즈 또는 사용자에 맞게 설계된 시력보정 렌즈가 적용될 수 있다.
또한, 근시 또는 원시의 비 정상시 관찰자를 위해, 제어부(60, 미도시)에 시력보정 수치를 입력하여 설정된 최적 가상영상 위치와 대응되는 디스플레이(10) 위치를 보정하거나 제1 렌즈(20)의 초점거리를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적관찰위치를 제공할 수 있다.
도 35는 본 발명의 제13 실시예에 따른 AR 광학계에서 외부 시야창 앞에 선택적으로 적용되는 차폐부품 및 외부 전경용 카메라를 구비한 구성을 도시한 MR 또는 XR 장치로 적용되는 경우의 광학계의 측단면도이다. 이 경우 차폐 부품을 선택적으로 활용하는 경우 AR과 MR/XR 기능을 선택적으로 구현할 수 있다. 도 35를 참조하면, 본 발명의 제13 실시예예서는 AR 광학계에서 외부 시야창 앞에 선택적 차폐막(100)이 구비되고, 2대의 외부 전경용 카메라(110)(도면상에서는 편의상 하나의 안구에 대해서만 표시함)가 구비될 수 있다. 제1 및 제2 외부 전경용 카메라(110)로 촬영된 외부영상은 제어부(60, 미도시)를 통하여 디스플레이(10)에 외부영상과 가상영상이 합성되어 관찰자의 양안에 각각 제공될 수 있다.
또한, 2개의 외부 전경용 카메라(110)의 외부영상은 대응되는 관찰자의 안구위치를 고려하여 보정되어 관찰자의 양안에 각각 제공될 수 있다.
또한, 2개의 관찰자 동공 위치추적 장치를 구비할 수도 있다. 각 동공 위치추적 장치에서 취득한 정보는 제어부(60, 미도시)에 송신되며, 제어부(60, 미도시)는 관찰자 양안 위치와 2개의 외부 전경용 카메라(110) 위치를 비교하여 대응되는 외부영상을 보정할 수 있다. 이때, 가상 영상은 외부 촬영 영상과 내장된 가상영상이 합성되어 관찰자에게 제공될 수 있다.
이때 외부 시야창 바깥면에 위치한 외부전경 차폐부품을 선택적으로 적용하기 위해서 차폐부품으로 클립형 선글라스 등이 사용될 수 있으며, 전기적 신호에 따라 투과율을 조절할 수 있는 선글라스 등이 사용될 수 있다.
도 36은 본 발명의 제14 실시예에 따른 MR 또는 XR 기기로 사용되는 경우를 나타낸다. 이 경우는 도 8에서 외부 전경용 카메라를 각 안구별로 구비하는 경우이다.
본 발명의 기술을 MR 또는 XR 전용 장치의 구조를 구현하기 위해, 본 발명의 이전 실시예인 도 5, 도 8 및 도 16을 적용한 VR 광학계 구조를 활용하고, 양안의 각 안구별 외부 전경을 촬영하는 카메라를 추가하여 구비한다.
도 35와 도 36의 실시예는 안구당 1개의 외부 전경용 카메라를 적용하고 각 카메라는 본 발명에서 제공하고자 하는 초점심도 영역의 초점 심도를 제공하는 카메라 또는 깊이 카메라와 같은 영상처리를 포함하는 카메라 시스템일 수 있다. 이러한 경우 각 안구에 해당하는 카메라의 조정된 안구별 영상은 각 안구별 시차영상으로 사용된다. 그리고 깊이 카메라를 활용하면 1개의 카메라로도 각 안구 별 시차영상을 생성할 수 있다.
도 37은 본 발명의 다른 실시예에서 VR, AR 또는 MR 및 XR 로 적용할 때 그 광학구조를 양안에 적용하는 경우로서, 미러(510,510')가 추가적으로 포함될 수 있다.
도 38과 39는 도 37과 비교하여, 동적 개구를 지나는 광이 편광되도록하여 편광 빔 분할기와 1/2λ 웨이브 지연기(wave retarder)를 적용함으로써 전체 광학계의 부피를 줄이는 것을 설명하는 도면이다. 예를 들어 좌측 동적 개구를 지나는 광이 P-편광이 되도록 하면 좌측 동적 개구를 지나는 P-편광 광이 좌측 편광 빔 분할기(530)는 투과하게 되고, 그 다음의 광 경로 상의 1/2λ 웨이브 지연기(520)를 지나 S-편광이 되어 우측의 편광 빔 분할기(530')에서는 반사하게 되어 우측 주 렌즈(40')로 광이 진행된다. 이 광은 사용자의 양안 중 우측 안구에 입사한다. 우측 동적 개구를 지나는 광이 P-편광이 되도록 하면 우측 동적 개구를 지나는 P-편광 광이 우측 편광 빔 분할기(530')는 투과하게 되고, 그 다음의 광 경로 상의 1/2λ 웨이브 지연기(520)를 지나 S-편광이 되어 좌측의 편광 빔 분할기(530)에서는 반사하게 되어 좌측 주 렌즈(40)로 광이 진행된다. 이 광은 사용자의 양안 중 좌측 안구에 입사한다. 이러한 구조를 이용함으로써 두 편광 광 분할기(530,530') 사이의 공간을 두 광학계가 공유함으로써 전체 광학계의 부피를 줄일 수 있다. 그리고 이와 같이 편광과 웨이브 지연기를 이용함으로써 편광 빔 분할기에서의 광손실을 최소화 할 수 있다.
이 분야의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (47)

  1. 디스플레이;
    상기 디스플레이의 전면에 일정 간격 이격하여 배치된 제1 렌즈;
    상기 제1 렌즈에 인접 배치되어 상기 제1 렌즈의 개구 크기와 광축에 수직한 평면상의 개구의 수평위치와 크기를 동적으로 제어하는 동적 개구 조절 소자;
    상기 제1 렌즈로부터 일정 간격 이격하여 배치된 주 광학렌즈; 및
    상기 동적 개구 조절 소자를 제어하는 제어부를 포함하며,
    상기 주 광학렌즈로부터 일정 간격 이격하여 배치되는 출사동에 관찰자의 안구 동공이 위치하고, 상기 출사동의 크기와 수평위치는 상기 제어부의 제어 신호에 따라 조절되는 상기 동적 개구 조절 소자의 개구 크기와 수평위치에 따라 변경되는 것을 특징으로 하는, 근안 디스플레이 장치.
  2. 제1항에 있어서,
    상기 출사동의 크기가 관찰자의 동공 크기보다 작은 2mm 이내가 되도록 상기 동적 개구 조절 소자의 개구 크기를 조절하는 것을 특징으로 하는, 근안 디스플레이 장치.
  3. 제1항에 있어서,
    상기 동적 개구 조절 소자는 상기 제어부의 제어 신호에 따라 개구 크기와 수평위치를 변경할 수 있는 액정소자(LCD) 또는 전자 셔터임을 특징으로 하는, 근안 디스플레이 장치.
  4. 제1항에 있어서,
    상기 동적 개구 조절 소자의 개구 수평 위치는 2개 이상이며, 상기 제어부의 제어신호에 따라 상기 동적 개구 조절 소자의 각 수평위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하여 상기 출사동이 2개 이상 순차적으로 배치되는 것을 특징으로 하는, 근안 디스플레이 장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 동적 개구 조절 소자의 개구 위치 변경에 동기화하여 상기 디스플레이에 2개 이상의 시차 영상을 순차적으로 제공하여, 상기 출사동의 각 위치에 서로 다른 시차 영상이 배치되도록 하는 것을 특징으로 하는, 근안 디스플레이 장치.
  6. 제1항에 있어서,
    상기 관찰자의 안구 동공 위치를 추적하는 동공 추적 장치가 구비되며,
    상기 제어부는 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 상기 관찰자의 안구 동공 내에 상기 출사동이 지속적으로 배치될 수 있도록 상기 동적 개구 조절 소자의 개구의 수평위치를 실시간으로 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  7. 제6항에 있어서,
    상기 동적 개구 조절 소자는 상기 동공 추적 장치의 관찰자 안구 동공 이동방향에 따라 재배치된 2개 이상의 개구 배치를 생성하고,
    상기 제어부의 제어신호에 따라 상기 동적 개구 조절 소자의 각 수평 위치의 하나의 동적 개구가 하나의 프레임 가상 영상 내에서 작동하며,
    상기 출사동이 관찰자 안구 이동 방향에 따라 동공의 직경 이내 영역에 1개의 개구가 항상 배치됨으로써 관찰자 안구 이동 방향의 출사동의 크기를 확대하는 것을 특징으로 하는, 근안 디스플레이 장치.
  8. 제6항에 있어서,
    상기 동적 개구 조절 소자는 상기 동공 추적 장치의 관찰자 안구 동공 이동방향에 따라 재배치된 2개 이상의 개구 배치를 생성하고,
    상기 제어부의 제어신호에 따라 상기 동적 개구 조절 소자의 각 수평 위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하며,
    상기 출사동이 관찰자 안구 이동 방향에 따라 2개 이상 순차적으로 배치됨으로써 관찰자 안구 이동 방향의 출사동의 크기를 확대하는 것을 특징으로 하는, 근안 디스플레이 장치.
  9. 제7항 또는 제8항에 있어서,
    상기 동적 개구 조절 소자의 2개 이상의 개구 위치는 광축에 수직한 평면에서 수평, 수직, 대각선 방향 또는 이들의 조합 방향으로 배치되는 것을 특징으로 하는, 근안 디스플레이 장치.
  10. 제1항에 있어서, 상기 제어부가,
    최근접 가상 영상이 안구의 초점위치에서 망막에 맺히는 영상점의 최근접 영상 흐려짐 크기와, 최외곽 가상 영상이 안구의 초점위치에서 망막에 맺히는 영상점의 최외곽 영상 흐려짐 크기가 동일하도록,
    상기 최근접 및 최외곽 영상 흐려짐 크기가, 회절에 의한 영상 흐려짐 크기와, 동일한 값에서 20% 내에 있도록,
    가상 영상의 영상점의 최적 위치는, 디옵터 단위로 상기 최근접 안구의 초점위치와 상기 최외곽 안구의 초점위치의 산술평균 위치가 되도록,
    설정된 최적 가상영상 위치와 초점심도범위에 따라 상기 동적 개구 소자의 개구의 크기를 조절하여, 안구의 동공위치에서 상기 출사동의 크기를 조절하는 것을 특징으로 하는, 근안 디스플레이 장치.
  11. 제10항에 있어서,
    상기 동적 개구 조절 소자의 개구는 원형 개구 내에 원형의 광 차단 부분으로 이루어진 환 모양 개구(Annular Aperture)인 것을 특징으로 하는, 근안 디스플레이 장치.
  12. 제11항에 있어서,
    상기 원형 개구의 반지름이 a이고, 상기 원형의 광 차단 부분의 반지름이 a 0인 경우, 상기 원형 개구의 반지름과 상기 원형의 광 차단 부분의 반지름의 비가 β(≡ a 0/a)로 정의될 때,
    상기 β는 0 이상 1/3 이하인 것을 특징으로 하는, 근안 디스플레이 장치.
  13. 제11항에 있어서,
    상기 원형 개구의 반지름이 a이고, 상기 원형의 광 차단 부분의 반지름이 a 0인 경우, 상기 원형 개구의 반지름과 상기 원형의 광 차단 부분의 반지름의 비가 β(≡ a 0/a)로 정의될 때,
    상기 β는 0 이상 0.45 이하인 것을 특징으로 하는, 근안 디스플레이 장치.
  14. 제10항에 있어서,
    상기 제어부는 가상영상의 종류에 따라 설정된 최적 가상영상 위치에서 초점심도범위를 감소시키고, 해상력이 증대된 영상을 제공하기 위해 상기 동적 개구 조절 소자의 개구의 크기를 넓게 조절하는 것을 특징으로 하는, 근안 디스플레이 장치.
  15. 제10항에 있어서,
    상기 디스플레이와 상기 제1 렌즈 사이의 거리를 조절하는 디스플레이 위치조정 소자를 더 포함하며,
    상기 제어부는 설정된 최적 가상영상 위치에 따라 상기 디스플레이 위치조정 소자를 제어하여 최적 가상영상 위치를 조정함을 특징으로 하는, 근안 디스플레이 장치.
  16. 제10항에 있어서,
    상기 제1 렌즈는 상기 제어부의 제어신호에 따라 초점거리를 조절할 수 있고,
    상기 제어부는 설정된 최적 가상영상 위치에 따라 상기 제1 렌즈의 초점거리를 제어하여 최적 가상영상 위치를 조정함을 특징으로 하는, 근안 디스플레이 장치.
  17. 제15항에 있어서,
    상기 관찰자의 안구 동공 초점 조절 위치를 추적하는 동공 추적 장치가 구비되며,
    상기 제어부가 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 초점조절 위치에 근접한 최적 가상영상 위치가 형성되도록 상기 디스플레이 위치조정 소자를 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  18. 제16항에 있어서,
    상기 관찰자의 안구 동공 초점 조절 위치를 추적하는 동공 추적 장치가 구비되며,
    상기 제어부가 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 초점조절 위치에 근접한 최적 가상영상 위치가 형성되도록 상기 제1 렌즈의 초점거리를 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  19. 제17항에 있어서,
    상기 동공 추적 장치는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 상기 제어부가 관찰자의 양안의 수렴위치에 근접한 최적 가상영상 위치가 형성되도록 상기 디스플레이 위치조정 소자를 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  20. 제18항에 있어서,
    상기 동공 추적 장치는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 상기 제어부가 관찰자의 양안의 수렴위치에 근접한 최적 가상영상 위치가 형성되도록 상기 제1 렌즈의 초점거리를 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  21. 제17항 또는 제19항에 있어서,
    근시 또는 원시의 비 정상시 관찰자를 위해, 상기 제어부에 시력보정 수치를 입력하여 상기 설정된 최적 가상영상 위치와 대응되는 상기 디스플레이 위치를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적 가상영상 위치를 제공하는 것을 특징으로 하는, 근안 디스플레이 장치.
  22. 제18항 또는 제20항에 있어서,
    근시 또는 원시의 비 정상시 관찰자를 위해, 상기 제어부에 시력보정 수치를 입력하여 상기 설정된 최적 가상영상 위치와 대응되는 상기 제1 렌즈의 초점거리를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적 가상영상 위치를 제공하는 것을 특징으로 하는, 근안 디스플레이 장치.
  23. 제15항에 있어서,
    상기 디스플레이 위치조정 소자는 정밀 위치 제어가 가능한 압전소자, VCM, 또는 전기신호에 따라 굴절률이 변경되어 디스플레이와 제1 렌즈 사이의 유효거리를 조정하는 액정소자인 것을 특징으로 하는, 근안 디스플레이 장치.
  24. 제16항에 있어서,
    상기 초점거리 조정이 가능한 제1 렌즈는 정밀 초점거리 제어가 수동 또는 전기적으로 가능한 포커스 튜너블 렌즈(Focus-Tunable Lens), 폴리머 렌즈, 액체렌즈(Liquid Lens), 액정 렌즈, 또는 전기신호에 따라 굴절률이 변경되는 렌즈인 것을 특징으로 하는, 근안 디스플레이 장치.
  25. 제1항에 있어서,
    상기 디스플레이는 복수의 화소들로 구성되며, 각 화소의 인접화소는 서로 직교하는 제1 편광의 제1 가상영상과 제2 편광의 제2 가상영상을 제공하며,
    상기 동적 개구 조절 소자는 제1 편광의 제1 개구와 제2 편광의 제2 개구를 포함하는 편광 개구 세트로 구성되며,
    상기 디스플레이의 2개의 가상영상이 상기 동적 개구 조절 소자의 편광 개구 세트를 통하여 관찰자 안구위치에 전달되어 출사동이 확장되는 것을 특징으로 하는, 근안 디스플레이 장치.
  26. 제25항에 있어서,
    상기 제1 가상영상과 상기 제2 가상영상은 시차영상인 것을 특징으로 하는, 근안 디스플레이 장치.
  27. 제25항에 있어서,
    상기 동적 개구 조절 소자의 편광 개구 세트의 수평 위치는 2개 이상이며, 상기 제어부의 제어신호에 따라 상기 동적 개구 조절 소자의 각 수평 위치의 개구가 하나의 프레임 가상 영상 내에서 순차적으로 작동하여 상기 출사동이 2개 이상 순차적으로 배치되도록 하여 출사동의 크기를 확대하는 것을 특징으로 하는, 근안 디스플레이 장치.
  28. 제27항에 있어서,
    상기 제어부는 상기 동적 개구 조절 소자의 편광 개구 세트 위치 변경에 동기화하여 상기 디스플레이에 2개 이상의 시차 영상을 순차적으로 제공하여, 상기 출사동의 각 위치에 서로 다른 시차 영상이 배치되는 것을 특징으로 하는, 근안 디스플레이 장치.
  29. 제6항에 있어서,
    2대의 외부 전경용 카메라가 더 구비되며, 상기 2대의 외부 전경용 카메라로 촬영된 외부영상은 상기 제어부를 통하여 상기 디스플레이에 외부영상과 가상영상이 합성되어 관찰자의 양안에 각각 제공되는 것을 특징으로 하는, 근안 디스플레이 장치.
  30. 제29항에 있어서,
    각 동공 위치추적 장치에서 취득한 정보는 상기 제어부에 송신되며, 상기 제어부는 관찰자 양안 각각에 상기 2개의 외부 전경용 카메라의 영상을 안구별로의 시차영상으로 동적 개구를 통하여 제공하는 것을 특징으로 하는, 근안 디스플레이 장치.
  31. 제1항에 있어서,
    상기 제1 렌즈로 상기 제1 렌즈와 상기 주 광학렌즈 사이에 상기 디스플레이의 상이 상기 디스플레이의 크기 보다 크도록 확대하여 시야각을 확대시킬 수 있는 근안 디스플레이 장치.
  32. 디스플레이;
    상기 디스플레이의 전면에 일정 간격 이격하여 배치된 제1 렌즈;
    상기 제1 렌즈에 인접 배치되어 상기 제1 렌즈의 개구 크기와 광축에 수직한 평면상의 개구의 수평위치를 동적으로 제어하는 동적 개구 조절 소자;
    상기 제1 렌즈로부터 일정 간격 이격하여 배치되며, 가상영상을 빔 스플리터로 반사시키는 반사 거울;
    가상영상 제공 방향과 외부 시야창 방향이 서로 간섭이 없도록 배치되어, 가상영상과 외부영상이 동시에 관찰자에게 제공되도록 하는 빔 스플리터;
    가상영상을 관찰자에게 반사시키고 외부영상을 통과시키는 반투과형 오목거울; 및
    상기 동적 개구 조절 소자를 제어하는 제어부를 포함하며,
    상기 주 광학렌즈로부터 일정 간격 이격하여 배치되는 출사동에 관찰자의 안구 동공이 위치하고, 상기 출사동의 크기와 수평위치는 상기 제어부의 제어 신호에 따라 조절되는 상기 동적 개구 조절 소자의 개구 크기와 수평위치에 따라 변경되는 것을 특징으로 하는, 근안 디스플레이 장치.
  33. 제32항에 있어서,
    상기 반투과형 오목거울의 외부 시야창 바깥면에 근시 또는 원시의 비 정상시 관찰자의 시력보정 렌즈가 더 구비되는 것을 특징으로 하는, 근안 디스플레이 장치.
  34. 제33항에 있어서,
    상기 디스플레이 위치와 상기 제1 렌즈 사이의 거리를 조절하는 디스플레이 위치조정 소자가 더 구비되며,
    상기 제어부는 설정된 최적 가상영상 위치에 따라 디스플레이 위치조정 소자를 제어하여 최적 가상영상 위치를 조정하는 것을 특징으로 하는, 근안 디스플레이 장치.
  35. 제33항에 있어서,
    상기 제1 렌즈는 상기 제어부의 제어신호에 따라 초점거리를 조절할 수 있고,
    상기 제어부는 설정된 최적 가상영상 위치에 따라 상기 제1 렌즈의 초점거리를 제어하여 최적 가상영상 위치를 조정하는 것을 특징으로 하는, 근안 디스플레이 장치.
  36. 제34항에 있어서,
    상기 관찰자의 안구 동공 위치를 추적하는 동공 추적 장치가 더 구비되며,
    상기 제어부가 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 초점조절 위치에 근접한 최적 가상영상 위치가 형성되도록 상기 디스플레이 위치조정 소자를 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  37. 제35항에 있어서,
    상기 관찰자의 안구 동공 위치를 추적하는 동공 추적 장치가 더 구비되며,
    상기 제어부가 상기 동공 추적 장치가 획득한 동공 추적 정보를 이용하여, 관찰자의 안구의 초점조절 위치에 근접한 최적 가상영상 위치가 형성되도록 상기 제1 렌즈의 초점거리를 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  38. 제36항에 있어서,
    상기 동공 추적 장치는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 상기 제어부가 관찰자의 양안의 수렴위치에 근접한 최적 가상영상 위치가 형성되도록 상기 디스플레이 위치조정 소자를 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  39. 제37항에 있어서,
    상기 동공 추적 장치는 2개이며, 관찰자 양안의 지향점 정보를 추적하여 상기 제어부가 관찰자의 양안의 수렴위치에 근접한 최적 가상영상 위치가 형성되도록 상기 제1 렌즈의 초점거리를 제어하는 것을 특징으로 하는, 근안 디스플레이 장치.
  40. 제36항 또는 제38항에 있어서,
    근시 또는 원시의 비 정상시 관찰자를 위해, 상기 제어부에 시력보정 수치를 입력하여 상기 설정된 최적 가상영상 위치와 대응되는 상기 디스플레이 위치를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적관찰위치를 제공하는 것을 특징으로 하는, 근안 디스플레이 장치.
  41. 제37항 또는 제39항에 있어서,
    근시 또는 원시의 비 정상시 관찰자를 위해, 상기 제어부에 시력보정 수치를 입력하여 상기 설정된 최적 가상영상 위치와 대응되는 상기 제1 렌즈의 초점거리를 보정함에 따라, 비 정상시 관찰자에게도 시력보정 안경의 착용없이 최적관찰위치를 제공하는 것을 특징으로 하는, 근안 디스플레이 장치.
  42. 제32항에 있어서,
    상기 반투과형 오목거울의 외부 시야창 바깥면에 외부전경 차폐부품 및 2대의 외부 전경용 카메라가 더 구비되며,
    상기 2대의 외부 전경용 카메라로 촬영된 외부영상은 상기 제어부를 통하여 상기 디스플레이에 외부영상과 가상영상이 합성되어 관찰자의 양안에 각각 제공되는 것을 특징으로 하는, 근안 디스플레이 장치.
  43. 제42항에 있어서,
    상기 외부전경 차폐부품은 선택적으로 탈착이 가능한 클립형태 또는 전기적 제어신호에 따라 투과율 조절이 가능한 소자임을 특징으로 하는, 근안 디스플레이 장치.
  44. 제42항에 있어서,
    상기 2대의 외부 전경용 카메라의 외부영상은 대응되는 관찰자의 안구위치를 고려하여 보정되어 관찰자의 양안에 각각 제공되는 것을 특징으로 하는, 근안 디스플레이 장치.
  45. 제1항에 있어서,
    상기 근안 디스플레이 장치가 좌안 및 우안에 각각 배치되며,
    각 동적 개구 조절 소자와 주 광학렌즈 사이에 광 경로를 변경시키는 미러를 더 포함하는 것을 특징으로 하는, 근안 디스플레이 장치.
  46. 제1항에 있어서,
    상기 근안 디스플레이 장치가 좌안 및 우안에 각각 배치되며,
    각 동적 개구 조절 소자와 주 광학렌즈 사이에 편광 빔 분할기를 더 포함하고, 각 편광 빔 분할기 사이에 1/2λ 웨이브 지연기를 더 포함하되,
    좌(또는 우)측 동적 개구를 지나는 광이 좌(또는 우)측 편광 빔 분할기 및 1/2λ 웨이브 지연기를 지나 편광이 변환되어 우(또는 좌)측 편광 빔 분할기에서 반사한 후 우(또는 좌)측 주 광학렌즈로 진행되는 것을 특징으로 하는, 근안 디스플레이 장치.
  47. 제46항에 있어서,
    각 동적 개구 조절 소자와 편광 빔 분할기 사이에 광 경로를 변경시키는 미러를 더 포함하는 것을 특징으로 하는, 근안 디스플레이 장치.
PCT/KR2021/003528 2020-07-07 2021-03-22 근안 디스플레이 장치 WO2022010070A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180006734.9A CN114747210A (zh) 2020-07-07 2021-03-22 近眼显示装置
US17/778,979 US20230048195A1 (en) 2020-07-07 2021-03-22 Near-eye display device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0083211 2020-07-07
KR20200083211 2020-07-07
KR1020210006699A KR102489272B1 (ko) 2020-07-07 2021-01-18 근안 디스플레이 장치
KR10-2021-0006699 2021-01-18

Publications (1)

Publication Number Publication Date
WO2022010070A1 true WO2022010070A1 (ko) 2022-01-13

Family

ID=79343121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/003528 WO2022010070A1 (ko) 2020-07-07 2021-03-22 근안 디스플레이 장치

Country Status (4)

Country Link
US (1) US20230048195A1 (ko)
KR (1) KR102489272B1 (ko)
CN (1) CN114747210A (ko)
WO (1) WO2022010070A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4033289A1 (en) * 2021-01-26 2022-07-27 Samsung Electronics Co., Ltd. Display apparatus including vision correction lens capable of adjusting a depth of a virtual image plane

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022030414A (ja) * 2020-08-07 2022-02-18 日本電信電話株式会社 立体空中像表示装置とその方法
CN116531110B (zh) * 2023-06-06 2024-01-26 上海睿触科技有限公司 一种腹腔镜手术机器人主控制台成像系统及瞳距调节方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060103952A (ko) * 2006-07-12 2006-10-04 헤드플레이, 인코포레이션 헤드 장착 디스플레이용 다중 이미지화 장치들
KR20160091402A (ko) * 2013-11-27 2016-08-02 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
KR20170122249A (ko) * 2015-05-29 2017-11-03 구글 엘엘씨 능동 셔터 헤드 장착형 디스플레이
KR101919486B1 (ko) * 2017-08-23 2018-11-19 한국과학기술연구원 완전 시차 초점 조절 3차원 디스플레이 장치
KR20190132491A (ko) * 2017-05-17 2019-11-27 애플 인크. 시력 교정을 갖는 헤드-마운트 디스플레이 디바이스

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7001019B2 (en) * 2000-10-26 2006-02-21 Canon Kabushiki Kaisha Image observation apparatus and system
WO2005062629A1 (en) * 2003-12-12 2005-07-07 Headplay, Inc. Multiple imaging arrangements for head mounted displays
KR100617396B1 (ko) 2004-01-06 2006-08-31 한국과학기술연구원 3차원 영상 표시장치
KR101059763B1 (ko) 2009-09-16 2011-08-26 한국과학기술연구원 3차원 디스플레이 장치
JP5739670B2 (ja) * 2010-06-11 2015-06-24 任天堂株式会社 画像表示プログラム、装置、システムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060103952A (ko) * 2006-07-12 2006-10-04 헤드플레이, 인코포레이션 헤드 장착 디스플레이용 다중 이미지화 장치들
KR20160091402A (ko) * 2013-11-27 2016-08-02 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
KR20170122249A (ko) * 2015-05-29 2017-11-03 구글 엘엘씨 능동 셔터 헤드 장착형 디스플레이
KR20190132491A (ko) * 2017-05-17 2019-11-27 애플 인크. 시력 교정을 갖는 헤드-마운트 디스플레이 디바이스
KR101919486B1 (ko) * 2017-08-23 2018-11-19 한국과학기술연구원 완전 시차 초점 조절 3차원 디스플레이 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4033289A1 (en) * 2021-01-26 2022-07-27 Samsung Electronics Co., Ltd. Display apparatus including vision correction lens capable of adjusting a depth of a virtual image plane

Also Published As

Publication number Publication date
US20230048195A1 (en) 2023-02-16
KR20220005970A (ko) 2022-01-14
CN114747210A (zh) 2022-07-12
KR102489272B1 (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
WO2022010070A1 (ko) 근안 디스플레이 장치
US10539789B2 (en) Eye projection system
WO2020242085A1 (en) Augmented reality device for adjusting focus region according to direction of user&#39;s view and operating method of the same
WO2021002641A1 (en) Electronic device and method for displaying augmented reality
WO2021085960A1 (ko) 고스트 이미지 차단 기능 및 광 시야각을 갖는 컴팩트형 증강 현실용 광학 장치
EP3914959A1 (en) Electronic device and method for displaying augmented reality
WO2021246777A1 (en) Device and method for displaying augmented reality
WO2021054727A1 (ko) 광 효율을 개선한 증강 현실용 광학 장치
US11054639B2 (en) Eye projection system
WO2019117652A1 (en) Prism apparatus, and camera apparatus including the same
WO2011129625A2 (ko) 입체 영상 표시 장치
WO2020189864A1 (ko) 전자 디바이스
EP3251341A1 (en) Electronic system with gaze alignment mechanism and method of operation thereof
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2019240540A1 (ko) 정확도가 향상된 눈의 조절력 측정 및 훈련의 방법, 시스템 및 컴퓨터 프로그램
WO2022075820A1 (ko) 증강현실장치용 도파로의 회절광학소자 아키텍처
WO2023063555A1 (ko) 회절 소자를 이용한 콜리메이터를 구비하는 컴팩트형 증강 현실용 광학 장치
WO2012043980A1 (ko) 투사형 입체 영상 시스템 및 입체 영상의 투사 방법
WO2010027155A2 (ko) 입체영상 디스플레이 장치 및 입체영상 디스플레이 시스템
WO2017146314A1 (ko) 디스플레이 패널과 무안경 다시점 렌티큘러시트를 통한 홀로그램 출력방법과 렌티큘러시트가 부착된 두 개의 디스플레이 패널을 통한 3차원 영상 생성방법 및 출력방법
WO2023113193A1 (en) Device and method for extended depth of field imaging
WO2023038280A1 (en) Diffractive optical elements-based waveguide architecture for augmented reality glasses with wide field of view
WO2019190159A1 (en) Prism apparatus, and camera apparatus including the same
WO2021107720A1 (ko) 광학 장치, 이를 포함한 디스플레이 장치 및 광 경로 길이 확장 방법
WO2024030004A1 (ko) 광학 장치, 이를 포함하는 전자 디바이스, 디스플레이 방법, 제어 방법 및 제어 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837415

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21837415

Country of ref document: EP

Kind code of ref document: A1