WO2019059506A1 - 가상 영상을 표시하는 방법 및 장치 - Google Patents

가상 영상을 표시하는 방법 및 장치 Download PDF

Info

Publication number
WO2019059506A1
WO2019059506A1 PCT/KR2018/007840 KR2018007840W WO2019059506A1 WO 2019059506 A1 WO2019059506 A1 WO 2019059506A1 KR 2018007840 W KR2018007840 W KR 2018007840W WO 2019059506 A1 WO2019059506 A1 WO 2019059506A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical element
virtual image
light
real
world
Prior art date
Application number
PCT/KR2018/007840
Other languages
English (en)
French (fr)
Inventor
윤치열
고재우
염지운
곽규섭
강재은
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/637,604 priority Critical patent/US11119571B2/en
Priority to EP18857633.4A priority patent/EP3637169A4/en
Publication of WO2019059506A1 publication Critical patent/WO2019059506A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/36—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using refractive optical elements, e.g. prisms, in the optical path between the images and the observer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Definitions

  • the disclosed embodiment relates to a system for displaying a virtual image, an apparatus for displaying a virtual image, and a system for recording a program for performing a method for displaying a virtual image.
  • Augmented reality (AR) technology is a technology that combines virtual objects or information into a realistic environment and makes virtual objects or information appear as things that exist in the real environment. Augmented reality technology can be used in a variety of applications including military, aerospace, medical, video games, entertainment, sports, and the like.
  • the prior art has solved the problem of causing the fatigue of the user's eyes as the position of the virtual image can not be adjusted in consideration of the convergence distance of the user's eyes and the characteristics of the real-world scene sensed by the user I can not do that.
  • the disclosed embodiment adjusts the focal distance of the displayed virtual image when the virtual image is superimposed on the real world to allow the user to experience the augmented reality so that the virtual image is not displayed on the convergence distance of the line of sight, It is possible to provide a method and apparatus for displaying a virtual image that can reduce the fatigue of a user caused by a mismatch.
  • the present disclosure relates to an image generating apparatus for outputting a virtual image, a filter for transmitting light in a first polarization state in an output virtual image, a multipath optical element for guiding light in a transmitted first polarization state, A first optical element arranged in a first side of the multi-path optical element and passing through the guided first polarized light state and the real-world light, a second optical element arranged on the second side opposite to the first side in the multipath optical element, And a processor for controlling the first optical element and the second optical element, wherein the first optical element emits light in the first polarization state, converges the light in the second polarization state , And the second optical element converges the light in the first polarization state and emits the light in the second polarization state.
  • FIG. 1 is a conceptual diagram for explaining a method of displaying a virtual image according to an embodiment.
  • FIG. 2 is a block diagram for explaining a virtual image display apparatus according to an embodiment.
  • FIG. 3 is a block diagram of a virtual image display apparatus according to another embodiment.
  • FIG. 4 is a view for explaining the operation principle of the first optical element and the second optical element provided in the virtual image display apparatus according to one embodiment in more detail.
  • FIG. 5 is a block diagram for explaining a filter of a virtual image display apparatus according to another embodiment.
  • FIG. 6 is a view for explaining a method for allowing a virtual image display apparatus according to an embodiment to converge a convergence distance and a focal distance of a user's line of sight.
  • FIG. 7 is a view for explaining a method of blocking a part of a real-world light for viewing a virtual image according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of displaying a virtual image and a real-world scene by the virtual image display apparatus according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a method of displaying a virtual image and a real-world scene by tracking a user's gaze in a virtual image display apparatus according to an exemplary embodiment.
  • FIG. 10 is a block diagram for explaining a virtual image display apparatus according to another embodiment.
  • FIG. 11 is a flowchart illustrating a method of displaying a virtual image and a real-world scene by a virtual image display apparatus according to another embodiment.
  • a virtual image display apparatus includes an image generator for outputting a virtual image; A filter that transmits light in a first polarization state in the output virtual image;
  • a multi-path optical element for guiding light in a first polarized state transmitted through the multi-path optical element;
  • a first optical element arranged on a first side of the multi-path optical element and passing the guided first-polarization state light and the real-world light;
  • a second optical element arranged at a second side of the multipath optical element opposite to the first side and for passing real-world light;
  • a processor for controlling the image generator, the first optical element and the second optical element, wherein the first optical element emits light in a first polarization state, converges light in a second polarization state, Can converge light in the first polarization state and emit light in the second polarization state.
  • the virtual image display device further comprises an image sensor for acquiring at least one eye movement data of the user, wherein the processor determines a user's gaze based on the acquired at least one eye movement data,
  • the virtual image output from the image generator can be determined based on the line of sight of the user.
  • the processor can determine depth information of a real-world object based on the position of the image display device, and determine a virtual image output from the image generator based on the determined depth information.
  • a processor may calculate a size of a virtual image, a three-dimensional angle, a shadow, a texture, a binocular disparity, and a virtual image At least one of the sharpness and the sharpness can be determined.
  • the virtual image display device further includes a light blocking element arranged in one direction of the second optical element and changing its color according to an applied electrical signal. As the color of the light blocking element changes, The projection of the light can be blocked.
  • the first optical element when the real-world light projecting from the second optical element diverges, performs control so as to converge by the range diverged from the real-world light projected from the second optical element And has an optical output for controlling the second optical element to emit as much as the converged real-world light when the real-world light projected from the second optical element converges.
  • the processor determines a focal distance at which a virtual image is output in accordance with a user's gaze, and determines, based on the determined focal distance, An electrical signal is determined, and the output values of the first optical element and the second optical element can be determined according to an applied electrical signal.
  • a processor determines a focal distance at which a virtual image is output according to a user's gaze, and determines a polarization direction of light of a virtual image transmitted through the filter according to a determined focal distance You can decide.
  • the polarization direction of light transmitted through the filter may be determined according to an electrical signal applied to the filter.
  • a virtual image display apparatus when light of a virtual image polarized in a specific direction is incident on the first optical element and the second optical element, the polarization direction of the incident light changes, The divergence or convergence of the incident light can be determined.
  • a virtual image display apparatus including: an image generator outputting a virtual image; A multi-path optical element for guiding light of a virtual image; A first optical element arranged on a first side of the multipath optical element and passing the guided light and the real-world light; A second optical element arranged in a second side of the multipath optical element opposite to the first side, the optical element passing real-world light; And a processor for determining the user's gaze, generating a virtual image corresponding to the user's gaze, and controlling the image generator, the first optical element, and the second optical element, and when the first optical element emits light , The second optical element is set to converge light, and when the first optical element converges the light, the second optical element can be set to emit light.
  • a virtual image display method comprising the steps of: acquiring a virtual image; acquiring light of a first polarization state from a virtual image through a virtual image acquired through a filter; And a second optical element positioned on the opposite side of the first optical element to converge the real-world light, and to emit real-world light in which the first optical element converges and light in the first polarization state, Wherein the light in the first polarization state transmitted through the filter and the real-world light passing through the second optical element are transmitted through the multi-path optical element arranged between the first optical element and the second optical element, And the first optical element emits light in the first polarization state and converges the light in the second polarization state while the second optical element causes the light in the first polarization state to converge And the light in the second polarization state can be diverged.
  • a virtual image display method comprising: determining a virtual image; Determining a focal length at which the virtual image is output based on a direction and a distance of a user's line of sight; And a second optical element positioned on the opposite side of the first optical element to converge the real-world light according to the determined focal distance, and to diffuse the light of the virtual image and the real- Wherein the virtual image and the real-world light projected and converged from the second optical element are transmitted through a multi-path optical element arranged between the first optical element and the second optical element, And can be projected onto the first optical element.
  • first, second, etc. may be used to describe various elements, but the elements are not limited by terms. Terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • the term " and / or " includes any combination of a plurality of related items or any of a plurality of related items.
  • part refers to a hardware component such as software, FPGA or ASIC, and “ part " However, “ part “ is not meant to be limited to software or hardware. &Quot; Part " may be configured to reside on an addressable storage medium and may be configured to play back one or more processors.
  • a is intended to be broadly interpreted as encompassing any and all patentable subject matter, including components such as software components, object oriented software components, class components and task components, Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • components such as software components, object oriented software components, class components and task components, Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • the functions provided in the components and " parts " may be combined into a smaller number of components and “ parts “ or further separated into additional components and " parts ".
  • FIG. 1 is a conceptual diagram for explaining a method of displaying a virtual image according to an embodiment.
  • the virtual image display apparatus 100 may output a virtual image 12 in a superimposed state on a real system 10 sensed by a user so that a user can experience an augmented reality.
  • the virtual image display device 100 may track the user's gaze so that the output virtual image 12 can be detected by the user's eyes.
  • the virtual image display apparatus 100 can determine the type of the outputted virtual image 12 based on the tracking result and the direction and distance of the gaze of the obtained user.
  • the virtual image display apparatus 100 may variably adjust the light output of the optical element included in the virtual image display apparatus 100 so that the virtual image 12 may be formed at a position where the user's line of sight converges .
  • the optical output can indicate the refractive index that determines the focal length of the optical element.
  • the user wearing the virtual image display apparatus 100 can experience the augmented reality by watching the augmented reality image in which the virtual image 12 is superimposed on the real world 10 as the virtual image 12 is detected.
  • the focal length of the optical element adjusted for the virtual image 12 can distort the scene of the real world 10.
  • the virtual image display apparatus 100 uses a part of a plurality of optical elements provided to adjust the focal distance of the virtual image 12, It is possible to provide an augmented reality image in which the virtual image 12 is superimposed on a scene of the undistorted real world 10.
  • the virtual image display apparatus 100 may be implemented in various forms.
  • the virtual image display apparatus 100 described herein may include a smart glass, an HMD (Head Mounted Display), and the like, But is not limited thereto.
  • HMD Head Mounted Display
  • FIG. 2 is a block diagram for explaining a virtual image display apparatus 100 according to an embodiment.
  • the virtual image display apparatus 100 includes an image generator 110, a filter 120, a multipath optical element 130, a plurality of optical elements 140 and 150, and a processor 160 .
  • the components of the device 100 are not limited to the above-described examples.
  • the image generator 110 outputs a virtual image 220a which is superimposed on the real-world scene 230.
  • the image generator 110 can output the determined virtual image 220a as the virtual image 220a corresponding to the user's line of sight is determined from the processor 160.
  • the virtual image output from the image generator 110 may be incident on the multi-path optical element 130 through the filter 120.
  • the filter 120 can transmit light in a predetermined polarization direction to the virtual image 220a incident from the image generator 110.
  • the filter 120 may transmit only a left circular polarized light (LCP light) signal of an incident virtual image, or may transmit only a right circular polarized light (RCP light) signal.
  • LCP light left circular polarized light
  • RCP light right circular polarized light
  • the filter 120 may include a polarizer and a quarter waveplate, but this is only an example, and the structure of the filter 120 is not limited to the above-described example.
  • the polarization direction of the light transmitted through the filter 120 can be changed according to the focal distance formed by the virtual image 12. This will be described later in more detail with reference to FIG.
  • the multi-path optical element 130 guides the light of the virtual image transmitted through the filter 120 so that the light of the virtual image transmitted through the filter 120 can be incident on the user's eye 210.
  • the multi-path optical element 130 may have a structure in which a medium having a small refractive index surrounds a periphery of a medium having a large refractive index. According to the above-described configuration, the light of the virtual image transmitted through the filter 120 can be transmitted to the user's eye 210 while traveling along the multipath optical element 130.
  • the first optical element 140 may be arranged on the first side of the multipath optical element 130.
  • the first side may represent the side on which the user's eye 210 is located.
  • the first optical element 140 may be arranged to be located in the user's eye 210 and the multipath optical element 130.
  • the first optical element 140 may have a first light output to control the light of the virtual image guided from the multipath optical element 130 and the light of the real-world scene 230 to diverge or converge. According to one embodiment, the light of the guided virtual image on the first optical element 140 and the light of the real-world scene 230 diverge or converge in the direction of incidence, and thus the direction of the light can be changed .
  • a left-handed circularly polarized signal incident on the first optical element 140 can be diverged by the first optical element 140.
  • the left-handed circularly polarized light signal can be changed to the right-handed circularly polarized light signal as it passes through the first optical element 140.
  • the right-handed circular polarization signal incident on the first optical element 140 can be converged by the first optical element 140.
  • the right-handed circularly polarized light signal can be changed into a left-handed circularly polarized light signal as it passes through the first optical element 140.
  • the virtual image incident on the first optical element 140 may be composed of only the left-handed circular polarization signal by the filter 120 described above. Accordingly, light of a virtual image passing through the first optical element 140 can diverge.
  • the degree to which the light of the virtual image is diverted can be determined according to the focal distance determined according to the user's gaze.
  • the right-handed circularly polarized light signal of various directions included in the real-world light incident on the first optical element 140 diverges as it passes through the first optical element 140, and the left- 140).
  • distortion may occur as it passes through the first optical element 140 for adjusting the focal length adjusted to the lyric image.
  • the virtual image display apparatus 100 controls the virtual optical system 100 to pass through the second optical element 150 before the real-world scene 230 passes through the first optical element 140, .
  • the second optical element 150 may be arranged on the second side of the multipath optical element 130 that is the opposite side of the first side.
  • the second optical element 150 may have a second light output for correcting the divergence of real-world light due to the first light output or the convergence of real-world light.
  • the left-handed circularly polarized signal of the real-world scene 230 passing through the second optical element 150 may be changed to a right-handed circularly polarized light signal while diverging.
  • the right-handed circularly polarized light signal can be changed into a left-handed circularly polarized light signal while converging as it passes through the first optical element 140.
  • the degrees of divergence or convergence by the second optical element 150 and the first optical element 140, respectively, can be set to be the same.
  • the right-handed circularly polarized light signal of the real-world scene 230 passing through the second optical element 150 and the first optical element 140 can be incident on the eye 210 of the user in an undistorted state.
  • the image processing apparatus 100 includes the second optical element 150 and the first optical element 140 having the same convergence or divergence range so that the focal point of the virtual image You can adjust the distance.
  • the processor 160 may track the user's gaze and determine the user's gaze. In addition, the processor 160 may acquire a virtual image corresponding to the user's gaze. For example, the processor 160 may determine an absolute / relative size of a virtual image, a three-dimensional orientation, a texture, an illumination of an actual position where a virtual image is to be displayed, a shadow, a binocular disparity ( disparity < / RTI > and sharpness.
  • the processor 160 may determine a focal distance for positioning the virtual image at a convergence distance of the user's line of sight.
  • the processor 160 may determine an electrical signal to be applied to the first optical element 140 and the second optical element 150 according to the determined focal distance.
  • the focal length of the first optical element 140 and the second optical element 150 can be changed in accordance with an electrical signal applied from the processor 160. For example, depending on the electrical signals applied to the first optical element 140 and the second optical element 150, the degree to which the incident light of specific polarization directions diverges or converges can be determined.
  • FIG. 3 is a block diagram of a virtual image display apparatus 300 according to another embodiment.
  • the virtual image display apparatus 300 includes an image generator 310, a filter 320, a multipath optical element 330, a plurality of optical elements 340 and 350, a processor 360, A driver 370, and a driver 380.
  • the image generator 310, the filter 320, the multipath optical element 330, and the plurality of optical elements 340 and 350 correspond to the image generator 110, the filter 120, The optical element 130, and the plurality of optical elements 140 and 150, detailed description will be omitted.
  • the processor 360 may acquire a plurality of images of the user's eyes from the sensor unit 370 to determine the user's gaze.
  • the processor 360 can determine the direction and distance in which the user's line of sight converges, based on the center point of the eye extracted from the plurality of images.
  • the processor 360 can determine a virtual image to be output as the user's line of sight is determined.
  • the manner in which the processor 360 determines the virtual image may correspond to that described above with reference to FIG.
  • the processor 360 can determine the focal lengths of the plurality of optical elements 340 and 350, corresponding to the direction and distance in which the user's line of sight converges. In addition, the processor 360 may determine an electrical signal to be applied to each of the plurality of optical elements 340, 350 to set the determined focal length.
  • the sensor unit 370 can measure eye movements of the user by using visible light, infrared rays, or biological signals. In addition, the sensor unit 370 may measure the eye movement of the user in units of a predetermined time in order to track the user's gaze in real time. The sensor unit 370 may provide the plurality of eye measurement data obtained as the measurement results to the processor 360.
  • the driver 380 may obtain information about the electrical signals that must be applied to the plurality of optical elements 240 and 350 at the processor 360. [ The driver 380 may apply an electrical signal to the first optical element 340 and the second optical element 350, respectively, based on information about the electrical signal obtained from the processor 360. [ As the electrical signal is applied, the focal lengths of the first optical element 340 and the second optical element 350 can be changed to the focal length determined at the processor 360. [
  • FIG. 4 is a view for explaining the operation principle of the first optical element 410 and the second optical element 420 provided in the virtual image display apparatus according to one embodiment in more detail.
  • the first optical element 410 and the second optical element 420 may be arranged on opposite sides from each other with respect to the multipath optical element 430.
  • the first optical element 410 may be arranged on the first side between the user's eye and the multipath optical element 430.
  • the second optical element 420 may be arranged on the second side which is the opposite side of the first side.
  • RCP right circular polarization
  • LCP left circular polarization
  • LCP left-handed circular polarization
  • the left-handed circular polarization (LCP) signal 444 projected by the first optical element 410 can be changed to a right-handed circular polarization (RCP) signal 446 while converging as it passes through the first optical element 410 . Accordingly, the right circular polarization (RCP) signal 446 reaching the user's eye may be incident on the user's eye in the same direction as the real-world right polarized light (RCP) signal 442.
  • LCP left-handed circular polarization
  • RCP right-handed circular polarization
  • a left-handed circularly polarized light (LCP) signal 452 of the real-world light can pass through the second optical element 420 and enter the multipath optical element 430.
  • LCP left circularly polarized light
  • RCP right circular polarization
  • the right circular polarization (RCP) signal 454 may be projected onto the first optical element 410 via the multipath optical element 430.
  • RCP left circularly polarized light
  • the virtual image display apparatus may transmit only the right circularly polarized light (RCP) signal 462 of the virtual image to the multipath optical element 430 through the filter.
  • the RCP signal 462 of the virtual image transmitted to the multipath optical element 430 can be guided through the multipath optical element 430 and incident on the first optical element 410.
  • the RCP signal 462 of the virtual image may be projected onto the first optical element 410 via the multipath optical element 430.
  • (RCP) signal 462 of the virtual image projected by the first optical element 410 is changed to a left circularly polarized light (LCP) signal 466 while diverging as it passes through the first optical element 410 .
  • LCP left circularly polarized light
  • the degree of convergence or divergence of the image in each of the first optical element 410 and the second optical element 420 is determined based on the convergence distance of the user's gaze as described above with reference to Figs. Can be determined according to the focal distance.
  • FIG. 5 is a block diagram for explaining a filter 520 of the virtual image display apparatus 500 according to another embodiment.
  • the virtual image display 500 includes an image generator 510, a filter 520, a multipath optical element 530, a plurality of optical elements 540 and 550, and a processor 560 .
  • the image generator 510, the multipath optical element 530, and the plurality of optical elements 540 and 550 correspond to the image generator 110 of FIG. 2, the multipath optical element 130, (140, 150), detailed description will be omitted.
  • the processor 560 can acquire a virtual image according to the direction and distance of the user's line of sight.
  • the manner in which the processor 560 acquires the virtual image may correspond to that described above with reference to FIG.
  • the processor 560 may determine whether the virtual image incident on the user's eye 210 should diverge or converge, depending on the convergence distance of the user's line of sight. For example, if the convergence distance of the user's gaze is longer than the reference distance set in the virtual image display apparatus 500, the virtual image must be incident on the user's eye 210 in a converging manner. You can set it farther than the distance.
  • the processor 560 can control the filter 520 to cause the first optical element 540 to receive the left-handed circularly polarized light.
  • the processor 560 can control the polarization direction of the virtual image passing through the filter 520 by applying an electrical signal to the filter 520.
  • the filter 520 is an active filter in which the polarization direction of light transmitted according to an applied electrical signal is changed.
  • the processor 560 may cause the virtual image to be displayed on the user ' , And the focal distance can be set. Accordingly, the processor 560 can control the filter 520 to cause right-handed circularly polarized light to be incident on the first optical element 540.
  • the optical element configured to emit the left-handed circularly polarized light is provided in the virtual image display device 500 .
  • FIG. 6 is a view for explaining a method for allowing a virtual image display apparatus according to an embodiment to converge a convergence distance and a focal distance of a user's line of sight.
  • images (402, 604) having different positions are projected on the left and right eyes of a user to give a sense of distance to a virtual image, Respectively.
  • the left-eye image 602 and the right-eye image 604 output to the multi-path optical elements 610 and 615 arranged at a predetermined distance from the left and right eyes of the user are guided respectively in the left eye and the right eye, The user can view the virtual image.
  • the focal lengths 622 and 624 of the images projected on the left and right eyes, respectively, and the convergence distance 626 of the actual gaze of the user do not coincide with each other, so that the user may feel uncomfortable.
  • the virtual image display device is provided with first optical elements 636 and 638 (first optical element) on the first side and the second side of the multipath optical element 610 and 615, respectively, so as to match the focal distance and the convergence distance of the line of sight.
  • the second optical elements 632 and 634 can be arranged.
  • the virtual images 642 and 644 transmitted to the multipath optical elements 610 and 615 are guided through the multipath optical elements 610 and 615 and enter the user's eyes through the first optical elements 636 and 638 can do.
  • the first optical element 636, 638 may have a focal length 646 determined according to the convergence distance of the user's line of sight.
  • the virtual image display device can correct the distortion of a real-world scene that may be generated by the first optical element 636, 638 through the second optical element 632, 634. Since this is the same as that described above with reference to Figs. 2 to 3, detailed description will be omitted.
  • FIG. 7 is a view for explaining a method of blocking a part of a real-world light for viewing a virtual image by a virtual image display device 700 according to an embodiment.
  • a virtual image display apparatus 700 includes a sensor unit 705, a first optical element 712, a multipath optical element 714 and a second optical element 716, And may include an entry blocking element 718.
  • a sensor unit 705 a first optical element 712, a multipath optical element 714 and a second optical element 716, And may include an entry blocking element 718.
  • the components necessary to explain a method of blocking a part of the real-world light for viewing a virtual image are shown, and the components of the virtual image display device 700 are not limited to the above- But is not limited thereto.
  • the sensor unit 705 can acquire at least one eye movement data that senses the motion of the user's eyeball. Based on the eye movement data obtained through the sensor unit 705, the convergence distance of the user's gaze can be determined. Accordingly, the focal lengths of the first optical element 712 and the second optical element 716 can be adjusted so as to correspond to the convergence distance of the user's gaze.
  • the visibility of the virtual image may deteriorate due to light transmitting the real-world scene.
  • the virtual image display apparatus 700 can block part of the real world light only at the portion where the virtual image is displayed through the light inflow blocking element 718. [ As a part of the real-world light is blocked through the light inflow blocking element 718, the real-world light of the portion where the virtual image is not displayed passes through the second optical element 716, the multipath optical element 714, 712 to the user's eyes.
  • the user experiences the augmented reality in which the virtual world is superposed with the real world light, and at the same time, a part of the real world light is blocked, so that the virtual image can be viewed more clearly.
  • FIG. 8 is a flowchart illustrating a method of displaying a virtual image and a real-world scene by the virtual image display apparatus according to an exemplary embodiment.
  • step S810 the virtual image display apparatus can acquire a virtual image.
  • the virtual image display apparatus can acquire a virtual image determined according to the user's gaze.
  • the virtual image display device can, for example, track the user's gaze and obtain information about the direction and distance of the user's gaze.
  • the virtual image display device may receive information on the direction and distance of the user's gaze from an external device or through a sensor provided in the virtual image display device.
  • the virtual image display device may acquire the light of the first polarization state from the virtual image by transmitting the virtual image acquired by the filter.
  • the virtual image display apparatus can input a virtual image to a filter that transmits light in a predetermined polarization direction.
  • the filter may transmit only a left-handed circularly polarized light (LCP light) signal of an incoming virtual image, or only a right-handed circularly polarized light (RCP light) signal.
  • LCP light left-handed circularly polarized light
  • RCP light right-handed circularly polarized light
  • step S830 the second optical element positioned on the opposite side of the first optical element converges the real-world light, and the second optical element converges the real- An electrical signal can be applied to one optical element and the second optical element.
  • the virtual image display device can adjust the focal distance at which the virtual image is formed by changing the light output of the optical element by applying an electrical signal so that the virtual image can be formed at the convergence distance of the user's line of sight.
  • the virtual image display apparatus can adjust the electrical signal applied to the first optical element so that the focal distance can be set to d1 'when the convergence distance of the user's line of sight is d1.
  • the light of a specific polarization direction incident on the first optical element to which the adjusted electrical signal is applied diverges or converges and a virtual image can be formed at the adjusted focal distance.
  • the virtual image display apparatus can set the optical output of the second optical element so as to prevent the distortion of the real-world scene by the first optical element.
  • the real-world light projecting the second optical element having the second light output that emits the light in the specific range can be obtained by projecting the first optical element having the first light output converging light by a specific range, Can be corrected.
  • the real-world light projecting the second optical element having the second light output converging light by a specific range can be obtained by projecting the first optical element having the first light output that emits light in a specific range, The distortion can be corrected.
  • FIG. 9 is a flowchart illustrating a method of displaying a virtual image and a real-world scene by tracking a user's gaze in a virtual image display apparatus according to an exemplary embodiment.
  • the virtual image display device may acquire at least one eye movement data of the user.
  • the virtual image display apparatus may acquire at least one eye movement data that measures a user's eye movement using a sensor provided to determine a user's gaze.
  • the virtual image display apparatus can determine the user's gaze based on the obtained at least one eye movement data.
  • the virtual image display apparatus can determine the direction and distance in which the user's line of sight converges based on at least one eye movement data.
  • the virtual image display apparatus can determine the direction and distance of the user's gaze by detecting the binocular pupil center points of the user from a plurality of pupil images and determining the angle of incidence to the point where pupils of both eyes converge.
  • step S930 the virtual image display apparatus can determine a virtual image superimposed on the real-world scene based on the user's gaze.
  • the virtual image display device can display the absolute / relative size of the virtual image, the three-dimensional orientation, the texture, the illumination of the actual location where the virtual image is to be displayed, the shadow, disparity, and sharpness, and render the virtual image according to the determination.
  • step S940 the virtual image display apparatus can input a virtual image to a filter that transmits light in a predetermined polarization direction.
  • the filter can transmit light in a predetermined polarization direction as the virtual image is input.
  • the polarization direction of the light transmitted through the filter can be determined according to the characteristics of a plurality of optical elements whose convergence distance and focal length of the user's line of sight are adaptively changed.
  • the polarization direction of the light passing through the filter can be determined in the same manner as described above with reference to Fig.
  • step S950 the virtual image display device displays the first optical element such that the first optical element has the first optical output and the second optical element has the second optical output for correcting divergence or convergence of the real-world light due to the first optical output.
  • An electrical signal can be applied to the element and the second optical element.
  • Step S950 may correspond to step S830 described above with reference to FIG.
  • FIG. 10 is a block diagram for explaining a virtual image display apparatus according to another embodiment.
  • the virtual image display apparatus 1000 includes an image generator 1010, a multipath optical element 1030, a plurality of optical elements 1040 and 1050, a processor 1060, a sensor unit 1070, 1080 < / RTI >
  • an image generator 1010 a multipath optical element 1030, a plurality of optical elements 1040 and 1050, a processor 1060, a sensor unit 1070, 1080 < / RTI >
  • the components of the virtual image display apparatus 1000 are not limited to the above-described examples.
  • the image generator 1010 can output a virtual image superimposed on a real-world scene.
  • the image generator 1010 can output the determined virtual image as the virtual image corresponding to the user's line of sight is determined from the processor 1060. [
  • the virtual image output from the image generator 110 may be transmitted to the multipath optical element 1030.
  • the multi-path optical element 1030 can guide the light of the transmitted virtual image so that the virtual image output through the image generator 1010 can be incident on the user's eye.
  • the virtual image can be transmitted to the user's eyes through the first optical element 1040 while traveling along the multipath optical element 130.
  • the first optical element 1040 may be arranged on the first side of the multipath optical element 1030.
  • the first aspect may represent the side on which the user's eye is located.
  • the first optical element may be arranged to be positioned between the user's eye and the multipath optical element 1030.
  • the first optical element 1040 may have a first optical output for controlling the light of the virtual image guided from the multipath optical element 1030 and the real-world light to diverge or converge.
  • the virtual image display apparatus 1000 can correct the distortion in advance by passing the second optical element 1050 before the real-world light passes through the first optical element 1040.
  • the second optical element 1050 may be arranged on the second side of the multipath optical element 1030 that is the opposite side of the first side.
  • the second optical element 1050 may have a second optical output for correcting the divergence of real-world light due to the first optical output or the convergence of real-world light.
  • the real-world light having passed through the second optical element 1050 and the first optical element 1040 can be incident on the user's eye without distortion.
  • the processor 1060 can track the user's gaze and determine the user's gaze.
  • the processor 1060 can acquire a virtual image corresponding to the determined user's gaze.
  • the processor 1060 may determine a focal length for positioning the virtual image at a convergence distance of the user's line of sight.
  • the processor 1060 can determine the electrical signals applied to the first optical element 1040 and the second optical element 1050 according to the determined focal distance.
  • the focal length of the first optical element 1040 and the second optical element 1050 can be changed in accordance with an electrical signal applied from the processor 1060.
  • the sensor unit 1070 can measure eye movements of a user by using visible light, infrared rays, biological signals, and the like.
  • the driver 1080 may also obtain information about the electrical signals that must be applied to the plurality of optical elements 1040 and 1050 at the processor 1060. [
  • the driver 1080 may apply electrical signals to the first optical element 1040 and the second optical element 1050, respectively, based on the information about the electrical signals obtained from the processor 1060. [
  • the sensor unit 1070 and the driver 1080 may correspond to the sensor unit 370 and the driver 380 described above with reference to FIG. 3, so that a detailed description thereof will be omitted.
  • FIG. 11 is a flowchart illustrating a method of displaying a virtual image and a real-world scene by a virtual image display apparatus according to another embodiment.
  • step S1110 the virtual image display apparatus can determine the virtual image based on the user's line of sight.
  • the virtual image display apparatus can acquire a virtual image determined according to the user's gaze.
  • the virtual image display device can, for example, track the user's gaze and obtain information about the direction and distance of the user's gaze.
  • the virtual image display device may receive information on the direction and distance of the user's gaze from an external device or through a sensor provided in the virtual image display device.
  • the virtual image display device can determine the focal distance at which the virtual image is output based on the direction and distance of the user's line of sight.
  • step S1130 in the virtual image display apparatus, the second optical element located on the opposite side of the first optical element converges the real-world light according to the determined focal distance, and the light of the virtual image in which the first optical element converges An electrical signal can be applied to the first optical element and the second optical element so as to emit light.
  • the virtual image display apparatus can determine the focal distance for positioning the virtual image at the convergence distance of the user's line of sight.
  • the virtual image display device can determine an electrical signal to be applied to the first optical element and the second optical element according to the determined focal distance. For example, the virtual image display device can determine the focal length of the first optical element so that the virtual image can be converged on the convergence distance of the user's line of sight. Further, an electrical signal for changing the focal length of the first optical element to the determined focal distance can be applied to the first optical element.
  • the focal length of the second optical element can be adjusted in order to correct the real-world light in advance so that the real-world scene is not distorted by the first optical element. Accordingly, the real-world light is incident on the first optical element after passing through the second optical element, so that it can be detected by the user's eye without distortion.
  • the method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.
  • Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • Embodiments may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in a wide variety of hardware and / or software configurations that perform particular functions. For example, embodiments may include integrated circuit components such as memory, processing, logic, look-up tables, etc., that may perform various functions by control of one or more microprocessors or other control devices Can be employed. Further, the embodiments may employ different types of cores, different types of CPUs, or the like. Similar to the components of the present invention may be implemented with software programming or software components, embodiments may include various algorithms implemented in a combination of data structures, processes, routines, or other programming constructs, such as C, C ++ , Java (Java), assembler, and the like.
  • Functional aspects may be implemented with algorithms running on one or more processors.
  • the embodiments may also employ conventional techniques for electronic configuration, signal processing, and / or data processing.
  • Terms such as “mechanism”, “element”, “means”, “configuration” may be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)

Abstract

본 개시는 가상 영상을 출력하는 영상 생성기, 출력된 가상 영상에서 제 1 편광 상태의 빛을 투과시키는 필터, 투과된 제 1 편광 상태의 빛을 가이드(guide)하는 다중 경로 광학 소자, 다중 경로 광학 소자의 제 1 측면에 배열되고, 가이드 된 제 1 편광 상태의 빛과 실세계 빛을 통과시키는 제 1 광학 소자, 다중 경로 광학 소자에서 제 1 측면의 반대 측면인 제 2 측면에 배열되고, 실세계 빛을 통과시키는 제 2 광학 소자 및 영상 생성기, 제 1 광학 소자 및 제 2 광학 소자를 제어하는 프로세서를 포함하는 가상 영상 표시 장치를 개시한다.

Description

가상 영상을 표시하는 방법 및 장치
개시된 실시예는 가상 영상을 표시하는 방법, 가상 영상을 표시하는 장치 및 가상 영상을 표시하는 방법을 수행하는 프로그램이 기록된 시스템에 관한 것이다.
증강 현실(augmented reality, AR) 기술은 현실의 환경에 가상 사물이나 정보를 합성하여, 가상 사물이나 정보가 현실의 환경에 존재하는 사물처럼 보이도록 하는 기술이다. 증강 현실 기술은 군대, 항공, 의학, 비디오 게임, 엔터테인먼트, 스포츠 등을 포함하는 다양한 애플리케이션에서 사용될 수 있다.
한편, 증강 현실 기술에 대한 관심이 높아짐에 따라, 증강 현실을 구현하는 다양한 기술들에 대한 개발이 활발하게 이루어지고 있다. 특히, 영상이 사용자의 망막에 직접 투사되도록, 영상을 표시하는 니어 아이(near eye) 디스플레이 기술에 대한 연구가 활발하게 이루어지고 있다.
다만 종래의 기술은 사용자의 시선의 수렴 거리 및 사용자에게 감지되는 실세계 장면의 특성을 고려하여, 가상 영상이 표시되는 위치를 조정하지 못함에 따라, 사용자의 눈의 피로도를 유발하는 등의 문제점을 해결하지 못하고 있는 실정이다.
개시된 실시예는 가상 영상을 실세계에 중첩하여 사용자에게 증강 현실을 체험하도록 하는 경우, 표시되는 가상 영상의 초점 거리를 조정함으로써, 가상 영상이 시선의 수렴 거리에 표시되지 않거나, 가상 영상과 실세계 장면 간의 불일치로 인해 발생되는 사용자의 피로도를 줄일 수 있는 가상 영상을 표시하는 방법 및 장치를 제공할 수 있다.
본 개시는 가상 영상을 출력하는 영상 생성기, 출력된 가상 영상에서 제 1 편광 상태의 빛을 투과시키는 필터, 투과된 제 1 편광 상태의 빛을 가이드(guide)하는 다중 경로 광학 소자, 다중 경로 광학 소자의 제 1 측면에 배열되고, 가이드 된 제 1 편광 상태의 빛과 실세계 빛을 통과시키는 제 1 광학 소자, 다중 경로 광학 소자에서 제 1 측면의 반대 측면인 제 2 측면에 배열되고, 실세계 빛을 통과시키는 제 2 광학 소자 및 영상 생성기, 제 1 광학 소자 및 제 2 광학 소자를 제어하는 프로세서를 포함하고, 제 1 광학 소자는 제 1 편광 상태의 빛은 발산시키고, 제 2 편광 상태의 빛은 수렴시키며, 제 2 광학 소자는 제 1 편광 상태의 빛은 수렴시키고, 상기 제 2 편광 상태의 빛은 발산시키는, 가상 영상 표시 장치를 개시한다.
도 1은 일 실시예에 따라 가상 영상을 표시하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따라 가상 영상 표시 장치를 설명하기 위한 블록도이다.
도 3은 다른 실시예에 따른 가상 영상 표시 장치의 블록도이다.
도 4는 일 실시예에 따른 가상 영상 표시 장치에 구비된 제 1 광학 소자 및 제 2 광학 소자의 동작 원리를 보다 구체적으로 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 가상 영상 표시 장치의 필터를 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 가상 영상 표시 장치가 사용자의 시선의 수렴 거리와 초점 거리를 일치시키는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 가상 영상 표시 장치가 가상 영상의 시청을 위해 실세계 빛의 일부를 차단하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 가상 영상 표시 장치가 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.
도 9는 일 실시예에 따른 가상 영상 표시 장치가 사용자의 시선을 추적하여, 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.
도 10은 다른 실시예에 따른 가상 영상 표시 장치를 설명하기 위한 블록도이다.
도 11은 다른 실시예에 따른 가상 영상 표시 장치가 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.
일 실시예에 따른 가상 영상 표시 장치는, 가상 영상을 출력하는 영상 생성기; 출력된 가상 영상에서 제 1 편광 상태의 빛을 투과시키는 필터;
투과된 제 1 편광 상태의 빛을 가이드(guide)하는 다중 경로 광학 소자; 다중 경로 광학 소자의 제 1 측면에 배열되고, 가이드 된 제 1 편광 상태의 빛과 실세계 빛을 통과시키는 제 1 광학 소자; 다중 경로 광학 소자에서 제 1 측면의 반대 측면인 제 2 측면에 배열되고 실세계 빛을 통과시키는 제 2 광학 소자; 및 영상 생성기, 제 1 광학 소자 및 제 2 광학 소자를 제어하는 프로세서를 포함하고, 제 1 광학 소자는 제 1 편광 상태의 빛은 발산시키고, 제 2 편광 상태의 빛은 수렴시키며, 제 2 광학 소자는 제 1 편광 상태의 빛은 수렴시키고, 제 2 편광 상태의 빛은 발산시킬 수 있다.
일 실시예에 따른 가상 영상 표시 장치는, 사용자의 적어도 하나의 안구 움직임 데이터를 획득하는 이미지 센서를 더 포함하고, 프로세서는 획득된 적어도 하나의 안구 움직임 데이터를 기초로 사용자의 시선을 결정하고, 사용자의 시선에 기초하여 영상 생성기로부터 출력되는 가상 영상을 결정할 수 있다.
일 실시예에 따른 가상 영상 표시 장치에 있어서, 프로세서는, 영상 표시 장치의 위치를 기준으로 실세계 오브젝트의 깊이 정보를 결정하고, 결정된 깊이 정보에 기초하여 영상 생성기로부터 출력되는 가상 영상을 결정할 수 있다.
일 실시예에 따른 가상 영상 표시 장치에 있어서, 프로세서는, 사용자의 시선이 수렴하는 방향 및 거리에 따라 가상 영상의 크기, 가상 영상이 표시되는 3차원 각도, 그림자, 질감, 양안 시차 및 가상 영상의 선명도 중 적어도 하나를 결정할 수 있다.
일 실시예에 따른 가상 영상 표시 장치는, 제 2 광학 소자의 일측 방향에 배열되고, 인가되는 전기적 신호에 따라 색상이 변하는 광 차단 소자를 더 포함하고, 광 차단 소자의 색상이 변함에 따라, 실세계 빛의 투사가 차단될 수 있다.
일 실시예에 따른 가상 영상 표시 장치에 있어서, 제 1 광학 소자는, 제 2 광학 소자를 투사한 실세계 빛이 발산하는 경우, 제 2 광학 소자를 투사한 실세계 빛이 발산한 범위만큼 수렴하도록 제어하는 광 출력을 갖고, 제 2 광학 소자를 투사한 실세계 빛이 수렴하는 경우, 제 2 광학 소자를 투사한 실세계 빛이 수렴한 범위만큼 발산하도록 제어하는 광 출력을 가질 수 있다.
일 실시예에 따른 가상 영상 표시 장치에 있어서, 프로세서는, 사용자의 시선에 따라 가상 영상이 출력되는 초점 거리를 결정하고, 결정된 초점 거리에 기초하여, 제 1 광학 소자 및 제 2 광학 소자에 인가되는 전기적 신호를 결정하고, 인가되는 전기적 신호에 따라, 제 1 광학 소자 및 제 2 광학 소자의 출력값이 결정될 수 있다.
일 실시예에 따른 가상 영상 표시 장치에 있어서, 프로세서는, 사용자의 시선에 따라, 가상 영상이 출력되는 초점 거리를 결정하고, 결정된 초점 거리에 따라, 필터에서 투과되는 가상 영상의 빛의 편광 방향을 결정할 수 있다.
일 실시예에 따른 가상 영상 표시 장치는, 필터에 인가되는 전기적 신호에 따라 필터에서 투과되는 빛의 편광 방향이 결정될 수 있다.
일 실시예에 따른 가상 영상 표시 장치는, 제 1 광학 소자 및 제 2 광학 소자에 특정 방향으로 편광된 가상 영상의 빛이 입사되는 경우, 입사된 빛의 편광 방향이 변경되며, 특정 편광 방향에 따라 입사된 빛의 발산 또는 수렴 여부가 결정될 수 있다.
다른 실시예에 따른 가상 영상 표시 장치는, 가상 영상을 출력하는 영상 생성기; 가상 영상의 빛을 가이드(guide)하는 다중 경로 광학 소자; 다중 경로 광학 소자의 제 1 측면에 배열되고, 가이드 된 빛과 실세계 빛을 통과시키는 제 1 광학 소자; 다중 경로 광학 소자에서 제 1 측면의 반대 측면인 제 2 측면에 배열되고, 실세계 빛을 통과시키는 제 2 광학 소자; 및 사용자의 시선을 결정하고, 사용자의 시선에 대응되는 가상 영상을 생성하며, 영상 생성기, 제 1 광학 소자 및 제 2 광학 소자를 제어하는 프로세서를 포함하고, 제 1 광학 소자가 빛을 발산시키는 경우, 제 2 광학 소자는 빛을 수렴시키도록 설정되며, 제 1 광학 소자가 빛을 수렴시키는 경우, 제 2 광학 소자는 빛을 발산시키도록 설정될 수 있다.
일 실시예에 따른 가상 영상 표시 방법은, 가상 영상을 획득하는 단계;필터에 획득된 가상 영상을 투과시켜 가상 영상으로부터 제 1 편광 상태의 빛을 획득하는 단계; 및 제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가 실세계 빛을 수렴시키고, 제 1 광학 소자가 수렴하는 실세계 빛과 제 1 편광 상태의 빛을 발산시키도록 제 1 광학 소자 및 제 2 광학 소자에 각각 전기적 신호를 인가하는 단계를 포함하고, 필터를 투과한 제 1 편광 상태의 빛과 제 2 광학 소자를 통과한 실세계 빛은 제 1 광학 소자와 제 2 광학 소자 사이에 배열된 다중 경로 광학 소자를 통해 가이드 되어 제 1 광학 소자에 투사되고, 제 1 광학 소자는 제 1 편광 상태의 빛은 발산시키고, 제 2 편광 상태의 빛은 수렴시키며, 제 2 광학 소자는 제 1 편광 상태의 빛은 수렴시키고, 제 2 편광 상태의 빛은 발산시킬 수 있다.
다른 실시예에 따른 가상 영상 표시 방법은, 가상 영상을 결정하는 단계; 사용자의 시선의 방향 및 거리를 기초로 상기 가상 영상이 출력되는 초점 거리를 결정하는 단계; 및 제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가 결정된 초점 거리에 따라 실세계 빛을 수렴시키고, 제 1 광학 소자가 수렴하는 실세계 빛과 가상 영상의 빛을 발산시키도록 제 1 광학 소자 및 제 2 광학 소자에 각각 전기적 신호를 인가하는 단계를 포함하고, 가상 영상 및 제 2 광학 소자로부터 투사되어 수렴하는 실세계 빛은 제 1 광학 소자와 제 2 광학 소자 사이에 배열된 다중 경로 광학 소자를 통해 가이드 되어 제 1 광학 소자에 투사될 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 특성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따라 가상 영상을 표시하는 방법을 설명하기 위한 개념도이다.
도 1을 참조하면, 가상 영상 표시 장치(100)는 사용자가 증강 현실을 체험할 수 있도록, 사용자가 감지하는 실세계(10)에 중첩하여 가상 영상(12)을 출력할 수 있다.
일 실시예에 따른 가상 영상 표시 장치(100)는 출력되는 가상 영상(12)이 사용자의 눈에 감지될 수 있도록, 사용자의 시선을 추적할 수 있다. 가상 영상 표시 장치(100)는 추적 결과, 획득된 사용자의 시선의 방향 및 거리에 기초하여, 출력되는 가상 영상(12)의 형태를 결정할 수 있다.
한편, 가상 영상 표시 장치(100)에 의해 가상 영상(12)이 맺히는(focus) 초점의 위치와 사용자의 시선이 수렴하는 위치가 일치하지 않는 경우, 가상 영상(12)을 시청하는 사용자의 피로도가 증가할 수 있다. 일 실시예에 따른 가상 영상 표시 장치(100)는 사용자의 시선이 수렴하는 위치에 가상 영상(12)이 맺힐 수 있도록, 가상 영상 표시 장치(100)에 구비된 광학 소자의 광 출력을 가변적으로 조정할 수 있다. 여기에서, 광 출력이란 광학 소자의 초점 거리를 결정하는 굴절률을 나타낼 수 있다. 가상 영상 표시 장치(100)가 광 출력을 가변적으로 조정하는 방법에 대해서는, 도 2를 참조하여 보다 구체적으로 후술하도록 한다.
가상 영상 표시 장치(100)를 착용한 사용자는 가상 영상(12)이 감지됨에 따라 실세계(10)에 가상 영상(12)이 중첩된 증강 현실 영상을 시청함으로써, 증강 현실을 체험할 수 있다. 여기에서, 가상 영상(12)과 실세계(10)가 중첩되어 인식됨에 따라, 가상 영상(12)을 위해 조정된 광학 소자의 초점 거리가 실세계(10)의 장면을 왜곡시킬 수 있다. 일 실시예에 따른 가상 영상 표시 장치(100)는 이를 방지하기 위해, 구비된 복수의 광학 소자 중 일부를 가상 영상(12)의 초점 거리를 조정하는데 이용하고, 다른 일부를 실세계(10)의 장면의 왜곡을 보정하기 위해 이용함으로써, 왜곡되지 않은 실세계(10)의 장면에 가상 영상(12)이 중첩되는 증강 현실 영상을 제공할 수 있다.
한편, 일 실시예에 따른 가상 영상 표시 장치(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 가상 영상 표시 장치(100)는 스마트 글래스(Smart Glass), HMD(Head Mounted Display) 등이 있을 수 있으나, 이는 일 실시예일 뿐, 가상 영상 표시 장치(100)가 이에 한정되는 것은 아니다.
도 2는 일 실시예에 따라 가상 영상 표시 장치(100)를 설명하기 위한 블록도이다.
도 2를 참조하면, 가상 영상 표시 장치(100)는 영상 생성기(110), 필터(120), 다중 경로 광학 소자(130), 복수의 광학 소자(140, 150) 및 프로세서(160)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(100)의 구성 요소가 전술한 예에 한정되는 것은 아니다.
영상 생성기(110)는 실세계 장면(230)에 중첩되는 가상 영상(220a)을 출력한다. 영상 생성기(110)는 프로세서(160)로부터 사용자의 시선에 대응되는 가상 영상(220a)이 결정됨에 따라, 결정된 가상 영상(220a)을 출력할 수 있다. 영상 생성기 (110)로부터 출력된 가상 영상은 필터(120)를 거쳐 다중 경로 광학 소자(130)에 입사될 수 있다.
필터(120)는 영상 생성기(110)로부터 입사되는 가상 영상(220a)에 대해, 기 설정된 편광 방향의 빛을 투과할 수 있다. 예를 들어, 필터(120)는 입사되는 가상 영상의 좌원편광(left circular polarized light, LCP light) 신호 만을 투과하거나, 우원편광(right circular polarized light, RCP light) 신호 만을 투과할 수 있다. 다만, 이는 일 실시예일 뿐, 필터(120)를 투과하는 빛의 편광 방향이 전술한 예에 한정되는 것은 아니다.
또한, 필터(120)는 편광 소자(polarizer) 및 사반파장판(quarter waveplate)을 포함할 수 있으나, 이는 일 실시예일 뿐, 필터(120)의 구성이 전술한 예에 한정되는 것은 아니다.
한편, 필터(120)에서 투과되는 빛의 편광 방향은 가상 영상(12)이 맺히는 초점 거리에 따라 변경될 수 있다. 이에 대해서는, 도 5를 참조하여 보다 구체적으로 후술하도록 한다.
다중 경로 광학 소자(130)는 필터(120)를 통해 투과된 가상 영상의 빛이 사용자의 눈(210)에 입사될 수 있도록 투과된 가상 영상의 빛을 가이드(guide) 할 수 있다. 다중 경로 광학 소자(130)는 굴절률이 큰 매질의 주변을 굴절률이 작은 매질이 감싸는 구조로 구성될 수 있다. 전술한 구성에 따라, 필터(120)를 투과한 가상 영상의 빛은 다중 경로 광학 소자(130)를 따라 진행하면서, 사용자의 눈(210)에 전달될 수 있다.
제 1 광학 소자(140)는 다중 경로 광학 소자(130)의 제 1 측면에 배열될 수 있다. 여기에서, 제 1 측면은 사용자의 눈(210)이 위치하는 측면을 나타낼 수 있다. 제 1 광학 소자(140)는 사용자의 눈(210)과 다중 경로 광학 소자(130)에 위치하도록 배열될 수 있다.
제 1 광학 소자(140)는 다중 경로 광학 소자(130)로부터 가이드 된 가상 영상의 빛과 실세계 장면(230)의 빛이 발산 또는 수렴하도록 제어하는 제 1 광 출력을 가질 수 있다. 일 실시예에 따라, 제 1 광학 소자(140)에 된 가이드 된 가상 영상의 빛 및 실세계 장면(230)의 빛은 입사 방향에 따라 발산 또는 수렴하고, 이에 따라, 빛의 방향이 변경될 수 있다.
예를 들어, 제 1 광학 소자(140)에 입사된 좌원편광 신호는, 제 1 광학 소자(140)에 의해 발산할 수 있다. 또한, 좌원편광 신호는 제 1 광학 소자(140)를 투과함에 따라 우원편광 신호로 변경될 수 있다. 다른 예에 따라, 제 1 광학 소자(140)에 입사된 우원편광 신호는, 제 1 광학 소자(140)에 의해 수렴할 수 있다. 또한, 우원편광 신호는 제 1 광학 소자(140)를 투과함에 따라 좌원편광 신호로 변경될 수 있다.
한편, 제 1 광학 소자(140)에 입사되는 가상 영상은 전술한 필터(120)에 의해 좌원편광 신호만으로 구성될 수 있다. 이에 따라, 제 1 광학 소자(140)를 통과하는 가상 영상의 빛은 발산할 수 있다. 여기에서, 가상 영상의 빛이 발산되는 정도는 사용자의 시선에 따라 결정된 초점 거리에 따라 결정될 수 있다.
또한, 제 1 광학 소자(140)에 입사되는 실세계의 빛에 포함된 다양한 방향의 신호 중 우원편광 신호는 제 1 광학 소자(140)를 통과함에 따라 발산하고, 좌원편광 신호는 제 1 광학 소자(140)를 통과함에 따라 수렴할 수 있다. 실세계 장면(230)의 경우, 가사 영상에 맞춰진 초점 거리를 조정하기 위한 제 1 광학 소자(140)를 통과함에 따라 왜곡이 발생할 수 있다. 일 실시예에 따른 가상 영상 표시 장치(100)는 실세계 장면(230)이 제 1 광학 소자(140)를 통과하기에 앞서, 제 2 광학 소자(150)를 통과하도록 제어함으로써, 왜곡을 미리 보정할 수 있다.
제 2 광학 소자(150)는 다중 경로 광학 소자(130)에서 제 1 측면의 반대 측면인 제 2 측면에 배열될 수 있다. 제 2 광학 소자(150)는 제 1 광 출력으로 인한 실세계 빛의 발산 또는 실세계 빛의 수렴을 보정하기 위한 제 2 광 출력을 가질 수 있다. 예를 들어, 제 2 광학 소자(150)를 통과한 실세계 장면(230)의 좌원 편광 신호는 발산하면서, 우원편광 신호로 변경될 수 있다. 또한, 우원편광 신호는 제 1 광학 소자(140)를 통과함에 따라, 수렴하면서 좌원편광 신호로 변경될 수 있다. 이 때, 제 2 광학 소자(150) 및 제 1 광학 소자(140)에 의해 각각 발산 또는 수렴되는 정도는 동일하게 설정될 수 있다.
이에 따라, 제 2 광학 소자(150) 및 제 1 광학 소자(140)를 통과한 실세계 장면(230)의 우원편광 신호는 왜곡되지 않은 상태로 사용자의 눈(210)에 입사될 수 있다. 다른 예에 따라, 실세계 장면(230)의 우원편광 신호 또는 전술한 좌원편광 신호의 예와 같이 제 2 광학 소자(150) 및 제 1 광학 소자(140)를 통과함으로써, 왜곡되지 않은 상태로 사용자의 눈(210)에 입사될 수 있다.
일 실시예에 따른 영상 처리 장치(100)는 동일한 수렴 또는 발산 범위를 갖는 제 2 광학 소자(150) 및 제 1 광학 소자(140)를 구비함으로써, 실세계 장면을 왜곡하지 않으면서, 가상 영상의 초점 거리를 조정할 수 있다.
프로세서(160)는 사용자의 시선을 추적하여, 사용자의 시선을 결정할 수 있다. 또한, 프로세서(160)는 사용자의 시선에 대응되는 가상 영상을 획득할 수 있다. 예를 들어, 프로세서(160)는 사용자의 시선의 방향 및 거리에 따라 가상 영상의 절대적/상대적 크기, 3차원 각도(orientation), 텍스쳐, 가상 영상이 표시될 실체 위치의 조명, 그림자, 양안 시차(disparity) 및 선명도 중 적어도 하나를 결정할 수 있다.
또한, 프로세서(160)는 가상 영상을 사용자의 시선의 수렴 거리에 위치시키기 위한 초점 거리를 결정할 수 있다. 프로세서(160)는 결정된 초점 거리에 따라 제 1 광학 소자(140) 및 제 2 광학 소자(150)에 인가되는 전기적 신호를 결정할 수 있다. 여기에서, 제 1 광학 소자(140) 및 제 2 광학 소자(150)는 프로세서(160)로부터 인가되는 전기적 신호에 따라 초점 거리가 변경될 수 있다. 예를 들어, 제 1 광학 소자(140) 및 제 2 광학 소자(150)에 인가되는 전기적 신호에 따라, 입사되는 특정 편광 방향의 빛이 발산 또는 수렴하는 정도가 결정될 수 있다.
도 3은 다른 실시예에 따른 가상 영상 표시 장치(300)의 블록도이다.
도 3을 참조하면, 가상 영상 표시 장치(300)는 영상 생성기 (310), 필터(320), 다중 경로 광학 소자(330), 복수의 광학 소자(340, 350), 프로세서(360), 센서부(370) 및 드라이버(380)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 가상 영상 표시 장치(300)의 구성 요소가 전술한 예에 한정되는 것은 아니다.
본 실시예에서, 영상 생성기(310), 필터(320), 다중 경로 광학 소자(330), 복수의 광학 소자(340, 350)는 도 2의 영상 생성기 (110), 필터(120), 다중 경로 광학 소자(130), 복수의 광학 소자(140, 150)에 대응되므로, 자세한 설명은 생략한다.
프로세서(360)는 사용자의 시선을 결정하기 위해, 센서부(370)로부터 사용자의 눈을 촬영한 복수의 영상을 획득할 수 있다. 프로세서(360)는 복수의 영상으로부터 추출된 눈의 중심점을 기초로, 사용자의 시선이 수렴하는 방향 및 거리를 결정할 수 있다.
프로세서(360)는 사용자의 시선이 결정됨에 따라, 출력되는 가상 영상을 결정할 수 있다. 프로세서(360)가 가상 영상을 결정하는 방법은 도 2를 참조하여 전술한 바와 대응될 수 있다.
한편, 프로세서(360)는 사용자의 시선이 수렴되는 방향 및 거리에 대응하여, 복수의 광학 소자(340, 350)의 초점 거리를 결정할 수 있다. 또한, 프로세서(360)는 결정된 초점 거리를 설정하기 위해, 복수의 광학 소자(340, 350) 각각에 인가되어야 하는 전기적 신호를 결정할 수 있다.
센서부(370)는 가시광 또는 적외선 또는 생체 신호 등을 사용하여, 사용자의 안구 움직임을 측정할 수 있다. 또한, 센서부(370)는 사용자의 시선을 실시간으로 추적하기 위해, 기 설정된 시간 단위로 사용자의 안구 움직임을 측정할 수 있다. 센서부(370)는 측정 결과 획득된 복수의 안구 측정 데이터를 프로세서(360)에 제공할 수 있다.
드라이버(380)는 프로세서(360)에서 복수의 광학 소자(240, 350)에 인가되어야 하는 전기적 신호에 관한 정보를 획득할 수 있다. 드라이버(380)는 프로세서(360)로부터 획득된 전기적 신호에 관한 정보에 기초하여, 제 1 광학 소자(340) 및 제 2 광학 소자(350)에 각각 전기적 신호를 인가할 수 있다. 전기적 신호가 인가됨에 따라, 제 1 광학 소자(340) 및 제 2 광학 소자(350)의 초점 거리가 프로세서(360)에서 결정된 초점 거리로 변경될 수 있다.
도 4는 일 실시예에 따른 가상 영상 표시 장치에 구비된 제 1 광학 소자(410) 및 제 2 광학 소자(420)의 동작 원리를 보다 구체적으로 설명하기 위한 도면이다.
도 4를 참조하면, 제 1 광학 소자(410) 및 제 2 광학 소자(420)는 다중 경로 광학 소자(430)를 기준으로 서로 반대 측면에 배열될 수 있다. 예를 들어, 제 1 광학 소자(410)는 사용자의 눈과 다중 경로 광학 소자(430)의 사이의 제 1 측면에 배열될 수 있다. 또한, 제 2 광학 소자(420)는 제 1 측면의 반대 측면인 제 2 측면에 배열될 수 있다.
도 4에서는, 실세계 빛 중 우원편광(RCP) 신호(442), 실세계 빛 중 좌원편광(LCP) 신호(452) 및 필터를 투과한 결과 획득된 가상 영상의 우원편광 신호(462)가 각각 사용자의 눈에 전달되는 과정이 도시되어 있다.
실세계 빛 중 우원편광(RCP) 신호(442)는 제 2 광학 소자(420)를 통과하여, 다중 경로 광학 소자(430)에 입사할 수 있다. 우원편광(RCP) 신호(442)는 제 2 광학 소자(420)를 통과함에 따라, 발산하면서 좌원편광(LCP) 신호(444)로 변경될 수 있다. 좌원편광(LCP) 신호(444)는 다중 경로 광학 소자(430)를 거쳐 제 1 광학 소자(410)에 투사될 수 있다.
제 1 광학 소자(410)에 의해 투사된 좌원편광(LCP) 신호(444)는 제 1 광학 소자(410)를 통과함에 따라, 수렴하면서, 우원편광(RCP) 신호(446)로 변경될 수 있다. 이에 따라, 사용자의 눈에 도달하는 우원편광(RCP) 신호(446)는 실세계 빛 중 우원편광(RCP) 신호(442)와 동일한 방향으로 사용자의 눈에 입사될 수 있다.
또한, 실세계 빛 중 좌원편광(LCP) 신호(452)는 제 2 광학 소자(420)를 통과하여, 다중 경로 광학 소자(430)에 입사할 수 있다. 좌원편광(LCP) 신호(452)는 제 2 광학 소자(420)를 통과함에 따라, 발산하면서 우원편광(RCP) 신호(454)로 변경될 수 있다. 우원편광(RCP) 신호(454)는 다중 경로 광학 소자(430)를 거쳐 제 1 광학 소자(410)에 투사될 수 있다.
제 1 광학 소자(410)에 의해 투사된 우원편광(RCP) 신호(454)는 제 1 광학 소자(410)를 통과함에 따라, 수렴하면서, 좌원편광(LCP) 신호(456)로 변경될 수 있다. 이에 따라, 사용자의 눈에 도달하는 좌원편광(LCP) 신호(456)는 실세계 빛 중 좌원편광(RCP) 신호(452)와 동일한 방향으로 사용자의 눈에 입사될 수 있다.
한편, 일 실시예에 따른 가상 영상 표시 장치는 필터를 통해 가상 영상 중 우원편광(RCP) 신호(462)만을 다중 경로 광학 소자(430)에 전달할 수 있다. 다중 경로 광학 소자(430)에 전달된 가상 영상의 우원편광(RCP) 신호(462)는 다중 경로 광학 소자(430)를 통해 가이드되어, 제 1 광학 소자(410)에 입사될 수 있다.
가상 영상의 우원편광(RCP) 신호(462)는 다중 경로 광학 소자(430)를 거쳐 제 1 광학 소자(410)에 투사될 수 있다. 제 1 광학 소자(410)에 의해 투사된 가상 영상의 우원편광(RCP) 신호(462)는 제 1 광학 소자(410)를 통과함에 따라, 발산하면서, 좌원편광(LCP) 신호(466)로 변경될 수 있다. 이에 따라, 가상 영상은 발산된 정도에 대응되는 초점 거리에 상이 맺힘으로써, 실세계 장면과 중첩되어 사용자에 의해 감지될 수 있다.
또한, 제 1 광학 소자(410) 및 제 2 광학 소자(420) 각각에서 영상이 수렴되거나 발산되는 정도는 도 2 및 도 3을 참조하여 전술한 바와 같이, 사용자의 시선의 수렴 거리를 기초로 결정된 초점 거리에 따라 결정될 수 있다.
도 5는 다른 실시예에 따른 가상 영상 표시 장치(500)의 필터(520)를 설명하기 위한 블록도이다.
도 5를 참조하면, 가상 영상 표시 장치(500)는 영상 생성기(510), 필터(520), 다중 경로 광학 소자(530), 복수의 광학 소자(540, 550) 및 프로세서(560)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 가상 영상 표시 장치(500)의 구성 요소가 전술한 예에 한정되는 것은 아니다.
본 실시예에서, 영상 생성기 (510), 다중 경로 광학 소자(530), 복수의 광학 소자(540, 550)는 도 2의 영상 생성기(110), 다중 경로 광학 소자(130), 복수의 광학 소자(140, 150)에 대응되므로, 자세한 설명은 생략한다.
프로세서(560)는 사용자의 시선의 방향 및 거리에 따라, 가상 영상을 획득할 수 있다. 프로세서(560)가 가상 영상을 획득하는 방법은 도 2를 참조하여 전술한 바와 대응될 수 있다.
프로세서(560)는 사용자의 시선의 수렴거리에 따라, 사용자의 눈(210)에 입사되는 가상 영상이 발산해야 하는지 또는 수렴해야 하는지 여부를 결정할 수 있다. 예를 들어, 사용자의 시선의 수렴거리가 가상 영상 표시 장치(500)에 기 설정된 기준 거리 보다 먼 경우, 사용자의 눈(210)에 가상 영상이 수렴하는 형태로 입사되어야, 초점 거리를 기 설정된 기준 거리 보다 멀리 설정할 수 있다.
한편, 가상 영상 표시 장치(500)에 구비된 제 1 광학 소자(540)에 우원편광이 입사되는 경우, 우원편광이 발산하고, 제 1 광학 소자(540)에 좌원편광이 입사되는 경우, 좌원편광이 수렴함에 따라, 프로세서(560)는 제 1 광학 소자(540)에 좌원편광이 입사되도록 필터(520)를 제어할 수 있다. 예를 들어, 프로세서(560)는 필터(520)에 전기적 신호를 인가함으로써, 필터(520)를 투과하는 가상 영상의 편광 방향을 제어할 수 있다. 본 실시예에서, 필터(520)는 인가되는 전기적 신호에 따라 투과되는 빛의 편광 방향이 변경되는 액티브 필터인 것으로 가정한다.
다른 실시예에 따라, 프로세서(560)는 사용자의 시선의 수렴거리가 가상 영상 표시 장치(500)에 기 설정된 기준 거리 이내인 경우, 사용자의 눈(210)에 가상 영상이 발산하는 형태로 입사되도록, 초점 거리를 설정할 수 있다. 이에 따라, 프로세서(560)는 제 1 광학 소자(540)에 우원편광이 입사되도록 필터(520)를 제어할 수 있다.
한편, 본 실시예에서는 제 1 광학 소자(540) 및 제 2 광학 소자(550)에 우원편광이 입사되는 경우, 우원편광이 발산하고, 좌원편광이 입사되는 경우, 좌원편광이 수렴하는 것으로 설명하였으나, 이는 일 실시예일 뿐, 다른 예에 따라, 우원편광이 입사되는 경우, 우원편광이 수렴하고, 좌원편광이 입사되는 경우, 좌원편광이 발산하도록 구성된 광학 소자가 가상 영상 표시 장치(500)에 구비될 수도 있다.
도 6은 일 실시예에 따른 가상 영상 표시 장치가 사용자의 시선의 수렴 거리와 초점 거리를 일치시키는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 기존의 가상 영상 표시 방법에서는, 가상 영상에 거리감을 주기 위해, 사용자의 좌안과 우안에 각각 위치를 다르게 한 영상(402, 604)을 투사함으로써, 사용자가 거리감을 느낄 수 있도록 하였다. 예를 들어, 사용자의 좌안과 우안 각각으로부터 일정 거리에 배열된 다중 경로 광학 소자(610, 615)에 출력된 좌안용 영상(602) 및 우안용 영상(604)이 각각 좌안과 우안에 가이드됨으로써, 사용자는 가상 영상을 시청할 수 있다.
다만, 이에 따르면, 좌안과 우안에서 각각 영상이 투사되는 초점 거리(622, 624)와 사용자의 실제 시선의 수렴 거리(626)가 일치하지 않아, 사용자가 불편함을 느낄 수 있다.
일 실시예에 따른 가상 영상 표시 장치는 초점 거리와 시선의 수렴 거리를 일치시킬 수 있도록, 다중 경로 광학 소자(610, 615)의 제 1 측면과 제 2 측면에 각각 제 1 광학 소자(636, 638) 및 제 2 광학 소자(632, 634)를 배열할 수 있다. 다중 경로 광학 소자(610, 615)에 전달되는 가상 영상(642, 644)은 다중 경로 광학 소자(610, 615)를 통해 가이드되어, 제 1 광학 소자(636, 638)를 통해 사용자의 눈에 입사할 수 있다. 여기에서, 제 1 광학 소자(636, 638)는 사용자의 시선의 수렴 거리에 따라 결정된 초점 거리(646)를 가질 수 있다.
또한, 일 실시예에 따른 가상 영상 표시 장치는 제 2 광학 소자(632, 634)를 통해 제 1 광학 소자(636, 638)에 의해 발생될 수 있는 실세계 장면의 왜곡을 보정할 수 있다. 이는 도 2 내지 도 3을 참조하여 전술한 바와 대응되므로, 자세한 설명은 생략한다.
도 7은 일 실시예에 따른 가상 영상 표시 장치(700)가 가상 영상의 시청을 위해 실세계 빛의 일부를 차단하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 일 실시예에 따른 가상 영상 표시 장치(700)는 센서부(705), 제 1 광학 소자(712), 다중 경로 광학 소자(714) 및 제 2 광학 소자(716) 및 광 유입 차단 소자(718)를 포함할 수 있다. 한편, 본 실시예에서는 가상 영상의 시청을 위해 실세계 빛의 일부를 차단하는 방법을 설명하기 위해 필요한 구성 요소들만을 도시하였을 뿐, 가상 영상 표시 장치(700)의 구성 요소가 전술한 구성 요소들에 한정되는 것은 아니다.
센서부(705)는 사용자의 안구의 움직임을 센싱한 적어도 하나의 안구 움직임 데이터를 획득할 수 있다. 센서부(705)를 통해 획득된 안구 움직임 데이터를 기초로, 사용자의 시선의 수렴 거리가 결정될 수 있다. 이에 따라, 제 1 광학 소자(712) 및 제 2 광학 소자(716)의 초점 거리가 사용자의 시선의 수렴 거리에 대응될 수 있도록 조정될 수 있다.
한편, 일 실시예에 따른 가상 영상 표시 장치(700)에서 실세계 장면과 중첩되어 보이도록 가상 영상을 표시하더라도, 실세계 장면을 전달하는 빛으로 인하여, 가상 영상의 시인성이 떨어질 수 있다.
이를 해결하기 위해, 일 실시예에 따른 가상 영상 표시 장치(700)는 광 유입 차단 소자(718)를 통해 가상 영상이 표시되는 부분에 한하여, 실세계 빛의 일부를 차단할 수 있다. 광 유입 차단 소자(718)를 통해 실세계 빛의 일부가 차단됨에 따라, 가상 영상이 표시되지 않는 부분의 실세계 빛이 제 2 광학 소자(716), 다중 경로 광학 소자(714) 및 제 1 광학 소자(712)를 통해 사용자의 눈에 전달될 수 있다.
이에 따라, 사용자는 실세계 빛과 가상 영상이 중첩되는 증강 현실을 체험함과 동시에, 실세계 빛의 일부가 차단됨으로써, 가상 영상을 보다 선명하게 시청할 수 있다.
도 8은 일 실시예에 따른 가상 영상 표시 장치가 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.
단계 S810에서, 가상 영상 표시 장치는 가상 영상을 획득할 수 있다.
가상 영상 표시 장치는 사용자의 시선에 따라 결정된 가상 영상을 획득할 수 있다. 여기에서, 가상 영상 표시 장치는, 예를 들어, 사용자의 시선을 추적하여, 사용자의 시선의 방향 및 거리에 관한 정보를 획득할 수 있다. 다른 예에 따라, 가상 영상 표시 장치는 사용자의 시선의 방향 및 거리에 관한 정보를 외부의 장치로부터 수신하거나, 가상 영상 표시 장치에 구비된 센서를 통해 획득할 수 있다.
단계 S820에서, 가상 영상 표시 장치는 필터에 획득된 가상 영상을 투과시켜 가상 영상으로부터 제 1 편광 상태의 빛을 획득할 수 있다.
가상 영상 표시 장치는 기 설정된 편광 방향의 빛을 투과하는 필터에 가상 영상을 입력할 수 있다. 예를 들어, 필터는 입사되는 가상 영상의 좌원편광(LCP light) 신호 만을 투과하거나, 우원편광(RCP light) 신호 만을 투과할 수 있다.
단계 S830에서, 가상 영상 표시 장치는 제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가 실세계 빛을 수렴시키고, 제 1 광학 소자가 수렴하는 실세계 빛과 제 1 편광 상태의 빛을 발산시키도록 제 1 광학 소자 및 제 2 광학 소자에 전기적 신호를 인가할 수 있다.
가상 영상 표시 장치는 사용자의 시선의 수렴 거리에 가상 영상이 맺힐 수 있도록 전기적 신호를 인가하여 광학 소자의 광 출력을 변경함으로써, 가상 영상이 맺히는 초점 거리를 조정할 수 있다. 예를 들어, 가상 영상 표시 장치는 사용자의 시선의 수렴 거리가 d1인 경우, 초점 거리가 d1'로 설정될 수 있도록 제 1 광학 소자에 인가되는 전기적 신호를 조정할 수 있다. 조정된 전기적 신호가 인가된 제 1 광학 소자에 입사된 특정 편광 방향의 빛은 발산 또는 수렴하여, 조정된 초점 거리에 가상 영상이 맺힐 수 있다. 한편, 가상 영상 표시 장치는 제 1 광학 소자에 의해 실세계 장면이 왜곡되는 것을 방지할 수 있도록, 제 2 광학 소자의 광 출력을 설정할 수 있다.
이에 따라, 특정 범위만큼 빛을 발산시키는 제 2 광 출력을 갖는 제 2 광학 소자를 투사한 실세계 빛은, 특정 범위만큼 빛을 수렴시키는 제 1 광 출력을 갖는 제 1 광학 소자를 투사함으로써, 실세계 장면의 왜곡이 보정될 수 있다. 또한, 특정 범위만큼 빛을 수렴시키는 제 2 광 출력을 갖는 제 2 광학 소자를 투사한 실세계 빛은, 특정 범위 만큼 빛을 발산시키는 제 1 광 출력을 갖는 제 1 광학 소자를 투사함으로써, 실세계 장면의 왜곡이 보정될 수 있다.
도 9는 일 실시예에 따른 가상 영상 표시 장치가 사용자의 시선을 추적하여, 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.
단계 S910에서, 가상 영상 표시 장치는 사용자의 적어도 하나의 안구 움직임 데이터를 획득할 수 있다. 가상 영상 표시 장치는 사용자의 시선을 결정하기 위해, 구비된 센서를 이용하여 사용자의 안구 움직임을 측정한 적어도 하나의 안구 움직임 데이터를 획득할 수 있다.
단계 S920에서, 가상 영상 표시 장치는 획득된 적어도 하나의 안구 움직임 데이터를 기초로 사용자의 시선을 결정할 수 있다. 가상 영상 표시 장치는 적어도 하나의 안구 움직임 데이터를 기초로, 사용자의 시선이 수렴하는 방향 및 거리를 결정할 수 있다. 예를 들어, 가상 영상 표시 장치는 복수의 동공 영상으로부터, 사용자의 양안 동공 중심점을 각각 검출하고, 양안의 동공이 수렴하는 지점까지의 사잇각을 결정함으로써 사용자의 시선의 방향과 거리를 결정할 수 있다.
단계 S930에서, 가상 영상 표시 장치는 사용자의 시선에 기초하여, 실세계 장면에 중첩되는 가상 영상을 결정할 수 있다.
예를 들어, 가상 영상 표시 장치는 사용자의 시선의 방향 및 거리에 따라 가상 영상의 절대적/상대적 크기, 3차원 각도(orientation), 텍스쳐, 가상 영상이 표시될 실체 위치의 조명, 그림자, 양안 시차(disparity) 및 선명도 중 적어도 하나를 결정하고, 결정에 따라 가상 영상을 렌더링 할 수 있다.
단계 S940에서, 가상 영상 표시 장치는 기 설정된 편광 방향의 빛을 투과하는 필터에 가상 영상을 입력할 수 있다.
필터는 가상 영상이 입력됨에 따라 기 설정된 편광 방향의 빛을 투과할 수 있다. 한편, 필터에서 투과되는 빛의 편광 방향은 사용자의 시선의 수렴거리 및 초점거리가 적응적으로 변경되는 복수의 광학 소자의 특성에 따라 결정될 수 있다. 여기에서, 필터를 투과하는 빛의 편광 방향은, 도 5를 참조하여 전술한 바와 동일한 방법으로 결정될 수 있다.
단계 S950에서, 가상 영상 표시 장치는 제 1 광학 소자가 제 1 광 출력을 갖고 제 2 광학 소자가 제 1 광 출력으로 인한 실세계 빛의 발산 또는 수렴을 보정하기 위한 제 2 광 출력을 갖도록 제 1 광학 소자 및 제 2 광학 소자에 전기적 신호를 인가할 수 있다.
한편, 단계 S950은 도 8을 참조하여 전술한 단계 S830과 대응될 수 있다.
도 10은 다른 실시예에 따른 가상 영상 표시 장치를 설명하기 위한 블록도이다.
도 10을 참조하면, 가상 영상 표시 장치(1000)는 영상 생성기(1010), 다중 경로 광학 소자(1030), 복수의 광학 소자(1040, 1050), 프로세서(1060), 센서부(1070) 및 드라이버(1080)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 가상 영상 표시 장치(1000)의 구성 요소가 전술한 예에 한정되는 것은 아니다.
영상 생성기(1010)는 실세계 장면에 중첩되는 가상 영상을 출력할 수 있다. 영상 생성기 (1010)는 프로세서(1060)로부터 사용자의 시선에 대응되는 가상 영상이 결정됨에 따라, 결정된 가상 영상을 출력할 수 있다. 영상 생성기 (110)로부터 출력된 가상 영상은 다중 경로 광학 소자(1030)에 전달될 수 있다.
다중 경로 광학 소자(1030)는 영상 생성기 (1010)를 통해 출력된 가상 영상이 사용자의 눈에 입사될 수 있도록 투과된 가상 영상의 빛을 가이드(guide) 할 수 있다. 가상 영상은 다중 경로 광학 소자(130)를 따라 진행하면서, 제 1 광학 소자(1040)를 통해 사용자의 눈에 전달될 수 있다.
제 1 광학 소자(1040)는 다중 경로 광학 소자(1030)의 제 1 측면에 배열될 수 있다. 여기에서, 제 1 측면은 사용자의 눈이 위치하는 측면을 나타낼 수 있다. 제 1 광학 소자는 사용자의 눈과 다중 경로 광학 소자(1030) 사이에 위치하도록 배열될 수 있다.
제 1 광학 소자(1040)는 다중 경로 광학 소자(1030)로부터 가이드 된 가상 영상의 빛과 실세계 빛이 발산 또는 수렴하도록 제어하는 제 1 광 출력을 가질 수 있다.
한편, 실세계 빛의 경우, 가상 영상에 맞춰진 초점 거리를 조정하기 위한 제 1 광학 소자(1040)를 통과함에 따라 왜곡이 발생할 수 있다. 일 실시예에 따른 가상 영상 표시 장치(1000)는 실세계 빛이 제 1 광학 소자(1040)를 통과하기에 앞서, 제 2 광학 소자(1050)를 통과함으로써, 왜곡을 미리 보정할 수 있다.
제 2 광학 소자(1050)는 다중 경로 광학 소자(1030)에서 제 1 측면의 반대 측면인 제 2 측면에 배열될 수 있다. 제 2 광학 소자(1050)는 제 1 광 출력으로 인한 실세계 빛의 발산 또는 실세계 빛의 수렴을 보정하기 위한 제 2 광 출력을 가질 수 있다.
이에 따라, 제 2 광학 소자(1050) 및 제 1 광학 소자(1040)를 통과한 실세계 빛은 왜곡되지 않은 상태로 사용자의 눈에 입사될 수 있다.
프로세서(1060)는 사용자의 시선을 추적하여, 사용자의 시선을 결정할 수 있다. 프로세서(1060)는 결정된 사용자의 시선에 대응되는 가상 영상을 획득할 수 있다.
또한, 프로세서(1060)는 가상 영상을 사용자의 시선의 수렴 거리에 위치시키기 위한 초점 거리를 결정할 수 있다. 프로세서(1060)는 결정된 초점 거리에 따라 제 1 광학 소자(1040) 및 제 2 광학 소자(1050)에 인가되는 전기적 신호를 결정할 수 있다. 여기에서, 제 1 광학 소자(1040) 및 제 2 광학 소자(1050)는 프로세서(1060)로부터 인가되는 전기적 신호에 따라 초점 거리가 변경될 수 있다.
센서부(1070)는 가시광, 적외선, 생체 신호 등을 사용하여, 사용자의 안구 움직임을 측정할 수 있다. 또한, 드라이버(1080)는 프로세서(1060)에서 복수의 광학 소자(1040, 1050)에 인가되어야 하는 전기적 신호에 관한 정보를 획득할 수 있다. 드라이버(1080)는 프로세서(1060)로부터 획득된 전기적 신호에 관한 정보에 기초하여, 제 1 광학 소자(1040) 및 제 2 광학 소자(1050)에 각각 전기적 신호를 인가할 수 있다.
한편, 센서부(1070) 및 드라이버(1080)는 도 3을 참조하여 전술한 센서부(370) 및 드라이버(380)와 대응될 수 있으므로, 자세한 설명은 생략하도록 한다.
도 11은 다른 실시예에 따른 가상 영상 표시 장치가 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.
단계 S1110에서, 가상 영상 표시 장치는 사용자의 시선에 기초하여, 가상 영상을 결정할 수 있다.
가상 영상 표시 장치는 사용자의 시선에 따라 결정된 가상 영상을 획득할 수 있다. 여기에서, 가상 영상 표시 장치는, 예를 들어, 사용자의 시선을 추적하여, 사용자의 시선의 방향 및 거리에 관한 정보를 획득할 수 있다. 다른 예에 따라, 가상 영상 표시 장치는 사용자의 시선의 방향 및 거리에 관한 정보를 외부의 장치로부터 수신하거나, 가상 영상 표시 장치에 구비된 센서를 통해 획득할 수 있다. 단계 S1120에서, 가상 영상 표시 장치는 사용자의 시선의 방향 및 거리를 기초로 가상 영상이 출력되는 초점 거리를 결정할 수 있다.
단계 S1130에서, 가상 영상 표시 장치는 제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가, 결정된 초점 거리에 따라 실세계 빛을 수렴시키고, 제 1 광학 소자가 수렴하는 실세계 빛과 가상 영상의 빛을 발산시키도록 제 1 광학 소자 및 제 2 광학 소자에 전기적 신호를 인가할 수 있다.
가상 영상 표시 장치는 가상 영상을 사용자의 시선의 수렴 거리에 위치시키기 위한 초점 거리를 결정할 수 있다. 가상 영상 표시 장치는 결정된 초점 거리에 따라 제 1 광학 소자 및 제 2 광학 소자에 인가되는 전기적 신호를 결정할 수 있다. 예를 들어, 가상 영상 표시 장치는 가상 영상이 사용자의 시선의 수렴 거리에 맺힐 수 있도록, 제 1 광학 소자의 초점 거리를 결정할 수 있다. 또한, 결정된 초점 거리로 제 1 광학 소자의 초점 거리를 변경하기 위한 전기적 신호가 제 1 광학 소자에 인가될 수 있다.
또한, 가상 영상 표시 장치는 제 1 광학 소자에 의해 실세계 장면이 왜곡되지 않도록 미리 실세계 빛을 보정하기 위해, 제 2 광학 소자의 초점 거리를 조정할 수 있다. 이에 따라, 실세계 빛은 제 2 광학 소자를 통과한 후에 제 1 광학 소자에 입사됨으로써, 왜곡 없이 사용자의 눈에 감지될 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
도면에 도시된 실시 예들에서 참고부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 또한, 실시예는 동종의 또는 서로 다른 종류의 코어들, 서로 다른 종류의 CPU들을 채용할 수도 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
실시 예의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 가상 영상을 출력하는 영상 생성기;
    상기 출력된 가상 영상에서 제 1 편광 상태의 빛을 투과시키는 필터;
    상기 투과된 제 1 편광 상태의 빛을 가이드(guide)하는 다중 경로 광학 소자;
    상기 다중 경로 광학 소자의 제 1 측면에 배열되고, 상기 가이드 된 제 1 편광 상태의 빛과 실세계 빛을 통과시키는 제 1 광학 소자;
    상기 다중 경로 광학 소자에서 상기 제 1 측면의 반대 측면인 제 2 측면에 배열되고 상기 실세계 빛을 통과시키는 제 2 광학 소자; 및
    상기 영상 생성기, 상기 제 1 광학 소자 및 상기 제 2 광학 소자를 제어하는 프로세서를 포함하고,
    상기 제 1 광학 소자는 상기 제 1 편광 상태의 빛은 발산시키고, 제 2 편광 상태의 빛은 수렴시키며, 상기 제 2 광학 소자는 상기 제 1 편광 상태의 빛은 수렴시키고, 상기 제 2 편광 상태의 빛은 발산시키는, 가상 영상 표시 장치.
  2. 제 1항에 있어서,
    상기 사용자의 적어도 하나의 안구 움직임 데이터를 획득하는 이미지 센서를 더 포함하고,
    상기 프로세서는 상기 획득된 적어도 하나의 안구 움직임 데이터를 기초로 상기 사용자의 시선을 결정하고, 상기 사용자의 시선에 기초하여 상기 영상 생성기로부터 출력되는 가상 영상을 결정하는, 가상 영상 표시 장치.
  3. 제 1항에 있어서, 상기 프로세서는,
    상기 영상 표시 장치의 위치를 기준으로 실세계 오브젝트의 깊이 정보를 결정하고, 상기 결정된 깊이 정보에 기초하여 상기 영상 생성기로부터 출력되는 가상 영상을 결정하는, 가상 영상 표시 장치.
  4. 제 1항에 있어서, 상기 프로세서는,
    사용자의 시선이 수렴하는 방향 및 거리에 따라 상기 가상 영상의 크기, 상기 가상 영상이 표시되는 3차원 각도, 그림자, 질감, 양안 시차 및 상기 가상 영상의 선명도 중 적어도 하나를 결정하는, 가상 영상 표시 장치.
  5. 제 1 항에 있어서,
    상기 제 2 광학 소자의 일측 방향에 배열되고, 인가되는 전기적 신호에 따라 색상이 변하는 광 차단 소자를 더 포함하고,
    상기 광 차단 소자의 색상이 변함에 따라, 상기 실세계 빛의 투사가 차단되는, 가상 영상 표시 장치.
  6. 제 1 항에 있어서, 상기 제 1 광학 소자는,
    상기 제 2 광학 소자를 투사한 실세계 빛이 발산하는 경우, 상기 제 2 광학 소자를 투사한 실세계 빛이 상기 발산한 범위만큼 수렴하도록 제어하는 광 출력을 갖고,
    상기 제 2 광학 소자를 투사한 실세계 빛이 수렴하는 경우, 상기 제 2 광학 소자를 투사한 실세계 빛이 상기 수렴한 범위만큼 발산하도록 제어하는 광 출력을 갖는, 가상 영상 표시 장치.
  7. 제 1항에 있어서,
    상기 제 1 광학 소자 및 상기 제 2 광학 소자에 특정 방향으로 편광된 가상 영상의 빛이 입사되는 경우, 상기 입사된 빛의 편광 방향이 변경되며,
    상기 특정 편광 방향에 따라 상기 입사된 빛의 발산 또는 수렴 여부가 결정되는, 가상 영상 표시 장치.
  8. 가상 영상을 획득하는 단계;
    필터에 상기 획득된 가상 영상을 투과시켜 상기 가상 영상으로부터 제 1 편광 상태의 빛을 획득하는 단계; 및
    제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가 실세계 빛을 수렴시키고, 상기 제 1 광학 소자가 상기 수렴하는 실세계 빛과 상기 제 1 편광 상태의 빛을 발산시키도록 상기 제 1 광학 소자 및 상기 제 2 광학 소자에 각각 전기적 신호를 인가하는 단계를 포함하고,
    상기 필터를 투과한 제 1 편광 상태의 빛과 상기 제 2 광학 소자를 통과한 실세계 빛은 상기 제 1 광학 소자와 상기 제 2 광학 소자 사이에 배열된 다중 경로 광학 소자를 통해 가이드 되어 상기 제 1 광학 소자에 투사되고,
    상기 제 1 광학 소자는 상기 제 1 편광 상태의 빛은 발산시키고, 제 2 편광 상태의 빛은 수렴시키며, 상기 제 2 광학 소자는 상기 제 1 편광 상태의 빛은 수렴시키고, 상기 제 2 편광 상태의 빛은 발산시키는, 가상 영상 표시 방법.
  9. 제 8항에 있어서,
    상기 사용자의 적어도 하나의 안구 움직임 데이터를 획득하는 단계; 및
    상기 획득된 적어도 하나의 안구 움직임 데이터를 기초로, 상기 사용자의 시선을 결정하는 단계를 더 포함하고,
    상기 가상 영상은 상기 사용자의 시선에 기초하여 획득되는, 가상 영상 표시 방법.
  10. 제 8항에 있어서,
    상기 영상 표시 장치의 위치를 기준으로 실세계 오브젝트의 깊이 정보를 결정하는 단계를 더 포함하고,
    상기 가상 영상은, 상기 결정된 깊이 정보에 기초하여 획득되는, 가상 영상 표시 방법.
  11. 제 8항에 있어서, 상기 출력하는 단계는,
    상기 사용자의 시선이 수렴하는 방향 및 거리에 따라 상기 가상 영상의 크기, 상기 가상 영상이 표시되는 3차원 각도, 그림자, 질감, 양안 시차 및 상기 가상 영상의 선명도 중 적어도 하나를 결정하는 단계를 포함하는, 가상 영상 표시 방법.
  12. 제 8항에 있어서,
    상기 제 2 광학 소자의 일측 방향에 배열되고, 인가되는 전기적 신호에 따라 색상이 변하는 광 차단 소자에 상기 실세계 빛의 투사를 차단하기 위한 전기적 신호를 인가하는 단계를 더 포함하는, 가상 영상 표시 방법.
  13. 제 8 항에 있어서, 상기 제 1 광학 소자는,
    상기 제 2 광학 소자를 투사한 실세계 빛이 발산하는 경우, 상기 제 2 광학 소자를 투사한 실세계 빛이 상기 발산한 범위만큼 수렴하도록 제어하는 광 출력을 갖고,
    상기 제 2 광 출력을 갖는 제 2 광학 소자를 투사한 실세계 빛이 수렴하는 경우, 상기 제 2 광학 소자를 투사한 실세계 빛이 상기 수렴한 범위만큼 발산하도록 제어하는 광 출력을 갖는, 가상 영상 표시 방법.
  14. 제 8항에 있어서,
    상기 제 1 광학 소자 및 상기 제 2 광학 소자에 특정 방향으로 편광된 가상 영상의 빛이 입사되는 경우, 상기 입사된 빛의 편광 방향이 변경되며,
    상기 특정 편광 방향에 따라 상기 입사된 빛의 발산 또는 수렴 여부가 결정되는, 가상 영상 표시 방법.
  15. 제 8항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2018/007840 2017-09-22 2018-07-11 가상 영상을 표시하는 방법 및 장치 WO2019059506A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/637,604 US11119571B2 (en) 2017-09-22 2018-07-11 Method and device for displaying virtual image
EP18857633.4A EP3637169A4 (en) 2017-09-22 2018-07-11 METHOD AND DEVICE FOR DISPLAYING A VIRTUAL IMAGE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170122888A KR102481884B1 (ko) 2017-09-22 2017-09-22 가상 영상을 표시하는 방법 및 장치
KR10-2017-0122888 2017-09-22

Publications (1)

Publication Number Publication Date
WO2019059506A1 true WO2019059506A1 (ko) 2019-03-28

Family

ID=65811457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/007840 WO2019059506A1 (ko) 2017-09-22 2018-07-11 가상 영상을 표시하는 방법 및 장치

Country Status (4)

Country Link
US (1) US11119571B2 (ko)
EP (1) EP3637169A4 (ko)
KR (1) KR102481884B1 (ko)
WO (1) WO2019059506A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
KR20200021670A (ko) 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242392A1 (en) * 2012-03-15 2013-09-19 Google Inc. Near-to-eye display with diffractive lens
KR101387097B1 (ko) * 2013-04-02 2014-04-29 유한회사 마스터이미지쓰리디아시아 삼중 광분할 방법과 이를 이용한 입체 영상장치
KR20170010042A (ko) * 2014-05-15 2017-01-25 이준희 헤드 마운트 디스플레이용 광학 시스템
KR20170045149A (ko) * 2014-05-09 2017-04-26 아이플루언스, 인크. 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법
KR20170100641A (ko) * 2014-12-30 2017-09-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 실세계 객체들의 가상 표현들

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6418598A (en) 1997-03-18 1998-10-12 Matsushita Electric Industrial Co., Ltd. Optical display
KR100464417B1 (ko) 2002-06-11 2005-01-03 삼성전자주식회사 2파장 광원 모듈을 채용한 광픽업 및 위치 공차 보정방법
KR100480615B1 (ko) 2002-09-06 2005-03-31 삼성전자주식회사 2파장 광원 모듈을 채용한 광픽업
KR20110050929A (ko) 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8988463B2 (en) 2010-12-08 2015-03-24 Microsoft Technology Licensing, Llc Sympathetic optic adaptation for see-through display
KR102513896B1 (ko) 2011-11-23 2023-03-23 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US20130300635A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
KR102103985B1 (ko) 2013-04-26 2020-04-23 삼성전자주식회사 단일 방향성의 빔을 이용한 영상 표시 장치, 증강 현실 영상 구현 방법 및 장치
NZ755272A (en) 2013-11-27 2020-05-29 Magic Leap Inc Virtual and augmented reality systems and methods
CN106030458B (zh) 2013-12-31 2020-05-08 谷歌有限责任公司 用于基于凝视的媒体选择和编辑的系统和方法
KR20150084200A (ko) 2014-01-13 2015-07-22 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR102209511B1 (ko) 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
US9377623B2 (en) * 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
CN111796424B (zh) * 2015-01-22 2021-11-12 奇跃公司 使用阿尔瓦雷斯透镜创建焦平面的方法和系统
JP7007396B2 (ja) * 2017-03-17 2022-01-24 マジック リープ， インコーポレイテッド 拡張現実データを記録するための手法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242392A1 (en) * 2012-03-15 2013-09-19 Google Inc. Near-to-eye display with diffractive lens
KR101387097B1 (ko) * 2013-04-02 2014-04-29 유한회사 마스터이미지쓰리디아시아 삼중 광분할 방법과 이를 이용한 입체 영상장치
KR20170045149A (ko) * 2014-05-09 2017-04-26 아이플루언스, 인크. 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법
KR20170010042A (ko) * 2014-05-15 2017-01-25 이준희 헤드 마운트 디스플레이용 광학 시스템
KR20170100641A (ko) * 2014-12-30 2017-09-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 실세계 객체들의 가상 표현들

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3637169A4 *

Also Published As

Publication number Publication date
EP3637169A1 (en) 2020-04-15
KR20190034029A (ko) 2019-04-01
EP3637169A4 (en) 2020-08-19
US20200201428A1 (en) 2020-06-25
US11119571B2 (en) 2021-09-14
KR102481884B1 (ko) 2022-12-28

Similar Documents

Publication Publication Date Title
US6222675B1 (en) Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
JP6454851B2 (ja) ３次元上の注視点の位置特定アルゴリズム
JP6845111B2 (ja) 情報処理装置および画像表示方法
US10373334B2 (en) Computer program, object tracking method, and object tracking device
US20190018236A1 (en) Varifocal aberration compensation for near-eye displays
JPH10327433A (ja) 合成画像の表示装置
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
US20220130116A1 (en) Registration of local content between first and second augmented reality viewers
WO2019059506A1 (ko) 가상 영상을 표시하는 방법 및 장치
Gilson et al. High fidelity immersive virtual reality
JP2000347128A (ja) ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム
US6833952B2 (en) Stereoscopic display apparatus, endscope and microscope both using the apparatus
CN110554501B (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
WO2018030795A1 (ko) 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
WO2022010152A1 (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
US20190219826A1 (en) Display apparatus
US11281290B2 (en) Display apparatus and method incorporating gaze-dependent display control
US10828560B2 (en) Systems and methods for stereoscopic vision with head mounted display
US20220397763A1 (en) Dual-reflector optical component
GB2534846A (en) Head-mountable apparatus and systems
KR20150039179A (ko) 헤드 마운트 디스플레이 장치
TWI738473B (zh) 頭戴式顯示裝置以及眼球追蹤裝置
WO2022196869A1 (ko) 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
WO2023282524A1 (ko) 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
WO2021106136A1 (ja) 表示端末装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857633

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018857633

Country of ref document: EP

Effective date: 20200109

NENP Non-entry into the national phase

Ref country code: DE