KR20200136297A - 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법 - Google Patents

사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법 Download PDF

Info

Publication number
KR20200136297A
KR20200136297A KR1020190115473A KR20190115473A KR20200136297A KR 20200136297 A KR20200136297 A KR 20200136297A KR 1020190115473 A KR1020190115473 A KR 1020190115473A KR 20190115473 A KR20190115473 A KR 20190115473A KR 20200136297 A KR20200136297 A KR 20200136297A
Authority
KR
South Korea
Prior art keywords
focus adjustment
eye
focus
gaze
refractive power
Prior art date
Application number
KR1020190115473A
Other languages
English (en)
Inventor
이규근
곽규섭
구본곤
윤정근
이원준
최명조
최종철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/864,755 priority Critical patent/US11467370B2/en
Priority to CN202080029212.6A priority patent/CN113711107A/zh
Priority to PCT/KR2020/006108 priority patent/WO2020242085A1/en
Priority to EP20812613.6A priority patent/EP3818431A4/en
Publication of KR20200136297A publication Critical patent/KR20200136297A/ko
Priority to US17/323,495 priority patent/US11815655B2/en
Priority to US18/482,576 priority patent/US20240036288A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/294—Variable focal length devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1343—Electrodes
    • G02F1/134309—Electrodes characterised by their geometrical arrangement
    • G02F1/134336—Matrix
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1347—Arrangement of liquid crystal layers or cells in which the final condition of one light beam is achieved by the addition of the effects of two or more layers or cells
    • G02F1/13471—Arrangement of liquid crystal layers or cells in which the final condition of one light beam is achieved by the addition of the effects of two or more layers or cells in which all the liquid crystal cells or layers remain transparent, e.g. FLC, ECB, DAP, HAN, TN, STN, SBE-LC cells
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/291—Two-dimensional analogue deflection

Abstract

굴절력을 조절함으로써 초점 거리를 조절할 수 있는 가변 초점 렌즈를 포함하고, 사용자의 시선 방향에 따라 가변 초점 렌즈 내의 초점 조절 영역의 위치를 조절하는 증강 현실 디바이스 및 그 동작 방법을 제공한다. 일 실시예에서, 증강 현실 디바이스는 시선 추적기(eye tracker)를 이용하여 사용자의 시선 방향을 나타내는 시선 벡터를 획득하고, 가상 이미지가 표시되는 초점 거리를 변경하기 위하여 제1 가변 초점 렌즈의 제1 초점 조절 영역의 굴절력을 조절하고, 제2 가변 초점 렌즈의 굴절력을 제1 초점 조절 영역의 조절된 굴절력에 대하여 상보적으로(complementary) 조절하는 것을 특징으로 한다.

Description

사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법 {AUGMENTED REALITY DEVICE FOR ADJUSTING A FOCUS REGION ACCORDING TO A DIRECTION OF AN USER'S VIEW AND METHOD FOR OPERATING THE SAME}
본 개시는 현실 객체 상에 가상 이미지를 가상으로 표시하는 증강 현실 디바이스(Augmented Reality Device)에 관한 것으로, 구체적으로는 사용자의 시선 방향에 따라 초점 영역의 위치 및 크기를 자동으로 조절하는 증강 현실 디바이스 및 그 동작 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 오버레이(overlay)하여 하나의 이미지로 보여주는 기술로서, 증강 현실 기술을 활용한 증강 현실 디바이스(예를 들어, 스마트 글래스(Smart Glass) 가 정보 검색, 길 안내, 카메라 촬영과 같이 일상 생활에서 유용하게 사용되고 있다. 특히, 스마트 글래스는 패션 아이템으로도 착용되고, 실외 활동에 주로 사용되고 있다.
증강 현실 디바이스는 일반적으로, 사용자에 착용된 상태에서 사용자의 눈에 가깝게 배치된 시스루 디스플레이(see-through display)를 통해 장면을 보게 된다. 여기서, 장면은 사용자가 눈을 통해 직접 보는 물리적 환경 또는 공간 내의 하나 이상의 현실 객체를 포함한다. 증강 현실 디바이스는 시스루 디스플레이를 통해 사용자의 눈에 가상 이미지를 투사(project)하고, 사용자는 시스루 디스플레이를 통해 현실 객체와 투사된 가상 이미지를 동시에 볼 수 있다.
증강 현실 디바이스를 착용한 상태에서 시스루 디스플레이를 통해 가상 이미지를 보는 경우, 사용자의 눈의 수정체에 의해 조절되는 초점 거리는 가상 이미지가 표시되는 시스루 디스플레이에 맞추어져 있지만 양안 시차(binocular disparity)에 따른 입체감이 부여된 가상 이미지의 좌안 및 우안 영상을 바라보는 사용자 눈의 수렴 거리(vergence distance)는 시스루 디스플레이와 더 멀거나 가까운 위치에 동떨어져 형성되어 초점 거리와 수렴 거리가 불일치하게 됨으로써, 증강 현실 디바이스의 가상 이미지를 장시간 시청하거나, 민감한 사용자의 경우 어지러움 또는 멀미 증상을 나타내는 문제가 있다. 이와 같은 문제를 수렴-조절 불일치(vergence-accommodation conflict; VAC)라고 한다. 시스루 디스플레이의 앞이나 뒤에 굴절력(refractive power)을 조절할 수 있는 광학 렌즈를 배치하여, 광학 렌즈의 버전스(vergence)를 조절함으로써 가상 이미지가 형성되는 초점 위치를 조절할 수 있고, 이를 통해 상기와 같은 문제점을 해결할 수 있다.
본 개시는 굴절력을 조절함으로써 초점 거리를 변경할 수 있는 가변 초점 렌즈를 포함하고, 사용자의 시선 방향에 따라 가변 초점 렌즈의 초점 조절 영역의 위치를 조절하는 증강 현실 디바이스 및 그 동작 방법을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 전기적으로 초점을 조절할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성되는 복수의 제1 가변 초점 렌즈 및 복수의 제2 가변 초점 렌즈; 상기 복수의 제1 가변 초점 렌즈와 상기 복수의 제2 가변 초점 렌즈 사이에 각각 배치되는 복수의 웨이브 가이드(waveguide); 좌안 및 우안의 시선 방향을 추적함으로써, 상기 좌안의 제1 시선 벡터 및 상기 우안의 제2 시선 벡터를 획득하는 복수의 시선 추적기(eye trackers); 상기 웨이브 가이드 내에 가상 이미지를 투사(project)하는 디스플레이 모듈; 및 프로세서를 포함하고, 상기 프로세서는 상기 시선 추적기로부터 획득된 상기 제1 시선 벡터에 기초하여 상기 복수의 제1 가변 초점 렌즈 중 제1 좌안 가변 초점 렌즈의 제1 초점 조절 영역의 위치를 결정하고, 상기 제2 시선 벡터에 기초하여 상기 복수의 제1 가변 초점 렌즈 중 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 위치를 결정하고, 양안 시차에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점(gaze point)을 검출하고, 상기 검출된 응시점에 기초하여 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력(refractive power)을 조절하고, 상기 복수의 제2 가변 초점 렌즈 중 제2 좌안 가변 초점 렌즈의 제2 초점 조절 영역 및 상기 복수의 제2 가변 초점 렌즈 중 제2 우안 가변 초점 렌즈의 제4 초점 조절 영역 각각의 굴절력을 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역 각각의 굴절력에 대하여 상보적으로(complementary) 조절하는, 증강 현실 디바이스를 제공한다.
예를 들어, 상기 제1 좌안 가변 초점 렌즈는 상기 사용자가 상기 증강 현실 디바이스를 착용한 경우, 상기 사용자의 좌안으로부터 제1 거리만큼 이격된 위치에 배치되고, 상기 제2 좌안 가변 초점 렌즈는 상기 사용자의 좌안으로부터 제2 거리만큼 이격된 위치에 배치되고, 상기 제2 거리의 크기는 상기 제1 거리의 크기 보다 클 수 있다.
예를 들어, 상기 프로세서는 상기 제1 초점 조절 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 상기 제1 좌안 가변 초점 렌즈에 인가하고, 상기 인가된 제어 전압에 기초하여, 상기 제1 좌안 가변 초점 렌즈의 액정 분자들 중 상기 제1 초점 조절 영역의 위치에 배치되는 액정 분자들이 배열된 각도를 변경함으로써, 상기 제1 초점 조절 영역의 굴절력을 조절할 수 있다.
예를 들어, 증강 현실 디바이스는 상기 응시점 상에 배치되는 현실 객체의 깊이 값을 측정하는 깊이 센서(depth sensor); 를 더 포함하고, 상기 프로세서는 측정된 상기 현실 객체의 깊이 값을 상기 깊이 센서로부터 획득하고, 상기 획득된 깊이 값에 기초하여 상기 가상 이미지의 일부 영역인 가상 객체의 초점 거리를 조절하기 위하여, 상기 제1 초점 조절 영역의 굴절력을 조절할 수 있다.
예를 들어, 상기 프로세서는 상기 제2 초점 조절 영역의 굴절력을 상기 제1 초점 조절 영역의 굴절력 방향에 대한 반대 방향으로, 상기 제1 초점 조절 영역의 굴절력과 동일한 굴절력으로 할 수 있다.
예를 들어, 상기 프로세서는 상기 제1 초점 조절 영역과 상기 제2 초점 조절 영역이 상기 제1 시선 벡터의 방향에 따라 정렬(align)되도록, 상기 제1 시선 벡터에 기초하여 상기 제2 초점 조절 영역의 위치를 결정할 수 있다.
예를 들어, 상기 제1 초점 조절 영역의 크기는 좌안 웨이브 가이드를 통해 출력되는 상기 가상 이미지의 일부 영역인 가상 객체의 크기에 기초하여 결정될 수 있다.
예를 들어, 상기 제2 초점 조절 영역의 크기는 좌안 웨이브 가이드를 통해 출력되는 상기 가상 이미지의 일부 영역인 가상 객체의 크기 및 상기 제1 좌안 가변 초점 렌즈와 상기 제2 좌안 가변 초점 렌즈 사이의 이격된 거리에 기초하여 결정될 수 있다.
예를 들어, 상기 제1 초점 조절 영역은 상기 제1 좌안 가변 초점 렌즈 상에서 복수 개 포함되고, 상기 프로세서는, 복수의 제1 초점 조절 영역에 따라 서로 다른 버전스를 형성하도록 상기 복수의 제1 초점 조절 영역의 굴절력을 조절할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 전기적으로 초점을 조절할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성되는 복수의 제1 가변 초점 렌즈 및 복수의 제2 가변 초점 렌즈; 상기 복수의 제1 가변 초점 렌즈와 상기 복수의 제2 가변 초점 렌즈 사이에 각각 배치되는 복수의 웨이브 가이드(waveguide); 좌안 및 우안의 시선 방향을 추적함으로써, 상기 좌안의 제1 시선 벡터 및 상기 우안의 제2 시선 벡터를 획득하는 복수의 시선 추적기(eye tracker); 상기 웨이브 가이드 내에 가상 이미지를 투사(project)하는 디스플레이 모듈; 및 프로세서를 포함하고, 상기 프로세서는 상기 시선 추적기로부터 획득된 상기 제1 시선 벡터에 기초하여 상기 복수의 제1 가변 초점 렌즈 중 제1 좌안 가변 초점 렌즈의 제1 초점 조절 영역의 위치를 결정하고, 상기 제2 시선 벡터에 기초하여 상기 복수의 제1 가변 초점 렌즈 중 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 위치를 결정하고, 양안 시차에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점(gaze point)을 검출하고, 상기 검출된 응시점에 기초하여 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력(refractive power)을 조절하고, 현실 객체의 초점 거리를 변경하기 위하여 상기 복수의 제2 가변 초점 렌즈 중 제2 좌안 가변 초점 렌즈의 제2 초점 조절 영역 및 상기 복수의 제2 가변 초점 렌즈 중 제2 우안 가변 초점 렌즈의 제4 초점 조절 영역의 굴절력을 조절하고, 상기 제2 초점 조절 영역 및 상기 제4 초점 조절 영역의 굴절력은, 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력과 관계없이 독립적으로(independently) 조절되는, 증강 현실 디바이스를 제공한다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 제1 시선 추적기(eye tracker)를 이용하여 좌안의 시선 방향을 추적함으로써, 상기 좌안의 제1 시선 벡터를 획득하고, 제2 시선 추적기를 이용하여 우안의 시선 방향을 추적함으로써, 상기 우안의 제2 시선 벡터를 획득하는 단계; 획득된 상기 제1 시선 벡터에 기초하여 제1 좌안 가변 초점 렌즈의 제1 초점 조절 영역의 위치를 결정하고, 획득된 상기 제2 시선 벡터에 기초하여 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 위치를 결정하는 단계; 양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점(gaze point)을 검출하는 단계; 상기 검출된 응시점에 기초하여 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력(refractive power)을 조절하는 단계; 제2 좌안 가변 초점 렌즈의 제2 초점 조절 영역 및 제2 우안 가변 초점 렌즈의 제4 초점 조절 영역 각각의 굴절력을 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역 각각의 굴절력에 대하여 상보적으로(complementary) 조절하는 단계; 및 디스플레이 모듈을 이용하여 웨이브 가이드(Wave guide)에 가상 이미지를 투사하는 단계를 포함하는, 증강 현실 디바이스의 동작 방법을 제공한다.
예를 들어, 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력을 조절하는 단계는, 상기 제1 초점 조절 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 상기 제1 좌안 가변 초점 렌즈에 인가하는 단계; 및 상기 인가된 제어 전압에 기초하여, 상기 제1 좌안 가변 초점 렌즈의 액정 분자들 중 상기 제1 초점 조절 영역의 위치에 배치되는 액정 분자들이 배열된 각도를 변경함으로써, 상기 제1 초점 조절 영역의 굴절력을 조절하는 단계; 를 포함할 수 있다.
예를 들어, 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력을 조절하는 단계는, 깊이 센서(depth sensor)를 이용하여 상기 응시점 상에 배치되는 현실 객체의 깊이 값을 측정하는 단계; 및 상기 측정된 깊이 값에 기초하여 상기 가상 이미지의 초점 거리를 조절하기 위하여, 상기 제1 초점 조절 영역의 굴절력을 조절하는 단계를 포함할 수 있다.
예를 들어, 상기 제2 초점 조절 영역 및 상기 제4 초점 조절 영역의 굴절력을 조절하는 단계는, 상기 제2 초점 조절 영역이 상기 제1 초점 조절 영역의 조절된 버전스의 방향과 반대의 버전스를 형성하도록, 상기 제2 초점 조절 영역의 굴절력을 조절하고, 상기 제4 초점 조절 영역이 상기 제3 초점 조절 영역의 조절된 버전스의 방향과 반대의 버전스를 형성하도록, 상기 제4 초점 조절 영역의 굴절력을 조절할 수 있다.
예를 들어, 상기 제2 초점 조절 영역 및 상기 제4 초점 조절 영역의 굴절력을 조절하는 단계는, 상기 제2 초점 조절 영역의 굴절력을 상기 제1 초점 조절 영역의 조절된 굴절력의 방향에 대하여 반대 방향으로, 상기 제1 초점 조절 영역의 조절된 굴절력과 동일한 굴절력으로 조절하는 단계; 를 포함할 수 있다.
예를 들어, 상기 방법은 제1 초점 조절 영역과 상기 제2 초점 조절 영역이 상기 제1 시선 벡터의 방향에 따라 정렬(align)되도록, 상기 제1 시선 벡터에 기초하여 상기 제2 초점 조절 영역의 위치를 결정하는 단계를 더 포함할 수 있다.
예를 들어, 상기 제1 초점 조절 영역의 크기는 상기 웨이브 가이드를 통해 표시되는 상기 가상 이미지의 일부 영역인 가상 객체의 크기에 기초하여 결정될 수 있다.
예를 들어, 상기 제2 초점 조절 영역의 크기는 상기 웨이브 가이드를 통해 디스플레이되는 상기 가상 이미지의 일부 영역인 가상 객체의 크기 및 상기 제1 좌안 가변 초점 렌즈와 상기 제2 좌안 가변 초점 렌즈 사이 이격된 거리에 기초하여 결정될 수 있다.
예를 들어, 상기 제1 초점 조절 영역은 상기 제1 좌안 가변 초점 렌즈 상에서 복수 개 포함되고, 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력을 조절하는 단계는, 복수의 제1 초점 조절 영역에 따라 서로 다른 버전스를 갖도록 상기 복수의 제1 초점 조절 영역의 굴절력을 조절하는 단계; 를 포함할 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 증강 현실 디바이스가 현실 객체 상에 가상 이미지를 표시하는 실시예를 도시한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 평면도이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소를 도시한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 동작 방법을 도시한 흐름도이다.
도 5a는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 시선 추적기를 도시한 도면이다.
도 5b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 시선 추적기를 도시한 도면이다.
도 5c는 사용자의 시선 방향에 대한 3차원 안구 모델을 도시한 도면이다.
도 5d는 본 개시의 일 실시예에 따른 시선 추적기의 캘리브레이션을 수행하는 방법을 설명하기 위하여 참조되는 도면이다.
도 6a는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 가변 초점 렌즈를 도시한 사시도이다.
도 6b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 가변 초점 렌즈가 초점 조절 영역의 굴절력을 조절하는 방법을 도시한 사시도이다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 가변 초점 렌즈의 버전스(vergence)의 개념을 설명하기 위한 도면들이다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 가변 초점 렌즈의 굴절력을 조절하여 초점 거리를 변경하는 방법에 관한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 웨이브 가이드 및 디스플레이 모듈을 도시한 사시도이다.
도 10a 및 도 10b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 시선 방향에 따라 가변 초점 렌즈의 초점 조절 영역의 위치를 변경하는 방법을 도시한 도면들이다.
도 11a 및 도 11b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 벡터에 기초하여 가변 초점 렌즈의 초점 초점 조절 영역의 위치를 변경하는 방법을 도시한 도면들이다.
도 12a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 초점 거리를 조절하는 방법을 설명하기 위한 도면이고, 도 12b는 증강 현실 디바이스를 통해 현실 객체 상에 표시되는 가상 이미지를 도시한 도면이다.
도 13a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 초점 거리를 조절하는 방법을 설명하기 위한 도면이고, 도 13b는 증강 현실 디바이스를 통해 현실 객체 상에 표시되는 가상 이미지를 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 현실 객체의 깊이 값에 기초하여 가변 초점 렌즈의 초점 조절 영역의 굴절력을 조절하는 방법에 관한 흐름도이다.
도 15a 및 도 15b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 가변 초점 렌즈의 초점 조절 영역의 크기를 결정하는 방법을 도시한 도면들이다.
도 16은 본 개시의 가변 초점 렌즈가 복수의 초점 조절 영역을 포함하는 실시예를 도시한 도면이다.
도 17은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소를 도시한 블록도이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서, 굴절률(refractive index)은 진공에 비하여 매질 내에서 광속(luminous flux)이 줄어드는 정도를 의미한다.
본 개시에서, 굴절력(refractive power)은 렌즈의 곡면에 의해 광선 또는 광 경로의 방향을 바꾸는 힘을 의미한다. 굴절력은 초점 거리의 역수이고, 굴절력의 단위는 m-1 또는 디옵터(Diopter)(D)이다. 굴절력의 부호는 볼록 렌즈(convex lens)의 경우 양(positive, +)이고, 오목 렌즈(concave lens)의 경우 음(negative, -)이다.
본 개시에서, 버전스(vergence)는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스이다. 버전스는 렌즈의 굴절력에 따라 조절될 수 있다. 일 실시예에서, 가변 초점 렌즈는 렌즈의 굴절력을 조절하여 광선 또는 광 경로를 변경함으로써, 버전스를 조절할 수 있다.
본 개시에서, 가상 이미지는 증강 현실 디바이스의 디스플레이 모듈의 출사면에 의해 웨이브 가이드로 투사되는 프로젝트 이미지(project image)이다.
본 개시에서, 가상 객체는 웨이브 가이드를 통해 출력되는 가상 이미지의 일부 영역을 의미한다. 가상 객체는 현실 객체와 관련된 정보를 나타낼 수 있다. 가상 객체는 예를 들어, 문자, 숫자, 기호, 아이콘, 이미지, 및 애니메이션 중 적어도 하나를 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 증강 현실 디바이스(100)가 현실 객체(10) 상에 가상 객체(20)를 표시하는 실시예를 도시한 개념도이다.
도 1을 참조하면, 사용자는 증강 현실 디바이스(100)를 착용한 상태에서 현실 객체(10) 및 가상 객체(20)를 볼 수 있다. 가상 객체(20)는 증강 현실 디바이스(100)의 디스플레이 모듈(140, 도 2 및 도 3 참조)에 의해 생성되고, 웨이브 가이드(130)를 통해 출력되는 가상의 이미지의 일부 영역으로서, 현실 객체(10)와 관련된 정보를 나타낼 수 있다. 도 1에 도시된 실시예에서, 가상 객체(20)는 현실 객체(10)인 토스터기에 관한 명칭, 모델명, 및 가격 정보를 포함하는 이미지일 수 있다.
사용자는 렌즈부(102)를 통해 현실 객체(10) 및 가상 객체(20)를 볼 수 있다. 렌즈부(102)는 제1 가변 초점 렌즈(110), 제2 가변 초점 렌즈(120), 및 웨이브 가이드(130)를 포함할 수 있다.
사용자가 증강 현실 디바이스(100)를 착용한 경우, 제1 가변 초점 렌즈(110)는 렌즈부(102) 내에서 사용자의 눈(30)에 가까운 위치에 배치되고, 제2 가변 초점 렌즈(120)는 제1 가변 초점 렌즈(110) 보다는 사용자의 눈으로부터 멀게 이격되어 배치될 수 있다. 일 실시예에서, 제1 가변 초점 렌즈(110)는 눈(30)과 제1 거리만큼 이격된 위치에 배치되고, 제2 가변 초점 렌즈(120)는 제1 거리보다 큰 제2 거리만큼 눈(30)과 이격된 위치에 배치될 수 있다. 제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120)는 각각 액정 분자(liquid crystal molecule)를 포함하고, 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다.
제1 가변 초점 렌즈(110)와 제2 가변 초점 렌즈(120) 사이에는 웨이브 가이드(waveguide)(130)가 배치될 수 있다. 웨이브 가이드(130)는 투명한 소재로 구성되는 광학 소자로서, 다른 표현으로는 시스루 디스플레이(see-through display)로 정의된다. 웨이브 가이드(130)에는 디스플레이 모듈(140, 도 3 참조) 등을 통해 가상 이미지가 투사될 수 있다. 웨이브 가이드(130)는 회절 격자가 형성된 복수의 영역을 포함할 수 있다. 웨이브 가이드(130)에 투사된 가상 이미지는 전반사(total reflection) 원리로 웨이브 가이드(130) 내에서 반사될 수 있다. 웨이브 가이드(130)에 투사된 가상 이미지는 복수의 영역에 형성된 회절 격자에 의해 광 경로가 변경되어 최종적으로 사용자의 눈(30)에 가상 객체(20)가 출력되도록 할 수 있다. 웨이브 가이드(130)는 가상 이미지의 광 경로를 변경하는 도광판과 같은 기능을 수행할 수 있다.
제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120) 각각은 인가되는 제어 전압에 따라 특정 영역에 배치되는 액정 분자들의 배열 각도를 조절함으로써, 국부적으로(locally) 초점을 조절할 수 있는 초점 조절 영역(112, 122)을 포함할 수 있다. 일 실시예에서, 제1 가변 초점 렌즈(110)는 제어 전압에 따라 제1 초점 조절 영역(112)에 배치되는 액정 분자들의 배열 각도를 변경함으로써, 제1 초점 조절 영역(112)의 굴절력을 조절하고, 이를 통해 버전스(vergence)를 조절할 수 있다. 버전스(vergence)는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스이다. 버전스는 렌즈의 굴절력에 따라 조절될 수 있다.
제1 초점 조절 영역(112)은 오목 렌즈(concave lens)와 같이 굴절력을 변경함으로써, 제1 가변 초점 렌즈(110)에 형성된 버전스를 조절하고, 이를 통해 가상 객체(20)가 형성되는 초점 거리를 변경할 수 있다. 굴절력이 조절된 제1 초점 조절 영역(112)을 통과하는 광의 경로를 변경하고, 웨이브 가이드(130)에 투사되는 가상 객체(20)의 초점 거리를 현실 객체(10)의 초점 거리와 동일하게 조절할 수 있다.
제1 가변 초점 렌즈(110)의 제1 초점 조절 영역(112)의 조절된 굴절력에 의해 가상 객체(20)의 초점 거리가 변경되었지만, 현실 객체(10)에 관한 초점 거리도 변경됨으로써 현실 객체(10)에 초점이 맞지 않아 현실 객체(10)가 희미하게 보이는 문제가 발생될 수 있다. 증강 현실 디바이스(100)는 제1 가변 초점 렌즈(110)의 제1 초점 조절 영역(112)의 조절된 굴절력으로 인한 버전스 변화에 의해 발생되는 현실 객체(10)의 초점 거리 왜곡을 보상하기 위하여, 제2 가변 초점 렌즈(120)의 제2 초점 조절 영역(122)의 굴절력을 제1 초점 조절 영역(112)의 굴절력에 대하여 상보적으로(complementary) 조절할 수 있다.
일 실시예에서, 증강 현실 디바이스(100)는 제2 초점 조절 영역(122)의 굴절력을 제1 초점 조절 영역(112)의 굴절력의 방향과 반대의 방향으로, 제1 초점 조절 영역(112)의 조절된 굴절력과 동일한 굴절력으로 조절할 수 있다. 예를 들어, 제1 초점 조절 영역(112)이 -1 디옵터(D)의 굴절력으로 조절되는 경우, 제2 초점 조절 영역(122)은 +1 디옵터(D)로 조절될 수 있다. 일 실시예에서, 제2 가변 초점 렌즈(120)는 볼록 렌즈(convex lens)와 같은 역할을 수행하는 광학 소자일 수 있다.
증강 현실 디바이스(100)는 사용자의 시선 방향에 따라 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 일 실시예에서, 증강 현실 디바이스(100)는 시선 추적기(150)를 이용하여, 사용자의 눈(30)의 위치를 추적함으로써, 사용자의 시선 방향을 나타내는 시선 벡터를 획득할 수 있다. 증강 현실 디바이스(100)는 시선 벡터에 따라 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 일 실시예에서, 증강 현실 디바이스(100)는 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)이 시선 벡터의 방향에 따라 정렬되도록 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 결정할 수 있다.
증강 현실 디바이스(100)는 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 크기를 결정할 수 있다. 일 실시예에서, 증강 현실 디바이스(100)는 가상 객체(20)의 크기에 기초하여 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 크기를 결정할 수 있다. 다른 실시예에서, 증강 현실 디바이스(100)는 가상 객체(20)의 크기 및 제1 가변 초점 렌즈(110)와 제2 가변 초점 렌즈(120) 사이의 이격된 거리에 기초하여 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 크기를 결정할 수 있다.
종래에는, 증강 현실 디바이스(100)를 착용한 상태에서 웨이브 가이드(130)를 통해 표시되는 가상 객체(20)를 보는 경우, 가상 객체(20) 상에 형성되는 초점 거리는 웨이브 가이드(130)와 눈(30) 사이의 거리에 고정되고, 양안 시차에 따라 사용자의 양안이 수렴되는 응시점(gaze point) 상에 포커싱되는 현실 객체(10)의 초점 거리와는 다르기 때문에, 가상 객체(20)가 희미하거나 흐릿(blur)하게 표시되고, 사용자가 어지러움 또는 멀미 증상을 나타내는 문제가 있다. 상기와 같은 문제점을 해결하기 위하여 광학 렌즈의 굴절력을 조절함으로써, 버전스를 변경하여 가상 객체(20)의 초점 거리를 조절하는 광학적 방법이 활용될 수 있다. 그러나, 초점 영역이 고정되는 광학 렌즈를 사용하는 경우 사용자가 바라보는 시선에 따라 초점을 조절할 수 없어 광학 성능이 떨어지는 문제가 있었다.
일반적으로, 사용자가 렌즈의 중심을 바라보는 경우, 광학 성능이 우수하다. 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)는 굴절력을 변경함으로써 국부적으로 버전스를 조절할 수 있는 초점 조절 영역을 포함하는 제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120)를 포함하고, 시선 추적기(150)를 이용하여 획득한 시선 벡터에 따라 제1 초점 조절 영역(112)과 제2 초점 조절 영역(122)의 위치를 자동으로 조절함으로써, 가상 객체(20)의 초점 거리를 현실 객체(10)의 초점 거리와 동일하게 조절할 수 있다. 따라서, 본 개시의 증강 현실 디바이스(100)는 가상 객체(20)를 보다 선명하게 표시할 수 있고, 광학 성능을 향상시킬 수 있다. 또한, 본 개시의 증강 현실 디바이스(100)는 사용자의 시선 방향에 따라 가상 객체(20)의 초점 거리를 자동으로 조절함으로써, 사용자의 어지러움 또는 현기증 증세를 완화할 수 있고, 향상된 사용자 경험을 제공할 수 있다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 평면도이다.
도 2를 참조하면, 증강 현실 디바이스(100)는 좌안 렌즈부(102), 우안 렌즈부(104), 프레임(106), 노즈 브릿지(nose bridge)(108), 디스플레이 모듈(140), 제1 시선 추적기(150-1), 제2 시선 추적기(150-2), 프로세서(160), 카메라(170)를 포함할 수 있다.
도 2는 증강 현실 디바이스(100)의 구조적인 특징을 도시한 도면으로서, 도 2에서는 구조적 특징에 대해서 설명하고, 도 3에서 증강 현실 디바이스(100)에 포함되는 각 구성 요소들의 동작 및/또는 기능에 관하여 구체적으로 설명하기로 한다.
좌안 렌즈부(102)는 제1 좌안 가변 초점 렌즈(110-1), 제2 좌안 가변 초점 렌즈(120-1), 및 좌안 웨이브 가이드(130-1)를 포함할 수 있다. 우안 렌즈부(104)는 제1 우안 가변 초점 렌즈(110-2), 제2 우안 가변 초점 렌즈(120-2), 및 우안 웨이브 가이드(130-2)를 포함할 수 있다. 제1 좌안 가변 초점 렌즈(110-1), 제1 우안 가변 초점 렌즈(110-2), 제2 좌안 가변 초점 렌즈(120-1) 및 제2 우안 가변 초점 렌즈(120-2)는 각각 액정 분자(liquid crystal molecule)를 포함하고, 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다.
제1 좌안 가변 초점 렌즈(110-1)는 좌안 렌즈부(102) 내에서 사용자의 좌안에 가까운 위치에 배치되고, 제2 좌안 가변 초점 렌즈(120-1)는 제1 좌안 가변 초점 렌즈(110-1) 보다는 멀게 이격되어 배치될 수 있다. 일 실시예에서, 사용자가 증강 현실 디바이스(100)를 장착한 경우, 제1 좌안 가변 초점 렌즈(110-1)는 좌안으로부터 제1 거리만큼 이격되고, 제2 좌안 가변 초점 렌즈(120-1)는 좌안으로부터 제2 거리만큼 이격되도록 배치될 수 있다. 제2 거리의 크기는 제1 거리보다 클 수 있다.
좌안 웨이브 가이드(130-1)는 제1 좌안 가변 초점 렌즈(110-1)와 제2 좌안 가변 초점 렌즈(120-1) 사이에 배치되고, 우안 웨이브 가이드(130-2)는 제1 우안 가변 초점 렌즈(110-2)와 제2 우안 가변 초점 렌즈(120-2) 사이에 배치될 수 있다. 우안 웨이브 가이드(130-2)는 배치되는 위치를 제외하고는, 좌안 웨이브 가이드(130-1)와 동일하므로, 이하에서는 좌안 웨이브 가이드(130-1)를 위주로 설명하기로 한다.
좌안 웨이브 가이드(130-1)는 사용자가 증강 현실 디바이스(100)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 좌안 웨이브 가이드(130-1)의 배면은 사용자가 증강 현실 디바이스(100)를 착용할 때, 사용자의 눈이 마주하는 면을 의미하고, 좌안 웨이브 가이드(130-1)의 전면은 상기 배면에 대향되는 면(즉, 사용자의 눈에서 먼 쪽)을 의미한다.
좌안 웨이브 가이드(130-1)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 좌안 웨이브 가이드(130-1)는 디스플레이 모듈(140)의 출사면에 마주하여, 디스플레이 모듈(140)로부터 투사된 가상 이미지의 광을 수광하고, 광을 전파하고, 광 경로를 변경하여 최종적으로는 사용자의 눈으로 출력하도록 하는 복수의 영역을 포함할 수 있다. 복수의 영역에는 회절 격자가 형성될 수 있다. 좌안 웨이브 가이드(130-1)는 도광판과 같은 기능을 수행할 수 있다. 좌안 웨이브 가이드(130-1)의 형태 및 특성에 대해서는 도 9에서 상세하게 설명하기로 한다.
프레임(106)은 사용자가 증강 현실 디바이스(100)를 착용시, 사용자의 머리 부분에 장착되는 지지대일 수 있다. 프레임(106)에는 디스플레이 모듈(140), 프로세서(160), 및 카메라(170)가 장착될 수 있다. 프레임(106)에는 디스플레이 모듈(140), 프로세서(160), 및 카메라(170) 간의 전기 접속을 위한 전기 배선이 내장될 수 있다.
노즈 브릿지(108)는 좌안 렌즈부(102)와 우안 렌즈부(104)를 연결하는 지지대로서, 사용자가 증강 현실 디바이스(100)를 착용한 경우 사용자의 코 부분을 지지할 수 있다. 일 실시예에서, 노즈 브릿지(108)에는 소리를 녹음하고, 녹음된 음성 신호를 프로세서(160)에 전송하는 마이크로폰이 내장될 수 있다.
디스플레이 모듈(140)은 가상 이미지를 좌안 웨이브 가이드(130-1)에 투사할 수 있다. 디스플레이 모듈(140)은 프레임(106) 상에 배치될 수 있으나, 이에 한정되는 것은 아니다. 디스플레이 모듈(140)은 프로세서(160)에 의해 생성된 가상 이미지를 광과 결합하여 출사면을 통해 좌안 웨이브 가이드(130-1) 및 우안 웨이브 가이드(130-2)로 투사할 수 있다. 일 실시예에서, 디스플레이 모듈(140)은 프로젝터(projector)와 같은 기능을 수행할 수 있다.
디스플레이 모듈(140)은 광원 및 화상 패널을 포함할 수 있다. 광원은 광을 조명하는 광학 부품으로서, RGB의 컬러를 조절하여 광을 생성할 수 있다. 광원은 예를 들어, 발광 다이오드(LED)로 구성될 수 있다. 화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서, 반사하는 반사형 화상 패널로 구성될 수 있다. 반사형 화상 패널은 예를 들어, DMD (Digital Micromirror Device) 패널 또는 LCoS (Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다.
디스플레이 모듈(140)은 프로세서(160)로부터 가상 이미지를 구성하는 이미지 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상 이미지를 생성하고, 가상 이미지를 광원으로부터 출력된 광과 결합하여 출사면을 통해 좌안 웨이브 가이드(130-1) 및 우안 웨이브 가이드(130-2)에 투사할 수 있다. 일 실시예에서, 프로세서(160)는 가상 이미지를 구성하는 복수의 픽셀의 RGB 컬러 및 휘도 값을 포함하는 이미지 데이터를 디스플레이 모듈(140)에 제공하고, 디스플레이 모듈(140)은 복수의 픽셀 각각의 RGB 컬러 값과 휘도 값을 이용하여 이미지 프로세싱을 수행하고, 광원을 제어함으로써 가상 이미지를 좌안 웨이브 가이드(130-1) 및 우안 웨이브 가이드(130-2)에 투사할 수 있다.
디스플레이 모듈(140)은 양안에 따라 가상 이미지를 투사하도록 복수 개로 구성될 수 있다. 일 실시예에서, 증강 현실 디바이스(100)는 우안 웨이브 가이드(130-2)에 가상 이미지를 투사하는 디스플레이 모듈(140)을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 디스플레이 모듈(140)은 하나로 구성될 수도 있다. 디스플레이 모듈(140)이 하나인 경우, 디스플레이 모듈(140)로부터 투사되는 가상 이미지의 광을 반사하여 좌안 웨이브 가이드(130-1) 및 우안 웨이브 가이드(130-2)로 전파하는 반사 부재가 더 포함될 수 있다. 예를 들어, 반사 부재는 거울로 구성될 수 있다.
디스플레이 모듈(140)에 관해서는 도 9에서 상세하게 설명하기로 한다.
제1 시선 추적기(eye tracker)(150-1)는 좌안 렌즈부(102)를 지지하는 프레임(106)에 배치되고, 제2 시선 추적기(150-2)는 우안 렌즈부(104)를 지지하는 프레임(106)에 배치될 수 있다. 제1 시선 추적기(150-1)는 사용자의 좌안의 위치 및 방향을 추적함으로써, 좌안의 시선 방향을 나타내는 제1 시선 벡터를 획득할 수 있다. 제2 시선 추적기(150-2)는 사용자의 우안의 위치 및 방향을 추적함으로써, 우안의 시선 방향을 나타내는 제2 시선 벡터를 획득할 수 있다.
일 실시예에서, 제1 시선 추적기(150-1) 및 제2 시선 추적기(150-2)는 적외선의 각막 반사를 이용하여 시선 방향을 검출하는 기술을 이용하여 사용자의 시선 벡터를 획득할 수 있다. 일 실시예에서, 제1 시선 추적기(150-1)는 적외선 조사부(152) 및 적외선 검출부(154)를 포함하고, 제2 시선 추적기(150-2)는 적외선 조사부(156) 및 적외선 검출부(158)를 포함할 수 있다. 적외선 조사부(152, 156)는 각각 좌안 및 우안의 각막 부분에 적외선 광을 조사하고, 적외선 검출부(154, 158)는 좌안과 우안의 각막으로부터 반사된 적외선 광을 검출할 수 있다. 제1 시선 추적기(150-1) 및 제2 시선 추적기(150-2)는 각각 적외선 검출부(154, 158)를 통해 검출된 적외선 광의 양을 통해 사용자의 양안이 바라보는 시선 방향을 결정하고, 시선 방향을 나타내는 시선 벡터를 획득할 수 있다. 제1 시선 추적기(150-1)는 획득한 제1 시선 벡터를 프로세서(160)에 제공할 수 있다. 제2 시선 추적기(150-2)는 획득한 제2 시선 벡터를 프로세서(160)에 제공할 수 있다.
프로세서(160)는 프레임(106) 내에 배치될 수 있다. 프로세서(160)는 제1 시선 추적기(150-1) 및 제2 시선 추적기(150-2)로부터 제1 시선 벡터 및 제2 시선 벡터를 획득하고, 획득된 제1 시선 벡터 및 제2 시선 벡터에 기초하여 양안을 통해 바라보는 응시점(gaze point)(G)의 위치를 추정할 수 있다. 일 실시예에서, 프로세서(160)는 제1 시선 벡터 및 제2 시선 벡터에 기초하여, 응시점(G)의 3차원 위치 좌표값을 계산할 수 있다. 일 실시예에서, 프로세서(160)는 응시점(G)의 3차원 위치 좌표값에 기초하여, 초점 위치를 결정할 수 있다.
프로세서(160)는 제1 초점 조절 영역(112)와 제2 초점 조절 영역(122)이 제1 시선 벡터를 따라 정렬되도록 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 제1 좌안 가변 초점 렌즈(110-1)의 전체 영역 중 제1 시선 벡터가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 획득한 2차원 위치 좌표값에 기초하여 제1 초점 조절 영역(112)의 위치를 결정할 수 있다. 마찬가지로, 프로세서(160)는 제2 좌안 가변 초점 렌즈(120-1)의 전체 영역 중 제1 시선 벡터가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 획득한 2차원 위치 좌표값에 기초하여 제2 초점 조절 영역(122)의 위치를 결정할 수 있다.
프로세서(160)는 제3 초점 조절 영역(114)과 제4 초점 조절 영역(124)이 제2 시선 벡터를 따라 정렬되도록 제3 초점 조절 영역(114) 및 제4 초점 조절 영역(124)의 위치를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 제1 좌안 가변 초점 렌즈(110-1)에 인가되는 제어 전압의 위상을 변경함으로써, 제1 초점 조절 영역(112)의 위치를 결정하고, 제2 좌안 가변 초점 렌즈(120-1)에 인가되는 제어 전압의 위상을 변경함으로써, 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 프로세서(160)는 제1 좌안 가변 초점 렌즈(110-1)의 액정 층 상에 배치되는 복수의 여기 전극을 통해 인가되는 제어 전압을 조절함으로써, 제1 초점 조절 영역(112)에 해당되는 영역을 결정할 수 있다. 프로세서(160)가 제어 전압의 위상 변경에 따라 초점 조절 영역의 위치를 결정하는 구체적인 방법에 관해서는 도 6a 및 도 6b의 설명 부분에서 상세하게 설명하기로 한다.
프로세서(160)는 응시점(G)의 3차원 위치 정보값에 기초하여 가상 객체의 초점 거리를 변경할 수 있다. 일 실시예에서, 프로세서(160)는 양안 시차에 따라 양안의 시선이 수렴하는 거리, 즉 사용자의 양안(30)과 응시점(G) 간의 수렴 거리(dcon)를 계산하고, 수렴 거리(dcon)에 기초하여 가상 객체의 초점 거리(df)를 변경할 수 있다. 일 실시예에서, 프로세서(160)는 제1 좌안 가변 초점 렌즈(110-1)의 제1 초점 조절 영역(112)의 굴절력을 조절함으로써, 제1 좌안 가변 초점 렌즈(110-1)의 버전스를 변경하고, 제1 우안 가변 초점 렌즈(110-2)의 제3 초점 조절 영역(114)의 굴절력을 조절함으로써, 제1 우안 가변 초점 렌즈(110-2)의 버전스를 변경할 수 있다.
일 실시예에서, 프로세서(160)는 제1 초점 조절 영역(112)의 위치에 해당되는 영역에 배치되는 액정 분자들의 배열 각도를 변경함으로써, 제1 초점 조절 영역(112)의 굴절력을 조절할 수 있다. 프로세서(160)는 제1 초점 조절 영역(112)의 굴절력을 조절함으로써, 좌안 웨이브 가이드(130-1) 상에 표시되고 좌안의 수정체(32)를 투광하는 가상 객체의 광 경로를 변경할 수 있다. 가상 객체의 광 경로가 변경됨에 따라 좌안의 망막(34)에 맺히는 가상 객체의 초점 거리(df)가 변경될 수 있다. 프로세서(160)가 제1 초점 조절 영역(112)의 굴절력을 조절함에 따라 제1 좌안 가변 초점 렌즈(110-1)의 버전스가 변경되고 이에 따라, 좌안 웨이브 가이드(130-1) 상에 물리적으로 형성되는 초점 거리(df)는 수렴 거리(dcon)와 동일하게 조절할 수 있다. 프로세서(160)는 제1 우안 가변 초점 렌즈(110-2)에 대해서도 제1 좌안 가변 초점 렌즈(110-1)와 동일하게 제3 초점 조절 영역(114)의 굴절력을 조절할 수 있다.
제1 초점 조절 영역(112)의 굴절력의 조절에 의한 제1 좌안 가변 초점 렌즈(110-1)의 버전스 변경에 따라 현실 객체에 초점이 맞지 않은 것처럼 보이는 초점 왜곡이 발생될 수 있다. 프로세서(160)는 초점 왜곡을 보상하기 위하여, 제2 좌안 가변 초점 렌즈(120-1)의 제2 초점 조절 영역(122)의 굴절력을 조절할 수 있다. 일 실시예에서, 프로세서(160)는 제2 초점 조절 영역(122)이 제1 초점 조절 영역(112)의 조절된 굴절력에 의한 버전스에 대하여 상보적으로(complementary) 버전스를 형성하도록, 제2 초점 조절 영역(122)의 굴절력을 조절할 수 있다. 일 실시예에서, 프로세서(160)는 제2 초점 조절 영역(122)의 굴절력을 제1 초점 조절 영역(112)의 굴절력의 방향과 반대의 방향으로, 제1 초점 조절 영역(112)의 조절된 굴절력과 동일한 굴절력으로 조절할 수 있다. 예를 들어, 제1 초점 조절 영역(112)이 -1 디옵터(D)의 굴절력으로 조절되는 경우, 제2 초점 조절 영역(122)은 +1 디옵터(D)로 조절될 수 있다.
카메라(170)는 프레임(106) 상에 배치될 수 있다. 카메라(170)는 물리적 환경 또는 공간을 촬영하여 비디오 및 정지 이미지를 획득할 수 있다. 카메라(170)는 획득된 비디오 데이터 및 정지 이미지 데이터를 프로세서(160)로 전송할 수 있다. 일 실시예에서, 카메라(170)는 비디오 데이터 및 정지 이미지 데이터를 저장부(190, 도 3 참조)에 저장할 수 있다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 구성 요소를 도시한 블록도이다.
도 3을 참조하면, 증강 현실 디바이스(100)는 제1 가변 초점 렌즈(110), 제2 가변 초점 렌즈(120), 웨이브 가이드(130), 디스플레이 모듈(140), 시선 추적기(150), 프로세서(160), 메모리(162), 카메라(170), 깊이 센서(depth sensor)(172), 위치 센서(180), 및 저장부(190)를 포함할 수 있다. 제1 가변 초점 렌즈(110), 제2 가변 초점 렌즈(120), 디스플레이 모듈(140), 시선 추적기(150), 프로세서(160), 메모리(162), 카메라(170), 깊이 센서(172), 및 저장부(190)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다. 도 3에 도시된 구성 요소 중 도 2에 도시된 구성 요소와 동일한 참조번호를 갖는 구성 요소는 도 2에 도시된 구성 요소와 동일하다. 따라서, 중복되는 설명은 생략하기로 한다.
제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120)는 각각 액정 분자(liquid crystal molecule)를 포함하고, 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다.
제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120) 각각은 인가되는 제어 전압에 따라 특정 영역의 배치되는 액정 분자들의 배열 각도를 변경함으로써, 국부적으로 굴절력을 변경할 수 있는 초점 조절 영역의 위치가 렌즈 상에서 이동될 수 있다. 제어 전압은 프로세서(160)에 의해 제어되고, 전압 제어 회로에 의해 제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120) 각각에 인가될 수 있다. 이에 대해서는 도 6a 및 도 6b 에 관한 설명 부분에서 상세하게 설명하기로 한다.
제1 가변 초점 렌즈(110)는 복수 개로 구성될 수 있다. 예를 들어, 복수의 제1 가변 초점 렌즈(110)는 사용자가 증강 현실 디바이스(100)를 착용하는 경우, 좌안에 대응되는 영역에 배치되는 제1 좌안 가변 초점 렌즈(110-1) 및 우안에 대응되는 영역에 배치되는 제1 우안 가변 초점 렌즈(110-2)를 포함할 수 있다.
제2 가변 초점 렌즈(120)는 복수 개로 구성될 수 있다. 예를 들어, 복수의 제2 가변 초점 렌즈(120)는 사용자가 증강 현실 디바이스(100)를 착용하는 경우, 좌안에 대응되는 영역에 배치되는 제2 좌안 가변 초점 렌즈(120-1) 및 우안에 대응되는 영역에 배치되는 제2 우안 가변 초점 렌즈(120-2)를 포함할 수 있다.
웨이브 가이드(130)는 투명 소재로 형성되는 광학 소자이다. 웨이브 가이드(130)는 사용자가 증강 현실 디바이스(100)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(130)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(130)는 디스플레이 모듈(140)의 출사면에 마주하여, 디스플레이 모듈(140)로부터 투사된 가상 이미지의 광을 수광할 수 있다. 웨이브 가이드(130)로 투사된 가상 이미지의 광은 전반사(total reflection) 원리에 의해 웨이브 가이드(130) 내에서 전파될 수 있다. 웨이브 가이드(130)는 광의 경로를 변경하여, 최종적으로는 사용자의 눈으로 출력하도록 하는 복수의 영역을 포함할 수 있다. 복수의 영역에는 회절 격자가 형성될 수 있다. 웨이브 가이드(130)는 도광판과 같은 기능을 수행할 수 있다. 웨이브 가이드(130)의 구체적인 형태 및 특성에 대해서는 도 9에서 상세하게 설명하기로 한다.
웨이브 가이드(130)는 복수개로 구성될 수 있다. 웨이브 가이드(130)는 좌안 웨이브 가이드(130-1) 및 우안 웨이브 가이드(130-2)를 포함할 수 있다.
일 실시예에서, 제1 좌안 가변 초점 렌즈(110-1), 제2 좌안 가변 초점 렌즈(120-1), 및 좌안 웨이브 가이드(130-1)를 좌안 렌즈부(102, 도 2 참조)를 구성할 수 있다. 일 실시예에서, 제1 우안 가변 초점 렌즈(110-2), 제2 우안 가변 초점 렌즈(120-2), 및 우안 웨이브 가이드(130-2)는 우안 렌즈부(104, 도 2 참조)를 구성할 수 있다.
디스플레이 모듈(140)은 가상 이미지를 웨이브 가이드(130)에 투사할 수 있다. 일 실시예에서, 디스플레이 모듈(140)은 광원이 백생광으로 조명되는 광학적으로 활성인 물질에 의해 변조되는 투과성 투사 기술(transmissive projection technology)을 이용하여 가상 이미지를 투사할 수 있다. 디스플레이 모듈(140)은 좌안 웨이브 가이드(130-1)와 우안 웨이브 가이드(130-2)에 동일한 가상 이미지를 투사하거나, 또는 좌안 웨이브 가이드(130-1)와 우안 웨이브 가이드(130-2)에 각각 상이한 가상 이미지를 투사할 수 있다. 여기서, 가상 이미지는 프로세서(160)에 의해 생성될 수 있다. 디스플레이 모듈(140)에 관해서는 도 9에서 상세하게 설명하기로 한다.
시선 추적기(150)는 사용자의 눈의 위치 및 방향을 추적함으로써, 사용자의 시선 방향을 나타내는 시선 벡터를 획득할 수 있다. 일 실시예에서, 시선 추적기(150)는 적외선의 각막 반사를 이용하여 시선 방향을 검출하는 기술을 이용하여 사용자의 시선 벡터를 획득할 수 있다. 시선 추적기(150)는 획득한 시선 벡터를 프로세서(160)에 제공할 수 있다.
시선 추적기(150)는 좌안에 관한 제1 시선 벡터를 획득하는 제1 시선 추적기(150-1) 및 우안에 관한 제2 시선 벡터를 획득하는 제2 시선 추적기(150-2)를 포함할 수 있다. 시선 추적기(150)가 양안의 시선 방향에 관한 시선 벡터를 획득하는 구체적인 방법은 도 5a 내지 도 5d의 설명 부분에서 상세하게 설명하기로 한다.
프로세서(160)는 메모리(162)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행함으로써, 증강 현실 디바이스(100)가 수행하는 전반적인 기능 및/또는 동작을 제어할 수 있다. 프로세서(160)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.
프로세서(160)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
메모리(162)는 하나 이상의 명령어들을 포함하는 프로그램을 저장할 수 있다. 메모리(162)는 예를 들어, 플래시 메모리 타입(flash memory type), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
프로세서(160)는 제1 좌안 가변 초점 렌즈(110-1)에 제어 전압을 인가함으로써, 제1 초점 조절 영역에 배치되는 액정 분자들의 배열 각도를 변경하고, 이를 통해 제1 초점 조절 영역의 굴절력을 조절함으로써, 제1 초점 조절 영역을 투과하는 광의 굴절률을 조절할 수 있다. 프로세서(160)는 제1 초점 조절 영역의 굴절력을 조절함으로써, 제1 좌안 가변 초점 렌즈(110-1)의 버전스를 조절할 수 있다. 버전스(vergence)는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)로서, 렌즈의 굴절력에 따라 조절될 수 있다. 일 실시예에서, 프로세서(160)는 제1 초점 조절 영역의 굴절력을 제1 방향으로 조절함으로써, 제1 좌안 가변 초점 렌즈(110-1)의 버전스를 조절하고, 가상 객체(VO)의 초점 거리를 조절할 수 있다. 제1 초점 조절 영역의 버전스를 발산 방향으로 조절하는 경우, 제1 초점 조절 영역을 투과하는 광의 경로가 길어져서 좌안의 망막 상에 맺히는 가상 객체(VO)의 초점 거리가 길어질 수 있다. 일 실시예에서, 프로세서(160)가 제1 초점 조절 영역의 버전스를 조절함으로써, 가상 객체(VO)의 초점 거리는 양안의 수렴 거리와 동일하게 조절될 수 있다.
프로세서(160)는 제1 우안 가변 초점 렌즈(110-2)에 제어 전압을 인가함으로써, 제3 초점 조절 영역에 배치되는 액정 분자들의 배열 각도를 변경하고, 이를 통해 제3 초점 조절 영역의 굴절력을 조절할 수 있다.
일 실시예에서, 프로세서(160)는 제1 시선 추적기(150-1)를 통해 획득한 제1 시선 벡터와 제2 시선 추적기(150-2)를 통해 획득한 제2 시선 벡터를 이용하여, 양안의 시선 방향이 수렴하는 응시점(gaze point)의 3차원 위치 좌표값을 계산하고, 양안과 응시점 사이의 거리인 수렴 거리(vergence distance)에 기초하여 제1 좌안 가변 초점 렌즈(110-1)의 제1 초점 조절 영역 및 제1 우안 가변 초점 렌즈(110-2)의 제3 초점 조절 영역의 굴절력을 조절할 수 있다. 프로세서(160)는 좌안 웨이브 가이드(130-1)를 통해 표시되는 가상 객체(VO)의 초점 거리를 수렴 거리와 동일하게 변경하기 위하여, 제1 초점 조절 영역의 굴절력을 조절할 수 있다. 마찬가지로, 프로세서(160)는 우안 웨이브 가이드(130-2)를 통해 표시되는 가상 객체(VO)의 초점 거리를 수렴 거리와 동일하게 변경하기 위하여 제3 초점 조절 영역의 굴절력을 조절할 수 있다.
일 실시예에서, 프로세서(160)는 응시점의 3차원 위치 좌표값에 관한 정보를 저장부(190)에 저장할 수 있다.
일 실시예에서, 제1 좌안 가변 초점 렌즈(110-1)는 복수의 제1 초점 조절 영역을 포함하고, 프로세서(160)는 복수의 제1 초점 조절 영역에 따라 서로 다른 초점 거리를 갖도록, 복수의 제1 초점 조절 영역의 굴절력을 조절할 수 있다. 일 실시예에서, 제1 우안 가변 초점 렌즈(110-2)는 복수의 제3 초점 조절 영역을 포함하고, 프로세서(160)는 복수의 제3 초점 조절 영역에 따라 서로 다른 초점 거리를 갖도록, 복수의 제3 초점 조절 영역의 굴절력을 조절할 수 있다.
프로세서(160)는 제2 좌안 가변 초점 렌즈(120-1)에 제어 전압을 인가함으로써, 제2 초점 조절 영역에 배치되는 액정 분자들의 배열 각도를 변경하고, 이를 통해 제2 초점 조절 영역을 통과하는 광의 굴절률을 조절함으로써, 제2 좌안 가변 초점 렌즈(120-1)의 굴절력을 조절할 수 있다. 일 실시예에서, 프로세서(160)는 제1 초점 조절 영역의 조절된 굴절력으로 인하여 발생되는 현실 객체가 흐릿하게 보이는 초점 왜곡을 보상하기 위하여, 제2 좌안 가변 초점 렌즈(120-1)의 제2 초점 조절 영역의 굴절력을 제1 초점 조절 영역의 조절된 굴절력에 대하여 상보적으로(complementary) 조절할 수 있다.
일 실시예에서, 프로세서(160)는 제2 초점 조절 영역의 굴절력을 제1 초점 조절 영역의 조절된 굴절력의 방향에 대하여 반대의 방향으로, 제1 초점 조절 영역의 조절된 굴절력과 동일한 굴절력으로 조절할 수 있다. 예를 들어, 제1 초점 조절 영역이 -1 디옵터(diopter)의 굴절력(refractive power)으로 조절된 경우, 프로세서(160)는 제2 초점 조절 영역의 굴절력을 +1 디옵터로 조절할 수 있다.
프로세서(160)는 제2 우안 가변 초점 렌즈(120-2)의 제4 초점 조절 영역이 제1 우안 가변 초점 렌즈(110-2)의 제3 초점 조절 영역의 버전스에 대하여 상보적으로 버전스를 형성하도록, 제4 초점 조절 영역의 굴절력을 제3 초점 조절 영역의 굴절력의 반대 방향으로, 제3 초점 조절 영역의 굴절력과 동일한 굴절력으로 조절할 수 있다.
일 실시예에서, 프로세서(160)는 제2 초점 조절 영역의 굴절력을 제1 초점 조절 영역의 굴절력과 관계없이 독립적으로(independently) 조절할 수도 있다. 일 실시예에서, 프로세서(160)는 제2 좌안 가변 초점 렌즈(120-1)를 통해 보는 현실 객체의 초점을 변경하기 위하여 제2 좌안 가변 초점 렌즈(120-1)의 제2 초점 조절 영역의 굴절력을 조절할 수도 있다. 일 실시예에서, 프로세서(160)는 사용자가 원시 또는 근시인 경우, 사용자의 시력을 교정하기 위한 목적으로 제2 좌안 가변 초점 렌즈(120-1)의 제2 초점 조절 영역 및 제2 우안 가변 초점 렌즈(120-2)의 제4 초점 조절 영역의 굴절력을 조절할 수 있다. 이 경우, 프로세서(160)는 외부 입력에 의하여 입력된 굴절률에 기초하여 제2 초점 조절 영역 및 제4 초점 조절 영역의 굴절력을 조절하거나, 또는 저장부(190)에 기 저장된 굴절률을 갖도록 제2 초점 조절 영역 및 제4 초점 조절 영역의 굴절력을 조절할 수 있다.
프로세서(160)는 시선 추적기(150)로부터 획득한 시선 벡터에 기초하여 제1 가변 초점 렌즈(110)의 제1 초점 조절 영역의 위치를 결정할 수 있다. 프로세서(160)는 제1 좌안 가변 초점 렌즈(110-1)의 제1 초점 조절 영역 및 제2 좌안 가변 초점 렌즈(120-1)의 제2 초점 조절 영역이 제1 시선 벡터의 방향에 따라 정렬되도록 제1 초점 조절 영역 및 제2 초점 조절 영역의 위치를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 제1 좌안 가변 초점 렌즈(110-1)의 전체 영역 중 제1 시선 벡터가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 획득한 2차원 위치 좌표값에 기초하여 제1 초점 조절 영역(112)의 위치를 결정할 수 있다. 마찬가지로, 프로세서(160)는 제2 좌안 가변 초점 렌즈(120-1)의 전체 영역 중 제1 시선 벡터가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 획득한 2차원 위치 좌표값에 기초하여 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 마찬가지로, 프로세서(160)는 제1 우안 가변 초점 렌즈(110-2)의 제3 초점 조절 영역 및 제2 우안 가변 초점 렌즈(120-2)의 제4 초점 조절 영역이 제2 시선 벡터의 방향에 따라 정렬되도록 제3 초점 조절 영역 및 제4 초점 조절 영역의 위치를 결정할 수 있다.
프로세서(160)는 제1 초점 조절 영역 및 제2 초점 조절 영역의 크기를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 좌안 웨이브 가이드(130-1)를 통해 사용자의 눈에 투사되는 가상 객체(VO)의 크기에 기초하여 제1 초점 조절 영역 및 제2 초점 조절 영역의 크기를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 가상 객체(VO)의 크기 및 제1 좌안 가변 초점 렌즈(110-1)와 제2 좌안 가변 초점 렌즈(120-1) 사이의 이격된 거리에 기초하여, 제1 초점 조절 영역 및 제2 초점 조절 영역의 크기를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 우안 웨이브 가이드(130-2)를 통해 투사되는 가상 객체(VO)의 크기에 기초하여 제3 초점 조절 영역 및 제4 초점 조절 영역의 크기를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 가상 객체(VO)의 크기 및 제1 우안 가변 초점 렌즈(110-2)와 제2 우안 가변 초점 렌즈(120-2) 사이의 이격된 거리에 기초하여, 제3 초점 조절 영역 및 제4 초점 조절 영역의 크기를 결정할 수 있다.
카메라(170)는 사용자가 바라보는 물리적 환경 또는 공간을 촬영하여 비디오 및 정지 이미지를 획득할 수 있다. 카메라(170)는 획득된 비디오 데이터 및 정지 이미지 데이터를 프로세서(160)로 제공할 수 있다. 일 실시예에서, 카메라(170)는 사용자의 주변 공간을 시각적으로 모니터링할 수 있다. 일 실시예에서, 카메라(170)는 프로세서(160)에 의해 구동되는 애플리케이션 내에서 하나 이상의 제어 또는 동작을 수행하거나, 애플리케이션 내의 캐릭터를 동작시키기 위하여 주변 공간의 현실 객체 뿐만 아니라, 사용자에 의하여 수행되는 제스처 또는 움직임을 캡쳐할 수 있다.
깊이 센서(172)는 사용자가 바라보는 현실 객체의 깊이 값을 측정하는 카메라일 수 있다. 깊이 센서(172)는 물리적 공간 또는 환경을 스캔하고, 물리적 공간 또는 환경 내에 배치되는 현실 객체의 깊이 값을 현실 객체의 3차원 위치 좌표값에 따라 측정하고, 측정된 깊이 값을 각각의 3차원 위치 좌표값에 따라 배치하여 깊이 맵(depth map)을 생성할 수 있다. 깊이 센서(172)는 생성된 깊이 맵을 저장부(190)에 저장할 수 있다.
일 실시예에서, 깊이 센서(172)는 현실 객체의 깊이 값을 포함하는 깊이 이미지를 획득할 수 있다. 깊이 이미지는 촬영된 장면의 2차원 픽셀 영역을 포함하는데, 여기서 2차원 픽셀 영역 내 각 픽셀이 예를 들어, 센티미터(cm), 밀리미터(mm) 등으로 깊이 센서(172)를 이용하여 촬영된 장면 내 현실 객체의 거리와 같은 깊이 값을 나타낼 수 있다.
깊이 센서(172)는 예를 들어, 스테레오(Stereo-type), ToF(Time-Of-Flight), 및 구조화된 패턴(Structured Pattern) 중 어느 하나를 이용하는 방식으로 3차원 깊이 값을 측정할 수 있다. 일 실시예에서, 깊이 센서(172)는 현실 객체에 관한 깊이 이미지를 촬영하는데 사용할 수 있는 RGB 카메라, 적외선 광 컴포넌트, 및 3차원 카메라를 포함할 수 있다.
깊이 센서(172)는 현실 객체에 관한 깊이 값을 포함하는 깊이 이미지를 프로세서(160)에 전송하거나, 또는 저장부(190)에 저장할 수 있다. 일 실시예에서, 프로세서(160)는 깊이 센서(172)로부터 깊이 이미지를 획득하거나, 또는 저장부(190)에 기 저장된 깊이 맵을 로드(load)함으로써 현실 객체의 깊이 값을 획득하고, 획득된 깊이 값에 기초하여 가상 객체(VO)의 초점 거리를 변경하기 위하여 제1 초점 조절 영역의 굴절력을 조절할 수 있다. 일 실시예에서, 프로세서(160)는 제1 초점 조절 영역의 굴절력을 조절함으로써, 제1 좌안 가변 초점 렌즈(110-1)의 버전스를 조절하고, 버전스의 조절을 통해 가상 객체(VO)의 초점 거리를 조절할 수 있다. 현실 객체의 깊이 값을 이용하여 가상 객체(VO)의 초점 거리를 조절하는 구체적인 방법에 대해서는 도 13a 및 도 13b에서 상세하게 설명하기로 한다.
위치 센서(180)는 증강 현실 디바이스(100)의 위치 정보를 획득할 수 있다. 일 실시예에서, 위치 센서(180)는 증강 현실 디바이스(100)가 현재 위치한 장소 또는 위치 좌표를 획득할 수 있다. 예를 들어, 위치 센서(180)는 GPS 센서를 포함할 수 있다.
저장부(190)는 프로세서(160)에 의해 생성된 가상 이미지, 카메라(170)에 의해 촬영된 현실 객체 이미지, 및 깊이 센서(172)를 통해 촬영된 현실 객체에 관한 깊이 이미지 또는 깊이 맵 중 적어도 하나를 저장할 수 있다. 일 실시예에서, 저장부(190)에는 제1 좌안 가변 초점 렌즈(110-1)의 제1 초점 조절 영역 및 제2 좌안 가변 초점 렌즈(120-1)의 제2 초점 조절 영역의 굴절력에 관한 정보가 저장될 수도 있다. 일 실시예에서, 저장부(190)에는 제1 우안 가변 초점 렌즈(110-2)의 제3 초점 조절 영역 및 제2 우안 가변 초점 렌즈(120-2)의 제4 초점 조절 영역의 굴절력에 관한 정보가 저장될 수 있다.
저장부(190)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 및 광디스크 중 적어도 하나의 타입의 저장 매체로 구성될 수 있으나, 전술한 예시로 한정되는 것은 아니다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 동작 방법을 도시한 흐름도이다.
단계 S410에서, 증강 현실 디바이스(100)는 제1 시선 추적기(eye tracker)를 이용하여, 좌안의 시선 방향에 관한 제1 시선 벡터를 획득하고, 제2 시선 추적기를 이용하여, 우안의 시선 방향에 관한 제2 시선 벡터를 획득한다. 제1 시선 추적기 및 제2 시선 추적기는 양안의 눈동자의 위치 및 방향을 추적함으로써, 사용자의 시선 방향을 나타내는 제1 시선 벡터 및 제2 시선 벡터를 획득하고, 획득된 제1 시선 벡터 및 제2 시선 벡터를 증강 현실 디바이스(100)에 제공할 수 있다. 일 실시예에서, 시선 추적기는 적외선의 각막 반사를 이용하여 시선 방향을 검출하는 기술을 이용하여 사용자의 시선 벡터를 획득할 수 있다. 일 실시예에서, 시선 추적기는 비전 기술을 이용하여 눈동자의 이미지를 획득하고, 획득된 이미지를 이용하여 눈동자의 위치 변화를 추적하고, 추적된 위치 변화에 기초하여 시선 벡터를 획득할 수 있다. 시선 추적기는 획득된 제1 시선 벡터 및 제2 시선 벡터 각각의 벡터값 및 벡터의 방향에 관한 데이터를 프로세서(160, 도 3 참조)에 제공할 수 있다.
단계 S420에서, 증강 현실 디바이스(100)는 획득된 제1 시선 벡터에 기초하여 제1 좌안 가변 초점 렌즈의 제1 초점 조절 영역의 위치를 결정하고, 제2 시선 벡터에 기초하여 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 위치를 결정한다. 제1 좌안 가변 초점 렌즈 및 제1 우안 가변 초점 렌즈는 인가되는 제어 전압 위상에 따라 제1 초점 조절 영역 및 제3 초점 조절 영역에 각각 배치되는 액정 분자들의 배열 각도를 변경함으로써, 제1 초점 조절 영역 및 제3 초점 조절 영역을 투과하는 광의 굴절률을 조절할 수 있는 액정 렌즈일 수 있다. 일 실시예에서, 제1 좌안 가변 초점 렌즈 및 제1 우안 초점 조절 렌즈는 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다.
일 실시예에서, 프로세서(160, 도 3 참조)는 시선 추적기로부터 획득한 제1 시선 벡터 및 제2 시선 벡터 각각의 벡터값 및 벡터의 방향에 관한 데이터에 기초하여, 사용자의 좌안 및 우안에서의 시선이 제1 좌안 가변 초점 렌즈 및 제1 우안 가변 초점 렌즈 상에 도달하는 위치 좌표값을 계산할 수 있다. 프로세서(160)는 계산된 위치 좌표값에 기초하여 제1 초점 조절 영역 및 제3 초점 조절 영역을 각각 결정할 수 있다.
증강 현실 디바이스(100)는 제1 좌안 가변 초점 렌즈의 전체 영역 중 제1 시선 벡터가 통과하는 영역인 제1 초점 조절 영역에 관한 굴절력을 조절할 수 있다. 마찬가지로, 증강 현실 디바이스(100)는 제1 우안 가변 초점 렌즈의 전체 영역 중 제2 시선 벡터가 통과하는 영역이 제3 초점 조절 영역에 관한 굴절력을 조절할 수 있다. 제1 시선 벡터의 방향이 변경됨에 따라 제1 초점 조절 영역의 위치는 변경되고, 제2 시선 벡터의 방향이 변경됨에 따라 제3 초점 조절 영역의 위치는 변경될 수 있다.
단계 S430에서, 증강 현실 디바이스(100)는 양안 시차(binocular disparity)에 따라 제1 시선 벡터와 제2 시선 벡터가 수렴하는 응시점(gaze point)을 검출한다. 일 실시예에서, 응시점은 삼각 측량(triangulate) 방법에 의해 검출될 수 있다. 증강 현실 디바이스는 양안 사이의 거리, 제1 시선 벡터 및 제2 시선 벡터에 기초하여 응시점의 3차원 위치 좌표값을 계산할 수 있다. 증강 현실 디바이스(100)는 양안과 검출된 응시점 간의 거리인 수렴 거리(vergence distance)를 계산할 수 있다.
단계 S440에서, 증강 현실 디바이스(100)는 검출된 응시점에 기초하여 제1 초점 조절 영역 및 제3 초점 조절 영역의 굴절력(refractive power)을 조절한다. 일 실시예에서, 증강 현실 디바이스(100)는 수렴 거리에 기초하여 가상 객체의 초점 거리를 조절하기 위하여, 제1 초점 조절 영역 및 제3 초점 조절 영역의 굴절력(refractive power)을 조절할 수 있다. 제1 초점 조절 영역 및 제3 초점 조절 영역의 굴절력의 조절에 의해 제1 초점 조절 영역 및 제3 초점 조절 영역에 형성되는 버전스(vergence)가 조절될 수 있다.
일 실시예에서, 증강 현실 디바이스(100)는 응시점 상에 배치되는 현실 객체의 수렴 거리를 획득하고, 수렴 거리에 기초하여 가상 객체가 현실 객체와 동일한 초점 거리를 갖도록 제1 초점 조절 영역 및 제3 초점 조절 영역의 굴절력을 조절할 수 있다. 증강 현실 디바이스는 제1 초점 조절 영역의 굴절력을 조절함으로써, 제1 초점 조절 영역에 형성되는 버전스를 발산 방향으로 변경하고, 이를 통해 좌안의 망막 상에 맺히는 가상 객체의 초점 거리를 조절할 수 있다. 마찬가지로, 증강 현실 디바이스는 제3 초점 조절 영역의 굴절력을 조절함으로써, 제3 초점 조절 영역에 형성되는 버전스를 발산 방향으로 변경하고, 이를 통해 우안의 망막 상에 맺히는 가상 객체의 초점 거리를 조절할 수 있다.
일 실시예에서, 프로세서(160, 도 3 참조)는 제1 좌안 가변 초점 렌즈의 복수의 여기 전극에 인가되는 제어 전압의 양을 제어함으로써, 제1 초점 조절 영역의 굴절력을 조절할 수 있다. 프로세서(160)는 제1 좌안 가변 초점 렌즈의 복수의 여기 전극 중 굴절력을 조절할 대상 영역인 제1 초점 조절 영역의 위치에 해당되는 여기 전극에 제어 전압을 인가하고, 제어 전압의 양을 조절함으로써 제1 초점 조절 영역의 굴절력을 조절할 수 있다. 프로세서(160)가 초점 조절 렌즈의 초점 조절 영역의 위치를 결정하고, 초점 조절 영역의 굴절력을 조절하는 구체적인 방법에 대해서는 도 6a 및 도 6b에서 상세하게 설명하기로 한다.
일 실시예에서, 증강 현실 디바이스(100)는 깊이 센서를 이용하여 촬영한 깊이 이미지 내에 포함되는 현실 객체의 깊이 값을 획득하고, 획득된 현실 객체의 깊이 값에 기초하여 가상 객체의 초점 거리가 조절되도록 제1 초점 조절 영역 및 제3 초점 조절 영역의 굴절력을 조절할 수 있다.
단계 S450에서, 증강 현실 디바이스(100)는 제2 좌안 가변 초점 렌즈의 제2 초점 조절 영역 및 제2 우안 가변 초점 렌즈의 제4 초점 조절 영역 각각의 굴절력을 제1 초점 조절 영역 및 제3 초점 조절 영역 각각의 굴절력에 대하여 상보적으로(complementary) 조절한다. 일 실시예에서, 증강 현실 디바이스(100)는 제2 초점 조절 영역 및 제4 초점 조절 영역이 각각 제1 초점 조절 영역 및 제3 초점 조절 영역의 버전스에 대하여 상보적으로 버전스를 형성하도록, 제2 초점 조절 영역 및 제4 초점 조절 영역의 굴절력을 조절할 수 있다. 단계 S440에서 조절된 제1 초점 조절 영역의 버전스에 의해 가상 객체의 초점 거리가 변경되었지만, 제1 초점 조절 영역의 버전스에 의해 현실 객체에 관한 초점 거리도 변경됨으로써 현실 객체가 흐릿하게 보이는 초점 왜곡이 발생될 수 있다. 증강 현실 디바이스(100)는 제1 좌안 가변 초점 렌즈의 제1 초점 조절 영역 및 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 조절된 버전스로 인하여 발생되는 현실 객체의 초점 왜곡을 보상하기 위하여, 제2 좌안 가변 초점 렌즈의 제2 초점 조절 영역 및 제2 우안 가변 초점 렌즈의 제4 초점 조절 영역의 굴절력을 제1 초점 조절 영역 및 제3 초점 조절 영역 각각의 굴절력의 반대 방향으로, 제1 초점 조절 영역 및 제3 초점 조절 영역의 조절된 굴절력과 동일한 굴절력으로 조절할 수 있다. 예를 들어, 증강 현실 디바이스(100)는 제1 초점 조절 영역이 -1 디옵터(D)의 굴절력으로 조절되는 경우, 제2 초점 조절 영역의 굴절력을 +1 디옵터(D)로 조절할 수 있다. 마찬가지로, 증강 현실 디바이스는 제3 초점 조절 영역이 -2 디옵터(D)의 굴절력으로 조절되는 경우, 제4 초점 조절 영역의 굴절력을 +2 디옵터(D)로 조절할 수 있다.
단계 S460에서, 증강 현실 디바이스는 웨이브 가이드에 가상 이미지를 투사(project)한다. 웨이브 가이드는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 소재로 구성되는 광학 소자이다. 웨이브 가이드는 단층 또는 다층 구조의 평판 형태로 형성될 수 있다. 웨이브 가이드는 광의 회절 원리를 통해 광의 방향을 바꾸어 사용자의 눈에 전달하는 도광판의 기능을 수행할 수 있다. 웨이브 가이드는 디스플레이 모듈(140, 도 3 참조)로부터 가상 이미지의 광을 수광하는 제1 영역, 제1 영역에 입사된 가상 이미지의 광이 전파되는 제2 영역, 및 제2 영역에서 전파되는 가상 이미지의 광의 방향을 사용자의 눈 방향으로 바꾸어 가상 이미지를 출력하는 제3 영역을 포함할 수 있다. 제1 영역, 제2 영역, 및 제3 영역에는 회절 격자가 형성될 수 있다. 웨이브 가이드의 제1 영역, 제2 영역, 및 제3 영역에 형성된 회절 격자로 인하여 디스플레이 모듈(140)로부터 투사된 가상 이미지가 사용자의 눈까지 전달되고, 이를 통해 사용자는 가상 이미지의 가상 객체를 관측할 수 있다. 웨이브 가이드의 구조 및 도광 원리에 관해서는 도 9에서 상세하게 설명하기로 한다.
디스플레이 모듈(140, 도 3 참조)은 시선 추적기에 의해 획득된 제1 시선 벡터 및 제2 시선 벡터에 기초하여 프로세서(160, 도 3 참조)에 의해 결정된 위치 좌표값에 가상 객체가 표시되도록 가상 이미지를 웨이브 가이드에 투사할 수 있다.
증강 현실 디바이스는 시선 벡터에 기초하여 웨이브 가이드(130, 도 3 참조)를 통해 출력되는 가상 이미지의 일부 영역인 가상 객체의 위치를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 시선 추적기(150)로부터 좌안 웨이브 가이드(130-1)의 전체 영역 중 제1 시선 벡터가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 2차원 위치 좌표값에 가상 객체가 표시되도록 가상 이미지를 생성할 수 있다. 프로세서(160)는 디스플레이 모듈(140)에 생성된 가상 이미지의 이미지 데이터를 제공할 수 있다. 프로세서(160)는 디스플레이 모듈(140)은 광원을 제어함으로써 가상 이미지에 광을 결합하고, 가상 이미지의 가상 객체가 좌안 웨이브 가이드(130-1)의 2차원 위치 좌표값에 대응되는 영역에 표시되도록 가상 이미지를 투사할 수 있다.
도 5a는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 시선 추적기(150)를 도시한 도면이다.
도 5a를 참조하면, 시선 추적기(150)는 적외선 조사부(152) 및 복수의 적외선 검출부(154a 내지 154f)를 포함할 수 있다. 도 8a에서 복수의 적외선 검출부(154a 내지 154f)는 6개로 도시되어 있지만, 이는 설명의 편의를 위한 것이고, 복수의 적외선 검출부(154a 내지 154f)의 개수가 도시된 바와 같이 한정되는 것은 아니다.
적외선 조사부(152)는 눈(30)의 수정체(32)가 배치되는 각막 부분에 적외선 광을 조사하고, 복수의 적외선 검출부(154a 내지 154f)는 각막으로부터 반사된 적외선 광을 검출할 수 있다. 일 실시예에서, 적외선 조사부(152)는 눈(30) 방향으로 적외선 광을 조사하도록, 적외선 광의 경로를 변경하는 반사판(reflector)를 포함할 수 있다. 일 실시예에서, 시선 추적기(150)는 복수의 적외선 검출부(154a 내지 154f) 각각에 의해 검출된 적외선의 광의 양에 관한 정보를 획득하고, 획득된 적외선의 광량에 기초하여 사용자의 눈(30)이 바라보는 시선 방향을 결정하고, 시선 방향을 나타내는 시선 벡터를 획득할 수 있다. 시선 추적기(150)는 획득된 시선 벡터의 벡터값 및 벡터의 방향에 관한 데이터를 프로세서(160, 도 3 참조)에 제공할 수 있다.
도 5b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 시선 추적기(153)를 도시한 도면이다.
도 5b를 참조하면, 시선 추적기(153)는 사용자의 눈(30)에서 반사되는 반사광(511, 512, 513, 514, 515)의 위치에 기초하여, 사용자의 시선을 추적하고, 이를 통해 시선 벡터를 획득할 수 있다. 시선 추적기(153)는 광원(153a) 및 카메라(153b)를 포함할 수 있다.
광원(153a)는 적외선 발광 다이오드(IR LED)를 포함할 수 있다. 도 5b에 도시된 실시예에서, 광원(153a)는 서로 다른 위치에 배치되는 복수의 발광 다이오드를 포함할 수 있다. 광원(153a)는 사용자의 눈(30)을 촬영할 때, 눈(30)에 광(예를 들어, 적외선 광)을 제공할 수 있다. 사용자의 눈(30)에 광이 제공됨에 따라, 사용자의 눈(30)에서 반사되는 반사광이 생성될 수 있다.
카메라(153b)는 적어도 하나의 카메라로 구성될 수 있다. 카메라(153b)는 적외선 카메라(IR)로 구현될 수 있다. 증강 현실 디바이스는 카메라(153b)에 의해 촬영된 사용자의 눈(30)에 관한 영상들(501 내지 505)을 이용하여, 사용자의 눈(30)의 시선을 추적할 수 있다. 예를 들어, 시선 추적기(153)은, 사용자의 눈 영상(501 내지 505)에서 동공(500)과 반사광(511 내지 515)을 검출함으로써, 사용자의 시선을 추적하고, 이를 통해 시선 벡터를 획득할 수 있다. 시선 추적기(153)는 사용자의 눈 영상(501 내지 505)에서 동공(500) 및 반사광(511 내지 515)의 위치를 검출하고, 동공(500)의 위치와, 반사광(511 내지 515)의 위치 사이의 관계에 기초하여, 사용자의 눈(30)의 시선 방향을 결정할 수 있다.
예를 들어, 시선 추적기(153)는 촬영된 제1 눈 영상(501)에서, 동공(500) 및 반사광(511)을 검출하고, 동공(500)의 위치와 반사광(511)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(521)을 결정할 수 있다. 동일한 방식으로, 제2 내지 제5 눈 영상들(502, 503, 504, 505) 각각에서 동공(500) 및 반사광(512, 513, 514, 515)을 검출하고, 동공(500)의 위치와 반사광(512, 513, 514, 515)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(522, 523, 524, 525)을 결정할 수 있다.
일 실시예에서, 시선 추적기(153)는 결정된 시선 방향에 관한 정보에 기초하여 시선 벡터를 획득할 수 있다. 시선 추적기(153)는 획득된 시선 벡터의 벡터값 및 벡터의 방향에 관한 데이터를 프로세서(160, 도 3 참조)에 제공할 수 있다.
다른 실시예에서, 시선 추적기(153)는 복수의 눈 영상(501 내지 505)에서 검출된 동공(500)의 위치와 반사광(511 내지 515)의 위치에 관한 좌표값만을 프로세서(160, 도 3 참조)에 제공하고, 프로세서(160)는 시선 추적기(153)로부터 획득한 좌표값에 기초하여 사용자의 눈(30)의 시선 벡터를 계산할 수 있다.
도 5c는 사용자의 시선에 대한 3차원 안구 모델을 나타내는 도면이다.
도 5c를 참조하면, 증강 현실 디바이스는 시선 추적기(150, 153)를 이용하여, 사용자의 눈(30)의 시선 방향을 결정할 수 있다. 예를 들어, 증강 현실 디바이스는 사람의 평균적인 안구 모델을 바탕으로 시선 방향을 결정할 수 있다. 안구 모델은 사람의 안구(30)를 구 형상으로 가정하고, 시선 방향에 따라 안구(30)가 이상적으로 회전 운동을 한다고 가정함으로써, 모델링될 수 있다. 또한, 안구 모델은, 다음의 수학식 1 및 2와 같이 수학적으로 표현될 수 있다.
Figure pat00001
Figure pat00002
수학식 1 에서, d는 사용자의 눈의 중심(33)과 가상의 스크린(530) 사이의 거리를 나타내며, α는 사용자의 눈이 가상의 스크린(530)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 x축 방향으로 회전한 각도를 나타내며, β는 사용자의 눈이 가상의 스크린(530)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 y축 방향으로 회전한 각도를 나타낸다. 또한, 수학식 2에서, r은 사용자의 눈을 구로 가정했을 때, 구의 반지름을 나타낸다.
본 개시의 일 실시예에 따른 시선 추적기(150, 153)는 도 5a 및 도 5b에서 설명한 방법을 이용하여, 사용자의 눈(30)의 회전 정도(예를 들어, α 및 β)를 측정할 수 있고, 증강 현실 디바이스는 사용자의 눈(30)의 회전 정도(α 및 β)를 이용하여, 가상의 스크린(530) 상에서의 사용자의 눈(30)의 시선 방향의 2차원 위치 좌표값을 계산할 수 있다.
도 5d는 본 개시의 일 실시예에 따른 시선 추적기의 캘리브레이션을 수행하는 방법을 설명하기 위하여 참조되는 도면이다.
도 5d를 참조하면, 사용자가 증강 현실 디바이스를 처음 사용할 때, 좌안 및 우안의 시선 방향을 정확하게 측정하기 위하여, 시선 추적기(150, 153)를 캘리브레이션(Calibration)하는 과정을 수행할 수 있다. 증강 현실 디바이스는 사용자의 시선을 유도하기 위한 복수의 점이 표시된 서로 다른 깊이(예를 들어, d1, d2, d3)를 가지는 가상의 이미지들(VI1, VI2, VI3)을 출력하여, 복수의 점들 각각에 대해 사용자가 응시하는 것을 유도할 수 있다. 도 5d에서 가상의 이미지들(VI1, VI2, VI3) 각각에는 9개의 점이 표시된 것으로 도시되었지만, 이는 예시적인 것이고 점의 개수가 9개로 한정되는 것은 아니다.
증강 현실 디바이스는 사용자가 가상의 이미지들(VI1, VI2, VI3)에 포함되는 각각의 점을 응시할 때, 시선 추적기(150, 153)에서 출력되는 데이터(예를 들어, 시선 벡터)를 테이블 형태로 저장부(190, 도 3 참조)에 저장할 수 있다.
도 5a에 도시된 실시예와 같이, 각막에서 반사된 적외선 광량을 이용하여 시선을 추적하는 방식에서는, 각각의 지점에서의 반사 각도와 광량 정보를 시선 정보로서 테이블 형태로서 저장부(190)에 미리 저장할 수 있다. 도 5b에 도시된 실시예와 같이, 적외선 광을 이용하여 사용자 눈을 촬영하는 방식에서는 각각의 지점마다 촬영된 사용자 눈과 반사광이 포함된 영상을 시선 정보로서 연계하여 저장부(190)에 미리 저장할 수 있다.
증강 현실 디바이스는 기 저장된 시선 정보와 시선 추적기(150, 153)에서 출력되는 시선 정보를 비교하여 사용자의 눈의 시선 방향을 결정할 수 있다. 증강 현실 디바이스의 프로세서(160, 도 3 참조)는 시선 추적기(150, 153)에서 출력되는 시선 정보를 이용하여, 좌안 및 우안의 시선 방향을 결정할 수 있다. 일 실시예에서, 프로세서(160)는 시선 추적기(150, 153)로부터 출력되는 시선 정보를 이용하여 좌안의 시선 방향을 나타내는 제1 시선 벡터 및 우안의 시선 방향을 나타내는 제2 시선 벡터를 계산할 수 있다.
증강 현실 디바이스는 양안 시차(binocular disparity)와 좌안의 시선 방향 및 우안의 시선 방향에 관한 시선 정보를 이용하여, 응시점(G, 도 2 참조)의 위치 좌표값을 추정할 수 있다. 예를 들어, 프로세서(160, 도 3 참조)는 좌표 매핑 등을 이용하여, 도 2에서 설명한 전체 공간에서 사용자가 응시하는 지점(응시점, G)이 3차원 위치 좌표값(예를 들어, x 좌표값, y 좌표값, 및 z 좌표값)으로 매핑되도록 미리 설정되거나, 또는 응시점(G)의 3차원 위치 좌표값을 테이블 형태로 저장부(190)에 저장할 수 있다.
도 6a는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 가변 초점 렌즈(600)를 도시한 사시도이다.
도 6a를 참조하면, 가변 초점 렌즈(600)는 액정 층(610), 공통 전극(620), 투명 박막(transparent film)(630), 및 여기 전극(640, 650)을 포함할 수 있다. 도면에는 도시되지 않았지만, 가변 초점 렌즈(600)는 공통 전극(620)의 하면에 접하여 형성되는 투명층을 더 포함할 수 있다.
가변 초점 렌즈(600)는 전력 공급부(VAC)로부터 여기 전극(640, 650)을 통해 인가되는 제어 전압에 기초하여 액정 분자(612)들의 배열 각도를 변경함으로써, 광의 굴절률을 조절할 수 있는, 전기적으로 조정 가능한 액정 렌즈(electrically tunable Liquid Crystal lens)일 수 있다. 일 실시예에서, 가변 초점 렌즈(600)는 픽셀 그리드(pixel grid)를 갖는 전기 광학 재료를 포함할 수 있다. 픽셀은 N행 및 M열의 매트릭스로 배열될 수 있다. N×M 픽셀 각각은 모든 다른 픽셀에 독립적인 일 세트의 가능한 값(gray level)을 수용할 수 있다.
액정 층(610)은 복수의 액정 분자(612)를 포함하는 전기 광학층일 수 있다. 액정 층(610)은 인가되는 제어 전압에 의해 액정의 물성이 변경되는 전기 광학층일 수 있다. 일 실시예에서, 액정 층(610)은 편광 독립적인(polarization-independent) 액정 층(예를 들어, cholesteric liquid crystal)으로 구성될 수 있다. 액정 층(610)은 여기 전극(640, 550)을 통해 인가되는 제어 전압에 의하여 활성 영역 내의 특정 영역 내에 배치되는 액정 분자(612)들의 배열 각도가 변경됨으로써, 특정 영역의 굴절률이 국부적으로(locally) 조절될 수 있다.
공통 전극(620) 및 여기 전극(640, 650)은 전력 공급부(VAC)로부터 제어 전압을 공급받고, 공급된 제어 전압을 액정 층(610)에 인가할 수 있다. 공통 전극(620)은 액정 층(610)의 제1 면(610-1)에 접하여 배치될 수 있다.
여기 전극(640, 650)은 액정 층(610)의 제1 면(610-1)에 대향되는 제2 면(610-2) 상에서 투명 박막(630)의 상면에 접하여 배치될 수 있다. 여기 전극(640, 650)은 투명 박막(630)의 상면에 X축 및 Y축 방향을 따라 직교하는 방향으로 배향되는 제1 어레이 여기 전극(640) 및 제2 어레이 여기 전극(650)을 포함할 수 있다. 제1 어레이 여기 전극(640) 및 제2 어레이 여기 전극(650)은 각각 활성 영역 위로 뻗어있는 도전성 재료의 평행 스트립을 포함할 수 있다. 일 실시예에서, 제1 어레이 여기 전극(640) 및 제2 어레이 여기 전극(650)은 인듐 주석 산화물(Indium Tin Oxidel; ITO)과 같은 투명 도전성 재료로 구성될 수 있다.
제1 어레이 여기 전극(640)의 스트립과 제2 어레이 여기 전극(650)의 스트립이 오버랩되는 영역에 의해서 픽셀(pixel)이 정의될 수 있다. 제1 어레이 여기 전극(640)의 스트립과 제2 어레이 여기 전극(650)의 스트랩 사이의 중심 대 중심 거리는 픽셀 어레이의 피치(pitch)를 정의하고, 스트립의 폭(width)은 픽셀의 크기를 정의할 수 있다.
프로세서(160, 도 2 및 도 3 참조)는 전력 공급부(VAC)를 통해 제1 어레이 여기 전극(640) 및 제2 어레이 여기 전극(650) 각각에 위상 변조 프로파일을 갖는 제어 전압 파형을 인가하고, 제1 어레이 여기 전극(640) 및 제2 어레이 여기 전극(650) 각각에 인가된 제어 전압을 변조할 수 있다. 프로세서(160)는 액정 층(610)에서 특정한 위상 변조 프로파일을 생성하기 위하여, 제1 어레이 여기 전극(640) 및 제2 어레이 여기 전극(650)에 인가된 제어 전압 파형을 동시에 변조할 수도 있다.
프로세서(160)에 의해 변조된 파형을 갖는 제어 전압이 인가됨에 따라, 가변 초점 렌즈(600)는 인가된 제어 전압이 갖는 위상 변조 프로파일에 의해 활성 영역 내의 특정 영역에서 국부적으로(locally) 굴절력이 조절될 수 있다. 가변 초점 렌즈(600)는 조절된 굴절력에 따라 버전스(vergence)가 렌즈로서 기능할 수 있다. 여기서, 버전스는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)로서, 가변 초점 렌즈(600)의 굴절력에 따라 조절될 수 있다. 일 실시예에서, 가변 초점 렌즈(600)는 렌즈의 굴절력을 조절하여 광선 또는 광 경로를 변경함으로써, 버전스를 조절할 수 있다.
프로세서(160)는 가변 초점 렌즈(600)의 특정 영역, 즉 초점 조절 영역의 버전스를 조절함으로써, 초점 거리를 변경할 수 있다. 프로세서(160)가 가변 초점 렌즈(600)의 특정 영역(612A, 도 6b 참조)의 위치를 결정하고, 특정 영역(612A)의 굴절력을 조절하는 구체적인 방법은 도 6b에서 상세하게 설명하기로 한다.
도 6b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 가변 초점 렌즈(600)가 초점 조절 영역의 굴절력을 조절하는 방법을 도시한 사시도이다. 도 6b에서, 가변 초점 렌즈(600)는 좌안 또는 우안의 제1 가변 초점 렌즈(110-1, 110-2, 도 2 참조)이거나, 제2 가변 초점 렌즈(120-1, 120-2, 도 2 참조)일 수 있다.
도 6b를 참조하면, 가변 초점 렌즈(600)는 액정 층(610), 공통 전극(620), 복수의 제1 어레이 여기 전극(640-1 내지 640-5), 복수의 제2 어레이 여기 전극(650-1 내지 650-5)을 포함할 수 있다. 도 6b에서는 설명의 편의를 위해 도 6a와 달리 투명 박막(630)은 도시되지 않았다.
복수의 제1 어레이 여기 전극(640-1 내지 640-5)은 X축 방향을 따라 나열되고, 복수의 제2 어레이 여기 전극(650-1 내지 650-5)은 Y축 방향을 따라 나열될 수 있다. 복수의 제1 어레이 여기 전극(640-1 내지 640-5)과 복수의 제2 어레이 여기 전극(650-1 내지 650-5)은 서로 직교하도록 배열될 수 있다.
복수의 제1 어레이 여기 전극(640-1 내지 640-5) 각각에는 전력 공급부(VAC)로부터 복수의 제1 어레이 여기 전극(640-1 내지 640-5)에 인가되는 제어 전압을 제어하는 복수의 제1 드라이버 단자(660-1 내지 660-5)가 연결될 수 있다. 복수의 제2 어레이 여기 전극(650-1 내지 650-5) 각각에는 전력 공급부(VAC)로부터 복수의 제2 어레이 여기 전극(650-1 내지 650-5)에 인가되는 제어 전압을 제어하는 복수의 제2 드라이버 단자(670-1 내지 670-5)가 연결될 수 있다.
컨트롤러(680)는 복수의 제1 드라이버 단자(660-1 내지 660-5), 복수의 제2 드라이버 단자(670-1 내지 670-5), 및 전력 공급부(VAC)와 연결될 수 있다.
컨트롤러(680)는 복수의 제1 드라이버 단자(660-1 내지 660-5) 및 복수의 제2 드라이버 단자(670-1 내지 670-5)를 제어함으로써, 복수의 제1 어레이 여기 전극(640-1 내지 640-5) 및 복수의 제2 어레이 여기 전극(650-1 내지 650-5)에 인가되는 제어 전압을 제어하고, 이를 통해 특정 영역에 배치되는 액정 분자들의 배열 각도를 조절할 수 있다. 도 6b에 도시된 것과는 달리, 가변 초점 렌즈(600)는 복수의 제1 드라이버 단자(660-1 내지 660-5) 및 복수의 제2 드라이버 단자(670-1 내지 670-5)를 포함하지 않고, 컨트롤러(680)가 복수의 제1 어레이 여기 전극(640-1 내지 640-5) 및 복수의 제2 어레이 여기 전극(650-1 내지 650-5)와 직접 연결될 수 있다.
컨트롤러(680)는 프로세서(160)로부터 사용자의 눈의 시선 방향을 나타내는 시선 벡터값 및 벡터의 방향 정보를 포함하는 시선 정보를 수신하고, 프로세서(160)로부터 수신한 시선 정보에 기초하여 초점을 조절할 A 영역(612A)의 위치를 결정할 수 있다. 일 실시예에서, 시선 추적기(150)는 사용자의 눈의 시선 방향을 추적함으로써, 시선 벡터를 획득하고, 획득된 시선 벡터를 프로세서(160)에 제공할 수 있다. 프로세서(160)는 시선 벡터의 벡터 방향에 기초하여, 가변 초점 렌즈(600)의 전체 영역 중 시선이 도달하는 영역에 관한 위치 좌표값을 계산하고, 계산된 위치 좌표값에 관한 정보를 컨트롤러(680)에 제공할 수 있다. 컨트롤러(680)는 프로세서(160)로부터 획득한 위치 좌표값에 기초하여 초점을 조절할 대상 영역인 A 영역(612A)을 결정할 수 있다.
도 6b에 도시된 실시예에서, 액정 층(610)에 포함되는 복수의 액정 분자들(612) 중 A 영역(612A)에 배치되는 액정 분자들의 배열 각도를 변경하기 위해서, 복수의 제1 어레이 여기 전극(640-1 내지 640-5) 중 제1-2 여기 전극(640-2), 제1-3 여기 전극(640-3), 및 제1-4 여기 전극(640-4)에 전압이 인가되도록 제어하고, 복수의 제2 어레이 여기 전극(650-1 내지 650-5) 중 제2-2 여기 전극(650-2), 제2-3 여기 전극(650-3), 및 제2-4 여기 전극(650-4)에 전압이 인가되도록 제어할 필요가 있다. 일 실시예에서, 컨트롤러(680)는 제1-2 드라이버 단자(660-2) 내지 제1-4 드라이버 단자(660-4)와 제2-2 드라이버 단자(670-2) 내지 제2-4 드라이버 단자(670-4)를 제어함으로써, 전력 공급부(VAC)에 의해 제1-2 여기 전극(640-2), 제1-3 여기 전극(640-3), 및 제1-4 여기 전극(640-4)에 전압이 인가되도록 제어하고, 제2-2 여기 전극(650-2), 제2-3 여기 전극(650-3), 및 제2-4 여기 전극(650-4)에 전압이 인가되도록 제어할 수 있다. 이 경우, 컨트롤러(680)는 제1-1 드라이버 단자(660-1) 및 제1-5 드라이버 단자(660-5)를 제어함으로써, 제1-1 여기 전극(640-1) 및 제1-5 여기 전극(640-5)에는 전압이 인가되지 않도록 제어하고, 제2-1 드라이버 단자(670-1) 및 제2-5 드라이버 단자(670-5)를 제어함으로써, 제2-1 여기 전극(650-1) 및 제2-5 여기 전극(650-5)에는 전압이 인가되지 않도록 제어할 수 있다.
컨트롤러(680)는 전력 공급부(VAC)로부터 제어 전압을 인가하거나, 인가하지 않는 제어만을 수행하는 것은 아니고, 전력 공급부(VAC)로부터 인가되는 제어 전압의 크기를 제어할 수도 있다. 컨트롤러(680)는 인가되는 제어 전압을 크기를 제어함으로써, 액정 분자들의 배열 각도의 크기를 조절할 수 있다. 예를 들어, 컨트롤러(680)가 제1-2 드라이버 단자(660-2)의 제어를 통해 제1-2 여기 전극(640-2)에 인가되는 제어 전압을 제1 크기만큼 인가하고, 제1-3 드라이버 단자(660-3)의 제어를 통해 제1-3 여기 전극(640-3)에 인가되는 제어 전압을 제1 크기보다 큰 제2 크기만큼 인가하면, 액정 층(610)의 전체 영역 중 제1-3 여기 전극(640-3)이 배치되는 영역에 위치하는 액정 분자들의 배열 각도는 제1-2 여기 전극(640-2)이 배치되는 영역에 위치하는 액정 분자들의 배열 각도보다 더 큰 각도로 조절될 수 있다.
즉, 컨트롤러(680)는 복수의 제1 드라이버 단자(660-1 내지 660-5) 및 복수의 제2 드라이버 단자(670-1 내지 670-5)를 통해 복수의 제1 어레이 여기 전극(640-1 내지 640-5) 및 복수의 제2 어레이 여기 전극(650-1 내지 650-5)에 인가되는 제어 전압의 위상 프로파일을 변조함으로써, 액정 층(610)의 전체 영역 중 액정 분자들(612)의 배열 각도가 변경되는 영역을 결정하고, 이를 통해 가변 초점 렌즈(600)의 A 영역(612A)을 초점 조절 영역으로 결정할 수 있다. 또한, 컨트롤러(680)는 제어 전압의 위상 프로파일을 변조함으로써, 액정 층(610) 내의 액정 분자들의 배열 각도를 조절함으로써, 가변 초점 렌즈(600)의 초점 조절 영역의 굴절력을 조절할 수 있다.
전술한 실시예에서는, A 영역(612A)에 배치되는 액정 분자들의 배열 각도를 변경하여, 가변 초점 렌즈(600)의 A 영역(612A)에 해당되는 영역의 굴절력을 조절하는 방법을 설명하였다. 가변 초점 렌즈(600)가 좌안 또는 우안 중 어느 하나의 제1 가변 초점 렌즈(110-1, 110-2, 도 2 참조)인 경우, 제2 가변 초점 렌즈(120-1, 120-2, 도 2 참조)에서의 굴절력을 조절하는 영역, 즉 초점 조절 영역은 시선 방향에 따라 다르게 결정될 수 있다. 예를 들어, 제1 가변 초점 렌즈에서 A 영역(612A)을 초점 조절 영역으로 결정하는 경우, 제2 가변 초점 렌즈의 전체 영역 중 시선 방향에 따라 제1 가변 초점 렌즈의 A 영역(612A)의 위치와 정렬되는(align) 영역을 초점 조절 영역으로 결정할 수 있다.
일 실시예에서, 시선 방향에 관한 정보는 시선 추적기(150)로부터 획득될 수 있다. 프로세서(160)는 시선 추적기(150)로부터 획득한 시선 방향 정보를 이용하여, 제2 가변 초점 렌즈의 전체 영역 중 제1 가변 초점 렌즈의 A 영역(612A)과 시선 방향에 따라 정렬되는 영역의 위치를 결정할 수 있다.
도 6b에 도시된 실시예에서 가변 초점 렌즈(600)가 제2 가변 초점 렌즈인 경우, A 영역(612A)과 시선 방향에 따라 정렬되는 영역은 제1-3 여기 전극(640-3) 내지 제1-5 여기 전극(640-5) 및 제2-1 여기 전극(650-1) 내지 제2-3 여기 전극(650-3)이 교차하여 배치되는 영역일 수 있다. 액정 층(610)에 포함되는 복수의 액정 분자들(612) 중 A 영역(612A)과 시선 방향에 따라 정렬되는 영역에 배치되는 액정 분자들의 배열 각도를 변경하기 위해서는, 복수의 제1 어레이 여기 전극(640-1 내지 640-5) 중 제1-3 여기 전극(640-3), 제1-4 여기 전극(640-4), 및 제1-5 여기 전극(640-5)에 전압이 인가되도록 제어하고, 복수의 제2 어레이 여기 전극(650-1 내지 650-5) 중 제2-1 여기 전극(650-1), 제2-2 여기 전극(650-2), 및 제2-3 여기 전극(650-3)에 전압이 인가되도록 제어할 필요가 있다. 일 실시예에서, 컨트롤러(680)는 프로세서(160)로부터 수신한 시선 방향에 관한 정보에 기초하여, 제1-3 드라이버 단자(660-3) 내지 제1-5 드라이버 단자(660-5)와 제2-1 드라이버 단자(670-1) 내지 제2-3 드라이버 단자(670-3)를 제어함으로써, 전력 공급부(VAC)에 의해 제1-3 여기 전극(640-3), 제1-4 여기 전극(640-4), 및 제1-5 여기 전극(640-5)에 전압이 인가되도록 제어하고, 제2-1 여기 전극(650-1), 제2-2 여기 전극(650-2), 및 제2-3 여기 전극(650-3)에 전압이 인가되도록 제어할 수 있다. 이 경우, 컨트롤러(680)는 제1-1 드라이버 단자(660-1) 및 제1-2 드라이버 단자(660-2)를 제어함으로써, 제1-1 여기 전극(640-1) 및 제1-2 여기 전극(640-2)에는 전압이 인가되지 않도록 제어하고, 제2-4 드라이버 단자(670-4) 및 제2-5 드라이버 단자(670-5)를 제어함으로써, 제2-4 여기 전극(650-4) 및 제2-5 여기 전극(650-5)에는 전압이 인가되지 않도록 제어할 수 있다.
상기와 같은 방법으로, 제1 가변 초점 렌즈의 A 영역(612A)과 제2 가변 초점 렌즈의 초점 조절 영역의 위치를 결정하고, 결정된 초점 조절 영역의 굴절력을 조절할 수 있다. 시선 방향에 따라 제1 가변 초점 렌즈의 제1 초점 조절 영역 및 제2 가변 초점 렌즈의 제2 초점 조절 영역의 위치를 결정하는 구체적인 방법에 대해서는 도 11a 및 도 11b에서 상세하게 설명하기로 한다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 가변 초점 렌즈(600)의 버전스 형성을 도시한 개념도들이다.
도 7a 및 도 7b를 참조하면, 가변 초점 렌즈(600)의 액정 층(610)은 특정 위상 프로파일을 갖도록 변조된 제어 전압이 인감됨에 따라, 활성 영역 내의 특정 위치에 배치되는 액정 분자들(612)의 배열 각도가 변경될 수 있다. 액정 층(610)의 특정 영역에 배치된 액정 분자들(612)의 배열 각도가 변경됨에 따라, 액정 분자들(612)을 통과하는 광의 굴절률이 변경될 수 있다. 광의 굴절률이 변경되면, 가변 초점 렌즈(600)의 굴절력이 변경되고, 따라서 가변 초점 렌즈(600)를 투과하는 광의 경로가 바뀜으로써 버전스(vergence)가 변경될 수 있다. 버전스는 가변 초점 렌즈(600)를 투과하는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)이다. 버전스는 가변 초점 렌즈(600)의 굴절력에 따라 조절될 수 있다.
도 7a에 도시된 실시예에서, 액정 층(610)에 포함되는 액정 분자들(612)의 배열 각도가 변경된 영역을 통과하는 광은 양(positive)의 버전스를 형성하고, 이에 따라 가변 초점 렌즈(600)는 볼록 렌즈(convex lenz)와 같은 기능을 수행할 수 있다. 양의 버전스가 형성되는 경우, 초점 거리는 짧아질 수 있다.
도 7b에 도시된 실시예에서, 액정 층(610)에 포함되는 액정 분자들(612)의 회전 각도가 변경된 영역을 통과하는 광은 음(negative)의 버전스를 형성하고, 이에 따라 가변 초점 렌즈(600)는 오목 렌즈(concave lenz)와 같은 기능을 수행할 수 있다. 음의 버전스가 형성되는 경우, 초점 거리는 길어질 수 있다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 가변 초점 렌즈의 굴절력을 조절하여 초점 거리를 변경하는 방법에 관한 흐름도이다.
단계 S810에서, 증강 현실 디바이스는 제1 초점 조절 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 제1 좌안 가변 초점 렌즈에 인가한다. 일 실시예에서, 증강 현실 디바이스의 프로세서(160, 도 6b 참조)는 시선 추적기(150, 도 6b 참조)에 의해 획득한 시선 벡터에 기초하여, 가변 초점 렌즈의 전체 영역 중 사용자의 눈의 시선이 닿는 영역에 관한 위치 좌표값을 계산할 수 있다. 프로세서(160)는 계산된 위치 좌표값을 가변 초점 렌즈의 컨트롤러(680, 도 6b 참조)에 제공하고, 컨트롤러(680)는 위치 좌표값에 기초하여 초점을 조절할 대상 영역인 제1 초점 조절 영역의 위치를 결정할 수 있다.
컨트롤러(680)는 전력 공급부(VAC, 도 6a 및 도 6b 참조)를 통해 복수의 제1 어레이 여기 전극(640-1 내지 540-5, 도 6b 참조) 및 복수의 제2 어레이 여기 전극(650-1 내지 550-5, 도 6b 참조) 각각에 위상 변조 프로파일을 갖는 제어 전압 파형을 인가하고, 복수의 제1 어레이 여기 전극(640-1 내지 540-5) 및 복수의 제2 어레이 여기 전극(650-1 내지 550-5) 각각에 인가된 제어 전압을 변조할 수 있다. 프로세서(160)는 컨트롤러(680)를 통해 복수의 제1 어레이 여기 전극(640-1 내지 540-5) 및 복수의 제2 어레이 여기 전극(650-1 내지 550-5)이 오버랩되어 형성되는 픽셀들 중 제1 초점 조절 영역에 해당되는 영역 내에 배치되는 픽셀들에 대하여, 다른 픽셀들과 다른 위상값을 갖도록 제어 전압을 변조할 수 있다.
단계 S820에서, 증강 현실 디바이스는 제어 전압에 기초하여, 제1 좌안 가변 초점 렌즈의 액정 분자들 중 제1 초점 조절 영역의 위치에 배치되는 액정 분자들이 배열된 각도를 변경함으로써, 제1 초점 조절 영역의 굴절력을 조절한다. 증강 현실 디바이스는 위상 변조 프로파일을 갖는 제어 전압을 제1 좌안 가변 초점 렌즈에 인가함으로써, 액정 층에 포함되는 전체 액정 분자들 중 제1 초점 조절 영역에 해당되는 영역에 배치되는 액정 분자들의 배열 각도를 변경할 수 있다. 제1 초점 조절 영역에 해당되는 영역 내의 액정 분자들의 배열 각도가 변경됨에 따라, 제1 초점 조절 영역을 투과하는 광의 굴절력이 변경될 수 있다. 증강 현실 디바이스는 제1 초점 조절 영역에 해당되는 영역 내의 액정 분자들의 배열 각도를 조절함으로써, 제1 초점 조절 영역의 굴절력을 조절할 수 있다.
단계 S830에서, 증강 현실 디바이스는 조절된 굴절력을 통해 제1 초점 조절 영역의 버전스(vergence)를 조절한다. 증강 현실 디바이스는 제1 초점 조절 영역의 굴절력을 조절함으로써, 광의 경로를 조절하고, 이를 통해 광의 수렴 또는 발산 정도를 조절할 수 있다. 일 실시예에서, 증강 현실 디바이스는 제1 초점 조절 영역의 굴절력을 양(positive) 또는 음(negative) 방향으로 조절함으로써, 눈의 수정체를 통과하여 망막에 맺히는 상의 거리인 초점 거리를 짧거나 길게 조절할 수 있다. 제1 초점 조절 영역이 양의 버전스를 갖도록 굴절력이 조절되는 경우 제1 초점 조절 영역은 볼록 렌즈와 같은 기능을 수행할 수 있다. 제1 초점 조절 영역이 음의 버전스를 갖도록 굴절력이 조절되는 경우, 제1 초점 조절 영역은 오목 렌즈와 같은 기능을 수행할 수 있다.
일 실시예에서, 제1 초점 조절 영역은 음의 버전스를 형성하도록 음의 방향으로 굴절력이 조절될 수 있다. 이 경우, 좌안 웨이브 가이드(130-1)를 통해 사용자의 눈으로 출력되는 가상 객체의 초점 거리는 길어질 수 있다.
도 8을 통해 설명된 제1 초점 조절 영역의 버전스를 조절하는 방법은 제1 우안 가변 초점 렌즈에도 적용될 수 있다. 본 개시의 증강 현실 디바이스는 도 8에 도시된 방법을 이용하여, 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 굴절력을 조절하고, 이를 통해 제3 초점 조절 영역의 버전스를 조절할 수 있다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 웨이브 가이드(130) 및 디스플레이 모듈(140)을 도시한 사시도이다.
도 9를 참조하면, 웨이브 가이드(130)는 사용자가 증강 현실 디바이스를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(130)의 배면은 사용자가 증강 현실 디바이스를 착용할 때, 사용자의 눈이 마주하는 면을 의미하고, 웨이브 가이드(130)의 전면은 상기 배면에 대향되는 면(즉, 사용자의 눈에서 먼 쪽)을 의미한다.
웨이브 가이드(130)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(130)는 디스플레이 모듈(140)의 출사면(142)에 마주하여 투사된 가상 이미지(VI)의 광을 입력받는 제1 영역(132), 제1 영역(132)에 입사된 가상 이미지(VI)의 광이 전파되는 제2 영역(134), 및 제2 영역(134)에서 전파되는 가상 이미지(VI)의 광을 사용자의 눈 방향으로 출력하는 제3 영역(136)을 포함할 수 있다. 여기서, 투명 재질이라 함은, 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다.
일 실시예에서, 웨이브 가이드(130)는 투명 재질로 형성됨에 따라, 사용자는 증강 현실 디바이스를 통해 가상 이미지(VI)의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 장면(scene)을 볼 수도 있으므로, 웨이브 가이드(130)는 시스루 디스플레이(see through display)로 지칭될 수 있다. 웨이브 가이드(130)를 통해 가상 이미지(VI)의 가상 객체를 출력함으로써, 증강 현실(argumented reality)이 구현될 수 있다.
제1 영역(132), 제2 영역(134), 및 제3 영역(136)에는 가상 이미지(VI)의 광의 광 경로를 변경할 수 있도록 하는 회절 격자가 형성될 수 있다. 웨이브 가이드(130)는 제1 영역(132), 제2 영역(134), 및 제3 영역(136)에 형성된 회절 격자를 이용하여, 가상 이미지(VI)의 광의 전파 경로를 변경하고, 최종적으로는 제3 영역(136)을 통해 반사된 가상 이미지(VI)의 광이 사용자의 눈으로 출력될 수 있도록 도광판의 기능을 수행할 수 있다.
제1 영역(132)은 디스플레이 모듈(140)의 출사면(142)으로부터 입사되는 가상 이미지(VI)의 광을 결합(coupling)하여 X축 방향으로 전달할 수 있도록 회절 격자가 형성될 수 있다. 디스플레이 모듈(140)은 출사되는 광이 제1 영역(132)에 수직하거나 혹은 소정 각도로 경사지게 입사되도록 배치될 수 있다. 이와 같은 디스플레이 모듈(140)의 배치 방향은 제1 영역(132)의 회절 격자의 패턴에 따라 달라 질 수 있다.
제2 영역(134)은 제1 영역(132)을 기준으로 X축 방향으로 이격되어 배치될 수 있다. 제2 영역(134)은 제1 영역(132)으로부터 전달받은 광의 적어도 일부를 Z축 방향을 따라 아래로 전파하도록 회절 격자가 형성될 수 있다. 웨이브 가이드(130)가 단층 구조로 형성되는 경우, 제2 영역(134)의 회절 격자는 제1 영역(132)의 회절 격자와 동일 면상에 형성될 수 있다. 또는 웨이브 가이드(130)가 다층 구조로 형성되는 경우, 제2 영역(134)의 회절 격자는 제1 영역(132)의 회절 격자가 형성된 층과 다른 층에 형성될 수 있다. 제1 영역(132)에 입사되는 광은 웨이브 가이드(130)의 전면과 배면 사이에서 반사되면서 전파된다.
제3 영역(136)은 제2 영역(134)을 기준으로 Z축 방향으로 아래쪽에 이격되어 배치될 수 있다. 제3 영역(136)은 제2 영역(134)으로부터 전파된 광의 적어도 일부가 2차원 면에서 출력하도록 회절 격자가 형성될 수 있다. 웨이브 가이드(130)가 단층 구조로 형성되는 경우, 제3 영역(136)의 회절 격자는 제1 영역(132) 및 제2 영역(134)의 회절 격자와 동일면 상에 형성될 수 있다. 또는, 웨이브 가이드(130)가 다층 구조로 형성되는 경우, 제3 영역(136)의 회절 격자는 제2 영역(134)의 회절 격자가 형성된 층과 다른 층에 형성될 수 있으며, 제1 영역(132)의 회절 격자와 동일 층 혹은 다른 층에 형성될 수 있다.
제1 영역(132)의 회절 격자와, 격자는 제2 영역(134)의 회절 격자와, 제3 영역(136)의 회절 격자는 서로 다른 패턴을 가질 수 있다.
디스플레이 모듈(140)은 프로세서(160, 도 2 및 도 3 참조)에 의해 생성된 가상 이미지(VI)를 광과 결합하여 출사면(142)을 통해 웨이브 가이드(130)로 투사할 수 있다. 본 개시의 디스플레이 모듈(140)은 프로젝터(projector)와 같은 기능을 수행할 수 있다.
디스플레이 모듈(140)은 조명 광학계, 광경로 변환기, 화상 패널, 빔 스필리터, 및 투사 광학계를 더 포함할 수 있다.
조명광학계는 광을 조명하는 광학부품으로서, 광원과 렌즈들을 포함할 수 있다. 광원은 RGB의 컬러를 조절함으로써, 광을 생성하는 구성 요소로서, 예를 들어 발광 다이오드(LED)로 구성될 수 있다.
화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서 반사하는 반사형 화상 패널일 수 있다. 반사형 화상 패널은 예를 들어, DMD (Digital Micromirror Device) 패널 또는 LCoS (Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다. DMD 패널은 광원에서 출력된 광의 RGB를 각각 픽셀 크기의 복수의 거울로 조명하고, 복수의 거울들 각각을 on/off로 스위칭함으로써, 광의 RGB를 혼합하여 가상 이미지(VI)를 투사하는 DLP(Digital Light Processing) 방식으로 동작될 수 있다. LCoS 패널은 광원에서 출력된 광을 특정 파장의 광만을 통과시키는 미러(mirror)를 통해 RGB로 각각 분리하여 화상 패널로 입력되고, RGB가 혼합되어 생성된 가상 이미지(VI)를 투사하는 LCD(Liquid Crystal Display) 방식으로 동작될 수 있다.
빔 스플리터는 화상 패널과 투사 광학계 사이에 배치될 수 있다. 빔 스플리터는 광원에서 출력된 광을 반사하여 화상 패널에 의해 반사된 광을 투과하도록 구성될 수 있다.
투사 광학계는 화상 패널에 의해 반사된 이미지를 담은 광을 웨이브 가이드(130)에 투사하는 구성 요소로서, 하나 또는 복수의 투사 렌즈들을 포함할 수 있다. 도 9에 도시된 실시예에서, 투사 광학계의 투사면은 하나 또는 복수의 투사 렌즈들 중 최외측 투사렌즈의 출사면(142)을 의미한다.
디스플레이 모듈(140)은 프로세서(160, 도 2 및 도 3 참조)로부터 가상 이미지(VI)를 구성하는 이미지 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상 이미지(VI)를 생성하고, 가상 이미지(VI)를 광원으로부터 출력된 광과 결합하여 출사면(142)을 통해 웨이브 가이드(130)에 투사할 수 있다. 일 실시예에서, 프로세서(160)는 가상 이미지(VI)를 구성하는 복수의 픽셀의 RGB 컬러 및 휘도 값을 포함하는 이미지 데이터를 디스플레이 모듈(140)에 제공할 수 있다. 디스플레이 모듈(140)은 복수의 픽셀 각각의 RGB 컬러 값과 휘도 값을 이용하여 이미지 프로세싱을 수행하고, 광원을 제어함으로써 가상 이미지(VI)를 웨이브 가이드(130)에 투사할 수 있다.
일 실시예에서, 디스플레이 모듈(140)은 저장부(190, 도 3 참조)에 저장된 이미지 데이터를 이용하여 가상 이미지(VI)를 생성하고, 광원을 제어함으로써 가상 이미지(VI)와 광을 결합하고, 가상 이미지(VI)의 광을 웨이브 가이드(130)에 투사할 수 있다.
도 10a 및 도 10b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 시선 방향에 따라 가변 초점 렌즈의 초점 조절 영역의 위치를 변경하는 방법을 도시한 도면들이다.
도 10a 및 도 10b에서 제1 가변 초점 렌즈(110)는 제1 초점 조절 영역(112)을 포함하고, 제2 가변 초점 렌즈(120)는 제2 초점 조절 영역(122)을 포함할 수 있다. 웨이브 가이드(130)는 제1 가변 초점 렌즈(110)와 제2 가변 초점 렌즈(120) 사이에 배치되고, 가상 이미지의 가상 객체(VO)를 투사할 수 있다. 가상 객체(VO)는 가상 이미지의 일부 영역에 표시되는 가상의 객체일 수 있다.
도 10a를 참조하면, 증강 현실 디바이스는 사용자의 시선 방향에 따라 제1 초점 조절 영역(112), 제2 초점 조절 영역(122), 및 가상 이미지(VO)의 위치를 결정할 수 있다. 일 실시예에서, 증강 현실 디바이스의 시선 추적기(150)는 사용자의 눈(30)의 위치 및 방향을 추적함으로써, 시선 방향을 나타내는 시선 벡터를 획득할 수 있다. 시선 추적기(150)는 획득된 시선 벡터를 프로세서(160, 도 2 및 도 3 참조)에 제공하고, 프로세서(160)는 시선 벡터의 방향에 따라 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)이 정렬(align)되도록 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 제1 가변 초점 렌즈(110)의 전체 영역 중 시선 벡터가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 획득한 2차원 위치 좌표값에 기초하여 제1 초점 조절 영역(112)의 위치를 결정할 수 있다. 마찬가지로, 프로세서(160)는 제2 가변 초점 렌즈(120)의 전체 영역 중 시선 벡터가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 획득한 2차원 위치 좌표값에 기초하여 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 프로세서(160)는 가상 이미지 중 현실 객체와 관련된 정보를 제공하는 가상 객체(VO)가 제1 초점 조절 영역(112), 제2 초점 조절 영역(122)과 시선 벡터의 방향에 따라 정렬되도록, 가상 객체(VO)가 표시되는 위치를 결정할 수 있다.
도 10b를 참조하면, 증강 현실 디바이스는 사용자의 시선 방향이 변경됨에 따라, 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 변경할 수 있다. 사용자의 눈(30)이 수평 방향을 바라보다가 수평 방향에 대하여 α°만큼 위 방향을 바라보는 경우, 시선 추적기(150)는 눈(30)의 위치 및 방향 변화를 추적함으로써, 변경된 시선 방향을 나타내는 시선 벡터를 획득하고, 변경된 시선 벡터를 프로세서(160)에 제공할 수 있다. 프로세서(160)는 변경된 시선 벡터에 기초하여, 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 변경할 수 있다. 일 실시예에서, 프로세서(160)는 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)이 변경된 시선 벡터의 방향에 따라 정렬되도록, 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 변경할 수 있다.
일 실시예에서, 증강 현실 디바이스는 프로세서(160, 도 2 및 도 3 참조)에 의해 제어 전압의 위상 프로파일을 변조하고, 변조된 위상 프로파일을 갖는 제어 전압을 여기 전극(640, 550, 도 6a 참조)에 인가함으로써, 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 변경할 수 있다. 제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120)는 전체 영역 중 초점이 변경되는 일부 영역, 즉 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)을 포함하고, 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치는 시선 벡터의 방향에 따라 변경되는바, 제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120)는 무빙 렌즈(moving lens)와 같은 기능을 수행할 수 있다.
도 11a 및 도 11b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 벡터에 기초하여 제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120)의 초점 초점 조절 영역의 위치를 변경하는 방법을 도시한 도면들이다.
도 11a를 참조하면, 증강 현실 디바이스는 현실 객체(10)를 바라보는 사용자의 시선 방향을 나타내는 시선 벡터를 획득할 수 있다. 일 실시예에서, 시선 추적기는 시선 방향을 나타내는 제1 시선 벡터 p(u, v)를 획득할 수 있다. 시선 추적기는 획득한 제1 시선 벡터 p(u, v)를 프로세서(160, 도 2 및 도 3 참조)에 제공할 수 있다.
증강 현실 디바이스는 양안 시차와 제1 시선 벡터 p(u, v)의 방향에 기초하여, 응시점(G)을 검출할 수 있다. 도면에는 도시되지 않았지만, 증강 현실 디바이스의 프로세서(160)는 양안 시차와 좌안에 관하여 획득된 제1 시선 벡터 p(u, v) 및 우안에 관하여 획득된 제2 시선 벡터를 이용하여, 응시점(G)의 3차원 위치 좌표값을 계산할 수 있다. 프로세서(160)는 사용자의 눈(30)으로부터 응시점(G)를 잇는 가상의 선(l)을 인식할 수 있다. 프로세서(160)는 제1 가변 초점 렌즈(110)의 전체 영역 중 가상이 선(l)이 제1 가변 초점 렌즈(110)와 만나는 위치에 관한 좌표 정보를 획득할 수 있다. 프로세서(160)는 제1 가변 초점 렌즈(110) 상에서 가상의 선(l)이 만나는 위치를 포함하는 영역을 제1 초점 조절 영역(112)으로 결정할 수 있다. 제1 초점 조절 영역(112)은 원 형태로 형성될 수 있으나, 이에 한정되지는 않는다.
증강 현실 디바이스는 제1 초점 조절 영역(112)과 제2 초점 조절 영역(122)이 제1 시선 벡터 p(u, v)의 방향에 따라 정렬되도록, 시선 벡터에 기초하여 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 제1 시선 벡터 p(u, v)와 응시점(G)을 잇는 가상의 선(l)을 따라 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)이 정렬되도록, 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 일 실시예에서, 제1 초점 조절 영역(112), 제2 초점 조절 영역(122), 및 가상 객체(VO)는 가상의 선(l)을 따라 정렬될 수 있다.
증강 현실 디바이스는, 웨이브 가이드(130)를 통해 출력되는 가상 이미지의 가상 객체(VO)의 크기에 기초하여 제1 초점 조절 영역(112)의 크기를 결정할 수 있다.
일 실시예에서, 증강 현실 디바이스는 제1 가변 초점 렌즈(110)와 제2 가변 초점 렌즈(120) 간의 이격된 거리에 기초하여 제2 초점 조절 영역(122)의 크기를 결정할 수 있다. 이에 관해서는 도 5a 및 도 15b에서 상세하게 설명하기로 한다.
도 11b를 참조하면, 사용자가 X축 방향으로 이동되는 현실 객체(10)를 바라보는 경우, 시선 추적기는 사용자의 시선 방향을 추적하고, 변경된 제2 시선 벡터 p'(u', v')를 획득할 수 있다. 시선 추적기는 제2 시선 벡터 p'(u', v')를 프로세서(160)에 제공할 수 있다. 프로세서(160) 는 변경된 제2 시선 벡터 p'(u', v')에 기초하여, 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 변경할 수 있다.
증강 현실 디바이스는 제2 시선 벡터 p'((u', v')와 양안 시차 정보를 이용하여 응시점(G)을 검출할 수 있다. 일 실시예에서, 프로세서(160) 는 사용자의 눈(30)과 응시점(G)을 잇는 가상의 선(l)을 인식하고, 제1 가변 초점 렌즈(110)의 전체 영역 중 가상이 선(l)이 제1 가변 초점 렌즈(110)와 만나는 위치에 관한 좌표 정보를 획득할 수 있다. 프로세서(160)는 제1 가변 초점 렌즈(110) 상에서 가상의 선(l)이 만나는 위치를 포함하는 영역을 제1 초점 조절 영역(112)으로 결정할 수 있다. 프로세서(160)는 제1 초점 조절 영역(112)과 제2 초점 조절 영역(122)이 제2 시선 벡터 p'(u', v')의 방향에 따라 정렬되도록, 시선 벡터에 기초하여 제2 초점 조절 영역(122)의 위치를 결정할 수 있다. 일 실시예에서, 프로세서(160)는 제2 시선 벡터 p'(u', v')에 기초하여 획득된 가상의 선(l)을 따라 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)이 정렬되도록, 제2 초점 조절 영역(122)의 위치를 결정할 수 있다.
도 11a와 도 11b를 함께 참조하면, 증강 현실 디바이스는 현실 객체(10)가 이동하는 경우, 시선 추적기를 통해 획득한 시선 벡터에 기초하여 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 변경할 수 있다. 다른 실시예에서, 사용자가 다른 현실 객체(10)를 바라보면 시선의 방향이 변경될 수 있는데, 이 경우 증강 현실 디바이스는 시선 추적기를 이용하여 시선 벡터의 방향의 변화를 추적하고, 시선 벡터의 방향 변화에 따라 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(122)의 위치를 변경할 수 있다.
도 12a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 초점 거리를 조절하는 방법을 설명하기 위한 도면이고, 도 12b는 증강 현실 디바이스(100)를 통해 현실 객체 상에 표시되는 가상 이미지를 도시한 도면이다.
도 12a를 참조하면, 증강 현실 디바이스(100)는 가상 이미지 중 사용자가 바라보는 현실 객체에 관한 정보를 제공하는 가상 객체(VO)를 웨이브 가이드(130)에 투사하고, 제1 가변 초점 렌즈(110)의 제1 초점 조절 영역(112)의 굴절력을 조절함으로써, 제1 가변 초점 렌즈(110)의 버전스를 조절할 수 있다. 제1 초점 조절 영역(112)의 버전스가 조절됨에 따라 가상 객체(VO)의 초점 거리가 조절될 수 있다.
증강 현실 디바이스(100)는 제1 초점 조절 영역(112)의 굴절력을 조절함으로써, 제1 초점 조절 영역(112)의 버전스를 조절할 수 있다. 버전스(vergence)는 제1 초점 조절 영역(112)을 투과하는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)이다. 버전스가 조절됨에 따라 수정체(32)로 입사되는 광의 경로가 변경되고, 이를 통해 망막(34)에 맺히는 초점의 위치가 달라짐으로써, 초점 거리가 조절될 수 있다.
도 12a에 도시된 실시예에서, 증강 현실 디바이스(100)는 제1 초점 조절 영역(112)의 버전스를 조절함으로써, 웨이브 가이드(130)를 통해 표시되는 가상 객체(VO)의 초점 거리를 조절할 수 있다. 증강 현실 디바이스(100)는 양안 시차와 좌안의 시선 방향 및 우안의 시선 방향을 이용하여 좌안의 시선 방향 및 우안의 시선 방향이 수렴되는 응시점(G)을 검출하고, 삼각 측량(triangulate) 방법을 이용하여 양안과 응시점(G) 간의 거리인 수렴 거리(vergence distance)(dcon)를 계산할 수 있다. 일 실시예에서, 증강 현실 디바이스(100)는 가상 객체(VO)가 표시되는 웨이브 가이드(130)와 양안과의 물리적 거리인 초점 거리(df)를 수렴 거리(dcon)에 기초하여 변경할 수 있다. 일 실시예에서, 증강 현실 디바이스(100)의 프로세서(160)는 양안을 통해 가상 객체(VO)에 수렴되는 초점 거리를 수렴 거리(dcon)과 동일하도록 △d 만큼 시프트(shift)하기 위하여, 제1 초점 조절 영역(112)의 버전스를 조절할 수 있다. 여기서, 거리 △d는 사용자가 증강 현실 디바이스(100)를 착용한 상태에서 가상 객체(VO)를 관측할 때 어지러움을 느끼지 않는 거리로서, 프로세서(160)에 의해 계산되고, 저장부(190, 도 3 참조)에 저장될 수 있다.
일 실시예에서, 제1 초점 조절 영역(112)은 음(negative)의 버전스를 형성하도록 광 경로를 굴절시키고, 따라서 수정체(32)를 투과하는 광의 경로를 길게 변경하여 망막(34)에 맺히는 초점 위치를 변경하는 오목 렌즈(concave lenz)와 같은 기능을 수행할 수 있다. 음의 버전스가 형성되는 경우, 가상 객체(VO)의 초점 거리는 길어질 수 있다. 일 실시예에서, 증강 현실 디바이스(100)는 제1 초점 조절 영역(112)의 조절된 버전스에 의한 현실 객체 또는 물리적 공간이 희미하거나 흐릿하게 보이는 초점 왜곡을 보상하기 위하여, 제2 가변 초점 렌즈(120)의 제2 초점 조절 영역(122)의 버전스가 제1 초점 조절 영역(112)의 버전스에 대하여 상보적으로(complementary) 형성되도록, 제2 초점 조절 영역(122)의 굴절력을 조절할 수 있다. 제2 초점 조절 영역(122)의 굴절력을 제1 초점 조절 영역(112)의 굴절력에 대하여 상보적으로 조절하는 방법은 도 1 및 도 3에 관한 설명 부분에서 설명하였는바, 중복되는 설명은 생략한다.
도 12b를 참조하면, 증강 현실 디바이스(100)는 제1 가변 초점 렌즈(110), 제2 가변 초점 렌즈(120), 및 웨이브 가이드(130)를 통해 바라보는 현실 객체(10) 상에 현실 객체(10)와 관련된 정보를 나타내는 가상 객체(VO)를 표시할 수 있다. 가상 객체(VO)는 웨이브 가이드(130)에 의한 회절을 통해 사용자의 눈으로 출력되는 가상 이미지의 일부를 의미한다.
일 실시예에서, 증강 현실 디바이스(100)는 카메라(170, 도 12a 참조)를 통해 사용자가 바라보는 물리적 환경 또는 공간을 촬영하여 이미지를 획득하고, 획득된 이미지를 프로세서(160, 도 12a 참조)에 제공할 수 있다. 프로세서(160)는 이미지 프로세싱(image processing)을 통해, 획득된 이미지 내에서 현실 객체(10)를 인식하고, 현실 객체(10)와 관련된 정보를 포함하는 가상 객체 (VO)를 생성할 수 있다. 도 12b에 도시된 실시예에서, 증강 현실 디바이스(100)는 카메라(170)를 통해 지하철 출입구를 촬영하여 지하철 출입구에 관한 이미지를 획득하고, 프로세서(160)는 지하철 출입구에서 지하철 노선 및 출구 정보가 기재된 현실 객체(10)를 인식하고, 인식된 현실 객체(10)와 관련된 정보, 즉 '지하철 서비스가 중단되었다'는 정보를 나타내는 GUI를 포함하는 가상 객체(VO)를 생성할 수 있다.
일 실시예에서, 증강 현실 디바이스(100)는 위치 센서(180, 도 3 참조)를 이용하여 증강 현실 디바이스(100)를 착용하고 있는 사용자의 위치 정보를 획득하고, 획득된 위치 정보와 관련된 정보를 포함하는 가상 객체(VO)를 생성할 수도 있다. 예를 들어, 증강 현실 디바이스(100)는 길 안내 UI, 네비게이션 UI 등을 포함하는 가상 객체(VO)를 생성할 수 있다.
증강 현실 디바이스(100)는 생성된 가상 이미지를 웨이브 가이드(130) 에 투사(project)하고, 제1 초점 조절 영역(112)의 굴절력을 조절함으로써, 제1 초점 조절 영역(112)의 버전스를 형성하고, 이를 통해 망막(34)에 맺히는 가상 이미지의 일 영역인 가상 객체(VO)의 초점 거리를 변경할 수 있다.
도 13a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 초점 거리를 조절하는 방법을 설명하기 위한 도면이고, 도 13b는 증강 현실 디바이스(100)를 통해 현실 객체 상에 표시되는 가상 이미지를 도시한 도면이다.
도 13a를 참조하면, 시선 추적기는 사용자의 눈의 시선 방향을 추적함으로써, 시선 벡터를 획득하고, 획득한 시선 벡터를 프로세서(160)에 제공할 수 있다. 프로세서(160)는 시선 벡터에 기초하여, 사용자가 바라보는 현실 객체(10) 상의 응시점(G)을 검출할 수 있다. 일 실시예에서, 프로세서(160)는 시선 추적기를 이용하여 좌안의 시선 방향을 나타내는 제1 시선 벡터를 획득하고, 우안의 시선 방향을 나타내는 제2 시선 벡터를 획득할 수 있다. 프로세서(160)는 양안 시차와 제1 시선 벡터, 및 제2 시선 벡터에 기초하여 양안의 시선이 수렴하는 응시점(G)의 3차원 위치 좌표값을 계산할 수 있다. 프로세서(160)는 양안과 응시점(G) 간의 거리인 수렴 거리(vergence distance)(dcon)를 계산할 수 있다. 일 실시예에서, 수렴 거리(dcon)는 삼각 측량(triangulate) 방법에 의해 결정될 수 있다.
프로세서(160)는 응시점(G)에 기초하여 사용자가 바라보는 현실 객체(10)를 인식하고, 현실 객체(10)에 관한 깊이 값(depth) 정보를 획득할 수 있다. 일 실시예에서, 깊이 센서(172)는 사용자 주변의 물리적 공간 또는 환경을 스캔하고, 물리적 공간 또는 환경 내에 배치되는 현실 객체(10)의 깊이 값을 측정할 수 있다. 깊이 센서(172)는 물리적 공간 또는 환경 내의 현실 객체(10)의 3차원 위치 좌표값에 따라 깊이 값을 측정하고, 측정된 깊이 값을 각각의 3차원 위치 좌표값에 따라 배치하여 깊이 맵(depth map)을 생성할 수 있다. 깊이 센서(172)는 예를 들어, 스테레오(Stereo-type), ToF(Time-Of-Flight), 및 구조화된 패턴(Structured Pattern) 중 어느 하나를 이용하는 방식으로 현실 객체의 깊이 값을 측정할 수 있다.
깊이 센서(172)는 깊이 맵을 저장부(190, 도 3 참조)에 저장할 수 있다. 프로세서(160)는 저장부(190)로부터 깊이 맵을 로드(load)하여, 응시점(G) 상에 배치되는 현실 객체(10)와 사용자 간의 거리인 깊이 값(depth) 정보를 획득할 수 있다.
일 실시예에서, 깊이 센서(172)는 응시점(G)의 3차원 위치 좌표값을 프로세서(160)로부터 획득하고, 획득된 3차원 위치 좌표값에 해당되는 깊이 값을 측정하여 프로세서(160)에 제공할 수도 있다.
증강 현실 디바이스(100)는 제1 가변 초점 렌즈(110)의 제1 초점 조절 영역(112)의 굴절력을 조절함으로써, 제1 초점 조절 영역(112)의 버전스를 조절할 수 있다. 프로세서(160)는 제1 초점 조절 영역(112)의 버전스를 조절함으로써, 웨이브 가이드(130)에 의해 출력되는 가상 이미지의 일 영역인 가상 객체(VO)의 초점 위치를 변경할 수 있다. 일 실시예에서, 프로세서(160)는 제1 초점 조절 영역(112)의 버전스를 조절함으로써, 양안 각각의 수정체(32)를 투과하는 광의 경로를 변경하고, 이를 통해 망막(34)에 맺히는 가상 이미지(VO)의 초점 위치를 변경함으로써, 가상 객체(VO)의 초점 거리를 조절할 수 있다. 일 실시예에서, 프로세서(160)는 저장부(190)에 기 저장된 깊이 맵을 로드(load)함으로써, 응시점(G) 상에 배치되는 현실 객체(10)의 깊이 값(depth)을 획득하고, 웨이브 가이드(130)를 통해 출력되는 가상 객체(VO)의 초점 거리를 획득된 현실 객체(10)의 깊이 값(depth)과 동일하도록 조절할 수 있다.
일 실시예에서, 증강 현실 디바이스(100)는 제1 초점 조절 영역(112)의 굴절력을 조절함으로써, 웨이브 가이드(130)를 통해 출력되는 가상 객체(VO)의 초점 거리(df)를 수렴 거리(dcon)과 동일하게 변경할 수 있다. 이 경우 제1 초점 조절 영역(112)은, 웨이브 가이드(130)를 통해 출력되는 가상 객체(VO) 상에 포커싱되는 초점 거리를 현실 객체(10)의 깊이 값(depth)과 동일한 거리만큼 시프트(shift)할 수 있는 굴절력으로 조절될 수 있다.
일 실시예에서, 증강 현실 디바이스(100)는 가상 객체(VO) 상에 수렴하는 초점 위치를 타겟 위치(T) 내에 위치시키기 위하여, 제1 초점 조절 영역(112)의 굴절력을 조절하고, 이를 통해 가상 객체(VO)의 초점 위치를 시프트할 수 있다. 타겟 위치(T)는 현실 객체(10) 상에서 양안의 시선이 수렴되는 응시점(G)의 위치로부터 기설정된 범위 내의 위치를 나타낸다. 이 경우, 가상 객체(VO)의 초점 거리(df)는 현실 객체(10)의 깊이 값(depth)과 정확하게 동일하지 않을 수 있다. 일 실시예에서, 초점 거리(df)는 현실 객체(10)의 깊이 값(depth) 보다 기설정된 거리만큼의 크거나, 또는 작을 수 있다.
일 실시예에서, 증강 현실 디바이스(100)는 제1 초점 조절 영역(112)의 굴절력을 조절함으로써, 현실 객체 또는 물리적 공간이 희미하거나 흐릿하게 보이는 초점 왜곡을 보상하기 위하여, 제2 가변 초점 렌즈(120)의 제2 초점 조절 영역(122)이 제1 초점 조절 영역(112)의 버전스에 대하여 상보적으로 버전스를 형성하도록, 제2 초점 조절 영역(122)의 굴절력을 조절할 수 있다. 제2 초점 조절 영역(122)의 굴절력을 제1 초점 조절 영역(112)의 굴절력에 대하여 상보적으로 조절하는 방법은 도 1 및 도 3에 관한 설명 부분에서 설명하였는바, 중복되는 설명은 생략한다.
도 13b를 참조하면, 증강 현실 디바이스(100)는 깊이 센서(172, 도 3 참조)를 이용하여, 증강 현실 디바이스(100)를 착용한 사용자 주변의 물리적 공간 또는 환경을 촬영하고, 물리적 공간 또는 환경에 포함된 복수의 현실 객체(12, 14, 16) 각각의 깊이 값 정보를 획득할 수 있다.
증강 현실 디바이스(100)는 복수의 현실 객체(12, 14, 16) 각각에 관한 깊이 값 정보를 이용하여 가상 객체(VO1, VO2, VO3)가 복수의 현실 객체(12, 14, 16)의 깊이 값과 동일하거나 또는 깊이 값의 소정 범위 내에 표시되도록 초점 거리를 변경할 수 있다.
일 실시예에서, 증강 현실 디바이스(100)는 깊이 센서(172)를 이용하여, 사용자가 바라보는 물리적 공간 또는 환경 내의 현실 객체(12, 14, 16)의 3차원 위치 좌표값에 따라 깊이 값을 측정하고, 측정된 깊이 값을 각각의 3차원 위치 좌표값에 따라 배치하여 깊이 맵(depth map)을 생성할 수 있다. 생성된 깊이 맵은 저장부(190, 도 3 참조)에 저장될 수 있다. 프로세서(160, 도 13a 참조)는 저장부(190)로부터 깊이 맵을 로드(load)하여, 현실 객체(12, 14, 16)와 사용자 간의 거리인 깊이 값(depth) 정보를 획득할 수 있다. 일 실시예에서, 프로세서(160)는 저장부(190)로부터 제1 현실 객체(12)와 사용자 간의 거리인 깊이 값을 획득하고, 제1 가상 객체(VO1)의 초점 거리가 제1 현실 객체(12)의 깊이 값과 동일하도록 제1 초점 조절 영역(112)의 굴절력을 조절할 수 있다. 프로세서(160)는 제1 초점 조절 영역(112)의 굴절력을 조절하여 제1 가상 객체(VO1)를 투과하는 광의 굴절률을 조절함으로써, 제1 가변 초점 렌즈(110)의 버전스를 변경하고, 이를 통해 제1 가상 객체(VO1)의 초점 거리를 조절할 수 있다.
도 13b에 도시된 실시예에서, 제1 현실 객체(12), 제2 현실 객체(14), 및 제3 현실 객체(16)가 배치된 위치는 서로 다르고, 따라서 제1 현실 객체(12), 제2 현실 객체(14), 및 제3 현실 객체(16)에 관한 깊이 값은 각각 다르다. 일 실시예에서, 증강 현실 디바이스는 시선 추적기를 이용하여 사용자의 시선 방향을 추적함으로써, 제1 현실 객체(12), 제2 현실 객체(14), 및 제3 현실 객체(16) 중 사용자의 양안이 수렴되는 응시점을 검출하고, 응시점 상에 배치되는 현실 객체의 깊이 값을 이용하여 제1 초점 조절 영역(112)의 굴절력을 조절할 수 있다. 제1 현실 객체(12), 제2 현실 객체(14), 및 제3 현실 객체(16)의 깊이 값은 저장부(190)에 기 저장된 깊이 맵을 이용하여 획득될 수 있다. 증강 현실 디바이스는 제1 초점 조절 영역(112)의 조절된 굴절력으로 인하여 형성된 버전스에 대하여 상보적으로(complementary) 버전스를 형성하도록, 제2 초점 조절 영역(122)의 굴절력을 조절할 수 있다.
증강 현실 디바이스는 복수의 현실 객체(12, 14, 16)를 인식하고, 복수의 현실 객체(12, 14, 16)에 관한 정보를 포함하는 가상 객체(VO1, VO2, VO3)를 생성할 수 있다. 예를 들어, 증강 현실 디바이는 복수의 현실 객체(12, 14, 16)에 관한 상세 설명, 가격 정보, 할인 정보, 구매할 수 있는 웹 사이트 주소, 사용자 평점, 및 광고 중 적어도 하나를 포함하는 가상 객체(VO1, VO2, VO3)를 생성할 수 있다. 도 13b에 도시된 실시예에서, 증강 현실 디바이스는 제1 현실 객체(12)가 신발임을 인식하고, 신발에 관한 멤버쉽 할인 및 쿠폰 다운로드 등을 포함하는 제1 가상 객체(VO1)를 생성하고, 웨이브 가이드(130)를 통해 표시할 수 있다. 증강 현실 디바이스는 또한, 제2 현실 객체(14)에 관한 가격 정보 및 사용자 평점 정보를 포함하는 제2 가상 객체(VO2)를 생성하고, 웨이브 가이드(130)를 통해 제2 가상 객체(VO2)를 표시할 수 있다. 증강 현실 디바이스는 제3 현실 객체(16)가 셔츠임을 인식하고, 셔츠에 관한 가격 정보 및 사용자 평점에 관한 정보를 포함하는 제3 가상 객체(VO3)를 생성하고, 웨이브 가이드(130)를 통해 제3 가상 객체(VO3)를 표시할 수 있다.
도 14는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 현실 객체의 깊이 값에 기초하여 가변 초점 렌즈의 초점 조절 영역의 굴절률을 조절하는 방법에 관한 흐름도이다.
단계 S1410에서, 증강 현실 디바이스는 깊이 센서(depth camera)를 이용하여, 응시점 상에 배치된 현실 객체의 깊이 값을 측정한다. 일 실시예에서, 깊이 센서는 증강 현실 디바이스를 착용하고 있는 사용자 주변의 물리적 공간 또는 환경을 스캔하고, 물리적 공간 또는 환경 내에 배치되는 현실 객체의 깊이 값을 측정할 수 있다. 깊이 센서는 물리적 공간 또는 환경 내의 현실 객체의 3차원 위치 좌표값에 따라 깊이 값을 측정하고, 측정된 깊이 값을 각각의 3차원 위치 좌표값에 따라 배치하여 깊이 맵(depth map)을 생성할 수 있다. 깊이 센서는 예를 들어, 스테레오(Stereo-type), ToF(Time-Of-Flight), 및 구조화된 패턴(Structured Pattern) 중 어느 하나를 이용하는 방식으로 현실 객체의 깊이 값을 측정할 수 있다. 깊이 센서는 생성된 깊이 맵을 저장부(190, 도 3 참조)에 저장할 수 있다. 증강 현실 디바이스는 저장부(190)로부터 깊이 맵을 로드(load)하여, 응시점 상에 배치되는 현실 객체와 사용자 간의 거리인 깊이 값(depth) 정보를 획득할 수 있다.
일 실시예에서, 깊이 센서는 응시점의 3차원 위치 좌표값을 프로세서(160, 도 13a 참조)로부터 획득하고, 획득된 3차원 위치 좌표값에 해당되는 깊이 값을 측정하여 프로세서(160)에 제공할 수도 있다.
단계 S1420에서, 증강 현실 디바이스는 측정된 깊이 값에 기초하여 가상 객체의 초점 거리를 조절하기 위하여, 제1 초점 조절 영역의 굴절력을 조절한다. 증강 현실 디바이스는 저장부(190)로부터 로드(load)하여 획득한 현실 객체의 깊이 값 정보를 기초하여, 가상 이미지의 일 영역에 해당되는 가상 객체의 초점 거리를 조절할 수 있다. 증강 현실 디바이스는 현실 객체의 깊이 값과 가상 객체 상에 수렴되는 초점 거리가 동일하도록, 제1 가변 초점 렌즈의 제1 초점 조절 영역의 굴절력을 조절할 수 있다. 일 실시예에서, 증강 현실 디바이스는 가상 객체의 초점 거리를 현실 객체의 깊이 값에 대하여 기설정된 크기만큼 크거나 또는 작게 조절하기 위하여, 제1 가변 초점 렌즈의 제1 초점 조절 영역의 굴절력을 조절할 수도 있다.
증강 현실 디바이스는 제1 초점 조절 영역의 굴절력을 조절하여 제1 초점 조절 영역에 형성되는 버전스를 조절할 수 있다. 버전스는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스로서, 제1 초점 조절 영역의 굴절력에 따라 조절될 수 있다. 제1 초점 조절 영역의 버전스를 조절함으로써, 가상 객체를 거쳐 수정체를 투과하는 광의 경로를 변경하고, 이를 통해 망막 상에 맺히는 초점 위치를 변경하여, 가상 객체의 초점 거리를 조절할 수 있다.
단계 S1430에서, 증강 현실 디바이스는 제1 초점 조절 영역의 조절된 굴절력에 의한 현실 객체의 초점 왜곡을 상쇄하도록, 제2 초점 조절 영역의 굴절력을 제1 초점 조절 영역의 굴절력에 대하여 상보적으로(complementary) 조절한다. 증강 현실 디바이스는 제1 가변 초점 렌즈의 제1 초점 조절 영역의 조절된 굴절력으로 인하여 형성된 버전스에 의해 발생되는 현실 객체가 희미하거나 흐릿하게 보이는 초점 왜곡을 상쇄하기 위하여, 제2 가변 초점 렌즈의 제2 초점 조절 영역의 굴절력을 제1 초점 조절 영역의 굴절력의 방향에 대하여 반대 방향으로, 제1 초점 조절 영역의 조절된 굴절력과 동일한 굴절력으로 조절할 수 있다. 예를 들어, 제1 초점 조절 영역이 -1 디옵터(D)의 굴절력으로 조절되는 경우, 제2 초점 조절 영역은 +1 디옵터(D)로 조절될 수 있다.
도 15a 및 도 15b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 가변 초점 렌즈의 초점 조절 영역의 크기를 결정하는 방법을 도시한 도면들이다.
도 15a를 참조하면, 제1 가변 초점 렌즈(110)의 제1 초점 조절 영역(112), 제2 가변 초점 렌즈(120)의 제2 초점 조절 영역(122), 및 웨이브 가이드(130)를 통해 출력되는 가상 객체(VO)는 시선 벡터에 따라 일렬로 정렬될 수 있다. 일 실시예에서, 증강 현실 디바이스는 웨이브 가이드(130)를 통해 출력되는 가상 객체(VO)의 크기에 기초하여 제1 초점 조절 영역(112)의 크기를 결정할 수 있다. 일 실시예에서, 증강 현실 디바이스는 사용자의 눈(30)과 제1 가변 초점 렌즈(110) 간의 거리 및 가상 객체(VO)의 크기에 기초하여 제1 초점 조절 영역(112)의 크기를 결정할 수 있다.
눈(30)을 통해 현실 객체를 바라보는 경우, 시야각(viewing angle)은 눈(30)에서 현실 객체를 향하는 방향으로 점점 커질 수 있다. 증강 현실 디바이스는 가상 객체(VO)의 크기 및 제1 가변 초점 렌즈(110)와 제2 가변 초점 렌즈(120) 간의 이격된 제1 거리(△d1)에 기초하여, 제2 초점 조절 영역(122)의 크기를 결정할 수 있다.
도 15b를 함께 참조하면, 눈(30)의 시야각이 동일하다고 하더라도, 제1 가변 초점 렌즈(110)과 제2 가변 초점 렌즈(120) 간의 이격된 제2 거리(△d1)가 제1 거리(△d1, 도 15a 참조) 보다 큰 경우, 제2 초점 조절 영역(123)의 크기는 도 15a에 도시된 제2 초점 조절 영역(122)의 크기 보다 더 크게 결정될 수 있다. 도 15b에서 제1 초점 조절 영역(113)의 크기는 가상 객체(VO)의 크기 및 제1 가변 초점 렌즈(110)과 웨이브 가이드(130) 간의 거리에 기초하여 결정될 수 있다.
도 16은 본 개시의 가변 초점 렌즈가 복수의 초점 조절 영역을 포함하는 실시예를 도시한 도면이다.
도 16을 참조하면, 제1 가변 초점 렌즈(110)는 복수의 초점 조절 영역(112, 116)를 포함하고, 제2 가변 초점 렌즈(120) 복수의 초점 조절 영역(122, 126)를 포함할 수 있다. 도 16에서 제1 가변 초점 렌즈(110)는 두개의 초점 조절 영역(112, 116)를 포함하고, 제2 가변 초점 렌즈(120)는 두개의 초점 조절 영역(122, 126)를 포함하는 것으로 도시되었으나, 이는 설명의 편의를 위한 것이다. 본 개시에서 제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120)에 포함되는 초점 조절 영역의 개수는 도 16에 도시된 바와 같이 한정되는 것은 아니다. 일 실시예에서, 제1 가변 초점 렌즈(110)는 세개 이상의 초점 조절 영역을 포함할 수 있고, 제2 가변 초점 렌즈(120)도 세개 이상의 초점 조절 영역을 포함할 수 있다.
제2 가변 초점 렌즈(120)의 제2 초점 조절 영역(122)은 제1 시선 벡터(p)의 방향을 따라 제1 초점 조절 영역(112)과 정렬되는 위치에 배치될 수 있다. 일 실시예에서, 프로세서(160, 도 2 및 도 3 참조)는 제2 가변 초점 렌즈(120)의 전체 영역 중 제1 시선 벡터(p)가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 2차원 위치 좌표값의 주변의 기설정된 면적 영역을 제2 초점 조절 영역(122)으로 결정할 수 있다.
제2 가변 초점 렌즈(120)의 제4 초점 조절 영역(126)은 제2 시선 벡터(p')의 방향을 따라 제3 초점 조절 영역(116)과 정렬되는 위치에 배치될 수 있다. 일 실시예에서, 프로세서(160)는 제2 가변 초점 렌즈(120)의 전체 영역 중 제2 시선 벡터(p')가 도달하는 영역의 2차원 위치 좌표값을 획득하고, 2차원 위치 좌표값의 주변의 기설정된 면적 영역을 제4 초점 조절 영역(126)으로 결정할 수 있다.
제1 초점 조절 영역(112)과 제3 초점 조절 영역(116)은 서로 다른 굴절률을 갖도록 굴절력이 조절될 수 있다. 일 실시예에서, 증강 현실 디바이스는 제1 초점 조절 영역(112)을 통해 바라보는 가상 객체가 제1 초점 거리 상에 표시되도록, 제1 초점 조절 영역(112)을 제1 굴절력으로 조절함으로써, 제1 초점 조절 영역(112)을 투과하는 광의 경로를 변경할 수 있다. 이를 통해 제1 초점 조절 영역(112)의 버전스를 조절하고, 초점 거리를 조절할 수 있다. 또한, 증강 현실 디바이스는 제3 초점 조절 영역(116)을 통해 바라보는 가상 객체가 제2 초점 거리 상에 표시되도록, 제3 초점 조절 영역(116)을 제2 굴절률로 조절함으로써, 제3 초점 조절 영역(116)을 투과하는 광의 경로를 변경할 수 있다. 이를 통해, 제3 초점 조절 영역(116)의 버전스를 조절하고, 초점 거리를 조절할 수 있다.
일 실시예에서, 증강 현실 디바이스는 제1 가변 초점 렌즈(110) 상의 복수의 초점 조절 영역(112, 116) 각각의 굴절력을, 사용자의 시선에서 복수의 초점 조절 영역(112, 116)에 대응되는 위치에 배치되는 복수의 현실 객체(12, 14) 각각의 깊이 값에 기초하여 조절할 수 있다. 복수의 현실 객체(12, 14) 각각의 깊이 값은 저장부(190, 도 3 참조)에 기 저장된 깊이 맵을 로드(load)함으로써 획득될 수 있다. 깊이 맵은 깊이 센서(172, 도 3 참조)에 의해 복수의 현실 객체(12, 14)를 스캔하여 복수의 현실 객체(12, 14)의 3차원 위치 좌표값에 각각 해당되는 깊이 값을 테이블 형태로 저장함으로써, 생성될 수 있다.
예를 들어, 증강 현실 디바이스는 깊이 센서를 이용하여, 제1 시선 벡터(p)의 시선 방향으로 바라보는 제1 현실 객체(12)의 제1 깊이 값(depth 1)을 획득하고, 가상 객체의 초점 거리를 제1 현실 객체(12)에 관한 제1 깊이 값(depth 1)과 동일하게 설절하기 위하여, 제1 초점 조절 영역(1312)의 굴절력을 조절할 수 있다. 예를 들어, 증강 현실 디바이스는 제2 시선 벡터(p')의 시선 방향으로 바라보는 제2 현실 객체(14)의 제2 깊이 값(depth 2)을 획득하고, 가상 객체의 초점 거리를 제2 현실 객체(14)에 관한 제2 깊이 값(depth 2)과 동일하게 설정하기 위하여, 제3 초점 조절 영역(116)의 굴절력을 조절할 수 있다.
일 실시예에서, 증강 현실 디바이스는 제1 가변 초점 렌즈(110)의 액정 층(610, 도 6a 및 도 6b 참조) 상에 배치되는 복수의 제1 어레이 여기 전극(640-1 내지 640-5, 도 6b 참조) 및 복수의 제2 어레이 여기 전극(650-1 내지 650-5, 도 6b 참조)를 통해 인가되는 제어 전압의 위상 프로파일을 변조함으로써, 복수의 초점 조절 영역(112, 116)의 굴절력을 조절할 수 있다. 예를 들어, 복수의 초점 조절 영역(112, 116) 각각에서의 굴절력을 조절하기 위하여, 복수의 제1 어레이 여기 전극(640-1 내지 640-5) 및 복수의 제2 어레이 여기 전극(650-1 내지 650-5) 중 중복되는 여기 전극을 통해 제어 전압을 인가해야 하는 경우, 복수의 제1 드라이버 단자(660-1 내지 660-5, 도 6b 참조) 및 복수의 제2 드라이버 단자(670-1 내지 670-5, 도 6b 참조)를 통해 제어 전압을 시간 분할하고, 시간 분할에 따라 제어 전압이 여기 전극에 교대로 인가되도록 제어할 수 있다.
복수의 제1 드라이버 단자(660-1 내지 660-5, 도 6b 참조) 및 복수의 제2 드라이버 단자(670-1 내지 670-5, 도 6b 참조)는 컨트롤러(680, 도 6b 참조)에 의해 제어될 수 있다. 프로세서(도 6b 참조)는 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(116)에 관한 위치 정보를 컨트롤러(680)에 제공하고, 컨트롤러(680)는 프로세서(160)로부터 획득한 제1 초점 조절 영역(112) 및 제2 초점 조절 영역(116)의 위치 정보에 기초하여 복수의 제1 드라이버 단자(660-1 내지 660-5) 및 복수의 제2 드라이버 단자(670-1 내지 670-5)를 제어함으로써, 복수의 제1 어레이 여기 전극(640-1 내지 640-5) 및 복수의 제2 어레이 여기 전극(650-1 내지 650-5)을 통해 인가되는 제어 전압의 위상 프로파일을 변조할 수 있다.
일 실시예에서, 증강 현실 디바이스는 제1 초점 조절 영역(112)의 조절된 굴절력을 보상하기 위하여, 제2 초점 조절 영역(122)의 굴절력을 조절할 수 있다. 증강 현실 디바이스는 제1 초점 조절 영역(112)의 조절된 굴절력으로 인하여 발생되는 제1 현실 객체(12)가 희미하거나 흐릿하게 보이는 초점 왜곡을 보상하기 위하여, 제2 가변 초점 렌즈(120)의 제2 초점 조절 영역(122)의 굴절력을 제1 초점 조절 영역(112)의 굴절력에 대하여 상보적으로(complementary) 조절할 수 있다. 예를 들어, 증강 현실 디바이스는 제2 초점 조절 영역(122)의 굴절력을 제1 초점 조절 영역(112)의 굴절력의 방향에 대하여 반대의 방향으로, 제1 초점 조절 영역(112)의 조절된 굴절력과 동일한 크기의 굴절력으로 조절할 수 있다. 예를 들어, 제1 초점 조절 영역(112)이 -1 디옵터(D)의 굴절력으로 조절되는 경우, 제2 초점 조절 영역(122)은 +1 디옵터(D)로 조절될 수 있다.
마찬가지로, 증강 현실 디바이스는 제3 초점 조절 영역(116)의 조절된 굴절력을 보상하기 위하여, 제4 초점 조절 영역(126)의 굴절력을 제3 초점 조절 영역(116)의 굴절력에 대하여 상보적으로(complementary) 조절할 수 있다.
제1 가변 초점 렌즈(110) 및 제2 가변 초점 렌즈(120) 상에 복수의 초점 조절 영역이 설정되는 경우는, 서버 등으로부터 가상의 게임 컨텐트를 수신하거나, 3차원 동영상 컨텐트를 수신하고, 수신된 컨텐츠에 표시되는 캐릭터 등을 포함하는 객체 상에 대하여 초점을 조절해야 하는 경우일 수 있다. 일 실시예에서, 증강 현실 디바이스는 서버 또는 다른 디바이스로부터 게임 컨텐트 또는 3차원 동영상 컨텐트를 수신하고, 수신된 컨텐츠를 실행하는 경우 또는 증강 현실 디바이스 내에 기 저장된 게임 컨텐트 또는 3차원 동영상 컨텐트를 실행하는 경우, 제1 초점 조절 영역(112) 및 제3 초점 조절 영역(116)은 기 설정된 굴절력으로 미리 조절되어 있을 수 있다. 이 경우, 제1 초점 조절 영역(112)의 굴절력 및 제3 초점 조절 영역(116)의 굴절력에 관한 정보는 저장부(190, 도 3 참조)에 기 저장되어 있을 수 있다. 마찬가지로, 제2 초점 조절 영역(122) 및 제4 초점 조절 영역(126)의 굴절력에 관한 정보는 저장부(190)에 기 저장되어 있을 수 있다.
일 실시예에서, 프로세서(160, 도 3 참조)는 시선 추적기(150, 도 3 참조)를 이용하여 사용자의 시선 방향을 나타내는 시선 벡터를 획득하고, 좌안과 우안의 시선 벡터에 기초하여 양안의 시선이 수렴하는 응시점(gaze point)을 검출할 수 있다. 프로세서(160)는 검출된 응시점에 기초하여, 제1 가변 초점 렌즈(110) 내에 포함되는 복수의 초점 조절 영역(112, 116) 중 어느 하나의 초점 조절 영역을 결정할 수 있다. 프로세서(160)는 결정된 초점 조절 영역에 관한 굴절력에 관한 정보를 저장부(190)로부터 획득하고, 획득된 굴절력에 관한 정보를 이용하여 초점 조절 영역의 굴절력을 조절할 수 있다.
예를 들어, 시선 추적기(150)를 통해 획득한 시선 벡터가 제1 시선 벡터(p)인 경우, 프로세서(160)는 제1 초점 조절 영역(112)의 굴절력을 조절할 초점 조절 영역으로 결정하고, 저장부(190)에 기 저장된 제1 초점 조절 영역(112)에 관한 굴절력에 관한 정보를 이용하여 제1 초점 조절 영역(112)의 굴절력을 조절할 수 있다. 프로세서(160)는 제1 초점 조절 영역(112)의 조절된 굴절력으로 인한 초점 왜곡을 보상하기 위하여, 제2 초점 조절 영역(122)의 굴절력을 제1 초점 조절 영역(112)의 굴절력에 대하여 상보적으로(complementary) 조절할 수 있다.
도 17은 본 개시의 일 실시예에 따른 증강 현실 디바이스(200)의 구성 요소를 도시한 블록도이다.
도 17을 참조하면, 증강 현실 디바이스(200)는 제1 가변 초점 렌즈(110), 제2 가변 초점 렌즈(120), 웨이브 가이드(130), 디스플레이 모듈(140), 시선 추적기(150), 프로세서(160), 메모리(162), 및 통신 모듈(270)을 포함할 수 있다. 도 17에 도시된 증강 현실 디바이스(200)는 도 3에 도시된 증강 현실 디바이스(100)와 동일한 구성 요소를 포함할 수 있다. 예를 들어, 제1 가변 초점 렌즈(110), 제2 가변 초점 렌즈(120), 웨이브 가이드(130), 디스플레이 모듈(140), 및 시선 추적기(150)는 도 3에 도시된 제1 가변 초점 렌즈(110), 제2 가변 초점 렌즈(120), 웨이브 가이드(130), 디스플레이 모듈(140), 및 시선 추적기(150)와 각각 동일하다. 따라서, 중복되는 설명은 생략하기로 한다.
프로세서(160)는 메모리(162)에 저장된 명령어들을 포함하는 컴퓨터 프로그램 코드를 실행함으로써, 증강 현실 디바이스(200)가 수행하는 전반적인 기능 및/또는 동작을 제어할 수 있다. 프로세서(160)는 제1 가변 초점 렌즈(110), 제2 가변 초점 렌즈(120), 웨이브 가이드(130), 디스플레이 모듈(140), 시선 추적기(150), 및 통신 모듈(270)의 동작 또는 기능을 제어할 수 있다.
통신 모듈(270)은 증강 현실 디바이스(200)와 모바일 폰(1000) 간의 데이터 통신을 수행할 수 있다. 증강 현실 디바이스(200)는 통신 모듈(270)을 통해 모바일 폰(1000)과 무선으로 연결될 수 있다.
통신 모듈(270)은 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 증강 현실 디바이스(200)와 모바일 폰(1000) 간의 데이터 통신을 수행할 수 있다.
모바일 폰(1000)은 증강 현실 디바이스(200)를 착용하고 있는 사용자에 의해 조작될 수 있다. 모바일 폰(1000)은 사용자 주변의 물리적 공간 또는 환경을 카메라를 통해 촬영하여 현실 객체 이미지를 획득할 수 있다. 모바일 폰(1000)은 GPS 센서와 같은 위치 센서를 이용하여 사용자의 위치에 관한 정보를 획득할 수 있다. 모바일 폰(1000)은 현실 객체에 관한 정보를 이용하여 가상 이미지를 생성할 수 있다. 일 실시예에서, 모바일 폰(1000)은 깊이 센서를 포함하고, 현실 객체의 깊이 값 정보를 획득할 수 있다.
프로세서(160)는 통신 모듈(270)을 제어하고, 통신 모듈(270)을 통해 모바일 폰(1000)으로부터 위치 정보, 현실 객체 정보 및 현실 객체의 깊이 값 정보 중 적어도 하나를 수신할 수 있다. 프로세서(160)는 수신된 위치 정보 및 현실 객체 정보에 기초하여 가상 이미지를 웨이브 가이드(130)에 투사하도록 디스플레이 모듈(140)을 제어할 수 있다. 가상 이미지의 일 영역인 가상 객체는 웨이브 가이드(130)의 회절 격자를 통해 회절되어 사용자의 눈으로 출력될 수 있다.
일 실시예에서, 증강 현실 디바이스(200)는 통신 모듈(270)을 이용하여 모바일 폰(1000)에 의해 생성된 가상 객체를 모바일 폰(1000)으로부터 수신할 수 있다. 프로세서(160)는 수신된 가상 객체를 웨이브 가이드(130)를 향하여 투사하도록 디스플레이 모듈(140)을 제어할 수 있다.
일 실시예에서, 증강 현실 디바이스(200)는 통신 모듈(270)을 이용하여 모바일 폰(1000)으로부터 현실 객체의 깊이 값 정보를 수신할 수 있다. 프로세서(160)는 모바일 폰(1000)으로부터 수신한 깊이 값에 기초하여 가상 객체의 초점 거리를 변경하기 위하여, 제1 가변 초점 렌즈(110)의 초점 조절 영역의 굴절력을 조절할 수 있다. 일 실시예에서, 프로세서(160)는 제1 가변 초점 렌즈(110)의 초점 조절 영역의 굴절력을 조절함으로써, 사용자가 바라보는 현실 객체의 깊이 값에 기초하여 가상 객체의 초점 거리를 조절할 수 있다.
본 개시에서 설명된 증강 현실 디바이스(100, 200)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 증강 현실 디바이스(100, 200)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 증강 현실 디바이스(100, 200)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 증강 현실 디바이스(100, 200) 또는 그 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 증강 현실 디바이스(100, 200)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 증강 현실 디바이스)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
또한, 이상에서는 본 개시의 실시예에 대하여 도시하고 설명하였지만, 본 개시는 전술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (21)

  1. 전기적으로 초점을 조절할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성되는 복수의 제1 가변 초점 렌즈 및 복수의 제2 가변 초점 렌즈;
    상기 복수의 제1 가변 초점 렌즈와 상기 복수의 제2 가변 초점 렌즈 사이에 각각 배치되는 복수의 웨이브 가이드(waveguide);
    좌안 및 우안의 시선 방향을 추적함으로써, 상기 좌안의 제1 시선 벡터 및 상기 우안의 제2 시선 벡터를 획득하는 복수의 시선 추적기(eye trackers);
    상기 웨이브 가이드 내에 가상 이미지를 투사(project)하는 디스플레이 모듈; 및
    프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 시선 추적기로부터 획득된 상기 제1 시선 벡터에 기초하여 상기 복수의 제1 가변 초점 렌즈 중 제1 좌안 가변 초점 렌즈의 제1 초점 조절 영역의 위치를 결정하고, 상기 제2 시선 벡터에 기초하여 상기 복수의 제1 가변 초점 렌즈 중 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 위치를 결정하고,
    양안 시차에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점(gaze point)을 검출하고,
    상기 검출된 응시점에 기초하여 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력(refractive power)을 조절하고,
    상기 복수의 제2 가변 초점 렌즈 중 제2 좌안 가변 초점 렌즈의 제2 초점 조절 영역 및 상기 복수의 제2 가변 초점 렌즈 중 제2 우안 가변 초점 렌즈의 제4 초점 조절 영역 각각의 굴절력을 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역 각각의 굴절력에 대하여 상보적으로(complementary) 조절하는, 증강 현실 디바이스.
  2. 제1 항에 있어서,
    하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리; 를 더 포함하고,
    상기 프로세서는 상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행함으로써, 동작들을 수행하는, 증강 현실 디바이스.
  3. 제1 항에 있어서,
    상기 제1 좌안 가변 초점 렌즈는 상기 사용자가 상기 증강 현실 디바이스를 착용한 경우, 상기 사용자의 좌안으로부터 제1 거리만큼 이격된 위치에 배치되고, 상기 제2 좌안 가변 초점 렌즈는 상기 사용자의 좌안으로부터 제2 거리만큼 이격된 위치에 배치되고,
    상기 제2 거리의 크기는 상기 제1 거리의 크기 보다 큰, 증강 현실 디바이스.
  4. 제1 항에 있어서,
    상기 프로세서는, 상기 제1 초점 조절 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 상기 제1 좌안 가변 초점 렌즈에 인가하고, 상기 인가된 제어 전압에 기초하여, 상기 제1 좌안 가변 초점 렌즈의 액정 분자들 중 상기 제1 초점 조절 영역의 위치에 배치되는 액정 분자들이 배열된 각도를 변경함으로써 상기 제1 초점 조절 영역의 굴절력을 조절하는, 증강 현실 디바이스.
  5. 제1 항에 있어서,
    상기 응시점 상에 배치되는 현실 객체의 깊이 값을 측정하는 깊이 센서(depth sensor);
    를 더 포함하고,
    상기 프로세서는, 측정된 상기 현실 객체의 깊이 값을 상기 깊이 센서로부터 획득하고, 상기 획득된 깊이 값에 기초하여 상기 가상 이미지의 일부 영역인 가상 객체의 초점 거리를 조절하기 위하여, 상기 제1 초점 조절 영역의 굴절력을 조절하는, 증강 현실 디바이스.
  6. 제1 항에 있어서,
    상기 프로세서는, 상기 제2 초점 조절 영역의 굴절력을 상기 제1 초점 조절 영역의 굴절력 방향에 대한 반대 방향으로, 상기 제1 초점 조절 영역의 굴절력과 동일한 굴절력으로 조절하는, 증강 현실 디바이스.
  7. 제1 항에 있어서,
    상기 프로세서는, 상기 제1 초점 조절 영역과 상기 제2 초점 조절 영역이 상기 제1 시선 벡터의 방향에 따라 정렬(align)되도록, 상기 제1 시선 벡터에 기초하여 상기 제2 초점 조절 영역의 위치를 결정하는, 증강 현실 디바이스.
  8. 제1 항에 있어서,
    상기 제1 초점 조절 영역의 크기는 좌안 웨이브 가이드를 통해 출력되는 상기 가상 이미지의 일부 영역인 가상 객체의 크기에 기초하여 결정되는, 증강 현실 디바이스.
  9. 제1 항에 있어서,
    상기 제2 초점 조절 영역의 크기는 좌안 웨이브 가이드를 통해 출력되는 상기 가상 이미지의 일부 영역인 가상 객체의 크기 및 상기 제1 좌안 가변 초점 렌즈와 상기 제2 좌안 가변 초점 렌즈 사이의 이격된 거리에 기초하여 결정되는, 증강 현실 디바이스.
  10. 제1 항에 있어서,
    상기 제1 초점 조절 영역은 상기 제1 좌안 가변 초점 렌즈 상에서 복수 개 포함되고,
    상기 프로세서는, 복수의 제1 초점 조절 영역에 따라 서로 다른 버전스를 형성하도록 상기 복수의 제1 초점 조절 영역의 굴절력을 조절하는, 증강 현실 디바이스.
  11. 전기적으로 초점을 조절할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성되는 복수의 제1 가변 초점 렌즈 및 복수의 제2 가변 초점 렌즈;
    상기 복수의 제1 가변 초점 렌즈와 상기 복수의 제2 가변 초점 렌즈 사이에 각각 배치되는 복수의 웨이브 가이드(waveguide);
    좌안 및 우안의 시선 방향을 추적함으로써, 상기 좌안의 제1 시선 벡터 및 상기 우안의 제2 시선 벡터를 획득하는 복수의 시선 추적기(eye tracker);
    상기 웨이브 가이드 내에 가상 이미지를 투사(project)하는 디스플레이 모듈; 및
    프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 시선 추적기로부터 획득된 상기 제1 시선 벡터에 기초하여 상기 복수의 제1 가변 초점 렌즈 중 제1 좌안 가변 초점 렌즈의 제1 초점 조절 영역의 위치를 결정하고, 상기 제2 시선 벡터에 기초하여 상기 복수의 제1 가변 초점 렌즈 중 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 위치를 결정하고,
    양안 시차에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점(gaze point)을 검출하고,
    상기 검출된 응시점에 기초하여 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력(refractive power)을 조절하고,
    현실 객체의 초점 거리를 변경하기 위하여 상기 복수의 제2 가변 초점 렌즈 중 제2 좌안 가변 초점 렌즈의 제2 초점 조절 영역 및 상기 복수의 제2 가변 초점 렌즈 중 제2 우안 가변 초점 렌즈의 제4 초점 조절 영역의 굴절력을 조절하고,
    상기 제2 초점 조절 영역 및 상기 제4 초점 조절 영역의 굴절력은, 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력과 관계없이 독립적으로(independently) 조절되는, 증강 현실 디바이스.
  12. 증강 현실 디바이스의 동작 방법에 있어서,
    제1 시선 추적기(eye tracker)를 이용하여 좌안의 시선 방향을 추적함으로써, 상기 좌안의 제1 시선 벡터를 획득하고, 제2 시선 추적기를 이용하여 우안의 시선 방향을 추적함으로써, 상기 우안의 제2 시선 벡터를 획득하는 단계;
    획득된 상기 제1 시선 벡터에 기초하여 제1 좌안 가변 초점 렌즈의 제1 초점 조절 영역의 위치를 결정하고, 획득된 상기 제2 시선 벡터에 기초하여 제1 우안 가변 초점 렌즈의 제3 초점 조절 영역의 위치를 결정하는 단계;
    양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점(gaze point)을 검출하는 단계;
    상기 검출된 응시점에 기초하여 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력(refractive power)을 조절하는 단계;
    제2 좌안 가변 초점 렌즈의 제2 초점 조절 영역 및 제2 우안 가변 초점 렌즈의 제4 초점 조절 영역 각각의 굴절력을 상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역 각각의 굴절력에 대하여 상보적으로(complementary) 조절하는 단계; 및
    디스플레이 모듈을 이용하여 웨이브 가이드(Wave guide)에 가상 이미지를 투사하는 단계;
    를 포함하는, 방법.
  13. 제12 항에 있어서,
    상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력을 조절하는 단계는,
    상기 제1 초점 조절 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 상기 제1 좌안 가변 초점 렌즈에 인가하는 단계; 및
    상기 인가된 제어 전압에 기초하여, 상기 제1 좌안 가변 초점 렌즈의 액정 분자들 중 상기 제1 초점 조절 영역의 위치에 배치되는 액정 분자들이 배열된 각도를 변경함으로써, 상기 제1 초점 조절 영역의 굴절력을 조절하는 단계;
    를 포함하는, 방법.
  14. 제12 항에 있어서,
    상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력을 조절하는 단계는,
    깊이 센서(depth sensor)를 이용하여 상기 응시점 상에 배치되는 현실 객체의 깊이 값을 측정하는 단계; 및
    상기 측정된 깊이 값에 기초하여 상기 가상 이미지의 초점 거리를 조절하기 위하여, 상기 제1 초점 조절 영역의 굴절력을 조절하는 단계;
    를 포함하는, 방법.
  15. 제12 항에 있어서,
    상기 제2 초점 조절 영역 및 상기 제4 초점 조절 영역의 굴절력을 조절하는 단계는, 상기 제2 초점 조절 영역이 상기 제1 초점 조절 영역의 조절된 버전스의 방향과 반대의 버전스를 형성하도록, 상기 제2 초점 조절 영역의 굴절력을 조절하고, 상기 제4 초점 조절 영역이 상기 제3 초점 조절 영역의 조절된 버전스의 방향과 반대의 버전스를 형성하도록, 상기 제4 초점 조절 영역의 굴절력을 조절하는, 방법.
  16. 제15 항에 있어서,
    상기 제2 초점 조절 영역 및 상기 제4 초점 조절 영역의 굴절력을 조절하는 단계는,
    상기 제2 초점 조절 영역의 굴절력을 상기 제1 초점 조절 영역의 조절된 굴절력의 방향에 대하여 반대 방향으로, 상기 제1 초점 조절 영역의 조절된 굴절력과 동일한 굴절력으로 조절하는 단계; 를 포함하는, 방법.
  17. 제12 항에 있어서,
    상기 제1 초점 조절 영역과 상기 제2 초점 조절 영역이 상기 제1 시선 벡터의 방향에 따라 정렬(align)되도록, 상기 제1 시선 벡터에 기초하여 상기 제2 초점 조절 영역의 위치를 결정하는 단계; 를 더 포함하는, 방법.
  18. 제12 항에 있어서,
    상기 제1 초점 조절 영역의 크기는 상기 웨이브 가이드를 통해 표시되는 상기 가상 이미지의 일부 영역인 가상 객체의 크기에 기초하여 결정되는, 방법.
  19. 제12 항에 있어서,
    상기 제2 초점 조절 영역의 크기는 상기 웨이브 가이드를 통해 디스플레이되는 상기 가상 이미지의 일부 영역인 가상 객체의 크기 및 상기 제1 좌안 가변 초점 렌즈와 상기 제2 좌안 가변 초점 렌즈 사이 이격된 거리에 기초하여 결정되는, 방법.
  20. 제12 항에 있어서,
    상기 제1 초점 조절 영역은 상기 제1 좌안 가변 초점 렌즈 상에서 복수 개 포함되고,
    상기 제1 초점 조절 영역 및 상기 제3 초점 조절 영역의 굴절력을 조절하는 단계는, 복수의 제1 초점 조절 영역에 따라 서로 다른 버전스를 갖도록 상기 복수의 제1 초점 조절 영역의 굴절력을 조절하는 단계; 를 포함하는, 방법.
  21. 제12 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190115473A 2019-05-27 2019-09-19 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법 KR20200136297A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US16/864,755 US11467370B2 (en) 2019-05-27 2020-05-01 Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
CN202080029212.6A CN113711107A (zh) 2019-05-27 2020-05-08 根据用户的视线方向调整聚焦区域的增强现实设备及其操作方法
PCT/KR2020/006108 WO2020242085A1 (en) 2019-05-27 2020-05-08 Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
EP20812613.6A EP3818431A4 (en) 2019-05-27 2020-05-08 AUGMENTED REALITY DEVICE ALLOWING THE ADJUSTMENT OF A FOCUS REGION ACCORDING TO THE DIRECTION OF THE USER'S VISION AND ASSOCIATED OPERATING PROCEDURE
US17/323,495 US11815655B2 (en) 2019-05-27 2021-05-18 Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
US18/482,576 US20240036288A1 (en) 2019-05-27 2023-10-06 Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962853082P 2019-05-27 2019-05-27
US62/853,082 2019-05-27

Publications (1)

Publication Number Publication Date
KR20200136297A true KR20200136297A (ko) 2020-12-07

Family

ID=73791119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190115473A KR20200136297A (ko) 2019-05-27 2019-09-19 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법

Country Status (3)

Country Link
EP (1) EP3818431A4 (ko)
KR (1) KR20200136297A (ko)
CN (1) CN113711107A (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102355017B1 (ko) * 2021-08-23 2022-01-21 이민호 렌즈
WO2022124510A1 (ko) * 2020-12-10 2022-06-16 주식회사 레티널 가상 영상의 깊이 조절 기능을 구비하는 증강 현실용 광학 장치
WO2022139424A1 (ko) * 2020-12-21 2022-06-30 삼성전자 주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
TWI770812B (zh) * 2021-02-02 2022-07-11 大陸商業成科技（成都）有限公司 頭戴式顯示裝置
WO2022182081A1 (ko) * 2021-02-23 2022-09-01 삼성전자 주식회사 전자 장치 및 그 동작 방법
WO2022191497A1 (ko) * 2021-03-08 2022-09-15 삼성전자주식회사 디스플레이를 포함하는 웨어러블 전자 장치
WO2022231206A1 (ko) * 2021-04-30 2022-11-03 삼성전자 주식회사 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
US20220391619A1 (en) * 2021-06-03 2022-12-08 At&T Intellectual Property I, L.P. Interactive augmented reality displays
KR20230039384A (ko) * 2021-09-14 2023-03-21 중앙대학교 산학협력단 증강현실 디스플레이 장치 및 그 동작 방법
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
WO2024019273A1 (ko) * 2022-07-22 2024-01-25 삼성전자 주식회사 증강 현실을 제공하는 전자 장치 및 전자 장치의 이미지 보상 방법
US11924536B2 (en) 2021-06-22 2024-03-05 Samsung Electronics Co., Ltd. Augmented reality device including variable focus lenses and operating method thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
CN113397472A (zh) * 2015-03-16 2021-09-17 奇跃公司 穿戴式增强现实装置和穿戴式虚拟现实装置
WO2017090203A1 (ja) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド 視線検出システム、注視点特定方法及び注視点特定プログラム
US9927614B2 (en) * 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
NZ747005A (en) * 2016-04-08 2020-04-24 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
US10248001B1 (en) * 2016-11-16 2019-04-02 Facebook Technologies, Llc Varifocal structure comprising a liquid lens structure in optical series with a liquid crystal lens in a head-mounted display
US11747619B2 (en) * 2017-07-10 2023-09-05 Optica Amuka (A.A.) Ltd. Virtual reality and augmented reality systems with dynamic vision correction
US11841481B2 (en) * 2017-09-21 2023-12-12 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124510A1 (ko) * 2020-12-10 2022-06-16 주식회사 레티널 가상 영상의 깊이 조절 기능을 구비하는 증강 현실용 광학 장치
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
WO2022139424A1 (ko) * 2020-12-21 2022-06-30 삼성전자 주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
TWI770812B (zh) * 2021-02-02 2022-07-11 大陸商業成科技（成都）有限公司 頭戴式顯示裝置
WO2022182081A1 (ko) * 2021-02-23 2022-09-01 삼성전자 주식회사 전자 장치 및 그 동작 방법
WO2022191497A1 (ko) * 2021-03-08 2022-09-15 삼성전자주식회사 디스플레이를 포함하는 웨어러블 전자 장치
WO2022231206A1 (ko) * 2021-04-30 2022-11-03 삼성전자 주식회사 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
US20220391619A1 (en) * 2021-06-03 2022-12-08 At&T Intellectual Property I, L.P. Interactive augmented reality displays
US11924536B2 (en) 2021-06-22 2024-03-05 Samsung Electronics Co., Ltd. Augmented reality device including variable focus lenses and operating method thereof
US11513359B1 (en) 2021-08-23 2022-11-29 Min Ho Lee Lens
KR102355017B1 (ko) * 2021-08-23 2022-01-21 이민호 렌즈
KR20230039384A (ko) * 2021-09-14 2023-03-21 중앙대학교 산학협력단 증강현실 디스플레이 장치 및 그 동작 방법
WO2024019273A1 (ko) * 2022-07-22 2024-01-25 삼성전자 주식회사 증강 현실을 제공하는 전자 장치 및 전자 장치의 이미지 보상 방법

Also Published As

Publication number Publication date
EP3818431A4 (en) 2021-08-04
CN113711107A (zh) 2021-11-26
EP3818431A1 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
US11467370B2 (en) Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
KR20200136297A (ko) 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법
US11061238B2 (en) Electronic device and method for displaying augmented reality
JP2023543557A (ja) ニアアイディスプレイの光源を駆動する方法
TWI565971B (zh) 近眼微透鏡陣列顯示器
US10852817B1 (en) Eye tracking combiner having multiple perspectives
TWI516803B (zh) 近眼視差屏障顯示器
TWI516802B (zh) 近眼光學去迴旋積顯示器
US10147235B2 (en) AR display with adjustable stereo overlap zone
JP7420893B2 (ja) 別個の位相および振幅変調器を伴う接眼３ｄディスプレイ
KR20210004776A (ko) 증강 현실을 디스플레이하는 장치 및 방법
US10712576B1 (en) Pupil steering head-mounted display
US10282912B1 (en) Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
US11868524B2 (en) Augmented reality device and operating method thereof
JPWO2015012280A1 (ja) 視線検出装置
US20210165213A1 (en) Foveated projection system to produce ocular resolution near-eye displays
US10935794B1 (en) Low-obliquity beam scanner with polarization-selective grating
CN117043658A (zh) 通过波导的眼睛跟踪器照明
KR20210035555A (ko) 증강 현실 장치 및 이를 포함하는 웨어러블 장치
US11924536B2 (en) Augmented reality device including variable focus lenses and operating method thereof
KR20220170336A (ko) 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법
US20230360567A1 (en) Virtual reality display system
CN117546463A (zh) 包括变焦透镜的增强现实设备及其操作方法
KR20220145668A (ko) 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법
JP2023514474A (ja) 明瞳孔アイトラッキングシステム