KR20220091160A - 증강 현실 디바이스 및 그 동작 방법 - Google Patents

증강 현실 디바이스 및 그 동작 방법 Download PDF

Info

Publication number
KR20220091160A
KR20220091160A KR1020200182422A KR20200182422A KR20220091160A KR 20220091160 A KR20220091160 A KR 20220091160A KR 1020200182422 A KR1020200182422 A KR 1020200182422A KR 20200182422 A KR20200182422 A KR 20200182422A KR 20220091160 A KR20220091160 A KR 20220091160A
Authority
KR
South Korea
Prior art keywords
light
virtual image
gaze
augmented reality
reality device
Prior art date
Application number
KR1020200182422A
Other languages
English (en)
Inventor
김기민
김도완
구본곤
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200182422A priority Critical patent/KR20220091160A/ko
Priority to PCT/KR2021/019421 priority patent/WO2022139375A1/en
Priority to US17/561,329 priority patent/US11868524B2/en
Publication of KR20220091160A publication Critical patent/KR20220091160A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/15—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on an electrochromic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

본 개시는 시선 추적 센서를 통해 동공 크기에 관한 정보를 획득하고, 동공 크기에 기초하여 가상 이미지를 구성하는 광의 휘도를 변경하도록 구성되는 증강 현실 디바이스 및 그 동작 방법을 개시한다. 본 개시의 일 실시예에 따른 증강 현실 디바이스는 동공의 크기에 기초하여, 외부로부터 입사되는 광의 광 투과율을 변경할 수 있다.

Description

증강 현실 디바이스 및 그 동작 방법 {AUGMENTED REALITY DEVICE AND METHOD FOR OPERATING THE SAME}
본 개시는 현실 객체 상에 가상 이미지를 가상으로 표시하는 증강 현실 디바이스(Augmented Reality Device)에 관한 것으로, 구체적으로는 사용자의 눈의 동공 크기에 따라 가상 이미지를 구성하는 광의 휘도를 자동으로 변경하는 증강 현실 디바이스 및 그 동작 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 오버레이(overlay)하여 함께 보여주는 기술로서, 증강 현실 기술을 활용한 증강 현실 디바이스(예를 들어, 스마트 글래스(Smart Glass) 가 정보 검색, 길 안내, 카메라 촬영과 같이 일상 생활에서 유용하게 사용되고 있다. 특히, 스마트 글래스는 패션 아이템으로도 착용되고, 실외 활동에 주로 사용되고 있다.
증강 현실 디바이스는 일반적으로, 사용자에 착용된 상태에서 사용자의 눈에 가깝게 배치된 시스루 디스플레이(see-through display)를 통해 장면을 보게 된다. 여기서, 장면은 사용자가 눈을 통해 직접 보는 물리적 환경 또는 공간 내의 하나 이상의 현실 객체를 포함한다. 증강 현실 디바이스는 시스루 디스플레이를 통해 사용자의 눈까지 가상 이미지를 전달하고, 사용자는 시스루 디스플레이를 통해 현실 객체와 가상 이미지를 동시에 볼 수 있다.
증강 현실 디바이스를 통해 가상 이미지의 시인성(visibility)를 높이기 위해서는, 주변 환경의 조도에 따라 가상 이미지를 구성하는 광의 휘도를 조절하는 기술이 요구된다. 주변 환경의 조도에 비하여 가상 이미지의 광의 휘도가 지나치게 높은 경우, 가상 이미지의 시인성이 떨어지고, 눈부심이나 눈의 피로감이 발생될 수 있다. 또한, 높은 조도에서 가상 이미지를 구성하는 광의 휘도를 장시간 높이는 경우에는, 증강 현실 디바이스의 전력 소모량이 증가하고, 발열이 발생되는 문제점이 있다.
본 개시는 사용자의 눈의 동공 크기에 기초하여 웨이브 가이드를 통해 투사되는 가상 이미지를 구성하는 광의 휘도를 자동으로 변경하는 증강 현실 디바이스 및 그 동작 방법을 제공하는데 있다. 또한, 본 개시는 사용자의 동공 크기에 기초하여 외부로부터 증강 현실 디바이스에 입사되는 광의 광 투과율을 자동으로 변경하는 증강 현실 디바이스 및 그 동작 방법을 제공하는데 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는, 가상 이미지를 구성하는 광을 출력하도록 구성된 디스플레이 모듈, 상기 출력된 가상 이미지의 광을 사용자 눈으로 전달하고 외부 광이 투과되는 웨이브 가이드(waveguide), 동공 크기를 포함한 사용자의 눈에 관한 정보를 획득하는 시선 추적 센서, 하나 이상의 명령어들(instructions)을 저장하는 메모리 및 상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 시선 추적 센서를 통해 획득된 상기 동공 크기에 기초하여, 상기 가상 이미지를 구성하는 광의 휘도를 변경하도록 상기 디스플레이 모듈을 제어하는 증강 현실 디바이스를 제공한다.
일 실시 예에서, 상기 프로세서는 상기 동공 크기와 반비례 관계에 따라 상기 가상 이미지를 구성하는 광의 휘도를 조절할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 시선 추적 센서를 이용하여 상기 사용자의 눈을 촬영한 이미지로부터 홍채 및 동공 영역을 검출하고, 검출된 동공의 직경 크기를 홍채의 직경 크기로 나누는 연산을 수행함으로써 동공 크기 비율을 계산하고, 상기 계산된 동공 크기 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 상기 가상 이미지의 광의 휘도를 조절할 수 있다.
일 실시 예에서, 상기 기준 동공 크기는 실험을 통해 기 획득된 데이터에 따라 다수의 사용자가 편안함을 느끼는 가상 이미지의 광의 휘도에서의 동공 크기의 평균값으로 결정될 수 있다.
일 실시 예에서, 상기 기준 동공 크기는 사용자의 나이, 식별 정보에 따른 가상 이미지의 밝기 선호도, 상기 증강 현실 디바이스를 통해 실행 중인 애플리케이션의 타입, 및 사용자에 의한 캘리브레이션 정보 중 적어도 하나에 기초하여 결정될 수 있다.
일 실시 예에서, 상기 프로세서는 상기 시선 추적 센서를 이용하여 좌안과 우안의 시선 방향이 수렴하는 응시점(gaze point)의 3차원 위치 좌표 정보를 획득하고, 상기 응시점의 3차원 위치 좌표 정보와 상기 가상 이미지가 표시되는 영역 간의 거리를 측정함으로써, 응시점과 가상 이미지 간의 거리 정보를 획득하고, 상기 동공 크기 및 상기 응시점과 가상 이미지 간의 거리 정보에 기초하여, 상기 가상 이미지의 광의 휘도를 변경할 수 있다.
일 실시 예에서, 상기 시선 추적 센서는 사용자의 좌안을 촬영함으로써 좌안의 시선 방향을 추적하는 제1 시선 추적 카메라 및 사용자의 우안을 촬영함으로써 우안의 시선 방향을 추적하는 제2 시선 추적 카메라를 포함하고, 상기 프로세서는 상기 제1 시선 추적 카메라를 이용하여 좌안의 시선 방향을 나타내는 제1 시선 벡터를 획득하고, 상기 제2 시선 추적 카메라를 이용하여 우안의 시선 방향을 나타내는 제2 시선 벡터를 획득하고, 양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점을 검출하고, 검출된 상기 응시점의 3차원 위치 좌표 정보를 획득할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 응시점과 상기 가상 이미지 간의 거리와 반비례 관계에 따라 상기 가상 이미지의 광의 휘도를 조절할 수 있다.
일 실시 예에서, 상기 증강 현실 디바이스는 외부 광의 투과율을 조절하도록 구성되는 광 투과 유닛 및 상기 광 투과 유닛에 전원을 공급하는 전원 공급부를 더 포함하고, 상기 프로세서는 상기 동공의 크기에 기초하여 외부 광의 광 투과율을 결정하고, 결정된 상기 광 투과율에 대응되는 공급 전압을 결정하며, 상기 전원 공급부가 상기 결정된 공급 전압을 상기 광 투과 유닛에 공급하도록 제어함으로써 상기 광 투과 유닛의 광 투과율을 변경할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 시선 추적 센서를 이용하여 좌안과 우안의 시선 방향이 수렴하는 응시점(gaze point)의 3차원 위치 좌표 정보를 획득하고, 상기 응시점의 3차원 위치 좌표 정보와 상기 가상 이미지가 표시되는 영역 간의 거리를 측정함으로써 응시점과 가상 이미지 간의 거리 정보를 획득하고, 상기 동공의 크기 및 상기 응시점과 상기 가상 이미지 간의 거리에 기초하여, 외부 광의 광 투과율을 변경하도록 상기 광 투과 유닛을 제어할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 시선 추적 센서를 이용한 촬영을 통해 동공 크기를 포함한 사용자의 눈에 관한 정보를 획득하는 단계, 상기 획득된 동공 크기에 기초하여, 상기 증강 현실 디바이스의 웨이브가이드(wave guide)에 출력되는 가상 이미지를 구성하는 광의 휘도를 결정하는 단계, 및 상기 결정된 가상 이미지의 광의 휘도에 기초하여, 상기 증강 현실 디바이스의 디스플레이 모듈의 휘도를 변경하는 단계를 포함하는, 증강 현실 디바이스의 동작 방법을 제공한다.
일 실시 예에서, 상기 가상 이미지의 광의 휘도를 결정하는 단계는 상기 획득된 동공 크기와 반비례 관계에 따라 상기 가상 이미지의 광의 휘도를 조절할 수 있다.
일 실시 예에서, 상기 사용자의 눈에 관한 정보를 획득하는 단계는 상기 시선 추적 센서를 이용하여 상기 사용자의 눈을 촬영한 이미지로부터 홍채 및 동공 영역을 검출하는 단계, 및 검출된 동공의 직경 크기를 홍채의 직경 크기로 나눔으로써, 동공 크기 비율을 계산하는 단계를 포함하고, 상기 가상 이미지의 광의 휘도를 변경하는 단계는 상기 계산된 동공 크기 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 상기 가상 이미지의 광의 휘도를 조절할 수 있다.
일 실시 예에서, 상기 기준 동공 크기는 실험을 통해 기 획득된 데이터에 따라 다수의 사용자가 편안함을 느끼는 가상 이미지의 광의 휘도에서의 동공 크기의 평균값으로 결정될 수 있다.
일 실시 예에서, 상기 기준 동공 크기는 사용자의 나이, 식별 정보에 따른 가상 이미지의 밝기 선호도, 상기 증강 현실 디바이스를 통해 실행 중인 애플리케이션의 타입, 및 사용자에 의한 캘리브레이션 정보 중 적어도 하나에 기초하여 결정될 수 있다.
일 실시 예에서, 상기 방법은 상기 시선 추적 카메라를 이용하여 좌안과 우안의 시선 방향이 수렴하는 응시점(gaze point)의 3차원 위치 좌표 정보를 획득하는 단계, 및 상기 응시점의 3차원 위치 좌표 정보와 상기 가상 이미지가 표시되는 영역 간의 거리를 측정함으로써, 응시점과 가상 이미지 간의 거리 정보를 획득하는 단계를 더 포함하고, 상기 가상 이미지의 광의 휘도를 변경하는 단계는, 상기 동공 크기 및 상기 응시점과 가상 이미지 간의 거리 정보에 기초하여, 상기 가상 이미지의 광의 휘도를 조절할 수 있다.
일 실시 예에서, 상기 응시점의 3차원 위치 좌표 정보를 획득하는 단계는 제1 시선 추적 카메라를 이용하여 좌안의 시선 방향을 추적함으로써, 제1 시선 벡터를 획득하는 단계, 제2 시선 추적 카메라를 이용하여 우안의 시선 방향을 추적함으로써, 제2 시선 벡터를 획득하는 단계, 양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점을 검출하는 단계, 및 검출된 상기 응시점의 3차원 위치 좌표 정보를 획득하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 가상 이미지의 광의 휘도를 결정하는 단계는 상기 응시점과 상기 가상 이미지 간의 거리와 반비례 관계에 따라 상기 가상 이미지의 광의 휘도를 조절할 수 있다.
일 실시 예에서, 상기 방법은 상기 획득된 동공의 크기에 기초하여 외부 광의 광 투과율을 결정하는 단계, 결정된 상기 광 투과율에 대응되는 공급 전압을 결정하는 단계, 및 결정된 상기 공급 전압을 상기 증강 현실 디바이스의 광 투과 유닛에 공급함으로써, 상기 광 투과 유닛의 광 투과율을 변경하는 단계를 더 포함할 수 있다.
도 1a는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구조를 도시한 사시도이다.
도 1b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 평면도이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 웨이브 가이드 및 디스플레이 모듈을 도시한 사시도이다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 광 투과 유닛을 도시한 사시도이다.
도 5a는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 시선 추적 센서를 도시한 도면이다.
도 5b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 시선 추적 센서를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 동공 크기에 기초하여 광 투과 유닛의 광 투과율 및/또는 디스플레이 모듈의 휘도를 변경하는 동작을 설명하기 위한 개념도이다.
도 7은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 동작 방법을 도시한 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 눈에 관한 이미지로부터 동공 비율을 산출하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 동작 방법을 도시한 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 동작 방법을 도시한 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.
도 14a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 응시점과 가상 이미지 간의 거리에 기초하여, 가상 이미지를 구성하는 광의 휘도를 변경하는 방법을 설명하기 위한 도면이다.
도 14b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 응시점과 가상 이미지 간의 거리에 기초하여, 가상 이미지를 구성하는 광의 휘도를 변경하는 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 응시점과 가상 이미지 간의 거리에 기초하여, 가상 이미지를 구성하는 광의 휘도를 변경하는 방법을 도시한 흐름도이다.
도 16a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 응시점과 가상 이미지 간의 거리에 기초하여, 광 투과 유닛의 광 투과율을 변경하는 방법을 설명하기 위한 도면이다.
도 16b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 응시점과 가상 이미지 간의 거리에 기초하여, 광 투과 유닛의 광 투과율을 변경하는 방법을 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 동작 방법을 도시한 흐름도이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서, '증강 현실(AR : Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 디바이스(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 디바이스를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)(들)를(을) 포함할 수 있다.
본 개시에서, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 디바이스의 동작에 대한 정보나 제어 메뉴 등을 나타내는 가상의 이미지일 수 있다.
본 개시에서, '가상 객체'는 가상 이미지의 일부 영역을 의미한다. 가상 객체는 현실 객체와 관련된 정보를 나타낼 수 있다. 가상 객체는 예를 들어, 문자, 숫자, 기호, 아이콘, 이미지, 및 애니메이션 중 적어도 하나를 포함할 수 있다.
본 개시에서, '초점(focus)'은 렌즈의 광축에 평행한 광선이 렌즈(또는 광학계)를 통과한 후, 광선을 연장한 직선이 광축과 만나는 지점을 의미한다. 렌즈(또는 광학계)의 주단면(principal plane)에서 초점까지의 공기 중에서의 거리를 초점 거리라 한다.
본 개시에서, '가상 이미지의 깊이(depth)'라 함은 사용자가 가상 이미지를 볼 때 공간 상에서 가상 이미지가 있다고 인식되는 거리 또는 위치를 의미한다. 양안 시차를 이용하는 3D 영상은 서로 다른 시선 방향의 좌안 가상 이미지와 우안 가상 이미지를 생성하며, 이때 서로 다른 시선 방향들은 사용자의 좌안에서 보는 시 방향과 우안에서 보는 시선 방향일 수 있다. 따라서 양안 시차(binocular disparity)를 이용하는 3D 영상에서 가상 이미지의 깊이는 좌안에서 보는 시선 방향과 우안에서 보는 시선 방향에 의한 시차(즉, 양안 시차)에서 환산된 거리일 수 있다.
본 개시에서, '시선 방향(gaze direction)'이란 사용자가 응시하는 방향을 의미하며, '시선(gaze)'이란 사용자의 눈동자에서 시선 방향으로 향하는 가상의 선을 의미한다. 주로 시선 추적 센서에서 획득된 정보로부터 시선 방향을 계산하고 시선을 추정한다.
본 개시에서, '응시점(gaze point)'이란 사용자가 응시하는 지점을 가리키며, 사용자의 양안의 시선이 교차하는 지점으로 산출될 수 있다. 양안 시차를 이용하는 3D 영상을 볼 때 사용자는 양안 시차에 의해 3D 영상을 인식하므로, 사용자의 양안의 수렴각을 통해 얻어지는 응시점이 사용자가 가상 객체가 있다고 인식되는 지점(즉, 가상 이미지의 깊이)일 수 있다.
일반적인 증강 현실 디바이스는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(Waveguide)을 구비한다. 전술한 바와 같이, 증강 현실 디바이스는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구조를 도시한 사시도이다. 본 개시의 증강 현실 디바이스(1000)는 사용자의 안면부에 착용하는 안경 형태의 증강 현실 글래스(Augmented Reality Glass)일 수 있다. 그러나, 이에 한정되는 것은 아니고, 본 개시의 증강 현실 디바이스(1000)는 사용자의 머리 부분에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus), 또는 증강 현실 헬멧(Augmented Reality Helmet)일 수도 있다.
증강 현실 디바이스(1000)는 애플리케이션을 실행함으로써, 현실 객체 뿐만 아니라, 웨이브 가이드(1100)에 표시되는 가상 이미지 컨텐트를 제공할 수 있다. 증강 현실 디바이스(1000)는 예를 들어, 무비 애플리케이션, 뮤직 애플리케이션, 포토 애플리케이션, 갤러리 애플리케이션, 웹 브라우저 애플리케이션, 전자책(e-book reader) 애플리케이션, 게임 애플리케이션, 증강 현실 애플리케이션, SNS 애플리케이션, 메신저 애플리케이션, 오브젝트 인식 애플리케이션 등을 실행함으로써, 각각의 애플리케이션에서 표시되는 가상 이미지 콘텐트를 사용자에게 제공할 수 있다.
도 1a를 참조하면, 증강 현실 디바이스(1000)는 사용자가 착용할 수 있도록 구성된 안경형 증강 현실 장치로서, 안경형 몸체를 포함한다. 도 1a에 도시된 증강 현실 디바이스(1000)는 프레임(frame)(1010), 안경 다리들(temples)(1020) 및 노즈 브릿지(nose bridge)(1030)를 포함할 수 있다.
프레임(1010)은 안경알(1040L, 1040R)이 위치하는 구성 요소로서, 노즈 브릿지(1030)를 통해 연결된 2개의 테(rim) 형상을 가질 수 있다. 안경알(1040L, 1040R)은 예시적인 것으로서, 굴절력(도수)를 가지거나 또는 가지지 않을 수 있다. 일 실시예에서, 안경알(1040L, 1040R)은 일체로 형성될 수 있으며, 이 경우 프레임(1010)의 테와 노즈 브릿지(1030)가 구분되지 않을 수도 있다. 안경알(1040L, 1040R)은 생략될 수도 있다.
안경 다리들(1020)은 프레임(1010)의 양 단부에 각각 연결되고 일 방향으로 연장된다. 안경 다리들(1020)은 예를 들어, 탄성에 의해 휘어지는(flexible) 소재로 구성될 수 있으나, 이에 한정되지 않는다. 프레임(1010)과 안경 다리들(1020)는 힌지(hinge)(1050)에 의해 연결될 수 있다. 힌지(1050)는 예시적인 것으로서, 프레임(1010)과 안경 다리들(1020)을 연결하는 공지의 부재가 채용될 수 있다. 다른 예로, 프레임(1010)과 안경 다리들(1020)은 일체로(혹은 연속하여) 연결되어 있을 수도 있다.
프레임(1010)에는 웨이브 가이드(1100) 및 광 투과 유닛(1200)이 배치될 수 있다. 도 1a에는 도시되지 않았지만, 증강 현실 디바이스(1000)는 전자 부품들(1022, 도 1b 참조), 디스플레이 모듈(1300, 도 1b 참조), 및 시선 추적 센서(1400, 도 1b 참조)를 더 포함할 수 있다. 증강 현실 디바이스(1000)의 구성 요소에 대해서는 도 1b에서 상세하게 설명하기로 한다.
도 1b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 평면도이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구성 요소를 도시한 블록도이다.
도 1b 및 도 2를 참조하면, 증강 현실 디바이스(1000)는 프레임(1010), 안경 다리들(1020), 노즈 브릿지(nose bridge)(1030), 웨이브 가이드(1100), 광 투과 유닛(1200), 디스플레이 모듈(1300), 시선 추적 센서(1400), 프로세서(1500), 메모리(1600), 전원 공급부(1700), 센서 유닛(1800), 및 저장부(1900)를 포함할 수 있다. 도 1b 및 도 2에는 증강 현실 디바이스(1000)의 동작을 설명하기 위한 필수적 구성 요소만이 도시되었고, 증강 현실 디바이스(1000)이 포함하는 구성 요소가 도 1b 및 도 2에 도시된 바와 같이 한정되는 것은 아니다.
광학 부품들은 디스플레이 모듈(1300)에 의해 출력되는 가상 이미지의 광과 현실 장면의 광을 사용자의 눈으로 전달하도록 구성된 것으로서, 웨이브 가이드(1100)와 광 투과 유닛(1200)을 포함할 수 있다. 도 1a 및 도 1b를 참조하면, 광학 부품들은 각각 프레임(1010)의 좌측 및 우측에 배치될 수 있다. 좌측 안경알(1040L)과 우측 안경알(1040R)에는 각각 좌안 광학 부품들 및 우안 광학 부품들이 배치 또는 부착될 수 있다. 또는 좌안 광학 부품들 및 우안 광학 부품들은 안경알(1040L, 1040R)과 별개로 프레임(1010)에 장착될 수도 있다. 다른 예로, 좌안 광학 부품들 및 우안 광학 부품들은 일체로 구성되어 프레임(1010)에 장착될 수도 있다. 또 다른 예로, 광학 부품들은 프레임(1010)의 좌측 및 우측 중 어느 한 쪽에만 배치될 수 있다.
웨이브 가이드(1100)는 사용자가 증강 현실 디바이스(1000)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(1100)의 배면은 사용자가 증강 현실 디바이스(1000)를 착용할 때, 사용자의 눈이 마주하는 면을 의미하고, 웨이브 가이드(1100)의 전면은 배면에 대향되는 면(즉, 사용자의 눈에서 먼 쪽)을 의미한다. 웨이브 가이드(1100)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다.
웨이브 가이드(1100)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(1100)는 디스플레이 모듈(1300)의 출사면에 마주하여, 디스플레이 모듈(1300)로부터 투사된 가상 이미지의 광을 수광하고, 전반사(total reflection) 원리에 의해 광을 전파하고, 광 경로를 변경하여 최종적으로는 사용자의 눈을 향해 출력하도록 하는 복수의 영역을 포함할 수 있다. 복수의 영역에는 회절 격자가 형성될 수 있다. 웨이브 가이드(1100)는 도광판과 같은 기능을 수행한다. 사용자는 웨이브 가이드(1100)를 통해 가상 이미지 및 현실 객체를 동시에 볼 수 있다. 웨이브 가이드(1100)의 형태 및 특성에 대해서는 도 3에서 상세하게 설명하기로 한다.
광 투과 유닛(1200)은 프레임(1010)에 결합되고, 웨이브 가이드(1100)의 전면에 배치될 수 있다. 여기서, '전면'은 사용자가 증강 현실 디바이스(1000)를 착용한 경우, 사용자의 눈에서 멀게 배치되고, 현실 장면에 가까운 위치에 배치되는 위치 관계를 의미한다. 일 실시예에서, 광 투과 유닛(1200)은 웨이브 가이드(1100)와 일정 거리만큼 이격되도록 배치될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 광 투과 유닛(1200)은 웨이브 가이드(1100)의 전면에 광학 투명 접착제(Optical Clear Adhesive)를 통해 결합될 수 있다.
광 투과 유닛(1200)은 전원 공급부(1700)로부터 인가되는 공급 전압에 대응하여 외부로부터 입사되는 광의 투과율을 변경 또는 조절하는 구성 요소이다. '광 투과율'은 외부로부터 증강 현실 디바이스(1000)에 입사되는 입사 광량에 대한 투과 광량의 비율을 의미한다. 광 투과 유닛(1200)에 의해 광 투과율이 높아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 늘어나고, 이에 따라 사용자가 바라보는 현실 객체의 밝기가 밝아진다. 반대로, 광 투과 유닛(1200)에 의해 광 투과율이 낮아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 줄어들고, 따라서 사용자가 바라보는 현실 객체의 밝기는 어두워진다.
광 투과 유닛(1200)은 예를 들어, 산화 인듐 주석(Indium Tin Oxide: ITO) 층, 전기 변색 층, 전해질 층, 및 전극을 포함할 수 있다. 광 투과 유닛(1200)의 구체적인 구조에 대해서는 도 5에서 상세하게 설명하기로 한다.
디스플레이 모듈(1300)은 가상 이미지의 광을 생성하도록 구성되고, 화상 패널, 조명 광학계, 투사 광학계 등을 포함하는 프로젝터(projector)의 광학 엔진일 수 있다. 디스플레이 모듈(1300)은 좌안 디스플레이 모듈 및 우안 디스플레이 모듈을 포함할 수 있다. 디스플레이 모듈(1300)은 프레임(1010) 내에 배치될 수 있으나, 이에 한정되는 것은 아니다. 디스플레이 모듈(1300)은 안경 다리들(1020)에 각각 배치될 수도 있다.
디스플레이 모듈(1300)은 광을 출력하는 광원, 광원으로부터 출력되는 광을 이용하여 2차원의 가상 이미지를 형성하는 화상 패널, 및 화상 패널에서 형성되는 가상 이미지의 광을 투사하는 투사광학계를 포함할 수 있다. 광원은 광을 조명하는 광학 부품으로서, RGB의 컬러를 조절하여 광을 생성할 수 있다. 광원은 예를 들어, 발광 다이오드(LED)로 구성될 수 있다. 화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서, 반사하는 반사형 화상 패널로 구성될 수 있다. 반사형 화상 패널은 예를 들어, DMD(Digital Micromirror Device) 패널 또는 LCoS(Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다.
일 실시예에서, 디스플레이 모듈(1300)은 광을 출력하는 광원과 광원에서 출력된 광을 2차원으로 주사하는 2축 스캐너(scanner)를 포함할 수 있다.
다른 실시예에서, 디스플레이 모듈(1300)은 광을 출력하는 광원과 광원에서 출력된 광을 이용하여 선형 이미지(즉, 1차원의 이미지)를 형성하는 선형 화상 패널과, 선형 화상 패널에서 형성되는 선형 이미지의 광을 주사하는 1축 스캐너를 포함할 수도 있다.
디스플레이 모듈(1300)은 프로세서(1500)로부터 가상 이미지를 구성하는 이미지 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상 이미지를 생성하고, 광원으로부터 출력된 가상 이미지를 구성하는 광을 출사면을 통해 웨이브 가이드(1100)에 투사(project)할 수 있다. 일 실시예에서, 프로세서(1500)는 가상 이미지를 구성하는 복수의 픽셀의 RGB 컬러 및 휘도 값을 포함하는 이미지 데이터를 디스플레이 모듈(1300)에 제공하고, 디스플레이 모듈(1300)은 복수의 픽셀 각각의 RGB 컬러 값과 휘도 값에 따라, 광원을 제어함으로써 가상 이미지를 구성하는 광을 웨이브 가이드(1100)에 투사할 수 있다. 일 실시예에서, 디스플레이 모듈(1300)은 광원이 백생광으로 조명되는 광학적으로 활성인 물질에 의해 변조되는 투과성 투사 기술(transmissive projection technology)을 이용하여 가상 이미지를 투사할 수 있다. 디스플레이 모듈(1300)이 웨이브 가이드(1100)에 가상 이미지를 구성하는 광을 투사하는 구체적인 방법 및 구조에 관해서는 도 3에서 상세하게 설명하기로 한다.
시선 추적 센서(1400)는, 사용자의 눈의 시선 방향을 추적하는 장치이다. 시선 추적 센서(1400)는 사람의 눈동자나 동공의 이미지를 검출하거나, 근적외선 등의 조명광이 각막에서 반사되는 방향 또는 광량을 검출함으로써, 사용자의 시선 방향을 검출할 수 있다. 이러한 시선 추적 센서(1400)는 좌안용 시선 추적 센서와 우안용 시선 추적 센서를 포함하며, 각기 사용자의 좌안의 시선 방향 및 사용자의 우안의 시선 방향을 검출할 수 있다. 사용자의 시선 방향을 검출하는 것은, 사용자의 시선에 관련된 시선 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에서, 시선 추적 센서(1400)는 하나 또는 복수의 적외선 조사부(1410), 복수의 적외선 검출부(1420) 및 시선 추적 카메라(1430)를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 시선 추적 센서(1400)는 적외선 조사부(1410) 및 적외선 검출부(1420)를 포함하거나, 또는 적외선 조사부(1410) 및 시선 추적 카메라(1430)를 포함하도록 구성될 수 있다. 시선 추적 센서(1400)는 사용자의 눈을 촬영함으로써, 동공의 크기를 포함하는 눈에 관한 정보를 획득할 수 있다. 일 실시예에서, 시선 추적 센서(1400)는 동공과 홍채를 포함하는 사용자의 눈을 촬영하여 획득한 이미지를 프로세서(1500)에 제공할 수 있다.
시선 추적 센서(1400)의 구체적인 구조 및 동작에 관해서는 도 5a 및 도 5b에서 상세하게 설명하기로 한다.
전자 부품들(1022)은 프로세서(1500), 메모리(1600) 및 저장부(1900)를 포함하고, 프레임(1010) 또는 안경 다리들(1020)의 어느 한 곳에 위치하거나 또는 복수 위치에 분산되어 위치할 수 있으며, PCB 기판, FPCB 기판 등에 실장될 수 있다.
프로세서(1500)는 광 투과 유닛(1200), 디스플레이 모듈(1300), 및 시선 추적 센서(1400)와 전기적 및/또는 물리적으로 연결될 수 있다. 프로세서(1500)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
메모리(1600)는 하나 이상의 명령어들을 포함하는 프로그램을 저장할 수 있다. 메모리(1600)는 예를 들어, 플래시 메모리 타입(flash memory type), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
프로세서(1500)는 시선 추적 센서(1400)로부터 사용자의 눈에 관한 이미지를 획득하고, 이미지에 대하여 이미지 프로세싱(image processing)을 수행함으로써, 눈 이미지로부터 동공의 크기를 측정하고, 동공의 크기에 기초하여 가상 이미지를 구성하는 광의 휘도를 조절 또는 변경할 수 있다. 일 실시예에서, 프로세서(1500)는 동공의 크기에 기초하여 광 투과 유닛(1200)의 광 투과율을 조절 또는 변경할 수 있다.
일 실시예에서, 프로세서(1500)는 측정된 동공의 크기에 비례하여 광 투과율을 조절하고, 측정된 동공의 크기에 반비례하여 디스플레이 모듈(1300)의 휘도를 조절할 수 있다.
일 실시예에서, 프로세서(1500)는 시선 추적 센서(1400)를 이용한 촬영을 통해 사용자의 눈에 관한 이미지를 획득할 수 있다. 프로세서(1500)는 공지의 이미지 프로세싱(image processing) 방법을 이용하여, 이미지로부터 홍채 및 동공을 인식할 수 있다. 일 실시예에서, 프로세서(1500)는 시선 추적 센서(1400)로부터 획득한 눈 이미지에 관하여 이미지 프로세싱을 수행하여, 휘도가 가장 낮고, 원형의 형태를 갖는 영역을 동공으로 검출할 수 있다. 프로세서(1500)는 동공으로 검출된 영역의 직경을 측정함으로써, 동공의 크기에 관한 정보를 획득할 수 있다. 유사한 방법으로, 프로세서(1500)는 검출된 동공을 둘러싸고 있는 원형의 형태를 갖는 영역을 홍채로 검출하고, 검출된 홍채의 크기에 관한 정보를 획득할 수 있다.
다른 실시예에서, 프로세서(1500)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)을 이용하여, 눈에 관한 이미지로부터 홍채 및 동공을 인식할 수도 있다. 기 학습된 심층 신경망 모델은 기 획득된 복수의 홍채 및 동공에 관한 이미지를 입력으로 하고, 홍채 및 동공에 관한 라벨값(label)을 정답값(groundtruth)으로 하는 지도 학습(supervised learning)을 통해 트레이닝된 인공지능 모델일 수 있다. 심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN)일 수 있다. 그러나 이에 한정되는 것은 아니고, 심층 신경망 모델은 순환 신경망 모델(Recurrent Neural Network; RNN), 제한 볼츠만 머신(Restricted Boltzmann Machine; RBM), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함하는 공지의 인공지능 모델일 수 있다.
일 실시예에서, 프로세서(1500)는 기 설정된 시간 간격으로 동공 크기를 측정함으로써, 실시간으로 동공 크기에 관한 정보를 획득할 수 있다. 예를 들어, 시간 간격이 10초인 경우, 프로세서(1500)는 10초 간격에 따라 주기적으로 동공의 크기를 측정할 수 있다.
프로세서(1500)는 인식된 동공에 해당되는 영역의 크기를 측정하고, 측정된 동공의 크기에 기초하여, 가상 이미지를 구성하는 광의 휘도를 결정할 수 있다. 프로세서(1500)는 측정된 동공의 크기에 기초하여, 외부 광의 광 투과율을 결정할 수 있다. 일반적으로, 동공은 2mm 내지 8mm 범위에서 크기가 변하며, 동공의 크기는 광량에 기초하여 변한다. 동공 크기의 변화는 동공 반사에 의한 것으로서, 눈에 입사되는 광량을 조절하기 위하여 동공의 크기가 커지거나 또는 작아지는 것을 의미한다. 동공의 크기와 눈에 입사되는 광의 휘도는 비선형적인 관계를 가지며, 광의 휘도가 높아지면 동공의 크기는 줄어든다. 동공의 크기가 확대되는 경우, 광의 휘도가 낮음을 의미하고, 가상 이미지를 구성하는 광의 휘도를 높일 필요가 있다. 동공의 크기가 축소되는 경우, 광의 휘도가 높음을 의미하고, 이 경우에는 가상 이미지를 구성하는 광의 휘도를 낮춰서 어둡게 할 필요가 있다.
일 실시예에서, 프로세서(1500)는 검출된 동공 영역의 직경 크기를 측정하고, 측정된 동공의 직경 크기를 홍채의 직경 크기로 나누는 연산을 수행함으로써, 동공 크기의 비율을 계산할 수 있다. 일 실시예에서, 프로세서(1500)는 계산된 동공 크기 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 광 투과율 및/또는 가상 이미지의 광의 휘도를 결정할 수 있다. 여기서, '기준 동공 크기'는 광 투과 유닛(1200)의 광 투과율 및/또는 가상 이미지의 광의 휘도를 결정하는데 기준이 되는 동공 크기 비율로서, 사용자가 편안함을 느끼는 상태에서의 광 투과율 및 가상 이미지의 광의 휘도에 따른 동공 크기로부터 결정될 수 있다. 일 실시예에서, 기준 동공 크기는 실험을 통해 기 획득된 데이터에 따라 다수의 사용자가 편안한 상태에서 선호하는 외부 광의 광 투과율 및 가상 이미지의 광의 휘도에 따른 동공 크기의 평균값에 기초하여 결정될 수 있다. 일 실시예에서, 기준 동공 크기는 특정 사용자의 나이, 식별 정보에 따른 광 투과율 및 가상 이미지의 밝기 선호도, 및 증강 현실 디바이스(1000)를 통해 실행 중인 애플리케이션의 타입 중 적어도 하나에 기초하여 결정될 수 있다.
일 실시예에서, 프로세서(1500)는 광 투과 유닛(1200)을 제어하여 외부 광의 광량을 다르게 설정하고, 디스플레이 모듈(1300)을 통해 웨이브 가이드(1100)에 투사되는 가상 이미지를 구성하는 광의 휘도를 각각 다르게 설정하여 디스플레이하고, 사용자가 편안함을 느끼거나, 선호하는 상태를 설정하도록 하는 캘리브레이션(calibration) 과정을 수행할 수 있다. 프로세서(1500)는 캘리브레이션 결과에 따라 결정된 광 투과율 및 가상 이미지의 광의 휘도 조건 하에서의 사용자의 동공 크기를 측정하고, 측정된 동공 크기를 기준 동공 크기로 결정할 수도 있다. 이 경우, 프로세서(1500)는 결정된 기준 동공 크기에 관한 정보를 저장부(1900)에 저장할 수 있다.
프로세서(1500)는 눈에 관한 이미지로부터 계산된 동공 크기 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 광 투과율 및/또는 가상 이미지의 광의 휘도를 결정할 수 있다. 일 실시예에서, 프로세서(1500)는 동공 크기 비율에 반비례하여 가상 이미지를 구성하는 광의 휘도를 조절 또는 변경할 수 있다. 예를 들어, 프로세서(1500)는 동공 크기 비율이 기준 동공 크기 비율 보다 크면 클수록 가상 이미지를 구성하는 광의 휘도를 낮추고, 동공 크기 비율이 기준 동공 크기 비율보다 작을수록 가상 이미지를 구성하는 광의 휘도를 높일 수 있다. 일 실시예에서, 프로세서(1500)는 동공 크기 비율에 비례하여 외부 광의 광 투과율을 조절 또는 변경할 수 있다. 예를 들어, 프로세서(1500)는 동공 크기 비율이 기준 동공 크기 비율 보다 크면 클수록 광 투과 유닛(1200)의 광 투과율을 높이고, 동공 크기 비율이 기준 동공 크기 비율 보다 작을수록 광 투과 유닛(1200)의 광 투과율을 낮게 변경할 수 있다.
프로세서(1500)는 동공의 크기 뿐만 아니라, 다른 요소도 함께 고려하여 광 투과 유닛(1200)의 광 투과율 및/또는 가상 이미지의 광의 휘도를 결정할 수 있다. 일 실시예에서, 프로세서(1500)는 시선 추적 센서(1400)를 통해 획득한 사용자의 시선 방향에 따른 응시점(gaze point)의 위치와 가상 이미지가 표시되는 위치 간의 거리에 기초하여, 광 투과율 및/또는 가상 이미지를 구성하는 광의 휘도를 조절할 수도 있다. 일 실시예에서, 프로세서(1500)는 시선 추적 센서(1400)에 의해 촬영된 좌안과 우안 각각의 눈 이미지를 이용하여, 사용자의 시선의 방향 및 위치를 추적할 수 있다. 프로세서(1500)는 좌안과 우안의 시선 방향이 수렴하는 응시점(gaze point)의 3차원 위치 좌표 정보를 획득하고, 응시점의 3차원 위치 좌표 정보와 가상 이미지가 표시되는 영역 간의 거리를 측정할 수 있다. 프로세서(1500)는 동공 크기 및 측정된 응시점의 3차원 위치 좌표와 가상 이미지의 표시 영역 간의 거리에 기초하여 광 투과율 및/또는 가상 이미지의 광의 휘도를 결정할 수 있다. 일 실시예에서, 프로세서(1500)는 응시점과 상기 가상 이미지 간의 거리와 반비례 관계에 따라 가상 이미지를 구성하는 광의 휘도를 조절 또는 변경할 수 있다. 일 실시예에서, 프로세서(1500)는 응시점과 가상 이미지 간의 거리와 비례 관계에 따라 광 투과율을 조절 또는 변경할 수 있다.
프로세서(1500)가 응시점의 3차원 위치 좌표와 가상 이미지의 표시 영역 간의 거리에 기초하여 광 투과율 및/또는 가상 이미지의 광의 휘도를 결정하는 구체적인 실시예에서 대해서는 도 14a 내지 도 17에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1500)는 조도 센서(1810)를 통해 측정된 외부 환경의 조도에 기초하여 광 투과 유닛(1200)의 광 투과율을 결정할 수 있다. 예를 들어, 프로세서(1500)는 측정된 외부 환경의 조도 값에 반 비례하여 광 투과율을 조절할 수 있다.
일 실시예에서, 프로세서(1500)는 하기 수학식 1에서 정의된 바와 같이, 광 투과 유닛(1200)의 광 투과율(T)을 결정할 수 있다.
Figure pat00001
수학식 1에 따르면, 프로세서(1500)는 눈 이미지로부터 측정된 동공 크기 비율(R), 외부 환경의 조도(L), 응시점과 가상 이미지의 표시 영역 간의 거리(D), 및 캘리브레이션 값(α)에 기초하여 광 투과율(T)을 결정 또는 조절할 수 있다.
일 실시예에서, 프로세서(1500)는 하기 수학식 2에서 정의된 바와 같이, 가상 이미지를 구성하는 광의 휘도(B)를 결정할 수 있다.
Figure pat00002
수학식 2에 따르면, 프로세서(1500)는 눈 이미지로부터 측정된 동공 크기 비율(R), 응시점과 가상 이미지의 표시 영역 간의 거리(D), 및 캘리브레이션 값(α)에 기초하여 가상 이미지의 광의 휘도값(B)을 결정 또는 조절할 수 있다.
그러나, 상기 수학식 1 및 수학식 2는 예시적인 것이고, 프로세서(1500)가 상기 수학식 1 및 수학식 2에 따라 광 투과율(T) 및 가상 이미지의 광의 휘도(B)를 결정하는 것으로 한정되는 것은 아니다.
프로세서(1500)는 결정된 광 투과율에 대응되는 공급 전압을 결정하고, 전원 공급부(1700)를 통해 공급 전압을 광 투과 유닛(1200)에 공급함으로써, 광 투과 유닛(1200)의 광 투과율을 변경할 수 있다. 프로세서(1500)는 광 투과율에 따른 공급 전압 값의 관계를 룩 업 테이블(look up table; LUT) 형태로 작성하고, 룩 업 테이블을 저장부(1900)에 저장할 수 있다. 예를 들어, 룩 업 테이블에서 광 투과율이 100%인 경우, 공급 전압 값이 -1.85V 인가되고, 광 투과율이 50%인 경우, 공급 전압 값이 -0.55V 인가되며, 광 투과율이 10%인 경우에는 공급 전압 값이 0.45V 인가되는 것으로 저장되어 있을 수 있다. 그러나, 이는 예시적인 것이고, 상기 전압 값으로 한정되는 것은 아니다.
프로세서(1500)는 결정된 가상 이미지의 광의 휘도에 기초하여, 디스플레이 모듈(1300)의 휘도를 변경할 수 있다. 프로세서(1500)는 디스플레이 모듈(1300)에 인가되는 전류 값을 조절함으로써, 웨이브 가이드(1100)에 표시되는 가상 이미지의 광의 휘도값에 따라 디스플레이 모듈(1300)의 휘도를 변경할 수 있다.
전원 공급부(1700)는 유선 케이블을 통해 광 투과 유닛(1200), 디스플레이 모듈(1300), 시선 추적 센서(1400) 및 프로세서(1500)와 전기적 및/또는 물리적으로 연결되고, 프로세서(1500)의 제어에 의해 광 투과 유닛(1200), 디스플레이 모듈(1300), 시선 추적 센서(1400)에 전력을 공급한다. 전원 공급부(1700)는 적어도 하나의 배터리 모듈 및 외부의 전원 소스로부터 입력되는 전원을 통해 적어도 하나의 배터리 모듈을 충전하는 충전 모듈을 포함할 수 있다. 전원 공급부(1700)는 프로세서(1500)의 제어에 따라 결정된 공급 전력을 광 투과 유닛(1200) 및 디스플레이 모듈(1300)에 공급할 수 있다. 전원 공급부(1700)에 의해 공급되는 전압 값에 따라 광 투과 유닛(1200)의 광 투과율 및 디스플레이 모듈(1300)의 휘도가 결정 또는 변경될 수 있다.
센서 유닛(1800)은 조도 센서(1810) 및 위치 센서(1820)를 포함할 수 있다.
조도 센서(1810)는 증강 현실 디바이스(1000)의 주변 조도(illuminance)를 검출할 수 있다. 조도 센서(1810)는 검출된 조도에 대응되는 조도 신호(예를 들어, 아날로그 조도 센서는 아날로그 신호를 또는 디지털 조도 센서는 디지털 신호를)를 프로세서(1500)에 제공할 수 있다. 조도 센서(1810)에 의해 측정된 조도는 0 럭스(lux) 이상 700 럭스 이하의 값을 가질 수 있다. 그러나, 이에 한정되는 것은 아니다.
일 실시예에서, 조도 센서(1810)는 카메라의 기능을 이용할 수 있다. 이 경우, 증강 현실 디바이스(1000)는 카메라의 이미지 센서를 통해 검출되는 광자(photon)의 양을 통해 주변 환경의 조도를 측정할 수 있다.
일 실시예에서, 도 1b에 도시된 조도 센서(1810)는 카메라로 대체될 수도 있다. 즉, 도 1b에 도시된 노즈 브릿지(1030)에는 카메라가 배치될 수 있다. 노즈 브릿지(1030)에 배치되는 카메라는 증강 현실 디바이스(1000)가 향하는 전면에 위치하는 현실 객체를 촬영하는 전면 카메라로 구성될 수 있다.
위치 센서(1820)는 증강 현실 디바이스(1000)의 위치 정보를 획득할 수 있다. 일 실시예에서, 위치 센서(1820)는 증강 현실 디바이스(1000)가 현재 위치한 장소 또는 위치 좌표를 획득할 수 있다. 예를 들어, 위치 센서(180)는 GPS 센서를 포함할 수 있다.
도면에는 도시되지 않았지만, 센서 유닛(1800)은 주변 현실 객체의 증강 현실 디바이스(1000)에 대한 근접 여부를 검출하는 근접 센서, 회전 관성을 이용하여 증강 현실 디바이스(1000)의 기울기를 검출하는 자이로 센서(Gyro sensor), 증강 현실 디바이스(1000)에 가해지는 3축(예를 들어, x축, y축, z축)의 이동 상태를 검출하는 가속도 센서, 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor) 또는 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter) 중 적어도 하나를 더 포함할 수 있다.
저장부(1900)는 프로세서(1500)에 의해 생성되거나 또는 획득되는 정보를 저장하는 저장 매체이다. 일 실시예에서, 저장부(1900)는 동공 크기에 따른 광 투과 유닛(1200)의 광 투과율 및 디스플레이 모듈(1300)의 휘도 값에 관한 정보, 사용자의 식별 정보(예를 들어, user id)에 따른 기준 동공 크기 비율, 사용자의 식별 정보에 따른 캘리브레이션 정보, 주변 조도에 따른 광 투과 유닛(1200)의 광 투과율 및 디스플레이 모듈(1300)의 휘도 값에 관한 정보, 및 실행되는 애플리케이션의 타입에 따른 광 투과율 및 디스플레이 모듈(1300)의 휘도 정보 중 적어도 하나를 저장할 수 있다.
일 실시예에서, 저장부(1900)는 광 투과율에 따른 광 투과 유닛(1200)에 인가되는 공급 전압 값에 관한 룩 업 테이블(look up table; LUT)을 저장할 수 있다.
일 실시예에서, 저장부(1900)는 가상 이미지를 구성하는 광의 휘도에 따라 결정되는 디스플레이 모듈(1300)의 휘도 값에 관한 정보를 저장할 수 있다.
저장부(1900)는 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리(Non-volatile memory)는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 의미한다. 비휘발성 메모리는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 롬(Read Only Memory; ROM), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함할 수 있다.
도 2에서 저장부(1900)는 증강 현실 디바이스(1000) 내에 포함되는 구성 요소로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 저장부(1900)는 증강 현실 디바이스(1000)에 포함되지 않는 외부 구성 요소로서, 예를 들어 외부 메모리 형태(예를 들어, 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등))로 구성되거나, 또는 서버 내에 포함되는 구성 요소로 구현될 수 있다. 이 경우, 저장부(1900)는 유무선 통신을 통해 증강 현실 디바이스(1000)가 연결될 수 있다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구성 요소인 웨이브 가이드(1100) 및 디스플레이 모듈(1300)을 도시한 사시도이다.
도 3을 참조하면, 웨이브 가이드(1100)는 사용자가 증강 현실 디바이스를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(1100)의 배면은 사용자가 증강 현실 디바이스를 착용할 때, 사용자의 눈이 마주하는 면을 의미하고, 웨이브 가이드(1100)의 전면은 상기 배면에 대향되는 면(즉, 사용자의 눈에서 먼 쪽)을 의미한다.
웨이브 가이드(1100)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(1100)는 디스플레이 모듈(1300)의 출사면(1310)에 마주하여 투사된 가상 이미지(VI)를 구성하는 광을 입력받는 제1 영역(1110), 제1 영역(1110)에 입사된 가상 이미지(VI)를 구성하는 광이 전파되는 제2 영역(1120), 및 제2 영역(1120)에서 전파되는 가상 이미지(VI)의 광을 사용자의 눈 방향으로 출력하는 제3 영역(1130)을 포함할 수 있다. 여기서, 투명 재질이라 함은, 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다.
일 실시예에서, 웨이브 가이드(1100)는 투명 재질로 형성됨에 따라, 사용자는 증강 현실 디바이스를 통해 가상 이미지(VI)의 가상 객체를 볼 수 있을 뿐만 아니라, 현실 장면을 볼 수도 있으므로, 웨이브 가이드(1100)는 시스루 디스플레이(see through display)로 지칭될 수 있다. 웨이브 가이드(1100)를 통해 가상 이미지(VI)의 가상 객체를 출력함으로써, 증강 현실(argumented reality)이 구현될 수 있다.
제1 영역(1110), 제2 영역(1120), 및 제3 영역(1130)에는 가상 이미지(VI)를 구성하는 광의 광 경로를 변경할 수 있도록 하는 회절 격자가 형성될 수 있다. 웨이브 가이드(1100)는 제1 영역(1110), 제2 영역(1120), 및 제3 영역(1130)에 형성된 회절 격자를 이용하여, 가상 이미지(VI)의 광의 전파 경로를 변경하고, 최종적으로는 제3 영역(1130)을 통해 반사된 가상 이미지(VI)의 광이 사용자의 눈으로 출력될 수 있도록 도광판의 기능을 수행할 수 있다.
제1 영역(1110)은 디스플레이 모듈(1300)의 출사면(1310)으로부터 입사되는 가상 이미지(VI)의 광을 X축 방향으로 전달할 수 있도록 회절 격자가 형성될 수 있다. 디스플레이 모듈(1300)은 출사되는 광이 제1 영역(1110)에 수직하거나 혹은 소정 각도로 경사지게 입사되도록 배치될 수 있다. 이와 같은 디스플레이 모듈(1300)의 배치 방향은 제1 영역(1110)의 회절 격자의 패턴에 따라 달라 질 수 있다.
제2 영역(1120)은 제1 영역(1110)을 기준으로 X축 방향으로 이격되어 배치될 수 있다. 제2 영역(1120)은 제1 영역(1110)으로부터 전달받은 광의 적어도 일부를 Z축 방향을 따라 아래로 전파하도록 회절 격자가 형성될 수 있다. 웨이브 가이드(1100)가 단층 구조로 형성되는 경우, 제2 영역(1120)의 회절 격자는 제1 영역(1110)의 회절 격자와 동일 면상에 형성될 수 있다. 또는 웨이브 가이드(1100)가 다층 구조로 형성되는 경우, 제2 영역(1120)의 회절 격자는 제1 영역(1110)의 회절 격자가 형성된 층과 다른 층에 형성될 수 있다. 제1 영역(1110)에 입사되는 광은 웨이브 가이드(1100)의 전면과 배면 사이에서 반사되면서 전파된다.
제3 영역(1130)은 제2 영역(1120)을 기준으로 Z축 방향으로 아래쪽에 이격되어 배치될 수 있다. 제3 영역(1130)은 제2 영역(1120)으로부터 전파된 광의 적어도 일부가 2차원 면에서 출력하도록 회절 격자가 형성될 수 있다. 웨이브 가이드(1100)가 단층 구조로 형성되는 경우, 제3 영역(1130)의 회절 격자는 제1 영역(1110) 및 제2 영역(1120)의 회절 격자와 동일면 상에 형성될 수 있다. 또는, 웨이브 가이드(1100)가 다층 구조로 형성되는 경우, 제3 영역(1130)의 회절 격자는 제2 영역(1120)의 회절 격자가 형성된 층과 다른 층에 형성될 수 있으며, 제1 영역(1110)의 회절 격자와 동일 층 혹은 다른 층에 형성될 수 있다.
제1 영역(1110)의 회절 격자와, 격자는 제2 영역(1120)의 회절 격자와, 제3 영역(1130)의 회절 격자는 서로 다른 패턴을 가질 수 있다.
디스플레이 모듈(1300)은 프로세서(1500, 도 2 참조)에 의해 생성된 가상 이미지(VI)를 구성하는 광을 출사면(1310)을 통해 웨이브 가이드(1100)로 투사할 수 있다. 본 개시의 디스플레이 모듈(1300)은 프로젝터(projector)와 같은 기능을 수행할 수 있다.
디스플레이 모듈(1300)은 조명 광학계, 광경로 변환기, 화상 패널, 빔 스필리터, 및 투사 광학계를 더 포함할 수 있다.
조명광학계는 광을 조명하는 광학부품으로서, 광원과 렌즈들을 포함할 수 있다. 광원은 RGB의 컬러를 조절함으로써, 광을 생성하는 구성 요소로서, 예를 들어 발광 다이오드(LED)로 구성될 수 있다.
화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서 반사하는 반사형 화상 패널일 수 있다. 반사형 화상 패널은 예를 들어, DMD (Digital Micromirror Device) 패널 또는 LCoS (Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다. DMD 패널은 광원에서 출력된 광의 RGB를 각각 픽셀 크기의 복수의 거울로 조명하고, 복수의 거울들 각각을 on/off로 스위칭함으로써, 광의 RGB를 혼합하여 가상 이미지(VI)를 투사하는 DLP(Digital Light Processing) 방식으로 동작될 수 있다. LCoS 패널은 광원에서 출력된 광을 특정 파장의 광만을 통과시키는 미러(mirror)를 통해 RGB로 각각 분리하여 화상 패널로 입력되고, RGB가 혼합되어 생성된 가상 이미지(VI)를 투사하는 LCD(Liquid Crystal Display) 방식으로 동작될 수 있다.
빔 스플리터는 화상 패널과 투사 광학계 사이에 배치될 수 있다. 빔 스플리터는 광원에서 출력된 광을 반사하여 화상 패널에 의해 반사된 광을 투과하도록 구성될 수 있다.
투사 광학계는 화상 패널에 의해 반사된 이미지를 담은 광을 웨이브 가이드(1100)에 투사하는 구성 요소로서, 하나 또는 복수의 투사 렌즈들을 포함할 수 있다. 도 3에 도시된 실시예에서, 투사 광학계의 투사면은 하나 또는 복수의 투사 렌즈들 중 최외측 투사렌즈의 출사면(1310)을 의미한다.
디스플레이 모듈(1300)은 프로세서(1500, 도 2 참조)로부터 가상 이미지(VI)를 구성하는 이미지 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상 이미지(VI)를 생성하고, 가상 이미지(VI)를 광원으로부터 출력된 광과 함께 출사면(1310)을 통해 웨이브 가이드(1100)에 투사할 수 있다. 일 실시예에서, 프로세서(1500)는 가상 이미지(VI)를 구성하는 복수의 픽셀의 RGB 컬러 및 휘도 값을 포함하는 이미지 데이터를 디스플레이 모듈(1300)에 제공할 수 있다. 디스플레이 모듈(1300)은 복수의 픽셀 각각의 RGB 컬러 값과 휘도 값을 이용하여 이미지 프로세싱을 수행하고, 광원을 제어함으로써 가상 이미지(VI)를 웨이브 가이드(1100)에 투사할 수 있다.
일 실시예에서, 디스플레이 모듈(1300)은 저장부(1900, 도 2 참조)에 저장된 이미지 데이터를 이용하여 가상 이미지(VI)를 생성하고, 광원을 제어함으로써 가상 이미지(VI)와 광을 결합하고, 가상 이미지(VI)의 광을 웨이브 가이드(1100)에 투사할 수 있다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구성 요소인 광 투과 유닛(1200)을 도시한 사시도이다.
광 투과 유닛(1200)은 전원 공급부(1700, 도 2 참조)로부터 입력되는 공급 전압 또는 공급 전류에 대응하여 외부 광의 광 투과율을 조절하도록 구성된다. 도 4를 참조하면, 광 투과 유닛(1200)은 제1 산화 인듐 주석(Indium Tin Oxide: ITO) 층(1210), 전기 변색 층(1220), 전해질 층(1230), 제2 산화 인듐 주석 층(1240), 및 전극(1250)을 포함한다. 이하에서는, 산화 인듐 주석(Indium Tin Oxide: ITO) 층을 ITO층이라 칭한다. ITO층은 ITO 필름 또는 ITO 글라스 형태를 포함할 수 있다. 또한, ITO층은 ITO의 대체 가능한 실버나노 와이어, 구리 메쉬, 실버 메쉬, 은염, 은나노 입자로 구현될 수 있다.
광 투과 유닛(1200)은 제1 ITO층(1210), 상기 ITO층(1210) 위에 위치하고, 공급 전압에 대응하여 광 투과율이 변경되는 전기 변색 층(1220), 전기 변색 층(1220) 위에 위치하는 전해질 층(1230), 전해질 층(1230) 위에 위치하는 제2 ITO층(1240), 및 상기 제1 ITO층(1210) 및 상기 제2 ITO 층(1220)과 각각 연결되고, 상기 공급 전압이 입력되는 전극(1250)을 포함할 수 있다.
전기 변색(electrochromism) 층(1220)은 입력되는 공급 전압에 따라 전계 방향에 의해 가역적으로 색이 변화하는 현상을 이용하여 광 투과율을 변경할 수 있다. 전기 변색 층(1220)은 전기 화학적 산화, 환원 반응에 의해 재료의 광 특성이 가역적으로 변화 가능한 물질(예를 들어, 전기 변색 층에 포함되는)을 이용할 수 있다. 전기 변색 층(1220)은 공급 전압(또는 전류)을 이용하여 물질의 화학적 변화 즉, 산화와 환원 반응을 일으켜 광 투과율(또는 광 반사율)을 변경할 수 있다.
전기 변색 물질은 예를 들어, 이산화티타늄(TiO2)이나, 투명 전극 재료로 많이 사용되는 ITO(Indium Tin Oxide), 마그네슘과 칼슘의 합금, 마그네슘과 티타늄의 합금 등 다양한 유기물질, 무기물질, 또는 유기물과 무기물의 조합을 포함할 수 있다.
일 실시예에서, 도 4에 도시된 전기 변색 층(1220)은 부유 입자 유닛으로 구성된 부유 입자 층, 액정 유닛으로 구성된 액정 층, 또는 포토크로믹 유닛으로 구성된 포토크로믹 층으로 대체될 수도 있다. 부유 입자(Suspended Particle) 유닛은 두 장의 투명한 판(예를 들어, ITO)의 사이에 전도성이 있는 필름을 배치한 구조를 갖는다. 필름은 광을 흡수하는 미세하고 분산된 부유(浮遊)입자를 포함한다. 공급 전압이 입력되지 않는 경우, 부유 입자들은 광을 흡수해서 검은 색으로 보인다. 공급 전압이 입력되는 경우, 부유 입자들은 정렬되어 입사 광을 통과할 수 있다.
액정(liquid crystal) 유닛의 액정은 액체의 유동성과 고체의 결정과 같은 규칙적인 분자 배열을 동시에 갖는다. 공급 전압에 의해 액정 분자의 배열은 변형되고, 공급 전압이 입력되지 않는 경우, 액정 분자들은 탄성 복원력에 의해 원래 상태로 돌아간다. 액정 유닛은 이러한 동작원리를 이용하여 광 투과율을 변경할 수 있다. 액정 유닛은 다른 금속과의 합금을 통해 광 투과율을 추가로 변경할 수 있다. 액정 층은 박막 형태, 필름 형태, 또는 유리 형태 등 다양한 형태로 구현될 수 있다.
포토크로믹(photochromic) 유닛은 자외선 또는 전기적으로 발생한 자외선에 의해 색 변환이 일어나는 색소(예를 들어, 디샤인 포토크로믹; D-shine photochromic)를 이용하여 광 투과율을 변경할 수 있다.
전극(1250)은 투명 전극으로 구현될 수 있다. 각 전극(1250)의 위치(예를 들어, 제1 ITO층(1210)의 우측 상단, 제2 ITO층(1240)의 좌측 상단)는 증강 현실 디바이스(1000)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 5a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구성 요소인 시선 추적 센서(1400a)를 도시한 도면이다.
도 5a를 참조하면, 시선 추적 센서(1400a)는 적외선 조사부(1410a) 및 복수의 적외선 검출부(1420a 내지 1420f)를 포함할 수 있다. 도 5a에서 복수의 적외선 검출부(1420a 내지 1420f)가 6개로 도시되어 있지만, 이는 설명의 편의를 위한 것이고, 복수의 적외선 검출부(1420a 내지 1420f)의 개수가 도시된 바와 같이 한정되는 것은 아니다.
적외선 조사부(1410a)는 눈(E)의 수정체가 위치하는 각막 부분에 적외선 광을 조사하고, 복수의 적외선 검출부(1420a 내지 1420f)는 각막으로부터 반사된 적외선 광을 검출할 수 있다. 일 실시예에서, 시선 추적 센서(1400a)는 복수의 적외선 검출부(1420a 내지 1420f) 각각에 의해 검출된 적외선의 광량에 관한 정보를 획득하고, 획득된 적외선의 광량에 기초하여 사용자의 눈(E)이 바라보는 시선 방향에 관한 정보를 획득할 수 있다. 시선 추적 센서(1400a)는 획득된 시선 방향에 관한 정보를 프로세서(1500, 도 2 참조)에 제공할 수 있다. 예시적으로, 시선 추적 센서(1400a)는 획득된 시선 방향에 관한 정보는 좌안의 수평 및 수직 방향으로의 시선 각도 정보와, 우안의 수평 및 수직 방향으로의 시선 각도 정보일 수 있다.
본 실시예의 시선 추적 센서(1400a)는 적외선 조명광을 이용하는 IR 스캐너 방식을 예로 들어 설명하고 있으나, 이에 제한되는 것은 아니다. 다른 예로서, 시선 추적 센서(1400a)는 사람의 눈동자나 동공(10), 홍채(20)의 이미지를 촬영하는 이미지 센서를 포함할 수도 있다. 이미지 센서를 포함하는 시선 추적 센서(1400b)에 대해서는 도 5b에서 상세하게 설명하기로 한다.
도 5b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구성 요소인 시선 추적 센서(1400b)를 도시한 도면이다.
도 5b를 참조하면, 시선 추적 센서(1400b)는 사용자의 눈(E)에서 반사되는 반사광(511, 512, 513, 514, 515)의 위치에 기초하여, 사용자의 시선을 추적하고, 이를 통해 시선 방향에 관한 정보를 획득할 수 있다. 시선 추적 센서(1400b)는 광원(1410b) 및 카메라(1430b)를 포함할 수 있다.
광원(1410b)은 적외선 발광 다이오드(IR LED)를 포함할 수 있다. 도 5b에 도시된 실시예에서, 광원(1410b)은 서로 다른 위치에 배치되는 복수의 발광 다이오드를 포함할 수 있다. 광원(1410b)은 사용자의 눈(E)을 촬영할 때, 눈(E)에 광(예를 들어, 적외선 광)을 제공할 수 있다. 사용자의 눈(E)에 광이 제공됨에 따라, 사용자의 눈(E)에서 반사되는 반사광이 생성될 수 있다.
카메라(1430b)는 적어도 하나의 카메라로 구성될 수 있다. 카메라(1430b)는 적외선 카메라(IR)로 구현될 수 있다. 증강 현실 디바이스는 카메라(1430b)에 의해 촬영된 사용자의 눈(E)에 관한 이미지들(501 내지 505)을 이용하여, 사용자의 눈(E)의 시선을 추적할 수 있다. 예를 들어, 시선 추적 센서(1400b)는, 사용자의 눈 이미지(501 내지 505)에서 동공(10)과 반사광(511 내지 515)을 검출함으로써, 사용자의 시선을 추적하고, 이를 통해 시선 벡터를 획득할 수 있다. 시선 추적 센서(1400b)는 사용자의 눈 이미지(501 내지 505)에서 동공(10) 및 반사광(511 내지 515)의 위치를 검출하고, 동공(10)의 위치와, 반사광(511 내지 515)의 위치 사이의 관계에 기초하여, 사용자의 눈(E)의 시선 방향을 결정할 수 있다.
예를 들어, 시선 추적 센서(1400b)는 촬영된 제1 눈 이미지(501)에서, 동공(10) 및 반사광(511)을 검출하고, 동공(10)의 위치와 반사광(511)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(521)을 결정할 수 있다. 동일한 방식으로, 제2 내지 제5 눈 이미지들(502, 503, 504, 505) 각각에서 동공(10) 및 반사광(512, 513, 514, 515)을 검출하고, 동공(10)의 위치와 반사광(512, 513, 514, 515)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(522, 523, 524, 525)을 결정할 수 있다.
일 실시예에서, 시선 추적 센서(1400b)는 결정된 시선 방향에 관한 정보에 기초하여 시선 벡터를 획득할 수 있다. 시선 추적 센서(1400b)는 획득된 시선 벡터의 벡터값 및 벡터의 방향에 관한 데이터를 프로세서(1500, 도 2 참조)에 제공할 수 있다.
다른 실시예에서, 시선 추적 센서(1400b)는 복수의 눈 이미지(501 내지 505)에서 검출된 동공(10)의 위치와 반사광(511 내지 515)의 위치에 관한 좌표값만을 프로세서(1500, 도 2 참조)에 제공하고, 프로세서(1500)는 시선 추적 센서(1400b)로부터 획득한 좌표값에 기초하여 사용자의 눈(E)의 시선 벡터를 계산할 수 있다.
일 실시예에서, 시선 추적 센서(1400b)는 복수의 눈 이미지(501 내지 505)를 프로세서(1500)에 제공할 수 있다. 프로세서(1500)는 복수의 눈 이미지(501 내지 505)으로부터 동공(10) 및 홍채(20)에 해당되는 영역을 검출할 수 있다.
도 6은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 사용자의 동공 크기에 기초하여 광 투과 유닛(1200)의 광 투과율 및/또는 디스플레이 모듈(1300)의 휘도를 변경하는 동작을 설명하기 위한 개념도이다.
도 6을 참조하면, 증강 현실 디바이스(1000)는 웨이브 가이드(1100), 광 투과 유닛(1200), 디스플레이 모듈(1300), 및 시선 추적 센서(1400)를 포함할 수 있다. 웨이브 가이드(1100) 및 광 투과 유닛(1200)은 투명한 재질로 구성되고, 시스루 디스플레이(see through display)로 지칭될 수 있다. 사용자는 증강 현실 디바이스(1000)를 통해 가상 이미지(100) 및 현실 장면의 현실 객체(200)를 모두 볼 수 있다.
웨이브 가이드(1100)는 디스플레이 모듈(1300)로부터 투사(project)되는 가상 이미지(100)의 광을 수광하고, 광을 전파하고, 광 경로를 변경함으로써, 사용자가 가상 이미지(100)를 볼 수 있도록 하는 구성 요소이다. 웨이브 가이드(1100)는 디스플레이 모듈(1300)의 출사면에 마주하여, 디스플레이 모듈(1300)로부터 투사된 가상 이미지의 광을 수광하고, 광을 전파하고, 광 경로를 변경하여 최종적으로는 사용자의 눈을 향하여 출력하도록 하는 복수의 영역을 포함할 수 있다. 복수의 영역에는 회절 격자가 형성될 수 있다. 웨이브 가이드(1100)는 도광판과 같은 기능을 수행한다. 사용자는 웨이브 가이드(1100)를 통해 가상 이미지(100) 및 현실 객체(200)를 동시에 볼 수 있다.
웨이브 가이드(1100)에 입사되는 가상 이미지(100)의 광의 밝기는 디스플레이 모듈(1300)에서 투사되는 광의 휘도에 따라 결정될 수 있다.
광 투과 유닛(1200)은 외부로부터 증강 현실 디바이스(1000)에 입사되는 외부 광의 광 투과율을 조절할 수 있다. 광 투과 유닛(1200)에 의해 광 투과율이 높아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 늘어나고, 이에 따라 사용자가 바라보는 현실 객체(200)의 밝기가 밝아진다. 반대로, 광 투과 유닛(1200)에 의해 광 투과율이 낮아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 줄어들고, 따라서 사용자가 바라보는 현실 객체(200)의 밝기는 어두워진다.
디스플레이 모듈(1300)은 가상 이미지(100)를 웨이브 가이드(1100)에 투사(project)할 수 있다. 디스플레이 모듈(1300)은 프로세서(1500, 도 2 참조)에 의해 생성된 가상 이미지(100)를 구성하는 광을 출사면을 통해 웨이브 가이드(1100)로 투사할 수 있다. 일 실시예에서, 디스플레이 모듈(1300)은 프로젝터(projector)와 같은 기능을 수행할 수 있다.
디스플레이 모듈(1300)은 광원 및 화상 패널을 포함할 수 있다. 광원은 광을 조명하는 광학 부품으로서, RGB의 컬러를 조절하여 광을 생성할 수 있다. 광원은 예를 들어, 발광 다이오드(LED)로 구성될 수 있다. 화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서, 반사하는 반사형 화상 패널로 구성될 수 있다. 반사형 화상 패널은 예를 들어, DMD(Digital Micromirror Device) 패널 또는 LCoS(Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다.
시선 추적 센서(1400)는 사용자의 눈으로부터 반사되는 반사광을 촬영함으로써, 눈 이미지(eye image)를 획득한다. 일 실시예에서, 시선 추적 센서(1400)는 적어도 하나의 적외선 카메라(IR camera)를 포함할 수 있다.
증강 현실 디바이스(1000)는 시선 추적 센서(1400)에 의해 촬영된 사용자의 눈 이미지에 대하여 이미지 프로세싱(image processing)을 수행함으로써, 눈 이미지로부터 동공 및 홍채를 인식할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)을 이용하여, 눈 이미지로부터 동공 및 홍채를 검출할 수도 있다. 심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 순환 신경망 모델(Recurrent Neural Network; RNN), 제한된 볼츠만 머신(Restricted Boltzmann Machine; RBM), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
증강 현실 디바이스(1000)는 인식된 동공에 해당되는 영역의 크기를 측정하고, 측정된 동공의 크기에 기초하여, 광 투과 유닛(1200)의 광 투과율 및/또는 가상 이미지(100)를 구성하는 광의 휘도를 결정할 수 있다. 동공 크기는 동공 반사에 의해 변할 수 있다. 동공 크기의 변화는 눈에 입사되는 광량을 조절하기 위하여 동공의 크기가 커지거나 또는 작아지는 것을 의미한다. 동공의 크기와 눈에 입사되는 광의 휘도는 비선형적인 관계를 가지며, 광의 휘도가 높아지면 동공의 크기는 줄어든다. 동공의 크기가 확대되는 경우, 광의 휘도가 낮음을 의미하고, 가상 이미지(100)를 구성하는 광의 휘도를 높일 필요가 있다. 동공의 크기가 축소되는 경우, 광의 휘도가 높음을 의미하고, 이 경우에는 가상 이미지(100)를 구성하는 광의 휘도를 낮춰서 어둡게 할 필요가 있다.
일 실시예에서, 증강 현실 디바이스(1000)는 측정된 동공의 크기에 반비례 관계에 따라 가상 이미지(100)를 구성하는 광의 휘도를 조절 또는 변경할 수 있다. 예를 들어, 증강 현실 디바이스(1000)는 동공의 크기가 크면 클수록 가상 이미지(100)의 밝기를 낮추고, 동공의 크기가 작을수록 가상 이미지(100)의 밝기를 높일 수 있다.
일 실시예에서, 증강 현실 디바이스(1000)는 측정된 동공의 크기에 비례 관계에 따라 광 투과율을 조절 또는 변경할 수 있다. 예를 들어, 증강 현실 디바이스(1000)는 동공의 크기가 크면 클수록 광 투과 유닛(1200)의 광 투과율을 높이고, 동공의 크기가 작을수록 광 투과 유닛(1200)의 광 투과율을 낮게 변경할 수 있다.
증강 현실 디바이스(1000)는 동공의 크기 뿐만 아니라, 다른 요소도 함께 고려하여 광 투과 유닛(1200)의 광 투과율 및/또는 가상 이미지(100)의 광의 휘도를 변경할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 시선 추적 센서(1400)를 통해 획득한 사용자의 시선 방향에 따른 응시점(gaze point)의 위치와 가상 이미지(100)가 표시되는 위치 간의 거리에 기초하여, 광 투과율 및/또는 가상 이미지(100)의 광의 휘도를 조절할 수도 있다. 다른 실시예에서, 증강 현실 디바이스(1000)는 조도 센서(1810, 도 2 참조)를 통해 측정된 외부의 조도에 기초하여 광 투과율 및/또는 가상 이미지(100)의 광의 휘도를 조절할 수 있다.
다른 실시예에서, 증강 현실 디바이스(1000)는 사용자가 편안함을 느끼는 광 투과율 및 가상 이미지의 밝기 값에 관한 캘리브레이션(calibration)을 수행하고, 캘리브레이션 결과값에 기초하여 광 투과율 및/또는 가상 이미지(100)의 광의 휘도를 조절할 수도 있다.
증강 현실 디바이스(1000)는 조절 또는 변경된 광 투과율 및 가상 이미지의 광의 휘도에 따라, 광 투과 유닛(1200)의 광 투과율 및 디스플레이 모듈(1300)의 휘도를 변경할 수 있다.
일 실시예에서, 증강 현실 디바이스(1000)는 광 투과 유닛(1200)에 인가되는 공급 전압의 값을 변경함으로써, 광 투과율을 변경할 수 있다. 증강 현실 디바이스(1000)는 광 투과 유닛(1200)의 광 투과율을 5% 내지 95% 사이의 범위에서 변경되도록 제어할 수 있다. 광 투과 유닛(1200)에 의해 변경되는 광 투과율에 따라 웨이브 가이드(1100)에 표시되는 가상 이미지(100)의 시인성(visibility)이 변경될 수 있다.
일 실시예에서, 증강 현실 디바이스(1000)는 디스플레이 모듈(1300)에 인가되는 공급 전압의 값을 변경하여, 디스플레이 모듈(1300)의 휘도 값을 변경할 수 있다.
증강 현실 디바이스(1000)는 가상 이미지(100)의 시인성(visibility)을 향상시키기 위하여, 주변 환경의 조도에 따라 디스플레이의 휘도를 조절하는 기술이 요구된다. 주변 환경의 조도에 비해 디스플레이의 휘도가 지나치게 높으면, 가상 이미지(100)의 시인성이 떨어지고, 눈부심이나 눈의 피로감이 발생될 수 있다. 또한, 높은 조도 환경에서 디스플레이 휘도를 장시간 높이는 경우, 전력 소모가 증가하고, 디바이스의 발열 문제가 발생될 수 있다. 주변 환경의 조도가 낮은 경우, 외부 광의 투과율이 높아져, 현실 객체(200)의 시인성이 높아지지만, 가상 이미지(100)는 상대적으로 밝게 보이지 않는 문제가 있다.
종래 기술의 경우, 주변 환경의 조도에 기초하여 광 투과 유닛(1200)의 광 투과율을 결정 또는 조절하기 때문에, 웨이브 가이드(1100)를 통해 표시되는 가상 이미지(100)의 시인성이 저하되거나, 또는 배터리의 전력량 소모, 발열 문제가 발생되었다.
동공의 크기와 눈에 입사되는 광의 휘도는 비선형적인 관계를 가지며, 광의 휘도가 높아지면 동공의 크기는 줄어든다. 또한, 최근에는 동공의 크기 변화를 통해 시각적으로 편안한 눈의 상태를 예측하는 머신 러닝 기법이 연구되고 있다.
본 개시의 실시예에 따른 증강 현실 디바이스(1000)는 시선 추적 센서 (1400)를 통해 획득한 동공의 크기에 관한 정보에 기초하여, 광 투과 유닛(1200)의 광 투과율 및/또는 디스플레이 모듈(1300)의 휘도를 결정할 수 있다. 본 개시의 증강 현실 디바이스(1000)는 광 투과 유닛(1200)을 통한 외부 광의 광 투과율과 가상 이미지(100)의 광의 휘도를 동시에 조절함으로써, 가상 이미지(100)와 현실 객체(200)의 대조비(contrast ratio) 저하를 줄일 수 있고, 따라서 최적의 시인성을 제공할 뿐만 아니라, 전력 소모도 감소시킬 수 있다. 이로써, 본 개시의 증강 현실 디바이스(1000)를 사용하는 사용자는 어두운 곳이나 밝은 곳에서도 눈부심이나 눈의 피로가 줄어들어, 장시간 증강 현실 컨텐트의 사용이 가능하다.
도 7은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 동작 방법을 도시한 흐름도이다.
단계 S710에서, 증강 현실 디바이스(1000)는 시선 추적 센서를 이용한 촬영을 통해 동공 크기를 포함한 사용자의 눈에 관한 정보를 획득한다. 일 실시예에서, 증강 현실 디바이스(1000)는 시선 추적 센서를 이용하여 눈 이미지(eye image)을 촬영하고, 촬영된 눈 이미지로부터 사용자의 동공 크기를 측정할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 적외선 조사부를 이용하여 사용자의 눈의 각막 부분에 적외선을 조사하고, 시선 추적 카메라를 이용하여 각막으로부터 반사되는 반사광을 촬영함으로써, 눈 이미지를 획득할 수 있다.
증강 현실 디바이스(1000)는 시선 추적 센서를 이용하여 촬영한 사용자의 눈 이미지에 대하여 이미지 프로세싱(image processing)을 수행함으로써, 눈 이미지로부터 동공 및 홍채를 인식할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)을 이용하여, 눈 이미지로부터 동공 및 홍채를 검출할 수도 있다. 여기서, '기 학습된 심층 신경망 모델'은 복수의 레이어를 포함하고, 기 획득된 복수의 눈 이미지를 입력으로 적용하고, 동공, 홍채, 및 각막 각각에 대응되는 라벨값(label)을 출력으로 적용하는 지도 학습(supervised learning)을 수행함으로써, 트레이닝된 인공지능 모델이다. 학습을 통해 복수의 레이어는 가중치(weight) 및 편향(bias)값을 가질 수 있다. 기 학습된 심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN)일 수 있다. 그러나, 이에 한정되는 것은 아니고, 심층 신경망 모델은 예를 들어, 순환 신경망 모델(Recurrent Neural Network; RNN), 제한 볼츠만 머신(Restricted Boltzmann Machine; RBM), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함할 수 있다.
증강 현실 디바이스(1000)는 인식된 동공에 해당되는 영역의 크기를 측정할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 기 설정된 단위 시간 간격으로 동공 크기를 측정함으로써, 실시간으로 동공 크기에 관한 정보를 획득할 수 있다. 예를 들어, 단위 시간이 10초인 경우, 증강 현실 디바이스(1000)는 10초 간격에 따라 주기적으로 동공의 크기를 측정할 수 있다.
단계 S720에서, 증강 현실 디바이스(1000)는 측정된 동공 크기에 기초하여, 웨이브 가이드(waveguide)에 출력되는 가상 이미지를 구성하는 광의 휘도를 결정한다. 동공의 크기와 눈에 입사되는 광의 휘도는 비선형적인 관계를 가지며, 광의 휘도가 높아지면 동공의 크기는 줄어든다. 동공의 크기가 확대되는 경우, 광의 휘도가 낮음을 의미하고, 가상 이미지를 구성하는 광의 휘도를 높일 필요가 있다. 동공의 크기가 축소되는 경우, 광의 휘도가 높음을 의미하고, 이 경우에는 가상 이미지를 구성하는 광의 휘도를 낮춰서 어둡게 할 필요가 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 동공 크기에 반비례하여 가상 이미지를 구성하는 광의 휘도를 조절 또는 변경할 수 있다. 예를 들어, 증강 현실 디바이스(1000)는 동공 크기가 크면 클수록 가상 이미지를 구성하는 광의 휘도를 낮추고, 동공 크기가 작을수록 가상 이미지를 구성하는 광의 휘도를 높일 수 있다.
단계 S730에서, 증강 현실 디바이스(1000)는 결정된 가상 이미지의 광의 휘도에 기초하여, 디스플레이 모듈의 휘도를 변경한다. 일 실시예에서, 증강 현실 디바이스(1000)는 디스플레이 모듈에 인가되는 전류 값을 조절함으로써, 웨이브 가이드 상에 출력되는 가상 이미지의 광의 휘도 값에 따라 디스플레이 모듈의 휘도를 변경할 수 있다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 사용자의 눈에 관한 이미지로부터 동공 비율을 산출하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 증강 현실 디바이스(1000)는 시선 추적 센서(1400, 도 2 참조)를 이용하여 사용자의 눈을 촬영하고, 눈 이미지(800)를 획득할 수 있다. 증강 현실 디바이스(1000)는 눈 이미지(800)로부터 동공(810) 및 홍채(820) 영역을 검출할 수 있다.
증강 현실 디바이스(1000)의 프로세서(1500, 도 2 참조)는 공지의 이미지 프로세싱(image processing) 방법을 이용하여, 눈 이미지(800)로부터 동공(810) 및 홍채(820)를 인식할 수 있다. 일 실시예에서, 프로세서(1500)는 시선 추적 센서(1400)로부터 획득한 눈 이미지(800)에 관하여 이미지 프로세싱을 수행하여, 눈 이미지(800)에 포함되는 영역 중 픽셀의 휘도가 가장 낮고, 원형의 형태를 갖는 영역을 동공(810)으로서 검출할 수 있다. 일 실시예에서, 프로세서(1500)는 동공(810)으로 검출된 영역의 직경을 측정함으로써, 동공(810)의 크기에 관한 정보를 획득할 수 있다. 유사한 방법으로, 프로세서(1500)는 검출된 동공(810)을 둘러싸고 있는 원형의 형태를 갖는 영역을 홍채(820)로 검출하고, 홍채(820)의 크기에 관한 정보를 획득할 수 있다.
다른 실시예에서, 프로세서(1500)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)을 이용하여, 눈 이미지(800)로부터 동공(810) 및 홍채(820)를 인식할 수도 있다. '기 학습된 심층 신경망 모델'은 기 획득된 복수의 동공 및 홍채에 관한 이미지를 입력으로 하고, 동공 및 홍채에 관한 라벨값(label)을 정답값(groundtruth)으로 하는 지도 학습(supervised learning)을 통해 트레이닝된 인공지능 모델일 수 있다. 심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN)일 수 있다. 그러나 이에 한정되는 것은 아니고, 심층 신경망 모델은 순환 신경망 모델(Recurrent Neural Network; RNN), 제한 볼츠만 머신(Restricted Boltzmann Machine; RBM), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함하는 공지의 인공지능 모델일 수 있다.
프로세서(1500)는 동공(810) 및 홍채(820) 각각에 해당되는 영역의 직경 크기를 측정할 수 있다. 프로세서(1500)는 측정된 동공의 직경(r1) 크기를 홍채의 직경(r2) 크기로 나누는 연산을 수행함으로써 동공 크기 비율(R)을 산출할 수 있다.
일 실시예에서, 프로세서(1500)는 계산된 동공 크기 비율(R)을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 가상 이미지를 구성하는 광의 휘도를 변경할 수 있다. '기준 동공 크기'는 가상 이미지를 구성하는 광의 휘도를 결정하는데 기준이 되는 동공 크기 비율로서, 사용자가 편안함을 느끼는 상태에서의 가상 이미지의 밝기에 따른 동공 크기로부터 결정될 수 있다. 일 실시예에서, 기준 동공 크기는 실험을 통해 기 획득된 데이터에 따라 다수의 사용자가 편안한 상태에서 선호하는 가상 이미지의 밝기에 따른 동공 크기의 평균값에 기초하여 결정될 수 있다. 일 실시예에서, 기준 동공 크기는 특정 사용자의 나이, 식별 정보에 따른 가상 이미지의 밝기 선호도, 및 증강 현실 디바이스(1000)를 통해 실행 중인 애플리케이션의 타입 중 적어도 하나에 기초하여 결정될 수 있다.
일 실시예에서, 프로세서(1500)는 디스플레이 모듈(1300, 도 2 참조)을 통해 웨이브 가이드(1100, 도 2 참조)에 투사되는 가상 이미지를 구성하는 광의 휘도를 각각 다르게 설정하여 디스플레이하고, 사용자가 편안함을 느끼거나 선호하는 상태를 설정하도록 하는 캘리브레이션(calibration) 과정을 수행할 수 있다. 프로세서(1500)는 캘리브레이션 결과에 따라 결정된 가상 이미지의 광의 휘도 조건 하에서의 사용자의 동공 크기를 측정하고, 측정된 동공 크기를 기준 동공 크기로 결정할 수도 있다.
프로세서(1500)는 눈에 관한 이미지로부터 계산된 동공 크기 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 가상 이미지의 광의 휘도를 결정할 수 있다. 일 실시예에서, 프로세서(1500)는 동공 크기 비율에 반비례하여 가상 이미지를 구성하는 광의 휘도를 조절 또는 변경할 수 있다. 예를 들어, 프로세서(1500)는 동공 크기 비율이 기준 동공 크기 비율 보다 크면 클수록 가상 이미지를 구성하는 광의 휘도를 낮추고, 동공 크기 비율이 기준 동공 크기 비율보다 작을수록 가상 이미지를 구성하는 광의 휘도를 높일 수 있다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 동작 방법을 도시한 흐름도이다.
단계 S910에서, 증강 현실 디바이스(1000)는 시선 추적 센서를 이용하여 사용자의 눈을 촬영한 이미지로부터 동공 및 홍채 영역을 검출한다. 일 실시예에서, 증강 현실 디바이스(1000)는 시선 추적 센서를 이용하여 사용자의 눈을 촬영함으로써, 눈 이미지를 획득할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 공지의 이미지 프로세싱(image processing) 방법을 이용하여, 눈 이미지로부터 동공 및 홍채를 검출할 수 있다. 증강 현실 디바이스(1000)가 이미지 프로세싱을 통해 눈 이미지로부터 동공 및 홍채를 검출하는 구체적인 방법은 도 8에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
다른 실시예에서, 증강 현실 디바이스(1000)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)을 이용하여, 눈 이미지로부터 동공 및 홍채를 검출할 수 있다.
단계 S920에서, 증강 현실 디바이스(1000)는 검출된 동공의 직경 크기를 홍채의 직경 크기로 나누는 연산을 수행함으로써, 동공 크기 비율을 계산한다.
단계 S930에서, 증강 현실 디바이스(1000)는 계산된 동공 크기 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 가상 이미지를 구성하는 광의 휘도를 조절한다. '기준 동공 크기 비율'은 도 8에서의 설명과 동일하므로, 중복되는 설명은 생략한다. 증강 현실 디바이스(1000)는 계산된 동공 크기 비율에 반비례 관계에 따라, 가상 이미지를 구성하는 광의 휘도를 조절 또는 변경할 수 있다. 예를 들어, 증강 현실 디바이스(1000)는 동공 크기 비율이 기준 동공 크기 비율 보다 크면 클수록 가상 이미지를 구성하는 광의 휘도를 낮추고, 동공 크기 비율이 기준 동공 크기 비율보다 작을수록 가상 이미지를 구성하는 광의 휘도를 높일 수 있다.
도 10은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 동작 방법을 도시한 흐름도이다.
단계 S1010에서, 증강 현실 디바이스(1000)는 시선 추적 센서를 이용한 촬영을 통해 동공 크기를 포함한 사용자의 눈에 관한 정보를 획득한다. 일 실시예에서, 증강 현실 디바이스(1000)는 시선 추적 센서를 이용하여 눈 이미지(eye image)을 촬영하고, 촬영된 눈 이미지로부터 사용자의 동공 크기를 측정할 수 있다. 증강 현실 디바이스(1000)가 눈 이미지로부터 동공 크기를 측정하는 구체적인 방법은 도 7에 도시된 단계 S710과 동일하므로, 중복되는 설명은 생략한다.
단계 S1020에서, 증강 현실 디바이스(1000)는 동공의 크기에 기초하여, 외부 광의 광 투과율을 결정한다. '광 투과율'은 외부로부터 증강 현실 디바이스(1000)에 입사되는 입사 광량에 대한 투과 광량의 비율을 의미한다. 광 투과율이 높아지면, 외부로부터 증강 현실 디바이스(1000)의 광 투과 유닛(1200, 도 1b 및 도 2 참조)을 통과하여 입사되는 광량이 늘어나고, 이에 따라 사용자가 바라보는 현실 객체의 밝기가 밝아진다. 반대로, 광 투과율이 낮아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 줄어들고, 따라서 사용자가 바라보는 현실 객체의 밝기는 어두워진다. 동공의 크기는 광량에 기초하여 변한다. 동공 크기의 변화는 동공 반사에 의한 것으로서, 눈에 입사되는 광량을 조절하기 위하여 동공의 크기가 커지거나 또는 작아지는 것을 의미한다. 동공의 크기와 눈에 입사되는 광의 휘도는 비선형적인 관계를 가지며, 광의 휘도가 높아지면 동공의 크기는 줄어든다. 동공의 크기가 확대되는 경우, 광의 휘도가 낮음을 의미하고, 외부로부터 증강 현실 디바이스(1000)에 입사되는 광 투과율을 높일 필요가 있다. 동공의 크기가 축소되는 경우, 광의 휘도가 높음을 의미하고, 이 경우에는 외부로부터 증강 현실 디바이스(1000)에 입사되는 광 투과율을 낮춰서 어둡게 할 필요가 있다.
일 실시예에서, 증강 현실 디바이스(1000)는 동공의 크기에 비례 관계에 따라, 광 투과율을 조절할 수 있다. 예를 들어, 동공의 크기가 크면 클수록 광 투과율을 높이고, 동공의 크기가 작을수록 광 투과율을 낮출 수 있다.
일 실시예에서, 증강 현실 디바이스(1000)는 눈 이미지로부터 동공 및 홍채 영역을 검출하고, 검출된 동공 영역의 직경을 홍채 영역의 직경으로 나누는 연산을 통해 동공 비율을 산출할 수 있다. 증강 현실 디바이스(1000)는 산출된 동공 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 광 투과율을 조절 또는 변경할 수 있다. 예를 들어, 증강 현실 디바이스(1000)는 동공 크기 비율이 기준 동공 크기 비율 보다 크면 클수록 광 투과율을 높이고, 동공 크기 비율이 기준 동공 크기 비율 보다 작을수록 광 투과율을 낮게 변경할 수 있다.
단계 S1030에서, 증강 현실 디바이스(1000)는 결정된 광 투과율에 대응되는 공급 전압을 결정한다. 일 실시예에서, 증강 현실 디바이스(1000)의 프로세서(1500, 도 2 참조)는 광 투과율에 따른 공급 전압 값의 관계를 룩 업 테이블(look up table; LUT) 형태로 작성하고, 룩 업 테이블을 저장부(1900, 도 2 참조)에 저장할 수 있다. 예를 들어, 룩 업 테이블에서 광 투과율이 100%인 경우, 공급 전압 값이 -1.85V 인가되고, 광 투과율이 50%인 경우, 공급 전압 값이 -0.55V 인가되며, 광 투과율이 10%인 경우에는 공급 전압 값이 0.45V 인가되는 것으로 저장되어 있을 수 있다. 그러나, 이는 예시적인 것이고, 상기 전압 값으로 한정되는 것은 아니다. 프로세서(1500)는 저장부(1900)에 액세스(access)하여 룩 업 테이블로부터 광 투과율에 따른 공급 전압 값에 관한 정보를 획득하고, 광 투과율에 대응되는 공급 전압 값을 결정할 수 있다.
단계 S1040에서, 증강 현실 디바이스(1000)는 결정된 공급 전압을 광 투과 유닛(1200, 도 2 참조)에 공급함으로써, 광 투과 유닛(1200)의 광 투과율을 변경한다. 증강 현실 디바이스(1000)의 프로세서(1500)는 결정된 광 투과율에 대응되는 변경된 공급 전압을 광 투과 유닛(1200)에 공급되도록 제어할 수 있다. 현실 장면의 뷰는 광 투과 유닛(1200)의 변경된 광 투과율에 대응하여 밝기가 변경될 수 있다. 예를 들어, 광 투과율이 높아지면 현실 장면의 현실 객체는 밝게 보이고, 광 투과율이 낮아지면 현실 객체는 어둡게 보일 수 있다.
증강 현실 디바이스(1000)의 사용자는 광 투과율의 변경으로 인하여, 밝기가 변경된 현실 객체와 가상 이미지를 함께 시청할 수 있다. 광 투과율의 변경 또는 조절로 인하여, 사용자는 현실 객체와 가상 이미지 간의 높은 대조비(contrast ratio)를 통해 향상된 시인성을 제공받을 수 있다.
도 11 내지 도 13은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기로 한다.
도 11은 사용자의 시선 방향에 대한 3차원 안구 모델을 도시한 도면이다.
도 11을 참조하면, 일 실시예에 따른 시선 방향의 추적은 시선에 대한 3차원 안구 모델을 토대로 이루어질 수 있다. 시선에 대한 3차원 안구 모델은 안구(eyeball)를 완벽한 구로 가정하고, 시선에 따라 안구가 이상적인 공간적으로 회전운동을 한다고 가정하면, 하기의 수학식과 같이 시선을 수학적으로 모델링할 수 있다.
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
수학식 3에서 d는 사용자의 눈의 중심(Eo)과 가상의 스크린(S) 사이의 거리를 나타내며, α는 사용자의 눈이 가상의 스크린(S)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 x축(수평축) 방향으로 회전한 각도를 나타내며, β는 사용자의 눈이 가상의 스크린(S)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 y축(수직축) 방향으로 회전한 각도를 나타낸다. 또한, 수학식 4에서 r은 사용자의 눈을 구로 가정했을 때, 구의 반지름을 나타낸다.
일 실시예에 따른 시선 추적 센서(1400, 도 2 참조)는 사용자의 눈(E)의 회전 정도(예를 들어, α 및 β)를 측정할 수 있고, 증강 현실 디바이스(1000)는 사용자의 눈(E)의 회전 정도(α 및 β)를 이용하여, 가상의 스크린(S) 상에서의 사용자의 눈(E)의 시선 방향의 2차원 위치 좌표값(x, y)을 계산할 수 있다. 눈(E)의 회전 정도(α 및 β)는 눈(E)의 수평 및 수직 방향으로의 시선 각도 정보로 이해될 수 있다.
실제 눈의 움직임은 이상적인 3차원 회전운동을 하지 않으며, 특히 좌우 시선에서는 눈 근육의 이완/수축이 크게 작용하여 이상적인 3차원 회전 안구 모델을 기초로 좌우 시선에 대하여 상하 방향의 시선 추정 시 에러가 발생될 수 있다. 이러한 오차는 증강 현실 디바이스(1000)가 사용자에게 무작위의(random) 지점을 바라보게 하고, 시선 추적 센서(1400)를 통해 추정된 시선 방향 값을 해당 지점에 대한 실제 시선 방향 값과 비교하여 통계적으로 처리함으로써, 정확도를 개선시킬 수 있다.
도 12는 좌안 및 우안에서의 시선 각도와 응시점(gaze point)의 관계를 설명하는 도면이다.
도 13은 상방의 응시 방향에서의 시선 각도와 응시점의 관계를 설명하는 도면이다.
도 12 및 도 13을 참조하면, 시선 추적 센서(1400, 도 2 참조)를 통해 획득된 양안의 시선 방향(또는 시선 좌표)의 차이를 통해 초점 거리를 추정할 수 있다. 응시점까지의 초점 거리를 구할 때 양안의 시선축이 만나지 않을 수도 있으며, 이러한 경우 두 눈이 같은 높이에 있다고 가정하고 수직축(y축)의 좌표는 두 눈의 수직축(y축) 좌표의 평균으로 계산할 수 있다. 예를 들어, 양안 사이의 거리 a는 7 cm로 가정할 수 있다. 위의 기하학적 가정을 통해 비례식을 이용하면 다음의 식을 얻을 수 있다.
Figure pat00007
상기 수학식 5에서 사용자의 양안과 가상스크린 사이의 거리 d와 눈 사이의 거리 a가 필요한데, 거리 d는 사용자가 정면 시선을 바라보는 시선 영상을 이용하여 안구의 회전 각도를 측정해 거리를 구할 수 있다. 이 결과, 응시점까지의 거리인 수렴 거리(vergence distance) dcon 은 하기의 수학식으로 주어진다. z는 가상스크린과 응시점 사이의 거리를 나타낸다.
Figure pat00008
상기 수학식 6에서, β는 양안의 가상 스크린(S)에서의 시선 좌표의 수평 방향의 간격으로서, 앞서 수학식 3 및 수학식 4에서 볼 수 있듯이 사용자의 좌안 및 우안 각각의 시선 각도를 통해서 획득할 수 있다.
도 14a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 응시점과 가상 이미지 간의 거리에 기초하여, 가상 이미지를 구성하는 광의 휘도를 변경하는 방법을 설명하기 위한 도면이다.
도 14a를 참조하면, 증강 현실 디바이스(1000)는 시선 추적 센서(1400, 도 2 참조)를 통해 사용자의 좌안의 시선 방향에 대한 정보 및 사용자의 우안의 시선 방향에 관한 정보를 획득하고, 좌안의 시선 방향 및 우안의 시선 방향이 수렴하는 응시점(gaze point)(G)에 관한 3차원 위치 좌표값을 획득할 수 있다. 시선 추적 센서(1400)가 사용자의 시선 방향에 관한 정보를 획득하는 구체적인 방법은 도 5a 및 도 5b에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다. 도 11 내지 도 13에서 설명한 실시예에서와 같이, 증강 현실 디바이스(1000)의 프로세서(1500, 도 2 참조)는 사용자의 좌안의 시선 방향에 대한 정보 및 사용자의 우안의 시선 방향에 대한 정보로부터 응시점(G)에 대한 정보를 연산하여 획득할 수 있다. '응시점(G)'은 좌안의 시선 방향 및 우안의 시선 방향이 양안 시차(binocular disparity)에 따라 수렴하는 지점을 의미한다.
일 실시예에서, 프로세서(1500)는 응시점(G)의 3차원 위치 좌표값에 기초하여, 사용자의 양안과 응시점(G) 사이의 거리인 수렴 거리(dcon)를 계산하고, 수렴 거리(dcon)만큼의 깊이(depth)를 갖는 위치에 표시되는 가상 이미지(100)와 응시점(G) 간의 거리를 측정할 수 있다. 웨이브 가이드(1100) 상에 출력되는 가상 이미지(100)는 양안 시차에 따라 사용자의 양안으로부터 수렴 거리(dcon)와 동일한 깊이값을 갖는 위치에 초점이 맺히는 것으로 보일 수 있다. 즉, 증강 현실 디바이스(1000)는 사용자의 양안과 응시점(G)까지의 깊이(수렴 거리)와 동일 또는 유사 범위의 깊이를 가상 이미지(100)의 초점 거리로 설정할 수 있다. 여기서, '유사 범위의 깊이'라 함은 가상 이미지(100)의 초점 거리가 사용자의 양안과 응시점(G)까지의 깊이와 동일한 경우뿐만 아니라, 사용자가 자연스럽게 인식될 수 있는 범위내의 깊이까지 포괄하는 것을 의미한다. 도 14a에 도시된 실시예에서, 사용자는 증강 현실 디바이스(1000)를 통해, 응시점(G) 상에 배치되는 현실 객체(200)와 가상 이미지(100)를 함께 볼 수 있다.
증강 현실 디바이스(1000)의 프로세서(1500)는 응시점(G)의 3차원 위치 좌표값과 수렴 거리(dcon)에 해당되는 깊이만큼 이격된 위치에 표시되는 가상 이미지(100) 간의 거리를 측정하고, 측정된 거리에 기초하여 가상 이미지(100)를 구성하는 광의 휘도를 변경 또는 조절할 수 있다. 이에 대해서는 도 14b에서 상세하게 설명하기로 한다.
도 14b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 응시점과 가상 이미지 간의 거리에 기초하여, 가상 이미지를 구성하는 광의 휘도를 변경하는 방법을 설명하기 위한 도면이다.
도 14b를 참조하면, 증강 현실 디바이스(1000)는 응시점(G)과 사용자의 양안으로부터 수렴 거리(dcon, 도 14a 참조)만큼 이격된 위치에 표시되는 가상 이미지(100) 간의 거리(D)를 측정할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)의 프로세서(1500, 도 2 참조)는 응시점(G)의 3차원 위치 좌표값(x, y, z)과 가상 이미지(100)를 구성하는 가상 객체의 3차원 모델 간의 거리(D)를 측정할 수 있다. '가상 객체의 3차원 모델'은 가상의 3차원 공간에 가상의 3차원 객체를 렌더링하기 위한 수학적 모델링으로써, 예를 들어 메쉬 모델(mesh model) 또는 바운딩 볼륨이 사용된다. 메쉬 모델은 정점(vertex)으로 구성된 삼각형으로, 가상 객체의 표면을 표현하는 모델이다. 바운딩 볼륨은 가상 객체를 둘러싸는 박스, 원통(cylinder), 구(sphere) 형태의 3차원 볼륨 모델이다.
증강 현실 디바이스(1000)는 응시점(G)과 가상 이미지(100) 간의 거리(D)에 기초하여, 가상 이미지(100)를 구성하는 광의 휘도를 변경 또는 조절할 수 있다. 프로세서(1500)는 응시점(G)과 가상 이미지(100) 간의 거리(D)와 반비례 관계에 따라 가상 이미지(100)를 구성하는 광의 휘도를 변경 또는 조절할 수 있다. 예를 들어, 응시점(G)과 가상 이미지(100) 간의 거리(D)가 길수록 가상 이미지(100)의 광의 휘도를 낮추고, 응시점(G)과 가상 이미지(100) 간의 거리(D)가 짧을수록 가상 이미지(100)의 광의 휘도를 높일 수 있다.
도 15는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 응시점과 가상 이미지 간의 거리에 기초하여, 가상 이미지를 구성하는 광의 휘도를 변경하는 방법을 도시한 흐름도이다.
단계 S1510에서, 증강 현실 디바이스(1000)는 시선 추적 센서를 이용하여 사용자의 좌안의 시선 방향에 대한 정보 및 우안의 시선 방향에 대한 정보를 획득한다.
단계 S1520에서, 증강 현실 디바이스(1000)는 좌안의 시선 방향에 대한 정보 및 우안의 시선 방향에 대한 정보로부터 응시점(gaze point)의 3차원 위치 좌표 정보를 산출한다. '응시점'은 좌안의 시선 방향 및 우안의 시선 방향이 양안 시차(binocular disparity)에 따라 수렴하는 지점을 의미한다. 증강 현실 디바이스(1000)가 좌안 및 우안의 시선 방향에 관한 정보로부터 응시점의 위치 정보를 획득하는 방법은 도 11 내지 도 13에서의 설명과 동일하므로, 중복되는 설명은 생략한다.
단계 S1530에서, 증강 현실 디바이스(1000)는 산출된 응시점의 3차원 위치 좌표 정보와 가상 이미지가 표시되는 영역 간의 거리를 측정한다. 일 실시예에서, 증강 현실 디바이스(1000)는 응시점의 3차원 위치 좌표값에 기초하여, 사용자의 양안과 응시점 사이의 거리인 수렴 거리(vergence distance)를 계산하고, 수렴 거리와 동일한 깊이(depth)를 갖는 위치에 표시되는 가상 이미지와 응시점 간의 거리를 측정할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 사용자의 양안과 응시점까지의 깊이(수렴 거리)와 동일 또는 유사 범위의 깊이를 가상 이미지의 초점 거리로 설정할 수 있다. 증강 현실 디바이스(1000)는 초점 거리에 표시되는 가상 이미지와 응시점 간의 거리를 측정할 수 있다.
증강 현실 디바이스(1000)는 응시점의 3차원 위치 좌표값과 가상 이미지를 구성하는 가상 객체의 3차원 모델 간의 거리를 측정함으로써, 응시점과 가상 이미지 간의 거리를 측정할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 3차원 충돌 모델을 이용하여 응시점과 가상 이미지 간의 거리를 측정할 수 있다.
단계 S1540에서, 증강 현실 디바이스(1000)는 측정된 응시점과 가상 이미지 간의 거리 정보 및 사용자의 동공 크기에 기초하여, 가상 이미지를 구성하는 광의 휘도를 조절한다. 일 실시예에서, 증강 현실 디바이스(1000)는 동공의 크기에 반비례하고, 응시점과 가상 이미지 간의 거리에 반비례 관계에 따라 가상 이미지를 구성하는 광의 휘도를 변경 또는 조절할 수 있다. 예를 들어, 동공의 크기가 크고, 응시점과 가상 이미지 간의 거리가 길수록 가상 이미지의 광의 휘도를 낮추고, 동공의 크기가 작고, 응시점과 가상 이미지 간의 거리(D)가 짧을수록 가상 이미지의 광의 휘도를 높일 수 있다.
사용자가 증강 현실 디바이스(1000)를 통해 가상 이미지(100)를 보는 경우에는, 가상 이미지(100)에 시선이 집중되므로 가상 이미지(100)를 구성하는 광의 휘도를 높여서 가상 이미지(100)의 시인성을 향상시켜야 한다. 반대로, 사용자가 증강 현실 디바이스(1000)를 통해 가상 이미지(100)가 아닌 현실 객체(200)를 보고 있는 경우에는, 즉 응시점(G)이 가상 이미지(100)가 아닌, 현실 객체(200) 상에 위치하는 경우 가상 이미지(100)의 광의 휘도를 낮추어 현실 객체를 더 잘 보이도록 해야 한다. 도 14a, 도 14b 및 도 15에 도시된 실시예에 따른 증강 현실 디바이스(1000)는 동공의 크기 뿐만 아니라, 사용자의 시선 방향에 따른 응시점(G)과 가상 이미지(100) 간의 거리(D)에 기초하여, 가상 이미지(100)를 구성하는 광의 휘도를 변경 또는 조절하는바, 사용자의 시선 방향에 따라 적응적으로(adaptively) 가상 이미지(100)의 시인성을 향상시키고, 현실 객체(200)와 가상 이미지(100) 간의 대조비(contrast ratio) 저하를 줄일 수 있다. 또한, 본 개시의 증강 현실 디바이스(1000)는 가상 이미지(100)를 구성하는 광의 휘도를 적응적으로 조절하는바, 사용자가 가상 이미지(100)를 응시하지 않는 경우에는 소모 전류를 줄일 수 있고, 따라서 배터리 지속 시간을 증대시킬 수 있다.
도 16a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 응시점과 가상 이미지 간의 거리에 기초하여, 광 투과 유닛(1200)의 광 투과율을 변경하는 방법을 설명하기 위한 도면이다.
도 16b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 응시점과 가상 이미지 간의 거리에 기초하여, 광 투과 유닛(1200)의 광 투과율을 변경하는 방법을 설명하기 위한 도면이다.
도 16a를 참조하면, 증강 현실 디바이스(1000)는 시선 추적 센서(1400, 도 2 참조)를 통해 사용자의 좌안의 시선 방향에 대한 정보 및 사용자의 우안의 시선 방향에 관한 정보를 획득하고, 좌안의 시선 방향 및 우안의 시선 방향이 수렴하는 응시점(gaze point)(G)에 관한 3차원 위치 좌표값을 획득할 수 있다. 증강 현실 디바이스(1000)는 응시점(G)의 3차원 위치 좌표값에 기초하여, 사용자의 양안과 응시점(G) 사이의 거리인 수렴 거리(dcon)를 계산하고, 수렴 거리(dcon)만큼의 깊이(depth)를 갖는 위치에 표시되는 가상 이미지(100)와 응시점(G) 간의 거리를 측정할 수 있다. 증강 현실 디바이스(1000)가 응시점(G)의 3차원 위치 좌표값을 획득하고, 응시점(G)과 가상 이미지(100) 간의 거리를 측정하는 구체적인 방법은 도 14a에서의 설명과 동일하므로, 중복되는 설명은 생략한다.
증강 현실 디바이스(1000)는 응시점(G)과 가상 이미지(100) 간의 거리에 기초하여, 광 투과 유닛(1200)의 광 투과율을 변경할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)의 프로세서(1500, 도 2 참조)는 측정된 응시점(G)과 가상 이미지(100) 간의 거리에 비례 관계에 따라 광 투과 유닛(1200)의 광 투과 율을 변경 또는 조절할 수 있다. 광 투과 유닛(1200)에 의해 광 투과율이 높아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 늘어나고, 이에 따라 사용자가 바라보는 현실 객체의 밝기가 밝아진다. 반대로, 광 투과 유닛(1200)에 의해 광 투과율이 낮아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 줄어들고, 따라서 사용자가 바라보는 현실 객체의 밝기는 어두워진다.
증강 현실 디바이스(1000)는 응시점(G)과 가상 이미지(100) 간의 거리가 가까울수록 광 투과 유닛(1200)의 광 투과율을 낮출 수 있다. 도 16a에 도시된 실시예에서, 사용자의 양안의 시선 방향에 따른 응시점(G)이 가상 이미지(100) 상에 위치하는 경우, 즉 사용자가 가상 이미지(100)에 초점을 맞추어 가상 이미지(100)를 보고 있는 경우 증강 현실 디바이스(1000)는 광 투과 유닛(1200)의 광 투과율을 낮출 수 있다. 광 투과율이 낮아지므로, 외부 광이 광 투과 유닛(1200)을 투과하지 못하여 현실 장면의 현실 객체(200)는 어둡게 보인다.
반대의 경우, 즉 응시점(G)과 가상 이미지(100) 간의 거리가 먼 경우, 증강 현실 디바이스(1000)는 광 투과 유닛(1200)의 광 투과율을 높일 수 있다. 도 16b를 참조하면, 응시점(G)과 가상 이미지(100) 간의 거리(D)가 길면 길수록, 증강 현실 디바이스(1000)는 광 투과 유닛(1200)의 광 투과율을 높일 수 있다. 도 16b에 도시된 실시예에서, 사용자는 가상 이미지(100)가 아닌, 현실 객체(200)에 초점을 맞추어 현실 객체(200)를 보고 있고, 이 경우 증강 현실 디바이스(1000)는 광 투과 유닛(1200)의 광 투과율을 높일 수 있다. 광 투과율이 높아지므로, 광 투과 유닛(1200)을 투과하는 외부 광의 광량이 많아져서 현실 장면의 현실 객체(200)는 밝게 보인다.
도 17은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 동작 방법을 도시한 흐름도이다.
단계 S1710에서, 증강 현실 디바이스(1000)는 응시점(G, 도 16a, 도 16b 참조)의 3차원 위치 좌표 정보와 가상 이미지가 표시되는 영역 간의 거리를 측정한다. 일 실시예에서, 증강 현실 디바이스(1000)는 시선 추적 센서(1400, 도 2 참조)를 통해 사용자의 좌안의 시선 방향에 대한 정보 및 사용자의 우안의 시선 방향에 관한 정보를 획득하고, 좌안의 시선 방향 및 우안의 시선 방향이 수렴하는 응시점(G)에 관한 3차원 위치 좌표값을 획득할 수 있다. 증강 현실 디바이스(1000)는 응시점(G)의 3차원 위치 좌표값에 기초하여, 사용자의 양안과 응시점(G) 사이의 거리인 수렴 거리(dcon, 도 16a, 도 16b 참조)를 계산하고, 수렴 거리(dcon)만큼의 깊이(depth)를 갖는 위치에 표시되는 가상 이미지와 응시점(G) 간의 거리를 측정할 수 있다.
단계 S1720에서, 증강 현실 디바이스(1000)는 측정된 응시점(G)과 가상 이미지 간의 거리 정보 및 사용자의 동공 크기에 기초하여, 외부 광의 광 투과율을 결정한다. 일 실시예에서, 증강 현실 디바이스(1000)는 응시점(G)과 가상 이미지 간의 거리와 비례 관계에 따라 외부로부터 입사되는 광의 광 투과율을 변경 또는 조절할 수 있다. 예를 들어, 증강 현실 디바이스(1000)는 응시점(G)과 가상 이미지 간의 거리가 가까울수록, 광 투과 유닛(1200, 도 2 참조)의 광 투과율을 낮출 수 있다. 반대의 예로, 증강 현실 디바이스(1000)는 응시점(G)과 가상 이미지 간의 거리가 멀수록 광 투과 유닛(1200)의 광 투과율을 높일 수 있다.
증강 현실 디바이스(1000)는 응시점(G)과 가상 이미지 간의 거리 뿐만 아니라, 동공의 크기에 기초하여 광 투과 유닛(1200)의 광 투과율을 변경 또는 조절할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 동공의 크기에 비례하여 광 투과율을 변경 또는 조절할 수 있다. 증강 현실 디바이스(1000)가 동공의 크기에 기초하여 광 투과 유닛(1200)의 광 투과율을 변경 또는 조절하는 구체적인 실시예는 도 10에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
단계 S1730에서, 증강 현실 디바이스(1000)는 결정된 광 투과율에 대응되는 공급 전압을 결정한다.
단계 S1740에서, 증강 현실 디바이스(1000)는 결정된 공급 전압을 광 투과 유닛(1200)에 공급함으로써, 광 투과 유닛(1200)의 광 투과율을 변경한다. 단계 S1730 및 단계 S1740은 도 10에 도시된 단계 S1030 및 단계 S1040과 각각 동일하므로, 중복되는 설명은 생략한다.
사용자가 증강 현실 디바이스(1000)를 통해 가상 이미지(100, 도 16a, 도 16b 참조)를 보는 경우에는, 가상 이미지(100)에 시선이 집중되므로 광 투과율을 낮추어 현실 장면의 현실 객체(200, 도 16a, 도 16b)를 가상 이미지(100) 보다 상대적으로 어둡게 처리함으로써 가상 이미지(100)의 시인성을 향상시켜야 한다. 반대로, 사용자가 증강 현실 디바이스(1000)를 통해 응시하고 있는 대상이 가상 이미지(100)가 아닌 현실 객체(200)를 보고 있는 경우에는, 사용자가 보고 있는 현실 객체(200)를 더 잘 보이게 하기 위하여 광 투과율을 높임으로써 현실 객체(200)의 휘도를 높일 필요가 있다. 도 16a, 도 16b 및 도 17에 도시된 실시예에 따른 증강 현실 디바이스(1000)는 동공의 크기 뿐만 아니라, 사용자의 시선 방향에 따른 응시점(G)과 가상 이미지(100) 간의 거리(D)에 기초하여, 광 투과 유닛(1200, 도 2 참조)의 광 투과율을 변경 또는 조절하는바, 사용자의 시선 방향에 따라 적응적으로(adaptively) 가상 이미지(100)의 시인성을 향상시키고, 현실 객체(200)와 가상 이미지(100) 간의 대조비(contrast ratio) 저하를 줄일 수 있다.
본 개시에서 설명된 증강 현실 디바이스(1000)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 증강 현실 디바이스(1000)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 증강 현실 디바이스(1000)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 증강 현실 디바이스(1000) 또는 그 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 증강 현실 디바이스(1000)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 증강 현실 디바이스)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된(pre-loaded) 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
또한, 이상에서는 본 개시의 실시예에 대하여 도시하고 설명하였지만, 본 개시는 전술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 가상 이미지를 구성하는 광을 출력하도록 구성된 디스플레이 모듈;
    상기 출력된 가상 이미지의 광을 사용자 눈으로 전달하고 외부 광이 투과되는 웨이브 가이드(waveguide);
    동공 크기를 포함한 사용자의 눈에 관한 정보를 획득하는 시선 추적 센서;
    하나 이상의 명령어들(instructions)을 저장하는 메모리; 및
    상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 시선 추적 센서를 통해 획득된 상기 동공 크기에 기초하여, 상기 가상 이미지를 구성하는 광의 휘도를 변경하도록 상기 디스플레이 모듈을 제어하는, 증강 현실 디바이스.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 동공 크기와 반비례 관계에 따라 상기 가상 이미지를 구성하는 광의 휘도를 조절하는, 증강 현실 디바이스.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 시선 추적 센서를 이용하여 상기 사용자의 눈을 촬영한 이미지로부터 홍채 및 동공 영역을 검출하고, 검출된 동공의 직경 크기를 홍채의 직경 크기로 나누는 연산을 수행함으로써 동공 크기 비율을 계산하고,
    상기 계산된 동공 크기 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 상기 가상 이미지의 광의 휘도를 조절하는, 증강 현실 디바이스.
  4. 제3 항에 있어서,
    상기 기준 동공 크기는, 실험을 통해 기 획득된 데이터에 따라 다수의 사용자가 편안함을 느끼는 가상 이미지의 광의 휘도에서의 동공 크기의 평균값으로 결정되는, 증강 현실 디바이스.
  5. 제3 항에 있어서,
    상기 기준 동공 크기는,
    사용자의 나이, 식별 정보에 따른 가상 이미지의 밝기 선호도, 상기 증강 현실 디바이스를 통해 실행 중인 애플리케이션의 타입, 및 사용자에 의한 캘리브레이션 정보 중 적어도 하나에 기초하여 결정되는, 증강 현실 디바이스.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 시선 추적 센서를 이용하여 좌안과 우안의 시선 방향이 수렴하는 응시점(gaze point)의 3차원 위치 좌표 정보를 획득하고, 상기 응시점의 3차원 위치 좌표 정보와 상기 가상 이미지가 표시되는 영역 간의 거리를 측정함으로써, 응시점과 가상 이미지 간의 거리 정보를 획득하고,
    상기 동공 크기 및 상기 응시점과 가상 이미지 간의 거리 정보에 기초하여, 상기 가상 이미지의 광의 휘도를 변경하는, 증강 현실 디바이스.
  7. 제6 항에 있어서,
    상기 시선 추적 센서는, 사용자의 좌안을 촬영함으로써 좌안의 시선 방향을 추적하는 제1 시선 추적 카메라 및 사용자의 우안을 촬영함으로써 우안의 시선 방향을 추적하는 제2 시선 추적 카메라를 포함하고,
    상기 프로세서는,
    상기 제1 시선 추적 카메라를 이용하여 좌안의 시선 방향을 나타내는 제1 시선 벡터를 획득하고, 상기 제2 시선 추적 카메라를 이용하여 우안의 시선 방향을 나타내는 제2 시선 벡터를 획득하고, 양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점을 검출하고, 검출된 상기 응시점의 3차원 위치 좌표 정보를 획득하는, 증강 현실 디바이스.
  8. 제6 항에 있어서,
    상기 프로세서는,
    상기 응시점과 상기 가상 이미지 간의 거리와 반비례 관계에 따라 상기 가상 이미지의 광의 휘도를 조절하는, 증강 현실 디바이스.
  9. 제1 항에 있어서,
    외부 광의 투과율을 조절하도록 구성되는 광 투과 유닛; 및
    상기 광 투과 유닛에 전원을 공급하는 전원 공급부;
    를 더 포함하고,
    상기 프로세서는 상기 동공의 크기에 기초하여 외부 광의 광 투과율을 결정하고, 결정된 상기 광 투과율에 대응되는 공급 전압을 결정하며, 상기 전원 공급부가 상기 결정된 공급 전압을 상기 광 투과 유닛에 공급하도록 제어함으로써 상기 광 투과 유닛의 광 투과율을 변경하는, 증강 현실 디바이스.
  10. 제9 항에 있어서,
    상기 프로세서는,
    상기 시선 추적 센서를 이용하여 좌안과 우안의 시선 방향이 수렴하는 응시점(gaze point)의 3차원 위치 좌표 정보를 획득하고, 상기 응시점의 3차원 위치 좌표 정보와 상기 가상 이미지가 표시되는 영역 간의 거리를 측정함으로써 응시점과 가상 이미지 간의 거리 정보를 획득하고,
    상기 동공의 크기 및 상기 응시점과 상기 가상 이미지 간의 거리에 기초하여, 외부 광의 광 투과율을 변경하도록 상기 광 투과 유닛을 제어하는, 증강 현실 디바이스.
  11. 증강 현실 디바이스(Augmented Reality device)의 동작 방법에 있어서,
    시선 추적 센서를 이용한 촬영을 통해 동공 크기를 포함한 사용자의 눈에 관한 정보를 획득하는 단계;
    상기 획득된 동공 크기에 기초하여, 상기 증강 현실 디바이스의 웨이브가이드(wave guide)에 출력되는 가상 이미지를 구성하는 광의 휘도를 결정하는 단계; 및
    상기 결정된 가상 이미지의 광의 휘도에 기초하여, 상기 증강 현실 디바이스의 디스플레이 모듈의 휘도를 변경하는 단계;
    를 포함하는, 방법.
  12. 제11 항에 있어서,
    상기 가상 이미지의 광의 휘도를 결정하는 단계는,
    상기 획득된 동공 크기와 반비례 관계에 따라 상기 가상 이미지의 광의 휘도를 조절하는, 방법.
  13. 제11 항에 있어서,
    상기 사용자의 눈에 관한 정보를 획득하는 단계는,
    상기 시선 추적 센서를 이용하여 상기 사용자의 눈을 촬영한 이미지로부터 홍채 및 동공 영역을 검출하는 단계; 및
    검출된 동공의 직경 크기를 홍채의 직경 크기로 나눔으로써, 동공 크기 비율을 계산하는 단계;
    를 포함하고,
    상기 가상 이미지의 광의 휘도를 변경하는 단계는, 상기 계산된 동공 크기 비율을 기준 동공 크기 비율과 비교하고, 비교 결과에 기초하여 상기 가상 이미지의 광의 휘도를 조절하는, 방법.
  14. 제13 항에 있어서,
    상기 기준 동공 크기는, 실험을 통해 기 획득된 데이터에 따라 다수의 사용자가 편안함을 느끼는 가상 이미지의 광의 휘도에서의 동공 크기의 평균값으로 결정되는, 방법.
  15. 제13 항에 있어서,
    상기 기준 동공 크기는,
    사용자의 나이, 식별 정보에 따른 가상 이미지의 밝기 선호도, 상기 증강 현실 디바이스를 통해 실행 중인 애플리케이션의 타입, 및 사용자에 의한 캘리브레이션 정보 중 적어도 하나에 기초하여 결정되는, 방법.
  16. 제11 항에 있어서,
    상기 시선 추적 카메라를 이용하여 좌안과 우안의 시선 방향이 수렴하는 응시점(gaze point)의 3차원 위치 좌표 정보를 획득하는 단계; 및
    상기 응시점의 3차원 위치 좌표 정보와 상기 가상 이미지가 표시되는 영역 간의 거리를 측정함으로써, 응시점과 가상 이미지 간의 거리 정보를 획득하는 단계;
    를 더 포함하고,
    상기 가상 이미지의 광의 휘도를 변경하는 단계는, 상기 동공 크기 및 상기 응시점과 가상 이미지 간의 거리 정보에 기초하여, 상기 가상 이미지의 광의 휘도를 조절하는, 방법.
  17. 제16 항에 있어서,
    상기 응시점의 3차원 위치 좌표 정보를 획득하는 단계는,
    제1 시선 추적 카메라를 이용하여 좌안의 시선 방향을 추적함으로써, 제1 시선 벡터를 획득하는 단계;
    제2 시선 추적 카메라를 이용하여 우안의 시선 방향을 추적함으로써, 제2 시선 벡터를 획득하는 단계;
    양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점을 검출하는 단계; 및
    검출된 상기 응시점의 3차원 위치 좌표 정보를 획득하는 단계;
    를 포함하는, 방법.
  18. 제16 항에 있어서,
    상기 가상 이미지의 광의 휘도를 결정하는 단계는,
    상기 응시점과 상기 가상 이미지 간의 거리와 반비례 관계에 따라 상기 가상 이미지의 광의 휘도를 조절하는, 방법.
  19. 제11 항에 있어서,
    상기 획득된 동공의 크기에 기초하여 외부 광의 광 투과율을 결정하는 단계;
    결정된 상기 광 투과율에 대응되는 공급 전압을 결정하는 단계; 및
    결정된 상기 공급 전압을 상기 증강 현실 디바이스의 광 투과 유닛에 공급함으로써, 상기 광 투과 유닛의 광 투과율을 변경하는 단계;
    를 더 포함하는, 방법.
  20. 제11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200182422A 2020-12-23 2020-12-23 증강 현실 디바이스 및 그 동작 방법 KR20220091160A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200182422A KR20220091160A (ko) 2020-12-23 2020-12-23 증강 현실 디바이스 및 그 동작 방법
PCT/KR2021/019421 WO2022139375A1 (en) 2020-12-23 2021-12-20 Augmented reality device and operating method thereof
US17/561,329 US11868524B2 (en) 2020-12-23 2021-12-23 Augmented reality device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200182422A KR20220091160A (ko) 2020-12-23 2020-12-23 증강 현실 디바이스 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20220091160A true KR20220091160A (ko) 2022-06-30

Family

ID=82021271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200182422A KR20220091160A (ko) 2020-12-23 2020-12-23 증강 현실 디바이스 및 그 동작 방법

Country Status (3)

Country Link
US (1) US11868524B2 (ko)
KR (1) KR20220091160A (ko)
WO (1) WO2022139375A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022153683A1 (ja) * 2021-01-15 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 画像表示装置及び画像表示方法
JP2023087539A (ja) * 2021-12-13 2023-06-23 トヨタ自動車株式会社 Ａｒグラス
US11783789B1 (en) * 2022-05-13 2023-10-10 Meta Platforms Technologies, Llc Dynamic brightness compensation in display assembly
JP2024018719A (ja) * 2022-07-29 2024-02-08 富士フイルム株式会社 制御装置、眼鏡型情報表示装置、制御方法、及び制御プログラム
JP2024018720A (ja) * 2022-07-29 2024-02-08 富士フイルム株式会社 画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
CN115494944A (zh) * 2022-09-27 2022-12-20 富泰华工业（深圳）有限公司 距离测量装置、方法、设备及存储介质
CN116500795A (zh) * 2023-06-26 2023-07-28 北京亮亮视野科技有限公司 增强现实设备的自适应调节方法、装置及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992002258A1 (en) 1990-07-27 1992-02-20 Isis Pharmaceuticals, Inc. Nuclease resistant, pyrimidine modified oligonucleotides that detect and modulate gene expression
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
TWI497247B (zh) * 2010-01-28 2015-08-21 Chi Mei Comm Systems Inc 實現亮度調節的資料處理設備及方法
JP2012252091A (ja) * 2011-06-01 2012-12-20 Sony Corp 表示装置
US8752963B2 (en) 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
JP5351311B1 (ja) 2012-06-29 2013-11-27 株式会社ソニー・コンピュータエンタテインメント 立体映像観察デバイスおよび透過率制御方法
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
KR102153599B1 (ko) 2013-11-18 2020-09-08 삼성전자주식회사 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 광 투과율 변경 방법
US9633626B2 (en) * 2015-03-12 2017-04-25 Visteon Global Technologies, Inc. Adjusting an electronic display based on gaze tracking
JP2017097098A (ja) 2015-11-20 2017-06-01 株式会社リコー 透過型映像表示装置
US20170277258A1 (en) * 2016-03-28 2017-09-28 Le Holdings (Beijing) Co., Ltd. Method for adjusting screen luminance and electronic device
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
KR101885473B1 (ko) 2017-05-10 2018-08-03 동국대학교 산학협력단 시각 장애인 보조용 스마트 글래스
CA3075096A1 (en) * 2017-09-21 2019-03-28 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
JP2019118004A (ja) 2017-12-27 2019-07-18 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
KR102617220B1 (ko) 2019-02-13 2023-12-21 동우 화인켐 주식회사 가상 이미지 디스플레이 장치
US11467370B2 (en) * 2019-05-27 2022-10-11 Samsung Electronics Co., Ltd. Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same

Also Published As

Publication number Publication date
WO2022139375A1 (en) 2022-06-30
US20220197377A1 (en) 2022-06-23
US11868524B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
US11868524B2 (en) Augmented reality device and operating method thereof
US11467370B2 (en) Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
EP3330771B1 (en) Display apparatus and method of displaying using focus and context displays
US10063846B2 (en) Selective illumination of a region within a field of view
US11256098B2 (en) Electronic device and method for displaying augmented reality
EP3330772B1 (en) Display apparatus and method of displaying using projectors
EP3449337B1 (en) Eye-tracking enabled wearable devices
JP2023543557A (ja) ニアアイディスプレイの光源を駆動する方法
US10852817B1 (en) Eye tracking combiner having multiple perspectives
KR20200136297A (ko) 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법
US9674436B2 (en) Selective imaging zones of an imaging sensor
TWI516802B (zh) 近眼光學去迴旋積顯示器
TWI565971B (zh) 近眼微透鏡陣列顯示器
KR20190095384A (ko) 주변 광원들로부터의 광을 조작하기 위한 시스템들 및 방법들
KR20210004776A (ko) 증강 현실을 디스플레이하는 장치 및 방법
WO2018100241A1 (en) Gaze-tracking system and method of tracking user's gaze
US11435577B2 (en) Foveated projection system to produce ocular resolution near-eye displays
US10725302B1 (en) Stereo imaging with Fresnel facets and Fresnel reflections
US11885991B1 (en) Display devices and methods for processing light
CN112384883A (zh) 可穿戴设备及其控制方法
CN117043658A (zh) 通过波导的眼睛跟踪器照明
KR20220046494A (ko) 시선 방향을 결정하는 방법 및 시선 추적 센서
KR20220111144A (ko) HMD(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 HMD
US11924536B2 (en) Augmented reality device including variable focus lenses and operating method thereof
KR20220170336A (ko) 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination