KR20220149348A - 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법 - Google Patents

객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법 Download PDF

Info

Publication number
KR20220149348A
KR20220149348A KR1020210056869A KR20210056869A KR20220149348A KR 20220149348 A KR20220149348 A KR 20220149348A KR 1020210056869 A KR1020210056869 A KR 1020210056869A KR 20210056869 A KR20210056869 A KR 20210056869A KR 20220149348 A KR20220149348 A KR 20220149348A
Authority
KR
South Korea
Prior art keywords
region
interest
gaze
light
augmented reality
Prior art date
Application number
KR1020210056869A
Other languages
English (en)
Inventor
윤상호
구본곤
최종철
윤정근
정영모
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210056869A priority Critical patent/KR20220149348A/ko
Priority to PCT/KR2022/005672 priority patent/WO2022231206A1/ko
Publication of KR20220149348A publication Critical patent/KR20220149348A/ko
Priority to US18/384,648 priority patent/US20240069632A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 관심 영역에 위치하는 객체의 깊이 값(depth) 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 증강 현실 디바이스는, 시선 추적 센서를 통해 획득된 관심 포인트의 이동 속도, 가속도, 고정 시간, 고정 횟수, 및 위치 중 적어도 하나에 기초하여, 현실 세계의 전체 영역 내의 적어도 하나의 부분 영역이 관심 영역(Region Of Interest)으로 예측되는 정도를 나타내는 관심 영역 신뢰도 레벨(ROI Confidence Level)을 산출하고, 산출된 관심 영역 신뢰도 레벨에 기초하여 관심 영역을 결정하고, 관심 영역 내의 객체의 깊이 값 정보를 획득하기 위하여 깊이 센서의 동작을 제어하기 위한 파라미터를 설정할 수 있다.

Description

객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법 {AUGMENTED REALITY DEVICE OBTAINING DEPTH INFORMATION OF THE OBJECT AND METHOD FOR OPERATING THE SAME}
본 개시는 객체의 깊이 정보를 획득하는 디바이스 및 그 동작 방법에 관한 것으로, 구체적으로는 시야(Field Of View; FOV) 내에 포함되는 전체 영역 중 사용자가 바라보거나 또는 가리키는 객체가 포함되는 관심 영역에 관한 깊이 정보를 획득하기 위하여 깊이 센서의 파라미터를 설정하는 디바이스 및 그 동작 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 오버레이(overlay)하여 함께 보여주는 기술로서, 증강 현실 기술을 활용한 증강 현실 디바이스(예를 들어, 스마트 글래스(Smart Glass) 가 정보 검색, 길 안내, 카메라 촬영과 같이 일상 생활에서 유용하게 사용되고 있다. 특히, 스마트 글래스는 패션 아이템으로도 착용되고, 실외 활동에 주로 사용되고 있다.
최근에는 3차원 입체 공간으로 구성된 현실 공간에 포함되는 객체의 공간감을 표현하기 위하여, 깊이 정보를 획득하는 깊이 센서(depth sensor)를 포함하는 디바이스가 널리 사용되고 있다. 종래의 깊이 센서를 이용한 깊이 정보 획득 기술은 사용자의 관심 영역을 고려하지 않고, 시야(FOV) 내의 전체 영역에 포함되는 모든 객체에 대하여 깊이 센싱을 수행하고, 깊이 값 정보를 획득하였다.
그러나, 최근 디바이스의 소형화 및 휴대를 위한 배터리 용량 등의 한계로 인하여, 시야 내 전체 영역에 대하여 깊이 센싱을 수행하는 경우, 연산량이 증가하며, 이에 따른 전력 소모가 증가하게 된다. 또한, 디바이스를 사용하는 사용자가 객체를 바라보는 시선 또는 객체를 가리키는 핸드 제스처(hand gesture) 등은 연속적(continuous)이고, 실시간으로 변경되는바, 전체 영역에 대하여 깊이 센싱을 수행하고, 이후 시선 또는 핸드 제스처에 따라 변경된 영역에 대하여 다시 깊이 센싱을 수행하는 경우 불필요한 전력 소모량이 증가되는 문제가 발생된다.
본 개시는 사용자의 시야(FOV) 내의 전체 영역 중 사용자가 바라보거나 가리키는 객체가 포함되는 관심 영역(Region Of Interest; ROI)에 대한 깊이 정보만을 획득하도록 깊이 센서의 파라미터를 설정하는 증강 현실 디바이스 및 그 동작 방법을 제공하는데 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는, 객체를 바라보는 사용자의 시선을 추적함으로써 객체에 관한 관심 포인트 정보를 획득하는 시선 추적 센서, 객체의 깊이 값 정보를 획득하는 깊이 센서(depth sensor), 하나 이상의 명령어들(instructions)을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 시선 추적 센서를 통해 획득된 관심 포인트의 이동 속도, 가속도, 고정 시간, 고정 횟수, 및 위치 중 적어도 하나의 정보에 기초하여, 현실 세계의 전체 영역 내의 적어도 하나의 부분 영역이 관심 영역(Region Of Interest)으로 예측되는 정도를 나타내는 관심 영역 신뢰도 레벨(ROI Confidence Level)을 산출하고, 산출된 관심 영역 신뢰도 레벨에 기초하여 전체 영역 내의 관심 영역을 결정하고, 관심 영역 내의 객체의 깊이 값을 획득하기 위하여 상기 깊이 센서의 동작을 제어하는 파라미터를 설정하는 증강 현실 디바이스를 제공한다.
일 실시 예에서, 상기 프로세서는 상기 시선 추적 센서를 이용하여 사용자의 좌안의 시선 방향을 나타내는 제1 시선 벡터 및 상기 사용자의 우안의 시선 방향을 나타내는 제2 시선 벡터를 획득하고, 양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점을 검출하고, 검출된 상기 응시점의 2차원 위치 좌표 정보를 획득할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 검출된 응시점이 동일 영역 또는 동일 객체 상에 머무르는 고정 시간(fixation time), 고정 횟수(fixation number), 상기 응시점의 이동 속도, 가속도, 및 위치 중 적어도 하나에 기초하여, 상기 관심 영역 신뢰도 레벨을 산출할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 관심 포인트의 고정 시간 및 고정 횟수 중 적어도 하나와 비례 관계에 따라 상기 관심 영역 신뢰도 레벨을 산출할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 관심 포인트의 이동 속도 및 가속도 중 적어도 하나에 반비례 관계에 따라 상기 관심 영역 신뢰도 레벨을 산출할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 산출된 관심 영역 신뢰도 레벨이 기설정된 임계치 이상인 적어도 하나의 부분 영역들을 상기 관심 영역으로 결정할 수 있다.
일 실시 예에서, 증강 현실 디바이스는 현실 세계의 전체 영역을 촬영함으로써, 전체 영역에 관한 이미지를 획득하는 카메라를 더 포함하고, 상기 프로세서는 상기 카메라를 통해 획득된 이미지 중 상기 결정된 관심 영역에 대응되는 부분의 깊이 맵 해상도(resolution) 및 프레임 레이트(frame rate)를 다른 부분 영역 보다 높은 값으로 조절할 수 있다.
일 실시 예에서, 상기 깊이 센서는 상기 광을 발생시키고, 발생된 광을 객체에 조사하도록 구성되는 발광부를 포함하고, 상기 프로세서는 상기 발광부에 의해 상기 결정된 관심 영역으로 기 설정된 임계 광량 및 기설정된 임계 개수의 패턴 광이 조사되도록 상기 관심 영역의 크기를 재설정할 수 있다.
일 실시 예에서, 상기 발광부는 광원, 및 LC(Liquid Crystal) 기반 반사 미러를 포함하고, 상기 프로세서는 상기 LC 기반 반사 미러의 액정층 내에 포함되는 액정 분자의 배열을 변경하여 상기 관심 영역에 패턴 광이 조사되도록 상기 LC 기반 반사 미러에 인가되는 전원을 조절할 수 있다.
일 실시 예에서, 상기 깊이 센서는 상기 광원에 의해 조사되어 상기 객체로부터 반사되는 광을 수광하는 수광 센서를 포함하고, 상기 수광 센서는 복수의 섹션(sections)으로 구분되고, 상기 복수의 섹션은 기설정된 클럭 신호(clock signal)에 따라 순차적으로 온/오프(on/off) 동작이 제어되며, 상기 프로세서는 상기 복수의 섹션 중에서, 상기 관심 영역에 대응되는 적어도 하나의 제1 섹션들을 순차적으로 온(on) 상태로 전환하고, 상기 관심 영역에 대응되지 않는 적어도 하나의 제2 섹션들을 오프(off) 상태로 유지되도록 상기 수광 센서를 제어할 수 있다.
일 실시 예에서, 상기 수광 센서의 복수의 섹션은 복수의 SPAD(Single-Photon Avalanche Diode)를 포함하고, 상기 프로세서는 상기 적어도 하나의 제1 섹션에 포함되는 복수의 SPAD 중 상기 관심 영역을 포함하지 않는 적어도 하나의 SPAD에 인가되는 바이어스 전압(bias voltage)을 차단함으로써 상기 적어도 하나의 SPAD를 비활성화할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는, 객체를 바라보거나 또는 객체를 가리키는 사용자의 관심 포인트(Point of Interest)를 추적함으로써 상기 객체에 관한 상기 관심 포인트 정보를 획득하는 단계, 관심 포인트의 이동 속도, 가속도, 고정 시간, 고정 횟수, 및 위치 중 적어도 하나의 정보에 기초하여, 현실 세계의 전체 영역 내의 적어도 하나의 부분 영역이 관심 영역(Region Of Interest)으로 예측되는 정도를 나타내는 관심 영역 신뢰도 레벨(ROI Confidence Level)을 산출하는 단계, 산출된 관심 영역 신뢰도 레벨에 기초하여 전체 영역 내의 관심 영역을 결정하는 단계, 및 관심 영역 내의 객체의 깊이 값을 획득하기 위하여 이용되는 증강 현실 장치의 깊이 센서의 동작을 제어하는 파라미터를 설정하는 단계를 포함하는, 증강 현실 디바이스의 동작 방법을 제공한다.
일 실시 예에서, 상기 관심 포인트에 관한 정보를 획득하는 단계는 시선 추적 센서를 이용하여 사용자의 좌안의 시선 방향을 나타내는 제1 시선 벡터 및 상기 사용자의 우안의 시선 방향을 나타내는 제2 시선 벡터를 획득하는 단계, 양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점을 검출하는 단계, 및 검출된 상기 응시점의 2차원 위치 좌표 정보를 획득하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 관심 영역 신뢰도 레벨을 산출하는 단계는 상기 검출된 응시점이 동일 영역 또는 동일 객체 상에 머무르는 고정 시간(fixation time), 고정 횟수(fixation number), 상기 응시점의 이동 속도, 가속도 및 중 적어도 하나에 기초하여, 상기 관심 영역 신뢰도 레벨을 산출할 수 있다.
일 실시 예에서, 상기 관심 영역을 결정하는 단계는, 상기 산출된 관심 영역 신뢰도 레벨이 기설정된 임계치 이상인 적어도 하나의 부분 영역들을 상기 관심 영역으로 결정할 수 있다.
일 실시 예에서, 상기 깊이 센서는 상기 광을 발생시키고, 발생된 광을 객체에 조사하도록 구성되는 발광부를 포함하고, 상기 깊이 센서의 파라미터를 설정하는 단계는 상기 발광부에 의해 상기 결정된 관심 영역으로 기 설정된 임계 광량 및 기설정된 임계 개수의 패턴 광이 조사되도록 상기 관심 영역의 크기를 재설정할 수 있다.
일 실시 예에서, 상기 발광부는 광원 및 LC 기반 반사 미러를 포함하고, 상기 깊이 센서의 파라미터를 설정하는 단계는 상기 LC 기반 반사 미러의 액정층 내에 포함되는 액정 분자의 배열을 변경하여 상기 관심 영역에 패턴 광이 조사되도록 상기 LC 기반 반사 미러에 인가되는 전원을 조절하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 깊이 센서는 상기 광원에 의해 조사되어 상기 객체로부터 반사되는 광을 수광하는 수광 센서를 포함하고, 상기 수광 센서는 복수의 섹션(sections)으로 구분되고, 상기 복수의 섹션은 기설정된 클럭 신호(clock signal)에 따라 순차적으로 온/오프(on/off) 동작이 제어되고, 상기 깊이 센서의 파라미터를 설정하는 단계는 상기 복수의 섹션 중 상기 관심 영역에 대응되는 적어도 하나의 제1 섹션들을 순차적으로 온(on) 상태로 전환하고, 상기 관심 영역에 대응되지 않는 적어도 하나의 제2 섹션들을 오프(off) 상태로 유지할 수 있다.
일 실시 예에서, 상기 수광 센서는, 상기 복수의 섹션들 각각은, 복수의 SPAD(Single-Photon Avalanche Diode)를 포함하며, 상기 방법은 적어도 하나의 제1 섹션에 포함되는 복수의 SPAD 중 상기 관심 영역을 포함하지 않는 적어도 하나의 SPAD에 인가되는 바이어스 전압(bias voltage)을 차단함으로써 상기 적어도 하나의 SPAD를 비활성화하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 동작 방법을 설명하기 위한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 동작 방법을 도시한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 시선 방향에 따라 관심 영역을 결정하는 방법을 도시한 도면이다.
도 5a는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 시선 추적 센서를 도시한 도면이다.
도 5b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 시선 추적 센서를 도시한 도면이다.
도 5c는 사용자의 시선 방향에 대한 3차원 안구 모델을 도시한 도면이다.
도 6a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.
도 6b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 시선 방향에 따른 응시점에 기초하여 관심 영역 신뢰도 레벨을 산출하는 방법을 도시한 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 손의 위치에 따라 관심 영역 신뢰도 레벨을 산출하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 입력 컨트롤러의 위치에 따라 관심 영역 신뢰도 레벨을 산출하는 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 깊이 센서의 구조 및 동작 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 증강 현실 디바이스가 깊이 센서의 발광부에서 조사된 패턴 광의 광량 및 개수에 기초하여 관심 영역의 크기를 재설정하는 실시예를 도시한 도면이다.
도 12는 본 개시의 증강 현실 디바이스가 깊이 센서의 구성 요소인 LC 기반 반사 미러의 굴절력을 조절하는 실시예를 도시한 도면이다.
도 13은 본 개시의 증강 현실 디바이스가 관심 영역에 기초하여 깊이 센서의 구성 요소인 수광 센서의 동작을 제어하는 실시예를 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 깊이 센서의 구성 요소인 수광 센서의 동작을 제어하는 회로도를 도시한 도면이다.
도 15는 본 개시의 증강 현실 디바이스가 수광 센서로부터 획득한 픽셀 별 수광 광자수 히스토그램에 기초하여 발광부의 송신 신호 강도(Tx intensity)를 조절하는 실시예를 도시한 도면이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서, '증강 현실(AR : Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
본 개시에서, '디바이스'는 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다. 그러나, 이에 한정되는 것은 아니고, 디바이스는 모바일 디바이스, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 캠코더, IPTV(Internet Protocol Television), DTV(Digital Television), 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다.
본 개시에서, '시야(Field of View; FOV)'는 사용자가 디바이스의 렌즈 또는 디스플레이를 통해 한번에 관측할 수 있는 영역을 의미한다.
본 개시에서, '관심 포인트(Point of Interest; POI)'는 사용자가 증강 현실 디바이스를 통해 바라보거나 또는 가리키는 현실 세계(real world)의 객체 상의 특정 지점 또는 영역을 의미한다. 일 실시예에서, 관심 포인트는 사용자의 시선 방향에 따른 응시점 또는 핸드 제스처, 터치 입력, 입력 컨트롤러를 통해 입력되는 지점일 수 있다.
본 개시에서, '시선 방향(gaze direction)'이란 사용자가 응시하는 방향을 의미하며, '시선(gaze)'이란 사용자의 눈동자에서 시선 방향으로 향하는 가상의 선을 의미한다. 주로 시선 추적 센서에서 획득된 정보로부터 시선 방향을 계산하고 시선을 추정한다.
본 개시에서, '응시점(gaze point)'이란 사용자가 응시하는 지점을 가리키며, 사용자의 양안의 시선 방향이 수렴되는 지점을 의미한다. 일 실시예에서, 응시점은 양안 시차(binocular disparity)에 따라 결정되고, 삼각 측량법(triangulate)에 의해 검출될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 동작 방법을 설명하기 위한 개념도이다.
본 개시의 증강 현실 디바이스(1000)는 사용자의 안면부에 착용하는 안경 형태의 증강 현실 글래스(Augmented Reality Glass)일 수 있다. 그러나, 이에 한정되는 것은 아니고, 증강 현실 디바이스(1000)는 사용자의 머리 부분에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus), 또는 증강 현실 헬멧(Augmented Reality Helmet)일 수도 있다. 그러나, 이에 한정되지 않는다.
증강 현실 디바이스(1000)는 애플리케이션을 실행함으로써, 현실 객체 뿐만 아니라, 웨이브 가이드(waveguide)에 표시되는 가상 이미지 컨텐트를 제공할 수 있다. 증강 현실 디바이스(1000)는 예를 들어, 무비 애플리케이션, 뮤직 애플리케이션, 포토 애플리케이션, 갤러리 애플리케이션, 웹 브라우저 애플리케이션, 전자책(e-book reader) 애플리케이션, 게임 애플리케이션, 증강 현실 애플리케이션, SNS 애플리케이션, 메신저 애플리케이션, 오브젝트 인식 애플리케이션 등을 실행함으로써, 각각의 애플리케이션에서 표시되는 가상 이미지 콘텐트를 사용자에게 제공할 수 있다.
도 1을 참조하면, 증강 현실 디바이스(1000)는 사용자의 시선 방향에 따라 현실 세계의 객체(real world object)(100)를 바라보는 응시점(G)을 검출하고, 응시점(G)의 이동 속도, 가속도, 고정 시간(fixation time), 고정 횟수, 및 위치 중 적어도 하나를 포함하는 관심 포인트 정보를 획득할 수 있다. 여기서, '관심 포인트(Point of Interest; POI)'는 사용자가 증강 현실 디바이스(1000)를 통해 바라보거나 또는 가리키는 현실 세계의 객체(100) 상의 특정 지점 또는 영역을 의미한다.
도 1에 도시된 실시예에서, 관심 포인트는 사용자의 시선 방향에 따른 응시점(G)일 수 있다. 증강 현실 디바이스(1000)는 시선 추적 센서(1100)를 포함하고, 시선 추적 센서(1100)를 이용하여 사용자의 좌안 및 우안의 시선 방향이 수렴되는 응시점(G)을 검출하며, 응시점(G)의 2차원 위치 좌표값을 획득할 수 있다. 응시점(G)의 이동 속도 및 가속도는 사용자의 시선 방향의 변화에 따라 이동되는 응시점(G)의 위치 좌표의 이동 속도 및 가속도를 의미한다. 응시점(G)의 '고정 시간'은 특정 영역 또는 특정 객체 상에서 사용자의 시선이 머무르는 시간을 의미하고, '고정 횟수'는 특정 영역 또는 특정 객체 상에서 사용자의 시선이 기설정된 임계 시간 이상 머무르는 횟수를 의미한다.
증강 현실 디바이스(1000)는 응시점(G)의 이동 속도, 가속도, 고정 시간, 고정 횟수, 및 위치 중 적어도 하나에 기초하여, 전체 영역 중 관심 영역(Region Of Interest)(ROI)으로 예측될 수 있는 정도를 나타내는 지표인 관심 영역 신뢰도 레벨(ROI confidence level)을 산출할 수 있다. 여기서, '전체 영역'은 증강 현실 디바이스(1000)의 렌즈 또는 카메라를 통해 결정되는 시야(Field Of View; FOV)에 포함되는 현실 공간의 의미한다.
일 실시예에서, 증강 현실 디바이스(1000)는 응시점(G)의 이동 속도 및 가속도 중 적어도 하나에 대하여 반비례 관계에 따라 관심 영역 신뢰도 레벨을 산출할 수 있다. 예를 들어, 응시점(G)의 이동 속도 또는 가속도가 빠르면 빠를수록 관심 영역 신뢰도 레벨을 낮게 산출하고, 응시점(G)의 이동 속도 또는 가속도가 느리면 느릴수록 관심 영역 신뢰도 레벨을 높게 산출할 수 있다.
다른 실시예에서, 증강 현실 디바이스(1000)는 응시점(G)의 고정 시간 및 고정 횟수 중 적어도 하나에 대하여 비례 관계에 따라 관심 영역 신뢰도 레벨을 산출할 수 있다. 예를 들어, 응시점(G)이 객체(100) 상에 머무르는 고정 시간 또는 고정 횟수가 크면 클수록 객체(100)에 대응되는 영역의 관심 영역 신뢰도 레벨을 높게 산출하고, 고정 시간 또는 고정 횟수가 작으면 작을수록 관심 영역 신뢰도 레벨을 낮게 산출할 수 있다.
증강 현실 디바이스(1000)는 산출된 관심 영역 신뢰도 레벨에 기초하여 전체 영역 중 관심 영역(ROI)을 결정하고, 깊이 센서(1600)를 이용하여 관심 영역(ROI)에 관한 깊이 정보를 획득할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 응시점(G) 및 응시점(G)을 포함하는 주변 영역 중 관심 영역 신뢰도 레벨이 기설정된 임계치 이상인 영역을 관심 영역(ROI)으로 결정할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 현실 세계에 포함되는 적어도 하나의 객체(100)에 관한 깊이 정보를 획득하도록 구성되는 깊이 센서(1600)를 포함할 수 있다. 여기서 '깊이 정보'는, 깊이 센서(1600)로부터 특정 객체(100)까지의 거리에 관한 정보를 의미한다. 깊이 센서(1600)로부터 특정 객체(100)까지의 거리가 멀수록 깊이 값은 커지고, 거리가 가까울수록 깊이 값은 작아진다. 도 1에 도시된 실시예에서, 3차원 공간 상에서 X축은 증강 현실 디바이스(1000)를 좌우로 지나는 기준 축이고, Y축은 증강 현실 디바이스(1000)를 상하로 지나는 기준 축이며, Z축은 증강 현실 디바이스(1000)를 전후로 지나는 기준 축일 수 있다. 또한, X축, Y축 및 Z축은 서로 수직을 이룰 수 있다. 이에 따라, 일 실시예에 따른 깊이 정보는, 깊이 센서(1600)로부터 특정 객체까지의 Z축 상의 거리를 의미할 수 있다.
일 실시예에서, 깊이 센서(1600)는 광원을 이용하여 객체(100)에 패턴 광을 조사하고, 조사된 패턴 광이 객체(100)로부터 반사되어 수광 센서를 통해 수광될 때까지 소요되는 시간에 따라 깊이 값 정보를 획득하도록 구성되는 TOF 센서(Time of flight sensor)로 구성될 수 있다. 그러나, 이에 한정되는 것은 아니고, 깊이 센서(1600)는 구조화된 광(Structured Light) 방식 또는 스테레오 이미지(Stereo Image) 방식 중 적어도 하나의 방식을 이용하여 깊이 정보를 획득하는 센서로 구성될 수도 있다. 깊이 센서(1600)에 대해서는 도 10에서 상세하게 설명하기로 한다.
증강 현실 디바이스(1000)는 관심 영역(ROI)에 관한 깊이 정보를 획득하기 위하여, 깊이 센서(1600)의 동작을 제어하는 파라미터를 설정할 수 있다. 깊이 센서(1600)의 동작을 제어하기 위한 파라미터는 예를 들어, 관심 영역(ROI)에 광을 조사하도록 구성되는 발광부(1610, 도 2 참조)의 발광량 및 발광 위치, 발광부(1610)에 포함되는 LC(Liquid Crystal) 기반 반사 미러에 인가되는 전원, 수광 센서(1620, 도 2 참조)를 구성하는 SPAD(Single-Photon Avalanche Diode)의 온/오프(on/off) 제어 파라미터 중 적어도 하나를 포함할 수 있다. 증강 현실 디바이스(1000)가 관심 영역 신뢰도 레벨에 기초하여 결정된 관심 영역(ROI)에 따라 깊이 센서(1600)의 동작 파라미터를 제어하는 구체적인 실시예에 대해서는 도 11 내지 도 15에서 상세하게 설명하기로 한다.
종래의 깊이 센서를 이용한 깊이 정보 획득 기술은 사용자의 관심 영역(ROI)을 고려하지 않고, 시야(FOV) 내의 전체 영역에 포함되는 모든 객체에 대하여 깊이 센싱을 수행하고, 깊이 값 정보를 획득하였다. 그러나, 시야 내 전체 영역에 대하여 깊이 센싱을 수행하는 경우, 연산량이 증가하고, 처리 속도(processing time)이 느려지며, 전력 소모가 증가하게 된다. 또한, 디바이스를 사용하는 사용자가 객체를 바라보는 시선 또는 객체를 가리키는 핸드 제스처(hand gesture) 등 관심 포인트는 연속적(continuous)이고, 실시간으로 변경되는바, 전체 영역에 대하여 깊이 센싱을 수행하여 1 프레임을 획득하고, 이후 관심 포인트가 이동됨에 따라서 다시 깊이 센싱을 수행하여 다음 프레임을 획득하는 경우, 모든 객체에 대하여 깊이 값 정보를 다시 획득하여야 하므로 전력 소모량이 증가되는 문제가 발생된다. 최근 디바이스의 소형화 및 휴대를 위한 배터리 용량 등의 한계로 인하여, 전력 소모량의 증가는 휴대성, 사용 편의성에 문제가 될 수 있다.
본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)는 응시점(G)의 이동 속도, 가속도, 고정 시간, 고정 횟수, 및 위치 중 적어도 하나에 기초하여 관심 영역 신뢰도 레벨을 산출하고, 시야(FOV)에 포함되는 전체 영역이 아닌 관심 영역 신뢰도 레벨에 따라 결정되는 관심 영역(ROI)에 관한 깊이 값 정보만을 획득하도록 깊이 센서(1600)의 동작 파라미터를 설정함으로써, 연산량을 줄이고, 전력 소모량을 감소시킬 수 있다. 따라서, 본 개시의 증강 현실 디바이스(1000)는 배터리의 사용 시간을 증가시킬 수 있고, 사용자 편의성을 향상시킬 수 있다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구성 요소를 도시한 블록도이다.
증강 현실 디바이스(1000)는 사용자의 안면부에 착용하는 안경 형태의 증강 현실 글래스(Augmented Reality Glass), 사용자의 머리 부분에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus), 또는 증강 현실 헬멧(Augmented Reality Helmet)일 수도 있다. 그러나, 이에 한정되지 않는다. 일 실시예에서, 증강 현실 디바이스(1000)는 모바일 디바이스, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 캠코더, IPTV(Internet Protocol Television), DTV(Digital Television), 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다.
도 2를 참조하면, 증강 현실 디바이스(1000)는 시선 추적 센서(1100), 센서 유닛(1200), 카메라(1300), 프로세서(1400), 메모리(1500), 깊이 센서(1600), 저장부(1700), 및 디스플레이부(1800)를 포함할 수 있다. 도 2에는 증강 현실 디바이스(1000)의 동작을 설명하기 위한 필수적 구성 요소만이 도시되었고, 증강 현실 디바이스(1000)이 포함하는 구성 요소가 도 2에 도시된 바와 같이 한정되는 것은 아니다.
시선 추적 센서(1100)는, 사용자의 눈의 시선 방향을 추적하는 센서이다. 시선 추적 센서(1100)는 사람의 눈동자나 동공의 이미지를 검출하거나, 근적외선 등의 조명광이 각막에서 반사되는 방향 또는 광량을 검출함으로써, 사용자의 시선 방향을 검출할 수 있다. 이러한 시선 추적 센서(1100)는 좌안용 시선 추적 센서와 우안용 시선 추적 센서를 포함하며, 각기 사용자의 좌안의 시선 방향 및 사용자의 우안의 시선 방향을 검출할 수 있다. 사용자의 시선 방향을 검출하는 것은, 사용자의 시선에 관련된 시선 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에서, 시선 추적 센서(1100)는 하나 또는 복수의 적외선 조사부(1110), 복수의 적외선 검출부(1120) 및 시선 추적 카메라(1130)를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 시선 추적 센서(1100)는 적외선 조사부(1110) 및 적외선 검출부(1120)를 포함하거나, 또는 적외선 조사부(1110) 및 시선 추적 카메라(1130)를 포함하도록 구성될 수 있다.
시선 추적 센서(1100)의 구체적인 구조 및 동작에 관해서는 도 5a 내지 도 5c에서 상세하게 설명하기로 한다.
센서 유닛(1200)은 현실 세계의 객체를 가리키거나 선택하는 사용자의 입력을 감지하도록 구성된다. 센서 유닛(1200)은 핸드 트래커(1210), 입력 컨트롤러 센서(1220), 및 관성 측정 센서(1230)를 포함할 수 있다.
핸드 트래커(hand tracker)(1210)는 사용자의 손을 통해 가리키는 영역 또는 지점을 인식하도록 구성되는 센서이다. 일 실시예에서, 핸드 트래커(1210)는 사용자의 손 바닥 또는 손등의 중심점을 인식하고, 인식된 중심점의 위치 좌표 정보를 획득할 수 있다. 핸드 트래커(1210)는 손의 움직임에 따라 변경되는 중심점의 위치 좌표값 정보를 실시간으로 획득할 수 있다. 핸드 트래커(1210)는 획득된 중심점의 위치 좌표에 관한 정보를 프로세서(1400)에 제공한다. 핸드 트래커(1210)의 동작에 관해서는 도 8에서 상세하게 설명하기로 한다.
입력 컨트롤러 센서(1220)는 사용자의 신체 일부에 장착되거나, 사용자가 휴대하는 입력 컨트롤러의 위치를 인식하도록 구성되는 센서이다. 일 실시예에서, 입력 컨트롤러 센서(1220)는 입력 컨트롤러와 증강 현실 디바이스(1000) 간의 상대 위치 및 절대 위치를 추적할 수 있는 관성 측정 센서 (예를 들어, gyroscope, accelerometer, magnetometer), 무선 통신 모듈 (예를 들어, UWB, WiFi, Bluetooth) 및 터치 센서 (Touch-Sensitive Surface) 중 적어도 하나와 페어링(pairing)되어 입력 컨트롤러의 위치 좌표값을 획득하도록 구성될 수 있다.
입력 컨트롤러 센서(1220)는 사용자의 조작에 따라 이동되는 입력 컨트롤러의 위치 좌표값 정보를 실시간으로 획득할 수 있다. 입력 컨트롤러 센서(1220)는 획득된 입력 컨트롤러의 위치 좌표에 관한 정보를 프로세서(1400)에 제공한다. 입력 컨트롤러 센서(1220)의 동작에 관해서는 도 9에서 상세하게 설명하기로 한다.
관성 측정 센서(Inertial Measurement Unit)(1230)는 가속도 계(accelerometer), 자이로스코프(gyroscope), 및 자력계(magnetometer)의 조합을 통해 디바이스의 이동 속도, 방향, 각도, 및 중력 가속도를 측정하도록 구성되는 센서이다. 관성 측정 센서(1230)는 가속도계를 이용하여 증강 현실 디바이스(1000)의 선형 가속도를 측정할 수 있다. 일 실시예에서, 관성 측정 센서(1230)는 행 방향, 횡 방향, 및 높이 방향의 가속도를 측정하는 3축 가속도계와 롤(roll), 피치(pitch), 및 요(yaw) 각속도를 측정하는 3축 각속도계를 포함할 수 있다. 일 실시예에서, 관성 측정 센서(1230)는 자이로스코프를 이용하여 증강 현실 디바이스(1000)의 회전 속도를 측정할 수 있다.
카메라(1300)는 증강 현실 디바이스(1000)가 향하는 전면에 위치하는 현실 객체를 촬영하고, 현실 객체에 관한 이미지를 획득하도록 구성된다. 카메라(1300)는 현실 객체의 이미지를 프로세서(1400)에 제공하고, 프로세서(1400)는 현실 객체의 이미지를 깊이 센서(1600)를 통해 획득한 현실 객체의 깊이 값 정보와 결합할 수도 있다.
프로세서(1400)는 시선 추적 센서(1100), 센서 유닛(1200), 카메라(1300), 깊이 센서(1600), 저장부(1700), 및 디스플레이부(1800)와 전기적 및/또는 물리적으로 연결될 수 있다. 프로세서(1400)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
메모리(1500)는 하나 이상의 명령어들을 포함하는 프로그램을 저장할 수 있다. 메모리(1500)는 예를 들어, 플래시 메모리 타입(flash memory type), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 또는 EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
프로세서(1400)는 현실 세계(real world)의 객체를 바라보거나 또는 객체를 가리키는 사용자의 관심 포인트(Point of Interest)를 추적함으로써, 객체에 관한 관심 포인트 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 시선 추적 센서(1100)로부터 사용자의 좌안 및 우안 각각의 시선 방향에 따른 응시점(gaze point)의 2차원 위치 좌표값 정보를 획득하고, 응시점의 2차원 위치 좌표값 정보에 기초하여 사용자의 관심 포인트 정보를 획득할 수 있다. 다른 실시예에서, 프로세서(1400)는 핸드 트래커(1210)로부터 사용자의 손의 중심점의 위치 좌표값 정보를 획득하고, 손의 중심점의 위치 좌표값에 기초하여 사용자의 관심 포인트 정보를 획득할 수 있다. 다른 실시예에서, 프로세서(1400)는 입력 컨트롤러 센서(1220)로부터 사용자가 착용하거나 또는 휴대하는 입력 컨트롤러의 위치 좌표값 정보를 획득하고, 입력 컨트롤러의 위치 좌표값 정보에 기초하여 사용자의 관심 포인트 정보를 획득할 수 있다.
프로세서(1400)는 관심 포인트의 이동과 관련된 정보에 기초하여 현실 세계의 전체 영역 내의 적어도 하나의 부분 영역이 관심 영역(Region Of Interest)으로 예측되는 정도를 나타내는 관심 영역 신뢰도 레벨(ROI Confidence Level)을 산출할 수 있다. 일 실시예에서, 프로세서(1400)는 관심 포인트의 이동 속도, 가속도, 고정 시간(fixation time), 고정 횟수(fixation number), 및 위치 중 적어도 하나에 기초하여, 증강 현실 디바이스(1000)를 통한 시야(Field Of View; FOV)에 의해 결정되는 전체 영역에 포함되는 적어도 하나의 부분 영역에 관한 관심 영역 신뢰도 레벨을 산출할 수 있다.
일 실시예에서, 프로세서(1400)는 관심 포인트의 고정 시간 및 고정 횟수 중 적어도 하나와 비례 관계에 따라 전체 영역 내 적어도 하나의 부분 영역에 관한 관심 영역 신뢰도 레벨을 산출할 수 있다. 여기서, '고정 시간'은 사용자의 관심 포인트가 특정 영역 또는 특정 객체 상의 위치에 머무르는 시간을 의미하고, '고정 횟수'는 사용자의 관심 포인트가 특정 영역 또는 특정 객체 상의 위치에 기설정된 임계 시간 이상 머무르는 횟수를 의미한다.
일 실시예에서, 프로세서(1400)는 관심 포인트의 이동 속도 및 가속도 중 적어도 하나에 반비례 관계에 따라 전체 영역 내의 적어도 하나의 부분 영역에 관한 관심 영역 신뢰도 레벨을 산출할 수 있다. 다른 실시예에서, 프로세서(1400)는 관심 포인트가 임계 시간 동안 머무르고 있던 소정의 영역에서 이탈하는 횟수에 기초하여 전체 영역 내 적어도 하나의 부분 영역에 관한 관심 영역 신뢰도 레벨을 산출할 수도 있다. 예를 들어, 관심 포인트가 제1 영역에 임계 시간 이상 머무르다가 제2 영역으로 이탈하는 횟수가 많아짐에 따라 제1 영역에 관한 관심 영역 신뢰도 레벨을 낮은 값으로 산출할 수 있다.
프로세서(1400)는 산출된 관심 영역 신뢰도 레벨에 기초하여 전체 영역 내의 관심 영역을 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 증강 현실 디바이스(1000)의 시야(FOV)에 의해 결정되는 전체 영역에 포함되는 적어도 하나의 부분 영역 중 산출된 관심 영역 신뢰도 레벨이 기설정된 임계치 이상인 부분 영역을 관심 영역으로 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 카메라(1300) 및 깊이 센서(1600)를 이용하여 시야(FOV) 내의 전체 영역에 관한 깊이 값을 나타내는 깊이 맵(depth map) 이미지를 획득하고, 획득된 깊이 맵 이미지에서, 관심 영역에 대응되는 부분의 깊이 맵 해상도(resolution) 및 프레임 레이트(frame rate)를 다른 부분과 비교하여 상대적으로 높은 값으로 조절할 수 있다.
프로세서(1400)는 관심 영역 내의 객체의 깊이 정보를 획득하기 위하여 이용되는 깊이 센서(1600)의 동작을 제어하기 위한 파라미터를 설정할 수 있다. 깊이 센서(1600)의 동작을 제어하기 위한 파라미터는 예를 들어, 관심 영역(ROI)에 광을 조사하도록 구성되는 발광부(1610)의 발광량 및 발광 위치, 발광부(1610)에 포함되는 LC(Liquid Crystal) 기반 반사 미러에 인가되는 전원, 수광 센서(1620)를 구성하는 복수의 SPAD(Single-Photon Avalanche Diode)의 온/오프(on/off) 제어 파라미터 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 프로세서(1400)는 깊이 센서(1600)의 발광부(1610)에 의해 관심 영역에 기설정된 임계 광량 및 기설정된 임계 개수의 패턴 광이 조사되도록 관심 영역의 크기를 재설정할 수 있다. 일 실시예에서, 프로세서(1400)는 발광부(1610)의 구성 요소인 LC 기반 반사 미러의 액정층 내에 포함되는 액정 분자의 배열을 변경하여 관심 영역에 패턴 광이 조사되도록 LC 기반 반사 미러에 인가되는 전원을 조절할 수 있다. 프로세서(1400)는 LC 기반 반사 미러에 동작 전원을 인가하는 여기 전극(1618e-1 내지 1618e-10, 도 12 참조)의 제어 전압을 변경함으로써, LC 층(1618LC) 내의 액정 분자들의 배열 각도를 변경하고, 이에 따라 광원(1612, 도 10 참조)에 의해 발광되고, 반사 층(1618r, 도 12 참조)에 의해 반사되는 광의 방향이 관심 영역을 향하도록 제어할 수 있다. 프로세서(1400)가 발광부(1610)의 광원(1612) 및 LC 층(1618LC)을 제어함으로써, 관심 영역을 향하여 조사되는 광량 및 광의 굴절률을 변경하는 구체적인 실시예에 대해서는 도 10 내지 도 12에서 상세하게 설명하기로 한다.
프로세서(1400)는 깊이 센서(1600)의 구성 요소인 수광 센서(1620)의 온/오프(on/off) 동작을 제어할 수 있다. 일 실시예에서, 수광 센서(1620)는 복수의 섹션(sections)으로 구분되고, 복수의 섹션 각각은 복수의 SPAD(Single-Photon Avalanche Diode)를 포함할 수 있다. 일 실시예에서, 프로세서(1400)는 수광 센서(1620)의 복수의 섹션 중 관심 영역에 대응되는 위치에 배치되는 섹션들은 클럭 신호(clock signal)에 따라 순차적으로 온(on) 상태로 설정하여 대상체로부터 반사되는 광을 수광하고, 관심 영역에 대응되지 않는 위치에 배치되는 섹션들은 오프(off) 상태로 유지할 수 있다. 일 실시예에서, 프로세서(1400)는 관심 영역에 대응되는 위치에 배치되는 섹션들에 포함되는 복수의 SPAD 중 관심 영역 내에 위치하는 객체로부터 반사되는 광을 수광하지 않는 적어도 하나의 SPAD는 비활성화(disable)되도록 제어할 수 있다. 프로세서(1400)가 수광 센서(1620)의 동작을 제어하는 구체적인 실시예에 대해서는 도 13 및 도 14에서 상세하게 설명하기로 한다.
프로세서(1400)는 수광 센서(1620)에 의해 수광된 픽셀 별 광자수 히스토그램(photon histogram)에 기초하여 발광부(1610)의 광 송신 신호 강도(Tx intensity)를 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 픽셀 별 광자수 히스토그램으로부터 수광 광자수의 기울기, 광자수의 총합, 및 Z-score 중 적어도 하나의 peak 값을 식별하고, peak 값을 식별할 수 있는 최소의 송신 신호 강도를 결정할 수 있다. 프로세서(1400)가 픽셀 별 광자수 히스토그램에 기초하여 발광부(1610)의 광 송신 신호 강도를 결정하는 구체적인 실시예에 대해서는 도 15에서 상세하게 설명하기로 한다.
깊이 센서(1600)는 객체에 관한 깊이 정보를 획득하도록 구성되는 센서이다. 여기서 '깊이 정보'는, 현실 세계의 특정 객체까지의 거리에 관한 정보를 의미한다. 깊이 센서(1600)로부터 객체까지의 거리가 멀수록 깊이 값은 커지고, 거리가 가까울수록 깊이 값은 작아진다.
깊이 센서(1600)는 광원을 이용하여 객체에 패턴 광을 조사하고, 조사된 패턴 광이 객체로부터 반사되어 다시 검출될 때까지 소요되는 시간, 즉 비행 시간에 기초하여 깊이 정보를 획득하는 TOF 센서(Time of Flight) 센서로 구성될 수 있다. 이 경우, 깊이 센서(1600)는 발광부(1610) 및 수광 센서(1620)를 포함할 수 있다.
발광부(1610)는 광을 생성하고, 광을 객체를 향하는 방향으로 조사하도록 구성된다. 일 실시예에서, 발광부(1610)는 레이저 광 또는 적외선 광(IR)을 방출하는 광원 및 액정 분자의 배열을 변경하여 광의 굴절률을 조정하도록 구성되는 LC 기반 반사 미러를 포함할 수 있다. 일 실시예에서, 발광부(1610)는 광원으로부터 방출된 광을 복제(replicate)하고, 광을 반사함으로써 광의 방향을 변경하는 기계적 반사 미러인 MEMS(Micro Electro Mechanical Systems)를 더 포함할 수 있다.
수광 센서(1620)는, 발광부(1610)에 의해 객체에 조사된 광이 객체로부터 반사되어 돌아오는 광을 수광하도록 구성되는 센서이다. 일 실시예에서, 수광 센서(1620)는 복수의 SPAD를 포함할 수 있다. SPAD(Single-Photon Avalanche Diode)는 입사된 단일 광자(single photon)에서 눈사태처럼 전자를 증폭시키는 아발란셰 증배(avalanche multiplication)를 이용하는 픽셀 구조의 수광 센서이다.
깊이 센서(1600)의 발광부(1610) 및 수광 센서(1620)의 구체적인 구조에 대해서는 도 10에서 상세하게 설명하기로 한다. 깊이 센서(1600)는 TOF 센서로 구성되는 것으로 작성되었으나, 이에 한정되는 것은 아니다. 다른 실시예에서, 깊이 센서(1600)는 구조화된 광(Structured Light) 방식 또는 스테레오 이미지(Stereo Image) 방식 중 적어도 하나의 방식을 이용하여 깊이 정보를 획득하는 센서로 구성될 수도 있다.
저장부(1700)는 깊이 센서(1600)에 의해 측정된 객체의 깊이 정보를 저장한다. 일 실시예에서, 저장부(1700)는 전체 영역 또는 관심 영역에 포함되는 객체의 위치 좌표에 따라 측정된 깊이 값을 저장할 수 있다. 저장부(1700)는 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리(Non-volatile memory)는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 의미한다. 비휘발성 메모리는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(Read Only Memory; ROM), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함할 수 있다.
디스플레이부(1800)는 프로세서(1400)에 의해 생성된 깊이 맵(depth map)을 디스플레이하도록 구성된다. 디스플레이부(1800)는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나로 구성될 수 있다.
증강 현실 디바이스(1000)가 안경형 증강 현실 글래스로 구성되는 경우, 디스플레이부(1800)는 가상 이미지를 투사하는 광학 엔진을 더 포함할 수 있다. 광학 엔진은, 가상 이미지의 광의 생성하도록 구성되고, 화상 패널, 조명 광학계, 투사 광학계 등을 포함하는 프로젝터(projector)로 구성될 수 있다. 광학 엔진은 예를 들어, 안경형 증강 현실 글래스의 프레임 또는 안경 다리들에 배치될 수 있다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 동작 방법을 도시한 흐름도이다.
단계 S310에서, 증강 현실 디바이스(1000)는 객체를 바라보거나 또는 객체를 가리키는 사용자의 관심 포인트(Point of Interest)를 추적함으로써, 관심 포인트 정보를 획득한다. 일 실시예에서, 증강 현실 디바이스(1000)는 시선 추적 센서(1100, 도 2 참조)를 이용하여 사용자의 좌안의 시선 방향 및 우안의 시선 방향에 관한 정보를 획득하고, 좌안의 시선 방향과 우안의 시선 방향이 수렴하는 응시점(gaze point)를 검출할 수 있다. 증강 현실 디바이스(1000)는 응시점의 2차원 위치 좌표값 정보에 기초하여 사용자의 관심 포인트 정보를 획득할 수 있다. 다른 실시예에서, 증강 현실 디바이스(1000)는 핸드 트래커(1210, 도 2 참조)로부터 사용자의 손의 중심점의 위치 좌표값 정보를 획득하고, 손의 중심점의 위치 좌표값에 기초하여 사용자의 관심 포인트 정보를 획득할 수 있다. 또 다른 실시예에서, 증강 현실 디바이스(1000)는 입력 컨트롤러 센서(1220, 도 2 참조)로부터 사용자가 착용하거나 또는 휴대하는 입력 컨트롤러의 위치 좌표값 정보를 획득하고, 입력 컨트롤러의 위치 좌표값 정보에 기초하여 사용자의 관심 포인트 정보를 획득할 수 있다.
단계 S320에서, 증강 현실 디바이스(1000)는 관심 포인트의 이동 속도, 가속도, 고정 시간, 고정 횟수 및 위치 중 적어도 하나에 기초하여 관심 영역(Region Of Interest; ROI)으로 예측되는 정도를 나타내는 관심 영역 신뢰도 레벨을 산출한다. 일 실시예에서, 증강 현실 디바이스(1000)는 현실 객체의 공간 중 시야(FOV)에 의해 결정되는 전체 영역에 포함되는 적어도 하나의 부분 영역의 관심 영역 신뢰도 레벨을 산출할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 관심 포인트의 고정 시간 및 고정 횟수 중 적어도 하나와 비례 관계에 따라 전체 영역 내 적어도 하나의 부분 영역에 관한 관심 영역 신뢰도 레벨을 산출할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 관심 포인트의 이동 속도 및 가속도 중 적어도 하나에 반비례 관계에 따라 전체 영역 내의 적어도 하나의 부분 영역에 관한 관심 영역 신뢰도 레벨을 산출할 수 있다.
단계 S330에서, 증강 현실 디바이스(1000)는 관심 영역 신뢰도 레벨에 기초하여, 전체 영역 중 관심 영역을 결정한다. 일 실시예에서, 증강 현실 디바이스(1000)는 시야(FOV)에 의해 결정되는 전체 영역에 포함되는 적어도 하나의 부분 영역 중 산출된 관심 영역 신뢰도 레벨이 기설정된 임계치 이상인 부분 영역을 관심 영역으로 결정할 수 있다.
일 실시예에서, 증강 현실 디바이스(1000)는 전체 영역에 대하여 획득된 깊이 맵 이미지 중 관심 영역에 대응되는 부분의 깊이 맵 해상도(resolution) 및 프레임 레이트(frame rate)를 관심 영역이 아닌 다른 부분 영역과 비교하여 높은 값으로 조절할 수 있다.
단계 S340에서, 증강 현실 디바이스(1000)는 관심 영역에 위치하는 객체의 깊이 정보를 획득하기 위하여, 깊이 센서(depth sensor)의 동작을 제어하기 위한 파라미터를 설정한다. 일 실시예에서, 증강 현실 디바이스(1000)는 깊이 센서의 발광부(1610, 도 2 참조)에 의해 관심 영역에 기설정된 임계 광량 및 기설정된 임계 개수의 패턴 광이 조사되도록 관심 영역의 크기를 재설정할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 발광부(1610)의 구성 요소인 LC 기반 반사 미러의 액정층 내에 포함되는 액정 분자의 배열을 변경하여 관심 영역에 패턴 광이 조사되도록 LC 기반 반사 미러에 인가되는 전원을 제어할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 깊이 센서의 구성 요소인 수광 센서(1620, 도 2 참조)의 온/오프(on/off) 동작을 제어할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 수광 센서(1620)의 복수의 섹션 중 관심 영역에 대응되는 위치에 배치되는 섹션들은 클럭 신호(clock signal)에 따라 순차적으로 온(on) 상태로 설정하여 대상체로부터 반사되는 광을 수광하고, 관심 영역에 대응되지 않는 위치에 배치되는 섹션들은 오프(off) 상태로 유지할 수 있다. 일 실시예에서, 증강 현실 디바이스(1000)는 관심 영역에 대응되는 위치에 배치되는 섹션들에 포함되는 복수의 SPAD 중 관심 영역 내에 위치하는 객체로부터 반사되는 광을 수광하지 않는 적어도 하나의 SPAD는 비활성화(disable)되도록 제어할 수 있다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 사용자의 시선 방향에 따라 관심 영역을 결정하는 방법을 도시한 도면이다.
도 4를 참조하면, 증강 현실 디바이스(1000)는 시선 추적 센서(1100)를 이용하여 사용자의 시선 방향(400, 410)을 추적하고, 시선 방향(400, 410)에 관한 정보를 획득할 수 있다. 여기서, '시선'은 보는 방향을 의미하고 '시선 추적(eye tracking)'은 사용자의 시선(예를 들어, 응시점(G))을 측정하는 과정을 의미하며, 양안의 위치와 움직임을 추적함으로써, 수행될 수 있다.
도 4에 도시된 실시예에서, 시선 추적 센서(1100)는 사용자의 좌안의 시선 방향(400)에 관한 정보를 획득하는 제1 시선 추적 센서(1100-1) 및 사용자의 우안의 시선 방향(410)에 관한 정보를 획득하는 제2 시선 추적 센서(1100-2)를 포함할 수 있다. 제1 시선 추적 센서(1100-1) 및 제2 시선 추적 센서(1100-2)는 동일한 구조를 가지며, 동일한 방식으로 동작한다. 따라서, 도 4에서는 제1 시선 추적 센서(1100-1)를 기준으로 설명하기로 한다.
제1 시선 추적 센서(1100-1)는 사용자의 눈에 광을 조사하는 적외선 조사부(1110) 및 광을 감지하는 적외선 검출부(1120)를 포함할 수 있다. 일 실시예에서, 적외선 조사부(1110)는 적외선 광을 조사할 수 있다. 적외선 조사부(1110)는 광을 발생시키는 광원과 광원으로부터 제공되는 광의 방향을 제어하는 스캐닝 미러를 포함할 수 있다. 스캐닝 미러는, 광원으로부터 제공되는 광을 사용자의 눈(E)(예를 들어, 각막)을 향하도록 방향을 제어할 수 있다. 스캐닝 미러는 광원으로부터 제공되는 광을 반사시켜 사용자의 눈(E)을 향하도록 반사 각도를 기계적으로 변경할 수 있는 구조를 포함하며, 변경되는 반사 각도에 따라 광원으로부터 제공되는 광을 이용하여 각막을 포함하는 영역을 스캔할 수 있다.
적외선 검출부(1120)는 사용자의 눈(E)으로부터 반사되는 적외선 광을 검출할 수 있으며, 검출되는 광량을 측정할 수 있다. 예를 들어, 사용자의 각막의 중심에서 광이 반사될 때, 적외선 검출부(1120)에 의해 검출되는 광량이 최대일 수 있다. 이에 따라, 제1 시선 추적 센서(1100-1)는, 적외선 검출부(1120)에 의해 검출되는 광량이 최대인 경우, 사용자의 눈(E)에 적외선 광이 입사되고, 반사되는 지점에 기초하여 사용자의 눈(E)의 시선 방향(400)을 결정할 수 있다. 예를 들어, 제1 시선 추적 센서(1100-1)는 광량이 최대인 경우에, 사용자의 눈에 적외선 광이 입사되고, 반사되는 지점과 사용자의 눈(E)의 중심점을 연결한 방향을 사용자의 눈(예를 들어, 사용자의 좌안)의 시선 방향(410)으로 결정할 수 있다.
제2 시선 추적 센서(1100-2)의 경우, 제1 시선 추적 센서(1100-1)의 동작과 동일한 방법으로 사용자의 우안의 시선 방향(410)을 결정할 수 있다. 따라서, 제2 시선 추적 센서(1100-2)의 동작 방법에 관한 중복되는 설명은 생략한다.
증강 현실 디바이스(1000)는 양안 시차(binocular disparity)에 따라 좌안의 시선 방향(400)과 우안의 시선 방향(410)이 수렴하는 응시점(gaze point)(G)을 검출할 수 있다. 일 실시예에서, 응시점은 삼각 측량(triangulate) 방법에 의해 검출될 수 있다. 증강 현실 디바이스(1000)는 응시점(G)의 2차원 위치 좌표값을 획득할 수 있다. 또한, 일 실시예에서, 증강 현실 디바이스(1000)는 양안 사이의 거리, 제1 시선 방향(400) 및 제2 시선 방향(410)에 기초하여 응시점(G)과 깊이 센서(1600)와의 거리, 즉 깊이 값(Z1)을 산출할 수 있다. 증강 현실 디바이스(1000)가 시선 추적 센서(1100)를 이용하여 측정된 양안의 시선 방향(400, 410)에 관한 정보와 기하학적 배치에 따른 수학식을 이용하여 응시점(G)의 깊이 값(Z1) 정보를 획득하는 구체적인 방법에 대해서는 도 6a 및 도 6b에서 상세하게 설명하기로 한다.
일 실시예에서, 증강 현실 디바이스(1000)는 좌안의 시선 방향(400)과 우안의 시선 방향(410)이 이루는 각도에 기초하여, 응시점(G)의 깊이 값(Z1)을 추정할 수도 있다. 예를 들어, 좌안의 시선 방향(400)과 우안의 시선 방향(410)이 이루는 각도가 작을수록 응시점(G)까지의 거리, 즉 깊이 값(Z1)이 크고, 좌안의 시선 방향(400)와 우안의 시선 방향(410)이 이루는 각도가 클수록 깊이 값(Z1)의 크기가 작다.
증강 현실 디바이스(1000)는 응시점(G)의 이동 속도, 가속도, 고정 시간, 고정 횟수, 및 위치 중 적어도 하나에 기초하여 전체 영역 중 적어도 하나의 부분 영역에 관한 관심 영역 신뢰도 레벨을 산출할 수 있다. 증강 현실 디바이스(1000)는 산출된 관심 영역 신뢰도 레벨에 기초하여 관심 영역(ROI)을 결정할 수 있다. 증강 현실 디바이스(1000)가 관심 영역 신뢰도 레벨을 산출하고, 관심 영역(ROI)을 결정하는 구체적인 방법은 도 1 내지 도 3에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
도 5a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구성 요소인 시선 추적 센서(1100a)를 도시한 도면이다.
도 5a를 참조하면, 시선 추적 센서(1100a)는 적외선 조사부(1110a) 및 복수의 적외선 검출부(1120a 내지 1120f)를 포함할 수 있다. 도 5a에서 복수의 적외선 검출부(1120a 내지 1120f)가 6개로 도시되어 있지만, 이는 설명의 편의를 위한 것이고, 복수의 적외선 검출부(1120a 내지 1120f)의 개수가 도시된 바와 같이 한정되는 것은 아니다.
적외선 조사부(1110a)는 눈(E)의 수정체가 위치하는 각막 부분에 적외선 광을 조사하고, 복수의 적외선 검출부(1120a 내지 1120f)는 각막으로부터 반사된 적외선 광을 검출할 수 있다. 일 실시예에서, 시선 추적 센서(1100a)는 복수의 적외선 검출부(1120a 내지 1120f) 각각에 의해 검출된 적외선의 광량에 관한 정보를 획득하고, 획득된 적외선의 광량에 기초하여 사용자의 눈(E)이 바라보는 시선 방향에 관한 정보를 획득할 수 있다. 시선 추적 센서(1100a)는 획득된 시선 방향에 관한 정보를 프로세서(1400, 도 2 참조)에 제공할 수 있다. 예시적으로, 시선 추적 센서(1100a)는 획득된 시선 방향에 관한 정보는 좌안의 수평 및 수직 방향으로의 시선 각도 정보와, 우안의 수평 및 수직 방향으로의 시선 각도 정보일 수 있다.
본 실시예의 시선 추적 센서(1100a)는 적외선 조명광을 이용하는 IR 스캐너 방식을 예로 들어 설명하고 있으나, 이에 한정되는 것은 아니다. 다른 예로서, 시선 추적 센서(1100a)는 사람의 눈동자나 동공(10), 홍채(20)의 이미지를 촬영하는 이미지 센서를 포함할 수도 있다. 이미지 센서를 포함하는 시선 추적 센서(1100b)에 대해서는 도 5b에서 상세하게 설명하기로 한다.
도 5b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)의 구성 요소인 시선 추적 센서(1100b)를 도시한 도면이다.
도 5b를 참조하면, 시선 추적 센서(1100b)는 사용자의 눈(E)에서 반사되는 반사광(511, 512, 513, 514, 515)의 위치에 기초하여, 사용자의 시선을 추적하고, 이를 통해 시선 방향에 관한 정보를 획득할 수 있다. 시선 추적 센서(1100b)는 광원(1110b) 및 카메라(1130b)를 포함할 수 있다.
광원(1110b)은 적외선 발광 다이오드(IR LED)를 포함할 수 있다. 도 5b에 도시된 실시예에서, 광원(1110b)은 서로 다른 위치에 배치되는 복수의 발광 다이오드를 포함할 수 있다. 광원(1110b)은 사용자의 눈(E)을 촬영할 때, 눈(E)에 광(예를 들어, 적외선 광)을 제공할 수 있다. 사용자의 눈(E)에 광이 제공됨에 따라, 사용자의 눈(E)에서 반사되는 반사광이 생성될 수 있다.
카메라(1130b)는 적어도 하나의 카메라로 구성될 수 있다. 카메라(1130b)는 적외선 카메라(IR)로 구현될 수 있다. 증강 현실 디바이스는 카메라(1130b)에 의해 촬영된 사용자의 눈(E)에 관한 이미지들(501 내지 505)을 이용하여, 사용자의 눈(E)의 시선을 추적할 수 있다. 예를 들어, 시선 추적 센서(1100b)는, 사용자의 눈 이미지(501 내지 505)에서 동공(10)과 반사광(511 내지 515)을 검출함으로써, 사용자의 시선을 추적하고, 이를 통해 시선 벡터를 획득할 수 있다. 시선 추적 센서(1100b)는 사용자의 눈 이미지(501 내지 505)에서 동공(10) 및 반사광(511 내지 515)의 위치를 검출하고, 동공(10)의 위치와, 반사광(511 내지 515)의 위치 사이의 관계에 기초하여, 사용자의 눈(E)의 시선 방향을 결정할 수 있다.
예를 들어, 시선 추적 센서(1100b)는 촬영된 제1 눈 이미지(501)에서, 동공(10) 및 반사광(511)을 검출하고, 동공(10)의 위치와 반사광(511)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(521)을 결정할 수 있다. 동일한 방식으로, 제2 내지 제5 눈 이미지들(502, 503, 504, 505) 각각에서 동공(10) 및 반사광(512, 513, 514, 515)을 검출하고, 동공(10)의 위치와 반사광(512, 513, 514, 515)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(522, 523, 524, 525)을 결정할 수 있다.
일 실시예에서, 시선 추적 센서(1100b)는 결정된 시선 방향에 관한 정보에 기초하여 시선 벡터를 획득할 수 있다. 시선 추적 센서(1100b)는 획득된 시선 벡터의 벡터값 및 벡터의 방향에 관한 데이터를 프로세서(1400, 도 2 참조)에 제공할 수 있다.
다른 실시예에서, 시선 추적 센서(1100b)는 복수의 눈 이미지(501 내지 505)에서 검출된 동공(10)의 위치와 반사광(511 내지 515)의 위치에 관한 좌표값만을 프로세서(1400, 도 2 참조)에 제공하고, 프로세서(1400)는 시선 추적 센서(1100b)로부터 획득한 좌표값에 기초하여 사용자의 눈(E)의 시선 벡터를 계산할 수 있다.
도 5c는 사용자의 시선 방향에 대한 3차원 안구 모델을 도시한 도면이다.
도 5c를 참조하면, 일 실시예에 따른 시선 방향의 추적은 시선에 대한 3차원 안구 모델을 토대로 이루어질 수 있다. 시선에 대한 3차원 안구 모델은 안구(eyeball)를 완벽한 구로 가정하고, 시선에 따라 안구가 이상적인 공간적으로 회전운동을 한다고 가정하면, 하기의 수학식과 같이 시선을 수학적으로 모델링할 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
수학식 1에서 d는 사용자의 눈의 중심(Eo)과 가상의 스크린(S) 사이의 거리를 나타내며, α는 사용자의 눈이 가상의 스크린(S)을 정면으로 응시하는 경우를 기준으로 사용자의 눈이 x축(수평축) 방향으로 회전한 각도를 나타내며, β는 사용자의 눈이 가상의 스크린(S)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 y축(수직축) 방향으로 회전한 각도를 나타낸다. 또한, 수학식 2에서 r은 사용자의 눈을 구로 가정했을 때, 구의 반지름을 나타낸다.
일 실시예에 따른 시선 추적 센서(1100a, 1100b, 도 5a, 도 5b 참조)는 사용자의 눈(E)의 회전 정도(예를 들어, α 및 β)를 측정할 수 있고, 증강 현실 디바이스(1000)는 사용자의 눈(E)의 회전 정도(α 및 β)를 이용하여, 가상의 스크린(S) 상에서의 사용자의 눈(E)의 시선 방향의 2차원 위치 좌표값(x, y)을 계산할 수 있다. 눈(E)의 회전 정도(α 및 β)는 눈(E)의 수평 및 수직 방향으로의 시선 각도 정보로 이해될 수 있다.
실제 눈의 움직임은 이상적인 3차원 회전운동을 하지 않으며, 특히 좌우 시선에서는 눈 근육의 이완/수축이 크게 작용하여 이상적인 3차원 회전 안구 모델을 기초로 좌우 시선에 대하여 상하 방향의 시선 추정 시 에러가 발생될 수 있다. 이러한 오차는 증강 현실 디바이스(1000)가 사용자에게 무작위의(random) 지점을 바라보게 하고, 시선 추적 센서(1100a, 1100b)를 통해 추정된 시선 방향 값을 해당 지점에 대한 실제 시선 방향 값과 비교하여 통계적으로 처리함으로써, 정확도를 개선시킬 수 있다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.
도 6a는 좌안 및 우안에서의 시선 각도와 응시점(gaze point)의 관계를 도시한다. 도 6b는 상방의 응시 방향에서의 시선 각도와 응시점의 관계를 도시한다.
도 6a 및 도 6b를 참조하면, 시선 추적 센서(1100, 도 2 참조)를 통해 획득된 양안의 시선 방향(또는 시선 좌표)의 차이를 통해 초점 거리를 추정할 수 있다. 응시점까지의 초점 거리를 구할 때 양안의 시선축이 만나지 않을 수도 있으며, 이러한 경우 두 눈이 같은 높이에 있다고 가정하고 수직축(y축)의 좌표는 두 눈의 수직축(y축) 좌표의 평균으로 계산할 수 있다. 예를 들어, 양안 사이의 거리 a는 7 cm로 가정할 수 있다. 위의 기하학적 가정을 통해 비례식을 이용하면 다음의 식을 얻을 수 있다.
Figure pat00005
상기 수학식 3에서 사용자의 양안과 가상스크린 사이의 거리 d와 눈 사이의 거리 a가 필요한데, 거리 d는 사용자가 정면 시선을 바라보는 시선 영상을 이용하여 안구의 회전 각도를 측정해 거리를 구할 수 있다. 이 결과, 응시점까지의 거리인 수렴 거리(vergence distance) dcon 은 하기의 수학식으로 주어진다. z는 가상스크린과 응시점 사이의 거리를 나타낸다.
Figure pat00006
상기 수학식 4에서, β는 양안의 가상 스크린(S)에서의 시선 좌표의 수평 방향의 간격으로서, 앞서 수학식 3 및 수학식 4에서 볼 수 있듯이 사용자의 좌안 및 우안 각각의 시선 방향(시선 각도)를 통해서 획득할 수 있다.
증강 현실 디바이스(1000)는 z 값과 d값의 합으로 깊이 센서(1600, 도 4 참조)와 사용자의 양안의 시선이 수렴하는 지점까지의 거리인 깊이 값(Z1, 도 4 참조)으로서 획득할 수 있다.
도 7은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 사용자의 시선 방향에 따른 응시점에 기초하여 관심 영역 신뢰도 레벨을 산출하는 방법을 도시한 흐름도이다.
도 7에 도시된 단계들 중 S710 내지 S730은 도 3의 단계 S310을 구체화한 단계들이다. 도 7에 도시된 단계 S740은 도 3의 단계 S320을 구체화한 단계이다. 단계 S740이 수행된 이후에는 도 3에 도시된 단계 S330이 수행된다.
단계 S710에서, 증강 현실 디바이스(1000)는 시선 추적 센서를 이용하여 사용자의 좌안의 시선 방향에 대한 정보 및 우안의 시선 방향에 대한 정보를 획득한다.
단계 S720에서, 증강 현실 디바이스(1000)는 양안 시차(binocular disparity)에 따라 좌안의 시선 방향에 대한 정보과 우안의 시선 방향이 수렴하는 응시점(gaze point)을 검출한다.
단계 S730에서, 증강 현실 디바이스(1000)는 응시점의 2차원 위치 좌표 정보를 획득한다. 증강 현실 디바이스(1000)가 좌안 및 우안의 시선 방향에 관한 정보로부터 응시점의 2차원 위치 좌표 정보를 획득하는 방법은 도 6a 및 도 6b에서의 설명과 동일하므로, 중복되는 설명은 생략한다.
단계 S740에서, 증강 현실 디바이스(1000)는 응시점이 동일 영역 또는 동일 객체 상에 머무르는 고정 시간, 고정 횟수, 응시점의 이동 속도, 가속도 및 위치 이탈 중 적어도 하나에 기초하여, 시야(FOV) 내 전체 영역에 포함되는 적어도 하나의 부분 영역에 관한 관심 영역 신뢰도 레벨을 산출한다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 사용자의 손의 위치에 따라 관심 영역 신뢰도 레벨을 산출하는 방법을 설명하기 위한 도면이다.
핸드 트래커(1210)는 사용자의 손을 통해 가리키는 영역 또는 지점을 인식하도록 구성되는 센서이다. 도 8을 참조하면, 핸드 트래커(1210)는 사용자의 손의 중심점을 인식하고, 인식된 중심점의 위치 정보를 획득할 수 있다. 도 8에 도시된 실시예에서, 핸드 트래커(1210)는 손의 중심점의 위치인 제1 위치(P1)의 3차원 위치 좌표값(x1, y1, z1)을 획득할 수 있다. 핸드 트래커(1210)는 손의 중심점의 위치를 실시간으로 추적하고, 중심점의 위치 좌표 정보를 실시간으로 획득할 수 있다. 예를 들어, 핸드 트래커(1210)는 제2 위치(P2)로 이동된 손의 중심점의 3차원 위치 좌표값(x2, y2, z2)을 실시간으로 획득할 수 있다.
핸드 트래커(1210)는 중심점의 고정 시간, 속도, 가속도, 및 위치 이탈 정보 중 적어도 하나를 포함하는 중심점의 이동 관련 정보를 획득할 수 있다. '중심점의 고정 시간'은 중심점이 동일 영역 상에 머무르는 시간을 의미한다. '중심점의 속도' 및 '중심점의 가속도'는 예를 들어, 제1 위치(P1)에서 제2 위치(P2)로 이동하는 속도 및 가속도를 각각 의미할 수 있다. '중심점의 위치 이탈'은 손의 중심점이 현재 위치, 예를 들어 제1 위치(P1)로부터 기설정된 범위 내의 영역에 머무르다가 범위를 벗어난 위치(예를 들어, 제2 위치(P2))로 이탈하는 움직임을 의미한다.
핸드 트래커(1210)는 손의 중심점의 고정 시간, 속도, 가속도, 및 위치 이탈 정보 중 적어도 하나를 프로세서(1400)에 제공한다. 프로세서(1400)는 핸드 트래커(1210)로부터 획득한 손의 중심점의 고정 시간, 속도, 가속도, 및 위치 이탈 정보 중 적어도 하나에 기초하여 손의 중심점이 가리키는 위치 또는 영역이 관심 영역으로 예측될 수 있는 정도를 나타내는 관심 영역 신뢰도 레벨을 산출할 수 있다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1000)가 입력 컨트롤러(900)의 위치에 따라 관심 영역 신뢰도 레벨을 산출하는 방법을 설명하기 위한 도면이다.
입력 컨트롤러 센서(1220)는 사용자의 신체 일부에 장착되거나, 사용자가 휴대하는 입력 컨트롤러(900)의 위치를 인식하도록 구성되는 센서이다. 일 실시예에서, 입력 컨트롤러 센서(1220)는 입력 컨트롤러(900)의 위치를 추적하는 관성 측정 센서, 무선 통신 모듈, 및 터치 센서와 페어링(pairing)되어 입력 컨트롤러(900)의 위치 좌표값을 획득하도록 구성될 수 있다. 도 9를 참조하면, 입력 컨트롤러 센서(1220)는 사용자의 조작에 따라 이동되는 입력 컨트롤러(900)의 위치 좌표값 정보를 실시간으로 획득할 수 있다. 도 9에 도시된 실시예에서, 입력 컨트롤러 센서(1220)는 입력 컨트롤러(900)의 제1 위치(P1)의 3차원 위치 좌표값(x1, y1, z1)을 획득할 수 있다. 입력 컨트롤러 센서(1220)는 입력 컨트롤러(900)의 위치를 실시간으로 추적하고, 입력 컨트롤러(900)의 위치 좌표 정보를 실시간으로 획득할 수 있다. 예를 들어, 입력 컨트롤러 센서(1220)는 제2 위치(P2)로 이동된 입력 컨트롤러(900)의 3차원 위치 좌표값(x2, y2, z2)을 실시간으로 획득할 수 있다.
입력 컨트롤러 센서(1220)는, 입력 컨트롤러(900)의 고정 시간, 속도, 가속도, 및 위치 이탈 정보 중 적어도 하나를 포함하는 이동 관련 정보를 획득할 수 있다.
입력 컨트롤러 센서(1220)는, 입력 컨트롤러(900)의 고정 시간, 속도, 가속도, 및 위치 이탈 정보 중 적어도 하나를 프로세서(1400)에 제공한다. 프로세서(1400)는 입력 컨트롤러 센서(1220)로부터 획득한 입력 컨트롤러(900)의 고정 시간, 속도, 가속도, 및 위치 이탈 정보 중 적어도 하나에 기초하여 입력 컨트롤러(900)가 가리키는 위치 또는 영역이 관심 영역으로 예측될 수 있는 정도를 나타내는 관심 영역 신뢰도 레벨을 산출할 수 있다.
도 10은 본 개시의 일 실시예에 따른 깊이 센서(1600)의 구조 및 동작 방법을 설명하기 위한 도면이다.
깊이 센서(1600)는 현실 세계에 포함되는 적어도 하나의 객체(100)에 관한 깊이 정보를 획득하도록 구성되는 센서이다. 여기서 '깊이 정보'는, 깊이 센서(1600)로부터 특정 객체(100)까지의 거리에 관한 정보를 의미한다. 일 실시예에서, 깊이 센서(1600)는 광원을 이용하여 객체(100)에 패턴 광을 조사하고, 조사된 패턴 광이 객체(100)로부터 반사되어 다시 검출될 때까지 소요되는 시간, 즉 비행 시간에 기초하여 깊이 정보를 획득하는 TOF 센서(Time of Flight) 센서로 구성될 수 있다.
도 10에 도시된 실시예에서, 깊이 센서(1600)는 발광부(1610) 및 수광 센서(1620)를 포함할 수 있다.
발광부(1610)는 광을 생성하고, 광을 객체(100)를 향하는 방향으로 조사하도록 구성된다. 일 실시예에서, 발광부(1610)는 광원(1612), 콜리메이팅 렌즈(1614), LC 기반 반사 미러(1618)를 포함할 수 있다.
광원(1612)은 레이저 광 또는 적외선 광(IR)을 생성하고, 콜리메이팅 렌즈(1614)를 향하여 광을 방출하도록 구성된다. 일 실시예에서, 광원(1612)은 점 패턴 광을 생성하고, 방출하는 VCSELs(Vertical-Cavity Surface-Emission Lasers)로 구성될 수 있으나, 이에 한정되지 않는다. 광원(1612)은 레이저 광원 또는 LED(Light-Emitting Diode)로 구성될 수도 있다.
콜리메이팅 렌즈(1614)는 광원(1612)으로부터 방출된 광의 지향성(directivity)에 따라 광이 분산되지 않고, 평행하게 직진하도록 하는 광학 렌즈이다. 콜리메이팅 렌즈(1614)는 평행광(collimated light)을 형성하거나 또는 집광(focusing) 기능을 수행할 수 있다.
발광부(1610)는 광학 소자(optical element)를 더 포함할 수 있다. 광학 소자는, 콜리메이팅 렌즈(1614)를 통과하여 직진성을 갖게 된 광의 경로를 변경하고, 점 패턴 광을 복제(replicate)할 수 있다. 광학 소자는 DOE(Diffractive optical element), HOE(Holographic optical element), 또는 MLA (Micro Lens Array) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있다.
LC(Liquid Crystal) 기반 반사 미러(1618)는 액정 분자(liquid crystal molecule)들을 포함하고, 전기적 구동 신호에 따라 액정 분자들의 배열 각도를 변경함으로써 입사 광의 굴절률을 조정하도록 구성된다. LC 기반 반사 미러(1618)는 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다. 일 실시예에서, LC 기반 반사 미러(1618)는 여기 전극(excitation electrode)을 통해 인가되는 제어 전압에 의하여 LC 층(1618LC)의 활성 영역 내의 특정 영역 내에 배치되는 액정 분자들의 배열 각도를 변경함으로써, 특정 영역의 굴절률을 국부적으로(locally) 조절할 수 있다. 증강 현실 디바이스(1000)는, LC 기반 반사 미러(1618)에 의해 입사 광의 굴절률을 조절함으로써, 관심 영역에 해당되는 영역 또는 객체(100)에 광을 조사할 수 있다.
도면에는 도시되지 않았지만, 발광부(1610)는 기계적 방식으로 광의 반사 방향을 변경하는 MEMS(Micro Electro Mechanical Systems) 반사 미러를 더 포함할 수 있다. MEMS 반사 미러는 기계 요소 부품, 센서, 액츄에이터(actuator), 전자 회로를 실리콘 기판, 유기 기판, 또는 유기 재료 등 위에 미세 가공 기술에 의해 집적한 장치이다. MEMS 반사 미러는 광원(1612)으로부터 방출되고, 콜리메이팅 렌즈(1614) 및 광학 소자를 통과한 점 패턴 광이 특정 방향으로 조사되도록 점 패턴 광을 반사할 수 있다. MEMS 반사 미러는 내부에 포함되는 모터를 이용하여 모듈을 특정 각도로 회전시키며 입사 광을 사방에 반사함으로써, 현실 세계의 전체 공간에 광을 조사할 수 있다. 일 실시예에서, 증강 현실 디바이스는 MEMS 반사 미러의 회전 각도를 조절하여 입사 광의 반사 각을 변경함으로써, 관심 영역에 해당되는 영역 또는 객체(100)에 광을 조사할 수 있다. 수광 센서(1620)는 객체(100)로부터 반사된 광의 입자, 즉 광자(photon)를 수집 및 검출하고, 발광부(1610)로부터 광이 입사된 시점으로부터 수광된 시점 간의 시간 간격을 측정하도록 구성되는 센서이다. 일 실시예에서, 수광 센서(1620)는 SPAD 어레이(1622) 및 이미징 렌즈(1624)를 포함할 수 있다.
SPAD 어레이(1622)는 이미징 렌즈(1624)를 투과하여 입사된 광의 광자를 검출하는 수광 센서이다. SPAD 어레이는 복수의 SPAD(Single-Photon Avalanche Diode)를 포함하고, 복수의 SPAD는 n×m의 어레이를 구성하도록 배치될 수 있다. 복수의 SPAD 각각은 생성된 깊이 맵(depth map)의 픽셀(pixel)에 대응될 수 있다. 복수의 SPAD 각각은 입사된 단일 광자(single photon)에서 눈사태처럼 전자를 증폭시키는 아발란셰 증배(avalanche multiplication)를 이용하여 광자를 수광한다. SPAD 어레이(1622)는 복수의 SPAD에 의해 수광된 광자 수와 수광 시간에 관한 정보를 프로세서(1400, 도 2 참조)에 제공할 수 있다. 일 실시예에서, 수광 센서(1620)는 광자가 객체(100)에 의해 반사되어 수광되는 시점까지의 시간 정보, 즉 도달 시간(arrival time)에 관한 정보를 디지털 신호로 변환하는 TDC(1626a, 도 14 참조)를 더 포함할 수 있다.
이미징 렌즈(1624)는 현실 세계의 객체(100)로부터 반사되는 광이 수집되는 광학 소자이다. SPAD 어레이(1622)는 이미징 렌즈(1624)를 통해 수집되는 광의 광자를 수집함으로써, 각 픽셀에 대응되는 깊이 값을 출력할 수 있다.
도 11은 본 개시의 증강 현실 디바이스(1000)가 깊이 센서의 발광부에서 조사된 패턴 광의 광량 및 개수에 기초하여 관심 영역의 크기를 재설정하는 실시예를 도시한 도면이다.
도 11을 참조하면, 증강 현실 디바이스(1000)는 깊이 센서의 발광부(1610, 도 10 참조)를 이용하여 현실 세계의 전체 공간에 대하여 광을 조사할 수 있다. 도 11에 도시된 실시예에서, 발광부(1610)는 광원(1612, 도 10 참조)을 이용하여 복수의 점 패턴 광(L1 내지 Ln)을 전체 공간 내의 객체를 향하여 조사할 수 있다. 도 11에 도시된 복수의 점 패턴 광(L1 내지 Ln)의 배열 및 개수는 예시적인 것으로서, 도면에 도시된 바와 같이 한정되는 것은 아니다.
도 11의 왼쪽 도면을 참조하면, 현실 세계의 전체 공간에 대응되는 전체 영역(F)에는 관심 영역(ROI)이 설정될 수 있다. 관심 영역(ROI)은 관심 영역 신뢰도 레벨에 기초하여 설정되는 것으로서, 구체적인 방법은 도 1 내지 도 3에서의 설명과 동일하므로, 중복되는 설명은 생략한다. 도 11에 도시된 실시예에서, 관심 영역(ROI)에는 점 패턴 광이 2개만이 조사된다. 관심 영역(ROI) 내에 조사된 점 패턴 광이 2개 밖에 없는 경우, 관심 영역(ROI)에 관한 깊이 값의 해상도가 낮아지고, 따라서 관심 영역(ROI)에 관한 깊이 값의 정확도가 낮아진다. 관심 영역(ROI)에 관한 깊이 값의 정확도 수준을 보장하기 위해서는 임계 개수의 패턴 광의 개수 및 임계치 이상의 광량을 갖는 광이 조사되어야 한다. 패턴 광의 임계 개수와 임계 광량은 미리 설정된 값일 수 있다.
일 실시예에서, 증강 현실 디바이스(1000)는 관심 영역(ROI)으로 기 설정된 임계 광량 및 기 설정된 임계 개수의 패턴 광이 조사되도록 관심 영역(ROI)의 크기를 재설정할 수 있다. 도 11의 오른쪽 도면을 참조하면, 증강 현실 디바이스(1000)는 기 설정된 임계 광량 및 기 설정된 임계 개수의 점 패턴 광이 조사되도록 관심 영역(ROI')의 크기를 재설정할 수 있다. 재설정된 관심 영역(ROI')에는 일정 수준 이상의 해상도와 깊이 값의 정확도를 보장할 수 있는 개수 및 광량의 점 패턴 광, 예를 들어 9개의 점 패턴 광이 조사될 수 있다.
도 12는 본 개시의 증강 현실 디바이스(1000)가 깊이 센서의 구성 요소인 LC 기반 반사 미러 (1618) 의 굴절력을 조절하는 실시예를 도시한 도면이다.
도 12를 참조하면, LC 기반 반사 미러(1618)은 LC 층(1618LC), 공통 전극(1618CE), 여기 전극(1618e-1 내지 1618e-10), 드라이버 단자(1618d), 반사 층(1618r)을 포함할 수 있다.
LC 기반 반사 미러(1618)는 전력 공급부(VAC)로부터 여기 전극(1618e-1 내지 1618e-10)을 통해 인가되는 제어 전압에 기초하여 액정 분자(1618m)들의 배열 각도를 변경함으로써 광의 굴절률을 조절할 수 있는, 전기적으로 조정 가능한 액정 렌즈(electrically tunable Liquid Crystal lens)일 수 있다. 일 실시예에서, LC 기반 반사 미러(1618)는 픽셀 그리드(pixel grid)를 갖는 전기 광학 재료를 포함할 수 있다. 픽셀은 N행 및 M열의 매트릭스로 배열될 수 있다.
LC 층(1618LC)은 복수의 액정 분자(1618m)를 포함하는 전기 광학층일 수 있다. LC 층(1618LC)은 인가되는 제어 전압에 의해 액정의 물성이 변경되는 전기 광학층일 수 있다. 일 실시예에서, LC 층(1618LC)은 편광 독립적인(polarization-independent) 액정 층(예를 들어, cholesteric liquid crystal)으로 구성될 수 있다. LC 층(1618LC)은 여기 전극(1618e-1 내지 1618e-10)을 통해 인가되는 제어 전압에 의하여 활성 영역 내의 특정 영역 내에 배치되는 액정 분자(1618m)들의 배열 각도가 변경됨으로써, 특정 영역의 굴절률이 국부적으로(locally) 조절될 수 있다.
공통 전극(1618CE) 및 여기 전극(1618e-1 내지 1618e-10)은 전력 공급부(VAC)로부터 제어 전압을 공급받고, 공급된 제어 전압을 LC 층(1618LC)에 인가할 수 있다.
반사 층(reflection surface)(1618r)은 공통 전극(1618CE)의 하면에 접하여 형성된다. 반사 층(1618r)은 투명한 반사 소재로 구성된다. 반사 층(1618r)은 금속 물질, 절연 물질 또는 이들의 조합으로 구성될 수 있다. 반사 층(1618r)은 예를 들어, 구리, 금, 은, 또는 알루미늄 등과 같은 금속성 물질이나 실리콘 산화막(SiO2) 또는 실리콘 질화막(SiN, Si3N4) 등 절연 물질로 형성될 수 있다. 일 실시예에서, 반사 층(1618r)은 구리 층과 실리콘 산화막(SiO2)의 조합으로 형성될 수 있다.
반사 층(1618r)은 발광부(1610, 도 10 참조)의 광원(1612)로부터 조사된 광을 반사할 수 있다. 반사 층(1618r)에 의해 반사되는 광의 방향은 LC 층(1618LC) 내의 액정 분자들의 배열 각도에 기초하여 조절 또는 변경될 수 있다.
여기 전극(1618e-1 내지 1618e-10)은 LC 층(1618LC)의 상면에 접하여 배치될 수 있다. 여기 전극(1618e-1 내지 1618e-10)은 투명 박막(630)의 상면에 X축 및 Y축 방향을 따라 직교하는 방향으로 배향되는 제1 어레이 여기 전극(1618e-1 내지 1618e-5) 및 제2 어레이 여기 전극(1618e-6 내지 1618e-10)을 포함할 수 있다. 제1 어레이 여기 전극(1618e-1 내지 1618e-5) 및 제2 어레이 여기 전극(1618e-6 내지 1618e-10)은 각각 활성 영역 위로 뻗어있는 도전성 재료의 평행 스트립을 포함할 수 있다. 예를 들어, 제1 어레이 여기 전극(1618e-1 내지 1618e-5) 및 제2 어레이 여기 전극(1618e-6 내지 1618e-10)은 인듐 주석 산화물(Indium Tin Oxidel; ITO)과 같은 투명 도전성 재료로 구성될 수 있다.
전원 제어부(1618c)는 복수의 드라이버 단자(1618d) 및 전력 공급부(VAC)와 연결될 수 있다. 전원 제어부(1618c)는 복수의 드라이버 단자(1618d)를 제어함으로써, 복수의 어레이 여기 전극(1618e-1 내지 1618e-10)에 인가되는 제어 전압을 제어하고, 이를 통해 특정 영역에 배치되는 액정 분자들의 배열 각도를 조절할 수 있다.
프로세서(1400, 도 2 참조)는 전력 공급부(VAC)를 통해 제1 어레이 여기 전극(1618e-1 내지 1618e-5) 및 제2 어레이 여기 전극(1618e-6 내지 1618e-10) 각각에 위상 변조 프로파일을 갖는 제어 전압 파형을 인가하고, 제1 어레이 여기 전극(1618e-1 내지 1618e-5) 및 제2 어레이 여기 전극(1618e-6 내지 1618e-10) 각각에 인가된 제어 전압을 변조할 수 있다. 프로세서(1400)에 의해 변조된 파형을 갖는 제어 전압이 인가됨에 따라, LC 기반 반사 미러(1618)는 인가된 제어 전압이 갖는 위상 변조 프로파일에 의해 활성 영역 내의 특정 영역에서 국부적으로(locally) 굴절력이 조절될 수 있다. LC 기반 반사 미러(1618)는 조절된 굴절력에 따라 버전스(vergence)가 렌즈로서 기능할 수 있다. 여기서, 버전스는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)로서, LC 기반 반사 미러(1618)의 굴절력에 따라 조절될 수 있다. LC 기반 반사 미러(1618)는 렌즈의 굴절력을 조절하여 광원(1612, 도 10 참조)로부터 방출되는 광의 경로를 변경할 수 있다.
프로세서(1400)는 LC 기반 반사 미러(1618)의 굴절력을 조절함으로써, 관심 영역에 광이 조사되도록 입사 광의 광 경로를 변경할 수 있다. 도 12에 도시된 실시예를 참조하면, LC 층(1618LC)의 활성 영역 내 A 영역에 입사되는 광의 경로를 변경하면, 현실 세계의 전체 공간 중 관심 영역에 대응되는 공간의 객체 또는 영역에 광이 조사될 수 있다. 일 실시예에서, 프로세서(1400)는 LC 층(1618LC)에 포함되는 복수의 액정 분자들(1618m) 중 A 영역에 배치되는 액정 분자들의 배열 각도를 변경하기 위하여, 제3 여기 전극(1618e-3), 제4 여기 전극(1618e-4), 제7 여기 전극(1618e-7), 및 제8 여기 전극(1618e-8)에 전압이 인가되도록 전원 제어부(1618c)를 제어할 수 있다. 다른 실시예에서, 프로세서(1400)는 A 영역에 배치되는 액정 분자들의 배열 각도를 변경하기 위하여, 제3 여기 전극(1618e-3), 제4 여기 전극(1618e-4), 제7 여기 전극(1618e-7), 및 제8 여기 전극(1618e-8)에 인가되는 제어 전압의 전압값을 변경하도록 전원 제어부(1618c)를 제어할 수도 있다. 전술한 방법으로, 프로세서(1400)는 관심 영역에 광이 조사되도록 A 영역에 입사되는 광의 경로를 변경할 수 있다.
도 13은 본 개시의 일 실시예에 따른 깊이 센서의 구성 요소인 수광 센서의 구조를 도시한 도면이다.
도 13을 참조하면, 수광 센서는 SPAD 어레이(1622)를 포함할 수 있다. SPAD 어레이(1622)는 복수의 SPAD(Single-Photon Avalanche Diode)를 포함하고, 복수의 SPAD(1622d)는 n×m의 어레이를 구성하도록 배치될 수 있다. 도 13에 도시된 실시예에서, SPAD 어레이는 16×16의 어레이를 형성하는 총 256개의 SPAD로 구성된 것으로 도시되었지만, 이는 예시적인 것이고, 본 개시의 실시예가 도면에 도시된 바와 같이 한정되는 것은 아니다. 복수의 SPAD(1622d) 각각은 깊이 맵(depth map)의 픽셀(pixel)에 대응될 수 있다. 도 13에 도시된 실시예에서는, 16×16의 총 256개의 픽셀을 갖는 깊이 맵이 획득될 수 있다.
일 실시예에서, SPAD 어레이(1622)는 제2 방향(Y축 방향)으로 연장되고, 제1 방향(X축 방향)에 따라 나열되는 복수의 섹션(1622S-1 내지 1622S-n)으로 구분될 수 있다. 복수의 섹션(1622S-1 내지 1622S-n) 각각은 제2 방향(Y축 방향)을 따라 배치되는 복수의 SPAD(1622d)를 포함할 수 있다. 복수의 섹션(1622S-1 내지 1622S-n)은 클럭 신호(clock signal)에 따라 순차적으로 온/오프(on/off) 동작이 제어될 수 있다. 예를 들어, 제1 섹션(1622S-1)이 온(on) 상태로 전환되어 광자를 수광한 이후, 클럭 신호 간격에 따라 제2 섹션(1622S-2)이 온 상태로 전환되어 광자를 수광하며, 이 과정이 제n 섹션(1622S-n)까지 수행될 수 있다. 제2 섹션(1622S-2)이 온 상태로 전환되면, 제1 섹션(1622S-1)은 오프(off) 상태로 전환된다. 제1 섹션(1622S-1)으로부터 제n 섹션(1622S-n)까지 한번씩 온 상태로 동작되어 광자를 수광하면, 모든 픽셀의 깊이 값 정보를 포함하는 1 프레임(frame)의 깊이 맵을 획득할 수 있다.
증강 현실 디바이스(1000)의 프로세서(1400)는, SPAD 어레이(1622)의 복수의 섹션(1622S-1 내지 1622S-n) 중 관심 영역(ROI)에 대응되는 위치에 배치되지 않는 적어도 하나의 섹션에는 전원을 인가하지 않고, 오프(off) 상태를 유지하도록 제어할 수 있다. 예를 들어, 프로세서(1400)는 관심 영역(ROI)에 대응되지 않는 제2 영역(R2)에 배치되는 섹션들을 오프 상태로 유지하도록 전원을 인가하지 않을 수 있다.
일 실시예에서, 프로세서(1400)는 관심 영역(ROI)을 포함하는 제1 영역(R1) 중에서도 관심 영역(ROI)에 직접적으로 대응되지 않고, 관심 영역에 위치하는 객체로부터 반사되는 광을 수광하지 않는 적어도 하나의 SPAD는 비활성화할 수 있다. 도 13에 도시된 실시예에서, 프로세서(1400)는 제1 영역(R1)에 배치되는 복수의 SPAD(1622d) 중 관심 영역(ROI)에 대응되는 위치에 배치되지 않는 복수의 SPAD(1622d-1 내지 1622d-l, 1622d-(k+1) 내지 1622d-n)에는 바이어스 전압(bias voltage)를 인가하지 않고, 비활성화(disable)할 수 있다.
도 13에 도시된 실시예에 따르면, 증강 현실 디바이스(1000)는 복수의 SPAD(1622d) 중 관심 영역(ROI)에 해당되는 광을 수광하지 않는 SPAD는 동작 자체를 오프(off) 상태로 유지하거나 또는 바이어스 전압을 인가하지 않고 비활성화함으로써, 소비 전력을 최소화할 수 있다. 따라서, 증강 현실 디바이스(1000)가 휴대용 디바이스로 구현되는 경우 배터리 소모량을 줄이고, 사용 시간을 연장할 수 있는 기술적 효과를 제공한다.
도 14는 본 개시의 일 실시예에 따른 깊이 센서의 구성 요소인 수광 센서의 동작을 제어하는 회로도를 도시한 도면이다.
도 14를 참조하면, 수광 센서(1620)는 복수의 SPAD(1622d) 및 디지털 신호 처리부(1626)를 포함할 수 있다. 복수의 SPAD(1622d)에 대해서는 도 13에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
디지털 신호 처리부(Digital Signal Processing Unit)(1626)는 TDC (1626a), 및 리드아웃부(1626b)를 포함할 수 있다.
TDC(1626a)는 복수의 SPAD(1622d)에 의해 수광된 광자(photon)의 도달 시간(arrival time)에 관한 정보를 디지털 신호로 변환하도록 구성되는 컨버터이다. TDC(1626a)는 복수의 SPAD(1622d) 각각에 연결되고, 복수의 SPAD(1622d)의 개수와 동일하게 복수 개로 구성된다. 도 14에는 TDC(1622a)가 16개의 어레이로 구성되는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, TDC(1626a)는 복수의 SPAD(1622d)로부터 광자의 개수에 관한 정보를 획득할 수 있다. TDC(1626a)는 변환된 디지털 신호를 리드아웃부(1626b)에 제공한다.
리드아웃부(1626b)는 복수의 TDC(1622a)로부터 수신된 디지털 신호를 각각 획득하고, 픽셀 단위로 병합하며, 병합된 디지털 신호를 프로세서(1400, 도 2 참조)에 제공하도록 구성된다. 일 실시예에서, 리드아웃부(1626b)는 픽셀 별로 수광된 광자 수에 관한 정보를 프로세서(1400)에 제공할 수 있다.
도 15는 본 개시의 증강 현실 디바이스(1000)가 수광 센서(1620)로부터 획득한 픽셀 별 수광 광자수 히스토그램에 기초하여 발광부(1610)의 송신 신호 강도를 조절하는 실시예를 도시한 도면이다.
도 15를 참조하면, 수광 센서(1620)는 픽셀 별 광자수 히스토그램(photon histogram)(1510 내지 1530)을 획득한다. 픽셀 별 광자수 히스토그램(1510 내지 1530)은 복수의 SPAD(1622d, 도 13 및 도 14 참조) 각각으로부터 수광된 광자수를 나타내는 히스토그램으로서, '픽셀'은 복수의 SPAD 각각과 대응될 수 있다. 픽셀 별 광자수 히스토그램(1510 내지 1530)은 발광부(1610)에 의해 송신 강도(Tx intensity)가 낮은 경우인 제1 광자수 히스토그램(1510), 송신 강도가 중간 정도인 제2 광자수 히스토그램(1520) 및 송신 강도가 높은 경우인 제3 광자수 히스토그램(1530)을 포함할 수 있다.
프로세서(1400)는 수광 센서(1620)로부터 픽셀 별 광자수 히스토그램(1510 내지 1530)을 획득하고, 획득된 픽셀 별 광자수 히스토그램(1510 내지 1530)에 기초하여 송신 강도를 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 픽셀 별 광자수 히스토그램(1510 내지 1530)으로부터 수광 광자수의 기울기, 광자수의 총합, 및 Z-score 중 적어도 하나의 peak 값(1512, 1522, 1532)을 식별하고, peak 값(1512, 1522, 1532)을 식별할 수 있는 최소의 송신 신호 강도를 결정할 수 있다. 예를 들어, 프로세서(1400)는 광자수 기울기, 광자수의 총합 및 Z-score 중 적어도 하나에 기초하여 peak 값을 식별할 때, 송신 강도가 가장 낮은 제1 광자수 히스토그램(1510)에서 peak 값(1512)이 식별되지 않고, 제2 광자수 히스토그램(1520)에서는 peak 값(1522)이 식별되는 경우, 송신 강도를 peak 값(1522)이 식별되는 강도인 중간 강도로 결정할 수 있다. 다른 예를 들어, 프로세서(1400)가 제1 광자수 히스토그램(1510)에서도 peak 값(1512)을 식별할 수 있는 경우, 송신 강도를 peak 값(1512)이 식별되는 최소의 강도인 낮은 강도로 결정할 수 있다.
프로세서(1400)는 발광부(1610)의 송신 신호 강도를, 픽셀 별 광자수 히스토그램(1510 내지 1530)에 따라 결정된 송신 강도로 조절할 수 있다.
도 15에 도시된 실시예에 따르면, 증강 현실 디바이스(1000)는 픽셀 별 광자수 히스토그램(1510 내지 1530)에 따라 peak 값이 식별될 수 있는 최소의 송신 신호 강도를 결정함으로써, 발광부(1610)에 의해 소비되는 소비 전력량을 최적화할 수 있다. 따라서, 증강 현실 디바이스(1000)가 휴대용 디바이스로 구현되는 경우 배터리 소모량을 줄이고, 사용 시간을 연장할 수 있는 기술적 효과를 제공한다.
본 개시에서 설명된 증강 현실 디바이스(1000)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 증강 현실 디바이스(1000)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 증강 현실 디바이스(1000)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 증강 현실 디바이스(1000) 또는 그 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 증강 현실 디바이스(1000)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 증강 현실 디바이스)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된(pre-loaded) 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
또한, 이상에서는 본 개시의 실시예에 대하여 도시하고 설명하였지만, 본 개시는 전술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 현실 세계(real world)의 객체의 깊이 값(depth) 정보를 획득하는 증강 현실 디바이스에 있어서,
    상기 객체를 바라보는 사용자의 시선을 추적함으로써, 상기 객체에 관한 관심 포인트 정보를 획득하는 시선 추적 센서;
    상기 객체의 깊이 값 정보를 획득하는 깊이 센서(depth sensor);
    하나 이상의 명령어들(instructions)을 저장하는 메모리; 및
    상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 시선 추적 센서를 통해 획득된 상기 관심 포인트의 이동 속도, 가속도, 고정 시간, 고정 횟수, 및 위치 중 적어도 하나의 정보에 기초하여, 상기 현실 세계의 전체 영역 내의 적어도 하나의 부분 영역이 관심 영역(Region Of Interest)으로 예측되는 정도를 나타내는 관심 영역 신뢰도 레벨(ROI Confidence Level)을 산출하고,
    상기 산출된 관심 영역 신뢰도 레벨에 기초하여, 상기 전체 영역 내의 관심 영역을 결정하고,
    상기 관심 영역 내의 객체의 깊이 값을 획득하기 위하여 상기 깊이 센서의 동작을 제어하는 파라미터를 설정하는, 증강 현실 디바이스.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 시선 추적 센서를 이용하여 사용자의 좌안의 시선 방향을 나타내는 제1 시선 벡터 및 상기 사용자의 우안의 시선 방향을 나타내는 제2 시선 벡터를 획득하고,
    양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점을 검출하고,
    검출된 상기 응시점의 2차원 위치 좌표 정보를 획득하는, 증강 현실 디바이스.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 검출된 응시점이 동일 영역 또는 동일 객체 상에 머무르는 고정 시간(fixation time), 고정 횟수(fixation number), 상기 응시점의 이동 속도, 가속도, 및 위치 중 적어도 하나에 기초하여, 상기 관심 영역 신뢰도 레벨을 산출하는, 증강 현실 디바이스.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 관심 포인트의 고정 시간 및 고정 횟수 중 적어도 하나와 비례 관계에 따라 상기 관심 영역 신뢰도 레벨을 산출하는, 증강 현실 디바이스.
  5. 제1 항에 있어서,
    상기 프로세서는,
    상기 관심 포인트의 이동 속도 및 가속도 중 적어도 하나에 반비례 관계에 따라 상기 관심 영역 신뢰도 레벨을 산출하는, 증강 현실 디바이스.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 산출된 관심 영역 신뢰도 레벨이 기설정된 임계치 이상인 적어도 하나의 부분 영역들을 상기 관심 영역으로 결정하는, 증강 현실 디바이스.
  7. 제1 항에 있어서,
    현실 세계의 전체 영역을 촬영함으로써, 상기 전체 영역에 관한 이미지를 획득하는 카메라;
    를 더 포함하고,
    상기 프로세서는, 상기 카메라를 통해 획득된 이미지 중 상기 결정된 관심 영역에 대응되는 부분의 깊이 맵 해상도(resolution) 및 프레임 레이트(frame rate)를 다른 부분 영역 보다 높은 값으로 조절하는, 증강 현실 디바이스.
  8. 제1 항에 있어서,
    상기 깊이 센서는 상기 광을 발생시키고, 발생된 광을 객체에 조사하도록 구성되는 발광부를 포함하고,
    상기 프로세서는, 상기 발광부에 의해 상기 결정된 관심 영역으로 기 설정된 임계 광량 및 기설정된 임계 개수의 패턴 광이 조사되도록 상기 관심 영역의 크기를 재설정하는, 증강 현실 디바이스.
  9. 제8 항에 있어서,
    상기 발광부는 광원, 및 LC(Liquid Crystal) 기반 반사 미러를 포함하고,
    상기 프로세서는,
    상기 LC 기반 반사 미러의 액정층 내에 포함되는 액정 분자의 배열을 변경하여 상기 관심 영역에 패턴 광이 조사되도록 상기 LC 기반 반사 미러에 인가되는 전원을 조절하는, 증강 현실 디바이스.
  10. 제1 항에 있어서,
    상기 깊이 센서는 상기 광원에 의해 조사되어 상기 객체로부터 반사되는 광을 수광하는 수광 센서를 포함하고,
    상기 수광 센서는 복수의 섹션(sections)으로 구분되고, 상기 복수의 섹션은 기설정된 클럭 신호(clock signal)에 따라 순차적으로 온/오프(on/off) 동작이 제어되며,
    상기 프로세서는,
    상기 복수의 섹션 중에서, 상기 관심 영역에 대응되는 적어도 하나의 제1 섹션들을 순차적으로 온(on) 상태로 전환하고, 상기 관심 영역에 대응되지 않는 적어도 하나의 제2 섹션들을 오프(off) 상태로 유지되도록 상기 수광 센서를 제어하는, 증강 현실 디바이스.
  11. 제10 항에 있어서,
    상기 수광 센서의 복수의 섹션은, 복수의 SPAD(Single-Photon Avalanche Diode)를 포함하고,
    상기 프로세서는,
    상기 적어도 하나의 제1 섹션에 포함되는 복수의 SPAD 중 상기 관심 영역을 포함하지 않는 적어도 하나의 SPAD에 인가되는 바이어스 전압(bias voltage)을 차단함으로써 상기 적어도 하나의 SPAD를 비활성화하는, 증강 현실 디바이스.
  12. 현실 세계(real world)의 객체의 깊이 값(depth) 정보를 획득하는 디바이스의 동작 방법에 있어서,
    상기 객체를 바라보거나 또는 상기 객체를 가리키는 사용자의 관심 포인트(Point of Interest)를 추적함으로써, 상기 객체에 관한 상기 관심 포인트 정보를 획득하는 단계;
    상기 관심 포인트의 이동 속도, 가속도, 고정 시간, 고정 횟수, 및 위치 중 적어도 하나의 정보에 기초하여, 상기 현실 세계의 전체 영역 내의 적어도 하나의 부분 영역이 관심 영역(Region Of Interest)으로 예측되는 정도를 나타내는 관심 영역 신뢰도 레벨(ROI Confidence Level)을 산출하는 단계;
    상기 산출된 관심 영역 신뢰도 레벨에 기초하여, 상기 전체 영역 내의 관심 영역을 결정하는 단계; 및
    상기 관심 영역 내의 객체의 깊이 값을 획득하기 위하여 이용되는 상기 증강 현실 장치의 깊이 센서의 동작을 제어하는 파라미터를 설정하는 단계;
    를 포함하는, 방법.
  13. 제12 항에 있어서,
    상기 관심 포인트에 관한 정보를 획득하는 단계는,
    시선 추적 센서를 이용하여 사용자의 좌안의 시선 방향을 나타내는 제1 시선 벡터 및 상기 사용자의 우안의 시선 방향을 나타내는 제2 시선 벡터를 획득하는 단계;
    양안 시차(binocular disparity)에 따라 상기 제1 시선 벡터와 상기 제2 시선 벡터가 수렴하는 응시점을 검출하는 단계; 및
    검출된 상기 응시점의 2차원 위치 좌표 정보를 획득하는 단계;
    를 포함하는, 방법.
  14. 제12 항에 있어서,
    상기 관심 영역 신뢰도 레벨을 산출하는 단계는,
    상기 검출된 응시점이 동일 영역 또는 동일 객체 상에 머무르는 고정 시간(fixation time), 고정 횟수(fixation number), 상기 응시점의 이동 속도, 가속도 및 중 적어도 하나에 기초하여, 상기 관심 영역 신뢰도 레벨을 산출하는, 방법.
  15. 제12 항에 있어서,
    상기 관심 영역을 결정하는 단계는,
    상기 산출된 관심 영역 신뢰도 레벨이 기설정된 임계치 이상인 적어도 하나의 부분 영역들을 상기 관심 영역으로 결정하는, 방법.
  16. 제12 항에 있어서,
    상기 깊이 센서는 상기 광을 발생시키고, 발생된 광을 객체에 조사하도록 구성되는 발광부를 포함하고,
    상기 깊이 센서의 파라미터를 설정하는 단계는,
    상기 발광부에 의해 상기 결정된 관심 영역으로 기 설정된 임계 광량 및 기설정된 임계 개수의 패턴 광이 조사되도록 상기 관심 영역의 크기를 재설정하는, 방법.
  17. 제16 항에 있어서,
    상기 발광부는 광원 및 LC 기반 반사 미러를 포함하고,
    상기 깊이 센서의 파라미터를 설정하는 단계는,
    상기 LC 기반 반사 미러의 액정층 내에 포함되는 액정 분자의 배열을 변경하여 상기 관심 영역에 패턴 광이 조사되도록 상기 LC 기반 반사 미러에 인가되는 전원을 조절하는 단계; 를 포함하는, 방법.
  18. 제12 항에 있어서,
    상기 깊이 센서는 상기 광원에 의해 조사되어 상기 객체로부터 반사되는 광을 수광하는 수광 센서를 포함하고,
    상기 수광 센서는 복수의 섹션(sections)으로 구분되고, 상기 복수의 섹션은 기설정된 클럭 신호(clock signal)에 따라 순차적으로 온/오프(on/off) 동작이 제어되고,
    상기 깊이 센서의 파라미터를 설정하는 단계는,
    상기 복수의 섹션 중에서, 상기 관심 영역에 대응되는 적어도 하나의 제1 섹션들을 순차적으로 온(on) 상태로 전환하고, 상기 관심 영역에 대응되지 않는 적어도 하나의 제2 섹션들을 오프(off) 상태로 유지하는, 방법.
  19. 제18 항에 있어서,
    상기 수광 센서는, 상기 복수의 섹션들 각각은, 복수의 SPAD(Single-Photon Avalanche Diode)를 포함하며,
    상기 적어도 하나의 제1 섹션에 포함되는 복수의 SPAD 중 상기 관심 영역을 포함하지 않는 적어도 하나의 SPAD에 인가되는 바이어스 전압(bias voltage)을 차단함으로써 상기 적어도 하나의 SPAD를 비활성화하는 단계; 를 포함하는, 방법.
  20. 제12 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020210056869A 2021-04-30 2021-04-30 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법 KR20220149348A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210056869A KR20220149348A (ko) 2021-04-30 2021-04-30 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
PCT/KR2022/005672 WO2022231206A1 (ko) 2021-04-30 2022-04-20 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
US18/384,648 US20240069632A1 (en) 2021-04-30 2023-10-27 Augmented reality device for obtaining depth information of object and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210056869A KR20220149348A (ko) 2021-04-30 2021-04-30 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20220149348A true KR20220149348A (ko) 2022-11-08

Family

ID=83848275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210056869A KR20220149348A (ko) 2021-04-30 2021-04-30 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20240069632A1 (ko)
KR (1) KR20220149348A (ko)
WO (1) WO2022231206A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6397659B2 (ja) * 2014-06-05 2018-09-26 株式会社日立製作所 Ｘ線画像診断装置及びｘ線制御方法
WO2017051944A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
KR102011910B1 (ko) * 2018-03-30 2019-10-14 주식회사 센소허브 3차원 형상 측정 장치 및 방법
KR20200120466A (ko) * 2019-04-11 2020-10-21 삼성전자주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR20200136297A (ko) * 2019-05-27 2020-12-07 삼성전자주식회사 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법

Also Published As

Publication number Publication date
US20240069632A1 (en) 2024-02-29
WO2022231206A1 (ko) 2022-11-03

Similar Documents

Publication Publication Date Title
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US10552676B2 (en) Methods and devices for eye tracking based on depth sensing
US8933912B2 (en) Touch sensitive user interface with three dimensional input sensor
CN109715047B (zh) 用于眼动追踪应用的传感器融合系统和方法
CN112515624B (zh) 使用低分辨率图像跟踪眼睛
US9959678B2 (en) Face and eye tracking using facial sensors within a head-mounted display
US11868524B2 (en) Augmented reality device and operating method thereof
US9606364B2 (en) Stabilizing motion of an interaction ray
KR20200136297A (ko) 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법
CN110494791A (zh) 具有在空间上可切换的光栅的波导显示器
US11435577B2 (en) Foveated projection system to produce ocular resolution near-eye displays
AU2013351980A1 (en) Direct hologram manipulation using IMU
US20210068652A1 (en) Glint-Based Gaze Tracking Using Directional Light Sources
US20170352178A1 (en) Facial animation using facial sensors within a head-mounted display
US10574938B1 (en) Variable frame rate depth camera assembly
US10936061B2 (en) Eye tracking using reverse-biased light-emitting diode devices
US10732709B1 (en) Interferometric structured light depth sensing for eye tracking
KR20220149348A (ko) 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
KR20220170336A (ko) 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법
CN113661433A (zh) 头戴式显示设备及其操作方法
US20230077073A1 (en) Augmented reality device and method for obtaining depth map by using depth sensor
US20210248766A1 (en) Electronic device and operation method thereof
KR20240009275A (ko) 객체의 깊이 정보를 획득하는 전자 장치 및 그 동작 방법
KR20230034782A (ko) 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법

Legal Events

Date Code Title Description
A201 Request for examination