KR20230034782A - 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법 - Google Patents

깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법 Download PDF

Info

Publication number
KR20230034782A
KR20230034782A KR1020210117939A KR20210117939A KR20230034782A KR 20230034782 A KR20230034782 A KR 20230034782A KR 1020210117939 A KR1020210117939 A KR 1020210117939A KR 20210117939 A KR20210117939 A KR 20210117939A KR 20230034782 A KR20230034782 A KR 20230034782A
Authority
KR
South Korea
Prior art keywords
light
augmented reality
reality device
depth sensor
emitted
Prior art date
Application number
KR1020210117939A
Other languages
English (en)
Inventor
윤상호
김정원
곽규섭
고재우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210117939A priority Critical patent/KR20230034782A/ko
Priority to EP22865067.7A priority patent/EP4325433A4/en
Priority to PCT/KR2022/013115 priority patent/WO2023033565A1/ko
Priority to US17/967,525 priority patent/US20230077073A1/en
Publication of KR20230034782A publication Critical patent/KR20230034782A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B33/00—Electroluminescent light sources
    • H05B33/02—Details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 디바이스(augmented reality device)가 깊이 센서를 제어하여 깊이 맵을 생성하는 방법이 제공된다. 방법은, 사용자에 의해 착용된 증강 현실 디바이스의 모션(motion)을 센싱하는 단계, 증강 현실 디바이스의 모션에 기초하여 사용자의 액티비티를 식별하는 단계, 식별된 액티비티에 기초하여, 증강 현실 디바이스의 깊이 센서로부터 방출될 방출광의 광패턴을 결정하는 단계, 결정된 광패턴으로 방출광을 방출하도록 깊이 센서를 제어하는 단계, 방출광이 적어도 하나의 대상체에 의해 반사된 반사광을 수신하는 단계, 및 방출광 및 수신된 반사광에 기초하여, 깊이 맵을 생성하는 단계를 포함할 수 있다.

Description

깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법{AUGMENTED REALITY DEVICE AND METHOD FOR GENERATING DEPTH MAP USING DEPTH SENSOR}
본 개시는 한정된 전력 예산(power budget) 내에서 깊이 센서를 제어하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법에 관한 것이다.
기술의 발달로 가상 현실(virtual reality, VR) 또는 증강 현실(augmented reality, AR)을 제공하는 컨텐츠(content)의 보급이 증가하고 있다. 증강 현실 컨텐츠의 생성을 위해, 3차원(three dimension, 3D) 이미지를 획득하는 깊이 센서가 개발되고 있다.
전자 장치들 중에는 신체에 착용할 수 있는 형태로 제공되는 전자 장치들이 있다. 이러한 전자 장치들은 통상적으로 웨어러블 디바이스(wearable device)라고 할 수 있다. 신체에 착용할 수 있는 전자 장치들의 형태들 중에 HMD(head mounted device)와 같은 헤드 장착형 전자 장치가 포함될 수도 있다. 헤드 장착형 전자 장치는 사용자의 신체 일부(예를 들면, 사용자의 머리)에 착용되어 사용자에게 VR 또는 AR 환경을 제공할 수 있다. AR 환경의 제공이란 예를 들어, 증강 현실을 구현할 수 있는 디스플레이 및 다양한 사용자 인터페이스의 제공을 포함할 수 있다.
증강 현실 기술은 현실의 환경에 가상 사물이나 정보를 합성하여, 가상 사물이나 정보가 현실의 물리적 환경에 존재하는 사물처럼 보이도록 하는 기술이다. 현대의 컴퓨팅 및 디스플레이 기술은 증강 현실 경험을 위한 시스템의 개발을 가능하게 하였는데, 증강 현실 경험에서는, 디지털적으로 재생성된 이미지 또는 그 일부가, 현실인 것처럼 생각되거나 또는 현실로서 인식될 수 있는 방식으로 사용자에게 제시될 수 있다. 보다 실감나는 증강 현실 기술의 구현을 위해서는 현실 환경에 대한 이미지뿐만 아니라, 사용자의 시야(field of view, FOV) 영역에 대한 정확한 깊이 정보가 요구된다.
증강 현실 기술에 대한 관심이 높아짐에 따라, 증강 현실을 구현하는 다양한 기술들에 대한 개발이 활발하게 이루어지고 있다. 특히 경량의 헤드 장착형 전자 장치에서는 배터리 용량이 한정적이다. 이에 따라, 깊이 센서에서 소비하는 전력의 양을 줄이면서도, 전체 시야 영역에 대해 정확한 깊이 맵을 생성할 수 있는 기술이 요구된다.
본 개시의 일 실시예는, 증강 현실 디바이스를 착용한 사용자의 액티비티를 식별하고, 식별된 액티비티를 기초로 ToF(time of flight) 타입의 깊이 센서에서 방출하는 방출광의 광패턴을 결정함으로써, 깊이 센서에서 소비하는 전력의 양을 줄일 수 있는, 증강 현실 디바이스 및 방법을 제공할 수 있다.
본 개시의 일 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 증강 현실 디바이스(augmented reality device, AR device)가 깊이 센서를 제어하여 깊이 맵을 생성하는 방법은, 사용자에 의해 착용된 증강 현실 디바이스의 모션(motion)을 센싱하는 단계, 증강 현실 디바이스의 모션에 기초하여 사용자의 액티비티를 식별하는 단계, 식별된 액티비티에 기초하여, 증강 현실 디바이스의 깊이 센서로부터 방출될 방출광의 광패턴을 결정하는 단계, 결정된 광패턴으로 방출광을 방출하도록 깊이 센서를 제어하는 단계, 방출광이 적어도 하나의 대상체에 의해 반사된 반사광을 수신하는 단계, 및 방출광 및 수신된 반사광에 기초하여, 깊이 맵을 생성하는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 깊이 센서를 제어하여 깊이 맵을 생성하는 증강 현실 디바이스는, 모션 센서, 광 방출부 및 광 감지부를 포함하는 깊이 센서, 적어도 하나의 명령어(instruction)를 저장하는 저장부, 및 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는 적어도 하나의 명령어를 실행함으로써, 모션 센서를 통해 사용자에 의해 착용된 상기 증강 현실 디바이스의 모션을 획득하고, 증강 현실 디바이스의 모션에 기초하여 상기 액티비티를 식별하고, 액티비티에 기초하여 깊이 센서로부터 방출될 방출광의 광패턴을 결정하고, 결정된 광패턴으로 방출광을 방출하도록 광 방출부를 제어하고, 광 감지부를 통해, 방출광이 적어도 하나의 대상체에 의해 반사된 반사광을 수신하고, 방출광 및 수신된 반사광에 기초하여, 증강 현실 디바이스의 전방 영역에 대한 깊이 맵을 생성할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 컴퓨터로 읽을 수 있는 기록 매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램이 저장된 것일 수 있다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 깊이 센서를 이용하여 깊이 맵을 생성하는 방법의 개요도이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 깊이 센서를 제어하여 깊이 맵을 생성하는 방법의 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 블록도이다.
도 4는 본 개시의 일 실시예에 따른 깊이 센서의 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 깊이 센서를 도시한 도면이다.
도 6a는 본 개시의 일 실시예에 따른 깊이 센서의 광 방출부를 설명하기 위한 도면이다.
도 6b는 본 개시의 일 실시예에 따른 깊이 센서의 광 방출부를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 깊이 센서의 방출광의 광패턴을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 깊이 센서를 도시한 도면이다.
도 9는 본 개시의 일 실시예에 따른 깊이 센서의 방출광의 광패턴을 결정하는 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 깊이 센서의 가변 초점 렌즈를 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 깊이 센서의 가변 초점 렌즈를 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따른 깊이 센서의 방출광의 광패턴을 결정하는 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 깊이 센서의 가변 초점 렌즈를 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른 깊이 센서를 도시한 도면이다.
도 15는 본 개시의 일 실시예에 따른 깊이 센서의 광 방출부를 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따른 깊이 센서의 방출광의 광패턴을 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 모션을 센싱하는 동작을 설명하기 위한 도면이다.
도 18은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 블록도이다.
도 19는 본 개시의 일 실시예에 따른 증강 현실 디바이스를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "~부", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 디바이스(augmented reality device)가 깊이 센서(depth sensor)를 이용하여 깊이 맵(depth map)을 생성하는 방법의 개요도이다.
본 개시의 일 실시예에 따른 증강 현실 디바이스는, 증강 현실 장치(augmented reality device, AR device)를 포함할 수 있다. 증강 현실 장치는 증강 현실(augmented reality, AR)을 표현할 수 있는 장치로서, 현실에 존재하는 물리적 대상체(physical object) 및 가상 대상체(virtual object)를 포함하는 이미지를 표시할 수 있다.
증강 현실 디바이스는 예를 들어, 사용자가 안면부에 착용하는 안경 형상의 증강 현실 안경 장치(augmented reality glasses), 두부에 착용하는 헤드 마운트 디스플레이 장치(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 증강 현실 헬멧(augmented reality helmet) 등을 포함할 수 있다. 한편, 본 개시의 증강 현실 디바이스는 전술한 예시로 한정되는 것은 아니며, 사용자에게 가상 현실 서비스 또는 증강 현실 서비스를 제공하거나, 깊이 센서를 통해 깊이 맵을 생성하는 다양한 종류의 기기를 포함할 수 있다.
증강 현실 서비스를 제공하는 전자 장치에서 깊이(depth) 센싱 및 깊이 정보(depth information) 제공은 주요한 기능 중 하나에 해당한다. 일 실시예에서, 증강 현실 디바이스는 3차원 이미지 또는 깊이 정보를 획득하기 위한 깊이 센서를 포함할 수 있다. 깊이 센서는 현실의 물리적 사물에 대한 3차원 이미지를 획득할 수 있다. 3차원 이미지는, 이미지에 포함된 각 픽셀의 깊이 정보를 포함한다. 깊이 센서(또는, 3차원 깊이 카메라)는 연산 카메라(computational camera)의 일종으로써, 피사체들로부터 렌즈를 통해 들어오는 이미지를 연산을 통해 재가공하여 깊이 정보를 포함하는 이미지를 생성할 수 있다. 깊이 센서는 실내 맵핑, 증강 현실 구현, 자율주행 장치의 개발 등에 이용될 수 있다.
본 개시의 일 실시예에 따른 증강 현실 디바이스는, ToF(Time-of-Flight) 타입의 깊이 센서를 포함할 수 있다. ToF 타입의 깊이 센서는, 깊이 맵을 획득하고자하는 장면(scene)(전방 영역 또는 깊이 센서의 시야(FoV))으로 변조된(modulated) 방출광을 방출하고, 장면 내에 포함된 객체들의 표면으로부터 반사된 반사광을 검출할 수 있다. ToF 타입의 깊이 센서는 방출된 방출광과 수신된 반사광 사이의 위상차를 측정하여, 깊이 센서와 장면 내에 포함된 각각의 객체(표면)들 사이의 물리적 거리를 산출할 수 있다. ToF 센서는 깊이 맵을 획득하고자 하는 장면(전방 영역)으로 방출광을 방출하기 위한 광 방출부 및 객체들의 표면으로부터 반사된 반사광을 검출하기 위한 광 감지부를 포함한다. 본 개시의 일 실시예에 따른 깊이 센서에 대해서는 후술할 도 4에서 보다 상세하게 설명하기로 한다.
일 실시예에 따른 증강 현실 디바이스에서, 전체 소비 전력 중 깊이 센서의 광 방출부 및 광 감지부에서 소비하는 전력의 비중이 높다. 한편, 증강 현실 디바이스에서는 배터리 용량이 한정적이다. 따라서 한정된 전력 예산(power budget) 내에서 깊이 센싱을 효과적으로 수행하기 위해, 본 개시의 일 실시예에 따른 증강 현실 디바이스에서는, 비교적 저전력 및 고속으로 감지 가능한 증강 현실 디바이스의 움직임 및 주변 환경 정보를 이용하여, 전력 소모가 큰 깊이 센서를 제어할 수 있다. 보다 구체적으로, 본 개시의 일 실시예에 따른 증강 현실 디바이스에 따르면, 증강 현실 디바이스를 착용한 사용자의 모션 또는 증강 현실 디바이스의 주변 조도 정보를 센싱하고, 센싱된 정보에 기초하여 깊이 센서가 방출하는 방출광의 패턴을 조절하거나, 방출광이 방출되는 주기(프레임 레이트, frame rate)를 조절함으로써, 증강 현실 디바이스의 전체 소비 전력을 줄일 수 있다.
도 1을 참조하면, 일 실시예에서, 증강 현실 디바이스는 제1 패턴(111)을 갖는 방출광을 전방 영역으로 방출할 수 있다. 방출광의 패턴이란, 전방 영역 내에서 깊이 센싱을 위한 빛이 조사되는 영역에 의해 정의될 수 있다. 예를 들어, 광패턴은 증강 현실 디바이스로부터 특정 거리에 위치한 클리핑 평면(clipping plane, 절단면) 상에 깊이 센서의 광 방출부로부터 방출된 방출광이 조사되는 영역을 나타낼 수 있다.
깊이 센서에서 제1 패턴(111)을 갖는 방출광이 전방 영역으로 방출된 경우, 전방 영역에 위치하는 적어도 하나의 물리적 대상체로부터 방출광이 반사되어, 위상이 변화된 반사광이 생성될 수 있다. 생성된 반사광은 깊이 센서의 광 감지부를 통해 센싱될 수 있다. 반사광은 방출광과 동일한 패턴을 갖는다. 즉, 제1 패턴(111)을 갖도록 방출된 방출광에 대응하여, 광 감지부를 통해 센싱된 반사광 또한 제1 패턴(111)을 갖는다. ToF 타입의 깊이 센서의 각각의 픽셀은 전송된 신호에 대해 수신된 신호의 지연을 측정한다. 따라서, 본 개시의 일 실시예에서, 제1 패턴(111)을 갖는 방출광을 방출하는 깊이 센서는, 제1 패턴(111)에 대응되는 픽셀들에 대한 깊이 정보만을 획득할 수 있고, 이러한 깊이 센서를 통해 획득한 깊이 맵(depth map)은 제1 패턴(111)에 대응되는 픽셀에만 깊이 정보가 포함된 깊이 맵일 수 있다.
본 개시의 일 실시예에서 증강 현실 디바이스는, 제1 패턴(111)에 대응되지 않는 픽셀들에 대한 깊이 정보를 획득하기 위해, 전방 영역의 2차원 이미지(121)(RGB 이미지 등)를 이용할 수 있다. 일 실시예에서, 전방 영역의 이미지(121)는 전방 영역에 포함된 물체들의 에지 정보, 색상 정보 등을 포함할 수 있다. 증강 현실 디바이스는, 제1 패턴(111)을 갖는 방출광을 방출하는 깊이 센서를 통해 획득한 깊이 맵을, 전방 영역의 이미지(121)에 기초해 보상함으로써, 전체 픽셀에 대한 깊이 정보를 포함하는 깊이 맵(131)을 획득할 수 있다. 예를 들어, 제1 패턴(111)에 대응되지 않는 픽셀들에 대한 깊이 정보는, 해당 픽셀에 인접하고 제1 패턴(111)에 대응되는 주변 픽셀들에 대한 깊이 정보로부터, 전방 영역의 이미지(121)에 기초하여 결정될 수 있다. 예를 들어, 제1 패턴(111)에 대응되지 않는 특정 픽셀이, 전방 영역의 이미지(121)에 포함된 정보를 통해 주변 픽셀과 동일한 색상이며, 특정 픽셀과 주변 픽셀 사이에 에지가 포함되지 않는다고 판단될 경우, 특정 픽셀에 대한 깊이 정보는 인접한 주변 픽셀에 대한 깊이 정보와 동일한 것으로 간주될 수 있다. 이와 같이, 깊이 센서를 통해 획득한 전방 영역 일부 픽셀들에 대한 깊이 정보 및 카메라 등을 통해 획득한 전방 영역의 이미지(121)를 통해 전방 영역에 대한 깊이 맵(131)을 생성할 수 있다.
도 1을 참조하면, 제2 패턴(112)은 제1 패턴(111)에 비해 패턴 밀도가 낮을 수 있다. 방출광의 패턴 밀도는, 깊이 센서의 클리핑 평면의 면적과, 깊이 센서의 클리핑 평면 상에서 방출광이 조사되는 영역의 총 면적의 비율로 결정될 수 있다. 예를 들어, 방출광의 패턴 밀도는 증강 현실 디바이스의 전방 영역과 깊이 센서를 통해 깊이 값을 측정하는 실측 영역의 비율에 대응될 수도 있다. 즉, 제2 패턴(112)을 갖는 방출광이 조사하는 영역은, 제1 패턴(111)을 갖는 방출광이 조사하는 영역에 비해 면적이 작을 수 있다. 일 실시예에서, 깊이 센서의 광 방출부가 동일한 양의 전력을 소비할 경우, 조사 영역의 면적이 작은 제2 패턴(112)을 갖는 방출광이 제1 패턴(111)을 갖는 방출광보다 세기(intensity)가 더 크고, 따라서, 증강 현실 디바이스로부터 더 멀리 도달할 수 있다. 방출광이 증강 현실 디바이스로부터 더 멀리 도달할 경우, 더 먼 거리에 있는 객체까지의 깊이(depth)를 센싱할 수 있다. 즉, 도 1을 참조하면, 동일한 양의 전력을 소비할 경우, 패턴 밀도가 높은 제1 패턴(111)을 갖는 방출광을 통해 센싱된 깊이 맵(131)보다, 패턴 밀도가 낮은 제2 패턴(112)을 갖는 방출광을 통해 센싱된 깊이 맵(132)이 더 먼 거리에 있는 객체까지의 깊이 정보를 포함할 수 있다.
한편, 방출광의 패턴 밀도가 낮을수록, 이미지(121, 122)를 이용해 깊이 정보를 유추해야하는 픽셀 수가 늘어난다. 따라서, 제2 패턴(112)을 갖는 방출광을 통해 센싱된 깊이 맵(132)이 제1 패턴(111)을 갖는 방출광을 통해 센싱된 깊이 맵(131)에 비해 더 먼 거리까지의 깊이 정보를 포함할 수 있으나, 개별 픽셀에 대한 깊이 정보의 정확도는 제1 패턴(111)을 갖는 방출광을 통해 센싱된 깊이 맵(131)이 제2 패턴(112)을 갖는 방출광을 통해 센싱된 깊이 맵(132)에 비해 더 정확할 수 있다.
본 개시의 일 실시예에서는, 깊이 센서에서 소비하는 전력의 양을 줄이기 위해 깊이 센서의 방출광 패턴 또는 광 방출 주기를 조절하는 방법을 개시하고 있다. 이를 위해 증강 현실 디바이스를 착용한 사용자의 액티비티를 식별하고, 식별된 액티비티를 기초로 깊이 맵에 요구되는 정확도나 감지 거리를 결정한다. 결정된 감지 거리나 정확도를 기초로 깊이 센서에서 방출하는 방출광의 광패턴과 광 방출 주기를 조절하여 증강 현실 디바이스, 특히 깊이 센서에서 소비하는 전력의 양을 줄일 수 있다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 깊이 센서를 제어하여 깊이 맵을 생성하는 방법의 흐름도이다.
단계 S210에서, 증강 현실 디바이스의 모션을 센싱할 수 있다. 예를 들어, 증강 현실 디바이스의 움직임을 감지하여 증강 현실 디바이스를 착용한 사용자의 모션을 센싱할 수 있다. 증강 현실 디바이스의 모션을 센싱하는 동작에는 모션 센서가 이용될 수 있다. 모션 센서는 증강 현실 디바이스의 움직임(movement), 수평 이동(translation), 회전(rotation), 자세(pose), 위치(position), 자세 변화 등 다양한 모션을 인식할 수 있다. 모션 센서는 증강 현실 디바이스의 모션을 인식하기 위한 다양한 센서들을 포함할 수 있고, 다양한 센서들로부터 수집되는 데이터들을 소프트웨어적으로 분석 처리할 수 있다. 예를 들어, 모션 센서는 Gyroscope, Accelerometer, Magnetometer를 포함하는 IMU(inertial measurement unit) 센서, GPS(global positioning system) 센서, 및 무선 통신 (WiFi, Bluetooth, UWB(ultra-wideband)) 센서 중 적어도 하나를 포함할 수 있다.
단계 S220에서, 증강 현실 디바이스의 모션에 기초하여 사용자의 액티비티(activity)를 식별할 수 있다. 일 실시예에서, 증강 현실 디바이스는 센싱된 모션 데이터로부터 증강 현실 디바이스를 착용한 사용자의 움직임 및 포즈를 산출할 수 있다. 증강 현실 디바이스는 산출한 사용자의 움직임 및 포즈 정보로부터 사용자의 활동의 종류를 식별할 수 있다. 일 실시예에서 액티비티는 증강 현실 디바이스 자체의 움직임, 증강 현실 디바이스를 착용한 사용자의 움직임, 증강 현실 디바이스를 착용한 사용자의 포즈, 사용자의 활동의 종류 또는 이들 중 둘 이상의 조합을 나타낼 수 있다. 예를 들어, 사용자의 액티비티는, 앉기, 서기, 걷기, 뛰기, 테니스, 골프, 요가 등과 같이, 사용자의 포즈 및 움직임 범위에 따라 식별되거나, '움직임 없이 앉아있는 상태', '움직임 없이 걷는 상태(런닝머신 등)', '움직이며 서있는 상태'와 같은 형태로 식별될 수도 있다.
단계 S230에서, 증강 현실 디바이스는, 식별된 액티비티에 기초하여 깊이 센서로부터 방출될 방출광의 광패턴을 결정할 수 있다. 일 실시예에서, 증강 현실 디바이스는 사용자의 액티비티에 기초하여 깊이 센서로부터 방출될 방출광의 광패턴을 결정할 수 있다. 일 실시예에서, 증강 현실 디바이스는 액티비티에 기초하여 방출광의 패턴 밀도를 결정할 수 있다. 예를 들어, 식별된 사용자의 액티비티에 따라 사용자의 움직임이 크다고 판단되는 경우, 정밀한 깊이 감지가 크게 요구되지 않으므로, 방출광의 광패턴의 밀도를 낮추도록 결정할 수 있다. 이와 같이, 증강 현실 디바이스는, 요구되는 깊이 감지 거리 및 깊이 감지의 정밀도에 기초하여 광패턴의 밀도 조절을 결정하고, 방출광의 광패턴을 다양한 형태로 결정할 수 있다.
일 실시예에서, 증강 현실 디바이스는, 식별된 액티비티에 기초하여 깊이 센서로부터 방출될 방출광의 세기(intensity)를 결정할 수 있다. 일 실시예에서, 방출광의 세기는 방출광의 패턴(광밀도)을 변경함으로써 조절되거나, 깊이 센서에 포함된 발광자(emitter)가 방출하는 빛의 세기를 직접적으로 조절함으로써 조절될 수 있다. 예를 들어, 깊이 센서의 광 방출부에서 소모되는 전력이 일정할 때, 방출광의 광패턴이 면광원에서 점광원으로 변경되면, 광원이 비추는 영역 내에서의 광밀도는 상대적으로 증가하고, 결과적으로 방출광의 세기가 증가될 수 있다. 다른 예를 들어, 깊이 센서의 광 방출부에 제공되는 전력이 증가함으로써, 각각의 발광자들에서 방출되는 빛의 세기가 증가하고, 전체적인 방출광의 세기가 증가될 수도 있다. 일 실시예에서 증강 현실 디바이스는, 식별된 액티비티에 기초하여 깊이 센서의 센싱 주기(frame rate)를 결정할 수도 있다.
예를 들어, 증강 현실 디바이스는, 디바이스를 착용한 사용자의 움직임이 클수록, 정밀한 깊이 감지가 요구되지 않는 경우로 판단하여 방출광의 광패턴 밀도를 낮출 수 있다. 이 경우, 방출광의 광패턴 밀도를 낮춤으로써 방출광이 조사되는 영역 내에서의 광밀도는 상대적으로 증가하고, 해당 영역 내에서의 광세기가 증가하여 깊이 센서의 감지 거리가 늘어날 수도 있다. 또한, 디바이스를 착용한 사용자의 움직임이 클수록, 신속한 깊이 정보의 업데이트가 요구되는 경우로 판단하여 깊이 센서의 센싱 주기를 빠르게 조절할 수 있다.
예를 들어, 증강 현실 디바이스는 깊이 센서의 광 방출부에 포함된 발광자의 발광 레벨을 조절함으로써, 방출광의 광출력을 조절할 수 있다. 예를 들어, 발광자의 발광 레벨이 높아지면, 발광자를 포함하는 광 방출부의 광출력이 커지고, 광 방출부를 통해 깊이 센서로부터 방출되는 방출광의 세기가 커진다. 방출광의 세기가 증가할 경우, 방출광이 보다 먼 거리까지 도달할 수 있으므로 깊이 감지 거리가 증가한다. 방출광의 세기가 감소할 경우, 깊이 센서의 감지 거리는 감소하나, 증강 현실 디바이스의 전력 소모를 줄일 수 있다. 이에 따라, 보다 먼 깊이 감지가 요구되는 경우, 광 방출부의 광출력을 증가시킬 수 있고, 가까운 깊이만 감지하더라도 전력 소모를 줄이는 것이 요구되는 경우, 광출력을 감소시킬 수 있다. 이와 같이 증강 현실 디바이스는, 광출력을 조절함으로써, 요구되는 깊이 감지 거리 및 전력 소비 정도에 기초하여 방출광의 세기를 결정할 수 있다.
일 실시예에서, 깊이 센서의 광 방출부는 펄스(pulse) 형태의 방출광을 방출할 수 있고, 증강 현실 디바이스는 펄스 형태의 방출광의 주기를 결정할 수 있다. 방출광의 방출 주기가 낮을수록 배터리 소모를 줄일 수 있다. 일 실시예에서, 증강 현실 디바이스는 소비 전력을 감소시키기 위해 깊이 센서의 센싱 주기를 길게 조절하거나, 소비 전력을 증가시키기 위해 깊이 센서의 센싱 주기를 짧게 조절할 수 있다.
일 실시예에서, 증강 현실 디바이스는 주변 환경 정보를 추가로 센싱할 수 있다. 증강 현실 디바이스는 환경 센서를 통해 주변 환경 정보를 센싱할 수 있다. 환경 센서는 증강 현실 디바이스의 위치(location), 주변 밝기, 주변 날씨, 현재 시각 등 다양한 정보를 인식할 수 있다. 환경 센서는 증강 현실 디바이스의 주변 환경 정보를 인식하기 위한 다양한 센서들을 포함할 수 있고, 다양한 센서들로부터 수집되는 데이터들을 소프트웨어적으로 분석 처리할 수 있다. 예를 들어, 환경 센서는 조도(illumination) 센서, GPS(global positioning system) 센서, 날씨 센서, 및 시계 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 증강 현실 디바이스는 센싱된 주변 환경 정보에 기초하여, 증강 현실 디바이스의 위치나 증강 현실 디바이스의 주변 조도를 식별할 수 있다. 이후, 증강 현실 디바이스는 식별된 위치나 주변 조도에 기초하여 깊이 센서로부터 방출될 방출광의 광패턴을 조절할 수 있다. 예를 들어, 증강 현실 디바이스를 착용한 사용자의 위치가 실외라고 판단되는 경우, 실내에 있는 경우에 비해 감지 거리가 길 것이 요구되므로, 방출광의 광패턴의 밀도를 낮추고 방출광이 조사되는 영역 내에서의 광밀도는 상대적으로 증가시켜 해당 영역 내에서의 광세기가 증가하도록 결정할 수 있다.
본 개시의 일 실시예에 따른 증강 현실 디바이스는, 방출광의 광패턴을 조절함으로써, 동일한 소비 전력 내에서 깊이 센서의 센싱 거리를 조절하거나, 깊이 센서의 센싱 거리와 소비 전력을 함께 조절할 수 있다. 또한, 방출광의 광패턴을 조절함으로써, 깊이 센서의 센싱 주기를 빠르게 조절하더라도 소비 전력이 늘어나는 것을 방지할 수 있다.
단계 S240에서, 증강 현실 디바이스는 결정된 광패턴으로 방출광을 방출하도록 깊이 센서를 제어할 수 있다.
일 실시예에서, 깊이 센서는 적어도 하나의 발광자(emitter)를 포함하는 광 방출부를 포함할 수 있고, 증강 현실 디바이스는 결정된 광패턴으로 방출광을 방출하도록 적어도 하나의 발광자의 동작을 제어할 수 있다. 본 개시의 일 실시예에 따른 발광자 및 발광자의 동작을 제어하는 방법에 대해서는 후술할 도 6a 및 도 6b에서 보다 상세하게 설명하기로 한다.
일 실시예에서, 광 방출부는 서로 다른 광패턴으로 방출광을 방출하는 복수의 광원(light source) 모듈들을 포함하고, 이 때, 증강 현실 디바이스는 결정된 광패턴으로 방출광을 방출하도록 복수의 광원 모듈들의 온/오프 상태를 개별적으로 제어할 수 있다. 일 실시예에서, 증강 현실 디바이스는, 복수의 광원 모듈들 중에서, 결정된 광패턴에 대응되는 광원 모듈을 선택하고, 선택한 해당 광원 모듈은 온(on) 상태로 설정하고 해당 광원 모듈을 제외한 다른 광원 모듈들은 오프(off) 상태로 설정할 수 있다. 본 개시의 일 실시예에 따른 광원 모듈 및 광원 모듈의 동작을 제어하는 방법에 대해서는 후술할 도 5에서 보다 상세하게 설명하기로 한다.
일 실시예에서, 깊이 센서는 광 방출부 및 가변 초점 렌즈를 포함할 수 있다. 예를 들어, 깊이 센서로부터 방출되는 방출광은, 광 방출부로부터 방출되어 가변 초점 렌즈를 통하여 증강 현실 디바이스의 전방 영역을 향해 방출될 수 있다. 이 때, 증강 현실 디바이스는 결정된 광패턴으로 방출광을 방출하도록 가변 초점 렌즈를 제어할 수 있다. 일 실시예에서, 광 방출부는 격자(grid array)로 배치된 적어도 하나의 발광자를 포함할 수 있다. 증강 현실 디바이스는 결정된 광패턴으로 방출광을 방출하도록 적어도 하나의 발광자의 동작을 추가로 제어할 수 있다. 일 실시예에서, 가변 초점 렌즈는 전압 인가 여부와 인가되는 전압의 세기가 개별적으로 조절될 수 있는 상부 전극을 포함하거나, 패턴화된 상부 전극을 포함할 수 있다. 본 개시의 일 실시예에 따른 가변 초점 렌즈 및 가변 초점 렌즈의 동작을 제어하는 방법에 대해서는 후술할 도 8 내지 도 13에서 보다 상세하게 설명하기로 한다.
일 실시예에서, 깊이 센서는 광 방출부 및 광 방출부로부터 방출되는 광의 방향을 제어하기 위한 액정미러(Liquid Crystal Mirror, LCM)를 포함할 수 있다. 예를 들어, 깊이 센서로부터 방출되는 방출광은, 광 방출부로부터 방출되고 액정미러에 반사되어 증강 현실 디바이스의 전방 영역을 향해 방출될 수 있다. 이 때, 증강 현실 디바이스는 결정된 광패턴으로 방출광을 방출하도록 액정미러를 제어할 수 있다. 본 개시의 일 실시예에 따른 액정미러 및 액정미러의 동작을 제어하는 방법에 대해서는 후술할 도 14 내지 도 16에서 보다 상세하게 설명하기로 한다.
단계 S250에서, 깊이 센서의 광 감지부는, 반사광을 수신할 수 있다. 일 실시예에서, 광 감지부는 방출광이 증강 현실 디바이스의 전방 영역에 위치한 적어도 하나의 물리적 대상체에 의해 반사된 반사광을 수신할 수 있다. 일 실시예에서, 광 감지부는 광 방출부에서 방출된 방출광과 동일한 타입의 빛을 감지하는 센서를 포함할 수 있고, 광 감지부에는 롤링 셔터(rolling shutter) 타입의 센서 또는 글로벌 셔터(global shutter) 타입의 센서가 적용될 수 있다.
단계 S260에서, 증강 현실 디바이스는, 방출광 및 수신된 반사광에 기초하여, 전방 영역에 대한 깊이 맵을 생성할 수 있다. 일 실시예에서, 증강 현실 디바이스는 방출광과 수신된 반사광 사이의 지연 또는 위상 시프트(phase shift)를 측정하여 빛의 이동 시간 정보를 획득하고, 이동 시간 정보를 이용하여 깊이 정보를 획득할 수 있다.
일 실시예에서, 도 1을 참조하여 전술한 바와 같이, 증강 현실 디바이스는 방출광의 광패턴에 대응되지 않는 픽셀들, 즉 깊이 센서를 통해 깊이 정보를 획득하지 못한 픽셀들에 대한 깊이 정보를 획득하기 위해, 전방 영역의 이미지를 이용할 수 있다. 전방 영역의 이미지는 전방 영역에 포함된 물체들의 에지 정보, 색상 정보 등을 포함할 수 있고, RGB 센서 등의 이미지 센서를 통해 획득될 수 있다. 일 실시예에서, 증강 현실 디바이스는 깊이 센서를 통해 획득한 깊이 맵을 이미지 센서를 통해 획득한 전방 영역 이미지에 기초해 보상(compensate)함으로써, 전체 픽셀에 대한 깊이 정보를 포함하는 깊이 맵을 획득할 수 있다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스(300)의 블록도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 증강 현실 디바이스(300)는 모션 센서(310), 깊이 센서(320), RGB 센서(330), 프로세서(350), 및 저장부(360)를 포함할 수 있다. 깊이 센서(320)는 광원 모듈(EA) 및 발광자(emitter)(E) 중 적어도 하나를 포함하는 광 방출부(321) 및 광 감지부(322)를 포함할 수 있다. 도 3에 도시된 구성 요소 모두가 증강 현실 디바이스(300)의 필수 구성 요소인 것은 아니다. 도 3에 도시된 구성 요소보다 많은 구성 요소들에 의해 증강 현실 디바이스(300)가 구현될 수도 있고, 도 3에 도시된 구성 요소보다 적은 구성 요소에 의해 증강 현실 디바이스(300)가 구현될 수도 있다.
모션 센서(310)는, 증강 현실 디바이스(300)의 모션을 센싱할 수 있다. 모션 센서(310)는 증강 현실 디바이스(300)의 움직임(movement), 수평 이동(translation), 회전(rotation), 자세(pose), 위치(position), 자세 변화 등 다양한 모션을 인식할 수 있다. 모션 센서(310)는 증강 현실 디바이스(300)의 모션을 인식하기 위한 다양한 센서들을 포함할 수 있고, 다양한 센서들로부터 수집되는 데이터들을 소프트웨어적으로 분석 처리할 수 있다. 예를 들어, 모션 센서(310)는 IMU(inertial measurement unit) 센서, GPS(global positioning system) 센서, 및 UWB(ultra-wideband) 센서 중 적어도 하나를 포함할 수 있다.
IMU 센서는 관성 측정 센서를 나타낼 수 있다. IMU 센서는 관성을 이용해 물리량을 측정할 수 있고, 가속도계(Accelerator), 자이로스코프(Gyroscope), 및 자기 측정기(Magnetometer)를 포함할 수 있다. IMU 센서는 가속도계를 통해 선형 가속도를 감지하거나 중력 가속도를 분해하여 증강 현실 디바이스(300)가 기울어진 정도를 측정할 수 있다. IMU 센서는 자이로스코프를 통해 증강 현실 디바이스(300)의 회전 속도를 감지할 수 있다. IMU 센서는 증강 현실 디바이스(300)의 이동 속도와 이동 거리를 감지한 가속도를 적분하여 산출할 수 있다. 자기 측정기는 자기 선속의 세기를 측정하여 자북을 기준으로 증강 현실 디바이스(300)가 틀어진 정도를 측정할 수 있다.
GPS 센서는 범 지구 위치 결정 시스템으로서, 인공위성에서 발신하는 마이크로파를 수신기를 통해 수신하여 위치를 결정할 수 있다. GPS 센서는 증강 현실 디바이스(300)의 위치를 측정할 수 있다. GPS 센서는 터널, 건물 내부 또는 전자적 간섭이 있을 때 사용이 제한될 수 있다. 이와 같이 GPS 센서를 사용할 수 없을 때, IMU 센서는 증강 현실 디바이스(300)의 위치 측정을 보조할 수 있다.
UWB 센서는 레이더 기반의 모션 인식 센서일 수 있다. UWB는 수 GHz 대의 UWB신호를 송출하고, 송출한 신호가 되돌아온 것을 수신하는 기능을 가지며, 신호 송출 및 수신 시간을 측정함으로써 대상체(사람이나 물체)의 존재 유무를 확인하고 대상체와의 거리를 산출할 수 있도록 한다. UWB 센서 등의 레이더 기반의 모션 인식 센서는 실시간으로 객체의 움직임 및 위치를 추적할 수 있도록 한다. UWB 센서는 근거리 및 실내와 같은 제한된 공간에서 증강 현실 디바이스(300)의 위치를 파악할 수 있다.
깊이 센서(320)는, 증강 현실 디바이스(300)의 주변에 대한 3차원 이미지 또는 깊이 정보(depth information)를 획득할 수 있다. 깊이 센서는 현실의 물리적 사물에 대한 3차원 이미지를 획득할 수 있다. 3차원 이미지는 이미지에 포함된 각 픽셀의 깊이 정보를 포함한다. 깊이 센서(또는, 3차원 깊이 카메라)(320)는 연산 카메라(computational camera)의 일종으로써, 피사체들로부터 렌즈를 통해 들어오는 이미지를 연산을 통해 재가공하여 깊이 정보를 포함하는 이미지를 생성할 수 있다. 깊이 센서(320)는 실내 매핑, 증강 현실 구현, 자율주행 장치의 개발 등에 이용될 수 있다.
깊이 센서(320)는 크게 스테레오(stereo) 타입, ToF(Time-of-Flight) 타입, 및 구조광(Structured Light, SL) 타입으로 구분될 수 있다. 스테레오 타입의 깊이 센서는, 두 개의 2차원 이미지 센서를 결합해서 입체적인 영상을 생성하는 센서로서, 피사체까지의 거리를 측정하기 위해 카메라들 사이의 시점 불일치를 이용한다. 구조광 타입의 깊이 센서는, 구조화된 빛 패턴을 피사체에 투사하고 이미지 센서를 이용하여 결과 이미지를 캡처하는 광학 3차원 스캐닝 방식을 이용한다. 구조광 타입의 깊이 센서는, 투사한 빛 패턴과 피사체에 반사되어 수신된 빛 패턴을 비교하여 패턴의 왜곡 정도를 계산하고, 패턴의 왜곡으로부터 깊이를 계산하고, 피사체의 3차원 이미지를 획득할 수 있다.
ToF 타입의 깊이 센서는, 방출광과 수신된 반사광 사이의 지연 또는 위상 시프트를 측정하여 빛의 이동 시간 정보를 획득하고, 이동 시간 정보를 이용하여 깊이 정보를 획득한다. ToF 타입의 깊이 센서에서 이용되는 광은 근적외선 스펙트럼 영역에 위치할 수 있다. ToF 타입의 깊이 센서에서 광 방출부 및 광 수신부는 인식 영역 내의 모든 물리적 대상체들까지의 거리를 측정할 수 있도록 픽셀 배열로 구성될 수 있다.
본 개시의 일 실시예에 따른 증강 현실 디바이스(300)는, ToF(Time-of-Flight) 타입의 깊이 센서(320)를 포함할 수 있다. 도 3을 참조하면, 깊이 센서(320)는 광원 모듈(EA) 및 발광자(E) 중 적어도 하나를 포함하는 광 방출부(321) 및 광 감지부(322)를 포함할 수 있다.
광 방출부(321)는, 깊이 맵의 생성 대상이 되는 영역, 예를 들어, 증강 현실 디바이스(300)의 전방 영역으로 방출광을 방출할 수 있다. 광 방출부(321)에서 방출되는 방출광은 특정한 광패턴으로 방출될 수 있다. 일 실시예에서, 광패턴은, 깊이 센서(320)의 시야(field of view, FoV) 단면 상에서 방출광이 조사되는 영역을 나타내는 패턴에 대응될 수 있다.
광 방출부(321)는 방출광을 생성하고 증강 현실 디바이스(300)의 외부로 방출하는 레이저를 포함할 수 있다. 예를 들어, 광 방출부(321)는 VCSEL(vertical-cavity surface-emitting laser)을 포함할 수 있다. VCSEL은 수직 캐비티 표면 광 방출 레이저로서, 상부 표면에 수직한 방향으로 레이저를 방출하는 반도체 레이저 다이오드의 일종일 수 있다.
일 실시예에서, 광 방출부(321)는 복수의 광원 모듈(EA)들을 포함할 수 있다. 각각의 광원 모듈(EA)은 VCSEL을 포함할 수 있다. 일 실시예에서, 복수의 광원 모듈(EA)들은 각각 서로 다른 광패턴으로 방출광을 방출할 수 있다. 복수의 광원 모듈(EA)들의 온/오프 상태는 개별적으로 제어될 수 있다. 예를 들어, 광 방출부(321)가 제1 광원 모듈 및 제2 광원 모듈을 포함할 수 있다. 제1 광원 모듈은 제1 광패턴으로 방출광을 방출할 수 있고, 제2 광원 모듈은 제2 광패턴으로 방출광을 방출할 수 있다. 제1 광원 모듈의 전원과 제2 광원 모듈의 전원은 각각 개별적으로 제어될 수 있다. 예를 들어, 제1 광패턴으로 방출광을 조사할 필요가 있는 경우, 증강 현실 디바이스(300)는 제1 광원 모듈을 온(on) 상태로 제어하고, 제2 광원 모듈을 오프(off) 상태로 제어하여, 최종적으로 증강 현실 디바이스(300)의 전방 영역으로 방출되는 방출광의 광패턴을 제1 광패턴이 되도록 할 수 있다. 일 실시예에서, 제1 광패턴 및 제2 광패턴이 결합된 제3 광패턴으로 방출광을 조사할 필요가 있는 경우, 증강 현실 디바이스(300)는 제1 광원 모듈 및 제2 광원 모듈을 모두 온(on) 상태로 제어할 수도 있다.
일 실시예에서, 광 방출부(321)는 적어도 하나의 발광자(E)를 포함할 수 있다. 발광자(E)는 점(point) 패턴의 방출광을 생성하는 점 광원 레이저를 포함할 수 있다. 일 실시예에서, 발광자(E)는 격자(grid array)로 배치될 수 있다. 일 실시예에서, 광 방출부(321)에 포함된 적어도 하나의 발광자(E)의 동작을 제어함으로써, 광 방출부(321)에서 방출되는 방출광의 광패턴을 제어할 수 있다. 예를 들어, 점 광원 레이저로 구현되는 발광자(E)의 온/오프 또는 방출되는 레이저 광의 세기(intensity)는 개별적으로 제어될 수 있다. 일 실시예에서, 광 방출부(321)는 복수의 발광자(E)들의 집합으로 볼 수 있다. 이 때, 각각의 발광자(E)의 온/오프를 개별적으로 제어함으로써, 광 방출부(321)에서 방출되는 방출광의 광패턴이 다양하게 제어될 수 있다.
광 감지부(322)는, 광 방출부(321)에서 방출된 방출광이 증강 현실 디바이스(300)의 전방 영역에 위치한 적어도 하나의 물리적 대상체(physical object)에 의해 반사된 반사광을 수신할 수 있다. 광 감지부(322)는 광 방출부(321)에서 방출된 방출광과 동일한 타입의 빛을 감지하는 센서가 포함될 수 있다. 예를 들어, 광 방출부(321)에서 적외선(IR) 광을 방출한 경우, 광 감지부(322)는 적외선을 감지할 수 있는 적외선 센서를 포함할 수 있다. 일 실시예에서, 광 감지부(322)에는 롤링 셔터(rolling shutter) 타입의 센서 또는 글로벌 셔터(global shutter) 타입의 센서가 적용될 수 있다.
RGB 센서(330) 또는 카메라(camera)는, 증강 현실 디바이스(300)의 전방 영역을 촬영할 수 있다. RGB 센서(330)는 증강 현실 디바이스(300)의 전방 영역의 RGB 이미지를 획득할 수 있다. RGB 센서(330)는 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡처된 이미지는 프로세서(350) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
저장부(360)는, 후술할 프로세서(350)에 의해 실행될 프로그램을 저장할 수 있다. 저장부(360)는 증강 현실 디바이스(300)의 동작을 제어하기 위한 적어도 하나의 명령어들(instruction)을 포함하는 프로그램을 저장할 수 있다. 저장부(360)에는 프로세서(350)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 일 실시예에서, 프로세서(350)는 저장부(360)에 저장된 프로그램의 명령어들 또는 코드들을 실행하도록 구현될 수 있다. 저장부(360)는 증강 현실 디바이스(300)로 입력되거나 증강 현실 디바이스(300)로부터 출력되는 데이터를 저장할 수 있다.
저장부(360)는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
저장부(360)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다. 예를 들어, 저장부(360)는 액티비티 식별 모듈(361), 광패턴 결정 모듈(362), 및 깊이 맵 생성 모듈(365)을 포함할 수 있다.
프로세서(350)는, 증강 현실 디바이스(300)의 전반적인 동작을 제어할 수 있다. 프로세서(350)는 본 개시의 일 실시예에 따른 동작들을 수행할 수 있다. 예를 들어, 프로세서(350)는 저장부(360)에 저장된 프로그램들을 실행함으로써, 모션 센서(310), 깊이 센서(320), RGB 센서(330), 및 저장부(360) 등을 전반적으로 제어할 수 있다.
프로세서(350)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성요소로 구성될 수 있다. 프로세서(350)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
일 실시예에서, 프로세서(350)는 저장부(360)에 저장된 하나 이상의 명령어들을 실행함으로써, 모션 센서(310)를 통해 사용자에 의해 착용된 증강 현실 디바이스(300)의 모션을 식별하고, 증강 현실 디바이스(300)의 모션에 기초하여 사용자의 액티비티(activity)를 식별하고, 액티비티에 기초하여 깊이 센서(320)로부터 방출될 방출광의 광패턴을 결정하고, 결정된 광패턴으로 방출광을 방출하도록 광 방출부(321)를 제어하고, 광 감지부(322)를 통해 방출광이 증강 현실 디바이스(300)의 전방 영역에 위치한 적어도 하나의 물리적 대상체에 반사된 반사광을 수신하고, 방출광 및 수신된 반사광에 기초하여 증강 현실 디바이스(300)의 전방 영역에 대한 깊이 맵을 생성할 수 있다.
일 실시예에서, 프로세서(350)는 저장부(360)에 저장된 프로그램들 중 액티비티 식별 모듈(361)의 적어도 하나의 명령어들을 실행함으로써, 모션 센서(310)를 통해 식별된 증강 현실 디바이스(300)의 모션에 기초하여 사용자의 액티비티(activity)를 식별할 수 있다. 일 실시예에서, 프로세서(350)는 모션 센서(310)를 통해 센싱된 모션 데이터로부터, 증강 현실 디바이스(300)의 움직임을 식별할 수 있다. 프로세서(350)는 식별된 증강 현실 디바이스(300)의 움직임으로부터, 증강 현실 디바이스(300)를 착용한 사용자의 움직임 및 포즈를 산출할 수 있다. 프로세서(350)는 산출한 사용자의 움직임 및 포즈 정보로부터 사용자의 활동의 종류를 식별할 수 있다. 일 실시예에서, 액티비티는 증강 현실 디바이스(300)의 움직임, 증강 현실 디바이스(300)를 착용한 사용자의 움직임, 증강 현실 디바이스(300)를 착용한 사용자의 포즈, 사용자의 활동의 종류, 또는 이들 중 둘 이상의 조합을 나타낼 수 있다.
일 실시예에서, 프로세서(350)는 저장부(360)에 저장된 프로그램들 중 광패턴 결정 모듈(362)의 적어도 하나의 명령어들을 실행함으로써, 사용자의 액티비티, 또는 증강 현실 디바이스(300)의 주변 환경 정보에 기초하여 식별된 증강 현실 디바이스(300)의 위치에 기초하여 깊이 센서(320)로부터 방출될 방출광의 광패턴을 결정할 수 있다. 일 실시예에서, 광패턴은, 깊이 센서(320)의 시야(field of view, FoV) 단면 상에서 방출광이 조사되는 영역을 나타내는 패턴에 대응될 수 있다. 일 실시예에서, 프로세서(350)는 사용자의 액티비티 및 증강 현실 디바이스(300)의 위치에 기초하여 방출광의 광패턴의 밀도를 조절할 수 있다. 광패턴의 밀도는, 깊이 센서(320)의 시야 단면의 면적과 깊이 센서(320)의 시야 단면 상에서 방출광이 조사되는 영역의 총 면적의 비율로 결정될 수 있다. 예를 들어, 광패턴의 밀도는 증강 현실 디바이스(300)의 전방 영역과 깊이 센서(320)를 통해 깊이 값을 측정하는 실측 영역의 비율에 대응될 수도 있다.
일 실시예에서, 깊이 센서의 광 방출부(321)가 동일한 양의 전력을 소비할 때, 광패턴의 밀도를 줄이면 방출광이 조사되는 영역의 광 세기(light intensity)는 증가하게 된다. 깊이 센서(320)에서 방출되는 방출광의 세기가 증가할 경우, 방출광이 보다 먼 거리까지 도달할 수 있으므로 깊이 감지 거리가 증가한다. 이에 따라, 정밀하게 깊이를 감지하는 것이 요구되지 않는 경우, 광패턴의 밀도를 줄임으로써 깊이 센서(320)의 감지 거리를 증가시킬 수 있다.
예를 들어, 사용자의 액티비티에 따라 사용자의 움직임이 크다고 판단되는 경우, 정밀한 깊이 감지가 크게 요구되지 않으므로, 방출광의 광패턴의 밀도를 낮추도록 결정할 수 있다. 예를 들어, 증강 현실 디바이스(300)를 착용한 사용자의 위치가 실외라고 판단되는 경우, 실내에 있는 경우에 비해 감지 거리가 길 것이 요구되므로, 방출광의 광패턴의 밀도를 낮추도록 결정할 수 있다. 프로세서(350)는, 요구되는 깊이 감지 거리 및 깊이 감지의 정밀도에 기초하여 광패턴의 밀도 조절을 결정하고, 다양한 형태로 방출광의 광패턴을 결정할 수 있다.
일 실시예에서, 프로세서(350)는 저장부(360)에 저장된 프로그램들 중 깊이 맵 생성 모듈(365)의 적어도 하나의 명령어들을 실행함으로써, 결정된 광패턴, 결정된 광 세기, 및 결정된 센싱 주기로 방출광을 방출하도록 깊이 센서(320)를 제어할 수 있다. 일 실시예에서, 프로세서(350)는 깊이 센서(320)를 제어하기 위해, 광 방출부(321)에 포함된 적어도 하나의 발광자(E)의 동작을 제어할 수 있다. 일 실시예에서, 프로세서(350)는 복수의 광원 모듈(EA)들의 온/오프 상태를 개별적으로 제어할 수도 있다. 일 실시예에서, 프로세서(350)는 방출광의 광패턴을 조절하기 위해, 광 방출부(321)에서 방출된 광이 증강 현실 디바이스(300)의 전방 영역을 향해 방출되기 전에 통과하는 가변 초점 렌즈를 제어할 수 있다. 일 실시예에서, 프로세서(350)는 광 방출부(321)로부터 방출되는 광의 방향을 제어하기 위해, 광 방출부(321)에서 방출된 광이 증강 현실 디바이스(300)의 전방 영역을 향해 방출되기 전에 반사되는 액정미러를 제어할 수 있다.
일 실시예에서, 프로세서(350)는 저장부(360)에 저장된 프로그램들 중 깊이 맵 생성 모듈(365)의 적어도 하나의 명령어들을 실행함으로써, 광 감지부(322)를 통해, 방출광이 증강 현실 디바이스(300)의 전방 영역에 위치한 적어도 하나의 물리적 대상체에 의해 반사된 반사광을 수신할 수 있다. 이후, 프로세서는 방출광 및 수신된 반사광에 기초하여 깊이 측정 영역에 대한 깊이 값을 산출하고, 산출된 깊이 값에 기초하여 증강 현실 디바이스(300)의 전방 영역에 대한 깊이 맵을 생성할 수 있다.
일 실시예에서, 프로세서(350)는 저장부(360)에 저장된 프로그램들 중 깊이 맵 생성 모듈(365)의 적어도 하나의 명령어들을 실행함으로써, 증강 현실 디바이스(300)의 전방 영역의 RGB 이미지에 기초하여 전방 영역에 대한 깊이 맵을 보상할 수 있다. RGB 이미지는 전술한 RGB 센서(330)를 통해 획득될 수 있다.
본 개시에 따른 일 실시예에서, 방출광은 전방 영역 전체를 비추는 면 광원이 아니라, 전방 영역을 부분적으로 비추는 패턴 광원일 수 있다. 증강 현실 디바이스(300)의 전방 영역은 깊이 센서(320)의 광 방출부(321)가 방출광을 조사하는 '측정 영역' 및, 전방 영역에서 측정 영역을 제외한 '미 측정 영역'으로 구분될 수 있다. 깊이 맵 상에서, 측정 영역에 대응되는 픽셀들은 깊이 센서(320)를 통해 측정된 깊이 값(depth value)이 존재하나, 미 측정 영역에 대응되는 픽셀들은 깊이 센서(320)를 통해 측정된 깊이 값이 존재하지 않는다. 일 실시예에서, 프로세서(350)는, 미 측정 영역에 대응되는 픽셀들의 깊이 값을, 인접한 측정 영역에 포함된 픽셀의 깊이 값 및 RGB 이미지의 샘플 분석을 통해 산출할 수 있다. 일 실시예에서, 프로세서(350)는 RGB 센서(330)를 통해 획득된 RGB 이미지에 기초하여, 깊이 센서(320)를 통해 생성된 깊이 맵을 보상함으로써, 전방 영역 전체에 대한 깊이 값을 포함하는 최종 깊이 맵을 생성할 수 있다.
도 4는 본 개시의 일 실시예에 따른 깊이 센서(420)의 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 증강 현실 디바이스는, ToF(Time-of-Flight) 타입의 깊이 센서(420)를 포함할 수 있다. 도 4를 참조하면, ToF 타입의 깊이 센서(420)는 광 방출부(421), 광 감지부(422), 광학부(425-1, 425-2), 기판(426), 및 하우징(427)을 포함할 수 있다. 도 4에 도시된 구성 요소 모두가 깊이 센서(420)의 필수 구성 요소인 것은 아니다. 도 4에 도시된 구성 요소보다 많은 구성 요소들에 의해 깊이 센서(420)가 구현될 수도 있고, 도 4에 도시된 구성 요소보다 적은 구성 요소에 의해 깊이 센서(420)가 구현될 수도 있다.
도 4의 광 방출부(421)는 전술한 도 3의 광 방출부(321)에 대응될 수 있다. 도 4의 광 감지부(422)는 전술한 도 3의 광 감지부(322)에 대응될 수 있다. 도 4를 참조하면, 하나의 광 방출부(421) 및 하나의 광 감지부(422)는 동일 레벨에서 나란히 배치될 수 있으나, 이와 같은 배치에 한정되는 것은 아니며, 광 방출부(421) 및 광 감지부(422)의 개수 및 배치는 다양하게 구성될 수 있다.
"간접(indirect)형" 또는 "ToF 타입"으로 지칭되는 깊이 센서(420)는, 변조된 광파(modulated light wave, 변조광)(Tx)를 방출하기 위해 광 방출부(421)를 사용하고, 변조광은 정현파, 펄스 트레인, 또는 다른 주기적인 파형을 가질 수 있다. ToF 타입의 깊이 센서(420)는, 깊이 맵을 획득하고자하는 장면(scene) 내에 포함된 객체들의 표면으로부터 반사된 변조광(Rx)을 검출할 수 있다. ToF 타입의 깊이 센서(420)는 방출된 변조광(Tx)과 수신된 변조광(Rx) 사이의 위상차를 측정하여, 깊이 센서(420)와 장면 내에 포함된 객체 사이의 물리적 거리를 산출할 수 있다. 특정 거리에 대해, 방출된 변조광(Tx)과 수신된 변조광(Rx) 사이의 위상차는 변조광의 변조 주파수(modulating frequency)에 비례할 수 있다. 깊이 센서(420)는 장면의 모든 픽셀에 대해 변조된 광 신호의 지연 또는 위상 변화를 측정하여 이동시간 정보를 획득한다. 깊이 센서(420)에서 깊이 정보 측정을 위해 방출하는 광 신호(Tx)는 근적외선 스펙트럼 영역에 위치할 수 있다. 깊이 센서(420)에서 방출되는 방출광(Tx)은 장면의 각각의 픽셀에 대해 깊이 정보를 측정할 수 있도록, 픽셀 배열(pixel array)로 구성될 수 있다.
일 실시예에서, 증강 현실 디바이스는 ToF 타입의 깊이 센서(420)를 통해 각각의 픽셀에서 방출된 방출광에 대한 수신된 반사광의 시간 지연을 측정하며, 방출광 대비 반사광의 위상 변화 및 시간 경과에 기초하여 각각의 픽셀에 대한 깊이 정보가 측정될 수 있다. 본 개시에서, "깊이(depth)"는, 이미지 센서의 xy 평면에 수직인 방향의 거리인 z방향 성분이라기 보다는, 표면 지점으로부터 깊이 센서의 기준점까지의 거리를 대략적으로 의미할 수 있다. 본 개시에서 "깊이" 및 "거리(distance)"는 ToF 측정값을 설명할 때 서로 혼용하여 사용될 수 있다.
도 4를 참조하면, 광학부는 제1 광학부(425-1) 및 제2 광학부(425-2)를 포함할 수 있다. 제1 광학부(425-1)는 광 방출부(421)에서 방출된 방출광이 공간적으로 균일한 광세기를 갖도록, 방출광을 분산시킬 수 있다. 일 실시예에서, 제1 광학부(425-1)는 광을 분산시키기 위한 복수의 마이크로 렌즈(micro-lens) 및 회절소자 (DOE) 를 포함할 수 있다. 회절소자 및 복수의 마이크로 렌즈는 공간상에 정해진 화각 및 빔 프로파일(beam profile)을 갖도록 광을 분산시킬 수 있다. 일 실시예에서 제2 광학부(425-2)는 객체로부터 반사된 반사광을 광 감지부(422)로 모아줄 수도 있으며, 마이크로 렌즈를 활용하여 광 수집 효율을 높일 수 있다. 일 실시예에서, 제1 광학부(425-1) 및 제2 광학부(425-2)는 도 4에 도시된 바와 같이 별도로 구성될 수도 있으나, 연속된 단일한 구성으로 구현될 수도 있다.
기판(426) 상에는 광 방출부(421), 광 감지부(422) 및 깊이 센서(420)의 다양한 부품들이 실장될 수 있다. 기판(426)은 광 방출부(421), 광 감지부(422), 및 다양한 부품들과 외부 회로를 연결하며, 외부 충격으로부터 깊이 센서(420)의 다양한 구성 요소들을 보호하고 지지할 수 있다. 예를 들어, 기판(426)은 인쇄회로기판(PCB, printed circuit board) 또는 실리콘 재배선층과 같은 실리콘 기판을 포함할 수 있다.
하우징(427)은 기판(426)의 상부 및 깊이 센서(420)의 구성 요소들을 덮을 수 있다. 하우징(427)은 깊이 센서(420)의 구성 요소들을 외부 환경으로부터 보호하며, 몰드(mold) 공정에 의해 생성될 수 있다. 하우징(427)은 에폭시몰딩컴파운드(EMC) 또는 투명몰딩컴파운드(clear molding compound, CMC)를 포함할 수 있다. 일 실시예에서, 하우징(427)은 생략될 수도 있다. 도 4를 참조하면, 깊이 센서(420)는 광 방출부(421)에 대응되는 제1 광학부(425-1) 및 광 감지부(422)에 대응되는 제2 광학부(425-2) 사이에 배치된 돌출부(427-1)를 더 포함할 수 있다. 돌출부(427-1)는 광 방출부(421)에서 방출된 방출광이 곧바로 광 감지부(422)에 도달하는 노이즈를 방지할 수 있다.
도 5는 본 개시의 일 실시예에 따른 깊이 센서(520)를 도시한 도면이다.
도 5를 참조하면, 깊이 센서(520)는 복수의 광원 모듈들(521-1, ..., 521-n)을 포함하는 광 방출부, 광 감지부(522), 광학부(525-1, 525-2), 기판(526), 및 하우징(527)을 포함할 수 있다. 도 5에 도시된 구성 요소 모두가 깊이 센서(520)의 필수 구성 요소인 것은 아니다. 도 5에 도시된 구성 요소보다 많은 구성 요소들에 의해 깊이 센서(520)가 구현될 수도 있고, 도 5에 도시된 구성 요소보다 적은 구성 요소에 의해 깊이 센서(520)가 구현될 수도 있다. 도 5의 광 감지부(522), 광학부(525-1, 525-2), 기판(526), 하우징(527), 및 돌출부(527-1)는 각각 전술한 도 4의 광 감지부(422), 광학부(425-1, 425-2), 기판(426), 하우징(427), 및 돌출부(427-1)에 대응될 수 있다.
도 5를 참조하면, 광 방출부는 복수의 광원 모듈들(521-1, ..., 521-n)을 포함할 수 있다. 각각의 광원 모듈(EA)은 복수의 발광자(emitter, E)들을 포함할 수 있다. 하나의 광원 모듈(EA)은 복수의 발광자(E)들의 배열(array)로 구현될 수 있다. 예를 들어, 발광자(E)는 VCSEL을 포함할 수 있다. 일 실시예에서, 복수의 광원 모듈들(521-1, ..., 521-n)은 각각 서로 다른 방출광 패턴을 가질 수 있다. 즉, 복수의 광원 모듈(EA)들은 서로 다른 광패턴으로 방출광을 방출할 수 있다.
도 5를 참조하면, 깊이 센서(520)는 n개의 광원 모듈(EA)을 포함할 수 있다. 예를 들어, 깊이 센서(520)는 제1 광원 모듈(521-1), 제2 광원 모듈, ..., 및 제n 광원 모듈(521-n)을 포함할 수 있다. 제1 광원 모듈(521-1)에 포함된 발광자(E)의 개수와 제n 광원 모듈(521-n)에 포함된 발광자(E)의 개수는 서로 다를 수 있고, 제1 광원 모듈(521-1)의 발광자(E) 어레이와 제n 광원 모듈(521-n)의 발광자(E) 어레이는 서로 다를 수 있다.
일 실시예에서, 복수의 광원 모듈들(521-1, ..., 521-n)의 온/오프 상태는 개별적으로 제어될 수 있다. 예를 들어, 제1 광원 모듈(521-1)은 제1 광패턴으로 방출광을 방출할 수 있고, 제n 광원 모듈(521-n)은 제n 광패턴으로 방출광을 방출하는 경우, 제1 광원 모듈(521-1)의 전원과 제n 광원 모듈(521-n)의 전원은 각각 개별적으로 제어될 수 있다. 예를 들어, 제1 광패턴으로 방출광을 조사할 필요가 있는 경우, 증강 현실 디바이스는 제1 광원 모듈(521-1)을 온(on) 상태로 제어하고, 제n 광원 모듈(521-n)을 오프(off) 상태로 제어하여, 최종적으로 증강 현실 디바이스의 전방 영역으로 방출되는 방출광의 광패턴을 제1 광패턴이 되도록 할 수 있다. 일 실시예에서, 제1 광패턴 및 제2 광패턴이 결합된 제3 광패턴으로 방출광을 조사할 필요가 있는 경우, 증강 현실 디바이스는 제1 광원 모듈(521-1) 및 제2 광원 모듈(521-2)을 온(on) 상태로 제어하고, 그 밖의 광원 모듈들을 오프(off) 상태로 제어할 수도 있다.
일 실시예에서, 복수의 광원 모듈들(521-1, ..., 521-n)에 대응되는 제1 광학부(525-1)는 도 5에 도시된 바와 같이 연속된 단일한 구성으로 구현될 수도 있으나, n개의 광원 모듈들 각각에 하나의 제1 광학부(525-1)가 대응될 수 있도록 n개로 구성될 수도 있고, 적어도 하나의 광원 모듈에 하나의 제1 광학부(525-1)가 대응되도록 구성될 수도 있다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 깊이 센서의 광 방출부를 설명하기 위한 도면이다.
본 개시에서 광 방출부는, ToF 타입의 깊이 센서에서 깊이 정보 측정을 위한 방출광을 생성하는 구성을 나타낸다. 본 개시에서 발광자(E)는 레이저 등 방출광을 생성하는 하나의 유닛을 나타내고, 광원 모듈은 복수개의 발광자(E)들이 배열되어 형성된 발광자 어레이(emitter array)를 나타낸다. 일 실시예에서, 복수의 발광자(E)들의 배열은 하나의 광원 모듈을 구성할 수 있다. 일 실시예에서, 광 방출부는 하나의 광원 모듈로 구성될 수도 있고, 전술한 도 5와 같이 복수의 광원 모듈들로 구성될 수도 있다.
일 실시예에서, 발광자(E)는 점(point) 패턴의 방출광을 생성하는 점 광원 레이저(예를 들어, VCSEL)를 포함할 수 있다. 일 실시예에서, 복수의 발광자(E)는 격자(grid array)로 배치되어 하나의 광원 모듈 또는 하나의 광 방출부를 구성할 수 있다. 예를 들어, 복수의 발광자(E)는 사각 격자 또는 육각 격자(허니콤 어레이)로 배치될 수 있다. 일 실시예에서, 증강 현실 디바이스는 광 방출부에 포함된 적어도 하나의 발광자(E)의 동작을 제어함으로써, 광 방출부에서 방출되는 방출광의 광패턴을 제어할 수 있다. 일 실시예에서, 광 방출부에 포함된 발광자(E)는 기 설정된 개수 별로 연결되어 있을 수 있다. 이 경우, 증강 현실 디바이스는 기 설정된 개수의 발광자(E) 세트 별로 동작을 제어함으로써 깊이 센서의 광 방출부를 제어할 수 있다.
도 6a를 참조하면, 일 실시예에서 광원 모듈(EA1)은 4*16=64 개의 발광자(E)를 포함할 수 있다. 발광자(E)들은 허니콤 어레이로 배치될 수 있고, 4개의 발광자(E)마다 하나의 패드(pad, P)로 연결될 수 있다. 발광자(E)에는 패드(P)를 통해 전원이 공급될 수 있다. 도 6a에 도시된 광원 모듈(EA1)을 포함하는 증강 현실 디바이스는, 4개의 발광자(E) 마다 온/오프 또는 방출되는 광의 세기를 제어할 수 있다. 예를 들어, 4개의 발광자들(E11, E12, E13, E14)은 제1 패드(P1)에 연결될 수 있고, 다른 4개의 발광자들(E21, E22, E23, E24)은 제2 패드(P2)에 연결될 수 있다. 일 실시예에서, 증강 현실 디바이스는 제1 패드(P1)에 연결된 발광자들에게 전원을 공급하고(온 상태로 제어하고), 제2 패드(P2)에 연결된 발광자들에는 전원을 공급하지 않도록(오프 상태로 제어), 광원 모듈(EA1)을 제어할 수 있다.
도 6b를 참조하면, 일 실시예에서 광원 모듈(EA2)은 13개의 발광자(E)를 포함할 수 있다. 발광자(E)들은 허니콤 어레이로 배치될 수 있고, 각각의 발광자(E)마다 하나의 패드(P)로 연결될 수 있다. 도 6b에 도시된 광원 모듈(EA2)을 포함하는 증강 현실 디바이스는, 각각의 발광자(E) 마다 온/오프 또는 방출되는 광의 세기를 제어할 수 있다. 예를 들어, 제1 발광자(E1)는 제1 패드(P1)에 연결될 수 있고, 제2 발광자(E2)는 제2 패드(P2)에 연결될 수 있다. 일 실시예에서, 증강 현실 디바이스는 제1 패드(P1)에 연결된 제1 발광자(E1)에 전원을 공급하고(온 상태로 제어하고), 제2 패드(P2)에 연결된 제2 발광자(E2)에는 전원을 공급하지 않도록(오프 상태로 제어), 광원 모듈(EA2)을 제어할 수 있다.
이와 같이, 점 광원 레이저로 구현되는 발광자(E)의 온/오프 상태 또는 발광자(E)에서 방출되는 레이저 광의 세기(intensity)는 연결된 패드에 따라 개별적으로 제어될 수 있다. 광 방출부는 복수의 발광자(E)들의 집합으로 볼 수 있다. 이 때, 각각의 발광자(E)의 온/오프 상태 및 방출되는 광의 세기를 개별적으로 제어함으로써, 광 방출부에서 방출되는 방출광의 광패턴이 다양하게 제어될 수 있다. 하나의 패드에 연결된 발광자(E)의 개수가 적을수록 광 방출부에서 방출되는 방출광의 광패턴을 다양하게 제어할 수 있다. 예를 들어, 도 6b와 같이 전원을 공급하는 패드와 발광자(E)가 1대1로 연결되어 있는 경우는, 패드와 발광자(E)가 1대4로 연결된 도 6a의 경우보다 다양한 패턴을 갖는 방출광을 생성할 수 있다.
도 7은 본 개시의 일 실시예에 따른 깊이 센서의 방출광의 광패턴(light pattern, LP)을 설명하기 위한 도면이다.
방출광의 패턴(pattern)이란, 전방 영역 내에서 깊이 센싱을 위한 빛이 조사되는 영역에 의해 정의될 수 있다. 예를 들어, 광패턴은 증강 현실 디바이스로부터 특정 거리에 위치한 클리핑 평면(clipping plane, 절단면) 상에 깊이 센서의 광 방출부로부터 방출된 방출광이 조사되는 영역을 나타낼 수 있다. 예를 들어, 광패턴은, 깊이 센서의 시야(field of view, FoV) 단면 상에서 방출광이 조사되는 영역을 나타내는 패턴에 대응될 수도 있다. 방출광의 패턴 밀도는, 깊이 센서의 클리핑 평면의 면적과, 깊이 센서의 클리핑 평면 상에서 방출광이 조사되는 영역의 총 면적의 비율로 결정될 수 있다. 예를 들어, 방출광의 패턴 밀도는 증강 현실 디바이스의 전방 영역과 깊이 센서를 통해 깊이 값을 측정하는 실측 영역의 비율에 대응될 수도 있다.
제1 광패턴(LP1)은 깊이 센서의 시야 전체로 방출광을 조사하는 실시예에서의 광패턴을 도시한다. 제1 광패턴(LP1)을 갖는 방출광을 조사하는 경우, 증강 현실 디바이스는 깊이 센서 만을 통해 모든 픽셀에 대해 깊이 정보를 갖는 깊이 맵을 생성할 수 있다.
제2 광패턴(LP2), 제4 광패턴(LP4), 및 제7 광패턴(LP7)은 복수의 라인(line) 형태를 갖는 광패턴을 도시한다. 제2 광패턴(LP2), 제4 광패턴(LP4), 및 제7 광패턴(LP7)과 유사한 형태의 광패턴은 도 6a에 도시된 것과 유사한 광원 모듈에서 일부 패드(P)에만 전원을 공급하거나, 후술할 가변 초점 렌즈의 굴절률을 1차원으로 조절하는 경우에 생성될 수 있다.
제3 광패턴(LP3), 제5 광패턴(LP5), 및 제6 광패턴(LP6)은 제1 광패턴(LP1)으로부터 패턴 밀도가 일정한 규칙을 가지며 감소된 광패턴을 도시한다. 제3 광패턴(LP3), 제5 광패턴(LP5), 및 제6 광패턴(LP6)과 유사한 형태의 광패턴은 광 방출부에 포함된 발광자(E)의 온/오프를 조절하거나, 후술할 가변 초점 렌즈의 굴절률을 2차원으로 조절하는 경우에 생성될 수 있다.
제8 광패턴(LP8)은 제1 광패턴(LP1)으로부터 패턴 밀도가 특별한 규칙없이 감소된 광패턴을 도시한다. 제8 광패턴(LP8)과 유사한 형태의 광패턴은 광 방출부에 포함된 발광자(E)의 온/오프를 조절하는 경우에 생성될 수 있다.
제9 광패턴(LP9)은 깊이 센서의 시야 일부분에 대해서는 전체로 방출광을 조사하고, 다른 일부분에 대해서는 감소된 패턴 밀도를 갖는 방출광을 조사하는 실시예에서의 광패턴을 도시한다. 제9 광패턴(LP9)과 유사한 형태의 광패턴은 도 10에서 후술할 가변 초점 렌즈를 제어하는 경우에 생성될 수 있다.
한편, 도 7에 도시된 광패턴들 및 광패턴의 생성 방법은 예시적인 실시예에 해당하며, 이에 한정되지 않은 다양한 패턴의 방출광이 다양한 방법으로 생성될 수 있다. 예를 들어, 특정한 광패턴은 발광자(E)의 온/오프 또는 세기의 개별적 조절, 및 가변 초점 렌즈 또는 액정미러의 조절의 다양한 조합으로부터 생성될 수도 있다.
도 8은 본 개시의 일 실시예에 따른 깊이 센서(820)를 도시한 도면이다.
도 8을 참조하면, 깊이 센서(820)는 광 방출부(821), 광 감지부(822), 가변 초점 렌즈(823-1, 823-2), 광학부(825-1, 825-2), 기판(826), 및 하우징(827)을 포함할 수 있다. 도 8에 도시된 구성 요소 모두가 깊이 센서(820)의 필수 구성 요소인 것은 아니다. 도 8에 도시된 구성 요소보다 많은 구성 요소들에 의해 깊이 센서(820)가 구현될 수도 있고, 도 8에 도시된 구성 요소보다 적은 구성 요소에 의해 깊이 센서(820)가 구현될 수도 있다. 도 8의 광 방출부(821), 광 감지부(822), 광학부(825-1, 825-2), 기판(826), 및 하우징(827)은 각각 전술한 도 4의 광 방출부(421), 광 감지부(422), 광학부(425-1, 425-2), 기판(426), 및 하우징(427)에 대응될 수 있다.
가변 초점 렌즈(823-1, 823-2)는, 가변적인 초점을 갖는 렌즈로서, 방출광의 광패턴을 제어하는 동작에 이용될 수 있다. 예를 들어, 가변 초점 렌즈(823-1, 823-2)는 LC렌즈(liquid crystal lens, 액정렌즈), 액체막 렌즈(liquid membrane lens), 전기 습윤 렌즈(liquid wetting lens), 또는 알바레즈 렌즈(Alvarez lens)를 포함할 수 있다. 예를 들어, 가변 초점 렌즈(823-1, 823-2)는, 플렉시블한 플라스틱 막(flexible plastic membrane)이 투명한 유체(transparent fluid)를 감싸는 형태로 구현될 수 있다. 또한, 가변 초점 렌즈(823-1, 823-2)에 가해지는 전기적 신호에 따라 가변 초점 렌즈(823-1, 823-2) 내의 유체가 이동함으로써, 가변 초점 렌즈(823-1, 823-2)의 굴절률(diopter)이 변경될 수 있다.
도 8을 참조하면, 가변 초점 렌즈는 제1 가변 초점 렌즈(823-1) 및 제2 가변 초점 렌즈(823-2)를 포함할 수 있다. 일 실시예에서, 깊이 센서(820)로부터 방출되는 방출광은, 광 방출부(821)로부터 방출되어 제1 가변 초점 렌즈(823-1)를 통하여 증강 현실 디바이스의 전방 영역을 향해 방출될 수 있다. 따라서, 제1 가변 초점 렌즈(823-1)의 굴절률을 변경함으로써, 광 방출부(821)에서 방출된 광의 광패턴을 조절하여 전방 영역으로 출력할 수 있다. 일 실시예에서, 광 방출부(821)는, 애플리케이션에서 요구되는 광패턴과 일치하지 않는 패턴을 갖는 광을 방출할 수 있다. 이 때, 제1 가변 초점 렌즈(823-1)를 제어함으로써, 최종적으로 증강 현실 디바이스 외부로 방출될 방출광의 광패턴이 애플리케이션에서 요구되는 광패턴과 일치하도록 조절할 수 있다.
일 실시예에서, 대상체에서 반사된 반사광은, 제2 가변 초점 렌즈(823-2)를 통해 광 감지부(822)로 수신될 수 있다. 따라서, 제2 가변 초점 렌즈(823-2)의 굴절률을 변경함으로써, 광 감지부(822)로 반사광을 모아주고, 광 감지부(822)의 광 수집 효율을 높일 수 있다.
일 실시예에서, 광 감지부(822)에 대응되는 제2 가변 초점 렌즈(823-2)는 생략될 수 있다. 예를 들어, 가변 초점 렌즈는 방출광의 패턴을 조절하는 동작에만 이용될 수 있다. 광 감지부(822)에 대응되는 제2 가변 초점 렌즈(823-2)가 생략될 경우, 방출광이 적어도 하나의 대상체에 의해 반사된 반사광은, 투명한 하우징(827) 또는 제2 광학부(825-2) 중 적어도 하나를 통과하여 광 감지부(822)로 수신될 수 있다.
제2 가변 초점 렌즈(823-2)를 포함하는 실시예에서, 제1 가변 초점 렌즈(823-1) 및 제2 가변 초점 렌즈(823-2)는 도 8에 도시된 바와 같이 별도로 구성될 수도 있으나, 연속된 단일한 구성으로 구현될 수도 있다.
도 9는 본 개시의 일 실시예에 따른 깊이 센서의 방출광의 광패턴을 결정하는 동작을 설명하기 위한 도면이다.
가변 초점 렌즈(variable focus lens)(9a, 9b)는, 가변적인 초점을 갖는 렌즈이다. 예를 들어, 가변 초점 렌즈(9a, 9b)는 LC렌즈(liquid crystal lens, 액정렌즈), 액체막 렌즈(liquid membrane lens), 전기 습윤 렌즈(liquid wetting lens), 또는 알바레즈 렌즈(Alvarez lens)를 포함할 수 있다. 예를 들어, LC렌즈는 전기 신호에 의해 조절되는 가변적인 굴절률을 갖는 렌즈이다.
도 9를 참조하면, 가변 초점 렌즈(9a, 9b)는 상부 전극(901), 하부 전극(902), 및 액정 레이어(903)을 포함할 수 있다. 액정 레이어(903)는 상부 전극(901) 및 하부 전극(902) 사이에 배치될 수 있고, 복수의 마이크로 렌즈(904)를 포함할 수 있다. 도 9에서는, 편의상 액정 레이어(903)가 3개의 마이크로 렌즈(904)를 포함하는 것으로 도시하였으나, 액정 레이어(903)는 복수의 마이크로 렌즈(904)들을 포함할 수 있다.
상부 전극(901) 및 하부 전극(902)은 빛이 투과할 수 있도록 투명한 전극으로 구성될 수 있다. 특히, 상부 전극(901) 및 하부 전극(902)은 깊이 센서의 광 방출부에서 생성된 방출광이 상부 전극(901) 및 하부 전극(902)을 투과할 수 있도록 구성될 수 있다. 예를 들어, 상부 전극(901) 및 하부 전극(902)은 투명한 ITO(indium tin oxide, 인듐 주석 산화물) 전극으로 구성될 수 있으나 이에 한정되는 것은 아니다.
일 실시예에서, 상부 전극(901) 및 하부 전극(902) 간에 기 설정된 임계 값 이상의 전압이 인가될 수 있다. 이 경우, 상부 전극(901) 및 하부 전극(902) 사이에 배치된 액정 레이어(903) 내의 복수의 마이크로 렌즈(904)의 배열이 변화하고, 액정 레이어(903)의 굴절률이 변동될 수 있다. 즉, 액정 레이어(903)의 초점 거리(focal length)가 변화할 수 있다.
도 9를 참조하면, 가변 초점 렌즈(9a)의 상부 전극(901) 및 하부 전극(902) 간에 전압이 인가되지 않거나 임계 값보다 작은 전압이 인가될 경우, 마이크로 렌즈(904)들의 배열이 변화하지 않고, 따라서, 가변 초점 렌즈(9a)로 입력된 빛(Li)은, 그대로 가변 초점 렌즈(9a)를 통과하여 출력될 수 있다(Lo1). 한편, 가변 초점 렌즈(9b)의 상부 전극(901) 및 하부 전극(902) 간에 임계 값 이상의 전압이 인가될 경우, 마이크로 렌즈(904)들의 배열이 변화하고, 따라서, 가변 초점 렌즈(9b)로 입력된 빛(Li)은, 초점 및 방향이 변경되어 출력될 수 있다(Lo2).
본 개시의 일 실시예에 따른 증강 현실 디바이스는, 도 9에 도시된 바와 같이, 깊이 센서에 포함된 가변 초점 렌즈(9a, 9b)의 상부 전극(901) 및 하부 전극(902) 간에 인가되는 전압을 조절함으로써, 증강 현실 디바이스의 전방 영역의 깊이 센싱을 위한 방출광의 광패턴을 조절할 수 있다.
도 10 및 도 11은 본 개시의 일 실시예에 따른 깊이 센서의 가변 초점 렌즈를 설명하기 위한 도면이다.
도 10 및 도 11은 각각 본 개시의 일 실시예에 의한 가변 초점 렌즈에서, 전극(1001, 1002, 1101)을 도시한다. 도 10 또는 도 11에 도시된 전극(1001, 1002, 1101)은 전술한 도 9의 상부 전극(901) 또는 하부 전극(902)에 적용될 수 있다.
도 10을 참조하면, 가변 초점 렌즈의 전극은 복수의 전극 유닛(PE1, PE2, PE3)들을 포함할 수 있다. 복수의 전극 유닛(PE1, PE2, PE3)은 다양한 형태를 가질 수 있다. 일 실시예에서, 복수의 전극 유닛(PE1, PE2, PE3)들 중 일부는 동일한 전위를 갖도록 서로 쇼트(short)되어 있을 수 있고, 복수의 전극 유닛(PE1, PE2, PE3)들 전부가 서로 절연되어 있을 수도 있다. 일 실시예에서, 서로 절연되어 있는 복수의 전극 유닛(PE1, PE2, PE3)들에 서로 다른 전압을 인가할 경우, 가변 초점 렌즈의 액정 레이어(도 9의 903)의 부분 별로 서로 다른 전기장을 인가할 수 있다. 즉, 일 실시예에서, 가변 초점 렌즈의 전극의 패턴(전극 유닛의 개수, 모양, 및 배치에 따라 결정되는)에 따라 다양한 패턴의 전기장을 생성할 수 있고, 나아가 가변 초점 렌즈를 통과하는 방출광을 다양한 패턴으로 조절할 수 있다. 도 10과 같이, 가변 초점 렌즈의 전극(1001, 1002)이 서로 다른 전압을 인가할 수 있는 복수의 전극 유닛(PE1, PE2, PE3)들을 포함하는 경우, 방출광의 패턴을 픽셀 별로 정교하게 제어할 수 있다.
도 11을 참조하면, 가변 초점 렌즈의 전극(1101)은 단일한 전극 유닛으로 구성될 수도 있다. 이 경우, 전극(1101) 내의 모든 지점에서 동일한 전위를 가질 수 있다. 가변 초점 렌즈의 전극(1101)은 다양한 패턴으로 형상화 될 수 있다. 가변 초점 렌즈의 전극(1101)의 패턴에 따라 다양한 패턴의 전기장을 생성할 수 있고, 나아가 가변 초점 렌즈를 통과하는 방출광을 다양한 패턴으로 조절할 수 있다.
도 12는 본 개시의 일 실시예에 따른 깊이 센서의 방출광의 광패턴을 결정하는 동작을 설명하기 위한 도면이다.
도 12는 전술한 도 11의 전극(1101)을 상부 전극(1201)으로 포함하는 가변 초점 렌즈(1200)를 도시한다. 도 12를 참조하면, 가변 초점 렌즈(1200)는 상부 전극(1201), 하부 전극(1202), 액정 레이어(1203), 및 마이크로 렌즈(1204)를 포함할 수 있다. 도 12의 상부 전극(1201), 하부 전극(1202), 액정 레이어(1203), 및 마이크로 렌즈(1204)는 각각 전술한 도 9의 상부 전극(901), 하부 전극(902), 액정 레이어(903), 및 마이크로 렌즈(904)에 대응될 수 있다.
일 실시예에서, 하부 전극(1202)과 특정 패턴으로 형상화된 상부 전극(1201) 간에 임계 값 이상의 전압이 인가될 수 있다. 이 경우, 상부 전극(1201) 및 하부 전극(1202) 사이에 배치된 액정 레이어(1203) 내의 복수의 마이크로 렌즈(1204)의 배열이 변화하고, 액정 레이어(1203)의 굴절률이 변동될 수 있다. 즉, 액정 레이어(1203)의 초점 거리(focal length)가 변화할 수 있다.
본 개시의 일 실시예에 따른 증강 현실 디바이스는, 도 12에 도시된 바와 같이, 깊이 센서에 포함된 가변 초점 렌즈(1200)의 상부 전극(1201)의 패턴 및 형상화된 상부 전극(1201)과 하부 전극(1202) 간에 인가되는 전압을 조절함으로써, 깊이 센서로부터 방출되는 방출광의 광패턴을 다양하게 조절할 수 있다.
도 13은 본 개시의 일 실시예에 따른 깊이 센서의 가변 초점 렌즈(1300)를 설명하기 위한 도면이다.
도 13을 참조하면, 본 개시의 일 실시예에 따른 가변 초점 렌즈(1300)는 상부 전극(1301), 하부 전극(1302), 액정 레이어(1303), 및 폴리머 레이어(1305)를 포함할 수 있다. 도 13의 상부 전극(1301), 하부 전극(1302), 및 액정 레이어(1303)는 각각 전술한 도 9의 상부 전극(901), 하부 전극(902), 및 액정 레이어(903)에 대응될 수 있다. 도 13의 액정 레이어(1303)는 복수의 마이크로 렌즈를 포함할 수 있다.
가변 초점 렌즈(1300)는 패턴화된 전극(1301, 1302) 구조나 기판 표면에 형성된 굴곡 구조를 이용하여 액정 레이어(1303) 내의 굴절률 분포를 조절함으로써, 가변 초점 렌즈(1300)의 집광 특성을 조절할 수 있다. 도 13을 참조하면, 가변 초점 렌즈(1300)가 액정 레이어(1303)의 상부에 배치된 폴리머 레이어(1305)를 포함하는 경우, 액정 레이어(1303) 및 폴리머 레이어(1305) 사이의 경계면의 패턴에 따라 가변 초점 렌즈(1300)의 집광 특성이 추가로 조절될 수 있다.
일 실시예에서, 액정 레이어(1303) 및 폴리머 레이어(1305)를 포함하는 가변 초점 렌즈(1300)는, 상부 전극(1301) 또는 하부 전극(1302)의 전극 유닛을 통해 액정 레이어(1303)에 인가되는 전압을 조절함으로써, 액정 레이어(1303) 내의 마이크로 렌즈 어레이의 배열, 액정 레이어(1303)과 폴리머 레이어(1305) 사이의 경계면 패턴, 및 폴리머 레이어(1305)의 굴절률에 기초하여, 가변 초점 렌즈(1300)를 통과하여 방출되는 방출광의 광패턴을 결정할 수 있다.
도 14는 본 개시의 일 실시예에 따른 깊이 센서(1420)를 도시한 도면이다.
도 14를 참조하면, 깊이 센서(1420)는 광 방출부(1421), 광 감지부(1422), 액정미러(1424), 광학부(1425), 기판(1426), 하우징(1427), 커버 윈도우(1428), 및 반사판(1429)을 포함할 수 있다. 도 14에 도시된 구성 요소 모두가 깊이 센서(1420)의 필수 구성 요소인 것은 아니다. 도 14에 도시된 구성 요소보다 많은 구성 요소들에 의해 깊이 센서(1420)가 구현될 수도 있고, 도 14에 도시된 구성 요소보다 적은 구성 요소에 의해 깊이 센서(1420)가 구현될 수도 있다. 도 14의 광 방출부(1421), 광 감지부(1422), 광학부(1425), 기판(1426), 및 하우징(1427)은 각각 전술한 도 4의 광 방출부(421), 광 감지부(422), 광학부(425-1, 425-2), 기판(426), 및 하우징(427)에 대응될 수 있다.
액정미러(1424)는, 반사되는 빛의 궤적을 제어할 수 있는 미러로서, 본 개시의 일 실시예에서 방출광의 광패턴을 제어하는 동작에 이용될 수 있다. 예를 들어, 액정미러(1424)는 나노 입자를 이용한 메타표면(meta-surface) 물질을 포함할 수 있다. 액정미러(1424)에 가해지는 전기적 신호에 따라 액정미러(1424)로 입사하는 광의 광학적 특성을 제어할 수 있다. 예를 들어, 액정미러(1424)를 통해 반사광의 진폭과 위상을 조절할 수 있고, 원하는 형태로 입사광의 방향 또는 파면을 조절할 수 있다.
일 실시예에서, 깊이 센서(1420)로부터 방출되는 방출광은, 광 방출부(1421)로부터 방출되고, 액정미러(1424)에 반사되어 증강 현실 디바이스의 전방 영역을 향해 방출될 수 있다. 따라서, 액정미러(1424)를 제어함으로써, 광 방출부(1421)에서 방출된 광의 광패턴을 조절하여 전방 영역으로 출력할 수 있다. 일 실시예에서, 광 방출부(1421)는, 애플리케이션에서 요구되는 광패턴과 일치하지 않는 패턴을 갖는 광을 방출할 수 있다. 이 때, 액정미러(1424)를 제어함으로써, 최종적으로 증강 현실 디바이스 외부로 방출될 방출광의 광패턴이 애플리케이션에서 요구되는 광패턴과 일치하도록 조절할 수 있다.
커버 윈도우(1428)는, 방출광이 깊이 센서(1420) 외부로 방출될 수 있도록 투명한 재질로 구성될 수 있다. 일 실시예에서, 커버 윈도우(1428)는 광학부(1425)의 기능을 포함할 수도 있다. 일 실시예에서, 하우징(1427)이 투명몰딩컴파운드(CMC) 등 투명한 재질로 구성된 경우, 커버 윈도우(1428)는 생략될 수 있다.
반사판(1429)은, 광 방출부(1421)에서 방출된 광이 액정미러(1424)로 입사 될 수 있도록 광 방출부(1421)에서 방출된 광의 방향을 전환할 수 있다. 일 실시예에서, 반사판(1429) 또한 액정미러로 구성될 수도 있다.
일 실시예에서, 깊이 센서(1420)는 가변 초점 렌즈 및 액정미러(1424)를 모두 포함할 수도 있다. 이 경우, 가변 초점 렌즈는 깊이 센서(1420) 내부에서 광 방출부(1421)에서 방출된 광이 지나가는 경로 상의 모든 위치에 배치될 수 있으나, 바람직하게는, 광 방출부(1421)와 반사판(1429) 사이 또는 광학부(1425)와 커버 윈도우(1428) 사이 또는 커버 윈도우(1428)의 위치에 배치될 수 있다.
도 15는 본 개시의 일 실시예에 따른 액정미러를 포함하는 깊이 센서에서 광 방출부(1500)를 설명하기 위한 도면이다.
액정미러를 포함하는 깊이 센서에서 광 방출부(1500)는, 복수개의 발광자(E1, E2, E3, E4)들이 라인으로 배치된 형태를 가질 수 있다. 일 실시예에서, 발광자(E)는 점(point) 패턴의 방출광을 생성하는 점광원 레이저(예를 들어, VCSEL)를 포함할 수 있다. 일 실시예에서, 증강 현실 디바이스는 광 방출부(1500)에 포함된 적어도 하나의 발광자(E)의 동작을 제어함으로써, 광 방출부(1500)에서 방출되는 방출광의 광패턴을 제어할 수 있다. 일 실시예에서, 광 방출부(1500)에 포함된 발광자(E)는 기 설정된 개수 별로 연결되어 있을 수 있다. 이 경우, 증강 현실 디바이스는 기 설정된 개수의 발광자(E) 세트 별로 동작을 제어함으로써 깊이 센서의 광 방출부(1500)를 제어할 수 있다.
도 15를 참조하면, 일 실시예에서, 광 방출부(1500)는 4개의 발광자(E)들을 포함할 수 있다. 4개의 발광자(E)들은 라인 어레이(line array)로 배치될 수 있다. 광 방출부(1400)에 포함된 발광자(E)들은 하나의 패드(P)에 연결될 수도 있고, 각각의 발광자(E)가 서로 다른 패드에 연결될 수도 있다. 발광자(E)에는 패드(P)를 통해 전원이 공급될 수 있다. 따라서, 광 방출부(1400)에 포함된 발광자(E)들이 하나의 패드(P)에 연결된 경우 모든 발광자(E)들의 온/오프가 동일하게 제어될 수 있고, 복수의 발광자(E)들이 각각 서로 다른 패드(P)에 연결된 경우 각각의 발광자(E)의 온/오프 또는 방출되는 광의 세기가 서로 다르게 제어될 수 있다.
도 16은 본 개시의 일 실시예에 따른 깊이 센서의 방출광의 광패턴을 설명하기 위한 도면이다.
도 16에서는, 전술한 도 14에 개시된 깊이 센서(1420)에서, 광 방출부(1421)로 도 15의 광 방출부(1500)를 적용한 일 실시예를 도시한다. 도 14 및 도 15를 다시 참조하면, 광 방출부(1421)에서 방출된 라인 형태의 방출광은 반사판(1429)에 반사된 후 액정미러(1424)로 입사할 수 있다. 액정미러(1424)는 일정한 시간 간격의 서브프레임(sub-frame)마다 반사각을 변경할 수 있다. 예를 들어, 도 16을 참조하면, 시간 t1에서, 액정미러(1424)에 반사되어 깊이 센서(1420) 외부로 방출된 방출광은 깊이 센서(1420)의 시야 내에서 왼쪽 끝 부분을 조사할 수 있다. 다음 서브프레임인 시간 t2에서, 액정미러(1424)는 반사각을 변경하여, 방출광이 시간 t1에서보다 오른쪽을 조사하도록 할 수 있다. 액정미러(1424)는 반사각을 계속적으로 변경하여, n번째 서브프레임인 시간 tn에서는, 방출광이 깊이 센서(1420)의 시야 내에서 오른쪽 끝 부분을 조사하도록 조절할 수 있다. 이와 같이 전체 깊이 센서(1420) 시야 내에서 스캐닝을 마친 후, 액정미러(1424)는 시간 tn+1에서 시간 t1에서와 같은 반사각을 갖도록 조절될 수 있다. 이 경우, t1에서 tn까지의 시간 간격은 깊이 센서(1420)의 스캐닝 주기, 또는 센싱 프레임(frame)으로 지칭될 수 있다.
도 16을 참조하면, 방출광은 다양한 패턴(Pa, Pb)을 가질 수 있다. 일 실시예에서, 방출광의 패턴을 (a)에서 (b)로 변경하려면, 액정미러(1424)의 반사각을 2차원으로 조절할 수 있다. 예를 들어, 방출광의 조사 위치를 이동시키기 위해 x축 상 반사각을 변경시키는 동작과 별도로, y축 상 반사각을 변경시킴으로써, 픽셀 별로 방출광의 경로를 조절할 수 있고, 따라서, 방출광의 초점을 조절할 수 있다. 가변 초점 렌즈를 포함하는 깊이 센서(1420)의 경우, 방출광의 패턴을 (a)에서 (b)로 변경하는 동작에 가변 초점 렌즈를 이용할 수도 있다.
일 실시예에서, 도 16과 같은 방출광을 이용하는 깊이 센서(1420)의 광 감지부(1422)는, 액정미러(1424)와 스캐닝 주기 및 서브프레임 간격이 일치하는 롤링 셔터(rolling shutter) 타입의 센서가 적용될 수 있다.
도 17은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 모션을 센싱하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 증강 현실 디바이스는 IMU 센서 등의 모션 센서를 이용해 움직임을 감지할 수 있다. 도 17을 참조하면, 증강 현실 디바이스의 움직임은 평행이동(Translation)에 따른 움직임과 회전(Rotation)에 따른 움직임으로 구분될 수 있다. 증강 현실 디바이스의 움직임에 따른, 전방 영역(장면, 깊이 센서의 시야)의 변화율 K는, 평행이동에 따른 변화율 KT와 회전에 따른 변화율 KR을 곱한 값으로 결정될 수 있다. 일 실시예에서, 증강 현실 디바이스는, 전방 영역의 변화율 K가 기 설정된 임계 값을 넘을 경우, 깊이 맵을 다시 생성해야 하거나 깊이 센서를 제어해야 하는 경우, 즉 증강 현실 디바이스의 움직임이 있는 경우로 판단할 수 있다.
본 개시의 일 실시예에 따른 증강 현실 디바이스는, 감지된 움직임에 기초하여 증강 현실 디바이스를 착용한 사용자의 액티비티를 식별하여, 깊이 센서에서 방출할 방출광의 광패턴을 변경하거나, 방출광의 세기를 변경하거나, 깊이 센서의 동작 주기(frame rate)를 변경할 수 있다.
도 18은 본 개시의 일 실시예에 따른 증강 현실 디바이스(1800)의 블록도이다.
도 18을 참조하면, 본 개시의 일 실시예에 따른 증강 현실 디바이스(1800)는 모션 센서(1810), 깊이 센서(1820), RGB 센서(1830), 조도 센서(1840), 프로세서(1850), 및 저장부(1860)를 포함할 수 있다. 깊이 센서(1820)는 광원 모듈(EA) 및 발광자(emitter)(E) 중 적어도 하나를 포함하는 광 방출부(1821), 광 감지부(1822), 가변 초점 렌즈(1823), 및 액정미러(1824)를 포함할 수 있다. 도 18에 도시된 구성 요소 모두가 증강 현실 디바이스(1800)의 필수 구성 요소인 것은 아니다. 도 18에 도시된 구성 요소보다 많은 구성 요소들에 의해 증강 현실 디바이스(1800)가 구현될 수도 있고, 도 18에 도시된 구성 요소보다 적은 구성 요소에 의해 증강 현실 디바이스(1800)가 구현될 수도 있다.
도 18의 모션 센서(1810)는 전술한 도 3의 모션 센서(310)에 대응될 수 있다. 도 18의 깊이 센서(1820)는 전술한 도 3의 깊이 센서(320)에 대응될 수 있다. 특히, 도 18의 광 방출부(1821)는 전술한 도 3의 광 방출부(321)에 대응될 수 있고, 도 18의 광 감지부(1822)는 전술한 도 3의 광 감지부(322)에 대응될 수 있다. 도 18의 프로세서(1850)는 전술한 도 3의 프로세서(350)에 대응될 수 있다. 도 18의 RGB 센서(1830)는 전술한 도 3의 RGB 센서(330)에 대응될 수 있다. 도 18의 저장부(1860)는 전술한 도 3의 저장부(360)에 대응될 수 있다.
가변 초점 렌즈(1823)는, 가변적인 초점을 갖는 렌즈로서, 방출광의 광패턴을 제어하는 동작에 이용될 수 있다. 예를 들어, 가변 초점 렌즈(1823)는 LC렌즈(liquid crystal lens, 액정렌즈), 액체막 렌즈(liquid membrane lens), 전기 습윤 렌즈(liquid wetting lens), 또는 알바레즈 렌즈(Alvarez lens)를 포함할 수 있다. 예를 들어, 가변 초점 렌즈(1823)는, 플렉시블한 플라스틱 막(flexible plastic membrane)이 투명한 유체(transparent fluid)를 감싸는 형태로 구현될 수 있다. 또한, 가변 초점 렌즈(1823)에 가해지는 전기적 신호에 따라 가변 초점 렌즈(1823) 내의 유체가 이동함으로써, 가변 초점 렌즈(1823)의 굴절률(diopter)이 변경될 수 있다.
도 8을 참조하여 전술한 바와 같이, 가변 초점 렌즈(1823)를 포함하는 깊이 센서(1820)에 있어서, 깊이 센서(1820)로부터 방출되는 방출광은, 광 방출부(1821)로부터 방출되어 가변 초점 렌즈(1823)를 통하여 증강 현실 디바이스(1800)의 전방 영역을 향해 방출될 수 있다. 따라서, 가변 초점 렌즈(1823)의 굴절률을 변경함으로써, 광 방출부(1821)에서 방출된 광의 광패턴을 조절하여 전방 영역으로 출력할 수 있다. 일 실시예에서, 광 방출부(1821)는, 애플리케이션에서 요구되는 광패턴과 일치하지 않는 패턴을 갖는 광을 방출할 수 있다. 이 때, 가변 초점 렌즈(1823)를 제어함으로써, 최종적으로 증강 현실 디바이스(1800) 외부로 방출될 방출광의 광패턴이 애플리케이션에서 요구되는 광패턴과 일치하도록 조절할 수 있다.
액정미러(1824)는, 반사되는 빛의 궤적을 제어할 수 있는 미러로서, 방출광의 광패턴을 제어하는 동작에 이용될 수 있다. 예를 들어, 액정미러(1824)는 나노 입자를 이용한 메타표면(meta-surface) 물질을 포함할 수 있다. 액정미러(1824)에 가해지는 전기적 신호에 따라 액정미러(1824)로 입사하는 광의 광학적 특성을 제어할 수 있다. 예를 들어, 액정미러(1824)를 통해 반사광의 진폭과 위상을 조절할 수 있고, 원하는 형태로 광의 방향 또는 파면을 조절할 수 있다.
도 14를 참조하여 전술한 바와 같이, 액정미러(1824)를 포함하는 깊이 센서(1820)에 있어서, 깊이 센서(1820)로부터 방출되는 방출광은, 광 방출부(1821)로부터 방출되고, 액정미러(1824)에 반사되어 증강 현실 디바이스(1800)의 전방 영역을 향해 방출될 수 있다. 따라서, 액정미러(1824)를 제어함으로써, 광 방출부(1821)에서 방출된 광의 광패턴을 조절하여 전방 영역으로 출력할 수 있다. 일 실시예에서, 광 방출부(1821)는, 애플리케이션에서 요구되는 광패턴과 일치하지 않는 패턴을 갖는 광을 방출할 수 있다. 이 때, 액정미러(1824)를 제어함으로써, 최종적으로 증강 현실 디바이스(1800) 외부로 방출될 방출광의 광패턴이 애플리케이션에서 요구되는 광패턴과 일치하도록 조절할 수 있다.
한편, 본 개시의 일 실시예에 따른 증강 현실 디바이스(1800)가, ToF 타입의 깊이 센서(1820)에서 방출되는 방출광의 광패턴을 조절하는 동작은, 전술한 실시예들에 한정되지 않으며, 다양한 방식으로 구현될 수 있다.
조도 센서(1840)는 증강 현실 디바이스(1800)의 주변 환경 정보 중, 특히 밝기 정보를 획득할 수 있다. 조도 센서(1840)는 광 에너지(빛)을 받으면 내부에 움직이는 전자가 발생하여 전도율이 변하는 광전효과를 가지는 소자를 포함할 수 있다. 조도 센서(1840)는 주변 빛의 양에 따라 달라지는 전도율을 이용하여 밝고 어두운 정도를 판별할 수 있고, 증강 현실 디바이스(1800)의 주변 밝기 정보를 획득할 수 있다.
저장부(1860)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다. 예를 들어, 저장부(1860)는 액티비티 식별 모듈(1861), 광패턴 결정 모듈(1862), 및 깊이 맵 생성 모듈(1865) 외에 센싱 주기 결정 모듈(1863) 및 광출력 조절 모듈(1864)을 더 포함할 수 있다. 도 18의 액티비티 식별 모듈(1861)은 전술한 도 3의 액티비티 식별 모듈(361)에 대응될 수 있다. 도 18의 광패턴 결정 모듈(1862)은 전술한 도 3의 광패턴 결정 모듈(362)에 대응될 수 있다. 도 18의 깊이 맵 생성 모듈(1865)은 전술한 도 3의 깊이 맵 생성 모듈(365)에 대응될 수 있다.
일 실시예에서, 프로세서(1850)는 저장부(1860)에 저장된 프로그램들 중 센싱 주기 결정 모듈(1863)의 적어도 하나의 명령어들을 실행함으로써, 사용자의 액티비티, 및 증강 현실 디바이스(1800)의 주변 환경 정보에 기초하여 식별된 증강 현실 디바이스(1800)의 위치에 기초하여 깊이 센서(1820)의 센싱 주기(frame rate)를 결정할 수 있다. 일 실시예에서, 광 방출부(1821)는 펄스(pulse) 형태의 방출광을 방출할 수 있고, 프로세서(1850)는 펄스 형태의 방출광의 주기(frame rate)를 결정할 수 있다. 방출광의 방출 주기가 낮을수록 배터리 소모를 줄일 수 있다. 일 실시예에서, 프로세서(1850)는 소모 전력을 감소시키기 위해 깊이 센서(1820)의 센싱 주기를 길게 조절할 수 있다.
일 실시예에서, 프로세서(1850)는 저장부(1860)에 저장된 프로그램들 중 광출력 조절 모듈(1864)의 적어도 하나의 명령어들을 실행함으로써, 사용자의 액티비티, 및 증강 현실 디바이스(1800)의 주변 환경 정보에 기초하여 식별된 증강 현실 디바이스(1800)의 위치에 기초하여 깊이 센서(1820)로부터 방출될 방출광의 광 세기(intensity)를 결정할 수 있다. 일 실시예에서, 프로세서(1850)는 깊이 센서(1820)의 광 방출부(1821)에 포함된 발광자(E)의 발광 레벨을 조절함으로써, 방출광의 광출력을 조절할 수 있다. 예를 들어, 발광자(E)의 발광 레벨이 높아지면, 발광자(E)를 포함하는 광 방출부(1821)의 광출력이 커지고, 광 방출부(1821)를 통해 깊이 센서(1820)로부터 방출되는 방출광의 세기가 커진다. 방출광의 세기가 증가할 경우, 방출광이 보다 먼 거리까지 도달할 수 있으므로 깊이 감지 거리가 증가한다. 방출광의 세기가 감소할 경우, 깊이 센서(1820)의 감지 거리는 감소하나, 증강 현실 디바이스(1800)의 전력 소모를 줄일 수 있다. 이에 따라, 보다 먼 깊이 감지가 요구되는 경우, 광 방출부(1821)의 광출력을 증가시킬 수 있고, 가까운 깊이만 감지하더라도 전력 소모를 줄이는 것이 요구되는 경우, 광출력을 감소시킬 수 있다. 이와 같이 프로세서(1850)는, 광출력을 조절함으로써, 요구되는 깊이 감지 거리 및 전력 소모 정도에 기초하여 방출광의 세기를 결정할 수 있다.
도 19는 본 개시의 일 실시예에 따른 증강 현실 디바이스(1900)를 도시한 도면이다.
도 19를 참조하면, 깊이 센서를 제어하여 깊이 맵을 생성하는 증강 현실 디바이스(1900)가 도시된다. 증강 현실 디바이스(1900)는 사용자가 안면부에 착용하는 안경 형상의 AR 안경(AR glasses), 두부에 착용하는 헤드 마운트 디스플레이(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 AR 헬멧(AR helmet) 등을 포함할 수 있다. 증강 현실 디바이스(1900)의 경우, 사용자의 눈 앞에 디스플레이를 배치함으로써, 사용자에게 초대형 화면을 제공할 수 있고, 사용자의 움직임에 따라 화면이 움직이므로 사실적인 가상 세계를 제공할 수 있다.
일 실시예에서, 사용자는 시각적 확장 현실 콘텐트를 표시할 수 있는, 증강 현실 디바이스(1900)를 착용할 수 있다. 증강 현실 디바이스(1900)는 오디오 확장 현실 콘텐트를 사용자에게 제공할 수 있는 오디오 모듈을 포함할 수 있다. 일 실시예에서, 증강 현실 디바이스(1900)는 주변의 이미지 및 비디오를 캡쳐할 수 있는 하나 이상의 카메라를 포함할 수 있다. 증강 현실 디바이스(1900)는 사용자의 수렴 거리(vergence distance)를 결정하기 위해 시선 추적(eye tracking) 시스템을 포함할 수 있다. 일 실시예에서, 증강 현실 디바이스(1900)는 경량의 머리 착용형 디스플레이(HMD)(예를 들어, 고글(goggles), 안경, 바이저(visor) 등)를 포함할 수 있다. 일 실시예에서, 증강 현실 디바이스(1900)는 경량의 휴대용 표시 장치 또는 하나 이상의 레이저 투사 안경(예를 들어, 사용자에게 이미지 또는 깊이 콘텐트를 투사 및 표시하기 위해 사용자의 망막 상에 저전력 레이저(low-powered laser)를 투사할 수 있는 안경)과 같은, 비-HMD 장치를 포함할 수 있다.
일 실시예에서, 증강 현실 디바이스(1900)는 사용자의 시야(field of view, FOV)로 판단되는 영역에 적어도 하나의 가상 객체가 겹쳐 보이도록 출력하는 AR 서비스를 제공할 수 있다. 예를 들어, 사용자의 시야로 판단되는 영역은 증강 현실 디바이스(1900)를 착용한 사용자가 증강 현실 디바이스(1900)를 통해 인지할 수 있다고 판단되는 영역으로, 증강 현실 디바이스(1900)의 디스플레이의 전체 또는 적어도 일부를 포함하는 영역일 수 있다. 일 실시예에서, 증강 현실 디바이스(1900)는 사용자의 양안 각각에 대응하는 복수개의 투명 부재(1920, 1930)를 포함할 수 있다.
일 실시예에서, 증강 현실 디바이스(1900)는 디스플레이 모듈(1914), 카메라, 오디오 출력부, 및 지지부(1921, 1922)를 포함할 수 있다.
카메라는 사용자의 시야에 대응되는 영상을 촬영하거나 객체와의 거리를 측정할 수 있다. 일 실시예에서, 카메라는 헤드 트래킹(head tracking) 및 공간 인식을 위해 사용될 수 있다. 또한, 카메라는 사용자의 움직임을 인식할 수도 있다.
일 실시예에서, 카메라는 사용자의 시야에 대응되는 영상, 즉 객체의 움직임을 검출하거나, 공간 인식을 위해 사용되는 카메라(1913) 이외에 'ET(eye tracking) 카메라(1912)'를 더 포함할 수도 있다. 일 실시예에서, ET 카메라(1912)는 사용자의 눈동자를 검출하고 추적하는 용도로 사용될 수 있다. ET 카메라(1912)는 증강 현실 디바이스(1900)에 투영되는 가상 영상의 중심이, 증강 현실 디바이스(1900)를 착용하는 사용자의 눈동자가 응시하는 방향에 따라 위치하도록 조절하기 위한 용도로 사용될 수 있다. 예를 들어, ET 카메라(1912)에는 눈동자(pupil)를 검출하고 빠른 눈동자 움직임을 지연 없이 추적할 수 있도록 GS(Global shutter) 카메라가 이용될 수 있다. ET 카메라(1912)는 좌안용 카메라(1912-1) 및 우안용 카메라(1912-2)를 별도로 포함할 수도 있다.
일 실시예에서 디스플레이 모듈(1914)은 제1 디스플레이(1920) 및 제2 디스플레이(1930)를 포함할 수 있다. 디스플레이 모듈(1914)를 통해 출력되는 가상 객체는 증강 현실 디바이스(1900)에서 실행되는 애플리케이션 프로그램과 관련된 정보 또는 사용자의 시야로 판단되는 영역에 대응하는 실제 공간에 위치한 외부 객체와 관련된 정보를 포함할 수 있다. 예를 들어, 증강 현실 디바이스(1900)는 카메라(1913)를 통해 획득한 실제 공간과 관련된 영상 정보 중 사용자의 시야로 판단되는 영역에 대응하는 적어도 일부에 포함되는 외부 객체를 확인할 수 있다. 증강 현실 디바이스(1900)는 적어도 일부에서 확인한 외부 객체와 관련된 가상 객체를 증강 현실 디바이스(1900)의 표시 영역 중 사용자의 시야로 판단되는 영역을 통해 출력할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다.
일 실시예에서, 디스플레이(1920, 1930)는 투명 부재에 집광 렌즈 또는 웨이브가이드(waveguide, 도파관 또는 도파로)를 포함할 수 있다. 예를 들어, 투명 부재는 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있고, 완전히 투명하거나 반투명하게 제작될 수 있다. 일 실시예에서, 투명 부재는 증강 현실 디바이스(1900)를 착용한 사용자의 우안에 대면하는 제1 투명 부재(1930) 및 사용자의 좌안에 대면하는 제2 투명 부재(1920)를 포함할 수 있다. 디스플레이가 투명인 경우, 사용자의 눈과 대면하는 위치에 배치되어 화면을 표시할 수 있다.
웨이브가이드는 디스플레이의 광원에서 생성된 빛을 사용자의 눈으로 전달할 수 있다. 예를 들어, 웨이브가이드는 투명 부재(1920, 1930)의 일부에 적어도 부분적으로 위치할 수 있다. 일 실시예에 따르면, 디스플레이에서 방출된 광은 웨이브가이드의 일단으로 입사될 수 있고, 입사된 광이 웨이브가이드(waveguide) 내에서 내부 전반사를 통해 사용자 눈으로 전달될 수 있다. 웨이브가이드는 유리, 플라스틱, 또는 폴리머등 투명한 소재로 제작될 수 있으며, 내부 또는 외부의 일 표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에서, 입광된 광은 나노 패턴에 의해 웨이브가이드 내부에서 전파 또는 반사되어 사용자의 눈으로 제공될 수 있다. 일 실시예에서, 웨이브가이드(waveguide)는 적어도 하나의 회절요소(예를 들어, DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사요소(예를 들어, 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 웨이브가이드는 적어도 하나의 회절요소 또는 반사요소를 이용하여 광원부로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다.
일 실시예에서, 디스플레이(1920, 1930)는 디스플레이 패널 또는 렌즈(예를 들어, 글라스)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다. 일 실시예에서, 디스플레이는 투명 소자로 구성될 수 있고, 사용자가 디스플레이를 투과하여, 디스플레이 후면의 실제 공간을 인지할 수도 있다. 디스플레이는 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.
일 실시예에서, 지지부(1921, 1922)는 증강 현실 디바이스(1900)의 각 구성요소에 전기적 신호를 전달하기 위한 인쇄 회로 기판(printed circuit board, PCB)(1931-1, 1931-2), 오디오 신호를 출력하기 위한 스피커(1932-1, 1932-2), 또는 전력을 공급하기 위한 배터리(1933-1, 1933-2)를 포함할 수 있다. 예를 들어, 안경 타입의 증강 현실 디바이스(1900)에서, 지지부(1921, 1922)는 안경 다리부에 배치될 수 있다. 지지부(1921, 1922)는 증강 현실 디바이스(1900)의 본체부에 결합하기 위한 힌지부(1940-1, 1940-2)를 포함할 수 있다. 스피커(1932-1, 1932-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제1 스피커(1932-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제2 스피커(1932-2)를 포함할 수 있다.
도 19를 참조하면, 증강 현실 디바이스(1900)는 사용자의 음성 및 주변 소리를 수신하기 위한 마이크(1941)를 포함할 수 있다. 또한, 증강 현실 디바이스(1900)는 적어도 하나의 카메라(예를 들어, ET 카메라(1912), 외향 카메라(1913), 또는 인식용 카메라(1911-1, 1911-2))의 정확도를 높이기 위해 적어도 하나의 발광 장치(illumination LED)(1942)를 포함할 수 있다. 예를 들어, 발광 장치(1942)는 ET 카메라(1912)로 사용자의 동공을 촬영할 때 정확도를 높이기 위한 보조 수단으로 사용될 수 있고, 발광 장치(1942)는 가시광 파장이 아닌 적외선 파장의 IR LED를 사용할 수 있다. 예를 들어, 발광 장치(1942)는 인식용 카메라(1911-1, 1911-2)로 사용자의 제스처를 촬영할 때 어두운 환경으로 인해 피사체의 검출이 용이하지 않을 때 보조 수단으로 사용될 수 있다.
일 실시예에 따르면, 디스플레이 모듈(1914)은 좌안에 대응하는 제1 도광판(1920) 및 우안에 대응하는 제2 도광판(1930)를 포함할 수 있고, 제1 도광판(1920) 및 제2 도광판(1930)를 통해 사용자에게 시각적인 정보를 제공할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(1914)은 디스플레이 패널 및 렌즈(예를 들어, 유리렌즈, LC렌즈)를 포함할 수 있다. 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(1914)은 투명 소자로 구성될 수 있고, 사용자가 디스플레이 모듈(1914)을 투과하여, 디스플레이 모듈(1914)의 후면이자 사용자 전방의 실제 공간을 인지할 수 있다. 디스플레이 모듈(1914)은 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.
일 실시예에서, 증강 현실 디바이스(1900)는 외향 카메라(1913)를 통해 획득한 실제 공간과 관련된 영상 정보 중 사용자의 시야각(FoV)으로 판단되는 영역에 대응하는 적어도 일부에 포함되는 외부 객체를 확인할 수 있다. 증강 현실 디바이스(1900)는 적어도 일부에서 확인한 외부 객체와 관련된 가상 객체를 증강 현실 디바이스(1900)의 표시 영역 중 사용자의 시야각으로 판단되는 영역을 통해 출력(또는 표시)할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다. 다양한 실시예에 따르면, 증강 현실 디바이스(1900)가 가상 객체를 표시하는 표시 영역은 디스플레이 모듈(1914)의 일부(예를 들어, 디스플레이 패널의 적어도 일부)를 포함할 수 있다. 일 실시예에 따르면, 표시 영역은 제1 도광판(1920) 및 제2 도광판(1930)의 적어도 일부분에 대응되는 영역일 수 있다.
일 실시예에 따르면, 증강 현실 디바이스(1900)는 외향 카메라(1913)를 사용하여, 증강 현실 디바이스(1900)의 전면 방향에 위치한 물리적 대상체와의 거리를 측정할 수도 있다. 외향 카메라(1913)는 HR(high resolution) 카메라 및 PV(photo video) 카메라와 같은 고해상도의 카메라를 포함할 수 있다.
본 개시의 일 실시예에 따른 증강 현실 디바이스(1900)는 전술한 구성으로 제한되는 것은 아니며, 다양한 구성요소를 다양한 위치에 다양한 개수로 포함할 수 있다.
본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 본 개시에서, "애플리케이션(application)" 및 "프로그램(program)"은 컴퓨터 판독 가능한 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어 세트, 프로시저(procedure), 함수, 개체(object), 클래스, 인스턴스, 관련 데이터, 또는 그것의 일부를 나타낼 수 있다. "컴퓨터 판독 가능한 프로그램 코드"는, 소스 코드, 목적 코드, 및 실행 가능한 코드를 포함하는 다양한 유형의 컴퓨터 코드를 포함할 수 있다. "컴퓨터 판독 가능한 매체"는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브(HDD), CD(compact disc), DVD(digital video disc), 또는 다양한 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 다양한 유형의 매체를 포함할 수 있다.
또한, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장 매체'는 실재(tangible)하는 장치이고, 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제할 수 있다. 한편, 이 '비일시적 저장 매체'는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장 매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기 될 수 있는 매체, 이를테면 재기입 가능한 광 디스크 또는 소거 가능한 메모리 디바이스를 포함한다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두 개의 사용자 장치들(예를 들어, 스마트폰) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (24)

  1. 증강 현실 디바이스(augmented reality device)가 깊이 센서를 제어하여 깊이 맵을 생성하는 방법에 있어서,
    사용자에 의해 착용된 증강 현실 디바이스의 모션(motion)을 센싱하는 단계;
    상기 증강 현실 디바이스의 모션에 기초하여, 상기 사용자의 액티비티를 식별하는 단계;
    상기 식별된 액티비티에 기초하여, 상기 증강 현실 디바이스의 깊이 센서로부터 방출될 방출광의 광패턴을 결정하는 단계;
    상기 결정된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계;
    상기 방출광이 적어도 하나의 대상체에 의해 반사된 반사광을 수신하는 단계; 및
    상기 방출광 및 수신된 상기 반사광에 기초하여, 깊이 맵을 생성하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 깊이 센서는 적어도 하나의 발광자(emitter)를 포함하는 광 방출부를 포함하고,
    상기 결정된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계는, 상기 적어도 하나의 발광자의 동작을 제어하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 깊이 센서는 서로 다른 광패턴으로 방출광을 방출하는 복수의 광원(light source) 모듈들을 포함하는 광 방출부를 포함하고,
    상기 결정된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계는, 상기 복수의 광원 모듈들의 온/오프 상태를 개별적으로 제어하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 결정된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계는,
    상기 복수의 광원 모듈들 중에서, 상기 결정된 광패턴에 대응되는 광원 모듈을 선택하는 단계; 및
    상기 결정된 광패턴에 대응되는 광원 모듈은 온(on) 상태로 설정하고, 상기 결정된 광패턴에 대응되는 광원 모듈을 제외한 적어도 하나의 광원 모듈들은 오프(off) 상태로 설정하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 깊이 센서는 광 방출부 및 가변 초점 렌즈를 포함하고,
    상기 깊이 센서로부터 방출되는 방출광은, 상기 광 방출부로부터 방출되어 상기 가변 초점 렌즈를 통하여 상기 증강 현실 디바이스의 전방 영역을 향해 방출되는 것이고,
    상기 결정된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계는, 상기 가변 초점 렌즈를 제어하는 단계를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 광 방출부는 격자(grid array)로 배치된 적어도 하나의 발광자를 포함하고,
    상기 결정된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계는, 상기 적어도 하나의 발광자의 동작을 제어하는 단계를 더 포함하는, 방법.
  7. 제5항에 있어서,
    상기 가변 초점 렌즈는 전압 인가 여부와 인가되는 전압의 세기가 개별적으로 조절될 수 있는 상부전극 또는 패턴화된 상부전극을 포함하는, 방법.
  8. 제1항에 있어서,
    상기 깊이 센서는 광 방출부, 및 상기 광 방출부로부터 방출되는 광의 방향을 제어하기 위한 액정미러(Liquid Crystal Mirror, LCM)를 포함하고,
    상기 깊이 센서로부터 방출되는 방출광은, 상기 광 방출부로부터 방출되고 상기 액정미러에 반사되어 상기 증강 현실 디바이스의 전방 영역을 향해 방출되는 것이고,
    상기 결정된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계는, 상기 액정미러를 제어하는 단계를 포함하는, 방법.
  9. 제1항에 있어서,
    상기 식별된 액티비티에 기초하여, 상기 깊이 센서로부터 방출될 방출광의 세기(intensity)를 결정하는 단계; 및
    상기 결정된 세기로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계를 더 포함하는, 방법.
  10. 제1항에 있어서,
    상기 식별된 액티비티에 기초하여, 상기 깊이 센서의 센싱 주기(frame rate)를 결정하는 단계; 및
    상기 결정된 센싱 주기로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계를 더 포함하는, 방법.
  11. 제1항에 있어서,
    상기 사용자에 의해 착용된 상기 증강 현실 디바이스의 주변 환경 정보를 센싱하는 단계;
    상기 증강 현실 디바이스의 주변 환경 정보에 기초하여, 상기 증강 현실 디바이스의 위치(location)를 식별하는 단계;
    상기 증강 현실 디바이스의 위치에 기초하여, 상기 깊이 센서로부터 방출될 방출광의 광패턴을 조절(adjust)하는 단계; 및
    상기 조절된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는 단계를 더 포함하는, 방법.
  12. 제1항에 있어서,
    이미지 센서를 통해 상기 증강 현실 디바이스의 전방 영역의 이미지를 획득하는 단계; 및
    상기 이미지에 기초하여 상기 깊이 맵을 보상(compensate)하는 단계를 더 포함하는, 방법.
  13. 증강 현실 디바이스에 있어서,
    모션 센서;
    광 방출부 및 광 감지부를 포함하는 깊이 센서;
    적어도 하나의 명령어(instruction)를 저장하는 저장부; 및
    상기 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어를 실행함으로써,
    상기 모션 센서를 통해, 사용자에 의해 착용된 상기 증강 현실 디바이스의 모션을 획득하고,
    상기 증강 현실 디바이스의 모션에 기초하여, 상기 액티비티를 식별하고,
    상기 액티비티에 기초하여, 상기 깊이 센서로부터 방출될 방출광의 광패턴을 결정하고,
    상기 결정된 광패턴으로 방출광을 방출하도록 상기 광 방출부를 제어하고,
    상기 광 감지부를 통해, 상기 방출광이 적어도 하나의 대상체에 의해 반사된 반사광을 수신하고,
    상기 방출광 및 수신된 상기 반사광에 기초하여, 깊이 맵을 생성하는, 증강 현실 디바이스.
  14. 제13항에 있어서,
    상기 깊이 센서는 적어도 하나의 발광자를 포함하는 광 방출부를 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여, 상기 적어도 하나의 발광자의 동작을 제어하는, 증강 현실 디바이스.
  15. 제13항에 있어서,
    상기 광 방출부는 서로 다른 광패턴으로 방출광을 방출하는 복수의 광원(light source) 모듈들을 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여, 상기 복수의 광원 모듈들의 온/오프 상태를 개별적으로 제어하는, 증강 현실 디바이스.
  16. 제15항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여, 상기 복수의 광원 모듈들 중에서, 상기 결정된 광패턴에 대응되는 광원 모듈을 선택하고, 상기 결정된 광패턴에 대응되는 광원 모듈을 온(on) 상태로 설정하고, 상기 결정된 광패턴에 대응되는 광원 모듈을 제외한 적어도 하나의 광원 모듈들은 오프(off) 상태로 설정하는, 증강 현실 디바이스.
  17. 제13항에 있어서,
    상기 깊이 센서는 가변 초점 렌즈를 더 포함하고,
    상기 깊이 센서로부터 방출되는 방출광은, 상기 광 방출부로부터 방출되어 상기 가변 초점 렌즈를 통하여 상기 증강 현실 디바이스의 전방 영역을 향해 방출되는 것이고,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여, 상기 가변 초점 렌즈를 제어하는, 증강 현실 디바이스.
  18. 제17항에 있어서,
    상기 광 방출부는 격자(grid array)로 배치된 적어도 하나의 발광자를 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여, 상기 적어도 하나의 발광자의 동작을 제어하는, 증강 현실 디바이스.
  19. 제17항에 있어서,
    상기 가변 초점 렌즈는 전압 인가 여부와 인가되는 전압의 세기가 개별적으로 조절될 수 있는 상부전극 또는 패턴화된 상부전극을 포함하는, 증강 현실 디바이스.
  20. 제13항에 있어서,
    상기 깊이 센서는 상기 광 방출부로부터 방출되는 광의 방향을 제어하기 위한 액정미러를 더 포함하고,
    상기 깊이 센서로부터 방출되는 방출광은, 상기 광 방출부로부터 방출되고 상기 액정미러에 반사되어 상기 증강 현실 디바이스의 전방 영역을 향해 방출되는 것이고,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여, 상기 액정미러를 제어하는, 증강 현실 디바이스.
  21. 제13항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여,
    상기 식별된 액티비티에 기초하여 상기 깊이 센서로부터 방출될 방출광의 세기 및 상기 깊이 센서의 센싱 주기를 결정하고,
    상기 결정된 세기 및 센싱 주기로 방출광을 방출하도록 상기 깊이 센서를 제어하는, 증강 현실 디바이스.
  22. 제13항에 있어서,
    주변 환경 센서를 더 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여,
    상기 주변 환경 센서를 통해 획득된 상기 증강 현실 디바이스의 주변 환경 정보에 기초하여, 상기 증강 현실 디바이스의 위치를 식별하고,
    상기 식별된 위치에 기초하여, 상기 깊이 센서로부터 방출될 방출광의 광패턴을 조절하고,
    상기 조절된 광패턴으로 방출광을 방출하도록 상기 깊이 센서를 제어하는, 증강 현실 디바이스.
  23. 제13항에 있어서,
    이미지 센서를 더 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여,
    상기 이미지 센서를 통해 상기 증강 현실 디바이스의 전방 영역의 이미지를 획득하고,
    상기 이미지에 기초하여 상기 깊이 맵을 보상하는, 증강 현실 디바이스.
  24. 제1항 내지 제12항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020210117939A 2021-09-03 2021-09-03 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법 KR20230034782A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210117939A KR20230034782A (ko) 2021-09-03 2021-09-03 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법
EP22865067.7A EP4325433A4 (en) 2021-09-03 2022-09-01 AUGMENTED REALITY DEVICE AND METHOD FOR ACQUIRING DEPTH MAP USING DEPTH SENSOR
PCT/KR2022/013115 WO2023033565A1 (ko) 2021-09-03 2022-09-01 깊이 센서를 이용하여 깊이 맵을 획득하는 증강 현실 디바이스 및 방법
US17/967,525 US20230077073A1 (en) 2021-09-03 2022-10-17 Augmented reality device and method for obtaining depth map by using depth sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210117939A KR20230034782A (ko) 2021-09-03 2021-09-03 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법

Publications (1)

Publication Number Publication Date
KR20230034782A true KR20230034782A (ko) 2023-03-10

Family

ID=85411365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117939A KR20230034782A (ko) 2021-09-03 2021-09-03 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법

Country Status (2)

Country Link
KR (1) KR20230034782A (ko)
WO (1) WO2023033565A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11061234B1 (en) * 2018-02-01 2021-07-13 Facebook Technologies, Llc Depth camera assembly based on near infra-red illuminator
KR102525030B1 (ko) * 2018-12-11 2023-04-24 삼성전자주식회사 포인트 클라우드를 생성하는 방법 및 장치
KR102341839B1 (ko) * 2019-09-09 2021-12-21 아리아엣지 주식회사 증강현실을 위한 데이터 수집 장치
KR102181716B1 (ko) * 2020-03-26 2020-11-23 한국기술교육대학교 산학협력단 증강현실 기반의 슬랙라인 컨텐츠 제공 시스템 및 방법

Also Published As

Publication number Publication date
WO2023033565A1 (ko) 2023-03-09

Similar Documents

Publication Publication Date Title
US10168531B1 (en) Lightfield waveguide integrated eye tracking
WO2015012280A1 (ja) 視線検出装置
JP6159263B2 (ja) 照射特性を調整可能にして少なくとも１つの眼における少なくとも１つのパラメータを捕捉する光学的測定装置及び方法
US20160302663A1 (en) Method for calibrating a head-mounted eye tracking device
JP2020513590A (ja) 検出された特徴を用いた３ｄオブジェクトレンダリング
US10599215B2 (en) Off-axis eye tracker
US10453828B1 (en) Foveated rendering display devices and methods of making the same
US10902623B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
EP3228072A1 (en) Virtual focus feedback
US20220174260A1 (en) Utilizing dual cameras for continuous camera capture
US11675217B2 (en) Wearable proximity sensing array for the visually impaired
US9946343B2 (en) Motion tracker with an array of distinct light sources
US20200259989A1 (en) High dynamic range camera assembly with augmented pixels
US10921499B1 (en) Display devices and methods for processing light
US20210373336A1 (en) Systems and methods for providing mixed-reality experiences under low light conditions
EP3933489A1 (en) Eye-tracking using laser doppler interferometry
US20180074319A1 (en) Hybrid Fresnel Lens with Increased Field of View
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
US11509803B1 (en) Depth determination using time-of-flight and camera assembly with augmented pixels
US11619809B2 (en) Eyewear eye-tracking using optical waveguide
US20180267601A1 (en) Light Projection for Guiding a User within a Physical User Area During Virtual Reality Operations
EP4325433A1 (en) Augmented reality device and method for acquiring depth map using depth sensor
KR20230034782A (ko) 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법
US11080874B1 (en) Apparatuses, systems, and methods for high-sensitivity active illumination imaging
US11899213B2 (en) Augmented reality device and method of controlling the same

Legal Events

Date Code Title Description
A201 Request for examination