KR20220047035A - 객체의 깊이를 측정하는 디바이스 및 방법 - Google Patents

객체의 깊이를 측정하는 디바이스 및 방법 Download PDF

Info

Publication number
KR20220047035A
KR20220047035A KR1020200130460A KR20200130460A KR20220047035A KR 20220047035 A KR20220047035 A KR 20220047035A KR 1020200130460 A KR1020200130460 A KR 1020200130460A KR 20200130460 A KR20200130460 A KR 20200130460A KR 20220047035 A KR20220047035 A KR 20220047035A
Authority
KR
South Korea
Prior art keywords
light
pattern
augmented reality
depth
pattern light
Prior art date
Application number
KR1020200130460A
Other languages
English (en)
Inventor
윤상호
최종철
고재우
구본곤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200130460A priority Critical patent/KR20220047035A/ko
Priority to PCT/KR2021/013059 priority patent/WO2022075642A1/ko
Priority to US17/602,645 priority patent/US11852823B2/en
Publication of KR20220047035A publication Critical patent/KR20220047035A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

객체의 깊이를 측정하는 디바이스 및 방법이 제공된다. 증강 현실 장치가 객체의 깊이를 측정하는 방법은, 복수의 패턴광 중에서 상기 증강 현실 장치로부터 방출될 패턴광의 종류를 결정하는 동작; 패턴 생성부의 전체 영역 중에서 상기 결정된 종류의 패턴광을 위한 영역에 대응되는 광원의 일부 영역을 식별하는 동작; 상기 식별된 광원의 일부 영역을 활성화함으로써, 상기 패턴 생성부의 상기 결정된 종류의 패턴광을 위한 영역을 통하여 상기 결정된 종류의 패턴광을 방출하는 동작; 상기 객체로부터 반사된 패턴광을 수신하는 동작; 및 상기 방출된 패턴광 및 상기 반사된 패턴광에 기초하여, 상기 객체의 깊이를 측정하는 동작;을 포함한다.

Description

객체의 깊이를 측정하는 디바이스 및 방법 {DEVICE AND METHOD FOR MEASURING DEPTH OF OBJECT}
본 개시는 객체의 깊이를 측정하는 디바이스 및 방법에 관한 것으로서, 보다 상세하게는 복수의 패턴광을 이용하여 객체의 깊이를 측정하는 디바이스 및 방법에 관한 것이다.
3차원의 공간을 모델링하기 위해서는 해당 공간에 대한 깊이 정보가 필요하다. 이러한 깊이 정보를 파악하기 위해, ToF(Time of Flight) 방식의 깊이 카메라가 이용되고 있다. 깊이 카메라는 촬영된 공간 내의 객체와 깊이 카메라 간의 거리에 대응되는 깊이 정보를 획득할 수 있다.
증강 현실(Augment Reality, AR)과 같은 기술 분야에 3차원 기반의 상호 작용 요소가 가미된 공간 증강 기술에 대해 관심이 높아지고 있다. 공간 증강 기술의 핵심은 깊이 카메라를 이용한 3차원 공간 모델링이다. 공간 증강 기술을 이용하면, 3차원화된 현실 요소들은 공간 내에서 3차원 위치 정보를 갖게 되고, 가상 객체와 상호 작용할 수 있다.
이러한 증강 현실 분야에서 디바이스의 경량화가 중요시되고 있으며, 이에 따라, 객체의 깊이 정보를 측정하기 위하여 디바이스의 전력 소모를 감소시키기기 위한 기술이 요구되고 있다.
본 개시의 일 실시예는, 복수의 패턴광을 선택적으로 이용하여 객체의 깊이를 측정할 수 있는 디바이스 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 패턴 생성부를 점 패턴광을 위한 영역 및 면 패턴광을 위한 영역으로 구분하고, 구분된 영역들을 이용하여 점 패턴광 및 면 패턴광을 방출할 수 있는, 객체의 깊이를 측정하는 디바이스 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 패턴광을 방출하기 위한 광원을 부분적으로 활성화하여 디바이스의 전력 소모를 감소시킬 수 있는, 객체의 깊이를 측정할 수 있는 디바이스 및 방법을 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 복수의 패턴광 중에서 상기 증강 현실 장치로부터 방출될 패턴광의 종류를 결정하는 동작; 패턴 생성부의 전체 영역 중에서 상기 결정된 종류의 패턴광을 위한 영역에 대응되는 광원의 일부 영역을 식별하는 동작; 상기 식별된 광원의 일부 영역을 활성화함으로써, 상기 패턴 생성부의 상기 결정된 종류의 패턴광을 위한 영역을 통하여 상기 결정된 종류의 패턴광을 방출하는 동작; 상기 객체로부터 반사된 패턴광을 수신하는 동작; 및 상기 방출된 패턴광 및 상기 반사된 패턴광에 기초하여, 상기 객체의 깊이를 측정하는 동작;을 포함하며, 상기 객체의 깊이를 측정하기 위하여 상기 광원으로부터 조사된 광이 상기 패턴 생성부를 통하여 방출되며, 상기 복수의 패턴광은 점 패턴광 및 면 패턴광을 포함하는 것인, 증강 현실 장치가 객체의 깊이를 측정하는 방법을 제공할 수 있다.
또한, 본 개시의 제2 측면은, 깊이 측정을 위한 광을 조사하는 광원; 상기 조사된 광을 패턴광으로 변경하는 패턴 생성부; 상기 증강 현실 장치 주변의 객체로부터 반사된 광을 수신하는 광수신부; 하나 이상의 명령어를 저장하는 메모리; 및 상기 저장된 하나 이상의 명령어를 실행하는 프로세서;를 포함하며,상기 프로세서는, 복수의 패턴광 중에서 상기 증강 현실 장치로부터 방출될 패턴광의 종류를 결정하고, 상기 패턴 생성부의 전체 영역 중에서 상기 결정된 종류의 패턴광을 위한 영역에 대응되는 상기 광원의 일부 영역을 식별하며, 상기 식별된 광원의 일부 영역을 활성화함으로써, 상기 패턴 생성부의 상기 결정된 종류의 패턴광을 위한 영역을 통하여 상기 결정된 종류의 패턴광을 방출하고, 상기 객체로부터 반사된 패턴광을 상기 광 수신부를 통하여 수신하고, 상기 방출된 패턴광 및 상기 반사된 패턴광에 기초하여, 상기 객체의 깊이를 측정하며, 상기 객체의 깊이를 측정하기 위하여 상기 광원으로부터 조사된 광이 상기 패턴 생성부를 통하여 방출되며, 상기 복수의 패턴광은 점 패턴광 및 면 패턴광을 포함하는 것인, 증강 현실 장치를 제공할 수 있다.
또한, 본 개시의 제3 측면은, 제1 측면의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 방출하여 객체의 깊이를 측정하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치(1000)의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 깊이 센싱부(1500)의 블록도이다.
도 4a는 본 개시의 일실시예에 따른 면 패턴광의 예시를 나타내는 도면이다.
도 4b는 본 개시의 일 실시예에 따른 점 패턴광의 예시를 나타내는 도면이다.
도 5a는 본 개시의 일 실시예에 따른 광원으로부터 조사된 광이 패턴 생성부(1520)에 의해 점 패턴광으로 변경되는 예시를 나타내는 도면이다.
도 5b는 본 개시의 일 실시예에 따른 광원부(1510)으로부터 조사된 광이 패턴 생성부(1520)에 의해 면 패턴광으로 변경되는 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 패턴 생성부(1520)의 하위 영역들 및 실제 공간의 영역들의 매칭 관계를 나타내는 도면이다.
도 7a는 본 개시의 일 실시예에 따른 객체의 위치에 따라 패턴 생성부(1520)의 하위 영역들 중 하나의 하위 영역을 통하여 점 패턴광을 방출하는 예시를 나타내는 도면이다.
도 7b는 본 개시의 일 실시예에 따른 객체의 위치에 따라 패턴 생성부(1520)의 하위 영역들 중 두개의 하위 영역을 통하여 점 패턴광을 방출하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 선택적으로 방출하는 방법의 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 순차적으로 방출하는 방법의 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 사용자의 응시점 주변의 일부 영역에만 패턴광을 방출하는 예시를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 사용자의 응시점의 깊이에 따라 패턴광을 방출하는 방법의 흐름도이다.
도 12는 본 개시의 일 실시예에 따른 사용자의 제스처가 감지됨에 따라 패턴광을 방출하는 예시를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 사용자의 제스처가 감지됨에 따라 패턴광을 방출하는 방법의 흐름도이다.
도 14는 본 개시의 일 실시예에 따른 응시점의 깊이 변화에 따라 증강 현실 장치(1000)의 주변의 깊이를 측정하는 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에서, '증강 현실(AR: Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD: Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 웨이브 가이드(waveguide)를 구비한다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 웨이브 가이드를 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
본 개시에서, 증강 현실 장치는 깊이 센서를 이용하여 객체의 깊이를 측정할 수 있다. 증강 현실 장치는 액티브 센서를 이용하여 객체를 향하여 광을 방출할 수 있다. ‘액티브 센서’는 소스(source)를 구비하여, 광원이나 조명, 펄스 등을 피사체에 방출하고, 피사체로부터 반사되는 정보를 수신하는 장치를 말한다. 액티브 센서는 패시브 센서와 달리, 자체 광원을 구비하여, 능동적으로 광원을 피사체에 방출하고, 피사체로부터 액티브 센서에 반사되는 후방 산란을 측정할 수 있다. 예를 들어, 레이저나 적외선 등을 피사체에 방출한 후 되돌아오는 시간을 계산하는 ToF(Time of Flight) 센서나 레이저 센서, 마이크로파 센서, 특정 패턴광을 방출하여 피사체에 맺힌 상의 크기나 모양으로 거리를 계산하는 구조광(Structured Light) 센서, Invertible Light 센서 등은 액티브 센서라 할 수 있다.
본 개시에서, 패턴 생성부는 광원으로부터 조사된 광을 패턴광으로 변경하기 위한 구성으로서, 예를 들어, DOE(Diffractive Optical Element)로 구성되거나 LC 렌즈 어레이(Liquid Crystal lens array)로 구성될 수 있다. 광원으로부터 패턴 생성부를 향하여 조사된 광은 패턴 생성부를 통과하면서 패턴광으로 변경될 수 있으며, 이에 따라 패턴 생성부로부터 패턴광이 방출될 수 있게 된다. 패턴 생성부는 광원으로부터 조사된 광을 점 패턴광으로 변경하기 위한 점 패턴광 생성 영역 및 광원으로부터 조사된 광을 면 패턴광으로 변경하기 위한 면 패턴광 생성 영역을 포함할 수 있다.
본 개시에서, 면 패턴광은 객체를 포함하는 영역 전체를 향하여 방출되는 패턴광으로서, 예를 들어, 객체를 포함하는 영역에서 누락되는 영역없이 객체를 포함하는 영역 전체를 향하여 방출될 수 있다.
또한, 점 패턴광은 객체를 포함하는 영역 내의 일부 영역들을 향하여 방출되는 패턴광으로서, 예를 들어, 소정 간격으로 이격된 점 모양의 광들을 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 방출하여 객체의 깊이를 측정하는 예시를 나타내는 도면이다.
증강 현실 장치(1000)는 객체의 깊이를 측정하기 위하여 패턴광을 방출하고 객체로부터 반사된 패턴광을 수신하여 객체의 깊이를 측정할 수 있다. 증강 현실 장치(1000)는 사용자로부터 근거리에 위치한 객체의 깊이를 측정하기 위하여 면 패턴광을 방출할 수 있다. 예를 들어, 근거리에 위치한 사용자의 손 주변의 깊이를 측정하기 위하여 면 패턴광을 방출함으로써, 사용자의 손의 제스처를 효과적으로 식별할 수 있다. 또한, 증강 현실 장치(1000)는 사용자로부터 원거리에 위치한 객체의 깊이를 측정하기 위하여 점 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는, 예를 들어, 원거리에 위치한 소파 주변의 깊이를 측정하기 위하여, 점 패턴광을 방출함으로써, 소파 주변의 깊이 맵을 생성할 수 있다.
증강 현실 장치(1000)는 후술할 패턴 생성부(1520)의 전체 영역을 면 패턴광을 위한 영역 및 점 패턴광을 위한 영역으로 구분하고, 구분된 영역들을 선택적으로 활용하여 면 패턴광 및 점 패턴광을 방출할 수 있다. 이러한, 증강 현실 장치(1000)는 면 패턴광의 방출 및 점 패턴광의 방출을 효과적으로 제어함으로써, 근거리 및 원거리에 위치한 객체들의 깊이들을 측정하는데 소모되는 전력량을 감소시킬 수 있다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치(1000)의 블록도이다.
도 2를 참조하면, 증강 현실 장치(1000)는 사용자 입력부(1100), 카메라 모듈(1200), 영상 출력부(1300), 통신 인터페이스(1400), 깊이 센싱부(1500), 시선 추적 센서(1600), 저장부(1700) 및 프로세서(1800)를 포함할 수 있다.
사용자 입력부(1100)는, 사용자가 증강 현실 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다. 사용자 입력부(1100)는 객체의 깊이를 측정하기 위한 사용자 입력을 수신할 수 있다. 또한, 증강 현실 장치(1000)는 마이크(미도시)를 통하여 사용자의 음성 입력을 수신할 수도 있다.
카메라 모듈(1200)은 증강 현실 장치(1000)의 주변을 촬영할 수 있다. 카메라 모듈(1200)은 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1800) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라 모듈(1200)은, 예를 들어, RGB 카메라 모듈을 포함할 수 있으나, 이에 제한되지 않는다. 카메라 모듈(1200)에 의해 촬영된 RGB 이미지는 증강 현실 장치(1000) 주변의 객체의 깊이를 측정하는데 보조적으로 활용될 수도 있다.
영상 출력부(1300)는 증강 현실 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 영상 출력부(1300)는, 증강 현실 장치(1000)의 주변의 객체의 깊이를 측정하기 위한 사용자 인터페이스 및 증강 현실 장치(1000) 주변의 촬영된 이미지를 기반으로 제공되는 서비스에 관련된 정보를 출력할 수 있다.
일 실시 예에 의하면, 영상 출력부(1300)는 AR(Augmented Reality) 영상을 제공할 수 있다. 일 실시 예에 따른 영상 출력부(1300)는 광학 엔진 및 웨이브 가이드를 포함할 수 있다. 광학 엔진은 표시하고자 하는 가상 이미지의 광을 웨이브 가이드를 향하여 투사할 수 있다. 광학 엔진은 RGB 광원 및 화상 패널을 포함할 수 있다. RGB 광원은 광을 조명하는 광학 부품으로서, RGB의 컬러를 조절하여 광을 생성할 수 있다. RGB 광원은 예를 들어, 발광 다이오드(LED)로 구성될 수 있다. 화상 패널은 RGB 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서, 반사하는 반사형 화상 패널로 구성될 수 있다. 반사형 화상 패널은 예를 들어, DMD (Digital Micromirror Device) 패널 또는 LCoS (Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다.
또한, 광학 엔진으로부터 웨이브 가이드에게 투사된 가상 이미지는 전반사(total reflection) 원리로 웨이브 가이드 내에서 반사될 수 있다. 웨이브 가이드에 투사된 가상 이미지는 복수의 영역에 형성된 회절 격자에 의해 광 경로가 변경되어 최종적으로 사용자의 눈으로 가상 이미지가 출력될 수 있다. 웨이브 가이드는 가상 이미지의 광 경로를 변경하는 도광판과 같은 기능을 수행할 수 있다. 일 실시 예에서, 웨이브 가이드는 투명 재질로 형성됨에 따라, 사용자는 웨이브 가이드를 통해 전반사된 가상 이미지의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 실제 장면(scene)을 볼 수도 있으므로, 웨이브 가이드(1320)는 시스루 디스플레이(see through display)로 지칭될 수 있다. 영상 출력부(1300)는 웨이브 가이드을 통해 가상 이미지를 출력함으로써, 증강 현실(argumented reality) 영상을 제공할 수 있다.
통신 인터페이스(1400)는 증강 현실 장치(1000) 주변을 촬영하여 획득되는 이미지를 기반으로 서비스를 받기 위한 데이터를 외부 디바이스(미도시) 및 서버(미도시)와 송수신할 수 있다.
깊이 센싱부(1500)는 증강 현실 장치(1000) 주변의 객체의 깊이를 측정하기 위하여 후술할 프로세서(1800)에 의해 제어될 수 있다. 깊이 센싱부(1500)는 광원부(1510), 패턴 생성부(1520) 및 광 수신부(1530)를 포함할 수 있으며, 깊이 센싱부(1500)의 구조 및 동작에 대하여는 도 3에서 상세히 설명하기로 한다.
시선 추적 센서(1600)는 증강 현실 장치(1000)를 착용한 사용자의 시선을 추적할 수 있다. 시선 추적 센서(1600)는 사용자의 눈을 향하는 방향으로 설치될 수 있으며, 사용자의 시선에 관련된 시선 정보를 획득할 수 있다. 시선 추적 센서(1600)는, 예를 들어, IR 스캐너 또는 이미지 센서 중 적어도 하나를 포함할 수 있으며, 증강 현실 장치(1000)가 안경 형태의 장치인 경우에, 복수의 시선 추적 센서가 증강 현실 장치(1000)의 좌측 웨이브 가이드 및 우측 웨이브 가이드 주변에서 사용자의 눈을 향하여 각각 배치될 수 있다.
시선 추적 센서(1600)는 사용자 눈의 시선에 관련된 데이터를 검출할 수 있다. 사용자 눈의 시선에 관련된 데이터에 기초하여 사용자의 시선 정보가 생성될 수 있다. 시선 정보는 사용자의 시선에 관련된 정보로서, 예를 들어, 사용자의 눈의 동공의 위치, 동공의 중심점 좌표, 사용자의 시선 방향 등에 관한 정보를 포함할 수 있다. 사용자의 시선 방향은, 예를 들어, 사용자의 동공의 중심점으로부터 사용자가 응시하는 곳을 향하는 시선의 방향일 수 있다. 시선 추적 센서(1600)에 의해 생성된 시선 정보는, 사용자의 응시점의 위치 및 깊이를 식별하는데 이용될 수 있다.
저장부(1700)는 후술할 프로세서(1800)에 의해 실행될 프로그램을 저장할 수 있고, 증강 현실 장치(1000)로 입력되거나 증강 현실 장치(1000)로부터 출력되는 데이터를 저장할 수 있다.
저장부(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
저장부(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 광패턴 선택 모듈(1710), 방출 범위 결정 모듈(1720), 광원 제어 모듈(1730), 깊이 정보 생성 모듈(1740) 및 응시점 식별 모듈(1750)을 포함할 수 있다.
프로세서(1800)는 증강 현실 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1800)는, 저장부(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 카메라 모듈(1200), 영상 출력부(1300), 통신 인터페이스(1400), 깊이 센싱부(1500), 시선 추적 센서(1600) 및 저장부(1700) 등을 전반적으로 제어할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 광패턴 선택 모듈(1710)을 실행함으로써, 패턴 생성부(1520)를 통하여 방출될 패턴광의 종류를 선택할 수 있다. 프로세서(1800)는 깊이를 측정하고자 하는 객체와 증강 현실 장치 간의 거리에 기초하여 점 패턴광을 방출할 지, 면 패턴광을 방출할 지를 결정할 수 있다.
프로세서(1800)는 사용자의 응시점이 위치한 곳의 객체와 증강 현실 장치 간의 거리가 소정 임계치 이상인 경우에, 점 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 프로세서(1800)는 후술할 시선 추적 센서(1600)를 이용하여 사용자의 응시점의 깊이를 식별하고, 사용자의 응시점의 깊이가 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 프로세서(1800)는 후술할 시선 추적 센서(1600)를 이용하여 사용자의 응시점의 깊이를 식별하고, 사용자의 응시점의 깊이가 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다.
또는, 예를 들어, 프로세서(1800)는 사용자의 응시점이 위치한 곳 주변의 일정 영역에 대한 깊이를 먼저 측정하고, 측정된 깊이가 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 프로세서(1800)는 사용자의 응시점이 위치한 곳 주변의 일정 영역에 대한 깊이를 먼저 측정하고, 측정된 깊이가 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다.
프로세서(1800)는 증강 현실 장치(1000)의 주변을 스캔할 필요가 있는 경우에, 점 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)의 전원이 온 되는 경우에, 프로세서(1800)는 주변의 객체들에 대한 깊이 맵을 생성하기 위하여 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 프로세서(1800)는 사용자의 응시점의 깊이가 소정 임계치 이상으로 크게 변화하는 경우에, 주변의 객체들에 대한 깊이 맵을 생성하기 위하여 점 패턴광을 방출할 것을 결정할 수 있다.
프로세서(1800)는 사용자의 제스처 입력을 식별할 필요가 있는 경우에, 면 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 프로세서(1800)는 사용자의 손에 의한 소정의 제스처 동작이 감지되면, 사용자의 손 제스처 입력을 수신하기 위하여 면 패턴광을 방출할 것을 결정할 수 있다.
프로세서(1800)는 사용자의 손 제스처를 감지하고, 사용자의 손 주변 영역에는 면 패턴광을 방출할 것을 결정하고, 나머지 영역에는 점 패턴광을 방출할 것을 결정할 수도 있다.
프로세서(1800)는 저장부(1700)에 저장된 방출 범위 결정 모듈(1720)을 실행함으로써, 패턴광을 방출할 방출 범위를 결정할 수 있다.
점 패턴광을 방출하기로 결정되면, 프로세서(1800)는 점 패턴광을 방출할 방출 범위를 결정하고, 패턴 생성부(1520)의 점 패턴광 생성 영역에 대응되는 광원을 식별할 수 있다. 프로세서(1800)는 점 패턴광 생성 영역 전체에 대응되는 광원부(1510)의 일부를 식별할 수 있다. 점 패턴광을 방출할 방출 범위가 현실 공간의 일부 영역인 경우에, 프로세서(1800)는 점 패턴광 생성 영역의 하위 영역을 선택하고, 선택된 하위 영역에 대응되는 광원부(1510)의 일부를 선택할 수도 있다.
면 패턴광을 방출하기로 결정되면, 프로세서(1800)는 면 패턴광을 방출할 방출 범위를 결정하고, 패턴 생성부(1520)의 면 패턴광 생성 영역에 대응되는 광원을 식별할 수 있다. 또한, 프로세서(1800)는 면 패턴광 생성 영역 전체에 대응되는 광원부(1510)의 일부를 식별할 수 있다. 면 패턴광을 방출할 방출 범위가 현실 공간의 일부 영역인 경우에, 프로세서(1800)는 면 패턴광 생성 영역의 하위 영역을 선택하고, 선택된 하위 영역에 대응되는 광원부(1510)의 일부를 선택할 수도 있다.
프로세서(1800)는 기설정된 기준에 따라, 증강 현실 장치(1000) 주변의 전체 영역 중에서 일부 영역에 대하여만 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 프로세서(1800)는 실행 중인 애플리케이션의 종류 및 애플리케이션의 기능 등을 고려하여, 패턴광의 방출 범위를 결정할 수 있다. 예를 들어, 사용자의 제스처를 식별하기 위하여, 프로세서(1800)는 사용자의 손 주변의 일부 영역을 패턴광을 방출할 영역으로 결정할 수 있다. 그러나, 이에 제한되지 않으며, 예를 들어, 증강 현실 장치(1000)의 배터리 잔량, 깊이 측정을 위한 배터리 소모량, 측정될 깊이의 정확도 등과 같은 다양한 기준에 따라 패턴광의 방출 범위가 결정될 수 있다.
또한, 프로세서(1800)는 후술할 응시점 식별 모듈(1750)에 의해 사용자의 응시점이 식별되면, 사용자의 응시점 주변의 소정 영역을 패턴광을 방출할 영역으로 결정할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 광원 제어 모듈(1730)을 실행함으로써, 패턴 생성부(1520)의 적어도 일부를 통해 패턴광이 방출되도록 할 수 있다.
프로세서(1800)는 패턴광의 종류 및 패턴광의 방출 범위에 기초하여, 패턴광을 패턴 생성부(1520)의 어느 영역을 통하여 방출하여야 하는지를 결정할 수 있다. 또한, 프로세서(1800)는 패턴 생성부(1520)의 일부 영역에 대응되는 광원부(1510)의 일부 영역을 활성화하여, 패턴광이 패턴 생성부(1520)의 일부 영역을 통하여 방출되도록 할 수 있다.
프로세서(1800)는 점 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 활성화함으로써, 광원부(1510)의 일부로부터 조사된 광이 패턴 생성부(1520)의 점 패턴광 생성 영역을 통하여 방출될 수 있도록 할 수 있다. 점 패턴광 생성 영역을 통하여 방출되는 광은 점 패턴광일 수 있다. 또한, 프로세서(1800)는 객체로부터 반사된 점 패턴광을 수신할 수 있다. 점 패턴광 생성 영역으로부터 방출된 점 패턴광은 객체로부터 반사될 수 있으며, 증강 현실 장치(1000)의 광 수신부(1530)는 반사된 점 패턴광을 수신할 수 있다.
프로세서(1800)는 면 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 활성화함으로써, 광원부(1510)의 일부로부터 조사된 광이 패턴 생성부(1520)의 면 패턴광 생성 영역을 통하여 방출될 수 있도록 할 수 있다. 면 패턴광 생성 영역을 통하여 방출되는 광은 면 패턴광일 수 있다. 또한, 프로세서(1800)는 객체로부터 반사된 면 패턴광을 수신할 수 있다. 면 패턴광 생성 영역으로부터 방출된 면 패턴광은 객체로부터 반사될 수 있으며, 증강 현실 장치(1000)의 광 수신부(1530)는 반사된 면 패턴광을 수신할 수 있다.
한편, 프로세서(1800)는 증강 현실 장치(1000)의 주변을 스캐닝하기 위하여, 면 패턴광 및 점 패턴광을 순차적으로 방출하도록 광원부(1510)를 제어할 수 있다. 이 경우, 프로세서(1800)는 패턴 생성부(1520)의 점 패턴광 생성 영역에 대응되는 광원부(1510)의 부분을 활성화하여 점 패턴광을 방출하고, 그 이후에 패턴 생성부(1520)의 면 패턴광 생성 영역에 대응되는 광원부(1510)의 부분을 활성화하여 면 패턴광을 방출하는 동작을 반복할 수 있다. 또한, 프로세서(1800)는 후술할 깊이 정보 생성 모듈(1740)에 의한 깊이 측정 결과에 기초하여, 증강 현실 장치(1000) 주변의 스캐닝을 종료할 지를 결정할 수 있다. 프로세서(1800)는 깊이 맵이 충분히 생성되었다고 판단되면 증강 현실 장치(1000) 주변의 스캐닝을 종료할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 깊이 정보 생성 모듈(1740)을 실행함으로써, 객체의 깊이를 측정할 수 있다. 프로세서(1800)는 방출된 점 패턴광 및 반사된 점 패턴광에 기초하여, 객체의 깊이를 측정할 수 있다. 예를 들어, 프로세서(1800)는 점 패턴광을 방출한 시각, 반사된 점 패턴광을 수신한 시각, 방출된 점 패턴광의 패턴, 및 수신된 점 패턴광의 패턴에 기초하여, 객체의 깊이를 산출할 수 있다. 또한, 프로세서(1800)는 산출된 객체의 깊이에 기초하여 증강 현실 장치(1000) 주변의 깊이 맵을 생성할 수 있다.
프로세서(1800)는 방출된 면 패턴광 및 반사된 면 패턴광에 기초하여, 객체의 깊이를 측정할 수 있다. 프로세서(1800)는 면 패턴광을 방출한 시각, 반사된 면 패턴광을 수신한 시각, 방출된 면 패턴광의 패턴, 및 수신된 면 패턴광의 패턴에 기초하여, 객체의 깊이를 산출할 수 있다. 또한, 프로세서(1800)는 산출된 객체의 깊이에 기초하여 사용자의 제스처를 식별할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 응시점 식별 모듈(1750)을 실행함으로써, 전술한 시선 추적 센서(1600)를 제어하고, 사용자의 응시점을 식별할 수 있다. 프로세서(1800)는 사용자의 응시점의 깊이를 측정할 수 있다. 예를 들어, 프로세서(1800)는 사용자의 동공의 위치에 기초하여 사용자가 응시하는 응시점의 깊이를 산출할 수 있다. 또는, 예를 들어, 프로세서(1800)는 사용자의 응시점에 위치한 객체의 깊이를 깊이 센싱부(1500)를 이용하여 측정할 수도 있다. 이 경우, 프로세서(1800)는 사용자의 응시점이 위치한 곳의 객체를 향하여 광을 조사하고, 객체로부터 반사되는 광을 이용하여 응시점의 깊이를 측정할 수 있다.
또한, 프로세서(1800)는 시선 추적 센서(1600)를 통해 사용자의 응시점을 식별하고, 식별된 응시점의 깊이 변화가 소정 임계치보다 큰지를 판단할 수 있다. 프로세서(1800)는 사용자의 응시점의 깊이 변화를 모니터링할 수 있으며, 사용자의 응시점의 깊이 변화가 소정 임계치보다 큰지를 판단할 수 있다. 또한, 프로세서(1800)는 사용자의 응시점의 깊이 변화에 따라, 증강 현실 장치(1000)의 주변을 스캐닝할 지를 결정할 수 있다.
도 3은 본 개시의 일 실시예에 따른 깊이 센싱부(1500)의 블록도이다.
도 3을 참조하면, 깊이 센싱부(1500)는 광원부(1510), 패턴 생성부(1520) 및 광 수신부(1530)를 포함할 수 있다.
광원부(1510)는 복수의 광원 소자들을 포함하며 패턴 생성부(1520)의 적어도 일부를 향하여 광을 조사할 수 있다. 예를 들어, 광원부(1510)는 배열된 복수의 레이저 발광 소자들을 포함할 수 있으며, 광원부(1510)는 후술할 패턴 생성부(1520)의 하단에 위치하여 패턴 생성부(1520)를 향하여 레이저 광을 조사할 수 있다.
패턴 생성부(1520)는 광원부(1510)로부터 조사된 광의 패턴을 생성할 수 있다. 광원부(1510)로부터 조사된 광이 패턴 생성부(1520)를 통과하면서 패턴 생성부(1520)로부터 패턴광이 방출될 수 있다.
패턴 생성부(1520)는 광원부(1510)로부터 조사된 광을 점 패턴광으로 변경하기 위한 점 패턴광 생성 영역 및 광원부(1510)로부터 조사된 광을 면 패턴광으로 변경하기 위한 면 패턴광 생성 영역을 포함할 수 있다. 또한, 점 패턴광 생성 영역 및 면 패턴광 생성 영역은 각각 복수의 하위 영역으로 구분될 수 있다.
패턴 생성부(1520)는, 예를 들어, DOE(Diffractive Optical Element)로 구성되거나 LC 렌즈 어레이(Liquid Crystal lens array)로 구성될 수 있다. 패턴 생성부(1520)가 DOE(Diffractive Optical Element)로 구성된 경우에, 패턴 생성부(1520)는 점 패턴광 생성 영역 및 면 패턴광 생성 영역을 포함하도록 제조될 수 있다. 또는, 패턴 생성부(1520)가 LC 렌즈 어레이(Liquid Crystal lens array)로 구성된 경우에, 프로세서(1800)에 의해 패턴 생성부(1520)에 소정의 제어 전압이 인가됨으로써 패턴 생성부(1520) 내의 액정 분자들의 배열이 변경됨으로써 패턴 생성부(1520)에서 점 패턴광 생성 영역 및 면 패턴광 생성 영역이 유동적으로 형성될 수 있다.
패턴 생성부(1520)로부터 방출된 패턴광이 객체로부터 반사되면, 광 수신부(1530)는 반사된 패턴광을 수신할 수 있다.
도 4a는 본 개시의 일실시예에 따른 면 패턴광의 예시를 나타내는 도면이다.
도 4a를 참조하면, 깊이 센싱부(1500)로부터 면 패턴광이 방출될 수 있다. 면 패턴광(40)은, 객체를 포함하는 영역 전체를 향하여 방출되는 패턴광으로서, 예를 들어, 객체를 포함하는 영역에서 누락되는 영역없이 객체를 포함하는 영역 전체를 향하여 방출될 수 있다.
도 4b는 본 개시의 일 실시예에 따른 점 패턴광의 예시를 나타내는 도면이다.
도 4b를 참조하면, 깊이 센싱부(1500)로부터 점 패턴광이 방출될 수 있다. 점 패턴광(42)은, 객체를 포함하는 영역 내의 일부 영역들을 향하여 방출되는 패턴광으로서, 예를 들어, 소정 간격으로 이격된 점 모양의 광들을 포함할 수 있다.
도 5a는 본 개시의 일 실시예에 따른 광원으로부터 조사된 광이 패턴 생성부(1520)에 의해 점 패턴광으로 변경되는 예시를 나타내는 도면이다.
도 5a를 참조하면, 광원부(1510)의 일부 영역(50)으로부터 조사된 광이, 패턴 생성부(1520)의 점 패턴광 생성 영역(52)을 통과하면서, 현실 공간을 향하여 점 패턴광이 방출될 수 있다.
도 5b는 본 개시의 일 실시예에 따른 광원부(1510)으로부터 조사된 광이 패턴 생성부(1520)에 의해 면 패턴광으로 변경되는 예시를 나타내는 도면이다.
도 5b를 참조하면, 광원부(1510)의 일부 영역(54)으로부터 조사된 광이, 패턴 생성부(1520)의 면 패턴광 생성 영역(56)을 통과하면서, 현실 공간을 향하여 면 패턴광이 방출될 수 있다.
도 6은 본 개시의 일 실시예에 따른 패턴 생성부(1520)의 하위 영역들 및 실제 공간의 영역들의 매칭 관계를 나타내는 도면이다.
도 6을 참조하면, 패턴 생성부(1520)에서 점 패턴광을 위한 점 패턴광 생성 영역은 하위 영역 a, 하위 영역 b, 하위 영역 c, 하위 영역 d 및 하위 영역 e로 구분될 수 있다. 또한, 패턴 생성부(1520)의 하위 영역 a는 현실 공간의 영역 A에 대응되고, 패턴 생성부(1520)의 하위 영역 b는 현실 공간의 영역 B에 대응되고, 패턴 생성부(1520)의 하위 영역 c는 현실 공간의 영역 C에 대응되고, 패턴 생성부(1520)의 하위 영역 d는 현실 공간의 영역 D에 대응되고, 패턴 생성부(1520)의 하위 영역 e는 현실 공간의 영역 E에 대응될 수 있다.
이에 따라, 광원부(1510)로부터 조사된 광이 하위 영역 a를 통과하면서 현실 공간의 영역 A를 향하여 점 패텅광이 방출되고, 광원부(1510)로부터 조사된 광이 하위 영역 b를 통과하면서 현실 공간의 영역 B를 향하여 점 패텅광이 방출되고, 광원부(1510)로부터 조사된 광이 하위 영역 c를 통과하면서 현실 공간의 영역 C를 향하여 점 패텅광이 방출되고, 광원부(1510)로부터 조사된 광이 하위 영역 d를 통과하면서 현실 공간의 영역 D를 향하여 점 패텅광이 방출되고, 광원부(1510)로부터 조사된 광이 하위 영역 e를 통과하면서 현실 공간의 영역 E를 향하여 점 패텅광이 방출될 수 있다.
도 7a는 본 개시의 일 실시예에 따른 객체의 위치에 따라 패턴 생성부(1520)의 하위 영역들 중 하나의 하위 영역을 통하여 점 패턴광을 방출하는 예시를 나타내는 도면이다.
도 7a를 참조하면, 깊이 측정을 위한 객체가 현실 공간의 영역 A 내에 포함되는 경우에, 증강 현실 장치(1000)는 패턴 생성부(1520)의 하위 영역들 중에서 하위 영역 a만을 통하여 점 패턴광을 방출할 수 있다.
이 경우, 증강 현실 장치(1000)는 패턴 생성부(1520)의 하위 영역 a에 대응되는 광원부의 일부 영역을 활성화하고, 활성화된 일부 영역으로부터 조사된 광이 패턴 생성부(1520)의 하위 영역 a를 통과함으로써, 패턴 생성부(1520)의 하위 영역 a로부터 현실 공간의 영역 A를 향하여 점 패턴광이 방출될 수 있다. 또한, 현실 공간의 영역 A를 향하여 방출된 점 패턴광이 객체로부터 반사되고, 반사된 패턴광이 광 수신부(1530)에 의해 수신됨으로써, 증강 현실 장치(1000)는 객체의 깊이를 측정할 수 있다.
도 7b는 본 개시의 일 실시예에 따른 객체의 위치에 따라 패턴 생성부(1520)의 하위 영역들 중 두개의 하위 영역을 통하여 점 패턴광을 방출하는 예시를 나타내는 도면이다.
도 7b를 참조하면, 깊이 측정을 위한 객체가 현실 공간의 영역 A 및 영역 C 내에 포함되는 경우에, 증강 현실 장치(1000)는 패턴 생성부(1520)의 하위 영역들 중에서 하위 영역 a 및 하위 영역 c 만을 통하여 점 패턴광을 방출할 수 있다.
이 경우, 증강 현실 장치(1000)는 패턴 생성부(1520)의 하위 영역 a 및 하위 영역 b에 대응되는 광원부(1510)의 일부 영역들을 활성화하고, 활성화된 일부 영역들로부터 조사된 광이 패턴 생성부(1520)의 하위 영역 a 및 하위 영역 b를 통과함으로써, 패턴 생성부(1520)의 하위 영역 a 및 하위 영역 b로부터 현실 공간의 영역 A 및 영역 C를 향하여 점 패턴광이 방출될 수 있다.
또한, 현실 공간의 영역 A 및 영역 B를 향하여 방출된 점 패턴광이 객체로부터 반사되고, 반사된 패턴광이 광 수신부(1530)에 의해 수신됨으로써, 증강 현실 장치(1000)는 객체의 깊이를 측정할 수 있다.
이에 따라, 증강 현실 장치(1000)는 객체가 위치한 현실 공간의 일부 영역에 대하여만 점 패턴광을 방출할 수 있으며, 이에 따라, 증강 현실 장치(1000)가 객체의 깊이를 측정하기 위하여 소모하는 전력량이 감소될 수 있게 된다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 선택적으로 방출하는 방법의 흐름도이다.
동작 S800에서 증강 현실 장치(1000)는 점 패턴광을 방출할 지를 결정할 수 있다. 증강 현실 장치(1000)는 깊이를 측정하고자 하는 객체와 증강 현실 장치 간의 거리에 기초하여 점 패턴광을 방출할 지, 면 패턴광을 방출할 지를 결정할 수 있다.
일 실시예에 따른 증강 현실 장치(1000)는 사용자의 응시점이 위치한 곳의 객체와 증강 현실 장치 간의 거리가 소정 임계치 이상인 경우에, 점 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 시선 추적 센서(1600)를 이용하여 사용자의 응시점의 깊이를 식별하고, 사용자의 응시점의 깊이가 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 증강 현실 장치(1000)는 시선 추적 센서(1600)를 이용하여 사용자의 응시점의 깊이를 식별하고, 사용자의 응시점의 깊이가 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다.
또는, 예를 들어, 증강 현실 장치(1000)는 사용자의 응시점이 위치한 곳 주변의 일정 영역에 대한 깊이를 먼저 측정하고, 측정된 깊이가 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 증강 현실 장치(1000)는 사용자의 응시점이 위치한 곳 주변의 일정 영역에 대한 깊이를 먼저 측정하고, 측정된 깊이가 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다.
일 실시예에 따른 증강 현실 장치(1000)는 증강 현실 장치(1000)의 주변을 스캔할 필요가 있는 경우에, 점 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)의 전원이 온 되는 경우에, 증강 현실 장치(1000)는 주변의 객체들에 대한 깊이 맵을 생성하기 위하여 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 증강 현실 장치(1000)는 사용자의 응시점의 깊이가 소정 임계치 이상으로 크게 변화하는 경우에, 증강 현실 장치(1000)는 주변의 객체들에 대한 깊이 맵을 생성하기 위하여 점 패턴광을 방출할 것을 결정할 수 있다.
일 실시예에 따른 증강 현실 장치(1000)는 사용자의 제스처 입력을 식별할 필요가 있는 경우에, 면 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 사용자의 손에 의한 소정의 제스처 동작이 감지되면, 사용자의 손 제스처 입력을 수신하기 위하여 면 패턴광을 방출할 것을 결정할 수 있다.
동작 S800에서 점 패턴광을 방출하기로 결정되면, 동작 S805에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 점 패턴광 생성 영역에 대응되는 광원을 식별할 수 있다. 패턴 생성부(1520)는 점 패턴광을 생성하기 위한 점 패턴광 생성 영역 및 면 패턴광을 생성하기 위한 면 패턴광 생성 영역을 포함할 수 있다. 또한, 증강 현실 장치(1000)는 점 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 식별할 수 있다. 점 패턴광 생성 영역에 대응되는 광원부(1510)의 일부는 광원부(1510)에서 점 패턴광 생성 영역으로 광을 조사하는 부분일 수 있다.
동작 S810에서 증강 현실 장치(1000)는 패턴 생성부(1520)를 통하여 점 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 점 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 활성화함으로써, 광원부의 일부로부터 조사된 광이 패턴 생성부(1520)의 점 패턴광 생성 영역을 통하여 방출될 수 있도록 할 수 있다. 점 패턴광 생성 영역을 통하여 방출되는 광은 점 패턴광일 수 있다.
동작 S815에서 증강 현실 장치(1000)는 객체로부터 반사된 점 패턴광을 수신할 수 있다. 점 패턴광 생성 영역으로부터 방출된 점 패턴광은 객체로부터 반사될 수 있으며, 증강 현실 장치(1000)의 광 수신부(1530)는 반사된 점 패턴광을 수신할 수 있다.
동작 S820에서 증강 현실 장치(1000)는 방출된 점 패턴광 및 반사된 점 패턴광에 기초하여, 객체의 깊이를 측정할 수 있다. 증강 현실 장치(1000)는 점 패턴광을 방출한 시각, 반사된 점 패턴광을 수신한 시각, 및 방출된 점 패턴광의 패턴과 수신된 점 패턴광의 패턴의 차이에 기초하여, 객체의 깊이를 산출할 수 있다.
동작 S800에서 점 패턴광을 방출하지 않기로 결정되면, 동작 S825에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 면 패턴광 생성 영역에 대응되는 광원을 식별할 수 있다. 또한, 증강 현실 장치(1000)는 면 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 식별할 수 있다. 면 패턴광 생성 영역에 대응되는 광원부(1510)의 일부는 광원부(1510)에서 면 패턴광 생성 영역으로 광을 조사하는 부분일 수 있다.
동작 S830에서 증강 현실 장치(1000)는 패턴 생성부(1520)를 통하여 면 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 면 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 활성화함으로써, 광원부의 일부로부터 조사된 광이 패턴 생성부(1520)의 면 패턴광 생성 영역을 통하여 방출될 수 있도록 할 수 있다. 면 패턴광 생성 영역을 통하여 방출되는 광은 면 패턴광일 수 있다.
동작 S835에서 증강 현실 장치(1000)는 객체로부터 반사된 면 패턴광을 수신할 수 있다. 면 패턴광 생성 영역으로부터 방출된 면 패턴광은 객체로부터 반사될 수 있으며, 증강 현실 장치(1000)의 광 수신부(1530)는 반사된 면 패턴광을 수신할 수 있다.
동작 S840에서 방출된 면 패턴광 및 반사된 면 패턴광에 기초하여, 객체의 깊이를 측정할 수 있다. 증강 현실 장치(1000)는 면 패턴광을 방출한 시각, 반사된 면 패턴광을 수신한 시각, 및 방출된 면 패턴광의 패턴과 수신된 면 패턴광의 패턴의 차이에 기초하여, 객체의 깊이를 산출할 수 있다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 순차적으로 방출하는 방법의 흐름도이다.
도 9에서 증강 현실 장치(1000)는 증강 현실 장치(1000)의 주변을 스캐닝하기 위하여 점 패턴광 및 면 패턴광을 순차적으로 방출할 수 있다.
동작 S900에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 점 패턴광 생성 영역에 대응되는 광원을 식별하고, 동작 S905에서 증강 현실 장치(1000)는 패턴 생성부(1520)를 통하여 점 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 식별된 광원을 활성화함으로써 광원으로부터 광이 조사되어 패턴 생성부(1520)의 점 패턴광 생성 영역을 통과하도록 할 수 있다. 점 패턴광은 점 패턴광 생성 영역으로부터 객체를 향하여 방출될 수 있다.
또한, 동작 S910에서 증강 현실 장치(1000)는 객체로부터 반사된 점 패턴광을 수신하고, 동작 S915에서 증강 현실 장치(1000)는 방출된 점 패턴광 및 수신된 점 패턴광에 기초하여, 객체의 깊이 정보를 생성할 수 있다.
동작 S920에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 면 패턴광 생성 영역에 대응되는 광원을 식별하고, 동작 S925에서 증강 현실 장치(1000)는 패턴 생성부(1520)를 통하여 면 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 식별된 광원을 활성화함으로써 광원으로부터 광이 조사되어 패턴 생성부(1520)의 면 패턴광 생성 영역을 통과하도록 할 수 있다. 면 패턴광은 면 패턴광 생성 영역으로부터 객체를 향하여 방출될 수 있다.
또한, 동작 S930에서 증강 현실 장치(1000)는 객체로부터 반사된 면 패턴광을 수신하고, 동작 S935에서 증강 현실 장치(1000)는 방출된 면 패턴광 및 수신된 면 패턴광에 기초하여, 객체의 깊이 정보를 생성할 수 있다.
동작 S940에서 증강 현실 장치(1000)는 깊이 측정을 종료할 지를 결정할 수 있다. 증강 현실 장치(1000)는 증강 현실 장치(1000) 주변의 객체들에 관한 깊이를 측정하고, 증강 현실 장치(1000) 주변의 깊이 맵을 생성할 수 있다. 깊이 맵이 충분히 생성되지 않았다고 판단되면 증강 현실 장치(1000)는 동작 S900 내지 동작 S935를 반복하여 수행할 수 있다. 만약, 깊이 맵이 충분히 생성되었다고 판단되면 증강 현실 장치(1000)는 깊이 측정을 종료할 수 있다.
도 10은 본 개시의 일 실시예에 따른 사용자의 응시점 주변의 일부 영역에만 패턴광을 방출하는 예시를 나타내는 도면이다.
도 10을 참조하면, 증강 현실 장치(1000)는 사용자의 응시점(100)을 식별하고, 증강 현실 장치(1000)의 주변의 영역 중에서 응시점 주변의 일부 영역을 패턴광 방출 영역(110)으로 설정할 수 있다. 또한, 증강 현실 장치(1000)의 설정된 패턴광 방출 영역(110)을 향하여 패턴광을 방출할 수 있다.
도 11은 본 개시의 일 실시예에 따른 사용자의 응시점의 깊이에 따라 패턴광을 방출하는 방법의 흐름도이다.
동작 S1100에서 증강 현실 장치(1000)는 사용자의 응시점을 식별할 수 있다. 증강 현실 장치(1000)는 시선 추적 센서(1600)를 이용하여, 사용자의 응시점을 식별할 수 있다. 증강 현실 장치(1000)는 사용자의 응시점을 깊이를 측정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 사용자의 동공의 위치에 기초하여 사용자가 응시하는 응시점의 깊이를 산출할 수 있다. 또는, 예를 들어, 증강 현실 장치(1000)는 사용자의 응시점에 위치한 객체의 깊이를 직접 측정할 수도 있다. 이 경우, 증강 현실 장치(1000)는 사용자의 응시점이 위치한 곳의 객체를 향하여 광을 조사하고, 객체로부터 반사되는 광을 이용하여 응시점의 깊이를 측정할 수 있다.
동작 S1105에서 증강 현실 장치(1000)는 응시점의 깊이에 기초하여, 방출될 패턴광의 종류를 결정할 수 있다. 증강 현실 장치(1000)는 응시점의 깊이가 소정 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 증강 현실 장치(1000)는 응시점의 깊이가 소정 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 응시점의 깊이와 비교되는 임계치는, 사용자의 신체 주변의 소정 거리 값일 수 있다. 이에 따라, 증강 현실 장치(1000)는 사용자가 사용자의 신체 주변을 응시하고 있다고 판단되면, 면 패턴광을 방출할 것을 결정할 수 있다. 또한, 증강 현실 장치(1000)는 사용자가 사용자로부터 먼 부분을 응시하고 있다고 판단되면, 점 패턴광을 방출할 것을 결정할 수 있다.
동작 S1110에서 증강 현실 장치(1000)는 패턴광의 방출 범위를 결정할 수 있다. 증강 현실 장치(1000)는 기설정된 기준에 따라, 증강 현실 장치(1000) 주변의 전체 영역 중에서 일부 영역에 대하여만 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 실행 중인 애플리케이션의 종류 및 애플리케이션의 기능 등을 고려하여, 패턴광의 방출 범위를 결정할 수 있다. 예를 들어, 사용자의 제스처를 식별하기 위하여, 증강 현실 장치(1000)는 사용자의 손 주변의 일부 영역을 패턴광을 방출할 영역으로 결정할 수 있다. 그러나, 이에 제한되지 않으며, 예를 들어, 증강 현실 장치(1000)의 배터리 잔량, 깊이 측정을 위한 배터리 소모량, 측정될 깊이의 정확도 등과 같은 다양한 기준에 따라 패턴광의 방출 범위가 결정될 수 있다.
동작 S1115에서 증강 현실 장치(1000)는 패턴광의 종류 및 패턴광의 방출 범위에 기초하여, 패턴 생성부(1520)의 일부 영역을 선택할 수 있다. 증강 현실 장치(1000)는, 패턴광의 종류 및 패턴광의 방출 범위에 따라, 패턴광을 패턴 생성부(1520)의 어느 영역을 통하여 방출하여야 하는지를 결정할 수 있다.
동작 S1120에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 일부 영역에 대응되는 광원부(1510)의 일부 영역을 활성화하여, 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 동작 1115에서 선택된 패턴 생성부(1520)의 일부 영역으로 광을 조사하는 광원부(1510)의 일부 영역을 활성화할 수 있으며, 광원부(1510)의 일부 영역으로부터 조사된 광은 동작 1115에서 선택된 패턴 생성부(1520)의 일부 영역을 통과할 수 있다. 패턴 생성부(1520)의 일부 영역을 통과한 패턴광은 객체를 향하여 방출될 수 있다.
동작 S1125에서 증강 현실 장치(1000)는 응시점 주변의 객체로부터 반사된 패턴광을 수신하고, 동작 S1130에서 증강 현실 장치(1000)는 방출된 패턴광 및 반사된 패턴광에 기초하여, 응시점 주변의 깊이를 측정할 수 있다.
도 12는 본 개시의 일 실시예에 따른 사용자의 제스처가 감지됨에 따라 패턴광을 방출하는 예시를 나타내는 도면이다.
도 12를 참조하면, 증강 현실 장치(1000)는 사용자의 손 제스처를 감지하고, 사용자의 손 주변 영역에는 면 패턴광을 방출하고, 나머지 영역에는 점 패턴광을 방출할 수 있다.
도 13은 본 개시의 일 실시예에 따른 사용자의 제스처가 감지됨에 따라 패턴광을 방출하는 방법의 흐름도이다.
동작 S1300에서 증강 현실 장치(1000)는 사용자의 손 제스처를 감지할 수 있다. 사용자는 손을 이용하여 제스처 입력을 하기 위하여 미리 설정된 동작을 할 수 있으며, 증강 현실 장치(1000)는 사용자의 손 제스처를 감지할 수 있다. 증강 현실 장치(1000)는 증강 현실 장치(1000)의 주변을 적은 광량의 패턴광을 방출하여 모니터링할 수 있으며, 제스처 입력을 하기 위한 사용자의 동작을 감지할 수 있다.
동작 S1310에서 증강 현실 장치(1000)는 사용자의 손 주변 영역을 향하여 면 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 사용자의 손 주변의 소정 영역을 면 패턴광을 방출하기 위한 영역으로 결정하고, 결정된 영역에 대하여 면 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 사용자의 손 주변 영역에 대하여만 면 패턴광을 방출함으로써, 증강 현실 장치(1000)의 전력 소모를 줄이면서도 사용자의 손 제스처를 효과적으로 감지할 수 있게 된다.
동작 S1320에서 증강 현실 장치(1000)는 나머지 영역을 향하여 점 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 실제 공간에서 사용자의 손 주변 영역 이외의 나머지 영역에 대하여는 점 패턴광을 방출함으로써, 사용자의 손 제스처를 감지하면서도 사용자 주변의 객체들에 관한 깊이 정보를 획득할 수 있다.
도 14는 본 개시의 일 실시예에 따른 응시점의 깊이 변화에 따라 증강 현실 장치(1000)의 주변의 깊이를 측정하는 방법의 흐름도이다.
동작 S1400에서 증강 현실 장치(1000)는 응시점의 깊이 변화가 소정 임계치보다 큰지를 판단할 수 있다. 증강 현실 장치(1000)는 사용자의 응시점의 깊이 변화를 모니터링할 수 있으며, 사용자의 응시점의 깊이 변화가 소정 임계치보다 큰지를 판단할 수 있다.
응시점의 깊이 변화가 소정 임계치보다 크다고 판단되면, 동작 S1410에서 증강 현실 장치(1000)는 실제 공간의 전체 영역에 대한 깊이를 측정할 수 있다. 사용자의 응시점의 깊이 변화가 큰 경우에는 사용자가 새로운 환경에 위치하는 것일 수 있으므로, 증강 현실 장치(1000)는 증강 현실 장치(1000)의 주변을 스캐닝하기 위하여 실제 공간의 전체 영역에 대한 깊이를 측정할 수 있다. 증강 현실 장치(1000)는 점 패턴광을 증강 현실 장치(1000)의 주변을 향하여 방출하고, 객체로부터 반사되는 점 패턴광을 수신할 수 있다. 또한, 증강 현실 장치(1000)는 방출된 점 패턴광 및 수신된 점 패턴광을 비교하여 증강 현실 장치(1000) 주변의 깊이를 측정할 수 있다.
응시점의 깊이 변화가 소정 임계치보다 작다고 판단되면, 동작 S1420에서 증강 현실 장치(1000)는 응시점 주변 영역에 대한 깊이를 측정할 수 있다. 사용자의 응시점의 깊이 변화가 작은 경우에는 사용자가 기존의 환경에 위치하는 것일 수 있으므로, 증강 현실 장치(1000)는 응시점 주변 영역에 대한 깊이 만을 측정할 수 있다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
또한, 본 명세서에서, “a, b 또는 c 중 적어도 하나를 포함한다”는 “a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 증강 현실 장치가 객체의 깊이를 측정하는 방법에 있어서,
    복수의 패턴광 중에서 상기 증강 현실 장치로부터 방출될 패턴광의 종류를 결정하는 동작;
    패턴 생성부의 전체 영역 중에서 상기 결정된 종류의 패턴광을 위한 영역에 대응되는 광원의 일부 영역을 식별하는 동작;
    상기 식별된 광원의 일부 영역을 활성화함으로써, 상기 패턴 생성부의 상기 결정된 종류의 패턴광을 위한 영역을 통하여 상기 결정된 종류의 패턴광을 방출하는 동작;
    상기 객체로부터 반사된 패턴광을 수신하는 동작; 및
    상기 방출된 패턴광 및 상기 반사된 패턴광에 기초하여, 상기 객체의 깊이를 측정하는 동작;
    을 포함하며,
    상기 객체의 깊이를 측정하기 위하여 상기 광원으로부터 조사된 광이 상기 패턴 생성부를 통하여 방출되며,
    상기 복수의 패턴광은 점 패턴광 및 면 패턴광을 포함하는 것인, 방법.
  2. 제1 항에 있어서,
    상기 패턴 생성부의 상기 결정된 종류의 패턴광을 위한 영역은, 상기 광원으로부터 조사된 광을 상기 점 패턴광으로 변경하기 위한 제1 영역 또는 상기 광원으로부터 조사된 광을 상기 면 패턴광으로 변경하기 위한 제2 영역을 포함하는 것인, 방법.
  3. 제2 항에 있어서,
    상기 제1 영역은 복수의 제1 하위 영역들을 포함하며, 상기 복수의 제1 하위 영역들은 실제 공간의 복수의 실제 영역들에 각각 대응되는 것인, 방법.
  4. 제3 항에 있어서,
    상기 실제 공간에서의 상기 객체의 위치를 식별하는 동작;
    상기 복수의 제1 하위 영역들 중에서, 상기 객체의 위치에 대응되는 적어도 하나의 제1 하위 영역을 식별하는 동작;
    을 더 포함하며,
    상기 식별된 적어도 하나의 제1 하위 영역에 대응되는 상기 광원의 일부 영역을 활성화함으로써, 상기 식별된 적어도 하나의 제1 하위 영역을 통하여 상기 패턴광이 방출되는 것인, 방법.
  5. 제1 항에 있어서,
    상기 증강 현실 장치의 사용자의 응시점을 식별하는 동작;
    상기 응시점의 깊이를 식별하는 동작;
    을 더 포함하며,
    상기 패턴광의 종류를 결정하는 동작은, 상기 응시점의 깊이에 기초하여 상기 점 패턴광 또는 상기 면 패턴광을 선택하는 것인, 방법.
  6. 제5 항에 있어서,
    상기 응시점의 깊이의 변화량을 식별하는 동작; 및
    상기 깊이의 변화량에 기초하여, 상기 패턴 생성부를 통하여 상기 점 패턴광 및 상기 면 패턴광을 순차적으로 방출할 지를 결정하는 동작;
    을 더 포함하는 것인, 방법.
  7. 제5 항에 있어서,
    상기 응시점의 위치에 기초하여, 실제 공간의 전체 영역 중에서 상기 응시점의 주변의 소정 영역을 결정하는 동작;
    을 더 포함하며,
    상기 결정된 소정 영역에 대응되는 상기 패턴 생성부의 영역을 통하여, 상기 패턴광이 방출되는 것인, 방법.
  8. 제1 항에 있어서,
    사용자의 손의 제스처를 감지하는 동작;
    실제 공간 중에서 상기 사용자의 손 주변 영역에 대하여 상기 면 패턴광을 방출할 것을 결정하는 동작; 및
    상기 실제 공간 중에서 나머지 영역에 대하여 상기 점 패턴광을 방출할 것을 결정하는 동작;
    을 더 포함하는, 방법.
  9. 제1 항에 있어서,
    상기 증강 현실 장치의 광원으로부터 상기 패턴 생성부를 향하여 조사된 광이 상기 패턴 생성부를 통하여 상기 패턴광으로 변경되는 것인, 방법.
  10. 제1 항에 있어서,
    상기 패턴 생성부는, DOE(Diffractive Optical Element) 또는 LC 렌즈 어레이(Liquid Crystal lens array) 중 적어도 하나를 포함하는 것인, 방법.
  11. 객체의 깊이를 측정하는 증강 현실 장치에 있어서,
    깊이 측정을 위한 광을 조사하는 광원;
    상기 조사된 광을 패턴광으로 변경하는 패턴 생성부;
    상기 증강 현실 장치 주변의 객체로부터 반사된 광을 수신하는 광수신부;
    하나 이상의 명령어를 저장하는 메모리; 및
    상기 저장된 하나 이상의 명령어를 실행하는 프로세서;
    를 포함하며,
    상기 프로세서는,
    복수의 패턴광 중에서 상기 증강 현실 장치로부터 방출될 패턴광의 종류를 결정하고,
    상기 패턴 생성부의 전체 영역 중에서 상기 결정된 종류의 패턴광을 위한 영역에 대응되는 상기 광원의 일부 영역을 식별하며,
    상기 식별된 광원의 일부 영역을 활성화함으로써, 상기 패턴 생성부의 상기 결정된 종류의 패턴광을 위한 영역을 통하여 상기 결정된 종류의 패턴광을 방출하고,
    상기 객체로부터 반사된 패턴광을 상기 광 수신부를 통하여 수신하고,
    상기 방출된 패턴광 및 상기 반사된 패턴광에 기초하여, 상기 객체의 깊이를 측정하며,
    상기 객체의 깊이를 측정하기 위하여 상기 광원으로부터 조사된 광이 상기 패턴 생성부를 통하여 방출되며,
    상기 복수의 패턴광은 점 패턴광 및 면 패턴광을 포함하는 것인, 증강 현실 장치.
  12. 제11 항에 있어서,
    상기 패턴 생성부는, 상기 광원으로부터 조사된 광을 점 패턴광으로 변경하기 위한 제1 영역 및 상기 광원으로부터 조사된 광을 면 패턴광으로 변경하기 위한 제2 영역을 포함하는, 방법.
  13. 제12 항에 있어서,
    상기 제1 영역은 복수의 제1 하위 영역들을 포함하며, 상기 복수의 제1 하위 영역들은 실제 공간의 복수의 실제 영역들에 각각 대응되는 것인, 방법.
  14. 제13 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어를 실행하여,
    상기 실제 공간에서의 상기 객체의 위치를 식별하고,
    상기 복수의 제1 하위 영역들 중에서, 상기 객체의 위치에 대응되는 적어도 하나의 제1 하위 영역을 식별하며,
    상기 식별된 적어도 하나의 제1 하위 영역에 대응되는 상기 광원의 일부 영역을 활성화함으로써 상기 식별된 적어도 하나의 제1 하위 영역을 통하여 상기 패턴광이 방출되는 것인, 증강 현실 장치.
  15. 제11 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어를 실행하여,
    상기 증강 현실 장치의 사용자의 응시점을 식별하고, 상기 응시점의 깊이를 식별하며,
    상기 응시점의 깊이에 기초하여 상기 점 패턴광 또는 상기 면 패턴광을 선택하는, 증강 현실 장치.
  16. 제15 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어를 실행하여,
    상기 응시점의 깊이의 변화량을 식별하고, 상기 깊이의 변화량에 기초하여, 상기 패턴 생성부를 통하여 상기 점 패턴광 및 상기 면 패턴광을 순차적으로 방출할 지를 결정하는, 증강 현실 장치.
  17. 제15 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어를 실행하여,
    상기 응시점의 위치에 기초하여, 실제 공간의 전체 영역 중에서 상기 응시점의 주변의 소정 영역을 결정하며,
    상기 결정된 소정 영역에 대응되는 상기 패턴 생성부의 영역을 통하여, 상기 패턴광이 방출되는 것인, 증강 현실 장치.
  18. 제11 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어를 실행하여,
    사용자의 손의 제스처를 감지하고,
    실제 공간 중에서 상기 사용자의 손 주변 영역에 대하여 상기 면 패턴광을 방출할 것을 결정하고,
    상기 실제 공간 중에서 나머지 영역에 대하여 상기 점 패턴광을 방출할 것을 결정하는, 증강 현실 장치.
  19. 제11 항에 있어서,
    상기 패턴 생성부는, DOE(Diffractive Optical Element) 또는 LC 렌즈 어레이(Liquid Crystal lens array) 중 적어도 하나를 포함하는 것인, 증강 현실 장치.
  20. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200130460A 2020-10-08 2020-10-08 객체의 깊이를 측정하는 디바이스 및 방법 KR20220047035A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200130460A KR20220047035A (ko) 2020-10-08 2020-10-08 객체의 깊이를 측정하는 디바이스 및 방법
PCT/KR2021/013059 WO2022075642A1 (ko) 2020-10-08 2021-09-24 객체의 깊이를 측정하는 디바이스 및 방법
US17/602,645 US11852823B2 (en) 2020-10-08 2021-09-24 Device and method for measuring depth of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200130460A KR20220047035A (ko) 2020-10-08 2020-10-08 객체의 깊이를 측정하는 디바이스 및 방법

Publications (1)

Publication Number Publication Date
KR20220047035A true KR20220047035A (ko) 2022-04-15

Family

ID=81125859

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200130460A KR20220047035A (ko) 2020-10-08 2020-10-08 객체의 깊이를 측정하는 디바이스 및 방법

Country Status (3)

Country Link
US (1) US11852823B2 (ko)
KR (1) KR20220047035A (ko)
WO (1) WO2022075642A1 (ko)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8072581B1 (en) 2007-01-19 2011-12-06 Rockwell Collins, Inc. Laser range finding system using variable field of illumination flash lidar
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US10019843B2 (en) 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
WO2016024200A2 (en) 2014-08-12 2016-02-18 Mantisvision Ltd. Structured light projection and imaging
US9778476B2 (en) 2014-11-03 2017-10-03 Aquifi, Inc. 3D depth sensor and projection system and methods of operating thereof
US9817159B2 (en) 2015-01-31 2017-11-14 Microsoft Technology Licensing, Llc Structured light pattern generation
US10827163B2 (en) 2016-08-09 2020-11-03 Facebook Technologies, Llc Multiple emitter illumination source for depth information determination
US10469722B2 (en) 2016-08-29 2019-11-05 Facebook Technologies, Llc Spatially tiled structured light projector
US10469758B2 (en) 2016-12-06 2019-11-05 Microsoft Technology Licensing, Llc Structured light 3D sensors with variable focal length lenses and illuminators
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US20190068853A1 (en) 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
US10466360B1 (en) * 2017-08-31 2019-11-05 Facebook Technologies, Llc Depth measurement using scanning diffractive optical elements
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10634772B2 (en) 2017-11-27 2020-04-28 Atieva, Inc. Flash lidar with adaptive illumination
KR20190089627A (ko) 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법
KR20190118846A (ko) 2018-04-11 2019-10-21 한국과학기술연구원 다초점 증강현실 장치

Also Published As

Publication number Publication date
US11852823B2 (en) 2023-12-26
US20230122125A1 (en) 2023-04-20
WO2022075642A1 (ko) 2022-04-14

Similar Documents

Publication Publication Date Title
US10867450B2 (en) Augmented reality lighting effects
CN107810463B (zh) 头戴式显示系统和设备以及头戴式显示中产生图像的方法
US11417005B1 (en) Polarized illumination and detection for depth sensing
US11249305B2 (en) Head-mounted display device and operating method of the same for determining a measurement parameter
US11586036B2 (en) Camera assembly with programmable diffractive optical element for depth sensing
US20140375541A1 (en) Eye tracking via depth camera
CN110494791A (zh) 具有在空间上可切换的光栅的波导显示器
WO2014209819A1 (en) Eye-tracking system for head-mounted display
WO2019067109A1 (en) 3-D DEPTH PROJECTOR 360 DEGREES
US20220413603A1 (en) Multiplexed diffractive elements for eye tracking
BE1025917B1 (nl) Werkwijzen en inrichtingen voor het dimensioneren van een object gebruikmakend van nabije apparaten
US10203504B1 (en) Scanning waveguide display
CN109983393B (zh) 平铺波导显示器
KR20220047035A (ko) 객체의 깊이를 측정하는 디바이스 및 방법
JP2016164701A (ja) 情報処理装置及び情報処理装置の制御方法
EP3445049B1 (en) Camera assembly with programmable diffractive optical element for depth sensing
EP3462128B1 (en) 3d 360-degree camera system
CN113661433B (zh) 头戴式显示设备及其操作方法
KR20220005958A (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
US20230098951A1 (en) Method of displaying content by augmented reality device and augmented reality device for displaying content
KR20220030007A (ko) 이미지 생성 장치 및 방법
KR20230046008A (ko) 증강 현실(Augmented Reality) 장치가 콘텐트를 디스플레이하는 방법 및 콘텐트를 디스플레이하는 증강 현실 장치
JP2023115505A (ja) 表示装置、表示方法、及びプログラム
JP2023514474A (ja) 明瞳孔アイトラッキングシステム
CN116997842A (zh) 多波长自混合干涉测量