KR102559289B1 - 적응형 깊이 감지 시스템 - Google Patents

적응형 깊이 감지 시스템 Download PDF

Info

Publication number
KR102559289B1
KR102559289B1 KR1020177031277A KR20177031277A KR102559289B1 KR 102559289 B1 KR102559289 B1 KR 102559289B1 KR 1020177031277 A KR1020177031277 A KR 1020177031277A KR 20177031277 A KR20177031277 A KR 20177031277A KR 102559289 B1 KR102559289 B1 KR 102559289B1
Authority
KR
South Korea
Prior art keywords
depth sensing
sensor
depth
sensing device
module
Prior art date
Application number
KR1020177031277A
Other languages
English (en)
Other versions
KR20180012746A (ko
Inventor
치-판 신
프라산나 크리쉬나스와미
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20180012746A publication Critical patent/KR20180012746A/ko
Application granted granted Critical
Publication of KR102559289B1 publication Critical patent/KR102559289B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Abstract

본 개시물은 적응형 깊이 감지(depth sensing: DS) 시스템에 관한 것이다. DS 디바이스는 DS 장비 모듈 및 제어 모듈을 포함할 수 있다. 제어 모듈은 단거리 감지, 중거리 감지 또는 장거리 감지에 대한 DS 장비 모듈의 동작 모드를 구성할 수 있다. 제어 모듈은 동작 모드를 결정하기 위해 DS 장비 모듈로부터 적어도 깊이 데이터를 수신할 수 있다. 제어 모듈은 또한 DS 디바이스 및/또는 DS 디바이스가 연결된 호스트 디바이스에 관한 조건 데이터를 수신하고, 조건 데이터에 기초하여 구성을 결정할 수 있으며, 깊이 데이터와 함께 조건 데이터를 이용하여 DS 장비 모듈을 구성할 수 있다. DS 장비 모듈을 구성하는 것은, 예를 들어, DS 장비 모듈 내의 컴포넌트들을 인에이블하는 것, 컴포넌트들에 대한 초점을 구성하는 것, 컴포넌트들에 대한 이미지 방향을 구성하는 것 및/또는 컴포넌트들에 대한 DS 방법을 선택하는 것을 포함할 수 있다.

Description

적응형 깊이 감지 시스템
본 개시물은 디바이스 감지 시스템에 관한 것으로, 보다 구체적으로, 상이한 감지 범위에 적응 가능한 깊이 센서 및 적응형 깊이 센서를 제어하기 위한 시스템에 관한 것이다.
사용자가 전자 디바이스와 상호 작용할 수 있는 방식은 감지 기술의 새로운 개발에 기초하여 발달하고 있다. 예를 들어, 깊이 센서는 특정 감지 애플리케이션을 위해 점차 널리 보급되고 있다. 깊이 센서는 디바이스로부터 타겟까지의 거리를 감지할 수 있고, 이들 라인을 따라 3차원으로 만들어진 제스처 및/또는 모션 등을 감지할 수 있다. 깊이 감지에 대한 일반적인 용도는 비디오 게임을 위한 특화된 사용자 인터페이스이다. 깊이 기반 사용자 인터페이스는 게임 플레이어에 의해 만들어진 위치, 모션(motion) 및/또는 제스처를 감지할 수 있다. 비디오 게임 시스템은 감지된 깊이 정보를 비디오 게임 내의 캐릭터 등을 제어하기 위한 입력으로 변환할 수 있다. 깊이 감지를 이용할 수 있는 애플리케이션의 다른 예는 컴퓨터에 대한 사용자 인터페이스 입력(예를 들어, 마우스와 유사한 방식으로 포인팅 디바이스를 조작하는 것), 얼굴 인식, 움직임(movement)을 아바타에 맵핑하기 위한 얼굴 특징 추적, 다양한 로보틱스 애플리케이션을 위한 조작, 객체 타겟팅 등을 포함하나 이로 제한되지 않는다.
깊이 센서는 앞의 예시적 애플리케이션 중 어느 하나를 위해 설계될 수 있지만, 다양한 애플리케이션에 전반적으로 적용 가능한 센서를 설계하는 것이 훨씬 더 어렵다. "범용" 깊이 센서를 고려할 때 적어도 한 가지 어려움은 근거리 감지(예를 들어, 1m 이내), 중거리 감지(예를 들어, 1m 내지 3m) 및 장거리 감지(예를 들어, 3m 이상) 모두 서로 다른 장비 구성을 포함한다는 것이다. 특히, 예시적인 깊이 센서는 적어도 하나의 적색, 녹색 및 청색(RGB) 센서(예를 들어, 적어도 2개의 RGB 센서가 시각적으로 깊이를 결정하는데 사용될 수 있음)를 포함할 수 있다. 적외선(IR) 깊이 감지를 위한, 예시적 깊이 센서는 적어도 하나의 IR 방출기(emitter) 및 적어도 하나의 IR 수신기를 포함할 수 있다. 깊이 센서 내의 이러한 컴포넌트들의 배치, 컴포넌트들의 초점 조정(focusing), 상이한 깊이 감지 방법에 기초한 동작을 위한 컴포넌트의 구성 등은, 예를 들어, 타겟팅된 감지 깊이, 깊이 감지가 발생하는 환경, 감지될 타겟 객체 또는 깊이 센서 자체에 대해 예상되는 모션의 양, 깊이 감지 애플리케이션 등과 같은 다양한 요인에 따라 달라질 수 있다.
특허 청구 대상의 다양한 실시예의 특징 및 이점은 다음의 상세한 설명이 진행됨에 따라 명백해질 것이며 도면 참조 시 동일 부호는 동일한 부분을 나타낸다.
도 1은 본 개시물의 적어도 하나의 실시예에 따른 예시적인 적응형 깊이 감지 시스템을 도시한다.
도 2는 본 개시물의 적어도 하나의 실시예에 따른 통합된 깊이 센서에 관한 예시적 구현예를 도시한다.
도 3은 본 개시물의 적어도 하나의 실시예에 따른 착탈식 깊이 센서에 관한 예시적인 구현예를 도시한다.
도 4는 본 개시물의 적어도 하나의 실시예에 따른 깊이 센서 및 호스트 디바이스에 대한 예시적인 모듈 구성을 도시한다.
도 5는 본 개시물의 적어도 하나의 실시예에 따른 단일 센서 근거리 감지 및 이중 센서 중거리 감지를 위한 예시적인 구성을 도시한다.
도 6은 본 개시물의 적어도 하나의 실시예에 따른 추가 센서 또는 이동형 센서를 이용한 이중 장거리 감지를 위한 예시적인 구성을 도시한다.
도 7은 본 개시물의 적어도 하나의 실시예에 따른 조합형 깊이 센서 및 호스트 디바이스에 대한 예시적인 제어 구성을 도시한다.
도 8은 본 개시물의 적어도 하나의 실시예에 따른 적응형 깊이 센서 시스템을 구성하기 위한 예시적인 동작을 도시한다.
도 9는 본 개시물의 적어도 하나의 실시예에 따른 적응형 깊이 센서 시스템에 대한 장면 변경을 검출하기 위한 예시적인 동작을 도시한다.
다음 상세한 설명은 예시적인 실시예들을 참조하여 진행될 것이지만, 이들의 많은 대안, 수정 및 변형이 본 기술분야의 당업자에게 명백할 것이다.
본 개시물은 적응형 깊이 감지(DS) 시스템에 관한 것이다. 적어도 하나의 실시예에서, DS 디바이스는 DS 장비 모듈 및 제어 모듈을 포함할 수 있다. 제어 모듈은 근거리 감지, 중거리 감지 또는 장거리 감지를 위한 DS 장비 모듈의 동작 모드를 구성할 수 있다. 예를 들어, 제어 모듈은 동작 모드를 결정하기 위해 DS 장비 모듈로부터 적어도 깊이 데이터를 수신할 수 있다. 적어도 하나의 실시예에서, 제어 모듈은 또한 DS 디바이스 및/또는 DS 디바이스가 연결된 호스트 디바이스에 관한 조건 데이터를 수신하고, 조건 데이터에 기초하여 구성을 결정하고, 깊이 데이터와 함께 조건 데이터를 이용하여 DS 장비 모듈을 구성할 수 있다. DS 장비 모듈을 구성하는 것은, 예를 들어, DS 장비 모듈 내의 컴포넌트들을 인에이블하는 것, DS 장비 모듈 내의 컴포넌트들에 대한 초점을 구성하는 것, DS 장비 모듈 내의 컴포넌트들에 대한 이미지 방향을 구성하는 것 및/또는 DS 장비 모듈 내의 컴포넌트들에 대한 DS 방법을 선택하는 것을 포함할 수 있다. 예를 들어, 근거리 감지를 위해 하나의 IR 센서가 인에이블될 수 있지만, 중거리 감지를 위해 두 개의 적외선 센서가 인에이블될 수도 있다. DS 장비 모듈은 또한 장거리 감지를 위해 특별히 활성화되는 제 3 IR 센서를 포함하거나, 중거리 또는 장거리 감지 모드가 DS 장비 모듈에 구성되는지에 따라 IR 센서들 중 적어도 하나가 이동되게 할 수도 있다.
적어도 하나의 실시예에서, 예시적인 DS 디바이스는 적어도 DS 장비 모듈 및 제어 모듈을 포함할 수 있다. DS 장비 모듈은 DS를 수행하는 것일 수 있다. 제어 모듈은 DS 장비 모듈로부터 적어도 깊이 데이터를 수신하고 적어도 깊이 데이터에 기초하여 깊이 감지 장비 모듈에 대한 동작 모드를 구성하는 것일 수 있다.
예를 들어, 깊이 데이터는 깊이 감지 디바이스로부터 깊이 감지 장비 모듈에 의해 감지된 연속된 픽셀 그룹의 그룹 내의 적어도 하나의 픽셀까지의 거리 또는 연속된 픽셀 그룹의 크기 중 적어도 하나를 포함할 수 있다. 제어 모듈은 또한 적어도 깊이 감지 디바이스에 관한 조건 데이터를 수신하고, 조건 데이터에 기초하여 깊이 감지 디바이스에 대한 구성을 결정하고 또한 구성에 기초하여 깊이 감지 장비 모듈에 대한 동작 모드를 구성할 수 있다. 적어도 하나의 실시예에서, 제어 모듈은 또한, 깊이 감지 디바이스가 호스트 디바이스에 연결되어 있는지 여부를 판정하고, 깊이 감지 디바이스가 호스트 디바이스에 연결되어 있다는 판정에 기초하여 호스트 디바이스에 관한 조건 데이터를 수신하며, 깊이 감지 디바이스 및 호스트 디바이스로부터 수신된 조건 데이터에 기초하여 깊이 감지 디바이스 또는 호스트 디바이스 중 적어도 하나에 대한 구성을 결정할 수 있다. 제어 모듈은 또한, 조건 데이터 또는 깊이 데이터 중 적어도 하나에 기초하여 장면 변경이 있었는지 판정하고 장면 변경이 있었다는 판정에 기초하여 깊이 센서에 대한 동작 모드를 재구성할 수 있다.
적어도 하나의 실시예에서, 동작 모드를 구성할 때, 제어 모듈은 깊이 감지 장비 모듈 내의 컴포넌트를 인에이블하거나, 깊이 감지 장비 모듈 내의 컴포넌트에 대한 초점을 조정하거나, 깊이 감지 장비 모듈 내의 컴포넌트에 대한 이미지 방향을 구성하거나, 깊이 감지 장비 모듈 내의 컴포넌트에 대한 깊이 감지 방법을 선택하는 것 중 적어도 하나를 수행할 수 있다. 깊이 감지 장비 모듈은 적어도 적색, 녹색 및 청색(RGB) 센서, 적외선(IR) 방출기, IR 방출기로부터 이격되어 위치한 제 1 IR 센서 및 IR 방출기에 인접하여 위치한 제 2 IR 센서를 포함할 수 있다.
동작 모드를 구성할 때, 제어 모듈은 근거리 깊이 감지를 위해 IR 방출기 및 제 1 IR 센서를 인에이블할 수도 있다. 또한, 동작 모드를 구성할 때, 제어 모듈은 중거리 깊이 감지를 위해 제 2 IR 센서를 인에이블할 수도 있다. 적어도 하나의 실시예에서, 제 2 IR 센서는 깊이 감지 장비 모듈 내에서 이동 가능할 수 있고, 동작 모드를 구성할 때, 제어 모듈은 깊이 감지 장비 모듈이 제 2 IR 센서를 중거리 깊이 감지를 위해 구성되는 경우에는 제 1 위치에, 또는 장거리 깊이 감지를 위해 구성되는 경우에는 제 1 IR 센서로부터 더 멀리 떨어진 제 2 위치에 위치하게 할 수 있다. 이와 달리, 깊이 감지 장비 모듈은 제 2 IR 센서보다 제 1 IR 센서로부터 더 멀리 떨어져 위치한 제 3 IR 센서를 포함할 수 있고, 동작 모드를 구성할 때, 제어 모듈은 장거리 깊이 감지를 위해 RGB 센서, IR 방출기, 제 1 IR 센서 및 제 3 IR 센서를 인에이블한다. 본 개시물과 일관되게, 깊이 감지 디바이스를 구성하기 위한 예시적인 방법은 깊이 감지 디바이스 내의 제어 모듈에서 조건 데이터를 수신하는 단계와, 조건 데이터에 기초하여 적어도 깊이 감지 디바이스에 대한 구성을 결정하는 단계와, 깊이 감지 디바이스로부터 제어 모듈에서 깊이 데이터를 수신하는 단계와, 결정된 구성 및 깊이 데이터에 적어도 기초하여 깊이 감지 디바이스 내의 깊이 감지 장비 모듈에 대한 동작 모드를 구성하는 단계를 포함할 수 있다.
도 1은 본 개시물의 적어도 일 실시예에 따른 적응형 깊이 센서 시스템의 일례를 도시한다. 시스템(100)은, 예를 들어, 적어도 DS 디바이스(102) 및 호스트 디바이스(104)를 포함할 수 있다. DS 디바이스(102)는 유선 또는 무선 연결을 통해 호스트 디바이스(104)에 연결된 개별 디바이스일 수 있거나 호스트 디바이스(104)에 통합될 수 있다. 호스트 디바이스(104)에 관한 예는 구글사의 안드로이드® OS 및/또는 크롬 OS®, 애플사의 ios® 및/또는 Mac® OS, 마이크로소프트사의 윈도우® OS, 리눅스 재단의 타이젠® OS, 모질라 프로젝트 파이어폭스® OS, 블랙베리사의 블랙베리® OS, 휴렛-팩커드사의 palm® OS, 심비안 재단의 심비안® OS 등을 기반으로 하는 셀룰러 핸드셋 또는 스마트폰과 같은 이동 통신 디바이스, 애플사의 iPad®, 구글사의 Nexus®, 마이크로소프트사의 Surface®, 삼성의 Galaxy Tab®, 아마존사의 Kindle Fire®, 인텔사에 의해 제조된 저전력 칩셋을 포함하는 울트라북®, 넷북, 노트북, 랩톱, 팜톱 등과 같은 태블릿 컴퓨터와 같은 이동형 컴퓨팅 디바이스, 삼성의 Galaxy Gear®와 같이 손목 시계 폼 팩터 컴퓨팅 디바이스, 구글사의 Google Glass®와 같은 안경 폼 팩터 컴퓨팅 디바이스/사용자 인터페이스, 삼성사의 Gear VR®과 같은 가상 현실(VR) 헤드셋 디바이스, 오큘러스 VR사의 Oculus Rift® 등과 같은 웨어러블 디바이스, 데스크톱 컴퓨터, 스마트 TV, 인텔사의 NUC(Next Unit of Computing) 플랫폼과 같은 소형 폼 팩터 컴퓨팅 솔루션(예를 들어, 공간 제한 애플리케이션, TV 셋톱 박스 등)과 같이 일반적으로 고정형 컴퓨팅 디바이스를 포함할 수 있으나, 이로 제한되지 않는다. 호스트 디바이스(104)는 위에 열거된 예시적인 디바이스들 중 임의의 디바이스일 수 있지만, 전형적인 사용 시나리오는 호스트 디바이스(104)가 다양한 다른 동작 모드를 갖는 휴대용 통신 디바이스 또는 휴대용 컴퓨팅 디바이스인 것을 포함할 수 있다. 본 개시물의 내용에 일관된 다양한 실시예를 이해하도록 용이하게 이해할 수 있는 컨텍스트를 제공하기 위해 이들 예시적 구성을 사용하여 호스트 디바이스(104)가 본 개시물에(예를 들어, 도 2 및 도 3에) 도시되고/되거나 설명될 수 있다.
DS 디바이스(102)는, 예를 들어, 제어 모듈(106), DS 장비 모듈(108) 및 선택적으로 조건 모듈(110)을 포함할 수 있다. 일반적으로, 제어 모듈(106)은 깊이 데이터(depth data: DD)(112) 또는 조건 데이터(condition data: CD)(114)(예를 들어, DS 디바이스(102)에 대한 CD(114A) 및/또는 호스트 디바이스(104)에 대한 CD(114B)) 중 적어도 하나를 수신할 수 있고 DS 구성(DSC)(116)을 결정하는데 CD(114)를 이용할 수 있다. DD(112)는 일반적으로 DS 디바이스(102)에 의해 생성된 임의의 데이터를 포함할 수 있다. 예를 들어, DS 장비 모듈(108)은 "블롭(blob)"(예를 들어, 연속된 픽셀의 그룹)을 감지함으로써 DD(112)를 활성화 및 생성할 수 있다. DS 디바이스(102)로부터, 예를 들어, RGB 센서만 사용하거나, IR 감지만 사용하거나, RGB 및 IR 감지를 조합하여 사용하여, 감지된 블롭 내의 적어도 하나의 픽셀까지의 개략적 거리는 선택할 동작 모드(예를 들어, 근거리, 중거리 또는 장거리 감지)를 나타낼 수 있다. 블롭의 크기는 단독으로 또는 감지된 거리와 조합하여, 필요한 감지 모드를 나타낼 수도 있다. 예를 들어, 큰 블롭은 잠재적인 타겟이 DS 디바이스(102)에 가깝다는 것을 나타낼 수 있고, 따라서 근거리 감지가 요구된다. 보다 작은 블롭을 감지하는 것은 잠재적 타겟이 DS 디바이스(102)로부터 멀리 떨어져 있고 중거리 또는 장거리 감지가 이용되어야 함을 나타낼 수 있다. 다른 타겟 거리 측정 방법이 또한 사용될 수도 있다. 하나의 방법은 복수의 깊이 맵을 생성하기 위해 근거리, 중거리 및 장거리를 연속적으로 감지하는 단계를 포함할 수도 있다. 최적의 동작 모드는 다양한 깊이 맵들로부터의 데이터를 다양한 결정 알고리즘들에 입력함으로써 선택될 수 있다.
CD(114A 및 114B)(총칭하여, "CD(114A/B)")는 각각 DS 디바이스(102) 및/또는 호스트 디바이스(104)의 조건에 관한 데이터를 각각 포함할 수 있다. 본 명세서에서 언급된 "조건"은 DS 디바이스(102) 및/또는 호스트 디바이스(104)의 현재의 기계적 구성(예를 들어, 개방, 폐쇄, 키보드와 도킹됨 등), DS 디바이스(102) 및/또는 호스트 디바이스(104)의 현재 소프트웨어 구성(예를 들어, 활성 소프트웨어, DS가 요구되는 애플리케이션의 타입 등), DS 디바이스(102) 및/또는 호스트 디바이스(104)가 동작 중인 환경(예를 들어, 감지된 배경, 명암, 간섭, 움직임 등)을 포함할 수 있으나, 이로 제한되지 않는다. 적어도 하나의 실시예에서, CD(114A)는 조건 모듈(110)에 의해 제공될 수 있다. DS 디바이스(102) 내의 조건 모듈(110)의 존재는, 예를 들어, DS 디바이스(102)가 DS 디바이스(102)의 위치, 방향, 움직임 등을 검출하기 위한 적어도 하나의 센서를 포함하는지에 따라 다를 수 있다. DS 디바이스(102)가 고정된 방향으로 호스트 디바이스(104)에 통합되는 예시적인 구현예에서는 조건 모듈(110)이 존재하지 않을 수도 있다. CD(114B)는 조건 모듈(110)을 통해 호스트 디바이스(104)로부터 DS 디바이스(102)에 제공되거나, 조건 모듈(110)이 없는 경우에 제어 모듈(106)에 직접 제공될 수도 있다. CD(114B)는 DS 디바이스(102)와 호스트 디바이스(104) 사이의 관계에 따라 유선 또는 무선 링크를 통해 DS 디바이스(102)에 송신될 수 있다. DS 디바이스(102)와 호스트 디바이스(104)가 관련될 수 있는 방법에 관한 예는 도 2 및 도 3을 참조하여 설명될 것이다.
제어 모듈(106)은 DD(112) 및/또는 CD(114A/B)에 기초하여 수행될 DS의 모드를 결정할 수 있고 116에 도시된 바와 같이 DS 장비 모듈(108)을 구성할 수 있다. DS 장비 모듈(108)은, 구성된 동작 모드에 기초하여 DS를 수행하기 위한 장비(예를 들어, 전자, 전기기계 및/또는 광 하드웨어), 펌웨어, 소프트웨어 등을 포함할 수 있다. 동작 모드는, 예를 들어, 근거리 감지, 중거리 감지 및 장거리 감지를 포함할 수 있다. DS 장비 모듈(108) 내에 포함될 수 있는 장비 유형의 예는 도 4 내지 도 6과 관련하여 설명될 것이다.
도 2는 본 개시물의 적어도 하나의 실시예에 따른 통합형 깊이 센서의 예시적인 구현예를 도시한다. 본 개시물과 일관되게, 호스트 디바이스(104')는 예시적인 DS 디바이스(102')의 동작을 설명하기 위한 플랫폼으로 제시된다. 호스트 디바이스(104')는, 예를 들어, 스마트폰, 태블릿 컴퓨터 자체이거나, 키보드 유닛(200), 노트북, 넷북 등에 메이트(mate)하거나 도킹할 수 있는 것일 수 있다. DS 디바이스(102')는 DS 디바이스(102')가 202에 도시된 바와 같이 (예를 들어, 들어간(retracted) 위치에) 수용되거나 다양한 각도로 배치될 수 있게 하는 방식으로 호스트 디바이스(104')에 통합될 수 있다. 예를 들어, DS 디바이스(102')는 기계적(예를 들어, 스프링 로딩형)이거나 전자기계식(모터 구동형) 메커니즘을 이용하여 자동으로 이동할 수 있거나, 사용자 조작 등을 통해 수동으로 배치될 수 있다. 예를 들어, DS 디바이스(102')는 DS를 요구하는 애플리케이션을 실행하거나, 하드 인터페이스(예를 들어, 버튼), 소프트 인터페이스 등과 상호 작용함으로써 자동으로 전개되도록 트리거될 수 있다. 적어도 하나의 실시예에서, DS 디바이스(102')는 "사용자 대면" 방향에서 도 2에 도시된 바와 같이 이용되어 (예를 들어, 호스트 디바이스(104')를 제어하기 위해, 게임을 플레이하기 위해 등) 이미지를 캡처하고, 사용자에 의해 행해진 제스처를 감지할 수 있다. 제어 모듈(106)은 배치 메커니즘(예를 들어, 서보(servo)로부터의 피드백) 또는 적어도 하나의 센서(예를 들어, 각도 센서, 자이로스코프 등)에 기초하여 CD(114A)를 수신할 수 있고, DS 장비(108)에 대한 동작 모드를 결정할 수 있다. DD(112) 또는 다른 CD(114A/B)를 고려하지 않고, 동작 모드는 근거리 감지인 것으로 결정될 수 있다. 다른 CD(114A/B) 또한 근거리 감지를 나타낼 수도 있다. 예를 들어, 호스트 디바이스(104')가 랩톱, 노트북, 넷북 등인 경우, 디바이스의 스크린 부분과 키보드 부분 사이에서 발생하는 각도(208)가 감지될 수 있고 또한 근거리 감지를 나타낼 수 있다. 중거리 또는 장거리 감지는 (예를 들어, DS 디바이스(102')로부터 블롭 내의 적어도 하나의 픽셀까지의 거리를 감지하거나, 큰 인접 블롭 대신 멀리 떨어진 객체에 대응하는 작은 블롭을 감지하는) DD(112) 및/또는 (예를 들어, 애플리케이션이 중거리 또는 장거리 감지를 필요로 한다고 결정하거나, 감지된 움직임에 기초하여 사용자가 호스트 디바이스(104')를 보유하고 있다고 결정하거나, 호스트 디바이스(104')가 키보드 유닛(200)에 도킹되어 있지 않다고 결정하는) 다른 CD(114A/B)에 기초하여 고려될 수 있다.
동일하거나 상이한 실시예에서, DS 디바이스(102')는 206에 도시된 바와 같이 호스트의 방향을 변경할 수 있게 하는 스위블(swivel) 또는 조인트(204)를 포함할 수 있다. 다시, DS 디바이스(102')의 방향(206)이 사용자 조작을 통해 수동으로 또는 자동으로(예를 들어, 전자기계식 메커니즘을 통해) 변할 수 있다. 반대 방향을 바라보는(예를 들어, 사용자 대면 위치로부터 180도) 방향 전환 디바이스(reorienting device)(102')가 "세계 대면(world-facing)" 방향으로 여겨질 수 있다. 제어 모듈(106)은 조인트(204)로부터 감지된 데이터에 기초하여 DS 디바이스(102')의 방향을 결정할 수 있고, 이 방향에 기초하여 중거리 또는 장거리 감지를 구성하는 것을 고려할 수 있다. 예를 들어, 세계 대면 방향은 이미지를 캡처할 때, 사용자 몸 전체의 움직임에 기초한 비디오 게임을 플레이할 때, 대규모 화상 회의 등을 위해 이용될 수 있다.
도 3은 본 개시물의 적어도 하나의 실시예에 따른 착탈식 깊이 센서의 예시적인 구현예를 도시한다. 도 3의 호스트 디바이스(104')는 도 2에 도시된 것과 동일하거나 실질적으로 유사한 구성을 가질 수 있다. 그러나, 도 3에서, DS 디바이스(102")는 호스트 디바이스(104')로부터 제거 가능할 수 있다. DS 디바이스(102")는 호스트 디바이스(104')에 플러그되는 커넥터(300)를 포함하여 2개의 디바이스가 서로 메이트될 때 유선 통신을 제공할 수 있다. 연장부(302 및 304)는 DS 디바이스(102")를 호스트 디바이스(104')에 기계적으로 연결하는데 사용될 수 있다. 메이트될 때, DS 디바이스(102")는 호스트 디바이스(104')의 일부로서 동작할 수 있다. 적어도 하나의 실시예에서, DS 디바이스(102")는 사용자 대면 또는 세계 대면 방향으로 메이트될 수 있다는 점에서 "양면을 다 이용할 수 있는 것(reversible)"일 수 있다. 예를 들어, 커넥터(300)는 범용 직렬 버스(USB) 타입 C 커넥터 일 수 있고, DS 디바이스(102")에 대한 방향은 DS 디바이스(102")에 연결될 때 호스트 디바이스(104')에서 결정될 수 있는 유형 C 커넥터에 대한 핀 연결 정보에 기초하여 결정될 수 있다. 호스트 디바이스(104')에 메이트되지 않을 때, DS 디바이스(102")는 독립형 깊이 센서로서 동작할 수도 있다. 예를 들어, 커넥터(306)는 306에 도시된 바와 같이 DS 디바이스(102") 내로 들어갈 수 있고, 연장부(302 및 304)는 랩톱 상에서 DS 디바이스(102")를 위치시키기 위한 레그 시스템의 일부로서 동작할 수 있다. 적어도 하나의 실시예에서, 제어 모듈(106)은 DS 디바이스(102")가 호스트 디바이스(104')와 메이트되는지 여부를 나타내는 CD(114A/B)를 수신할 수 있고, 이 정보는 DS 장비 모듈(108)을 위한 동작 모드를 결정하는데 사용될 수 있다. 예를 들어, 제어 모듈(106)은 DS 디바이스(102")가 사용자 대면 방향으로 메이트될 때 근거리 감지를 구성할 수 있고, DS 디바이스(102")가 장거리 구성으로 메이트될 때 중거리 또는 장거리 감지를 구성할 수 있다. 메이트되지 않은 경우(예를 들어, DS 디바이스(102")가 호스트 디바이스(104)와 별도로 동작할 때), 제어 모듈(106)은 전형적인 사용법에 기초하여 중거리 또는 장거리 감지로 디폴트로 될 수 있고, 조건 모듈(110) 내의 적어도 하나의 센서에 의해 제공된 DD(112) 및/또는 CD(114A)를 이용하여 구성할 적절한 동작 모드 등을 결정할 수 있다.
도 4는 본 개시물의 적어도 하나의 실시예에 따른 깊이 센서 및 호스트 디바이스에 대한 예시적인 모듈형 구성을 나타낸다. DS 디바이스(102) 및/또는 호스트 디바이스(104)는 도 1 내지 도 3과 관련하여 설명된 예시적인 기능을 수행할 수 있다. 그러나, DS 디바이스(102) 및/또는 호스트 디바이스(104)의 구성은 본 개시물과 일관된 실시예들에서 사용될 수 있는 예시로서 의미를 가질 뿐, 이러한 다양한 실시예들을 임의의 특정한 구현 방식으로 제한하려는 것이 아니다.
예시적인 호스트 디바이스(104)는, 예를 들어, 디바이스 동작을 관리하도록 구성된 시스템 모듈(400)을 포함할 수 있다. 시스템 모듈(400)은, 예를 들어, 처리 모듈(402), 메모리 모듈(404), 전력 모듈(406), 사용자 인터페이스 모듈(408) 및 통신 인터페이스 모듈(410)을 포함할 수 있다. 호스트 디바이스(104)는 또한 통신 모듈(412)을 포함할 수 있다. 통신 모듈(412)은 시스템 모듈(400)로부터 별개인 것으로 도시되지만, 도 4에 도시된 예시적 구현예는 단지 예시를 위해 제공된다. 통신 모듈(412)과 연관된 기능 전부 또는 일부는 시스템 모듈(400)에 통합될 수도 있다.
호스트 디바이스(104)에서, 처리 모듈(402)은 별도의 컴포넌트에 위치한 하나 이상의 프로세서, 또는 이와 달리 단일 컴포넌트(예를 들어, 시스템 온 칩(SoC) 구성) 및 임의의 프로세서 관련 지원 회로(예를 들어, 브리징 인터페이스 등) 내에 포함된 하나 이상의 프로세싱 코어를 포함할 수 있다. 예시적인 프로세서는 펜티엄(Pentium), 제온(Xeon), 아이타니엄(Itanium), 셀러론(Celeron), 아톰(Atom), 쿼크(Quark), 코어 i-시리즈, 코어 M-시리즈 제품군 내의 것들을 포함하는 인텔사로부터 이용 가능한 다양한 x86-기반 마이크로프로세서, 어드밴스드 RISC(예를 들어, 감축 명령어 세트 컴퓨팅) 머신 또는 "ARM" 프로세서를 포함할 수 있으나 이로 제한되지 않는다. 지원 회로의 예는 처리 모듈(402)이 호스트 디바이스(104)에서 상이한 속도로, 상이한 버스 상에서 등으로 동작할 수 있는 다른 시스템 컴포넌트와 상호작용할 수 있는 인터페이스를 제공하도록 구성된 칩셋(예를 들어, 인텔사로부터 이용 가능한 노스브리지, 사우스브리지 등)을 포함할 수도 있다. 지원 회로와 공통으로 관련된 기능 전부 또는 일부는 또한 프로세서와 동일한 (예를 들어, 인텔사로부터 이용 가능한 샌디 브리지 프로세서 제품군과 같은) 물리적 패키지에 포함될 수 있다.
처리 모듈(402)은 호스트 디바이스(104)의 다양한 명령어를 실행하도록 구성될 수 있다. 명령어는 처리 모듈(402)이 데이터 판독, 데이터 기록, 데이터 처리, 데이터 정형화(formulate), 데이터 변환(convert), 데이터 트랜스폼(transform) 등과 관련된 동작을 수행하게 하도록 구성된 프로그램 코드를 포함할 수 있다. 정보(예를 들어, 명령어, 데이터 등)는 메모리 모듈(404)에 저장될 수 있다. 메모리 모듈(404)은 고정형 또는 착탈식 포맷의 랜덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM)를 포함할 수 있다. RAM은, 예를 들어, 정적 RAM(SRAM) 또는 동적 RAM(DRAM)과 같이 호스트 디바이스(104)의 동작 동안 정보를 유지하도록 구성된 휘발성 메모리를 포함할 수 있다. ROM은 호스트 디바이스(104)가 활성화될 때 BIOS, UEFI 등에 기초하여 명령어를 제공하도록 구성된 비휘발성(NV) 메모리 모듈, 전자 프로그램가능 ROM(EPROM), 플래시 등과 같은 프로그램 가능 메모리를 포함할 수 있다. 다른 고정형/착탈식 메모리는, 플로피 디스크, 하드 드라이브 등과 같은 자기 메모리, 솔리드 스테이트 플래시 메모리(예를 들어, 임베디드 멀티미디어 카드(eMMC), 솔리드 스테이트 드라이브(solid state drive: SSD) 등)와 같은 전자 메모리, 착탈식 메모리 카드 또는 스틱(예를 들어, 마이크로 저장 디바이스(uSD), USB 등), 콤팩트 디스크 기반 ROM(CD-ROM), 디지털 비디오 디스크(DVD), 블루레이 디스크 등과 같은 광학 메모리를 포함할 수 있으나, 이로 제한되지 않는다.
전력 모듈(406)은 내부 전원(예를 들어, 배터리, 연료 전지 등) 및/또는 외부 전원(예를 들어, 전기기계식 또는 태양 발전기, 전력망(power grid), 외부 연료 전지 등), 및 호스트 디바이스(104)에 동작에 필요한 전력을 공급하도록 구성된 관련 회로를 포함할 수 있다. 사용자 인터페이스 모듈(408)은, 예를 들어, 다양한 입력 메커니즘(예를 들어, 마이크로폰, 스위치, 버튼, 노브(knob), 키보드, 스피커, 터치 감지면, 이미지를 캡처하고/하거나 근접도, 거리, 모션, 제스처, 방향, 생체 데이터 등을 감지하도록 구성된 하나 이상의 센서) 및 다양한 출력 메커니즘(예를 들어, 스피커, 디스플레이, 조명/깜박거리는 표시기, 진동, 모션 등을 위한 전자기계식 컴포넌트 등)과 같이 호스트 디바이스(104)와 사용자가 상호 작용할 수 있게 하는 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 사용자 인터페이스 모듈(408)을 지원하는 하드웨어는 호스트 디바이스(104) 내에 통합되고/되거나 유선 또는 무선 통신 매체를 통해 호스트 디바이스(104)에 연결될 수 있다.
통신 인터페이스 모듈(410)은 유선 및/또는 무선 통신을 지원하도록 구성된 리소스를 포함할 수 있는 통신 모듈(412)에 대한 패킷 라우팅 및 다른 제어 기능을 관리하도록 구성될 수 있다. 일부 예에서, 호스트 디바이스(104)는 중앙 집중 통신 인터페이스 모듈(410)에 의해 관리되는 많은 통신 모듈(412)(예를 들어, 유선 프로토콜 및/또는 무선 라디오를 위한 별도의 물리적 인터페이스 모듈을 포함함)을 포함할 수 있다. 유선 통신은 직렬 및 병렬 유선 매체, 예컨데, 이더넷, USB, 파이어와이어(Firewire), 썬더볼트(Thunderbolt), DVI(Digital Video Interface), HDMI(High-Definition Multimedia Interface) 등의 직렬 및 병렬 유선 매체를 포함할 수 있다. 무선 통신은, 근거리 무선 매체(예를 들어, RF 식별(RFID) 또는 근접장 무선 통신(NFC) 표준, 적외선(IR) 등에 기초한 무선 주파수(RF)), 단거리 무선 매체(예를 들어, 블루투스, WLAN, Wi-Fi 등), 장거리 무선 매체(예를 들어, 셀룰러 광역 무선 통신 기술, 위성 기반 통신 등), 음파를 통한 전자 통신 등을 포함할 수 있다. 일 실시예에서, 통신 인터페이스 모듈(410)은 통신 모듈(412)에서 활성화된 무선 통신이 서로 간섭하는 것을 방지하도록 구성될 수 있다. 이 기능을 수행할 때, 통신 인터페이스 모듈(410)은, 예를 들어, 송신 대기 중인 메시지의 상대적 우선순위에 기초하여 통신 모듈(412)에 대한 활동을 스케줄링할 수 있다. 도 4에 개시된 실시예는, 통신 인터페이스 모듈(410)이 통신 모듈(412)과 별개임을 도시하지만, 통신 인터페이스 모듈(410) 및 통신 모듈(412)의 기능이 동일한 모듈에 통합될 수도 있다.
동작의 일반적인 예에서, DS 디바이스(102)는 조합된 비가시적 방법 및 가시적 방법을 이용하여 DS를 수행할 수 있다. DS의 가시적 부분은 적어도 하나의 카메라(예를 들어, RGB 센서)를 채용하여 영역의 적어도 하나의 이미지 또는 비디오를 캡처할 수 있다. 적어도 하나의 이미지 또는 비디오는 DS의 비가시적 측면에 가시적 값을 보낼 수 있다. 또한 타겟 영역 내의 상이한 지점의 위치를 삼각 측량하도록 구성된 두 개의 RGB 센서를 사용하여 DS를 수행할 수도 있다. DS의 비가시적 부분은 IR, 자외선, 초음파 등과 같은 기술을 사용하여 타겟 영역에 패턴을 투사할 수 있다. 패턴은 단순하거나(예를 들어, 도트 어레이) 또는 코딩될 수 있다(예를 들어, 상이한 영역에 상이한 수가 할당됨). 그 이후 센서는 패턴을 검출하고 이들의 감지에 기초하여 상대 깊이를 결정할 수 있다. 예를 들어, 투사된 패턴의 왜곡(예를 들어, 점들 사이의 거리의 분산)은 상이한 깊이, 깊이 변화 등과 같다. DS로부터 생성된 품질(예를 들어, 해상도), DS에 대한 최대 거리 등은 DS 장비 모듈(108')에서 이용되는 장비, 사용된 감지 방법 등에 의해 영향을 받을 수 있고, 이는 도 5 및 도 6과 관련하여 더 설명될 것이다.
DS 디바이스(102)에서, 예시적 DS 장비 모듈(108')은 적어도 IR 센서(414), RGB 센서(416), IR 방출기(418) 및 IR 센서(420)를 포함할 수 있다. 센서 및 방출기(414 내지 420)는 올인원 집적 회로(IC) 솔루션, 멀티 칩 모듈 또는 보다 복잡한 전자/전기기계식 어셈블리로서 형성될 수도 있다. 예를 들어, IR 센서(414) 및 RGB 센서(416)는 단일 센서가 IR 및 RGB 이미지 둘 모두를 출력할 수 있게 하는 이중 개구 기법(dual aperture technology)을 사용하여 조합될 수 있고, 이는 비용, 크기 등을 감소시킬 수 있다. 적어도 하나의 실시예에서, 센서 및 방출기(414 내지 420)는 제어 모듈(106')에 의해 개별적으로 제어될 수 있다. 예를 들어, 제어 모듈(106')은 또한 적어도 IR 센서(414, 420) 및 RGB 센서(416)가 인에이블되는지 여부(예를 들어, 감지하거나 감지되지 않음) 및 렌즈 초점(예를 들어, 이러한 센서들의 각각과 연관된 전자기계식 렌즈 초점 어셈블리를 제어함으로써)을 제어할 수 있다. 제어 모듈(106')은 또한 IR 센서(420)의 방출 전력 및 방출 유형(예를 들어, IR 센서(420)에 의해 방출된 패턴 유형)을 제어할 수 있다. 적어도 하나의 실시예에서, DS 디바이스(102)는 조건 모듈(110')을 포함할 수 있다. 조건 모듈(110')은 적어도 DS 디바이스(102)에 관한 위치, 방향, 모션 등을 감지하기 위한 센서들(422)을 포함할 수 있다. 센서들(422)의 출력은 CD(114A)를 생성하는데 이용될 수 있다. 제어 모듈(106')은 (예컨대, 센서 및 방출기(414 내지 420)에 대한) DS 장비 모듈(108')에 대한 구성을 결정하는데 사용하기 위해 조건 모듈(110')로부터 적어도 CD(114A)를 수신할 수 있다. 본 개시물과 일관되게, 제어 모듈(106')은 CD(114B)를 단독으로 또는 CD(114A)와 함께 수신할 수 있다. 예를 들어, DS 디바이스(102)가 호스트 디바이스(104)에 영구적으로 통합되면, 예를 들어, 사용자 인터페이스 모듈(408)에 의해 생성된 CD(114B)는 DS 디바이스(102) 및 호스트 디바이스(104) 둘 모두에 대한 조건 정보를 제공할 수 있다. 제어 모듈(106')은 (예를 들어, DS 디바이스가 호스트 디바이스(104) 내에 통합되는 경우) 직접 및/또는 전용 인터페이스를 통해 사용자 인터페이스 모듈(408)과 상호작용할 수 있다. 이와 달리, 제어 모듈(106') 및 호스트 디바이스(104) 내의 모듈(예를 들어, 사용자 인터페이스 모듈(408))은 통신 모듈(412)에 의해 지원되는 유선 및/또는 통신을 통해 상호 작용할 수 있다. 통신 모듈(412)은, 예를 들어, DS 디바이스(102)가 공통 인터페이스(예를 들어, USB, 이더넷 등)를 통해 호스트 디바이스(104)에 통신 가능하게 연결되거나, 단거리 무선 통신(예를 들어, 블루투스, WLAN 등)을 통해 호스트 디바이스(104)와 원격으로 상호 작용할 수 있는 상황에서 채용될 수 있다.
적어도 하나의 실시예에서, 제어 모듈(106')은 적어도 IR 센서(414), RGB 센서(416), IR 방출기(418) 및/또는 IR 센서(420)의 다양한 속성을 구성할 수 있다. 에를 들어, 제어 모듈(106')은 IR 센서(414), RGB 센서(416), IR 방출기(418) 및/또는 IR 센서(420)에 대한 초점을 구성할 수 있고, IR 센서(414), RGB 센서(416) 및/또는 IR 센서(420)에 대한 이미지 방향을 구성할 수 있고/있거나, DS 방법에 기초하여 특정 강도 등에서 특정 IR 신호(예를 들어, 구조화되고/되거나 코딩된)를 방출하도록 IR 방출기(418)를 적어도 구성할 수 있다. 이미지 방향을 구성하는 것은, 예를 들어, DS 디바이스(102)가 이동, 롤링, 뒤집힌 때 등(예를 들어, 사용자 대면으로부터 세계 대면 방향으로)의 경우, 이미지가 올바른 면을 유지하도록, 캡처된 IR 및 RGB 이미지를 위에서 아래로 뒤집는 것을 포함할 수 있다. DS 장비 모듈(108')의 다양한 구성 요소가 동작 모드에 기초하여 어떻게 구성될 수 있는지에 관한 예는 도 5 및 도 6과 관련하여 개시된다.
도 5는 본 개시물의 적어도 하나의 실시예에 따른 단일 센서 근거리 감지 및 이중 센서 중거리 감지에 대한 예시적인 구성을 도시한다. 제어 모듈(106')이 결정된 동작 모드에 기초하여 DS 장비 모듈(108')을 제어할 수 있는 방법을 설명하기 위한 2개의 예(500 및 502)가 도 5에 도시된다. 초기에, RGB 센서(416)는 도 5의 예들 중 임의의 것 또는 모두에서 인에이블되어 깊이 감지 데이터에 대응하는 영상 데이터(visual data)를 수집할 수 있다. 제 1 예에서, 단일 센서 근거리 감지는 500에 제시된다. 제어 모듈(106')이 DS 장비 모듈(108')이 근거리 감지를 위해 구성되어야한다고 판정한 예시적인 시나리오를 가정하면, IR 센서(414) 및 IR 방출기(418)는 동작을 위해 인에이블될 수 있고, IR 센서(414)의 초점은 근거리(예를 들어, 1미터 미만)에 대해 설정될 수 있다. 또한, IR 방출기(418)는 특정 패턴, 강도 등을 갖는 IR 광을 방출하도록 구성될 수 있다. 일 실시예에서, 제어 모듈(106')은, IR 방출기(418)가, 예를 들어, 인텔 리얼센스 F200(예를 들어, "F"는 사용자를 향하는 전방(front-facing)을 표시함) 기법에 기초하여 근거리 DS를 수행하기 위한 구조화/코딩된 패턴을 방출하도록 구성할 수 있다.
예시적인 이중 센서 중거리 감지 구성이 502에 도시된다. 예(502)에서, 제어 모듈(106')은 중거리 내지 장거리 감지를 위한 상이한 DS 방법을 이용할 수 있다. 일부 방법들은 더 먼 거리에서 해상도를 유지하기 위해 추가 센서를 이용할 수도 있고 이에 따라 제 2 IR 센서(420)를 인에이블할 수도 있다. 적어도 하나의 실시예에서, 제어 모듈(106')은 인텔 리얼센스 R200(예를 들어, "R"은 세계를 향하는 후방(rear-facing)을 표시함) 기법에 기초하여, 중거리 내지 장거리 DS를 수행하기 위해 구조화된 패턴을 방출하도록 IR 방출기(418)를 구성할 수 있다. 제어 모듈(106')은 또한 중거리(예를 들어, 1 내지 3m) DS를 위해 IR 센서(414) 및 RGB 센서(416)의 렌즈의 초점을 다시 맞출 수 있고, 더 먼 거리 DS를 위한 더 적절한 전력 레벨의 패턴을 방출하도록 IR 방출기(418)를 재구성할 수도 있다. 예를 들어, 일부 중거리 감지 기법들은 코딩된 IR 방출(예를 들어, 도트 어레이를 포함하는 단순 패턴)을 채용하지 않을 수도 있다.
도 6은 본 개시물의 적어도 하나의 실시예에 따른 추가 센서 또는 이동형 센서를 이용하는 이중 원거리 감지를 위한 예시적인 구성을 도시한다. 초기에, RGB 센서(416)는 도 6의 예들 중 임의의 예 또는 모두에서 깊이 감지 데이터에 대응하는 시각 데이터를 수집하도록 인에이블될 수 있다. 본 개시물과 일관되게, 이중 센서 중거리 감지는 IR 센서들 사이의 거리, IR 센서의 초점 및 가능하게는 IR 방출 강도 및/또는 패턴에 주로 기초한 이중 센서 장거리 감지와 다를 수 있다. 예들(600 및 602)은 장거리에 걸쳐 DS를 가능하게 하기 위해 IR 센서(414)로부터 제 2 IR 센서까지의 거리를 증가시키는 두 가지 가능한 구성을 설명한다. 예(600)에서, DS 장비 모듈(108')은, 장거리 감지를 위해 특별히 배치된 추가 IR 센서(604)를 포함할 수 있는데, 예를 들어, IR 센서(604)는 장거리 감지를 지원하기 위해 IR 센서(420) 보다 IR 센서(414)로부터 더 멀리 떨어져 있거나 장거리에서 IR 방출기(418)로부터의 IR 방출을 감지하기 위한 특정 방향/초점을 포함한다. 동작의 예에서, 제어 모듈(106')은 장거리 감지가 요구된다고 결정할 수 있고, IR 센서(420)를 디스에이블하고 IR 센서(604)를 인에이블할 수 있다. 그 이후 제어 모듈(106')은 IR 센서들(414 및 420)에 관해 전술한 것과 유사한 방식으로 IR 센서(604)의 초점 및/또는 동작을 구성할 수 있다. IR 센서(420)를 디스에이블하는 것은 DS 디바이스(102)의 전력 소비를 조절할 수 있다. 적어도 하나의 실시예에서, 제어 모듈(106')은, 예를 들어, 인텔 리얼센스 R200 기법에 기초하여 장거리 DS를 수행하기 위한 적어도 구조화된 패턴을 방출하도록 IR 방출기(418)를 구성할 수 있다.
602에 개시된 대안적인 구성에서, IR 센서(420)는 DS 디바이스(102)에서 다시 위치될 수 있다. 예를 들어, 전자기계식 장치는 중거리 감지를 위한 제 1 위치(606)와 장거리 감지를 위한 제 2 위치(608) 사이에서 IR 센서(420)를 이동시킬 수 있다. 적어도 하나의 실시예에서, IR 센서(420)는 타겟까지의 감지된 거리(예를 들어, 픽셀의 블롭까지 감지된 거리)에 기초하여 제 1 위치(606)와 제 2 위치(608) 사이의 다양한 위치로 이동될 수 있다. 전술한 바와 같이, IR 센서(420)는 DS 제어 모듈(106')에서 결정된 동작 모드에 기초하여 제 1 위치(606), 제 2 위치(608) 또는 중간 위치에서 다시 초점을 맞추고/맞추거나 재구성될 수 있다. 예시적인 구성(602)은 제어 모듈(106')이 추가 IR 센서(604)를 포함하지 않고도 DS 장비 모듈(108')의 임의의 동작 모드(예를 들어, 근거리, 중거리 및 장거리 감지)에 대한 스테레오 IR 감지를 구성할 수 있게 한다.
도 7은 본 개시물의 적어도 하나의 실시예에 따른 조합형 깊이 센서 및 호스트 디바이스에 대한 예시적인 제어 구성을 도시한다. 애플리케이션 계층(700), OS 계층(702) 및 DS 제어 계층(704)은 DS 디바이스(102) 및/또는 호스트 디바이스(104)에 존재할 수 있는 상이한 제어, 허가 등의 계층 레벨에 대응할 수 있다. DS 제어 계층(704)은 DS 디바이스(102)에서 구체적으로 실행되는 낮은 레벨의 높은 허가 제어 자원에 대응할 수 있다. 적어도 하나의 실시예에서, 예를 들어, 논리, 메모리 및 제어 자원을 포함하는 주문형 집적 회로(ASIC)(706)는 적어도 DD(112) 및/또는 CD(114A)에 기초하여 DS 장비 모듈(108)의 동작을 제어하도록 구성될 수 있다.
OS 계층(702)은 적어도 조건 데이터 인터페이스(710) 및 DS 디바이스 드라이버(708)를 포함할 수 있다. CD(114A)는 DS 디바이스(102) 및/또는 호스트 디바이스(104)의 운영 체제 계층(702)에서 생성될 수 있다. 조건 데이터 인터페이스는 CD(114B)(예를 들어, 센서 데이터, 실행 중인 애플리케이션 데이터, 하드웨어 상태 데이터 등)를 수집하기 위한 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 미들웨어(예를 들어, 애플리케이션 계층(700)에서 실행 중인 애플리케이션)는 조건 데이터 인터페이스(710)에 의해 수집된 CD(114B)를 수신할 수 있고 OS 계층(702) 내 DS 드라이버(708)를 통해 ASIC(706)에 CD(114B)를 제공할 수 있다.
DD(112), (예를 들어, DS 디바이스(102)에 존재하는 경우) 조건 모듈(110)로부터의 CD(114A) 및/또는 CD(114B)를 수신하면, ASIC(706)는 DS 장비 모듈(108)에 대한 DSC(116)를 결정할 수 있다. 예를 들어, ASIC(706)는 DS 장비 모듈(108)이 근거리 감지, 중거리 감지 또는 장거리 감지를 위해 구성되어야 하는지 판정할 수 있다. 적어도 하나의 실시예에서, ASIC(706)는 또한 선택된 동작 모드에 관한 DS 장비 모듈(108)에 대한 다른 구성을 결정할 수 있다. 예를 들어, 배경 특성, 간섭, 모션 등은 DD(112) 및/또는 CD(114A/B)에 기초하여 결정될 수 있고, 이러한 입력들은 ASIC(706)으로 하여금 노이즈 필터링, 이미지 안정화 등을 위해 DS 장비 모듈을 추가로 구성하게 할 수 있다. 본 개시물과 일관되게, 임의의 깊이 데이터 소비자(714)(예를 들어, DS를 요구하고 DS 모듈(102)의 활성화를 트리거했을 수 있는 애플리케이션)에게 현재 구성된 동작 모드를 통지할 수 있도록 DSC(116)는 DS 디바이스 드라이버(708)에 또한 제공될 수 있다.
도 8은 본 개시물의 적어도 하나의 실시예에 따른 적응형 깊이 센서 시스템을 구성하기 위한 예시적 동작을 도시한다. 초기에, DS 디바이스는 동작(800)에서 트리거될 수 있다. DS 디바이스를 트리거 할 수 있는 예시적 활동은 호스트 디바이스에 대한 접속 또는 접속 해제, DS를 요구하는 호스트 디바이스 상에서 애플리케이션을 실행하는 것, DS를 필요로 하는 애플리케이션 기능을 활성화하는 것, DS 디바이스 또는 호스트 디바이스와의 사용자 상호 작용 등을 포함한다. 이어서, DS 디바이스가 호스트 디바이스에 연결되어 있는지에 관한 판정이 동작 802에서 행해질 수 있다. 동작 802에서 DS 디바이스가 호스트 디바이스에 연결되어 있지 않다고 판정되면, 동작 804에서 DS 디바이스에서 생성된 조건 데이터만 DS 디바이스의 구성을 결정하는데 이용될 수 있다. 이와 달리, 동작 802에서 DS 디바이스가 호스트 디바이스에 연결되어 있다고 판정되면, 그 이후 동작 806에서 DS 디바이스 및 호스트 디바이스로부터의 조건 데이터가 DS 디바이스 구성을 결정하는데 사용될 수 있다.
일부 디바이스(예를 들어, 스마트폰, 키보드 없는 태블릿 컴퓨터 등)가 온테이블 구성을 갖지 않을 수 있기 때문에, 동작(808)은 선택적일 수 있다. 그러나, 동작(808)에서 DS 디바이스 및/또는 호스트 디바이스가 온테이블 구성에 있는지 판정하는 것은 랩톱, 노트북, 넷북, 외부 키보드 유닛 등으로 도킹될 수 있는 태블릿 컴퓨터와 같은 재구성 가능한 디바이스에 적용될 수 있다. 테이블탑(table-top) 구성은 DS 디바이스 또는 호스트 디바이스의 모션 감지, DS 디바이스 및/또는 호스트 디바이스의 서로 다른 부분의 상대적인 방향(예를 들어, 사용자 대면 또는 세계 대면 등과 같은 DS 디바이스의 방향, 키보드 부분에 대한 랩톱 디스플레이 부분의 각도 등), 호스트 디바이스에서 실행 중인 애플리케이션(예를 들어, 제스처 기반 제어 인터페이스, 화상 회의 소프트웨어, 손 제스처 또는 신체 제스처 기반 게임, 촬영 소프트웨어 등)에 기초하여 결정될 수 있다. 동작(808)에서, DS 디바이스 및/또는 호스트 디바이스가 온테이블 구성에 있지 않은 것으로 결정되면(예를 들어, 호스트 디바이스가 휴대용 또는 핸드헬드 구성으로 존재함), 동작 812에서 DS 디바이스는 휴대용 모드로 구성될 수 있다. 초기에, 휴대용 모드는 DS 디바이스가 중거리 감지 또는 장거리 감지를 수행할 가능성이 더 높다는 것을 나타낼 수 있다. 추가적으로, 휴대용 모드는 필터링, 이미지 안정화, 높은 이미지 캡처 속도, 낮은 해상도 등과 같은 다른 기능이 호출되게 할 수 있다. DS 디바이스 및/또는 호스트 디바이스가 온테이블 구성으로 존재한다는 결정(808) 이후에 DS 디바이스 및/또는 호스트 디바이스가 움직이는 것으로 감지되는지 여부에 대한 판정이 이어질 수 있다. 예를 들어, 랩톱 또는 유사한 디바이스가 온테이블 구성으로 있을 수 있지만 여전히 사용자가 휴대하고 있을 수 있다. 동작 810에서 DS 디바이스 및/또는 호스트 디바이스가 움직이고 있는 것으로 판정되면, 다시 동작 812에서 DS 디바이스에 휴대용 모드가 구성될 수 있다. 동작 819에서 실질적인 모션이 검출되지 않으면, 동작 814에서 DS 디바이스는 정지 모드로 구성될 수 있다. 정지 모드는 근거리(예를 들어, 사용자 대면) 감지에 대한 높은 가능성을 암시할 수 있고, 낮은 필터링, 고해상도 감지, 낮은 캡처 속도 등과 같은 다른 기능을 호출할 수 있다.
동작들(812 또는 814) 후에, 근거리 블롭이 DS 디바이스에 의해 감지되는지에 대한 판정이 이루어질 수 있다. 블롭은 감지될 타겟 객체(예를 들어, 사용자, 다른 사람, 대상, 풍경 등)에 대응하는 DS 디바이스에 의해 감지된 연속된 픽셀 그룹 일 수 있다. 블롭까지의 거리, 블롭의 크기 등을 감지하여 구성하기에 가장 적절한 동작 모드를 결정할 수 있다. 동작 816에서 근거리 블롭이 감지된다고 결정되면(예를 들어, 적어도 하나의 픽셀이 아주 가까이에서 감지되는지, 블롭이 객체가 DS 디바이스에 가까이 있음 등을 나타내는 감지 영역의 큰 부분을 차지하는 것으로 나타나는지 등), 동작 818에서 근거리 감지가 DS 디바이스에서 구성될 수 있다. 동작 816에서, 근접 범위에서 블롭이 없다고 결정되면, 중거리 감지에 대응하는 블롭이 감지되는지에 관한 추가 결정(예를 들어, 블롭의 적어도 하나의 픽셀이 중거리로 고려되는 거리에서 감지되는지, 블롭이 1 내지 3m 떨어진 거리에 사람과 같은 객체에 대응하는 감지 영역의 부분을 차지하는지 등)이 동작 820에서 행해진다. 동작 820에서 블롭이 중거리에서 감지되는 것으로 결정되면, 그 다음 동작 822에서 중거리 감지 동작 모드가 DS 디바이스에서 구성될 수 있다. 이와 달리, 동작 820에서 블롭이 중거리에서 감지되지 않았다고 결정되면, 그 다음 동작 824에서 장거리 감지가 구성될 수 있다. 도 8에 도시된 다양한 동작은, 예를 들어, DS 디바이스가 전술한 바와 같이 트리거될 때마다 동작 800에서 다시 시작할 수 있다.
도 9는 본 개시물의 적어도 하나의 실시예에 따른 적응형 깊이 센서 시스템에 대한 장면 변경을 검출하기 위한 예시적인 동작을 도시한다. 일반적으로, "장면 변경"은 DS 디바이스 및/또는 호스트 디바이스의 재구성이 고려되어야 할 정도로 DS 디바이스, 호스트 디바이스, 타겟 등에 관한 무엇인가가 변경되는 조건이다. 동작 900에서, 깊이 감지는 DS 디바이스 단독으로 또는 호스트 디바이스와 함께 수행될 수 있다. 그 이후 DS 디바이스 및/또는 호스트 디바이스와 관련하여 "중요한 모션"이 검출되었는지에 관한 판정이 동작 902에서 이루어질 수 있다. 중요한 모션은 상대적 측정일 수 있고, 예를 들어, DS 디바이스 및/또는 호스트 디바이스가 고정 모드(예를 들어, 온테이블 구성)와 대조적으로 휴대용 모드(예를 들어, 핸드헬드)로 구성된 경우에 예상되는 동작과 관련될 수 있다. 동작 902에서 중요한 모션이 검출된 것으로 판정되면, 그 이후 동작 904에서 DS 디바이스 및/또는 호스트 디바이스가 정지 모드로 구성되는지에 대한 추가 결정이 이루어질 수 있다. 동작 904에서, DS 디바이스 및/또는 호스트 디바이스가 정지 모드로 구성된 것으로 판정되면, 그 이후 동작 906에서 장면 변경이 결정된다. 동작 906은, 예를 들어, DS 디바이스 및/또는 호스트 디바이스를 재구성하도록 도 8의 동작 800으로 복귀하는 것으로 이어질 수도 있다.
동작 902에서 중요한 모션이 검출되지 않는 것으로 판정되면(예를 들어, DS 디바이스 및/또는 호스트 디바이스가 움직이지 않거나, 더 이상 움직이지 않는 것 등으로 나타나는 시간 동안), 그 이후 동작 908에서 DS 디바이스 및/또는 호스트 디바이스가 휴대용 모드로 구성되었는지에 관한 판정이 행해질 수 있다. 동작 908에서, DS 디바이스 및/또는 호스트 디바이스가 휴대용 모드로 구성된 것으로 판정되면, 그 이후 동작 910에서 장면 변경이 결정될 수 있고, 이는 DS 디바이스 및/또는 호스트 디바이스를 재구성하기 위한 도 8의 동작 800으로의 복귀로 이어질 수 있다. DS 디바이스 및/또는 호스트 디바이스가 정지 모드에 있지 않다는 동작 904에서의 판정 또는 대안적으로 DS 디바이스 및/또는 호스트 디바이스가 휴대용 모드에 있지 않다는 동작 908의 판정 다음 DS 디바이스에 대한 방향 변경이 있었는지에 관한 추가 판정이 동작 912에서 이어질 수 있다. 방향 변경은 DS 디바이스를 호스트 디바이스에 대해 이동시키는 것(예를 들어, 호스트 디바이스에 통합될 수 있는 DS 디바이스가 사용자 대면 위치로부터 세계 대면 위치로 이동, 뒤집기, 롤링하는 것 등)을 포함할 수 있다. 동작 912에서 DS 디바이스에 대한 방향 변경이 있었다고 판정되면, 그 이후 동작 906에서 장면 변경이 결정될 수 있고 도 8의 동작 800에서 DS 디바이스 및/또는 호스트 디바이스가 재구성될 수 있다.
동작 912에서 DS 방향의 변경이 발생하지 않았다고 판정하면, 동작 914에서 블롭 깊이의 변경이 발생했는지 여부에 관한 추가 판정이 행해질 수 있다. 예를 들어, 블롭 깊이의 변경은 DS 디바이스로부터 블롭의 적어도 하나의 픽셀까지의 거리 변경, 블롭의 크기 변경 등으로 결정될 수 있다. 동작 914에서 블롭 깊이가 변경된 것으로 판정되면, 깊이 변경이 시간 경과에 따라 일정한지에 관한 추가 판정이 동작 916에서 행해질 수 있다. 예를 들어, 특히 DS 디바이스 및/또는 호스트 디바이스가 휴대용 모드인 경우, 산발적인(sporadic) 깊이 변경이 예상될 수 있다. 그러나, 블롭 깊이 변경이 (예를 들어, 애플리케이션에 특정할 수 있는) 특정 시간주기 동안 일정하게 유지되면, 그 이후 DS 디바이스 및/또는 호스트 디바이스에 대한 동작 모드는 업데이트할 필요가 있을 수 있다. 동작 916에서 블롭 깊이의 변화가 시간에 걸쳐 일정하다고 판정되면, 그 이후 동작 906에서 장면 변경이 결정될 수 있고 도 8의 동작 800에서 DS 디바이스 및/또는 호스트 디바이스가 재구성될 수 있다. 동작 914에서 블롭 깊이가 변경되지 않았다고 판정한 이후, 또는 동작 916에서 블롭 깊이 변경이 시간에 걸쳐 안정적이지 않은 것으로 판정된 이후, 동작 918에서 DS 디바이스 및/또는 호스트 디바이스의 기존 구성은 유지될 수 있다. 동작 918은 깊이 감지를 계속하기 위해 선택적으로 동작 900으로 복귀될 수 있다.
도 8 및 도 9는 상이한 실시예에 따라 동작을 도시하지만, 도 8 및 도 9에 도시된 동작 모두가 반드시 다른 실시예들에 대해 필요한 것은 아니라는 점이 이해될 것이다. 실제로, 본 개시물의 다른 실시예들에서 도 8 및 도 9에 도시된 동작들 및/또는 본원에 설명된 다른 동작들은 도면들 중 임의의 도면에 구체적으로 도시되지는 않지만 본 개시물과 여전히 완전히 일관된 방식으로 조합될 수도 있다는 점이 고려된다. 따라서, 하나의 도면에 정확하게 도시되지 않은 특징 및/또는 동작에 관한 청구 범위는 본 개시물의 범위 및 내용 내에 있는 것으로 간주된다.
본 출원 및 청구 범위에서 사용된 바와 같이, 용어 "및/또는"에 의해 결합된 항목들의 목록은 열거된 항목들의 임의의 조합을 의미할 수 있다. 예를 들어, 문구 "A, B 및/또는 C"는 A, B, C, A와 B, A와 C, B와 C, 또는 A, B 및 C를 의미할 수 있다. 본 출원 및 청구 범위에서 사용되는 바와 같이, 용어 "중 적어도 하나"에 의해 결합된 항목들의 리스트는 열거된 항목들의 임의의 조합을 의미할 수 있다. 예를 들어, 문구 "A, B 또는 C 중 적어도 하나"는 A, B, C, A와 B, A와 C, B와 C 또는 A, B와 C를 의미할 수 있다.
본 명세서의 임의의 실시예에 사용된 바와 같이, "모듈"이라는 용어는 전술 한 동작 중 임의의 것을 수행하도록 구성된 소프트웨어, 펌웨어 및/또는 회로를 지칭할 수 있다. 소프트웨어는 비일시적 컴퓨터 판독가능 저장 매체 상에 기록된 소프트웨어 패키지, 코드, 명령어, 명령어 세트 및/또는 데이터로서 채용될 수 있다. 펌웨어는 메모리 디바이스에 하드 코딩된(예를 들어, 비휘발성) 코드, 명령어 또는 명령어 세트 및/또는 데이터로서 채용될 수 있다. 본 명세서의 임의의 실시예에서 사용되는 "회로"는, 예를 들어, 하드와이어된 회로, 하나 이상의 개별 명령어 처리 코어를 포함하는 컴퓨터 프로세서와 같은 프로그램 가능한 회로, 상태 머신 회로 및/또는 프로그래밍 가능한 회로에 의해 실행되는 명령어를 저장하는 펌웨어를 단일로 포함하거나 임의의 조합으로 포함할 수 있다. 모듈은 집합적으로 또는 개별적으로, 집적 회로(IC), 시스템 온 칩(SoC), 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버, 스마트폰 등과 같이 대형 시스템의 일부를 구성하는 회로로 채용될 수도 있다.
본원에 설명된 임의의 동작은 하나 이상의 프로세서에 의해 실행될 때 상기 방법을 수행하는 명령어를 개별적으로 또는 조합하여 저장하는 하나 이상의 저장 매체(예를 들어, 비 일시적 저장 매체)를 포함하는 시스템에서 구현될 수 있다. 여기서, 프로세서는, 예를 들어, 서버 CPU, 모바일 디바이스 CPU 및/또는 다른 프로그램 가능한 회로를 포함할 수 있다. 또한, 본원에 설명된 동작들은 하나 이상의 다른 물리적 위치에서의 처리 구조와 같이 복수의 물리적 디바이스에 걸쳐 분산될 수 있다. 저장 매체는 하드 디스크, 플로피 디스크, 광학 디스크, CD-ROM(compact disk read-only memories), CD-RW 및 자기 광 디스크를 포함하는 임의의 유형의 탠저블 매체, 판독 전용 메모리(ROM), 동적 RAM 및 정적 RAM과 같은 랜덤 액세스 메모리(RAM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM), 전기적 소거가능 프로그램 가능 판독 전용 메모리(EEPROM), 플래시 메모리, 솔리드 스테이트 디스크(SSD), 임베디드 멀티미디어 카드(eMMC), 보안 디지털 입/출력(SDIO) 카드, 자기 또는 광 카드와 같은 반도체 디바이스 또는 전자 명령어를 저장하기에 적합한 임의의 유형의 매체를 포함할 수 있다. 다른 실시예는 프로그램 가능 제어 디바이스에 의해 실행되는 소프트웨어 모듈로서 구현될 수 있다.
따라서, 본 개시물은 적응형 깊이 감지(DS) 시스템에 관한 것이다. DS 디바이스는 DS 장비 모듈 및 제어 모듈을 포함할 수 있다. 제어 모듈은 근거리 감지, 중거리 감지 또는 장거리 감지를 위해 DS 장비 모듈의 동작 모드를 구성할 수 있다. 제어 모듈은 동작 모드를 결정하기 위해 DS 장비 모듈로부터 적어도 깊이 데이터를 수신할 수 있다. 또한, 제어 모듈은 DS 디바이스 및/또는 DS 디바이스가 연결된 호스트 디바이스에 관한 조건 데이터를 수신하고, 조건 데이터에 기초하여 구성을 결정하며, 깊이 데이터와 함께 조건 데이터를 이용하여 DS 장비 모듈을 구성할 수 있다. DS 장비 모듈을 구성하는 것은, 예를 들어, DS 장비 모듈 내의 컴포넌트를 인에이블하고, 컴포넌트에 대한 초점을 구성하며, 컴포넌트에 대한 이미지 방향을 구성하고 및/또는 컴포넌트에 대한 DS 방법을 선택하는 것을 포함할 수 있다.
하기 실시예는 추가의 실시예들에 관한 것이다. 본 개시물의 하기 예들은, 하기에 제공되는 바와 같이, 디바이스, 방법, 실행 시 머신으로 하여금 방법에 기초한 동작들을 수행하게 하는 명령어들을 저장하기 위한 적어도 하나의 머신 판독 가능한 매체, 방법에 기초한 동작들을 수행하기 위한 수단 및/또는 적응형 DS 시스템과 같은 주제를 포함할 수 있다.
예 1에 따르면 깊이 감지 디바이스가 제공된다. 상기 디바이스는 깊이 감지를 수행하기 위한 깊이 감지 장비 모듈 및 제어 모듈을 포함하되, 상기 제어 모듈은 상기 깊이 감지 장비 모듈로부터 적어도 깊이 데이터를 수신하고 상기 깊이 데이터에 적어도 기초하여 상기 깊이 감지 장비 모듈에 대한 동작 모드를 구성한다.
예 2는 예 1의 요소들을 포함할 수 있고, 상기 깊이 데이터는 상기 깊이 감지 디바이스로부터 상기 깊이 감지 장비 모듈에 의해 감지된 연속된 픽셀 그룹(a group of connected pixels) 내의 적어도 하나의 픽셀까지의 거리 또는 상기 연속된 픽셀 그룹의 크기 중 적어도 하나를 포함한다.
예 3은 예 1 또는 예 2 중 어느 한 예의 요소들을 포함할 수 있고, 상기 제어 모듈은 또한, 적어도 상기 깊이 감지 다바이스에 대한 조건 데이터를 수신하고, 상기 조건 데이터에 기초하여 상기 깊이 감지 디바이스에 대한 구성을 결정하며, 상기 구성에 또한 기초하여 상기 깊이 감지 장비 모듈에 대한 상기 동작 모드를 구성한다.
예 4는 예 3의 요소들을 포함할 수 있고, 상기 제어 모듈은 또한, 상기 깊이 감지 디바이스가 호스트 디바이스에 연결된 것인지 판정하고, 상기 깊이 감지 디바이스가 상기 호스트 디바이스에 연결된 것이라는 판정에 기초하여 상기 호스트 디바이스에 대한 조건 데이터를 수신하며, 상기 깊이 감지 디바이스 및 상기 호스트 디바이스로부터 수신된 조건 데이터에 기초하여 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나에 대한 구성을 결정한다.
예 5는 예 4의 요소들을 포함할 수 있고, 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나에 관한 상기 조건 데이터는 상기 디바이스 내의 조건 데이터 모듈로부터 수신된다.
예 6은 예 4 또는 예 5 중 어느 한 예의 요소들을 포함할 수 있고, 상기 호스트 디바이스에 관한 상기 조건 데이터는 상기 호스트 디바이스 내의 조건 데이터 인터페이스로부터 상기 조건 데이터를 수신하는 상기 호스트 디바이스에서 실행 중인 미들웨어로부터 상기 조건 데이터를 수신하는 상기 호스트 디바이스에서 실행 중인 디바이스 드라이버로부터 수신된다.
예 7은 예 4 내지 예 6 중 어느 한 예의 요소들을 포함할 수 있고, 상기 깊이 감지 디바이스는 상기 호스트 디바이스에 통합된다.
예 8은 예 7의 요소들을 포함할 수 있고, 상기 깊이 감지 디바이스는 상기 호스트 디바이스에 대하여 사용자 대면 방향(usesr-facing orientation) 및 세계 대면 방향(world-facing orientation)으로 다시 위치를 결정하는 것이 가능하다.
예 9는 예 8의 요소들을 포함할 수 있고, 상기 조건 데이터는 상기 깊이 감지 디바이스의 방향에 관한 표시를 포함한다.
예 10은 예 7 내지 예 9 중 어느 한 예의 요소들을 포함할 수 있고, 상기 깊이 감지 디바이스는 상기 호스트 디바이스로부터 분리 가능(detachable)하다.
예 11은 예 10의 요소들을 포함할 수 있고, 상기 깊이 감지 디바이스는 상기 호스트 디바이스로부터 분리될 때 동작가능하고 적어도 무선 통신을 이용하는 상기 호스트 디바이스와 통신한다.
예 12는 예 3 내지 예 11 중 어느 한 예의 요소들을 포함할 수 있고, 상기 제어 모듈은 또한, 상기 조건 데이터 또는 상기 깊이 데이터 중 적어도 하나에 기초하여 장면 변경이 있었는지 판정하고, 상기 장면 변경이 있었다는 판정에 기초하여 깊이 센서에 대한 동작 모드를 재구성한다.
예 13은 예 3 내지 예 12 중 어느 한 예의 요소들을 포함할 수 있고, 상기 제어 모듈은 또한, 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나가 온테이블 구성인지 여부 또는 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스가 이동 중인지 여부 중 적어도 하나를 판정한다.
예 14는 예 1 내지 예 13 중 어느 한 예의 요소들을 포함할 수 있고, 상기 동작 모드를 구성할 때, 상기 제어 모듈은, 상기 깊이 감지 장비 모듈 내의 컴포넌트를 인에이블하거나, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 초점을 조정하거나, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 이미지 방향을 구성하거나, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 깊이 감지 방법을 선택한다.
예 15는 예 1 내지 예 14 중 어느 한 예의 요소들을 포함할 수 있고, 상기 깊이 감지 장비 모듈은 적색, 녹색 및 청색(RGB) 센서, 적외선(IR) 방출기, 상기 IR 방출기로부터 떨어져서 위치한 제 1 IR 센서 및 상기 IR 방출기에 인접하여 위치한 제 2 IR 센서를 적어도 포함한다.
예 16은 예 15의 요소들을 포함할 수 있고, 상기 동작 모드를 구성할 때 상기 제어 모듈은 근거리 깊이 감지를 위해 상기 IR 방출기 및 상기 제 1 IR 센서를 인에이블한다.
예 17은 예 16의 요소들을 포함할 수 있고, 상기 동작 모드를 구성할 때 상기 제어 모듈은 또한 중거리 깊이 감지를 위해 제 2 IR 센서를 인에이블한다.
예 18은 예 17의 요소들을 포함할 수 있고, 상기 제 2 IR 센서는 상기 깊이 감지 장비 모듈 내에서 이동가능하고, 상기 동작 모드를 구성할 때, 상기 제어 모듈은 상기 깊이 감지 장비 모듈이 상기 제 2 IR 센서를 중거리 깊이 감지로 구성되는 경우에는 제 1 위치에, 또는 장거리 깊이 감지로 구성되는 경우에는 상기 제 1 IR 센서로부터 더 멀리 떨어진 제 2 위치에 위치하게 한다.
예 19는 예 15 내지 예 18 중 어느 한 예의 요소들을 포함할 수 있고, 상기 깊이 감지 장비 모듈은 상기 제 2 IR 센서보다 상기 제 1 IR 센서로부터 더 멀리 떨어져 위치한 제 3 IR 센서를 포함하고, 상기 동작 모드를 구성할 때 상기 제어 모듈은 장거리 깊이 감지를 위해 상기 RGB 센서, 상기 IR 방출기, 상기 제 1 IR 센서 및 상기 제 3 IR 센서를 인에이블한다.
예 20은 예 1 내지 예 19 중 어느 한 예의 요소들을 포함할 수 있고, 상기 제어 모듈은 또한, 적어도 상기 깊이 감지 디바이스에 관한 조건 데이터를 수신하고, 상기 깊이 감지 디바이스가 호스트 디바이스에 연결되어 있는지 판정하며, 상기 깊이 감지 디바이스가 상기 호스트 디바이스에 연결되어 있다는 판정에 기초하여 상기 호스트 디바이스에 관한 조건 데이터를 수신하고, 상기 깊이 감지 디바이스 및 상기 호스트 디바이스로부터 수신된 상기 조건 데이터에 기초하여 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나에 대한 구성을 결정한다.
예 21은 예 1 내지 예 20 중 어느 한 예의 요소들을 포함할 수 있고, 상기 동작 모드를 구성할 때 상기 제어 모듈은 근거리 깊이 감지를 위해 상기 깊이 감지 장비 모듈 내의 제 1 IR 센서 및 IR 방출기를 인에이블하고 또한 중거리 깊이 감지를 위해 상기 깊이 감지 장비 모듈 내의 제 2 IR 센서를 인에이블한다.
예 22는 예 1 내지 예 21 중 어느 한 예의 요소들을 포함할 수 있고, 상기 제어 모듈은 적어도 주문형 집적 회로(ASIC)를 포함한다.
예 23에 따르면 깊이 감지 디바이스를 구성하기 위한 방법이 제공된다. 상기 방법은, 깊이 감지 디바이스 내의 제어 모듈에서 조건 데이터를 수신하는 단계와, 상기 조건 데이터에 기초하여 적어도 상기 깊이 감지 디바이스에 대한 구성을 결정하는 단계와, 상기 깊이 감지 디바이스로부터 상기 제어 모듈에서 깊이 데이터를 수신하는 단계와, 상기 결정된 구성 및 상기 깊이 데이터에 적어도 기초하여 상기 깊이 감지 디바이스 내의 깊이 감지 장비 모듈에 대한 동작 모드를 구성하는 단계를 포함할 수 있다.
예 24는 예 23의 요소들을 포함할 수 있고, 상기 깊이 감지 디바이스가 호스트 디바이스에 연결된 것인지 판정하는 단계와, 상기 깊이 감지 디바이스가 상기 호스트 디바이스에 연결된 것이라는 판정에 기초하여 상기 호스트 디바이스로부터 조건 데이터를 수신하는 단계와, 상기 호스트 디바이스로부터 수신된 상기 조건 데이터에 또한 기초하여 상기 구성을 결정하는 단계를 더 포함한다.
예 25는 예 23 또는 예 24중 어느 한 예의 요소들을 포함할 수 있고, 상기 구성을 결정하는 단계는 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나가 온테이블 구성(on-table configuration)에 있는지 또는 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나가 이동하는 중인지 결정하는 단계를 포함한다.
예 26은 예 23 내지 예 25 중 어느 한 예의 요소들을 포함할 수 있고, 상기 조건 데이터 또는 깊이 데이터 중 적어도 하나에 기초하여 장면 변경이 있었는지 판정하는 단계와, 상기 장면 변경이 있었다는 판정에 기초하여 깊이 센서에 대한 동작 모드를 재구성하는 단계를 더 포함한다.
예 27은 예 23 내지 예 26 중 어느 한 예의 요소들을 포함할 수 있고, 상기 동작 모드를 구성하는 단계는, 상기 깊이 감지 장비 모듈 내의 컴포넌트를 인에이블하는 단계, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 초점을 조정하는 단계, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 이미지 방향을 구성하는 단계 또는 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 깊이 감지 방법을 선택하는 단계 중 적어도 하나를 포함한다.
예 28은 예 23 내지 예 27 중 어느 한 예의 요소들을 포함할 수 있고, 상기 동작 모드를 결정하는 단계는, 상기 깊이 감지 디바이스 내의 적외선(IR) 방출기 및 제 1 IR 센서를 인에이블함으로써 근거리 깊이 감지를 구성하는 단계와, 상기 깊이 감지 디바이스 내의 제 2 IR 센서를 또한 인에이블함으로써 중거리 깊이 감지를 구성하는 단계를 포함한다.
예 29는 예 28의 요소들을 포함할 수 있고, 상기 동작 모드를 결정하는 단계는, 상기 제 2 IR 센서를 디스에이블하고 제 3 IR 센서를 인에이블하거나, 상기 깊이 감지 디바이스 내의 상기 제 2 IR 센서를 이동시킴으로써 장거리 깊이 감지를 구성하는 단계를 포함한다.
예 30에 따르면 적어도 깊이 감지 디바이스 및 호스트 디바이스를 포함하는 시스템이 제공되고, 상기 시스템은 예 23 내지 예 29 중 어느 한 예의 방법을 수행하도록 구성된다.
예 31에 따르면 예 23 내지 예 29 중 어느 한 예의 방법을 수행하도록 구성된 칩셋이 제공된다.
예 32에 따르면 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여 상기 컴퓨팅 디바이스로 하여금 예 23 내지 예 29 중 어느 한 예에 따른 방법을 실행하게 하는 복수의 명렁어를 포함하는 적어도 하나의 머신 판독가능 매체가 제공된다.
예 33은 깊이 감지 디바이스를 구성하기 위한 적어도 하나의 디바이스가 제공되고, 상기 적어도 하나의 디바이스는 예 23 내지 예 29 중 어느 한 예에 따른 방법을 수행하도록 구성된다.
예 34에 따르면 깊이 감지 디바이스를 구성하기 위한 시스템이 제공된다. 상기 시스템은 깊이 감지 디바이스 내의 제어 모듈에서 조건 데이터를 수신하기 위한 수단과, 상기 조건 데이터에 기초하여 적어도 상기 깊이 감지 디바이스에 대한 구성을 결정하기 위한 수단과, 상기 깊이 감지 디바이스로부터 상기 제어 모듈에서 깊이 데이터를 수신하기 위한 수단과, 상기 결정된 구성 및 상기 깊이 데이터에 기초하여 상기 깊이 감지 디바이스 내의 깊이 감지 장비 모듈에 대한 동작 모드를 구성하기 위한 수단을 포함할 수 있다.
예 35는 예 34의 요소들을 포함할 수 있고, 상기 깊이 감지 디바이스가 호스트 디바이스에 연결되어 있는지 판정하기 위한 수단과, 상기 깊이 감지 디바이스가 호스트 디바이스에 연결되어 있다는 판정에 기초하여 상기 호스트 디바이스로부터 조건 데이터를 수신하기 위한 수단과, 상기 호스트 디바이스로부터 수신된 상기 조건 데이터에 도한 기초하여 상기 구성을 결정하기 위한 수단을 더 포함할 수 있다.
예 36은 예 34 또는 예 35 중 어느 한 예의 요소들을 포함할 수 있고, 상기 구성을 결정하기 위한 수단은, 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나가 온테이블 구성에 있는지 여부 또는 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나가 이동 중인지 여부 중 적어도 하나를 판정하기 위한 수단을 포함할 수 있다.
예 37은 예 34 내지 예 36 중 어느 한 예의 요소들을 포함할 수 있고, 상기 조건 데이터 또는 상기 깊이 데이터 중 적어도 하나에 기초하여 장면 변경이 있었는지 판정하기 위한 수단과, 상기 장면 변경이 있었다는 판정에 기초하여 상기 깊이 센서에 대한 상기 동작 모드를 재구성하기 위한 수단을 더 포함할 수 있다.
예 38은 예 34 내지 예 37 중 어느 한 예의 요소들을 포함할 수 있고, 상기 동작 모드를 구성하기 위한 수단은, 상기 깊이 감지 장비 모듈 내의 컴포넌트를 인에블하거나, 상기 깊이 감지 장비 모듈 내의 컴포넌트들에 대한 초점을 조정하거나, 상기 깊이 감지 장비 모듈 내의 컴포넌트들에 대한 이미지 방향을 구성하거나, 상기 깊이 감지 장비 모듈 내의 컴포넌트들에 대한 깊이 감지 방법을 선택하는 것 중 적어도 하나를 위한 수단을 포함한다.
예 39는 예 34 내지 예 38 중 어느 한 예의 요소들을 포함할 수 있고, 상기 동작 모드를 결정하기 위한 수단은, 상기 깊이 감지 디바이스 내의 적외선(IR) 방출기 및 제 1 IR 센서를 인에이블함으로써 단거리 깊이 감지를 구성하기 위한 수단 및 상기 깊이 감지 디바이스 내의 제 2 IR 센서를 또한 인에이블함으로써 중거리 깊이 감지를 구성하기 위한 수단을 포함한다.
예 40은 예 39의 요소들을 포함할 수 있고, 상기 동작 모드를 결정하기 위한 수단은, 상기 제 2 IR 센서를 디스에이블하고 제 3 IR 센서를 인에이블하거나, 상기 깊이 감지 디바이스 내의 상기 제 2 IR 센서를 이동시킴으로써 장거리 깊이 감지를 구성하기 위한 수단을 더 포함한다.
본 명세서에서 사용된 용어 및 표현은 제한이 아닌 설명으로서 사용되고, 그러한 용어 및 표현의 사용시 도시되고 기술된 특징(또는 그 일부)의 균등물을 배제하는 의도는 없으며, 특허청구범위의 범주 내에서 다양한 변형이 가능하다는 것이 인식될 것이다. 따라서, 특허청구범위는 그러한 모든 균등물을 포함하도록 의도된다.

Claims (23)

  1. 깊이 감지 디바이스로서,
    깊이 감지를 수행하기 위한 깊이 감지 장비 모듈(depth sensing equipment module)과,
    제어 모듈을 포함하되,
    상기 깊이 감지 장비 모듈은,
    적어도 적색, 녹색 및 청색(RGB) 센서, 적외선(IR) 방출기, 상기 IR 방출기로부터 떨어져 위치한 제 1 IR 센서, 및 상기 IR 방출기에 근접하게 위치한 제 2 IR 센서 - 상기 제 2 IR 센서는 깊이 감지 장비 모듈 내에서 재배치 가능함 - 를 포함하고,
    상기 제어 모듈은,
    상기 깊이 감지 장비 모듈로부터 적어도 깊이 데이터를 수신하고,
    적어도 상기 깊이 데이터에 기초하여 상기 깊이 감지 장비 모듈에 대한 동작 모드를 구성 - 상기 제어 모듈이 중거리 깊이 감지(mid-range depth sensing)를 위해 상기 깊이 감지 장비 모듈을 구성할 때, 상기 제어 모듈은 상기 깊이 감지 장비 모듈이 상기 제 2 IR 센서를 상기 제 1 IR 센서로부터 제 1 거리인 제 1 위치에 위치하게 하고, 상기 제어 모듈이 장거리 깊이 감지를 위해 상기 깊이 감지 장비 모듈을 구성할 때, 상기 제어 모듈은 상기 깊이 감지 장비 모듈이 상기 제 1 IR 센서로부터 제 2 거리인 제 2 위치로 상기 제 2 IR 센서를 물리적으로 움직이게 하고, 상기 제 2 거리는 상기 제 1 거리보다 큼 - 하는
    깊이 감지 디바이스.
  2. 제 1 항에 있어서,
    상기 깊이 데이터는 상기 깊이 감지 디바이스로부터 상기 깊이 감지 장비 모듈에 의해 감지된 연결된 픽셀 그룹(a group of connected pixels) 내의 적어도 하나의 픽셀까지의 거리 또는 상기 연결된 픽셀 그룹의 크기 중 적어도 하나를 포함하는
    깊이 감지 디바이스.
  3. 제 1 항에 있어서,
    상기 제어 모듈은 또한,
    적어도 상기 깊이 감지 다바이스에 대한 조건 데이터(condition data)를 수신하고,
    상기 조건 데이터에 기초하여 상기 깊이 감지 디바이스에 대한 구성을 결정하며,
    상기 구성에 또한 기초하여 상기 깊이 감지 장비 모듈에 대한 상기 동작 모드를 구성하는
    깊이 감지 디바이스.
  4. 제 3 항에 있어서,
    상기 제어 모듈은 또한,
    상기 깊이 감지 디바이스가 호스트 디바이스에 연결된 것인지 판정하고,
    상기 깊이 감지 디바이스가 상기 호스트 디바이스에 연결된 것이라는 판정에 기초하여 상기 호스트 디바이스에 대한 조건 데이터를 수신하며,
    상기 깊이 감지 디바이스 및 상기 호스트 디바이스로부터 수신된 상기 조건 데이터에 기초하여 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나에 대한 구성을 결정하는
    깊이 감지 디바이스.
  5. 제 3 항에 있어서,
    상기 제어 모듈은 또한,
    상기 조건 데이터 또는 상기 깊이 데이터 중 적어도 하나에 기초하여 장면 변경이 있었는지 판정하고,
    상기 장면 변경이 있었다는 판정에 기초하여 상기 깊이 감지 장비 모듈에 대한 상기 동작 모드를 재구성하는
    깊이 감지 디바이스.
  6. 제 1 항에 있어서,
    상기 동작 모드를 구성할 때, 상기 제어 모듈은, 상기 깊이 감지 장비 모듈 내의 컴포넌트를 인에이블하는 것, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 초점을 조정하는 것, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 이미지 방향을 구성하는 것, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 깊이 감지 방법을 선택하는 것 중 적어도 하나를 수행하는
    깊이 감지 디바이스.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 동작 모드를 구성할 때 상기 제어 모듈은 근거리 깊이 감지(close-range depth sensing)를 위해 상기 IR 방출기 및 상기 제 1 IR 센서를 인에이블하는
    깊이 감지 디바이스.
  9. 제 1 항에 있어서,
    상기 동작 모드를 구성할 때 상기 제어 모듈은 또한 중거리 깊이 감지를 위해 상기 제 2 IR 센서를 인에이블하는
    깊이 감지 디바이스.
  10. 삭제
  11. 제 1 항에 있어서,
    상기 깊이 감지 장비 모듈은 상기 제 2 IR 센서보다 상기 제 1 IR 센서로부터 더 멀리 떨어져 위치한 제 3 IR 센서를 포함하고,
    상기 동작 모드를 구성할 때 상기 제어 모듈은 장거리 깊이 감지를 위해 상기 RGB 센서, 상기 IR 방출기, 상기 제 1 IR 센서 및 상기 제 3 IR 센서를 인에이블하는
    깊이 감지 디바이스.
  12. 깊이 감지 디바이스를 구성하기 위한 방법으로서,
    상기 깊이 감지 디바이스 내의 제어 모듈에서 조건 데이터를 수신하는 단계 - 상기 깊이 감지 디바이스는, 적어도 적색, 녹색 및 청색(RGB) 센서, 적외선(IR) 방출기, 상기 IR 방출기로부터 떨어져 위치한 제 1 IR 센서, 및 상기 IR 방출기에 근접하게 위치한, 상기 깊이 감지 디바이스 내에서 재배치 가능한, 제 2 IR 센서 를 포함함 - 와,
    상기 조건 데이터에 기초하여 적어도 상기 깊이 감지 디바이스에 대한 구성을 결정하는 단계와,
    상기 제어 모듈에서 상기 깊이 감지 디바이스로부터 깊이 데이터를 수신하는 단계와,
    적어도 상기 결정된 구성 및 상기 깊이 데이터에 기초하여 상기 깊이 감지 디바이스 내의 깊이 감지 장비 모듈에 대한 동작 모드를 구성하는 단계를 포함하되,
    상기 동작 모드를 구성하는 것은 중거리 깊이 감지 또는 장거리 깊이 감지를 위해 상기 깊이 감지 장비 모듈을 구성하는 것을 포함하고,
    중거리 깊이 감지를 위해 상기 깊이 감지 장비 모듈을 구성하는 것은, 상기 제 1 IR 센서로부터 제 1 거리인 제 1 위치에 상기 제 2 IR 센서를 위치시키는 것을 포함하고,
    장거리 깊이 감지를 위해 상기 깊이 감지 장비 모듈을 구성하는 것은, 상기 제 2 IR 센서를 상기 제 1 IR 센서로부터 제 2 거리인 제 2 위치로 물리적으로 이동시키는 것 - 상기 제 2 거리는 상기 제 1 거리보다 큼 - 을 포함하는
    깊이 감지 디바이스 구성 방법.
  13. 제 12 항에 있어서,
    상기 깊이 감지 디바이스가 호스트 디바이스에 연결된 것인지 판정하는 단계와,
    상기 깊이 감지 디바이스가 상기 호스트 디바이스에 연결된 것이라는 판정에 기초하여 상기 호스트 디바이스로부터 조건 데이터를 수신하는 단계와,
    상기 호스트 디바이스로부터 수신된 상기 조건 데이터에 또한 기초하여 상기 구성을 결정하는 단계를 더 포함하는
    깊이 감지 디바이스 구성 방법.

  14. 제 13 항에 있어서,
    상기 구성을 결정하는 단계는 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나가 온테이블 구성(on-table configuration)에 있는지 또는 상기 깊이 감지 디바이스 또는 상기 호스트 디바이스 중 적어도 하나가 이동 중인지 중 적어도 하나를 결정하는 단계를 포함하는
    깊이 감지 디바이스 구성 방법.
  15. 제 12 항에 있어서,
    상기 조건 데이터 또는 상기 깊이 데이터 중 적어도 하나에 기초하여 장면 변경이 있었는지 판정하는 단계와,
    상기 장면 변경이 있었다는 판정에 기초하여 상기 깊이 감지 디바이스 내의 상기 깊이 감지 장비 모듈에 대한 상기 동작 모드를 재구성하는 단계를 더 포함하는
    깊이 감지 디바이스 구성 방법.
  16. 제 12 항에 있어서,
    상기 동작 모드를 구성하는 단계는, 상기 깊이 감지 장비 모듈 내의 컴포넌트를 인에이블하는 단계, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 초점을 조정하는 단계, 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 이미지 방향을 구성하는 단계 또는 상기 깊이 감지 장비 모듈 내의 컴포넌트에 대한 깊이 감지 방법을 선택하는 단계 중 적어도 하나를 포함하는
    깊이 감지 디바이스 구성 방법.
  17. 제 12 항에 있어서,
    상기 동작 모드를 결정하는 단계는,
    상기 깊이 감지 디바이스 내의 상기 IR 방출기 및 상기 제 1 IR 센서를 인에이블함으로써 근거리 깊이 감지를 구성하는 단계와,
    상기 깊이 감지 디바이스 내의 상기 제 2 IR 센서를 또한 인에이블함으로써 중거리 깊이 감지를 구성하는 단계를 포함하는
    깊이 감지 디바이스 구성 방법.
  18. 제 17 항에 있어서,
    상기 동작 모드를 결정하는 단계는, 상기 제 2 IR 센서를 디스에이블하고 제 3 IR 센서를 인에이블함으로써 또는 상기 깊이 감지 디바이스 내에서 상기 제 2 IR 센서를 이동시킴으로써 장거리 깊이 감지를 구성하는 단계를 포함하는
    깊이 감지 디바이스 구성 방법.
  19. 적어도 깊이 감지 디바이스 및 호스트 디바이스를 포함하는 시스템으로서,
    상기 시스템은 제 12 항 내지 제 18 항 중 어느 한 항의 방법을 수행하도록 구성된
    시스템.
  20. 칩셋으로서,
    제 12 항 내지 제 18 항 중 어느 한 항의 방법을 수행하도록 구성된
    칩셋.
  21. 복수의 명령어를 포함하는 적어도 하나의 머신 판독가능 매체로서,
    상기 복수의 명령어는 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금 제 12 항 내지 제 18 항 중 어느 한 항에 따른 방법을 실행하게 하는
    적어도 하나의 머신 판독가능 매체.
  22. 깊이 감지 디바이스를 구성하기 위한 적어도 하나의 디바이스로서,
    제 12 항 내지 제 18 항 중 어느 한 항에 따른 방법을 수행하도록 구성된
    적어도 하나의 디바이스.
  23. 디바이스로서,
    제 12 항 내지 제 18 항 중 어느 한 항에 따른 방법을 수행하는 수단을 구비한
    디바이스.
KR1020177031277A 2015-05-27 2016-04-27 적응형 깊이 감지 시스템 KR102559289B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/722,955 2015-05-27
US14/722,955 US9683834B2 (en) 2015-05-27 2015-05-27 Adaptable depth sensing system
PCT/US2016/029511 WO2016191018A1 (en) 2015-05-27 2016-04-27 Adaptable depth sensing system

Publications (2)

Publication Number Publication Date
KR20180012746A KR20180012746A (ko) 2018-02-06
KR102559289B1 true KR102559289B1 (ko) 2023-07-24

Family

ID=57394172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031277A KR102559289B1 (ko) 2015-05-27 2016-04-27 적응형 깊이 감지 시스템

Country Status (7)

Country Link
US (1) US9683834B2 (ko)
EP (1) EP3304898B1 (ko)
JP (1) JP6930700B2 (ko)
KR (1) KR102559289B1 (ko)
CN (1) CN108541300A (ko)
TW (1) TWI697655B (ko)
WO (1) WO2016191018A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
US10169663B2 (en) * 2016-09-01 2019-01-01 The Boeing Company Scene change detection via multiple sensors
CN110431841B (zh) 2017-03-21 2021-08-17 奇跃公司 虚拟、增强和混合现实系统的深度感测技术
US10567737B2 (en) * 2017-04-10 2020-02-18 Eys3D Microelectronics, Co. Depth information processing device capable of increasing accuracy of depth information in specific regions
CA2980396C (en) * 2017-09-27 2019-01-29 Synaptive Medical (Barbados) Inc. Cognitive optical control system and methods
KR102486425B1 (ko) 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
JP7220343B2 (ja) * 2018-02-26 2023-02-10 パナソニックＩｐマネジメント株式会社 画像処理装置
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
KR20210049561A (ko) * 2019-10-25 2021-05-06 현대모비스 주식회사 센서 클러스터장치 및 그를 포함하는 자동차
TWI718765B (zh) 2019-11-18 2021-02-11 大陸商廣州立景創新科技有限公司 影像感測裝置
KR20210106809A (ko) * 2020-02-21 2021-08-31 엘지전자 주식회사 이동 단말기
WO2022122110A1 (en) * 2020-12-07 2022-06-16 Huawei Technologies Co., Ltd. Imaging structures

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014178836A1 (en) * 2013-04-30 2014-11-06 Hewlett-Packard Development Company, L.P. Depth sensors

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000213931A (ja) * 1999-01-21 2000-08-04 Hamamatsu Photonics Kk 測距モジュ―ル
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
WO2010104490A1 (en) * 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
KR101599434B1 (ko) 2009-07-06 2016-03-03 엘지이노텍 주식회사 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
CA2776223A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
US9044172B2 (en) * 2009-10-01 2015-06-02 Intel Corporation Ergonomic detection, processing and alerting for computing devices
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US9084002B2 (en) * 2010-05-03 2015-07-14 Microsoft Technology Licensing, Llc Heterogeneous image sensor synchronization
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120113232A1 (en) * 2010-11-10 2012-05-10 Sony Pictures Technologies Inc. Multiple camera system and method for selectable interaxial separation
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
CN103238337B (zh) * 2010-11-23 2016-03-16 深圳超多维光电子有限公司 立体图像获取系统及方法
US8553934B2 (en) * 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US10154276B2 (en) * 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
CN203136025U (zh) * 2012-11-12 2013-08-14 深圳市维尚视界立体显示技术有限公司 一种3d立体拍摄智能控制的装置及其系统
KR102118610B1 (ko) * 2013-02-22 2020-06-04 삼성전자주식회사 센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법
US20150002734A1 (en) 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US8938558B2 (en) * 2013-03-04 2015-01-20 Microsoft Corporation Modifying functionality based on distances between devices
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
US20140267617A1 (en) 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
KR20140123302A (ko) * 2013-04-12 2014-10-22 삼성전자주식회사 영상 처리 장치 및 그 제어방법
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9390511B2 (en) * 2013-08-23 2016-07-12 Futurewei Technologies, Inc. Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
US9438775B2 (en) * 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014178836A1 (en) * 2013-04-30 2014-11-06 Hewlett-Packard Development Company, L.P. Depth sensors

Also Published As

Publication number Publication date
TW201710641A (zh) 2017-03-16
EP3304898A4 (en) 2019-01-02
TWI697655B (zh) 2020-07-01
WO2016191018A1 (en) 2016-12-01
JP2018523089A (ja) 2018-08-16
US9683834B2 (en) 2017-06-20
US20160349042A1 (en) 2016-12-01
EP3304898A1 (en) 2018-04-11
CN108541300A (zh) 2018-09-14
JP6930700B2 (ja) 2021-09-01
KR20180012746A (ko) 2018-02-06
EP3304898B1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
KR102559289B1 (ko) 적응형 깊이 감지 시스템
US11509830B2 (en) Electronic device and method for changing magnification of image using multiple cameras
US11222477B2 (en) Electronic device for providing augmented reality service and operating method thereof
US10551833B2 (en) Method for image capturing using unmanned image capturing device and electronic device supporting the same
KR102524498B1 (ko) 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법
US10205874B2 (en) Wearable device and control method thereof
CN107959773A (zh) 拍摄图像的电子装置
US11006024B2 (en) Pop-up and rotational camera and electronic device including the same
US11910087B2 (en) Electronic device and image control method of the electronic device
US11457151B2 (en) Method of obtaining a user-selected angle of view from among a plurality of angles of view of respective cameras and electronic device supporting the same
US11102409B2 (en) Electronic device and method for obtaining images
CN105138247A (zh) 检测到第二设备接近第一设备而在第一设备呈现用户界面
CN111742543A (zh) 电子设备及其记录方法
KR102617252B1 (ko) 전자 장치 및 그 파노라마 촬영 모드 자동 전환 방법
KR102664705B1 (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US11889181B2 (en) Electronic device having plurality of lenses where the device changes a visual object corresponding to a recommended lens
US11636675B2 (en) Electronic device and method for providing multiple services respectively corresponding to multiple external objects included in image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant