KR20190083002A - 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별 - Google Patents

물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별 Download PDF

Info

Publication number
KR20190083002A
KR20190083002A KR1020197019241A KR20197019241A KR20190083002A KR 20190083002 A KR20190083002 A KR 20190083002A KR 1020197019241 A KR1020197019241 A KR 1020197019241A KR 20197019241 A KR20197019241 A KR 20197019241A KR 20190083002 A KR20190083002 A KR 20190083002A
Authority
KR
South Korea
Prior art keywords
light
volume
reflected
light beam
profile
Prior art date
Application number
KR1020197019241A
Other languages
English (en)
Other versions
KR102129376B1 (ko
Inventor
니타이 로마노
나다브 그로싱거
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20190083002A publication Critical patent/KR20190083002A/ko
Application granted granted Critical
Publication of KR102129376B1 publication Critical patent/KR102129376B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

물체는 기정의된 광학 구조를 가지도록 하나 이상의 기정의된 속성으로 인코딩되는 광 빔을 볼륨으로 투영함으로써 볼륨 내에서 식별되고 추적된다. 감지기는 볼륨으로부터 반사되는 기정의된 광학 구조로부터의 광을 캡처한다. 물체로부터 반사되는 기정의된 광학 구조로부터의 광의 하나 이상의 특성을 분석함으로써, 물체는 볼륨에서 세그먼트화된다.

Description

물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별 {IDENTIFYING AN OBJECT IN A VOLUME BASED ON CHARACTERISTICS OF LIGHT REFLECTED BY THE OBJECT}
본 발명은 그 일부 실시예에서 물체 인식에 관한 것으로서, 더 상세하게는 배타적이지 않게, 예컨대 3차원(3D)으로 사용자의 손과 같이 물체를 감지하고 추적하도록, 장면 상에 광학 투영을 사용하는 시스템 및 방법에 관한 것이다.
다양한 방법으로 사용자는 특정 장치를 원격으로 제어할 수 있다. 예를 들어, 기정의된 제스처 또는 사용자의 신체 부위(예컨대, 팔, 다리)의 자세는 장치를 제어할 수 있다. 장치 제어를 위한 제스처 또는 자세를 사용하는 방법에서, 제스처는 사용자의 신체 부위가 특정된 위치와 정렬될 때 식별되고, 컴퓨터 또는 다른 장치는 식별된 제스처에 대응하는 기능을 수행하거나 행위를 수행한다.
일부 실시예에서, 사용자에 의한 제스처는 이미지 캡처 장치를 통해 사용자의 이미지 또는 비디오를 캡처하고 이미지 또는 비디오 데이터의 다수의 픽셀을 분석함으로써 식별된다. 종래의 제스처 감지 방법은 픽셀의 컬러 값을 픽셀에 근접한 다른 픽셀의 컬러 값과 비교함으로써 이미지의 픽셀을 분석한다. 따라서, 이러한 종래의 방법은 사용자의 신체 부위와 이미지의 배경에 있는 물체 사이의 컬러 값의 중요한 차이에 의존한다.
제스처 감지를 위한 다른 방법은 사용자의 하나 이상의 신체 부위(예컨대, 사용자의 손의 3차원 모델)의 골격 모델을 형성하고, 사용자에 의한 제스처를 식별하도록 골격 모델을 분석한다. 제스처 검출을 위한 대안의 방법은 3차원 심도 맵(depth map)을 사용하는데, 여기서 각 픽셀은 심도 카메라와 픽셀에 대응하는 물체의 부분 사이의 거리를 포함한다.　심도 맵은 다양한 방법을 사용하여 계산될 수 있다. 예를 들어, 풍경의 심도 맵핑은 공지된 광 패턴(즉, 구조화된 광 패턴)을 풍경으로 투영함으로써 이루어지며, 이미지 캡처 장치는 공지된 광 패턴이 풍경에 투영될 때 풍경의 이미지를 캡처한다. 광 패턴은 고정되고 미리 공지되기 때문에, 광 패턴의 하위-부분 또는 고유한 특징이 식별될 수 있다. 풍경의 일부와 이미지 캡처 장치 사이의 거리(즉, 풍경의 부분들의 "심도")는 이미지 캡처 장치에 의해 캡처된 이미지 내 광 패턴의 식별된 특징의 이동을 기반으로 계산된다. 그러나, 풍경으로 투영된 광 패턴의 이미지를 캡처하는 것은 공지된 광 패턴의 특징과 서로 연관될 수 있는 캡처된 이미지 내 광 패턴의 특징을 식별하도록 더 많은 양의 캡처된 이미지를 분석하는 것을 포함한다. 추가로, 공지된 광 패턴을 투영하는 투영기와 이미지 캡처 장치 사이의 상대적으로 큰 이격은 풍경 내 물체의 심도 이동에 대한 공지된 광 패턴의 이미지의 더 큰 이동을 생성함으로써 고해상도의 심도 감지를 제공하는데 필요하다.
그러나, 심도 맵을 결정하는 이들 종래의 방법은 계산상으로 고가이며 특정 물체의 정확한 결정을 허용하는 결과를 생성하지 않는다. 예를 들어, 종래의 심도 맵핑 방법으로는 밀접하게 관련된 제스처 또는 자세를 구별하도록 손가락 또는 신체 부위를 정확히 검출할 수 없다. 또한, 현재의 자세, 골격 모델, 제스처, 인식 방법 및 시스템은 시스템의 카메라에 의해 식별되기 위해 이전의 자세 또는 제스처를 필요로 한다. 예를 들어, 사용자는 이미 시스템에 의해 잘 정의되고 인식되는 "정지" 표시 자세를 제공하기 위해 카메라에 그의 손을 놓아야 한다. 이런 사전 자세 감지 단계는 제스처 인식 시스템과 각각의 상호작용 전에 사용자가 기정의된 자세를 수행해야 하기 때문에 사용자의 자연스러운 행동을 제한하고 제스처 인식 절차를 복잡하게 만든다.
볼륨 내의 물체는 기정의된 광학 구조를 광 빔에 인코딩하도록 하나 이상의 기정의된 속성에 따라 인코딩되는 광 빔을 제공하여 추적된다. 일실시예에서, 광 빔은 가령 복수의 스트라이프와 같이 구조화된 광이다.　인코딩된 광 빔은 볼륨으로 투영되고 볼륨으로부터 반사된 광은 감지기에 의해 감지된다.　광 빔에 인코딩된 기정의된 광학 구조의 예: 광 프로파일의 시준 각(collimation angle), 광 빔 프로파일의 강도, 광 프로파일의 균일성 및 광원의 간섭성(coherence)을 포함한다. 감지된 반사 광이 분석되고 물체는 물체의 적어도 하나의 광 반사 특성에 따라 세그먼트화된다. 세그먼트화(segmentation)에 기반하여, 물체는 관심 물체로 식별될 수 있다. 일부 실시예에서, 세그먼트화된 물체의 심도 맵은 감지된 반사 광으로부터 생성된다.
물체는 감지된 반사 광의 패턴 내 반사된 광의 폭에 따라 세그먼트화될 수 있다. 대안으로, 물체는 감지된 반사 광의 강도 프로파일 변화에 기반하여 세그먼트화된다. 강도 프로파일 변화는 감지된 반사 광의 패턴의 국부적 균일성 반사 프로파일(local uniformity reflected profile)의 변화일 수 있거나, 감지된 반사 광의 패턴의 스페클(speckle)일 수 있다. 또 다른 예로서, 강도 프로파일 변화는 감지된 반사 광내 패턴의 확산광 또는 미광 프로파일의 변화이다.
일실시예에서, 광 빔은 편광 구조 및 추가의 편광 구조로 편광되며, 이는 복수의 이미지를 생성한다. 볼륨의 편광 구조의 이미지는 볼륨의 추가의 편광 구조의 추가 이미지로부터 차감되고, 추가의 편광 구조의 추가 이미지에서 편광 구조의 이미지를 차감하여 물체가 추출된다. 물체는 사용자의 신체 부위(예컨대, 손, 팔), 게임 도구 또는 임의의 다른 적절한 물체의 일부일 수 있다.
볼륨 내 추가의 물체는 볼륨 내 추가의 물체로부터 감지된 반사 광의 특성을 물체로부터 반사되는 감지된 광의 특성과 비교함으로써 식별될 수 있다. 비교에 기반하여, 추가의 물체가 세그먼트화된다.　예를 들어, 물체는 사용자의 얼굴이고, 추가의 물체는 사용자의 손이다.
다양한 실시예에서, 기기는 광 패턴일 수 있는 광 빔을 생성하도록 구성된 광원을 포함하고, 광학 요소는 물체의 물리적 구조에 따라 변화하도록 구성된 기정의된 광학 구조를 광 빔에 적용하도록 구성된다. 광 빔은 기정의된 광학 구조의 적용 후에 볼륨 내에 투영된다.　감지기는 볼륨으로 투영되는 광 빔의 반사의 복수의 이미지를 획득하도록 구성되는 한편, 프로세서는 감지기와 연결되고 물체에 의해 볼륨으로 투영되는 광 빔의 반사로부터의 광의 프로파일의 적어도 하나의 변화에 기반하여 복수의 이미지로부터 물체를 추출하도록 구성된다. 예를 들어, 광 빔의 반사로부터의 광의 프로파일의 변화는 광 빔의 반사에 따른 광 패턴 폭의 변화이거나 광 빔의 반사의 가우스 단면 강도 프로파일(Gaussian cross-sectional intensity profile)의 변화이다. 다른 예에서, 변화는 광 빔의 반사의 국부적 균일성 프로파일의 변화 또는 광 빔의 반사의 스페클 프로파일의 변화이다.
일부 실시예에서 기기는 감지기에 근접하게 위치한 편광기를 포함할 수 있다. 편광기는 적어도 2개의 기정의된 편광 구조에 따라 상기 볼륨으로부터 반사된 광 빔을 편광하도록 구성된다. 일부 실시예에서, 프로세서는 물체의 추가의 편광 구조의 추가 이미지로부터 물체의 편광 구조의 이미지를 차감함으로써 감지기에 의해 캡처된 이미지로부터 물체를 추출하도록 구성된다.
본 발명의 내용 중에 포함되어 있다.
도 1a 및 1b는 일실시예에 따라 물체의 광 반사율을 도시하는 개념도이다.
도 2는 일실시예에 따라 제스처를 사용하여 사용자가 장치와 상호작용하는 개념도이다.
도 3은 일실시예에 따라 물체를 세그먼트화하는 시스템의 블록도이다.
도 4는 일실시예에 따라 사용자의 손으로 투영되는 광 패턴의 개념도이다.
도 5는 일실시예에 따라 볼륨 내 물체를 세그먼트화하는 방법의 흐름도이다.
도 6은 일실시예에 따라 광 빔을 운영하는 방법의 흐름도이다.
도 7은 일실시예에 따라 볼륨으로 투영되는 광 빔으로부터 물체를 식별하는 방법의 흐름도이다.
도 8a 내지 8c는 일실시예에 따라 볼륨 내 물체에 광 빔을 투영하는 예들이다.
도 9a 및 9b는 일실시예에 따라 광 빔을 볼륨으로 투영함으로써 볼륨 내 물체를 세그먼트화하는 시스템의 구성의 예이다.
도 10은 일실시예에 따라 볼륨 내 물체를 세그먼트화하는 방법의 흐름도이다.
도 11은 일실시예에 따라 손으로 투영되는 광 빔으로부터 캡처된 편광 이미지의 예를 도시한다.
도 12는 일실시예에 따라 광 빔을 사용하여 볼륨 내 물체를 세그먼트화하는 시스템의 블록도이다.
도 13은 일실시예에 따라 가상 현실 시스템을 위한 헤드 마운트 기기의 예이다.
도 14는 일실시예에 따라 손 제스처를 사용하여 가상 현실 환경과 상호작용하는 개념도이다.
도면들은 단지 예시의 목적으로 다양한 실시예들을 도시한다. 통상의 기술자는 다음의 설명으로부터 본 명세서에 설명된 구조 및 방법의 대안적 실시예들이 본 명세서에 개시된 원칙에서 벗어남이 없이 이용될 수 있음을 용이하게 인식할 것이다.
개요
가령 장면이나 풍경과 같이 한 볼륨의 3차원 심도 맵핑은 다양한 시스템(예컨대, 골격 모델링, 제스처 인식 시스템, VR(가상 현실), 증강 현실 또는 원격 제어 감지 애플리케이션)에서 사용되어 볼륨 내 물체를 추출한다. 예를 들어, 심도 맵핑은 볼륨에서 사용자의 손 또는 사용자의 얼굴을 추출하는데 사용된다. 3차원 심도 맵핑으로부터의 데이터를 통해 사용자의 손, 사용자의 얼굴 또는 다른 물체가 볼륨 내 배경 풍경으로부터 세그먼트화될 수 있다. 종래의 방법은 전체 볼륨의 3차원 심도 맵을 계산하여 볼륨으로부터 물체의 세그먼트화를 가능하게 한다. 그러나, 전체 볼륨의 3차원 심도 맵을 생성하는 것은 상당한 컴퓨팅 리소스가 필요하며 종종 지정된 처리 장치를 사용한다. 또한, 배경 장면으로부터 특정 물체(예컨대, 손가락)의 추출을 가능하게 하는 고해상도 3차원 심도 맵을 추출하는 것은 주변 광 조건에 의해 제한될 수 있고 한 장면으로부터 특정 물체를 효과적으로 추출하는 것을 그 장면의 기정의되고 정확한 제약으로 제한할 수 있다.
볼륨 또는 골격 모델링에서 물체에 의한 제스처를 인식하는 다른 종래의 기술은 신체 부위 또는 다른 물체가 추출되는 2차원 적색, 녹색, 청색(RGB) 데이터를 제공한다. 예를 들어, 색상 분석 또는 RGB 데이터와의 이미지 차이가 사용된다. 또한, 2차원 RGB 데이터를 사용하는 방법은 상당한 계산 전력을 소비할 수 있으며 볼륨 내 광 조건에 민감하다. 게다가, 2차원 RGB 데이터를 사용하는 것은 복잡한 자세 및 3차원 데이터의 추출을 허용하지 않는다.
또한, 다른 종래의 제스처 인식 시스템 및 방법은 감지된 물체(예컨대, 사용자의 손)의 기정의된 자세 또는 모양에 의존하여 물체를 확인하고 캡처된 이미지로부터 물체를 추출한다. 그러나, 기정의된 자세 또는 모양을 사용하여 물체를 추출하면 사용자의 자연스러운 동작이 제한되고 사용자가 제스처 인식 시스템과 상호작용하기 전에 사용자의 자세 또는 제스처를 특정하여 제스처 인식을 복잡하게 만든다. 본 명세서에 사용되는 바와 같이, "제스처"는 물체(예컨대, 사용자의 손, 사용자의 몸)의 기정의된 자세 또는 위치를 지칭하거나 2차원 또는 3차원 물체의 기정의된 움직임을 지칭한다.
제스처를 감지하거나 모델링하기 위해, 송신기는 광원(예컨대, 레이저 다이오드) 및 기정의된 광 패턴을 생성하도록 구성된 하나 이상의 광학 요소를 포함한다. 광학 요소는 회절 광학, 굴절 광학 또는 기정의된 광 패턴을 제공할 수 있는 다른 광 구조 요소일 수 있다. 송신기는 광 패턴을 볼륨에 투영함으로써 카메라 센서의 시계 내에 볼륨을 조명하도록 구성된다. 투영된 광 패턴은 볼륨의 다양한 광 속성에 의해 인코딩되거나 정의될 수 있다. 예시적인 광 속성은: 시준 각, 강도 변화, 편광 및 하나 이상의 광의 간섭 특성을 포함한다. 본 명세서에서 사용되는 바와 같이, "인코딩"은 가령 강도 변화, 편광 및 하나 이상의 광의 간섭 특성과 같은 하나 이상의 속성을 포함하도록 투영된 패턴을 조정하는 것으로 정의된다. 투영된 광 패턴의 속성은 볼륨 내 물체(예컨대, 몸체)의 표면에 영향을 받으며, 물체에서 반사된 광은 분석하여 배경(예컨대, 볼륨 내 다른 물체들)으로부터 물체를 감지 및/또는 세그먼트화한다. 투영된 광 패턴의 속성에 영향을 주는 물체의 표면의 속성의 예는: 물체의 표면 거칠기(예컨대, 산란), 물체의 투명도, 물체의 확산 속성, 물체의 흡광도 및 물체의 거울 효과(specularity)를 포함한다.
일부 실시예에서, 투영된 광 패턴은 다양한 심도 또는 시계에 따라 특정한 기정의되거나 공지된 속성을 갖는다. 예를 들어, 사용자의 손과 같이 표면 특성의 특정 세트가 포함된다. 사용자 손의 속성의 예는 거칠기(예컨대, 산란), 투명도, 확산 속성, 흡광도 및 거울 효과를 포함한다. 사용자의 손의 속성으로 인해, 사용자의 손에 의해 반사되는 광 패턴은 볼륨 내 다른 물체들에 의해 반사되는 광 패턴의 시그니처(signature)과 다른 특수하고 고유한 시그니처를 갖는다. 사용자의 손에 의해 반사된 광 패턴의 시그니처에 기반하여, 사용자의 손과 동일하거나 유사한 표면 속성을 갖는 추가 물체(예컨대, 사용자의 손에 있는 피부에 부합하는 피부의 다른 영역)도 또한 볼륨 내 다른 물체로부터 세그먼트화될 수 있다. 물체에 의해 반사된 광 패턴에 기반하여 볼륨으로부터 물체를 세그먼트화하면 물체는 국부적으로 세그먼트화될 수 있고 완전한 광 패턴이나 완전한 풍경이 분석될 수 없는 복잡한 풍경을 갖는 볼륨 내에서 세그먼트화될 수 있다.
또한, 반사된 광 패턴을 사용하면, 하나 이상의 물체는 물체에 대한 사전 정보(예컨대, 구조, 모양) 없이 장면(예컨대, 다양한 물체)을 포함하는 볼륨으로부터 세그먼트화될 수 있다. 따라서, 반사된 광 패턴에 기반하여 물체를 세그먼트화하면, 물체는 물체의 모양이나 자세를 식별하는 저장된 정보 없이 볼륨으로부터 세그먼트화될 수 있어서, 볼륨으로부터의 물체의 직접적이고 즉각적인 식별을 가능하게 한다. 예를 들어, 기정의된 모양이나 자세를 사용하는 물체 세그먼트 방법은 "정지" 표시 또는 "스와이프(swipe)" 제스처가 모양이나 자세를 식별하는 저장된 정보에 포함되어 있지 않았다면 볼륨 내 사용자의 손에 의한 "정지" 표시 또는 "스와이프" 제스처를 식별할 수 없다. 그러나, 사용자의 손으로부터 반사된 광 패턴을 사용하면 사용자의 손은 저장된 정보 없이 볼륨 내에서 식별될 수 있다. 물체에서 반사된 광 패턴에 기반하여 물체를 식별하면 시스템과 상호작용하기 위해 자세 및 제스처를 확장하기 위한 계산상 자원이 감소한다.
물체의 반사율
볼륨에 투영된 광은 볼륨 내 다양한 물체와 다르게 반사된다. 물체의 표면 및 물체를 구성하는 하나 이상의 재질은 물체가 빛을 반사하는 방식에 영향을 준다. 그러나, 물체의 다양한 속성은 물체에 의한 광의 반사에 영향을 준다.　물체가 빛을 반사하는 방식에 영향을 주는 물체의 속성의 예는: 질감, 재질의 유형, 불투명도, 거칠기, 확산도 및 거울 효과를 포함한다.
확산 반사는 표면으로부터의 광의 반사이므로, 입사 광선은 표면에 의해 많은 각도로 반사된다. 조명될 때, 이상적인 확산 반사 표면은 표면에 인접한 반-공간의 모든 방향으로부터 동일한 휘도를 갖는다(램버시안(Lambertian) 반사율). 반면에, 표면으로부터의 빛의 정반사(specular reflection)는 표면으로부터의 광의 반사이므로, 입사 광선은 단일 각도로 반사된다.
예를 들어, 도 1a는 광택 표면을 포함하는 물체(20)(예컨대, 벽)에 투영되는 광(10)을 도시한다. 광(10)은 확산 광선(15) 및 반사 광선(25)으로서 물체(20)에 의해 반사된다. 확산 광선(15) 및 반사 광선(25)은 이상적인 확산 반사기에 대한 램버트(Lambert)의 코사인 법칙에 따라 변한다.
산란의 원인이 되는 완전히 불투명하지 않은 물질이나 물체(예컨대, 인간의 피부)에 의해 반사된 광은 물체의 표면 아래에 집중된다. 예를 들어, 도 1b는 피부 표면(102) 및 피부의 섹션들(110, 120 및 130)을 포함하는 인간 피부를 도시한다. 피부로 입사하는 광선(115)은 피부 표면(102)에 의해 일부 반사되는 한편, 광선(115)의 일부는 피부 표면(102)을 통과하여 섹션(110)에 의해 일부 반사된다. 광선(115)의 다른 부분은 섹션(110)을 통과하여 광선(115)의 일부를 반사하는 섹션(120)으로 통과한다.　마찬가지로, 광선(115)의 일부는 섹션(120)을 통과하여 광선(115)의 일부를 또한 반사하는 섹션(130)으로 통과한다.　따라서, 일련의 "1차 (primary)" 산란 광선은 피부에 입사하는 광선(115)에 의해 발생하고, 1차 산란 광선은 상술한 메커니즘을 통해 다수의 "2차" 산란 광선(도 1b에 점선으로 도시됨)을 발생시킨다.　마찬가지로, 2차 산란 광선은 3차 산란 광선 등을 발생시킨다. 다양한 광선은 피부를 통해 이동하며, 다양한 광선으로부터 광을 부분적으로 흡수하고, 다양한 광선의 일부가 피부 표면(102)에 도달하여 임의의 방향으로 출사한다. 따라서, 피부에 의해 반사된 광은 피부 표면(102)에 기반하여 고유한 구조로 다수의 방향(예컨대, 모든 방향)으로 반사된다.
쿠벨카-문크(Kubelka-Munk) 반사율 이론은 물체의 반사율을 해석하기 위한 물리적 모델을 제공한다. 쿠벨카-문크 이론을 사용하면, 약한 흡수 샘플에서 흡수 종(absorbing species)의 농도와 반사율 사이의 상관관계가 제시된다. 쿠벨카-문크 함수는 다음과 같다:
F(R) = (1-R)2/2R = k/s = Ac/s
R = 반사율,
k = 흡수 계수,
s = 산란 계수;
c = 흡수 종의 농도; 및
A = 흡광도.
따라서, 가령 사람의 피부와 같은 물체를 포함하는 볼륨으로 투영된 광 패턴은 물체 및 볼륨의 배경과 다르게 반사된다.
제스처 및 자세 감지
도 2는 공중에서 사용자의 손(210)의 움직임과 같은 제스처를 사용하여 장치와 상호작용하는 사용자(200)의 개념도이다. 도 2의 예에서, 사용자의 손(210)의 움직임을 통해 사용자(200)는 스크린(260) 상에 디스플레이되는 가상 키보드(240) 상에서 타이핑할 수 있다. 제스처를 감지하기 위해, 감지 장치(250)는 손(210)에 광 패턴을 비추고 손(210)으로부터의 광 패턴의 반사를 감지한다.　반사된 광 패턴에 기초한 삼각 측량법은 감지 장치(250)가 손(210)을 포함하는 볼륨의 심도 맵을 생성하게 한다.
도 3은 물체를 세그먼트화하기 위한 시스템의 일실시예의 블록도이다. 도 3의 예에서, 시스템은 송신기(311) 및 수신기(312)를 포함한다.　다양한 실시예에서, 송신기(311)는 광원(313)으로부터의 광에 패턴을 인코딩하는 하나 이상의 광학 요소(314.1, 314.2)가 뒤따르는 광원(313)(예컨대, 레이저 광원)을 포함한다. 송신기(311)는 광 패턴이 볼륨(315)(예컨대, 장면)으로 인코딩되는 광을 방출한다. 볼륨(315) 내 물체(예컨대, 물체(316))가 광 패턴을 반사함에 따라, 반사된 광 패턴은 다양한 특성을 획득한다.　반사된 광 패턴의 예시적인 특성은: 시준 각, 강도 변화, 편광 및 하나 이상의 간섭 특성을 포함한다.　수신기(312)(예컨대, 전하 결합 디스플레이 검출기, 상보형 금속 산화물 반도체 검출기를 갖는 카메라)는 볼륨(315) 내 물체로부터 반사된 광을 캡처하고 반사된 광 패턴을 분석한다. 볼륨(315) 내 물체로부터 반사된 광 패턴의 시그니처를 사용하면, 수신기(312)는 볼륨(315) 내 물체가 관심 물체인지를 결정한다.　예를 들어, 수신기(312)는 반사된 광 패턴에 대한 세그먼트화 프로세스를 수행하여 볼륨(315) 내 물체가 관심 대상인지를 결정한다. 볼륨(315) 내 임의의 적절한 물체는 다양한 실시예에서 관심 물체일 수 있다.　예를 들어, 테니스 라켓이 관심 물체이거나, 사용자 신체의 일부(예컨대, 손, 팔)가 관심 물체이다.　일부 실시예에서, 수신기(312)는 또한 광 패턴을 반사하는 볼륨(315) 내 다양한 포인트에 대한 심도 정보를 획득한다.
도 4는 사용자의 손(410)에 투영되는 광 패턴의 개념도이다. 후술되는 바와 같이, 사용자의 손(410)에 의해 반사된 광 패턴의 특성에 기초하여, 손(410)은 손(410)에 대한 사전 정보 없이 감지되거나 손(410)의 움직임이 추적될 수 있다. 손의 감지 또는 추적을 가능하게 하기 위해, 손(410)에 투영된 광 패턴은 추적을 가능하게 하도록 인코딩된다. 다양한 실시예에서, 손(410)에 투영된 광 패턴은 2차원 비디오 데이터에서의 움직임의 추적을 가능하게 하여, 거리에 따라 사용자의 신체의 다른 부분으로부터 손(410)을 차별화하는 복잡성을 증가시킨다. 일실시예에 따르면, 광 패턴은 2차원 비디오 데이터(예컨대, 종래의 비디오 카메라로부터의 비디오 이미지)에서 손(410)의 손가락의 움직임을 추적하도록 상세히 설계된다. 더 상세하게, 광 패턴은 후술되는 바와 같이 가령 물체에 의해 반사된 광 패턴의 왜곡 또는 크기와 같이 물체에 의해 반사된 광 패턴의 감지된 기정의된 시그니처에 따라 2차원 비디오 데이터로부터 손(410)의 손가락(즉, 손가락들 및 엄지 손가락)뿐 아니라 손(410)의 손바닥의 감지 및 추적을 가능하게 하도록 설계된다. 도 4에 도시된 예에서, 광 패턴은 서로 평행하거나 거의 평행한 다수의 스트라이프를 포함한다.
카메라(예컨대, 도 3의 수신기(312))는 손(410)으로 그리고 가령 손(410)을 받치는 표면과 같이 손(410)을 포함하는 볼륨의 배경(420)으로 광 패턴(예컨대, 도 4의 스트라이프)을 투영하는 투영기(예컨대, 송신기(311))와 함께 위치한다. 카메라 및 송신기는 공통 축에서 서로 평행하게 위치할 수 있거나, 서로 직교하게 위치할 수 있거나, 다양한 실시예에서 서로에 대해 임의의 다른 위치에 위치할 수 있다.　카메라의 위치는 카메라, 광 투영기 및 손(410)과 배경(420)으로부터 카메라로 반사된 광 투영기로부터의 광 사이의 삼각 측량 효과를 생성하도록 선택될 수 있다.
볼륨 내의 손(420)과 같은 물체는 다양한 물체(예컨대, 손(420)의 피부)의 표면으로부터 반사된 고유한 광 특성에 따라 식별되거나 세그먼트화된다. 따라서, 손(420)의 피부에 의해 산란되는 광 패턴으로부터의 광은 손(420)에 투영된 패턴의 스트라이프에 따른 지점들에서 광 패턴의 하나 이상의 특성을 변화시킨다. 손(420)에 의한 산란으로부터의 광 패턴의 하나 이상의 특성의 변화에 기초하여, 프로세서 또는 다른 장치는 손(420)을 식별한다.
반사된 광 패턴의 한 세그먼트의 특성의 식별된 변화는 볼륨을 2 이상의 섹션 또는 영역으로 세그먼트화(예컨대, 분할)한다. 도 4의 예에서, 손(420)에 의해 반사된 광 패턴의 한 세그먼트에서의 변화는 손(420)을 포함하는 "피부" 영역과 손(420) 이외의 물체 또는 재료를 포함하는 "배경" 영역으로 볼륨을 분할한다. 예를 들어, 도 4의 영역(431)은 손(420)을 포함하고, 피부에 의해 반사된 광 패턴의 부분을 식별하는 하나 이상의 특정한 특성을 갖는 반사된 광 패턴의 부분을 포함하는 한편, 도 4의 영역(432)은 피부 이외의 표면을 갖는 물체(예컨대, 볼륨의 배경에 있는 물체)에 의해 반사되는 광 패턴의 부분들을 포함한다.
예를 들어, 도 3의 송신기(311)는 가령 DOE(회절 광학 요소) 또는 ROE(굴절 광학 요소)와 같은 다수의 광학 요소를 포함하므로, 송신기(311)에 의해 방출된 광은 상이한 특성(예컨대, 강도 간섭 레벨, 시준 각)으로 인코딩된다. 방출된 광의 속성은 손으로 방출되는 방출된 광(즉, 영역(431)의 방출된 광)의 스트라이프 안팎의 소음을 형성한다. 따라서, 사용자 손의 피부로부터 반사된 광 패턴으로부터의 광의 확산은 영역(431)에서 방출된 광 패턴의 스트라이프를 발생시켜 선명하고 명확하며 매끄러운 것처럼 보이지만, 피부 이외의 표면을 갖는 물체로부터 반사된 스트라이프는 찢어지고 파쇄된 것처럼 보인다.
손(420)에 의해 반사된 광 패턴(예컨대, 스트라이프)의 광의 하나 이상의 특성에 기반하여, 손(420)은 볼륨 내 다른 물체들로부터 식별되고 세그먼트화될 수 있다. 반사된 광 패턴의 예시적인 특성은: 반사된 패턴 광 폭, 반사된 광의 강도 프로파일 변화(예컨대, 확장)(예컨대, 광 패턴의 가우시안 단면 강도 프로파일의 변화), 국부적 균일성(가령 반사된 광 패턴의 부분의 패턴 강도에서의 평활성과 같은 투영된 광 패턴에 대한 반사된 패턴의 프로파일의 변화), 반사된 광 패턴의 편광의 변화, 표면 불투명성으로 인한 반사된 광 패턴의 스페클, 거칠기 및 간섭 레벨, 확산 광, 및 광 패턴의 부분들 사이의 광 패턴의 부분들과 배경의 콘트라스트(contrast)의 변화(예컨대, 광 패턴이 가령 인간 피부와 같은 반투명 매체로 방출될 때, 광이 매체로 이동한다)를 포함한다. 비록 도 4는 다수의 스트라이프(예컨대, 선형 패턴)를 포함하는 예시적인 광 패턴을 도시하지만, 다른 유형의 광 패턴이 다른 실시예들에서 사용될 수 있다.　대안의 광 패턴의 예는: 점, 삼각형, 직사각형 및 원을 포함한다. 다양한 실시예에서, 광 패턴은 단일 픽셀보다 크다(예를 들어, 광 패턴은 다수의 픽셀을 포함한다).
도 5는 볼륨 내에서 물체를 세그먼트화하기 위한 방법의 일실시예의 흐름도이다. 다른 실시예에서, 이 방법은 도 5와 관련하여 설명된 것과 다른 단계 또는 추가 단계를 포함한다. 또한, 다양한 실시예에서, 본 방법의 단계는 도 5와 관련하여 설명된 순서와 상이한 순서로 수행될 수 있다.
더 후술하는 바와 같이, 광은 볼륨으로 투영된다(510). 다양한 실시예에서, 투영된 광은 가령 수퍼 스페클 스트라이프(super speckle stripes)와 같은 광 패턴을 포함한다. 광이 볼륨으로 투영(510)됨에 따라, 광 패턴으로부터의 스트라이프는 관심 물체에 놓인다. 도 4와 관련하여 더 상술한 바와 같이, 관심 물체의 패턴은 노이즈 또는 관심 물체에 의해 반사된 광 패턴(예컨대, 스트라이프)의 부분의 하나 이상의 다른 특성(예컨대, 패턴 폭, 형상 및 비간섭성)에 의해 표시된다. 관심 물체에 의해 반사(그리고 다른 객체들에 의해 반사)되는 광 패턴(즉, "반사된 광 패턴")은 컴퓨터 프로세서에 의해 분석(520)된다. 예를 들어, 관심 물체를 포함하는 볼륨에 의해 반사된 광 패턴의 이미지의 픽셀은 각 픽셀의 하나 이상의 반사된 광 패턴 특성에 기반한 감지 알고리즘에 의해 분석된다. 반사된 광 패턴의 분석에 기반하여, 관심 물체는 볼륨으로부터 세그먼트화(530)되며, 볼륨 내 물체의 신속하고 직접적인 발견 및 볼륨 내 관심 물체(예컨대, 손, 손가락)의 신속한 식별을 가능하게 한다. 예를 들어, 볼륨에 의해 반사된 광의 이미지가 스캔되고 이미지 내 각 픽셀은 "배경" 또는 "물체"(예컨대, 손)로서 식별된다.　일부 실시예에서, 볼륨으로부터 관심 물체를 세그먼트화한 후(530), 관심 물체가 식별된다(540). 물체의 형상 및 물체를 설명하는 저장된 정보에 기반하여 물체가 볼륨으로부터 식별되는(예컨대, 사용자가 사용자의 손을 들게 하고 특정 패턴으로 사용자의 손을 오픈시켜 사용자의 손을 식별하는) 종래의 방법들과 달리, 상술한 방법은 관심 물체가 물체의 초기 형상과 관계없이 정확하고 직접적으로 식별되도록 한다. 일부 실시예에서, 관심 물체의 세그먼트화(430) 또는 식별(540) 이후, 관심 물체의 다양한 지점에 대한 심도 정보가 결정된다.
도 6은 광 빔을 동작하기 위한 방법의 일실시예의 흐름도이다. 다른 실시예에서, 이 방법은 도 6과 관련하여 설명된 것과 다른 단계 또는 추가 단계를 포함한다. 또한, 다양한 실시예에서, 본 방법의 단계는 도 6과 관련하여 설명된 순서와 다른 순서로 수행될 수 있다.
광원은 광 빔을 제공하도록 동작한다(610). 다양한 실시예에서, 광원은 반도체 레이저의 어레이이다. 예를 들어, 광원은 수직 공동 표면 광방출 레이저(VCSEL) 어레이이다.　어레이 내의 레이저는 개별적으로 또는 행으로 작동될 수 있으며, 행들 사이의 강도의 주기적 변동을 제공하기 위해 서로 다른 행들에서의 레이저의 강도를 변화시킴으로써 광 빔의 변화가 제공될 수 있도록 한다.
광 빔의 광학 속성은 후속적으로 정의되고(620), 광원이 볼륨 내 물체(예컨대, 볼륨 내 손, 볼륨 내 벽)로부터 반사될 때 반사된 광의 상이한 속성의 감지를 가능하게 한다. 일부 실시예에서, 광 빔의 추가적인 광학 속성이 또한 정의된다(630). 광학 특성(뿐 아니라 일부 실시예에서는 추가의 광학 특성)을 정의한 후(620), 광학 속성을 갖는 광 빔은 볼륨으로 투영된다(640).
반사율 비교 방법
다양한 조건에 기초한 서로 다른 물체로부터의 광의 반사율의 차이는 물체에 의해 반사된 광의 시그니처로부터 물체를 식별하는 복잡성을 증가시킨다. 예를 들어, 피부에 의해 반사된 광은 피부의 노화로 변화되어, 더 늙은 피부보다 더 젊은 피부에서 광의 반사율이 달라진다.　따라서, 일부 실시예는 볼륨 내 물체에 의해 반사된 광의 하나 이상의 특성을 볼륨 내 추가 물체의 하나 이상의 특성과 비교함으로써 볼륨으로부터 물체를 식별한다. 이러한 비교는 물체에 의한 광의 반사율을 설명하는 사전 정보 없이 물체로부터 반사된 광에 대한 정보를 제공할 수 있다.
도 7은 볼륨으로 투영된 광 빔으로부터 물체를 식별하는 방법의 일실시예의 흐름도를 도시한다. 다른 실시예에서, 이 방법은 도 7과 관련하여 설명된 것과 다른 단계 또는 추가 단계를 포함할 수 있다. 또한, 다양한 실시예에서, 본 방법의 단계는 도 7과 관련하여 설명된 순서와 다른 순서로 수행될 수 있다.
송신기는 가령 물체 및 추가의 물체와 같이 다수의 물체를 포함하는 볼륨으로 광을 투영한다(710). 감지기는 물체로부터 반사된 광 및 추가의 광을 캡처하고, 반사된 광을 분석하여 물체에 의해 반사된 광의 하나 이상의 특성을 식별한다(720). 물체에 의해 반사된 광의 시그니처에 기초하여, 송신기는 물체에 의해 반사된 광과 동일한 시그니처를 갖는 광을 반사하는 볼륨 내 다른 물체들을 식별하도록 보정된다(730). 도 7의 예에서, 추가의 물체에 의해 반사된 광은 물체에 의해 반사된 광과 일치하는 시그너처를 가지므로, 추가의 물체도 또한 추가의 물체에 의해 반사된 광의 시그니처에 기초하여 식별된다(740). 예를 들어, 물체는 형상 인식 방법 또는 이미지 처리 방법에 따라 식별된 사용자의 얼굴이다; 대안으로, 사용자의 얼굴은 본 명세서에서 더 설명되는 바와 같이 사용자의 얼굴에 의해 반사된 광의 특성에 기초하여 식별된다. 사용자의 얼굴을 식별한 후, 송신기는 사용자의 얼굴에 의해 반사된 광의 특성과 공통의 특성을 갖는 광을 반사하는 볼륨 내 물체들을 식별하도록 보정된다(730).　이러한 보정은 가령 사용자의 손 또는 팔과 같이 볼륨 내 피부의 표면을 갖는 다른 물체들의 식별을 가능하게 한다.
도 8a는 손(820) 및 배경(810)에 의해 반사된 광 패턴으로부터의 복수의 스트라이프의 예시적인 이미지(800)이다. 도 8a의 예에서, 손(820)은 손(810) 및 배경(820)에 의해 반사된 광 패턴의 하나 이상의 특성의 변화에 기초하여 배경(820)으로부터 추출될 수 있다.　손(810) 또는 배경(820)에 의해 반사된 광 패턴의 예시적인 특성은: 광 패턴에서의 스트라이프의 강도 변화, 광 패턴에서의 스트라이프의 폭 변화, 스페클 균일성, 국부적 균일성 및 축에 따른 스트라이프 프로파일에서의 확산된 미광을 포함한다. 예를 들어, 도 8b는 배경(810)에 의해 반사되고 손(820)에 의해 반사된 스트라이프의 축에 따른 스트라이프 프로파일의 그레이 레벨(gray level)의 변화(예컨대, 강도 대 픽셀)를 도시한다.　도 8b의 예에서, 손(820)을 나타내는 곡선은 배경(810)을 나타내는 곡선에 대한 강도(821)의 변화, 스트라이프 폭(822)의 변화 및 미광(823)의 변화를 도시한다. 도 8c는 도 8c의 좌측의 손(820)에 의한 광의 반사율과 도 8c의 우측의 배경(810)에 의한 광의 반사율 사이의 변화를 도시한다.
편광(Polarization)
편광 이미징은 물체(예컨대, 피부)로부터의 광의 산란에 의해 발생하는 편광해소(depolarization)의 발현이다. 편광 시스템 및 방법은 의료 분야(예컨대, 피부암 감지)에서 널리 사용된다. 물체로부터의 편광해소 반사율은 물체의 표면으로부터 반사된 후방 산란된 광을 포함하며, 물체의 표면층이 물체를 조명하는 광의 선형 편광을 유지하면서 물체의 더 깊은 층으로부터의 후방 산란된 광은 편광해소된다. 출력 편광기(polarizer)를 입력 편광기와 평행하게 또는 수직으로 지향시키면 후방 산란된 신호의 심도를 선택할 수 있다.
편광 스페클 패턴(Polarization speckle pattern)은 다음의 수식으로 표현된다:
Figure pat00001
여기서, I_∥(x, y) 및 I_⊥(x, y)는 평행한 편광 및 수직의 편광 각각의 픽셀 강도이다.
따라서, 일부 실시예에서, 볼륨 내 물체는 물체로부터의 편광해소 후방 산란된 광 반사율에 기초하여 볼륨 내 다른 물체들로부터 물체를 추출 또는 세그먼트화함으로써 식별된다. 도 9a는 볼륨으로부터 가령 사용자의 손(910)과 같은 물체를 추출하고 물체를 식별하기 위한 시스템(900)의 일실시예의 블록도이다. 도 9a에 도시된 예에서, 시스템(900)은 볼륨으로 광을 투영하는 레이저 송신기와 같은 송신기(920)를 포함한다.　편광기(935)(예컨대, 선형 편광기)는 가령 전하 결합 장치 카메라와 같은 카메라(930)에 근접하여 위치한다. 카메라(930)는 볼륨으로 투영된 송신기(910)로부터 광의 이미지를 캡처하고, 편광기(935)는 카메라(930)의 시계 내에(예컨대, 카메라(930)와 볼륨 사이에) 있다. 일부 실시예에서, 편광기(935)는 카메라(930)에 의해 캡처된 연속적인 프레임들 사이에서 편광기를 90도 만큼 회전시키도록 구성된 회전자에 결합된다.
따라서, 카메라(930)는 장면의 이미지의 직교하는 편광들인 2개의 이미지들(예컨대, 연속적인 프레임들)을 캡처한다. 각 이미지의 편광 스페클 패턴은 상기 식별된 편광 수식에 따라 계산되고 분석된다. 필터링 알고리즘을 사용하여 물체는 배경으로부터 추출된다.
도 9b는 볼륨으로부터 사용자의 손(910)과 같은 물체를 식별하기 위한 시스템(950)의 대안의 실시예의 블록도를 도시한다. 도 9b에 도시된 시스템(950)은 도 9a와 관련하여 상술한 바와 같이 광을 볼륨으로 투영하도록 구성된 송신기(920)를 포함한다. 또한, 시스템(950)은 카메라(960) 및 전하 결합 카메라일 수 있는 추가의 카메라(970)를 포함한다.　편광기(965)는 카메라(960)에 근접하게 카메라(960)와 볼륨 사이에 위치하는 한편, 추가의 편광기(975)는 추가 카메라(970)에 근접하게 추가 카메라(970)와 볼륨 사이에 위치한다.　편광기(965)는 카메라(960)가 편광 방향을 사용하여 볼륨을 이미지화하게 하는 한편, 추가 편광기(975)는 카메라(970)가 추가적인 편광 방향을 사용하여 볼륨을 이미지화하게 한다. 예를 들어, 편광 방향은 편광기(965)의 수평축에 대해 +45도이며, 추가적인 편광 방향은 추가의 편광기(975)의 수평축에 대해 -45도이다.
도 9c는 볼륨으로부터 사용자의 손(910)과 같은 물체를 식별하기 위한 시스템(970)의 또 다른 실시예의 블록도이다. 도 9c에 도시된 실시예에서, 편광 빔 스플리터(980)는 카메라(960)와 볼륨 사이에(예컨대, 카메라(960)의 시계에) 그리고 추가 카메라(970)와 볼륨 사이에(예컨대, 추가 카메라(970)의 시계에) 위치한다. 편광 빔 스플리터(980)는 볼륨으로부터 반사된 광을 편광시키고, 장면으로부터 반사된 광의 한 부분을 카메라(960)로 향하게 하고 장면으로부터 반사된 광의 다른 부분을 추가 카메라(970)로 향하게 한다. 카메라(960) 및 추가 카메라(970)는 서로 직교하며 편광 빔 스플리터(980)의 서로 다른 측면(981, 982)에 각각 부착될 수 있다.
도 10은 볼륨 내 물체를 추출하기 위한 방법의 일실시예의 흐름도이다. 다른 실시예에서, 이 방법은 도 10과 관련하여 설명된 것과 다른 단계 또는 추가 단계를 포함할 수 있다. 또한, 다양한 실시예에서, 본 방법의 단계는 도 10과 관련하여 설명된 순서와 다른 순서로 수행될 수 있다.
볼륨의 적어도 2개의 이미지가 획득(1010)되며, 서로 다른 이미지는 서로 다른 편광 방향을 갖는다. 예를 들어, 이미지는 하나의 편광 방향을 가지는 반면, 추가 이미지는 그 편광 방향과 다른 대안의 편광 방향을 갖는다.　도 11에 도시된 예에서, 사용자의 손을 포함하는 볼륨의 편광 이미지(1110)는 +45도의 방향으로 편광되며, 사용자의 손을 포함하는 볼륨의 또 다른 이미지(1120)는 -45도의 방향으로 편광된다.
획득된 이미지들로부터, 가령 편광 이미지들의 획득된 2개의 이미지의 스페 클 편광 콘트라스트와 같은, 편광 콘트라스트가 다음의 수식에 따라 계산된다(1020):
C=(A-B)/(A+B)
여기서, A = +45도 편광 방향을 갖는 이미지, 및
B = -45도 편광 방향을 갖는 이미지.
볼륨 내 다른 물체들로부터 물체를 추출하는 필터링 프로세스가 수행된다(1030). 예를 들어, 도 11을 참조하면, 이미지(1130)는 서로의 임계 거리 내 픽셀의 표준 편차(예컨대, 9×9 그리드의 표준 편차)를 계산하고 특정된 임계 값을 초과하는 픽셀을 제거하는 필터링 프로세스의 수행을 도시한다. 도 11의 예에서, 이미지(1130)는 배경(1133)에 대하여 환하게 비치는 손(1132)을 도시하는데, 이를 통해 관심 물체로서 손(1132)의 추출 및 식별이 가능하다.
도 12는 광 빔을 사용하여 볼륨 내 물체를 세그먼트화하기 위한 시스템(1200)의 일실시예의 블록도이다. 도 12에 도시된 실시예에서, 시스템(1200)은 더 상술한 바와 같이 광 패턴으로 볼륨을 조명하도록 구성된 적외선(IR) 조명기(1202)를 포함한다. 가령 IR 카메라(1206)와 같은 카메라는 볼륨으로부터 패턴화된 광의 반사를 수신하도록 구성되는 반면, 프리-프로세서(1204)는 IR 카메라(306)로부터의 데이터의 초기 처리를 수행하도록 구성된다.
또한, 시스템(1200)은 컴퓨팅 장치(1210)에 의해 저장되거나 수신되는 명령어들(1216)을 실행하는 프로세서(1214)를 포함하는 스마트폰과 같은 컴퓨팅 장치(1210)를 포함한다. 컴퓨팅 장치(1210)는 사용자의 신체의 일부분(예컨대, 손)의 합성 장면이나 이미지와 같은 컨텐츠를 사용자에게 제시하도록 구성된 니어 아이 디스플레이(near eye display)(1220)와 연결된다. 다른 실시예에서, 컴퓨팅 장치(1210)는 랩탑, 컴퓨터, 태블릿 컴퓨터 또는 임의의 다른 적절한 컴퓨팅 장치일 수 있다.
IR 카메라(1206)는 IR 조명기(1202)에 의해 볼륨으로 투영된 IR 패턴의 반사를 캡처한다. 프리-프로세서(1204)는 초기에 캡처된 반사를 처리하고 IR 패턴의 처리된 반사를 컴퓨팅 장치(1210)의 프로세서(1214)에 전달한다.　명령어들(1216)을 실행하여 프로세서(1214)는 IR 패턴의 수신된 반사들로부터 객체들(예컨대, 사용자의 신체 일부들)을 세그먼트화하거나, IR 패턴의 수신된 반사들로부터 볼륨 내 서로 다른 객체들의 심도를 식별하는 심도 맵을 생성한다.
일부 실시예에서, 컴퓨팅 장치(1210)는 광 패턴에 의해 조명된 볼륨 내 물체들(예컨대, 사용자의 신체 일부들)의 2차원 컬러 이미지를 캡처하도록 구성된 가시광 카메라(312)를 포함한다. 따라서, 프로세서(1214)는 볼륨 내 물체의 IR 패턴 및 2차원 컬러 이미지의 반사로부터 생성된 심도 맵을 사용하여 볼륨에서 식별된 물체(예컨대, 사용자의 신체 일부들)의 3차원 컬러 이미지를 생성할 수 있다. 프로세서(1214)는 볼륨의 수신된 이미지를 처리하고 반사된 광 패턴의 특징과 물체(예컨대, 사용자의 신체 일부들)의 결정된 반사율 시그니처를 사용하여 볼륨으로부터 물체를 세그먼트화하도록 구성된다. 또한, 프로세서(1210)는 식별된 물체의 생성된 3차원 컬러 이미지를 니어-아이 디스플레이(1220)에 의해 제시된 합성 장면에 중첩시키도록 구성될 수 있어서, 사용자가 그들이 현실에 있는 것처럼 합성 장면에 위치되고 지향되는 볼륨으로부터 식별된 물체(예컨대, 사용자의 신체 일부들) 및 합성 장면을 열람할 수 있도록 한다.
도 13은 가상 현실 시스템을 위한 예시적인 헤드 마운트 기기(1310)이다. 도 13의 예에서, 헤드 마운트 기기(1310)는 모바일 장치(1320)(예컨대, 스마트폰)와 함께 사용하도록 구성된 헤드셋(1340)을 포함한다. 헤드 마운트 기기(1310)는 조명기(1312)(예컨대, 레이저 송신기, 적외선 패턴 조명기) 및 카메라(1314)(예컨대, IR 카메라(214))를 포함할 수 있다. 헤드 마운트 기기(1310)에 포함되는 프리-프로세서는 도 12와 관련하여 상술한 바와 같이 초기의 이미지 처리를 수행하도록 구성된다. 헤드 마운트 기기(1310)는 모바일 장치(1320) 및 헤드셋(1340)과 물리적이고 전자적으로 인터페이스하도록 또한 구성된다. 다양한 실시예에서, 헤드 마운트 기기(1310)는 모바일 장치(1320)의 디스플레이를 송신하도록 구성된 광학 장치, 카메라(1322)를 포함할 수 있는 모바일 장치(1310)를 고정하도록 구성된 슬리브(1350)를 포함한다. 스트랩(1330)을 통해 헤드 마운트 기기(1310)는 사용자의 머리에 고정될 수 있다. 헤드 마운트 기기(1310)는 다양한 실시예에서 니어 아이 디스플레이와 인터페이스할 수 있다.
헤드 마운트 기기(1310)를 통해 헤드 마운트 기기(1310)를 둘러싸고 있는 환경으로부터의 물체(예컨대, 사용자의 신체 일부) 3차원 이미지가 가상 현실 장면 내에서 보이도록 함으로써 가상 현실 헤드셋는 향상될 수 있다. 따라서, 헤드 마운트 기기(1310)는 니어 아이 디스플레이에 결합하기 위한 하드웨어를 제공하고, 헤드 마운트 기기(1310)를 제어하고 캡처된 데이터를 분석하기 위한 명령어를 실행한다. 헤드 마운트 기기(1310)의 일부 실시예들은 가상 현실 장면이 가상 현실-특화 장치 없이 제시되도록 할 수 있다.
도 14는 손 제스처(hand gesture)를 사용하여 가상 현실 환경과 상호작용하기 위한 개념도이다. 사용자(1410)는 도 13과 관련하여 상술한 바와 같이 장치(1400)가 장착될 수 있는 니어 아이 디스플레이(1430)를 착용한다. 장치(1400)는 사용자를 둘러싸고 있는 볼륨의 이미지를 캡처하는데 충분히 넓은 시계를 갖는 캡처 유닛(예컨대, 카메라)(1415) 및 조명기(예컨대, 레이저 송신기)(1420)를 포함할 수 있다. 동작시 니어 아이 디스플레이(1430)는 합성 장면을 사용자(1410)의 양안으로 투영하도록 구성된다. 조명기(1420)는 사용자(1410)를 둘러싸는 볼륨으로 광 패턴(1424)을 투영한다. 광 패턴(1410)의 반사는 캡처 유닛(1415)에 의해 캡처된 후, 장치(1400), 니어 아이 디스플레이(1430) 또는 임의의 다른 적절한 구성요소에 위치할 수 있는 컴퓨터 프로세서에 의해 분석된다. 장치(1400)의 가시광 카메라는 사용자의 손(1412) 또는 사용자(1410)에 의해 제어되는 다른 물체의 2차원 이미지를 캡처하도록 구성된다. 장치(1400)의 프로세서는 가령 사용자의 손(1412)과 같은 볼륨 내 물체를 계산하고 식별하도록 구성된다. 일부 실시예에서, 프로세서는 사용자의 손(1412) 또는 제스처 물체의 심도 맵을 결정하도록 또한 구성되며, 사용자(1410)에게 제시되는 가상 이미지(1460) 내 대응하는 위치(1462)로 제시될 수 있는 사용자의 손(1412)의 3차원 이미지로 심도 맵과 2차원 이미지를 결합할 수 있다. 따라서, 사용자의 손(1410)의 3차원 이미지는 사용자의 손(1410)의 3차원 속성을 보존하면서 합성 장면에 중첩된다.
요약
본 실시예들의 상술한 설명은 단지 예시의 목적으로 제시되었을 뿐, 배타적이거나 개시된 구체적인 형태로 특허권을 제한하고자 하는 것은 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 상기 개시로부터 다양한 변형 및 변경이 가능함을 인식할 수 있을 것이다.
본 명세서의 일부 부분은 본 실시예들을 정보에 대한 동작의 알고리즘적 및 기호적 표현으로 설명한다. 이러한 알고리즘적 설명 및 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 다른 통상의 지식을 가진 자에게 전달하기 위하여 데이터 프로세싱 분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 설명된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있다.
본 명세서에 기술된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 설명된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
또한, 본 실시예들은 본 명세서의 동작들을 수행하기 위한 장치와 관련될 수 있다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형(tangible)의 컴퓨터 판독가능한 저장 매체나 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.
또한, 본 실시예들은 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생산된 제품에 관한 것일 수 있다. 이런 제품은 컴퓨팅 프로세스의 결과로 생성된 정보를 포함할 수 있는데, 여기서 정보는 비-일시적인 유형의 컴퓨터 판독가능한 저장 매체에 저장되며, 본 명세서에 기술된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 특허권을 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 본 발명의 범위는, 본 발명의 상세한 설명에 의해 제한되는 것이 아니며, 본 출원이 기초로 하는 제출되는 청구범위에 의해 정의되는 것으로 의도되었다. 그러므로, 본 실시예들에 관한 설명은 하기의 청구항들에 제시된 특허권의 범위의 예시가 되나, 이에 제한되지 않는다.

Claims (13)

  1. 볼륨(volume)으로 투영(projection)하기 위해 광원으로부터 광 빔을 제공하는 단계;
    기정의된 광학 구조를 상기 광 빔에 적용하기 위해 하나 이상의 기정의된 속성을 갖는 광 빔을 인코딩(encoding)하는 단계;
    상기 기정의된 광학 구조로 인코딩된 광 빔을 상기 볼륨으로 투영하는 단계;
    감지기를 통해 볼륨으로부터 반사된 광 빔으로부터 광을 감지하는 단계;
    상기 볼륨으로부터 반사된 광 빔으로부터 감지된 광을 분석하는 단계;
    물체에 의해 반사된 광 빔으로부터의 광의 적어도 하나의 특성에 따라 볼륨 내 물체를 세그먼트화(segmenting)하는 단계;
    볼륨 내 추가의 물체에 의해 반사된 광 빔으로부터의 광의 특성을 상기 물체에 의해 반사된 광 빔으로부터의 광의 특성과 비교하는 단계; 및
    상기 비교에 기반하여 볼륨으로부터 상기 추가의 물체를 세그먼트화하는 단계를 포함하고,
    상기 감지기를 통해 볼륨으로부터 반사된 광 빔으로부터 광을 감지하는 단계는, 볼륨으로부터 반사된 광의 복수의 이미지들을 생성하기 위해 편광 구조 및 추가의 편광 구조에 따라 상기 볼륨으로부터 반사된 광 빔을 편광(polarizing)시키는 단계를 포함하고,
    상기 물체에 의해 반사된 광 빔으로부터의 광의 적어도 하나의 특성에 따라 볼륨 내 물체를 세그먼트화하는 단계는:
    상기 편광 구조를 갖는 볼륨으로부터 반사된 광의 이미지를 상기 추가의 편광 구조를 갖는 볼륨으로부터 반사된 광의 추가 이미지로부터 차감하는 단계; 및
    상기 차감으로부터 물체를 추출하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    광 빔에 적용되는 상기 기정의된 광학 구조는 광 패턴을 포함하고,
    바람직하게는 상기 광 패턴은 복수의 스트라이프들(stripes)을 포함하는, 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 물체에 의해 반사된 광 빔으로부터의 감지된 광에 기반하여 상기 물체에 대한 심도 정보(depth information)를 생성하는 단계를 더 포함하는, 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 물체를 관심 물체로 식별하는 단계를 더 포함하는, 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 기정의된 광학 구조는: 광 빔의 프로파일의 시준 각(collimation angle), 광 빔의 프로파일의 강도, 광 빔의 프로파일의 균일성, 광원의 간섭성(coherence) 및 이들의 임의의 조합으로 구성된 그룹으로부터 선택된 광 속성을 포함하는, 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 볼륨 내 물체는 물체에 의해 반사된 기정의된 광학 구조로부터의 감지된 광의 폭(width)에 기반하여 세그먼트화되는, 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 볼륨 내 물체는 상기 물체에 의해 반사된 기정의된 광학 구조로부터의 감지된 광의 강도 프로파일의 변화에 기반하여 세그먼트화되고,
    바람직하게는 상기 감지된 광의 강도 프로파일의 변화는 상기 물체에 의해 반사된 기정의된 광학 구조로부터의 광의 국부적 균일성 프로파일(local uniformity profile)의 변화를 포함하고; 및/또는
    바람직하게는 상기 감지된 광의 강도 프로파일의 변화는 상기 물체에 의해 반사된 기정의된 광학 구조로부터의 광의 스페클(speckle)의 변화를 포함하고; 및/또는
    바람직하게는 상기 감지된 광의 강도 프로파일의 변화는 상기 물체에 의해 반사된 기정의된 광학 구조로부터의 광의 확산광 또는 미광 프로파일의 변화를 포함하는, 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 물체는 사용자의 얼굴이고, 상기 추가의 물체는 사용자의 손인, 방법.
  9. 광 빔을 생성하도록 구성된 광원;
    기정의된 광학 구조를 광 빔에 적용하도록 구성된 적어도 하나의 광학 요소로서, 상기 광학 구조는 물체의 물리적 구조에 따라 변하도록 구성되고, 광 빔에 적용되는 기정의된 광학 구조는 광 패턴을 포함하는, 상기 적어도 하나의 광학 요소;
    볼륨으로부터 반사된 광 빔의 복수의 이미지들을 획득하도록 구성된 감지기;
    상기 볼륨으로부터 반사된 광 빔으로부터의 광에 대한, 상기 물체로부터 반사된 광 빔으로부터의 광의 적어도 하나의 프로파일의 차이에 기반하여 복수의 이미지들로부터 물체를 추출하도록 구성된 프로세서; 및
    상기 감지기의 시계(field of view) 내에 위치하고, 적어도 2개의 기정의된 편광 구조에 따라 상기 볼륨으로부터 반사된 광 빔으로부터의 광을 편광시키도록 구성된 편광기를 포함하고,
    상기 프로세서는 하나의 편광 구조를 갖는 물체의 이미지를 다른 편광 구조를 갖는 물체의 추가 이미지에서 차감함으로써 상기 복수의 이미지들로부터 물체를 추출하도록 구성된, 기기.
  10. 제 9 항에 있어서,
    상기 물체로부터 반사된 광 빔으로부터의 광의 프로파일의 변화는 상기 기정의된 광학 구조의 폭의 변화를 포함하는, 기기.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 물체로부터 반사된 광 빔으로부터의 광의 프로파일의 변화는 상기 기정의된 광학 구조의 가우스 단면 강도 프로파일(Gaussian cross-sectional intensity profile)의 변화를 포함하는, 기기.
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 물체로부터 반사된 광 빔으로부터의 광의 프로파일의 변화는 상기 기정의된 광학 구조의 국부적 균일성 프로파일의 변화를 포함하는, 기기.
  13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 물체로부터 반사된 광 빔으로부터의 광의 프로파일의 변화는 상기 기정의된 광학 구조의 스페클 프로파일의 변화를 포함하는, 기기.
KR1020197019241A 2015-02-25 2016-02-24 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별 KR102129376B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120440P 2015-02-25 2015-02-25
US62/120,440 2015-02-25
PCT/US2016/019377 WO2016138145A1 (en) 2015-02-25 2016-02-24 Identifying an object in a volume based on characteristics of light reflected by the object

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025939A Division KR20170124559A (ko) 2015-02-25 2016-02-24 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별

Publications (2)

Publication Number Publication Date
KR20190083002A true KR20190083002A (ko) 2019-07-10
KR102129376B1 KR102129376B1 (ko) 2020-07-02

Family

ID=56789817

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177025939A KR20170124559A (ko) 2015-02-25 2016-02-24 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별
KR1020197019241A KR102129376B1 (ko) 2015-02-25 2016-02-24 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177025939A KR20170124559A (ko) 2015-02-25 2016-02-24 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별

Country Status (11)

Country Link
US (1) US10049460B2 (ko)
EP (1) EP3123288A4 (ko)
JP (1) JP6554638B2 (ko)
KR (2) KR20170124559A (ko)
CN (1) CN107548502B (ko)
AU (1) AU2016222716B2 (ko)
BR (1) BR112017018121A2 (ko)
CA (1) CA2977374C (ko)
IL (1) IL254022B (ko)
MX (1) MX364878B (ko)
WO (1) WO2016138145A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656543A (zh) * 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
WO2016112019A1 (en) * 2015-01-06 2016-07-14 Oculus Vr, Llc Method and system for providing depth mapping using patterned light
US10769951B2 (en) * 2015-09-30 2020-09-08 Sony Corporation Image processing apparatus, image processing method, and vehicle control system to determine the presence of an object from an image of a peripheral area of a moving body
KR20180012057A (ko) * 2016-07-26 2018-02-05 삼성전자주식회사 투시형 디스플레이 장치
KR20180056174A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
US10430647B2 (en) * 2017-01-13 2019-10-01 Microsoft Licensing Technology, LLC Tailored illumination profile for articulated hand tracking
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
KR102287586B1 (ko) * 2017-05-31 2021-08-10 (주)아모레퍼시픽 화장료의 두께 측정 장치 및 방법
CN110892716B (zh) * 2017-07-12 2022-11-22 镜泰公司 从环境中用于获取信息的系统及方法
CN107515844B (zh) * 2017-07-31 2021-03-16 Oppo广东移动通信有限公司 字体设置方法、装置及移动设备
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
US10527885B2 (en) * 2018-04-03 2020-01-07 Facebook Technologies, Llc Display device with optical reflecting layer for reduction of screen door effect
CN108846853A (zh) * 2018-04-26 2018-11-20 武汉幻视智能科技有限公司 一种基于目标跟踪和姿态检测的教学行为分析方法及装置
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
KR20200018207A (ko) * 2018-08-10 2020-02-19 일렉트로닉 아트 아이엔씨. 반사들을 렌더링하는 시스템들 및 방법들
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
CN111198445B (zh) * 2018-11-16 2021-10-01 华为技术有限公司 一种分光偏振成像的设备和方法
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
CN109828315A (zh) * 2019-03-14 2019-05-31 华域视觉科技(上海)有限公司 基于红外线的路面监控系统及方法、汽车
US11676357B2 (en) * 2019-07-26 2023-06-13 Hewlett-Packard Development Company, L.P. Modification of projected structured light based on identified points within captured image
CN111275809B (zh) * 2020-01-14 2023-09-12 新疆初点信息科技有限公司 一种瓷砖的空间展示方法及系统
WO2021170791A1 (en) 2020-02-28 2021-09-02 Trinamix Gmbh Gesture recognition
WO2021224972A1 (ja) * 2020-05-07 2021-11-11 株式会社ソニー・インタラクティブエンタテインメント 中継サーバおよび配信画像生成方法
EP3944107A1 (en) * 2020-07-22 2022-01-26 Nokia Technologies Oy Apparatus, method and computer program for authenticating images
CN114527483B (zh) * 2022-01-06 2022-09-13 北京福通互联科技集团有限公司 一种主动式探测光电图像采集系统
WO2023139254A1 (en) * 2022-01-24 2023-07-27 Trinamix Gmbh Enhanced material detection by stereo beam profile analysis
CN117197143B (zh) * 2023-11-08 2024-02-02 深圳市聪讯智能科技有限公司 基于图像特征的环境亮度智能检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20070242857A1 (en) * 2006-04-13 2007-10-18 Canon Kabushiki Kaisha True/false determining apparatus, image forming apparatus, true/false determining method, and image forming method
US20080312866A1 (en) * 2003-09-11 2008-12-18 Katsunori Shimomura Three-dimensional measuring equipment
US20090279807A1 (en) * 2007-02-13 2009-11-12 Katsuhiro Kanamorl System, method and apparatus for image processing and image format
US20090295927A1 (en) * 2008-05-28 2009-12-03 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US20120147187A1 (en) * 2010-12-08 2012-06-14 Xue Li Vehicle detection device and vehicle detection method
US20130155417A1 (en) * 2010-08-19 2013-06-20 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
US20150042680A1 (en) * 2013-08-08 2015-02-12 Pebbles Ltd. Method and device for controlling a near eye display

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US6765608B1 (en) * 1999-03-09 2004-07-20 Minolta Co., Ltd. Image processing apparatus and system executing predetermined image processing on image data shot by camera, and image recording medium recorded with image processing program
JP3714063B2 (ja) * 1999-10-19 2005-11-09 富士ゼロックス株式会社 ３次元形状計測装置
JP2004523031A (ja) 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6947575B2 (en) 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7385708B2 (en) * 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US8224064B1 (en) 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
EP1983402A4 (en) 2006-02-03 2013-06-26 Panasonic Corp INPUT DEVICE AND ITS METHOD
US20090002342A1 (en) 2006-02-03 2009-01-01 Tomohiro Terada Information Processing Device
WO2008010024A1 (en) 2006-07-16 2008-01-24 Cherradi I Free fingers typing technology
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
US8350847B2 (en) * 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090189858A1 (en) 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
KR20100084718A (ko) * 2009-01-19 2010-07-28 삼성전자주식회사 3차원 이미지를 생성하는 휴대 단말기
TWI409502B (zh) 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
US20100268069A1 (en) * 2009-04-16 2010-10-21 Rongguang Liang Dental surface imaging using polarized fringe projection
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
CN102656543A (zh) 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
US20110080471A1 (en) 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
KR101404924B1 (ko) * 2009-12-25 2014-06-09 가부시키가이샤 리코 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
KR20120071551A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
KR101423536B1 (ko) 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US9518864B2 (en) 2011-12-15 2016-12-13 Facebook, Inc. Controllable optical sensing
JP5854815B2 (ja) * 2011-12-20 2016-02-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
CN102564589B (zh) * 2011-12-20 2013-07-24 华中科技大学 一种多波段动目标光谱特征探测识别方法和装置
KR20130099317A (ko) 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
JP2014137762A (ja) * 2013-01-18 2014-07-28 Sanyo Electric Co Ltd 物体検出装置
EP3017423A1 (en) * 2013-07-02 2016-05-11 Roche Diagnostics GmbH Estimation of food volume and carbs
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
EP3072032B1 (en) * 2013-11-21 2020-01-01 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting infrared light
JP6510213B2 (ja) * 2014-02-18 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システム、半導体集積回路、および画像補正方法
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9552074B2 (en) 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20080312866A1 (en) * 2003-09-11 2008-12-18 Katsunori Shimomura Three-dimensional measuring equipment
US20070242857A1 (en) * 2006-04-13 2007-10-18 Canon Kabushiki Kaisha True/false determining apparatus, image forming apparatus, true/false determining method, and image forming method
US20090279807A1 (en) * 2007-02-13 2009-11-12 Katsuhiro Kanamorl System, method and apparatus for image processing and image format
US20090295927A1 (en) * 2008-05-28 2009-12-03 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US20130155417A1 (en) * 2010-08-19 2013-06-20 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
US20120147187A1 (en) * 2010-12-08 2012-06-14 Xue Li Vehicle detection device and vehicle detection method
US20150042680A1 (en) * 2013-08-08 2015-02-12 Pebbles Ltd. Method and device for controlling a near eye display

Also Published As

Publication number Publication date
AU2016222716B2 (en) 2018-11-29
CA2977374A1 (en) 2016-09-01
MX2017011017A (es) 2017-10-20
US10049460B2 (en) 2018-08-14
AU2016222716A1 (en) 2017-09-07
CN107548502B (zh) 2021-02-09
KR20170124559A (ko) 2017-11-10
EP3123288A1 (en) 2017-02-01
JP2018508074A (ja) 2018-03-22
BR112017018121A2 (pt) 2018-04-10
CN107548502A (zh) 2018-01-05
WO2016138145A1 (en) 2016-09-01
CA2977374C (en) 2019-04-16
MX364878B (es) 2019-05-09
US20160253821A1 (en) 2016-09-01
IL254022A0 (en) 2017-10-31
EP3123288A4 (en) 2017-11-22
JP6554638B2 (ja) 2019-08-07
KR102129376B1 (ko) 2020-07-02
IL254022B (en) 2020-01-30

Similar Documents

Publication Publication Date Title
AU2016222716B2 (en) Identifying an object in a volume based on characteristics of light reflected by the object
US9911240B2 (en) Systems and method of interacting with a virtual object
CN107532885B (zh) 光图案中的强度变化用于体积中的物体的深度绘制
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
US8558873B2 (en) Use of wavefront coding to create a depth image
Klank et al. Transparent object detection and reconstruction on a mobile platform
US8264536B2 (en) Depth-sensitive imaging via polarization-state mapping
US20130127705A1 (en) Apparatus for touching projection of 3d images on infrared screen using single-infrared camera
US11710289B2 (en) Information processing apparatus, information processing system, and material identification method
US11182638B2 (en) Information processing device and material specifying method
CN107203743B (zh) 一种人脸深度跟踪装置及实现方法
JP2014067193A (ja) 画像処理装置および画像処理方法
Peng et al. Improved 3D lighting environment estimation for image forgery detection
CN106803284B (zh) 构建脸部的三维图像的方法及装置
KR20210030230A (ko) 증강현실을 위한 데이터 수집 장치
Hu et al. Face orientation estimation for driver monitoring with a single depth camera
KR20160023417A (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
KR101385373B1 (ko) 얼굴 검출 기반 손 제스처 인식 방법
WO2023156452A1 (en) System for identifying a subject
Mei et al. Compact low-power 3d imaging of simple planar scenes using parametric signal processing
WO2014017095A1 (en) Low cost, non-intrusive, high accuracy head tracking apparatus and method
Ahn et al. A Three-Dimensional Fingertip Interface

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right