KR102111821B1 - 구조화된 광 능동 심도 센싱 시스템들에서의 광원 전력의 동적 조절 - Google Patents

구조화된 광 능동 심도 센싱 시스템들에서의 광원 전력의 동적 조절 Download PDF

Info

Publication number
KR102111821B1
KR102111821B1 KR1020157011356A KR20157011356A KR102111821B1 KR 102111821 B1 KR102111821 B1 KR 102111821B1 KR 1020157011356 A KR1020157011356 A KR 1020157011356A KR 20157011356 A KR20157011356 A KR 20157011356A KR 102111821 B1 KR102111821 B1 KR 102111821B1
Authority
KR
South Korea
Prior art keywords
light source
captured image
source power
differences
codeword
Prior art date
Application number
KR1020157011356A
Other languages
English (en)
Other versions
KR20150082262A (ko
Inventor
후딧 마르티네스 바우사
칼린 미트코브 아타나소브
세르지우 라두 고마
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150082262A publication Critical patent/KR20150082262A/ko
Application granted granted Critical
Publication of KR102111821B1 publication Critical patent/KR102111821B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H04N5/353—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

구조화된 광을 이용하는 능동 심도 센싱을 수행할 때에 장면/객체에서 객체들의 상이한 반사율/흡수 계수들을 보상하는 방법 및 디바이스가 제공된다. 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 이미지를 캡처한다. 하나 이상의 파라미터들은 캡처된 이미지로부터 확인된다. 투영 광원에 대한 광원 전력은 후속하여 캡처된 이미지에서 코드 마스크의 디코딩을 개선시키기 위하여 하나 이상의 파라미터들에 따라 동적으로 조절된다. 다음으로, 장면에 대한 심도 정보는 코드 마스크에 기초한 캡처된 이미지에 기초하여 확인될 수도 있다. 하나의 예에서, 수신기 센서에 대한 노출 시간이 조절되는 동안, 광원 전력은 특정의 조명에서 고정된다. 또 다른 예에서, 광원 전력이 조절되는 동안, 수신기 센서에 대한 노출 시간은 고정된 값에서 유지/지속된다.

Description

구조화된 광 능동 심도 센싱 시스템들에서의 광원 전력의 동적 조절{DYNAMIC ADJUSTMENT OF LIGHT SOURCE POWER IN STRUCTURED LIGHT ACTIVE DEPTH SENSING SYSTEMS}
관련 출원들에 대한 교차 참조
이 출원은 2012 년 11 월 14 일자로 출원된 미국 가출원 제 61/726,387 호에 대한 35 U.S.C. §119(e) 의 이익 하에서의 우선권을 주장하고, 2012 년 12 월 21 일자로 출원된 미국 정규 출원 제 13/723,891 호에 대한 우선권을 주장하며, 그 내용들은 참조를 위해 본원에 명시적으로 편입된다.
다양한 특징들은 능동 심도 센싱 (active depth sensing) 에 관련되고, 더욱 구체적으로, 구조화된 광 (structured light) 을 이용하는 능동 심도 센싱 시스템을 수행할 때에 장면 (scene) 에서 객체 (object) 들의 상이한 반사율/흡수 계수 (reflectivity/absorption coefficient) 들을 보상하기 위한 기법들에 관련된다.
능동 센싱 (active sensing) 에서는, 알려진 패턴 (예를 들어, 코드 마스크 (code mask)) 가 "구조화된 광 (structured light)" 으로서 종종 지칭된 프로세스에서 장면 또는 객체를 조명 (illuminate) 하기 위하여 이용된다. 장면 또는 오브젝트 상에 투영된 패턴의 구조는 장면 또는 오브젝트에 대한 심도 정보를 인코딩한다. 일단 패턴이 수신된 이미지에서 발견되면, 3 차원 장면 또는 객체가 재구성될 수도 있다. 알려진 투영된 패턴 및 디코딩된 것 사이의 관계는 캡처된 장면 상의 심도 정보를 유도하기 위하여 이용될 수 있다.
수신기 / 카메라 센서는 장면 (예를 들어, 사람, 객체, 로케이션, 등) 상으로의 광원의 반사로부터 생기는 입사 광으로부터의 장면의 이미지를 캡처할 수도 있다. 입사 광의 세기 (intensity) 는 하기에 종속될 수도 있다: (a) 장면에서의 표면들의 반사도 (reflectance) 속성들, (b) 투영된 패턴을 생성하는 광의 전력 (power), 및/또는 (c) 주변 광 (ambient light). 카메라 센서 상의 입사 광이 너무 강할 경우, 그것은 센서를 포화시킨다. 그것이 너무 약할 경우, 카메라 센서는 장면의 반사율에 있어서의 변동들을 캡처하지 않는다. 심지어 장면 내에서는, 이미지에서 캡처되고 있는 표면들의 타입에 따라, 양자의 상황들 (예를 들어, 너무 강하고 너무 약한 캡처된 광) 이 동시에 발생할 수 있다. 입사 광의 강도 (strength) 에 대한 조절이 시스템에서 포함되지 않을 경우, 넓은 범위의 상황들 (상이한 주변 광들, 광원의 상이한 사전-설정된 (pre-set) 전력, 상이한 표면 타입들) 에 대한 투영된 패턴 (예를 들어, 코드 마스크) 의 조명에 있어서의 변동들을 캡처하는 것은 불가능하다.
결과적으로, 구조화된 광 시스템을 이용하는 장면의 심도 센싱을 수행할 때에 입사 광 세기에 있어서의 변동들을 보상하기 위한 해결책이 필요하다.
다음은 이러한 양태들의 기본적인 이해를 제공하기 위하여, 본 개시물의 하나 이상의 양태들의 간략화된 개요를 제시한다. 이 개요는 개시물의 모든 상상된 특징들의 철저한 개관은 아니고, 개시물의 모든 양태들의 핵심적인 또는 중요한 엘리먼트들을 식별하도록 의도된 것이 아니며, 개시물의 임의의 또는 모든 양태들의 범위를 묘사하도록 의도된 것도 아니다. 그 유일한 목적은 더 이후에 제시되는 더욱 상세한 설명에 대한 서두로서, 개시물의 하나 이상의 양태들의 일부의 개념들을 간략화된 형태로 제시하는 것이다.
구조화된 광을 이용하는 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스가 제공된다. 디바이스는 수신기 센서 및 프로세싱 회로를 포함할 수도 있다. 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 이미지를 캡처하도록 작용할 수도 있다. 프로세싱 회로는: (a) 캡처된 이미지로부터 하나 이상의 파라미터들을 확인하고; (b) 후속하여 캡처된 이미지에서 코드 마스크의 디코딩을 개선시키기 위하여, 하나 이상의 파라미터들에 따라 투영 광원에 대한 광원 전력을 동적으로 조절하고; 및/또는 (c) 코드 마스크에 기초하여 캡처된 이미지에서의 장면에 대한 심도 정보를 확인하도록 구성될 수도 있다.
하나의 예시적인 구현예들에서, 수신기 센서에 대한 노출 시간이 조절되는 동안, 광원 전력은 특정의 조명에서 고정된다. 또 다른 예시적인 구현예에서, 광원 전력이 조절되는 동안, 수신기 센서에 대한 노출 시간은 고정된 값에서 유지된다.
하나 이상의 파라미터들은 코드 마스크에 기초하여 상기 캡처된 이미지 내의 영역들에 상관될 수도 있다.
하나의 예에서, 투영 광원은 복수의 광 엘리먼트들을 포함할 수도 있고, 투영 광원에 대한 광원 전력을 동적으로 조절하는 것은 대응하는 하나 이상의 파라미터들에 기초하여 광 엘리먼트들의 각각에 대한 광원 전력을 개별적으로 제어하는 것을 포함한다. 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 새로운 이미지를 캡처하도록 추가로 구성될 수도 있고, 새로운 이미지는 개별적으로 조절된 복수의 광 엘리먼트들의 동작으로 인해 영역마다에 기초하여 광 보상된다.
수신기 센서는 복수의 개별적으로 제어된 센서 셔터들을 포함할 수도 있고, 프로세싱 회로는 수신기 센서에 의해 캡처된 광을 조절하기 위하여 대응하는 대응하는 하나 이상의 파라미터들에 기초하여 복수의 센서 셔터들을 개별적으로 제어하도록 추가로 구성될 수도 있다. 센서 셔터들은 하나 이상의 파라미터들에 의해 표시된 바와 같은 주어진 영역에서 너무 많거나 너무 적은 광을 보상하기 위하여 센서 셔터들을 통과하는 광을 감소시키거나 또는 증가시키도록 제어될 수도 있다.
수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 새로운 이미지를 캡처하도록 추가로 구성될 수도 있고, 새로운 이미지는 개별적으로 조절된 복수의 센서 셔터들의 동작으로 인해 영역마다에 기초하여 광 보상된다.
구조화된 광을 이용하는 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법이 또한 제공된다. 예를 들어, 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 이미지를 캡처할 수도 있다. 다음으로, 프로세싱 회로는 캡처된 이미지로부터 하나 이상의 파라미터들을 확인할 수도 있다. 다음으로, 투영 광원에 대한 광원 전력은 후속하여 캡처된 이미지에서 코드 마스크의 디코딩을 개선시키기 위하여 하나 이상의 파라미터들에 따라 동적으로 조절된다. 장면에 대한 심도 정보는 코드 마스크에 기초하여 캡처된 이미지에서 확인될 수도 있다.
개시물의 이러한 그리고 다른 샘플 양태들은 뒤따르는 상세한 설명 및 첨부한 도면들에서 설명될 것이다.
도 1 은 3 차원 (3D) 장면이 2 차원 (2D) 이미지들 또는 정보로부터 구성되는 능동 센싱을 위한 시스템을 예시한다.
도 2 는, 장면 또는 객체를 조명하기 위하여, 그리고 2 차원 이미지들 및/또는 정보로부터 3 차원 정보를 생성하는 심도 정보를 얻기 위하여 알려진 패턴이 이용되는 능동 센싱을 예시한다.
도 3 은 심도가 객체 또는 장면에 대해 어떻게 센싱될 수도 있는지를 예시한다.
도 4 는 3 개의 그레이-스케일 (gray-scale) 레벨들 (예를 들어, 흑색, 백색, 및 회색) 을 이용하는 예시적인 코드 마스크 (400) 를 예시한다.
도 5 는 구조화된 광을 이용하는 능동 심도 센싱 시스템에서 수신기 센서에 의해 수신된 광 에너지를 조절하기 위한 적어도 2 개의 방법들을 예시한다.
도 6 은 구조화된 광을 이용하는 능동 심도 센싱 시스템에서 수신기 센서에 의해 수신된 광 에너지를 조절하기 위한 적어도 2 개의 방법들을 예시한다.
도 7 은 구조화된 광을 이용하는 능동 심도 센싱 시스템에서 수신기 센서에 의해 수신된 광 에너지를 조절하기 위한 또 다른 방법을 예시한다.
도 8 은 캡처되고 있는 장면에서 객체들의 표면들의 상이한 반사율/흡수 계수들을 동적으로 조절하는 구조화된 광을 이용하는 예시적인 심도 센싱 시스템을 예시한다.
도 9 는 2 진 코드워드 (binary codeword) 가 형상 변조된 캐리어 (shape modulated carrier) 내에서 어떻게 표현될 수도 있는지를 예시한다.
도 10 은 캐리어층 및 코드층을 이용하는 코드 마이크로구조 (code microstructure) 의 추가의 세부사항들을 예시한다.
다음의 설명에서는, 실시형태들의 철저한 이해를 제공하기 위하여 특정 세부사항들이 주어진다. 그러나, 실시형태들은 이 특정 세부사항 없이 실시될 수도 있다는 것이 당해 분야의 당업자에 의해 이해될 것이다. 예를 들어, 회로들은 불필요하게 상세하게 실시형태들을 모호하게 하는 것을 회피하기 위하여 블록도들로 도시될 수도 있다. 다른 사례들에서는, 실시형태들을 모호하게 하지 않기 위하여, 잘 알려진 회로들, 구조들 및 기법들이 상세하게 도시되지 않을 수도 있다.
단어 "예시적" 은 "예, 사례, 또는 예시로서 작용함" 을 의미하기 위하여 본원에서 이용된다. "예시적" 으로서 본원에서 설명된 임의의 구현예 또는 실시형태는 다른 실시형태들에 비해 바람직하거나 유익한 것으로 반드시 해석되어야 하는 것은 아니다. 마찬가지로, 용어 "실시형태들" 은 모든 실시형태들이 논의된 특징, 장점 또는 동작 모드를 포함하는 것을 요구하지 않는다.
개요
구조화된 광을 이용하는 능동 심도 센싱을 수행할 때에 장면에서 객체들의 상이한 반사율/흡수 계수들을 보상하기 위한 기법들이 제공된다. 캡처되고 있는 장면에서의 객체들의 반사율/흡수에 있어서의 변동들을 동적으로 조절하고 이를 보상하는 다양한 특징들이 제공된다.
제 1 특징은 코드 마스크가 그 위로 투영되는 장면의 이미지를 캡처하는 수신기 센서를 제공한다. 하나 이상의 파라미터들은 캡처된 이미지로부터 확인된다. 다음으로, 투영 광원에 대한 광원 전력은 후속하여 캡처된 이미지에서 코드 마스크의 디코딩을 개선시키기 위하여 하나 이상의 파라미터들에 따라 동적으로 조절된다. 다음으로, 장면에 대한 심도 정보는 코드 마스크에 기초한 캡처된 이미지에 기초하여 확인될 수도 있다. 하나의 예에서, 수신기 센서에 대한 노출 시간이 조절되는 동안, 광원 전력은 특정의 조명에서 고정된다. 또 다른 예에서, 광원 전력이 조절되는 동안, 수신기 센서에 대한 노출 시간은 고정된 값에서 유지/지속된다.
제 2 특징은 코드 마스크가 그 위로 투영되는 장면의 복수의 이미지들을 2 개 이상의 (상이한) 노출 시간들에서 캡처하는 수신기 센서를 제공한다. 합성된 이미지를 생성하기 위하여 각각의 이미지로부터 코드 마스크의 디코딩가능한 부분들을 추출함으로써, 복수의 이미지들 중의 2 개 이상이 합성된다. 다음으로, 장면에 대한 심도 정보는 합성된 이미지에 기초하여, 그리고 코드 마스크를 이용하여 확인될 수도 있다.
제 3 특징은 장면 또는 객체를 캡처하기 위하여 각각 상이한 노출 시간에서 2 개의 수신기 센서들을 이용하는 것을 제공한다. 제 1 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 제 1 이미지를 제 1 노출 시간에서 캡처한다. 제 2 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 제 2 이미지를 제 2 노출 시간에서 캡처한다. 다음으로, 합성된 이미지를 생성하기 위하여 각각의 이미지로부터 코드 마스크의 디코딩가능한 부분들을 추출함으로써, 제 1 및 제 2 이미지들이 합성된다. 다음으로, 장면에 대한 심도 정보는 합성된 이미지에 기초하여, 그리고 코드 마스크를 이용하여 확인될 수도 있다.
능동 심도 센싱
도 1 은 3 차원 (3D) 장면이 2 차원 (2D) 이미지들 또는 정보로부터 구성되는 능동 센싱을 위한 시스템을 예시한다. 구조화된 광을 이용하는 능동 심도 센싱 시스템을 수행할 때에 장면에서 객체들의 상이한 반사율/흡수 계수들을 보상하기 위한 하나 이상의 특징들. 인코더 / 형상 변조기 (100) 는 송신 채널 (104) 을 통해 송신기 디바이스 (102) 에 의해 그 때에 투영되는 코드 마스크를 생성하도록 작용할 수도 있다. 코드 마스크는 타겟 (예를 들어, 장면 또는 객체) 상으로 투영될 수도 있고, 반사된 광은 이미지 (예를 들어, 코드 마스크 이미지) 로서 수신기 센서 (105) 에 의해 캡처된다. 이 수신된 이미지는 타겟의 3 차원 버전 (110a 내지 110e) 을 제시, 생성, 및/또는 제공하기 위하여 디코딩 (106) 되고 이용될 수도 있다. 능동 센싱은 타겟 상으로 투영되고 있는 코드 마스크로부터 모든 공간적 코드들 (즉, 코드워드들) 을 인식할 수 있는 것에 의존한다. 본원에서 설명된 다양한 특징들 및 양태들은 본원에서 예시된 시스템 및 디바이스 (들) 의 일부로서 구현될 수도 있다.
도 2 는, 장면 또는 객체를 조명하기 위하여, 그리고 2 차원 이미지들 및/또는 정보로부터 3 차원 정보를 생성하는 심도 정보를 얻기 위하여 알려진 패턴이 이용되는 능동 센싱을 예시한다. 여기서, 송신기 (202) 는 코드워드들을 객체 또는 장면 (206) 상에서 투영하기 위하여 코드 마스크 (204) (예를 들어, 코드들을 갖는 이미지) 를 통해 광 필드를 투영한다. 수신기 (208) (예를 들어, 카메라 센서) 는 투영된 코드 마스크 (210) 및 그 내부의 코드워드들을 캡처한다. 이 예는 코드 마스크 (204) 의 섹션/부분/윈도우 (212) 가 객체 또는 장면 (206) 의 표면 (예를 들어, 투영된 섹션/부분/윈도우 (216)) 상으로 (섹션/부분/윈도우 (214) 로서) 어떻게 투영되는지를 예시한다. 다음으로, 투영된 섹션/부분/윈도우 (216) 는 수신기 (108) 에 의해 캡처된 세그먼트 (218) 로서 캡처될 수도 있다. 섹션/부분/윈도우 (212) 는 고유하게 식별될 수도 있는 코드워드로서 이용될 수도 있다. 따라서, 장면 또는 객체 (206) 를 이러한 방식으로 고유한 코드워드들로 커버함으로써, 장면 또는 객체 (206) 의 섹션들/부분들은 식별/태그 (identify/tag) 될 수도 있고, 이 정보는 심도 센싱을 위해 이용될 수도 있다.
수신기 (208) (카메라 센서) 에 의해 캡처된 이미지로부터, 다수의 세그먼트들이 장면 또는 객체 (206) 상에서 식별될 수도 있다. 각각의 세그먼트 (218) 는 수신기 (108) 에서 고유하게 식별가능할 수도 있고, 다른 세그먼트들에 관련된 그 로케이션은 코딩된 마스크 (204) 의 알려진 패턴으로부터 확인될 수도 있다. 각각의 세그먼트/부분/윈도우로부터의 코드의 식별은 (예를 들어, 왜곡을 다루기 위한) 패턴 세그먼트화 (pattern segmentation) 및 인지된 세그먼트/부분/윈도우의 대응하는 코드 (들) 로의 디코딩을 포함할 수도 있다. 추가적으로, 삼각 측량 (triangulation) 은 배향 및/또는 심도를 확인하기 위하여 각각의 캡처된 세그먼트/부분/윈도우 상에 적용될 수도 있다. 다수의 이러한 세그먼트들/부분들/윈도우들은 캡처된 이미지 패턴을 함께 봉합하기 위하여 합성될 수도 있다. 이러한 방식으로, 심도 맵 (207) 은 장면, 타겟, 또는 객체 (206) 에 대해 생성될 수도 있다.
도 3 은 심도가 객체 또는 장면에 대해 어떻게 센싱될 수도 있는지를 예시한다. 여기서, 송신기 (302) 는 수신기 (304) 와 동일한 기선 기준 평면 (baseline reference plane) 상에 있다. 송신기는 개구부 (aperture) 또는 렌즈를 통해 코드 마스크 (310) 를 장면 또는 객체 상으로 투영한다. 여기서, 예시의 목적들을 위하여, (코드워드를 나타내는) 투영된 세그먼트/부분/윈도우 (312) 는 송신된 코드 마스크 (310) 의 일부로서 도시되어 있다. 이 코드 세그먼트/부분/윈도우 (312) 는 제 1 거리에 또는 제 2 거리에 있는 장면 또는 객체 (306) 상에서 투영될 수도 있다. 수신기 (304) 는 수신기 개구부를 통해 투영된 코드 마스크 (310) 를 캡처한다. 장면 또는 객체 (306) 가 더 근접하게 위치될 때 (예를 들어, 송신기로부터의 제 1 거리), 투영된 세그먼트 (312) 는 그 초기 로케이션으로부터 거리 d1 에 있는 것으로 보인다는 것이 인식될 수 있다. 한편, 장면 또는 객체 (308) 가 더 떨어져서 위치될 때 (예를 들어, 송신기로부터의 제 2 거리), 투영된 세그먼트/부분/윈도우 (312) 는 그 초기 로케이션으로부터 거리 d2 에 있는 것으로 보인다 (여기서, d2 < d1). 즉, 객체가 송신기/수신기 (예를 들어, 장면 또는 객체 (308) 까지의 송신기 (302)) 로부터 더욱 떨어질수록, 수신된 투영된 세그먼트/부분/윈도우는 수신기에서 그 원래의 위치로부터 더욱 근접해 있다 (예를 들어, 나가는 투영 및 들어오는 투영이 더욱 평행하다). 반대로, 객체가 송신기/수신기 (예를 들어, 장면 또는 객체 (306) 까지의 송신기 (302)) 로부터 더욱 근접할수록, 수신된 투영된 세그먼트/부분/윈도우는 수신기에서 그 원래의 위치로부터 더욱 멀다. 따라서, 수신된 및 송신된 코드워드 위치 사이의 차이는 장면 또는 객체의 심도를 제공한다. 하나의 예에서, 이러한 심도 (예를 들어, 상대적 심도) 는 각각의 픽셀 또는 그룹화된 픽셀들의 서브세트 (예를 들어, 2 개 이상의 픽셀들의 영역들) 에 대한 심도를 제공할 수도 있다.
변조 및 코딩 방식들의 다양한 타입들은 코드 마스크를 생성하기 위하여 구상되었다. 이 변조 및 코딩 방식들은 시간적 코딩, 공간적 코딩, 및 직접 코드화를 포함한다.
도 4 는 3 개의 그레이-스케일 (gray-scale) 레벨들 (예를 들어, 흑색, 백색, 및 회색) 을 이용하는 예시적인 코드 마스크 (400) 를 예시한다. 이 예에서, 흑색은 보호 구간을 위해 이용되고, 백색/회색은 코드/기준 스트라이프 (stripe) 들을 위해 이용된다.
수신기 센서 (208) (예를 들어, 카메라) 로 얻어진 이미지는 장면 상으로의 광원의 반사로부터 생기는 입사 광에 의해 형성된다. 입사 광의 세기는 하기에 종속될 수도 있다: (a) 장면에서의 표면들의 반사도 속성들, (b) 투영된 패턴을 생성하는 광의 전력, 및/또는 (c) 주변 광. 카메라 센서 상의 입사 광이 너무 강할 경우, 그것은 센서를 포화시킨다. 그것이 너무 약할 경우, 수신기 (208) (예를 들어, 카메라 센서) 는 장면의 반사율에 있어서의 변동들을 캡처하지 않는다. 심지어 장면 내에서는, 이미지에서 캡처되고 있는 표면들의 타입에 따라, 양자의 상황들 (예를 들어, 너무 강하고 너무 약한 캡처된 광) 이 동시에 발생할 수 있다. 입사 광의 강도에 대한 조절이 시스템에서 포함되지 않을 경우, 넓은 범위의 상황들 (상이한 주변 광들, 광원의 상이한 사전-설정된 전력, 상이한 표면 타입들) 에 대한 투영된 패턴 (예를 들어, 코드 마스크) 의 조명에 있어서의 변동들을 캡처하는 것은 어렵다.
수신된 광 에너지가 (a) 카메라 센서 노출 시간, 및/또는 (b) 투영된 광원 전력에 기초하여 조절될 수도 있는 다양한 해결책들이 제공된다. 하나 이상의 파라미터들은 사전-설정된 또는 어떤 범위의 노출 시간들 (예를 들어, 셔터 시간들) 에서 얻어진 하나 이상의 캡처된 이미지들 및/또는 투영된 광원 전력들 (예를 들어, 조명 강도) 로부터 측정된다 (예를 들어, 픽셀 포화, 디코딩될 수 없는 픽셀들, 픽셀 조명 평균, 분산, 및/또는 엔트로피, 등). 다음으로, 노출 시간 및/또는 투영된 광원 전력은 장면에 대한 추가적인 이미지를 캡처하기 위하여 하나 이상의 파라미터들 캡처에 기초하여 조절된다.
제 1 예시적인 해결책 - 수신된 광 에너지 조절
제 1 예시적인 해결책에 따르면, 수신기/카메라 센서에 의해 수신된 광 에너지는 획득된 이미지로부터 측정된 어떤 파라미터들에 따라 제어된다.
도 5 는 구조화된 광을 이용하는 능동 심도 센싱 시스템에서 수신기 센서에 의해 수신된 광 에너지를 조절하기 위한 적어도 2 개의 방법들을 예시한다. 이 방법들은 예를 들어, 도 2 및/또는 도 8 의 능동 센싱 시스템들의 하나 이상의 컴포넌트들에서 구현될 수도 있다.
제 1 방법 (방법 A) 에 따르면, 수신기 센서 (카메라) 의 노출 시간은 능동 심도 센싱을 위해 이용된 이미지에서의 과다-노출 (over-exposure) 및/또는 과소-노출 (under-exposure) 을 보상하기 위하여 조절된다. 이 접근법에서, 광원 전력이 고정적으로 지속되는 동안, 수신기 센서에 대한 노출 시간은 조절된다.
사전-정의된 노출 시간은 수신기 센서에 대해 얻어진다 (502a). 다음으로, 투영 광원은 코드 마스크의 적어도 부분을 캡처되어야 할 장면 (예를 들어 타겟) 상으로 투영한다 (504a). 다음으로, 사전-정의된 노출 시간에서, 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 이미지를 캡처한다 (506a).
다음으로, 하나 이상의 파라미터들은 캡처된 이미지로부터 확인될 수도 있다 (508). 예를 들어, 파라미터들은 (a) 정보 관련 통계들, 즉, 픽셀 조명 평균, 분산, 엔트로피, (b) 수신기 센서에서의 포화된 픽셀들의 수, 및/또는 (c) 투영된 코드 마스크가 디코딩될 수 없었던 픽셀들의 수를 포함할 수도 있다.
다음으로, 센서 수신기에 대한 노출 시간은 하나 이상의 파라미터들에 따라 증가되거나 감소될 수도 있다 (510a). 즉, 하나 이상의 파라미터들이 수신기 센서 픽셀들의 과다-포화 (over-saturation) 를 표시할 경우, 광원 전력은 감소된다. 이와 다르게, 하나 이상의 파라미터들이 수신기 센서 픽셀들의 과소-노출 (under-exposure) 을 표시할 경우에는, 광원 전력이 증가된다.
투영 광원은 (예를 들어, 그 원래의 광원 전력에서) 코드 마스크의 적어도 부분을 캡처되어야 할 장면 상으로 다시 투영하거나, 투영하는 것을 계속한다 (512a). 수신기 센서는 지금부터 조절된 노출 시간에서, 코드 마스크가 그 위로 투영되는 장면의 새로운 이미지를 캡처한다 (514a). 다음으로, 장면에 대한 심도 정보는 새로운 이미지에서의 코드 마스크로부터 확인될 수도 있다 (516).
제 2 방법 (방법 B) 에 따르면, (코드 마스크의) 투영기에 대한 광원 전력은 능동 심도 센싱을 위해 이용된 이미지에서의 과소-라이팅 (under-lighting) 및/또는 과다-라이팅 (over-lighting) 을 보상하기 위하여 조절된다. 이 접근법에서, 광원 전력이 조절되는 동안, 수신기 센서에 대한 노출 시간은 고정적으로 지속된다.
사전-정의된 광원 전력은 광원에 대해 얻어진다 (502b). 다음으로, 투영 광원은 코드 마스크의 적어도 부분을 캡처되어야 할 장면 상으로 투영한다 (504b). 다음으로, 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 이미지를 캡처한다 (506b).
다음으로, 하나 이상의 파라미터들은 캡처된 이미지로부터 확인될 수도 있다 (508). 예를 들어, 파라미터들은 (a) 정보 관련 통계들, 즉, 평균, 분산, 엔트로피, (b) 수신기 센서에서의 포화된 픽셀들의 수, 및/또는 (c) 투영된 코드 마스크가 디코딩될 수 없었던 픽셀들의 수를 포함할 수도 있다.
다음으로, 광원 전력은 하나 이상의 파라미터들에 따라 조절 (예를 들어, 증가 또는 감소) 될 수도 있다 (510b). 즉, 하나 이상의 파라미터들이 수신기 센서 픽셀들의 과다-포화를 표시할 경우, 광원 전력은 감소된다. 이와 다르게, 하나 이상의 파라미터들이 수신기 센서 픽셀들의 과소-노출을 표시할 경우에는, 광원 전력이 증가된다.
투영 광원은 코드 마스크의 적어도 부분을 캡처되어야 할 장면 상으로 투영할 수도 있다 (512b). 다음으로, 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 새로운 이미지를 캡처한다 (514b). 다음으로, 장면에 대한 심도 정보는 새로운 이미지에서의 코드 마스크로부터 확인될 수도 있다 (516).
다양한 구현예들에 따르면, 수신기 센서 노출 시간 및/또는 광원 전력은 단독으로 또는 조합하여 조절될 수도 있다. 예를 들어, 수신기 센서의 포화된 픽셀들의 수가 어떤 임계치를 초과할 경우, 수신기 센서의 노출 시간이 감소되거나 광원의 전력이 감소된다. 또 다른 예에서, 캡처된 이미지에서의 코드 마스크에서 측정된 흑색 코드들의 수가 어떤 임계치를 초과할 경우, 수신기 센서의 노출 시간이 증가되고, 및/또는 광원의 전력이 증가된다.
대안적인 접근법에 따르면, 하나 이상의 파라미터들은 하나를 초과하는 이미지 상에서 얻어질 수도 있다 (예를 들어, 다수의 수신기 센서들에 의해 동시에 획득되거나, 동일한 수신기 센서에 의해 몇몇 사례들에서 획득됨). 하나의 예에서, 상이한 노출 시간들은 복수의 상이한 수신기 센서들 (예를 들어, 카메라들) 상에서 이용될 수도 있다.
또 다른 대안적인 접근법에 따르면, '포화된 영역들' 또는 '흑색 영역들' 은 캡처된 이미지들에 걸쳐 추적될 수도 있고, 하나 이상의 파라미터들의 측정을 위하여 이 영역들을 이용하기만 할 수도 있다. 이 변동은 그것이 파라미터들이 얻어지는 영역들을 감소시킨다는 점에서 일부의 연산적인 장점들을 제공할 수도 있다.
일부의 구현예들에서, 수신기 디바이스는 도 5 에서 예시된 방법 (들) 을 수행하기 위하여 수신기 센서 및 투영 광원에 결합될 수도 있다. 이러한 구현예들에서, 수신기 디바이스는 캡처된 이미지로부터 하나 이상의 파라미터들을 확인할 수도 있다. 다음으로, 그것은 투영 광원에 대한 광원 전력로 하여금 후속하여 캡처된 이미지에서 코드 마스크의 디코딩을 개선시키기 위하여 동적으로 조절되게 할 수도 있다.
제 2 예시적인 해결책 - 수신된 동적 범위 조절
제 2 예시적인 해결책에 따르면, 수신기/카메라 센서에 의해 수신된 광 에너지는 상이한 노출 시간들에서의 획득된 이미지로부터 측정되고 합성된 어떤 파라미터들에 기초하여 제어된다.
도 6 은 구조화된 광을 이용하는 능동 심도 센싱 시스템에서 수신기 센서에 의해 수신된 광 에너지를 조절하기 위한 적어도 2 개의 방법들을 예시한다. 이 방법들은 예를 들어, 도 2 및/또는 도 8 의 능동 센싱 시스템들의 하나 이상의 컴포넌트들에서 구현될 수도 있다. 이 방법들은 도 5 에서 예시된 것들과 유사하지만, 복수의 이미지들은 상이한 노출 시간들 및/또는 광원 전력들에서 초기에 캡처된다. 복수의 이미지들 중의 2 개 이상으로부터의 부분들은 높은 동적 범위 (high dynamic range; HDR) 알고리즘에 따라 합성될 수도 있다. 합성된 이미지는 투영된 코드 마스크에서의 코드워드들이 그로부터 인지될 수 있는 (예를 들어, 코드 마스크에서의 패턴들이 그로부터 인식될 수 있는) 복수의 이미지들 중의 2 개 이상의 부분들을 추출할 수도 있다.
제 3 방법 (방법 C) 에 따르면, 하나 이상의 수신기 센서 (들) 의 노출 시간들은 능동 심도 센싱을 위해 이용된 이미지에서의 과다-노출 및/또는 과소-노출을 보상하기 위하여 조절된다. 이 접근법에서, 광원 전력이 고정적으로 지속되는 동안에는, 수신기 센서 (들) 에 대한 노출 시간들이 조절된다.
복수의 사전-정의된 노출 시간들은 수신기 센서 (들) 에 대해 얻어진다 (602a). 다음으로, 투영 광원은 코드 마스크의 적어도 부분을 캡처되어야 할 장면 상으로 투영한다 (604a). 다음으로, 사전-정의된 노출 시간에서, 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 복수의 이미지들 (예를 들어, 각각의 사전-정의된 노출 시간에 대해 하나) 을 캡처한다 (606a).
다음으로, 하나 이상의 파라미터들은 캡처된 이미지들의 각각에 대해 확인될 수도 있다 (608). 예를 들어, 파라미터들은 (a) 정보 관련 통계들, 즉, 평균, 분산, 엔트로피, (b) 수신기 센서에서의 포화된 픽셀들의 수, 및/또는 (c) 투영된 코드 마스크가 디코딩될 수 없었던 픽셀들의 수를 포함할 수도 있다.
높은 동적 범위 (High Dynamic Range) 알고리즘에 관여된 이미지들의 세트의 획득을 위한 수신기 센서 설정들은 하나 이상의 파라미터들에 기초하여 동적으로 변경될 수도 있다. 예를 들어, 각각의 이미지 획득을 위해 이용된 수신 센서 (들) 중의 하나 이상의 노출 시간들은 측정된 파라미터들에 따라 선택적으로 조절될 수도 있다 (612a). 다음으로, 캡처된 이미지들의 2 개 이상은 각각의 이미지로부터 코드 마스크의 디코딩가능한 부분들을 추출함으로써 (예를 들어, HDR 알고리즘에 따라) 합성될 수도 있다 (614). 장면에 대한 심도 정보는 합성된 이미지에서의 코드 마스크로부터 확인될 수도 있다 (616).
상이한 반사율/흡수 계수들의 객체 표면들을 포함하는 장면에서는, 상이한 노출 시간들에서 취해진 이미지들의 합성이, 그러나 수신기 센서에 대한 상이한 노출 시간들에서 이 객체들을 적당하게 캡처하도록 작용할 수도 있다. 예를 들어, 제 1 노출 시간에서 취해진 제 1 이미지는 장면의 일부의 객체들 상에서 투영된 코드 마스크를 적당하게 캡처할 수도 있지만, 동일한 장면의 다른 객체들 상에서 투영된 코드 마스크를 적당하게 캡처하지 못할 수도 있다. 제 2 노출 시간에서 수신기 센서 (또는 상이한 수신기 센서) 에 의해 취해진 제 2 이미지는 동일한 장면의 다른 객체들 상에서 투영된 코드 마스크를 적당하게 캡처할 수도 있다. 그러므로, 상이한 노출 시간들에서 취해진 2 개 이상의 이미지들의 부분들을 합성함으로써, 2 개 이상의 이미지들로부터 취해진 코드 마스크의 디코딩가능한 부분들로 이루어진 합성된 이미지가 얻어질 수도 있다.
제 4 방법 (방법 D) 에 따르면, 하나 이상의 수신기 센서 (들) (카메라) 의 광원 전력 제어는 능동 심도 센싱을 위해 이용된 이미지에서의 과다-노출 및/또는 과소-노출을 보상하기 위하여 조절된다. 이 접근법은 방법 C 와 대부분 동일하지만, 단계 (612b) 에서는, 광원 전력이 하나 이상의 파라미터들에 따라 (노출 시간들 대신에) 조절된다.
제 3 예시적인 해결책 - 선택적인 광원 전력 조절
제 3 예시적인 해결책에 따르면, 광원 전력은 장면에서의 표면들의 변동되는 반사율/흡수 계수들에 적응시키기 위하여 상이한 영역들에 걸쳐 국소적으로/선택적으로 제어된다. 즉, 광원은 장면의 상이한 영역들이 장면에서의 표면들의 반사율/흡수에 따라 상이하게 조명될 수도 있도록 독립적으로 제어될 수 있는 복수의 광 엘리먼트들을 포함할 수도 있다. 결과적으로, 장면의 각각의 영역에서의 광 세기는 장면의 각각의 이러한 영역에서의 객체들의 표면들의 반사율/흡수 계수들에 따라 조절될 수도 있다.
도 7 은 구조화된 광을 이용하는 능동 심도 센싱 시스템에서 수신기 센서에 의해 수신된 광 에너지를 조절하기 위한 또 다른 방법을 예시한다. 이 방법은 예를 들어, 도 2 및/또는 도 8 의 능동 센싱 시스템들의 하나 이상의 컴포넌트들에서 구현될 수도 있다. 제 1 예 (방법 E) 는 투영 광원이 그 세기가 개별적으로 제어될 수 있는 복수의 광 엘리먼트들 (예를 들어, 행렬 구성, 등으로 배열된 발광 다이오드들) 로 이루어지는 것으로 가정한다. 제 2 예 (방법 F) 는 복수의 수신기 센서 셔터들이 각각의 대응하는 수신기 센서가 수신하는 광의 양을 조절하기 위하여 개별적으로 제어될 수 있는 것으로 가정한다.
투영 광원에 대한 균일한 (사전-정의된) 광원 전력이 얻어진다 (702). 제 1 예시적인 방법 (방법 E) 에 따르면, 투영 광원은 복수의 광 엘리먼트들을 포함하고, 균일한 광원 전력을 이용하여 캡처되어야 할 장면 상으로 코드 마스크의 적어도 부분을 투영한다 (704a). 제 2 예시적인 방법 (방법 F) 에 따르면, 투영 광원은 균일한 광원 전력을 이용하여 캡처되어야 할 장면 상으로 코드 마스크의 적어도 부분을 투영한다 (704b). 다음으로, 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 이미지를 캡처한다 (706).
다음으로, 하나 이상의 파라미터들은 캡처된 이미지 내의 복수의 영역들의 각각에 대해 확인될 수도 있다 (708). 이러한 영역들은 단일 광 엘리먼트 또는 광 엘리먼트들의 서브세트에 의해 커버된 구역에 대응할 수도 있다. 이러한 광 엘리먼트들은 매우 평행화된 광 빔들을 제공할 수도 있어서, 예를 들어, 광 엘리먼트들 사이에 최소의 크로스-오버 (cross-over) 가 있다. 파라미터들은 (a) 정보 관련 통계들, 즉, 평균, 분산, 엔트로피, (b) 수신기 센서에서의 포화된 픽셀들의 수, 및/또는 (c) 투영된 코드 마스크가 디코딩될 수 없었던 픽셀들의 수를 포함할 수도 있다.
제 1 예 (방법 E) 에 따르면, 다음으로, 광원 전력의 각각의 엘리먼트는 대응하는 하나 이상의 파라미터들에 기초하여 개별적으로 조절/제어 (예를 들어, 증가 또는 감소) 될 수도 있다 (710a). 즉, 하나 이상의 파라미터들이 제 1 영역에 대응하는 수신기 센서 픽셀들의 과다-포화를 표시할 경우, 대응하는 광 엘리먼트에 대한 광원 전력은 감소된다. 마찬가지로, 하나 이상의 파라미터들이 제 2 영역에 대한 수신기 센서 픽셀들의 과소-노출을 표시할 경우에는, 대응하는 광 엘리먼트에 대한 광원 전력이 증가된다. 각각의 광 엘리먼트 전력을 개별적으로 조절/제어한 후, 코드 마스크는 투영 광원에 의해 다시 투영될 수도 있다 (712a).
대안적인 제 2 예 (방법 F) 에 따르면, 코드 마스크의 적어도 부분은 균일한 광원 전력에서의 투영 광원을 이용하여 캡처되어야 할 장면의 복수의 상이한 영역들 상으로 투영될 수도 있다 (710b). 복수의 수신기 센서 셔터들은 수신기 센서에 의해 캡처된 광을 조절하기 위하여 대응하는 하나 이상의 파라미터들에 기초하여 개별적으로 제어될 수도 있다 (712b). 이것은 복수의 영역들의 각각에 대한 수신기 센서 (들) 에 의해 캡처된 변동되는 광의 양을 허용할 수도 있다.
다음으로, 수신기 센서는 코드 마스크가 그 위로 투영되는 장면의 새로운 이미지를 캡처할 수도 있다 (714). 다음으로, 심도 정보는 새로운 이미지에서의 코드 마스크로부터 장면에 대해 확인될 수도 있다 (716).
이 접근법들은 매우 상이한 반사도 재료들이 동일한 재료의 일부인 경우에 대한 입사 광의 강도에 있어서의 변동들까지 조절한다. 방법 E 에서는, 투영 광원의 각각의 광 엘리먼트의 세기/전력이 개별적으로 제어되므로, 장면의 개별적인 영역들은 상이한 광 세기들에서 동시에 조명될 수 있다. 이것은 투영된 광의 조절 (및 전력 소비) 에 있어서의 더 양호한 세분화도 (granularity) 를 장면의 특별한 요건들에 제공한다. HDR 은 몇몇 이미지들을 합성할 필요 없이 달성될 수도 있으며; 결과적으로 더 높은 프레임 레이트들이 가능하다. 유사하게, 투영된 광 전력/세기를 조절하는 것이 아니라, 방법 F 에서는, 수신기 센서 (들) 에 의해 수신된 광의 양이 복수의 수신기 셔터들을 개별적으로 제어함으로써 조절될 수도 있다. 이것은 일부의 영역들에서 수신된 광의 양을 감소시키는 것, 및/또는 다른 영역들에서 수신된 광의 양을 증가시키는 것을 허용한다.
예시적인 심도 센싱 시스템
도 8 은 캡처되고 있는 장면에서 객체들의 표면들의 상이한 반사율/흡수 계수들을 동적으로 조절하는 구조화된 광을 이용하는 예시적인 심도 센싱 시스템 (800) 을 예시한다. 코드 마스크 투영 디바이스 (808) 는 (예를 들어, 광원을 이용하여) 코드 마스크를 관심대상 장면 (802) 상으로 투영하도록 작용할 수도 있다. 수신기 센서 (806) (예를 들어, 카메라) 는 장면 (802) 에 의해 반사된 바와 같은 코드 마스크의 적어도 부분을 포함하는 이미지를 얻기 위하여 장면 (802) 상으로의 광원의 반사로부터 생기는 입사 광을 캡처한다. 능동 심도 센싱 디바이스 (804) 는 광 투영 디바이스 (광원) (808) 및/또는 수신기 센서 (806) 에 결합될 수도 있고, 수신기 센서 (806) 에 대한 노출 시간 및/또는 투영 디바이스 (808) 에 대한 광원 전력을 동적으로 조절하도록 구성될 수도 있다. 능동 심도 센싱 디바이스 (804) 는 프로세싱 회로 (805) 및/또는 저장 디바이스 (809) 를 포함할 수도 있다. 프로세싱 회로 (805) 는 파라미터 연산 모듈/회로 (810), 노출 시간 조절 모듈/회로 (812), 광 전력 조절 모듈/회로 (814), 및/또는 심도 계산 모듈/회로 (816) 를 포함하거나 구현할 수도 있다. 이 모듈들/회로들은 도 5, 도 6, 및/또는 도 7 에서 설명 및/또는 예시된 하나 이상의 기능들을 구현하도록 구성될 수도 있다. 저장 디바이스 (809) 는 예를 들어, 수신기 센서 (806) 및/또는 코드 마스크 투영 디바이스 (808) 에 대한 하나 이상의 조절 파라미터들을 저장하도록 작용할 수도 있다.
파라미터 연산 모듈/회로 (810) 는 수신기 센서 (806) 로부터 하나 이상의 캡처된 이미지들 (예를 들어, 그 위로 투영된 코드 마스크를 갖는 장면 또는 객체의 이미지들) 을 수신할 수도 있는 입력 인터페이스를 포함할 수도 있다. 파라미터 연산 모듈/회로 (810) 는 또한, 수신된 하나 이상의 캡처된 이미지들의 각각에 대하여, 절대적 또는 상대적 픽셀 포화, 디코딩가능하지 않은 픽셀들, 픽셀 조명 평균, 분산, 및/또는 엔트로피, 등을 확인하는 하나 이상의 이미지 프로세싱 회로들을 포함할 수도 있다. 이 하나 이상의 파라미터들은 전체 이미지에 대하여, 및/또는 각각의 이미지의 영역들 (예를 들어, 섹터들, 픽셀들) 에 대하여 연산될 수도 있다. 이 하나 이상의 파라미터들은 노출 시간 조절 모듈/회로 (812) 및/또는 광 전력 조절 모듈/회로 (814) 에 대한 입력들로서 작용할 수도 있다.
노출 시간 조절 모듈/회로 (812) 는 수신기 센서 (806) 에 대한 노출 시간이 조절되어야 하는지 여부 및 그것이 어떻게 조절되어야 하는지를 확인하기 위하여 하나 이상의 파라미터들을 이용할 수도 있다. 예를 들어, 하나 이상의 파라미터들이 임계 백분율보다 더 큰 픽셀들의 백분율이 과다-포화된 것 (즉, 너무 많은 조명) 을 표시할 경우, 노출 시간 조절 모듈/회로 (812) 는 수신기 센서 (806) 에 대한 셔터 시간을 감소시킨다. 반대로, 하나 이상의 파라미터들이 임계 백분율보다 더 큰 픽셀들의 백분율이 과소-노출된 것 (즉, 너무 적은 조명) 을 표시할 경우, 노출 시간 조절 모듈/회로 (812) 는 수신기 센서 (806) 에 대한 셔터 시간을 증가시킨다. 유사하게, 디코딩가능하지 않은 픽셀들, 픽셀 조명 평균, 분산, 및/또는 엔트로피, 등에 대한 다른 임계치들은 수신기 센서가 조절되어야 하는지 및/또는 어떻게 조절되어야 하는지를 확인하기 위하여 이용될 수도 있다. 노출 시간 조절 모듈/회로 (812) 는 이러한 조절들을 수신기 센서 (806) 로 통신하는 것을 허용하는 출력 인터페이스를 포함할 수도 있다.
광 전력 조절 모듈/회로 (814) 는 코드 마스크 투영 디바이스 (808) 에 대한 조명 전력이 조절되어야 하는지 여부 및 그것이 어떻게 조절되어야 하는지를 확인하기 위하여 하나 이상의 파라미터들을 이용할 수도 있다. 예를 들어, 하나 이상의 파라미터들이 임계 백분율보다 더 큰 픽셀들의 백분율이 과다-포화된 것 (즉, 너무 많은 조명) 을 표시할 경우, 광 전력 조절 모듈/회로 (814) 는 투영 디바이스 (808) 에 대한 광원 (조명) 전력을 감소시킨다. 반대로, 하나 이상의 파라미터들이 임계 백분율보다 더 큰 픽셀들의 백분율이 과소-노출된 것 (즉, 너무 적은 조명) 을 표시할 경우, 광 전력 조절 모듈/회로 (814) 는 투영 디바이스 (808) 에 대한 광원 (조명) 전력을 감소시킨다. 유사하게, 디코딩가능하지 않은 픽셀들, 픽셀 조명 평균, 분산, 및/또는 엔트로피, 등에 대한 다른 임계치들은 수신기 센서가 조절되어야 하는지 및/또는 어떻게 조절되어야 하는지를 확인하기 위하여 이용될 수도 있다. 광 전력 조절 모듈/회로 (814) 는 이러한 조절들을 수신기 센서 (806) 로 통신하는 것을 허용하는 출력 인터페이스를 포함할 수도 있다.
심도 계산 모듈/회로 (816) 는 심도를 확인하기 위하여 수신기 센서 (806) 로부터의 하나 이상의 캡처된 이미지들 (예를 들어, 그 위로 투영된 코드 마스크를 갖는 장면 또는 객체의 이미지들) 에서의 장면 또는 객체 상에서 투영되는 코드 마스크를 이용할 수도 있다. 심도 계산 모듈/회로 (816) 는 예를 들어, 도 2 및 도 3 에서 예시된 바와 같이, 이미지의 픽셀들의 상이한 영역들 또는 그룹들에 대한 심도를 확인하기 위하여 하나 이상의 연산들을 수행할 수도 있다. 다음으로, 이미지에 대한 이 심도 정보는 이미지와 함께 저장될 수도 있다.
또 다른 대안적인 특징에 따르면, 제 1 수신기 디바이스는 광 전력을 제어하기 위하여 이용될 수도 있고, 별도의 제 2 수신기 디바이스는 심도 맵이 그로부터 얻어지는 이미지를 캡처하기 위하여 이용될 수도 있다. 예를 들어, 제 1 수신기 디바이스는 증가된/더 높은 프레임 레이트에서 실행되는 (제 2 수신기 디바이스에 비해) 더 낮은 해상도 센서일 수도 있다.
일부의 구현예들에서, 코드 마스크 투영 디바이스 (808) 는 인간들에 의해 가시적이지 않은 광 스펙트럼 (예를 들어, 적외선) 에서 코드 마스크를 투영할 수도 있다. 예를 들어, 제 1 수신기는 장면 또는 객체 상에 투영된 코드 마스크를 캡처하기 위하여 이용될 수도 있는 반면, 제 2 수신기는 코드 마스크 없이 장면 또는 객체의 이미지를 캡처하기 위하여 이용될 수도 있다.
일부의 구현예들에서는, 심도 센싱 시스템 (800) 이 피드백 시스템으로 고려될 수도 있으며, 여기서, 코드 마스크의 투영 시에, 코드 마스크 (또는 그 부분들) 의 반사는 투영 디바이스 (808) 에 대한 투영 광원 전력을 조절할 수도 있는 수신기 센서 (806) 에 의해 이미지로서 캡처된다. 따라서, 코드 마스크의 초기 투영은 심도 센싱 시스템 (800) 을 조절하기 위한 피드백으로서 작용할 수도 있어서, 투영되고 반사된 코드 마스크에서의 코드워드들이 정확하게 확인될 수 있다. 수신기 센서 (806) 에 의한 초기 캡처된 이미지가 포화 (예를 들어, 수신기 센서에 대해 너무 강한 광 전력) 를 표시하는 파라미터들을 가질 경우, 광 전력 조절 모듈/회로 (814) 는 투영 디바이스 (808) 의 투영 광원 전력을 감소시킬 수도 있다. 유사하게, 수신기 센서 (806) 에 의한 초기 캡처된 이미지가 과소 노출 (예를 들어, 수신기 센서에 대해 너무 약한 광 전력) 를 표시하는 파라미터들을 가질 경우, 광 전력 조절 모듈/회로 (814) 는 투영 디바이스 (808) 의 투영 광원 전력을 증가시킬 수도 있다. 이 프로세스는 범위 또는 임계치 내에 있어야 할 캡처된 이미지에 대한 파라미터들로 귀착되는 수용가능한 투영 광 전력이 달성될 때까지 다수 회 반복될 수도 있다. 하나의 예에서, 피드백 프로세스는 투영 디바이스 (808) 의 투영 광 전력을 증가/감소시키기 위한 증분 단계들 (예를 들어, 고정 또는 가변 조절 단계들) 을 이용하여 반복적일 수도 있다. 또 다른 예에서, 초기 (이전) 캡처된 이미지에 대해 얻어진 이 파라미터들은 투영 디바이스 (808) 를 조절하기 위하여 그 때에 이용되는 특별한 전력 조절을 연산하거나 추정하도록 작용할 수도 있다.
대안적인 구현예들에서, 이 피드백 시스템은 수신기 센서 (806) 에 대한 노출 시간을 조절하도록 작용할 수도 있다. 즉, 투영 광 전력을 조절하는 것이 아니라, 수신기 센서 (806) 는, 과소 노출이 초기 캡처된 이미지로부터 확인될 경우에 셔터 시간을 증가시킴으로써, 또는 과다 노출 (포화) 이 초기 캡처된 이미지로부터 확인될 경우에 셔터 시간을 감소시킴으로써 그 자신의 셔터 노출 시간을 조절할 수도 있다. 이것은 셔터 노출 시간이 고정/가변 스텝 사이즈에 의해, 또는 캡처된 이미지의 파라미터들로부터 확인된 추정치에 기초하여 증분방식으로 조절될 수도 있는 반복적인 프로세스일 수도 있다.
캡처된 이미지 (들) 에 대한 파라미터들 확인
도 5, 도 6, 및/또는 도 7 에서는, 수신기 센서 및/또는 투영 광원을 조절하기 위하여, 캡처된 이미지 (들) 는 코드 마스크 (및 그 내부의 코드워드들) 가 캡처된 이미지에 걸쳐 디코딩가능한지 여부를 확인하기 위하여 프로세싱된다. 코드 마스크의 예는 도 4 에서 예시되어 있다. 도 9 및 도 10 은 코드 워드들이 코드 마스크들 내에서 어떻게 정의되는지를 추가로 예시한다.
도 9 는 2 진 코드워드 (902) 가 형상 변조된 캐리어 (904) 내에서 어떻게 표현될 수도 있는지를 예시한다. 변조된 캐리어 (904) 는 코드/기준 스트라이프들 (906) (예를 들어, 능동 스트라이프들) 및 보호 구간들 (908) 을 포함할 수도 있다. 캐리어층 (902) 은 능동 스트라이프 폭 w1 및 보호 구간 w2 에 의해 정의될 수도 있다. 능동 스트라이프 폭 w1 은 송신기에 대한 전력 요건들에 의해 결정될 수도 있다. 보호 구간 w2 는 송신기/수신기 점 확산 함수 (Point Spread Function; PSF) 에 의해 결정될 수도 있다. 여기서, 3-상태 그레이-스케일 시스템은 보호 "0" 및 "1" 을 나타내기 위해 이용되며, 여기서, "0" 및 "1" 레벨들 비율은 50 % 일 수도 있다.
도 10 은 캐리어층 및 코드층을 이용하는 코드 마이크로구조 (1002) 의 추가의 세부사항들을 예시한다. 이 예에서, 코드 마스크의 사이즈는 n1 x n2 일 수도 있으며, 여기서, n1 = 7 (수직), n2 = 585 (수평) 이어서, 총 4095 개의 고유 코드워드들이 가능하다. 더 작은 코드북 (codebook) 들은 이 코드워드들의 서브세트를 이용함으로써 가능하다. 더 작은 코드북들은 그것이 코드워드 일치가 발견되는지 여부를 확인하기 위하여 수행되어야 하는 비교들의 수를 감소시킨다는 점에서 바람직할 수도 있다. 즉, 수신된/캡처된 코드 마스크는 그 내부에서 각각의 코드워드를 확인하기 위하여 이용된 코드북과 비교될 수도 있다. 이러한 비교는 수신된/캡처된 코드 마스크의 영역을 일치 (예를 들어, 또는 가장 근접한 일치) 를 확인하기 위하여 코드북에서 정의된 각각의 코드워드와 일치시키는 것을 포함할 수도 있다. 결과적으로, (예를 들어, 작은 수의 코드워드들을 이용하여) 코드북의 사이즈를 감소시키는 것은 코드워드 일치를 발견하기 위하여 필요한 비교들의 수를 감소시키고, 수신된/캡처된 코드 마스크에 대한 코드워드 일치들을 발견하기 위한 프로세싱 자원들 및/또는 시간을 감소시킨다.
코드워드에 대해 이용된 코드 마스크 윈도우의 사이즈 (예를 들어, k1 x k2 윈도우) 는 탐색된 최소의 검출가능한 객체에 종속적일 수도 있다. 예를 들어, 코드 마스크 윈도우는 k1 x k2 = 3 x 4 심볼 윈도우일 수도 있다. 이에 따라, 윈도우 사이즈는 최소 검출가능한 객체 사이즈 (예를 들어, 검출가능한 객체 또는 특징) 및 이러한 객체 검출이 발생하는 거리에 의해 정의된다. 추가적으로, 심도 해상도는 캐리어 간격과 동일할 수도 있다. 보호 구간은 미지의 확산에 대한 대책이다. 선택된 파라미터들은 해상도 및 검출 사이의 균형을 제공할 수도 있다.
특별한 이미지를 생성하기 위하여 장면 상에 투영된 코드 마스크가 알려져 있으므로, 이것은 평균 제곱 에러, 해밍 거리 (Hamming distance), 및/또는 노출 시간 및/또는 광원 전력을 어떻게 조절할 것인지를 표시하도록 작용할 수도 있는 다른 메트릭들/파라미터들을 얻기 위하여 이용될 수 있다.
일부의 구현예들에서, 코드워드들의 사려깊은 선택은 또한, 이미지에서의 캡처된 코드 워드들의 에러 정정을 수행하도록 작용할 수도 있다.
도면들에서 예시된 컴포넌트들, 단계들, 특징들 및/또는 기능들 중의 하나 이상은 단일 컴포넌트, 단계, 특징 또는 기능으로 재배열 및/또는 조합될 수도 있거나, 몇몇 컴포넌트들, 단계들, 또는 기능들로 구체화될 수도 있다. 추가적인 엘리먼트들, 컴포넌트들, 단계들, 및/또는 기능들은 또한 본원에서 개시된 신규한 특징들로부터 이탈하지 않으면서 추가될 수도 있다. 도면들에서 예시된 장치, 디바이스들, 및/또는 컴포넌트들은 도면들에서 설명된 방법들, 특징들, 또는 단계들 중의 하나 이상을 수행하도록 구성될 수도 있다.본원에서 설명된 신규한 알고리즘들은 또한 소프트웨어로 효율적으로 구현될 수도 있고 및/또는 하드웨어로 구체화될 수도 있다.
또한, 실시형태들은 플로우차트, 흐름도, 구조도, 또는 블록도로서 도시되어 있는 프로세스로서 설명될 수도 있다는 것에 주목해야 한다. 플로우차트는 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 동작들 중의 다수는 병렬로 또는 동시에 수행될 수 있다. 추가적으로, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그 동작들이 완료될 때에 종결된다. 프로세스는 방법, 함수, 프로시저 (procedure), 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응할 때, 그 종결은 호출 함수 또는 주 함수로의 함수의 복귀에 대응한다.
또한, 저장 매체는 판독 전용 메모리 (read-only memory; ROM), 랜덤 액세스 메모리 (random access memory; RAM), 자기 디스크 저장 매체들, 광학 저장 매체들, 플래시 메모리 디바이스들 및/또는 다른 머신-판독가능한 매체들, 프로세서-판독가능한 매체들, 및/또는 정보를 저장하기 위한 컴퓨터-판독가능한 매체들을 포함하는, 데이터를 저장하기 위한 하나 이상의 디바이스들을 나타낼 수도 있다. 용어들 "머신-판독가능한 매체", "컴퓨터-판독가능한 매체", 및/또는 "프로세서-판독가능한 매체" 는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 및 명령 (들) 및/또는 데이터를 저장하거나, 포함하거나 운반할 수 있는 다양한 다른 매체들과 같은 비-일시적 (non-transitory) 매체들을 포함할 수도 있지만, 이것으로 제한되지 않는다. 따라서, 본원에서 설명된 다양한 방법들은, "머신-판독가능한 매체", "컴퓨터-판독가능한 매체", 및/또는 "프로세서-판독가능한 매체" 에 저장될 수도 있으며 하나 이상의 프로세서들, 머신들 및/또는 디바이스들에 의해 실행될 수도 있는 명령들 및/또는 데이터에 의해 완전히 또는 부분적으로 구현될 수도 있다.
또한, 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 그 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 태스크 (task) 들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체 또는 다른 저장장치 (들) 과 같은 머신-판독가능한 매체에 저장될 수도 있다. 프로세서는 필요한 태스크들을 수행할 수도 있다. 코드 세그먼트는 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 명령문들의 임의의 조합을 나타낼 수도 있다. 코드 세그먼트는 정보, 데이터, 아규먼트 (argument) 들, 파라미터들, 메모리 내용들을 전달 및/또는 수신함으로써 또 다른 코드 세그먼트 또는 하드웨어 회로에 결합될 수도 있다. 정보, 아규먼트들, 파라미터들, 데이터, 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신, 등을 포함하는 임의의 적당한 수단을 통해 전달되거나, 포워딩되거나, 송신될 수도 있다.
본원에서 개시된 예들과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 엘리먼트들, 및/또는 컴포넌트들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그래밍가능한 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능한 로직 컴폰너트, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트들, 또는 본원에서 설명된 기능들을 수행하도록 설계된 그 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 프로세서는 임의의 기존의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 컴포넌트들의 조합, 예를 들어, DSP 및 마이크로프로세서, 다수의 마이크로프로세서들, DSP 코어와 함께 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성의 조합으로서 구현될 수도 있다.
본원에서 개시된 예들과 관련하여 설명된 방법들 또는 알고리즘들은 직접 하드웨어로, 프로세서에 의해 실행가능한 소프트웨어 모듈로, 또는 양자의 조합으로, 프로세싱 유닛, 프로그래밍 명령들, 또는 다른 방향들의 형태로 구체화될 수도 있고, 단일 디바이스 내에 포함될 수도 있거나 다수의 디바이스들에 걸쳐 분포될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 분리가능한 디스크, CD-ROM, 또는 당해 분야에서 알려진 임의의 다른 형태의 저장 매체에서 상주할 수도 있다. 저장 매체는 프로세서가 저장 매체로부터 정보를 판독할 수 있고 정보를 저장 매체에 기록할 수 있도록 프로세서에 결합될 수도 있다. 대안적으로, 저장 매체는 프로세서에 일체적일 수도 있다.
당해 분야의 당업자들은 본원에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있다는 것을 추가로 인식할 것이다. 하드웨어 및 소프트웨어의 이 교환가능성을 명확하게 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 일반적으로 그 기능성의 측면에서 위에서 설명되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특별한 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 종속된다.
본원에서 설명된 발명의 다양한 특징들은 발명으로부터 이탈하지 않으면서 상이한 시스템들에서 구현될 수 있다. 상기한 실시형태들은 예들에 불과하고 발명을 제한하는 것으로 해석되지 않아야 한다는 것에 주목해야 한다. 실시형태들의 설명은 청구항들의 범위를 제한하는 것이 아니라, 예시적인 것으로 의도된 것이다. 이와 같이, 본 교시내용들은 다른 타입들의 장치들에 용이하게 적용될 수 있고, 다수의 대안들, 수정들, 및 변동들은 당해 분야의 당업자들에게 명백할 것이다.

Claims (40)

  1. 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스로서,
    제 1 캡처된 이미지를 생성하도록 구성된 수신기 센서로서, 상기 제 1 캡처된 이미지는:
    제 1 광 엘리먼트에 의해 투영되는 제 1 코드워드를 포함하는 제 1 영역; 및
    제 2 광 엘리먼트에 의해 투영되는 제 2 코드워드를 포함하는 제 2 영역을 포함하는, 상기 수신기 센서; 및
    프로세싱 회로로서,
    상기 제 1 캡처된 이미지로부터 파라미터들을 확인하고;
    상기 파라미터들의 대응하는 상이한 세트에 기초하여 상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트 각각의 광원 전력을 제어하되, 상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트 각각의 광원 전력의 상기 제어는:
    상기 파라미터들의 제 1 세트에 기초하여 상기 제 1 광 엘리먼트의 제 1 광원 전력을 제 1 비-제로 전력에서 제 2 비-제로 전력으로 조절하는 것; 및
    상기 파라미터들의 상이한 제 2 세트에 기초하여 상기 제 2 광 엘리먼트의 제 2 광원 전력을 조절하는 것을 포함하고;
    상기 수신기 센서로 하여금 구조화된 광 패턴을 이용하여 제 2 캡처된 이미지를 생성하도록 하되, 상기 제 2 캡처된 이미지는 조절된 상기 제 1 광원 전력에 기초하여 상기 제 1 광 엘리먼트에 의해 투영되는 상기 제 1 코드워드의 버전 및 조절된 상기 제 2 광원 전력에 기초하여 상기 제 2 광 엘리먼트에 의해 투영되는 상기 제 2 코드워드의 버전을 포함하며; 그리고
    상기 제 2 캡처된 이미지의 부분들을 코드북과 비교하여 상기 제 2 캡처된 이미지에서의 상기 제 1 코드워드의 버전 및 상기 제 2 코드워드의 버전 중 하나 또는 둘 모두를 디코딩하도록 구성되는, 상기 프로세싱 회로를 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  2. 제 1 항에 있어서,
    상기 제 1 캡처된 이미지는, 상기 제 2 코드워드의 상기 제 2 광 엘리먼트에 의한 투영과 동시에 상기 제 1 코드워드의 상기 제 1 광 엘리먼트에 의한 투영에 응답하여 생성되고, 상기 제 2 광 엘리먼트의 광원 전력의 상기 제어는 상기 제 2 광원 전력을 제 3 비-제로 전력에서 제 4 비-제로 전력으로 조절하는 것을 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  3. 제 1 항에 있어서,
    상기 프로세싱 회로는, 상기 수신기 센서의 노출 시간이 조절되는 동안 특정 조명을 제공하기 위해 상기 제 1 광원 전력을 유지하도록, 또는 상기 제 1 광원 전력이 조절되는 동안 상기 수신기 센서의 노출 시간이 고정된 값으로 유지되도록 추가로 구성되고,
    상기 제 1 영역의 상기 제 1 코드워드는 상기 제 1 광 엘리먼트에 의해 투영되고, 상기 제 2 영역의 제 2 코드워드는 상기 제 2 광 엘리먼트에 의해 투영되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  4. 제 1 항에 있어서,
    상기 제 1 캡처된 이미지의 생성에 앞서, 균일한 광원 전력을 이용하여 상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트를 활성화하여, 상기 제 1 코드워드 및 상기 제 2 코드 워드를 장면으로 투영하도록 구성되는 투영 광원을 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  5. 제 1 항에 있어서,
    상기 프로세싱 회로는 상기 파라미터들의 상이한 제 2 세트는 이용하지 않고 상기 조절 파라미터들의 제 1 세트를 이용하여 상기 제 1 광원 전력을 개별적으로 제어하도록 구성되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  6. 제 4 항에 있어서,
    상기 제 1 광 엘리먼트의 상기 제 1 광원 전력의 조절은 상기 균일한 광원 전력으로의 제 1 조절을 포함하고, 상기 제 1 광 엘리먼트의 상기 제 2 광원 전력 조절은 상기 균일한 광원 전력으로의 제 2 조절을 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  7. 제 1 항에 있어서,
    상기 수신기 센서는 복수의 개별적으로 제어된 센서 셔터들을 포함하고, 각각의 셔터는 상기 제 1 캡처된 이미지의 영역에 대응하며, 상기 프로세싱 회로는 상기 수신기 센서에 의해 캡처된 광을 조절하기 위하여 상기 파라미터들의 대응하는 세트에 기초하여 상기 복수의 개별적으로 제어된 센서 셔터들을 개별적으로 제어하도록 추가로 구성되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  8. 제 7 항에 있어서,
    상기 복수의 개별적으로 제어된 센서 셔터들 중 하나 이상의 센서 셔터들은 상기 파라미터들에 의해 표시된 바와 같은 주어진 영역에서 너무 많거나 너무 적은 광을 보상하기 위하여 상기 하나 이상의 센서 셔터들을 통과하는 광을 감소시키거나 또는 증가시키도록 제어되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  9. 제 7 항에 있어서,
    상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트를 포함하는 투영 광원을 더 포함하고,
    상기 제 1 코드워드는 상기 투영 광원의 다른 광 엘리먼트보다 상기 제 1 광 엘리먼트에 의해 더 많이 투영되고, 상기 제 2 코드워드는 상기 투영 광원의 다른 광원 엘리먼트보다 상기 제 2 광 엘리먼트에 의해 더 많이 투영되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  10. 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법으로서,
    수신기 센서에서, 제 1 캡처된 이미지를 생성하는 단계로서, 상기 제 1 캡처된 이미지는:
    제 1 광 엘리먼트에 의해 투영되는 제 1 코드워드를 포함하는 제 1 영역; 및
    제 2 광 엘리먼트에 의해 투영되는 제 2 코드워드를 포함하는 제 2 영역을 포함하는, 상기 제 1 캡처된 이미지를 생성하는 단계;
    프로세싱 회로에서, 상기 제 1 캡처된 이미지로부터 파라미터들을 확인하는 단계;
    상기 파라미터들의 대응하는 상이한 세트에 기초하여 상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트 각각의 광원 전력을 제어하는 단계로서, 상기 제어하는 단계는:
    상기 파라미터들의 제 1 세트에 기초하여 상기 제 1 광 엘리먼트의 제 1 광원 전력을 제 1 비-제로 전력에서 제 2 비-제로 전력으로 하는 조절의 제 1 결정을 수행하는 단계; 및
    상기 파라미터들의 상이한 제 2 세트에 기초하여 상기 제 2 광 엘리먼트의 제 2 광원 전력의 조절의 제 2 결정을 수행하는 단계를 포함하는, 상기 제어하는 단계;
    상기 수신기 센서로 하여금 구조화된 광 패턴을 이용하여 제 2 캡처된 이미지를 생성하도록 하는 단계로서, 상기 제 2 캡처된 이미지는 조절된 상기 제 1 광원 전력에 기초하여 상기 제 1 광 엘리먼트에 의해 투영되는 상기 제 1 코드워드의 버전 및 조절된 상기 제 2 광원 전력에 기초하여 상기 제 2 광 엘리먼트에 의해 투영되는 상기 제 2 코드워드의 버전을 포함하는, 상기 제 2 캡처된 이미지를 생성하도록 하는 단계; 및
    상기 제 2 캡처된 이미지의 부분들을 코드북과 비교하여 상기 제 2 캡처된 이미지에서의 상기 제 1 코드워드의 버전 및 상기 제 2 코드워드의 버전 중 하나 또는 둘 모두를 디코딩하는 단계를 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 수신기 센서의 노출 시간이 조절되는 동안 특정 조명에서 상기 제 1 광원 전력을 유지하는 단계를 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  12. 제 10 항에 있어서,
    상기 제 1 광원 전력이 조절되는 동안 고정된 값으로 상기 수신기 센서의 노출 시간을 유지하는 단계를 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  13. 제 10 항에 있어서,
    상기 파라미터들은 복수의 파라미터 세트들을 포함하고, 상기 복수의 파라미터 세트들의 각각의 파라미터 세트는 상기 제 1 캡처된 이미지 내의 다른 영역에 대응하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  14. 제 10 항에 있어서,
    상기 파라미터들의 대응하는 상이한 세트에 기초하여 상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트의 각각의 광원 전력을 개별적으로 제어하는 단계를 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  15. 제 14 항에 있어서,
    상기 제 1 캡처된 이미지 및 상기 제 2 캡처된 이미지를 캡처하는 단계를 더 포함하고, 상기 제 2 캡처된 이미지는 영역마다에 기초하여 광 보상되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  16. 제 10 항에 있어서,
    상기 수신기 센서에 의해 캡처된 광을 조절하기 위해 상기 파라미터들의 대응하는 세트에 기초하여 복수의 센서 셔터들을 개별적으로 제어하는 단계;
    상기 파라미터들에 의해 표시된 바와 같은 주어진 영역에서 특정 양의 광을 보상하기 위하여 상기 복수의 센서 셔터들을 통과하는 광의 양을 수정하도록 상기 복수의 센서 셔터들을 제어하는 단계; 및
    상기 복수의 센서 셔터들을 제어하는 단계 이후에, 상기 제 2 캡처된 이미지를 캡처하는 단계로서, 상기 제 2 캡처된 이미지는 영역마다에 기초하여 광 보상되는, 상기 제 2 캡처된 이미지를 캡처하는 단계를 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  17. 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스로서,
    제 1 캡처된 이미지를 생성하는 수단으로서, 상기 제 1 캡처된 이미지는:
    제 1 광 엘리먼트에 의해 투영되는 제 1 코드워드를 포함하는 제 1 영역; 및
    제 2 광 엘리먼트에 의해 투영되는 제 2 코드워드를 포함하는 제 2 영역을 포함하는, 상기 제 1 캡처된 이미지를 생성하는 수단;
    상기 제 1 캡처된 이미지로부터 파라미터들을 확인하는 수단;
    상기 파라미터들의 대응하는 상이한 세트에 기초하여 상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트 각각의 광원 전력을 제어하는 수단으로서, 상기 제어하는 수단은 상기 파라미터들의 제 1 세트에 기초하여 상기 제 1 광 엘리먼트의 제 1 광원 전력을 제 1 비-제로 전력에서 제 2 비-제로 전력으로 하는 조절의 제 1 결정을 수행하고, 상기 파라미터들의 상이한 제 2 세트에 기초하여 상기 제 2 광 엘리먼트의 제 2 광원 전력의 조절의 제 2 결정을 수행하도록 구성되는, 상기 제어하는 수단;
    생성하는 수단으로 하여금 구조화된 광 패턴을 이용하여 제 2 캡처된 이미지를 생성하도록 하는 수단으로서, 상기 제 2 캡처된 이미지는 조절된 상기 제 1 광원 전력에 기초하여 상기 제 1 광 엘리먼트에 의해 투영되는 상기 제 1 코드워드의 버전 및 조절된 상기 제 2 광원 전력에 기초하여 상기 제 2 광 엘리먼트에 의해 투영되는 상기 제 2 코드워드의 버전을 포함하는, 상기 제 2 캡처된 이미지를 생성하도록 하는 수단; 및
    상기 제 2 캡처된 이미지의 부분들을 코드북과 비교하여 상기 제 2 캡처된 이미지에서의 상기 제 1 코드워드의 버전 및 상기 제 2 코드워드의 버전 중 하나 또는 둘 모두를 디코딩하는 수단을 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  18. 제 17 항에 있어서,
    상기 제 1 광원 전력이 조절되는 동안 고정된 값으로 상기 생성하는 수단의 노출 시간을 유지하는 수단을 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  19. 제 17 항에 있어서,
    상기 파라미터들은 복수의 파라미터 세트들을 포함하고, 상기 복수의 파라미터 세트들의 각각의 파라미터 세트는 상기 구조화된 광 패턴에 기초하여 상기 제 1 캡처된 이미지 내의 다른 영역에 대응하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  20. 제 17 항에 있어서,
    상기 파라미터들의 대응하는 상이한 세트에 기초하여 상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트의 각각의 광원 전력을 개별적으로 제어하는 수단을 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  21. 제 20 항에 있어서,
    상기 제 2 캡처된 이미지는 영역마다에 기초하여 광 보상되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  22. 제 17 항에 있어서,
    상기 생성하는 수단에 의해 캡처된 광을 조절하기 위해 상기 파라미터들의 대응하는 세트에 기초하여 복수의 센서 셔터들을 개별적으로 제어하는 수단을 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  23. 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하는 하나 이상의 명령들을 가지는 비일시적 프로세서-판독가능한 저장 매체로서,
    상기 하나 이상의 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금:
    수신기 센서에서, 제 1 캡처된 이미지를 생성하게 하되, 상기 제 1 캡처된 이미지는:
    제 1 광 엘리먼트에 의해 투영되는 제 1 코드워드를 포함하는 제 1 영역; 및
    제 2 광 엘리먼트에 의해 투영되는 제 2 코드워드를 포함하는 제 2 영역을 포함하고;
    상기 제 1 캡처된 이미지로부터 파라미터들을 확인하게 하고;
    상기 파라미터들의 대응하는 상이한 세트에 기초하여 상기 제 1 광 엘리먼트 및 상기 제 2 광 엘리먼트 각각의 광원 전력을 제어하게 하되, 상기 제어는:
    상기 파라미터들의 제 1 세트에 기초하여 상기 제 1 광 엘리먼트의 제 1 광원 전력을 제 1 비-제로 전력에서 제 2 비-제로 전력으로 하는 조절의 제 1 결정을 수행하는 것; 및
    상기 파라미터들의 상이한 제 2 세트에 기초하여 상기 제 2 광 엘리먼트의 제 2 광원 전력의 조절의 제 2 결정을 수행하는 것을 포함하고;
    상기 수신기 센서로 하여금 구조화된 광 패턴을 이용하여 제 2 캡처된 이미지를 생성하게 하되, 상기 제 2 캡처된 이미지는 조절된 상기 제 1 광원 전력에 기초하여 상기 제 1 광 엘리먼트에 의해 투영되는 상기 제 1 코드워드의 버전 및 조절된 상기 제 2 광원 전력에 기초하여 상기 제 2 광 엘리먼트에 의해 투영되는 상기 제 2 코드워드의 버전을 포함하며; 그리고
    상기 제 2 캡처된 이미지의 부분들을 코드북과 비교하여 상기 제 2 캡처된 이미지에서의 상기 제 1 코드워드의 버전 및 상기 제 2 코드워드의 버전 중 하나 또는 둘 모두를 디코딩하게 하는, 프로세서-판독가능한 저장 매체.
  24. 제 23 항에 있어서,
    상기 하나 이상의 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금 추가로, 상기 수신기 센서의 노출 시간이 조절되는 동안 특정 조명을 제공하도록 상기 제 1 광원 전력을 유지하게 하는, 프로세서-판독가능한 저장 매체.
  25. 제 23 항에 있어서,
    상기 하나 이상의 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금 추가로, 상기 제 1 광원 전력이 조절되는 동안 고정된 값으로 상기 수신기 센서의 노출 시간을 유지하게 하는, 프로세서-판독가능한 저장 매체.
  26. 제 23 항에 있어서,
    상기 하나 이상의 명령들의 실행은 상기 하나 이상의 프로세서들로 하여금 추가로 상기 제 1 캡처된 이미지 및 상기 제 2 캡처된 이미지를 캡처하게 하고, 상기 제 2 캡처된 이미지는 영역마다에 기초하여 광 보상되는, 프로세서-판독가능한 저장 매체.
  27. 제 10 항에 있어서,
    상기 제 1 캡처된 이미지에서 장면의 하나 이상의 부분들을 태그 (tag) 하는 단계; 및
    상기 장면의 상기 하나 이상의 부분들을 태그하는 것에 응답하여, 상기 제 1 캡처된 이미지에서 상기 장면의 깊이 정보를 확인하기 위하여, 상기 제 1 캡처된 이미지의 반사된 구조화된 광 패턴에 포함된 수신된 코드워드들과 투영된 구조화된 광 패턴에 포함된 상기 제1 코드워드 및 상기 제 2 코드워드 모두의 송신된 코드워드들 사이의 하나 이상의 차이들을 결정하는 단계를 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  28. 제 10 항에 있어서,
    상기 파라미터들의 하나 이상은 픽셀 포화, 디코딩될 수 없는 픽셀들, 픽셀 조명 평균, 픽셀 조명 분산, 픽셀 조명 엔트로피, 또는 이들의 조합을 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  29. 제 28 항에 있어서,
    하나 이상의 파라미터들에 기초하여 상기 제 1 광원 전력의 특정 조절을 추정하는 단계; 및
    상기 하나 이상의 파라미터들이 임계치에 도달할 때까지 상기 제 1 광원 전력을 반복적으로 조절하는 단계를 더 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  30. 제 10 항에 있어서,
    상기 제 1 캡처된 이미지는 상기 제 1 코드워드 및 상기 제 2 코드워드를 포함하는 반사된 구조화된 광 패턴을 포함하고, 상기 제 1 캡처된 이미지는 주변 광 또는 반사된 주변 광을 수신하는 동안 캡처되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  31. 제 30 항에 있어서,
    상기 제 1 캡처된 이미지의 각각의 영역은 코드워드를 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  32. 제 10 항에 있어서,
    상기 제 1 영역 내의 포화된 픽셀들의 수를 결정하는 단계를 더 포함하고,
    상기 제 1 광 엘리먼트의 상기 제 1 광원 전력은 임계치를 초과하는 상기 제 1 영역 내의 포화된 픽셀들의 수에 기초하여 결정되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하기 위한 방법.
  33. 제 1 항에 있어서,
    상기 제 1 광 엘리먼트는 단일 광 엘리먼트를 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  34. 제 1 항에 있어서,
    상기 구조화된 광 패턴은 3-상태 구조화된 광 패턴을 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  35. 제 34 항에 있어서,
    상기 3-상태 구조화된 광 패턴은 0 의 2 진값에 대응하는 제 1 상태, 1 의 2 진값에 대응하는 제 2 상태, 및 보호 구간 (guard interval) 에 대응하는 제 3 상태를 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  36. 제 1 항에 있어서,
    상기 수신기 센서는 상기 제 1 광원 전력 및 상기 제 2 광원 전력에 기초하여 상기 제 2 캡처된 이미지를 캡처하도록 추가로 구성되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  37. 제 1 항에 있어서,
    상기 구조화된 광 패턴은 적외선 스펙트럼에서 캡처되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  38. 제 1 항에 있어서,
    상기 구조화된 광 패턴은 적외선 광을 이용하여 투영되는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  39. 제 1 항에 있어서,
    상기 제 1 코드워드 및 상기 제 2 코드워드의 각각은 상기 구조화된 광 패턴의 복수의 공간적 코드 부분들 중 공간적 코드 부분에 포함되고, 상기 복수의 공간적 코드 부분들 중 각각의 공간적 코드 부분은 하나 이상의 코드 스트라이프들과 하나 이상의 보호 구간들을 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
  40. 제 1 항에 있어서,
    상기 구조화된 광 패턴은 그레이-스케일 구조화된 광 패턴을 포함하는, 능동 심도 센싱 시스템에서 표면 반사율에 있어서의 차이들을 보상하도록 구성된 디바이스.
KR1020157011356A 2012-11-14 2013-10-17 구조화된 광 능동 심도 센싱 시스템들에서의 광원 전력의 동적 조절 KR102111821B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261726387P 2012-11-14 2012-11-14
US61/726,387 2012-11-14
US13/723,891 US11509880B2 (en) 2012-11-14 2012-12-21 Dynamic adjustment of light source power in structured light active depth sensing systems
US13/723,891 2012-12-21
PCT/US2013/065386 WO2014078005A1 (en) 2012-11-14 2013-10-17 Dynamic adjustment of light source power in structured light active depth sensing systems

Publications (2)

Publication Number Publication Date
KR20150082262A KR20150082262A (ko) 2015-07-15
KR102111821B1 true KR102111821B1 (ko) 2020-05-15

Family

ID=50681316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157011356A KR102111821B1 (ko) 2012-11-14 2013-10-17 구조화된 광 능동 심도 센싱 시스템들에서의 광원 전력의 동적 조절

Country Status (8)

Country Link
US (2) US10368053B2 (ko)
EP (2) EP2920545B1 (ko)
JP (1) JP6193390B2 (ko)
KR (1) KR102111821B1 (ko)
CN (3) CN109612404B (ko)
ES (1) ES2617831T3 (ko)
HU (1) HUE033203T2 (ko)
WO (2) WO2014078005A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368053B2 (en) 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US9350921B2 (en) * 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
US10089739B2 (en) * 2013-06-28 2018-10-02 Texas Instruments Incorporated Structured light depth imaging under various lighting conditions
US9817489B2 (en) * 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
CN105338255B (zh) * 2014-06-24 2019-04-26 联想(北京)有限公司 一种深度恢复调整方法及电子设备
US9507995B2 (en) 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
CN104243843B (zh) 2014-09-30 2017-11-03 北京智谷睿拓技术服务有限公司 拍摄光照补偿方法、补偿装置及用户设备
JP2016075658A (ja) * 2014-10-03 2016-05-12 株式会社リコー 情報処理システムおよび情報処理方法
EP3002550B1 (en) * 2014-10-03 2017-08-30 Ricoh Company, Ltd. Information processing system and information processing method for distance measurement
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
WO2016161104A1 (en) 2015-04-01 2016-10-06 Vayavision, Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
EP3295239B1 (en) * 2015-05-13 2021-06-30 Facebook Technologies, LLC Augmenting a depth map representation with a reflectivity map representation
CN104952074B (zh) * 2015-06-16 2017-09-12 宁波盈芯信息科技有限公司 一种深度感知计算的存储控制方法及装置
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
WO2017082826A1 (en) * 2015-11-11 2017-05-18 Heptagon Micro Optics Pte. Ltd. Enhanced distance data acquisition
US20170153107A1 (en) * 2015-11-30 2017-06-01 Heptagon Micro Optics Pte. Ltd. Optoelectronic device including event-driven photo-array and method for operating the same
US9800795B2 (en) * 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
US9996933B2 (en) * 2015-12-22 2018-06-12 Qualcomm Incorporated Methods and apparatus for outlier detection and correction of structured light depth maps
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
KR102550469B1 (ko) 2016-05-20 2023-07-04 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102529120B1 (ko) 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
JP6611691B2 (ja) * 2016-10-06 2019-11-27 株式会社日立製作所 鉄道車両の外形形状測定方法及び装置
US10771768B2 (en) * 2016-12-15 2020-09-08 Qualcomm Incorporated Systems and methods for improved depth sensing
DE102017000908A1 (de) 2017-02-01 2018-09-13 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme
US10302764B2 (en) 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
US10009554B1 (en) * 2017-02-24 2018-06-26 Lighthouse Ai, Inc. Method and system for using light emission by a depth-sensing camera to capture video images under low-light conditions
US10643358B2 (en) * 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
JP7113283B2 (ja) * 2017-05-26 2022-08-05 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
US10044922B1 (en) 2017-07-06 2018-08-07 Arraiy, Inc. Hardware system for inverse graphics capture
US10666929B2 (en) 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture
CN110892716B (zh) * 2017-07-12 2022-11-22 镜泰公司 从环境中用于获取信息的系统及方法
CN107564050B (zh) * 2017-08-09 2020-01-10 Oppo广东移动通信有限公司 基于结构光的控制方法、装置和终端设备
CN107800963B (zh) * 2017-10-27 2019-08-30 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质
WO2019080934A1 (zh) 2017-10-27 2019-05-02 Oppo广东移动通信有限公司 图像处理方法、装置和电子装置
CN108553027A (zh) * 2018-01-04 2018-09-21 深圳悉罗机器人有限公司 移动机器人
US10991112B2 (en) 2018-01-24 2021-04-27 Qualcomm Incorporated Multiple scale processing for received structured light
DE102018102159A1 (de) * 2018-01-31 2019-08-01 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme
JP6770254B2 (ja) 2018-02-07 2020-10-14 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
CN108471525B (zh) * 2018-03-27 2020-07-17 百度在线网络技术（北京）有限公司 用于投影仪的控制方法和装置以及实现该方法的投影仪
CN110310963A (zh) * 2018-03-27 2019-10-08 恒景科技股份有限公司 调整光源功率的系统
KR20190114332A (ko) * 2018-03-29 2019-10-10 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
KR102549434B1 (ko) * 2018-04-02 2023-06-28 엘지전자 주식회사 깊이 센서 제어 시스템
EP3779354A4 (en) * 2018-04-02 2022-06-08 LG Electronics, Inc. ROBOT CLEANER HAVING A OPERATION LIMITATION PREVENTION FILTER
GB2572831A (en) * 2018-04-04 2019-10-16 Cambridge Mechatronics Ltd Apparatus and methods for 3D sensing
US10999524B1 (en) * 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
US11040452B2 (en) 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US10812731B2 (en) * 2018-08-22 2020-10-20 Qualcomm Incorporated Adjustable receiver exposure times for active depth sensing systems
CN110857855B (zh) * 2018-08-22 2022-09-02 杭州海康机器人技术有限公司 一种图像数据获取方法、装置及系统
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
US10915783B1 (en) * 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
JP7135846B2 (ja) * 2018-12-27 2022-09-13 株式会社デンソー 物体検出装置および物体検出方法
CN110324602A (zh) * 2019-06-17 2019-10-11 Oppo广东移动通信有限公司 一种三维图像的生成方法及装置、终端、存储介质
WO2020257969A1 (zh) * 2019-06-24 2020-12-30 深圳市汇顶科技股份有限公司 结构光投射装置、结构光投射方法及三维测量系统
CN112241976A (zh) * 2019-07-19 2021-01-19 杭州海康威视数字技术股份有限公司 一种训练模型的方法及装置
US10939047B2 (en) * 2019-07-22 2021-03-02 Himax Technologies Limited Method and apparatus for auto-exposure control in a depth sensing system
EP3835721A1 (en) * 2019-12-13 2021-06-16 Mitutoyo Corporation A method for measuring a height map of a test surface
CN111174702B (zh) * 2020-01-22 2022-03-15 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法
US11567179B2 (en) 2020-07-21 2023-01-31 Leddartech Inc. Beam-steering device particularly for LIDAR systems
CA3125716C (en) 2020-07-21 2024-04-09 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
EP4185888A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering device particularly for lidar systems
EP4002833B1 (en) * 2020-11-17 2023-02-15 Axis AB Method and electronic device for increased dynamic range of an image
TWI757015B (zh) 2020-12-29 2022-03-01 財團法人工業技術研究院 取像方法
CN113340235B (zh) * 2021-04-27 2022-08-12 成都飞机工业（集团）有限责任公司 基于动态投影的投影系统及相位移动图案生成方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020827A1 (en) * 2001-07-25 2003-01-30 Bean Heather Noel Image capturing device capable of single pixel exposure duration control
US20040262393A1 (en) * 2003-06-27 2004-12-30 Masahiro Hara Optical information reading apparatus and optical information reading method
US20050119527A1 (en) * 2003-04-01 2005-06-02 Scimed Life Systems, Inc. Force feedback control system for video endoscope
US20070031029A1 (en) * 2004-03-31 2007-02-08 Brother Kogyo Kabushiki Kaisha Apparatus, method and program for three-dimensional-shape detection
JP2007271530A (ja) 2006-03-31 2007-10-18 Brother Ind Ltd ３次元形状検出装置及び３次元形状検出方法
US20080130016A1 (en) * 2006-10-11 2008-06-05 Markus Steinbichler Method and an apparatus for the determination of the 3D coordinates of an object
US20090212111A1 (en) * 2008-01-25 2009-08-27 Intermec Ip Corp. System and method for identifying erasures in a 2d symbol
US20100110180A1 (en) * 2008-11-04 2010-05-06 Omron Corporation Image processing device
US20110205552A1 (en) * 2008-03-05 2011-08-25 General Electric Company Fringe projection system for a probe with intensity modulating element suitable for phase-shift analysis
US20120050557A1 (en) * 2010-09-01 2012-03-01 Qualcomm Incorporated High dynamic range image sensor
US20120087573A1 (en) * 2010-10-11 2012-04-12 Vinay Sharma Eliminating Clutter in Video Using Depth Information
WO2012124788A1 (en) * 2011-03-15 2012-09-20 Mitsubishi Electric Corporation Method for measuring depth values in a scene

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467413A (en) 1993-05-20 1995-11-14 Radius Inc. Method and apparatus for vector quantization for real-time playback on low cost personal computers
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
FR2748484B1 (fr) * 1996-05-13 1998-07-24 Atochem Elf Sa Polymerisation en presence d'un radical libre stable et d'un initiateur de radicaux libres
EP1245923A3 (de) 1996-07-29 2003-03-12 Elpatronic Ag Verfahren und Vorrichtung zur Kantenverfolgung und Kantenprüfung
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
AU3994799A (en) 1999-05-14 2000-12-05 3Dmetrics, Incorporated Color structured light 3d-imaging system
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6825936B2 (en) 2000-08-23 2004-11-30 Lmi Technologies, Inc. High speed camera based sensors
JP3819275B2 (ja) 2001-10-17 2006-09-06 ローランドディー．ジー．株式会社 ３次元測定装置における露光制御装置
SE523681C2 (sv) 2002-04-05 2004-05-11 Integrated Vision Prod System och sensor för avbildning av egenskaper hos ett objekt
WO2004090581A2 (en) 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
TW200510690A (en) 2003-06-11 2005-03-16 Solvision Inc 3D and 2D measurement system and method with increased sensitivity and dynamic range
DE10333493A1 (de) 2003-07-22 2005-02-10 FRIEMEL, Jörg Streifenprojektor für ein dreidimensionales Objektvermessungssystem
CN1267766C (zh) 2003-12-26 2006-08-02 四川大学 用频闪结构照明实现高速运动物体三维面形测量的方法
JP4746841B2 (ja) 2004-01-23 2011-08-10 ルネサスエレクトロニクス株式会社 半導体集積回路装置の製造方法
WO2005082075A2 (en) 2004-02-25 2005-09-09 The University Of North Carolina At Chapel Hill Systems and methods for imperceptibly embedding structured light patterns in projected color images
US20050206874A1 (en) 2004-03-19 2005-09-22 Dougherty Robert P Apparatus and method for determining the range of remote point light sources
ATE373839T1 (de) 2004-03-31 2007-10-15 Univ Danmarks Tekniske Erzeugung eines gewünschten dreidimensionalen elektromagnetischen feldes
US7605852B2 (en) 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
KR100752545B1 (ko) 2005-11-24 2007-08-29 에이티아이 주식회사 2개 영상을 이용한 물체 표면 형상 및 반사율 정보 획득 시스템
WO2007125081A1 (en) 2006-04-27 2007-11-08 Metris N.V. Optical scanning probe
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US7227117B1 (en) 2006-05-30 2007-06-05 Symbol Technologies, Inc. High speed auto-exposure control
WO2008036092A1 (en) 2006-09-21 2008-03-27 Thomson Licensing A method and system for three-dimensional model acquisition
US8538166B2 (en) 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
KR100914961B1 (ko) 2008-01-23 2009-09-02 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
US8059280B2 (en) 2008-01-31 2011-11-15 Cyberoptics Corporation Method for three-dimensional imaging using multi-phase structured light
CN101520319B (zh) 2008-02-27 2012-02-22 邹小平 复合式三维激光测量系统及测量方法
WO2010048960A1 (en) 2008-10-28 2010-05-06 3Shape A/S Scanner with feedback control
US20100149551A1 (en) 2008-12-16 2010-06-17 Faro Technologies, Inc. Structured Light Imaging System and Method
JP5218316B2 (ja) 2009-07-23 2013-06-26 株式会社デンソーウェーブ 光学的情報読取装置
US20110080471A1 (en) 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
EP2492634B1 (en) 2009-10-19 2017-05-10 Nippon Steel & Sumitomo Metal Corporation Method of measuring flatness of sheet and method of manufacturing steel sheet using same
CN101694376B (zh) 2009-10-23 2011-01-05 北京航空航天大学 一种光学条纹正弦性评测方法
JP5290233B2 (ja) 2010-04-13 2013-09-18 Ｃｋｄ株式会社 三次元計測装置及び基板検査装置
WO2011145168A1 (ja) 2010-05-18 2011-11-24 住友金属工業株式会社 板材の平坦度測定方法及びこれを用いた鋼板の製造方法
CN102906536A (zh) 2010-05-19 2013-01-30 株式会社尼康 形状测定装置及形状测定方法
CN101865671B (zh) 2010-06-03 2012-09-19 厦门思泰克光电科技有限公司 一种投影三维测量方法
CN201748900U (zh) 2010-07-08 2011-02-16 上海雷尼威尔测量技术有限公司 环境光自适应位移测量装置
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
CN103109158B (zh) 2010-10-05 2015-03-04 英派尔科技开发有限公司 一种生成深度数据的方法、装置及系统
JP5962056B2 (ja) * 2012-02-27 2016-08-03 富士ゼロックス株式会社 画像判定装置及び画像形成装置
US10368053B2 (en) 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020827A1 (en) * 2001-07-25 2003-01-30 Bean Heather Noel Image capturing device capable of single pixel exposure duration control
US20050119527A1 (en) * 2003-04-01 2005-06-02 Scimed Life Systems, Inc. Force feedback control system for video endoscope
US20040262393A1 (en) * 2003-06-27 2004-12-30 Masahiro Hara Optical information reading apparatus and optical information reading method
US20070031029A1 (en) * 2004-03-31 2007-02-08 Brother Kogyo Kabushiki Kaisha Apparatus, method and program for three-dimensional-shape detection
US20090022367A1 (en) * 2006-03-31 2009-01-22 Brother Kogyo Kabushiki Kaisha Three-dimensional shape detecting device and three-dimensional shape detecting method
JP2007271530A (ja) 2006-03-31 2007-10-18 Brother Ind Ltd ３次元形状検出装置及び３次元形状検出方法
US20080130016A1 (en) * 2006-10-11 2008-06-05 Markus Steinbichler Method and an apparatus for the determination of the 3D coordinates of an object
US20090212111A1 (en) * 2008-01-25 2009-08-27 Intermec Ip Corp. System and method for identifying erasures in a 2d symbol
US20110205552A1 (en) * 2008-03-05 2011-08-25 General Electric Company Fringe projection system for a probe with intensity modulating element suitable for phase-shift analysis
US20100110180A1 (en) * 2008-11-04 2010-05-06 Omron Corporation Image processing device
US20120050557A1 (en) * 2010-09-01 2012-03-01 Qualcomm Incorporated High dynamic range image sensor
US20120087573A1 (en) * 2010-10-11 2012-04-12 Vinay Sharma Eliminating Clutter in Video Using Depth Information
WO2012124788A1 (en) * 2011-03-15 2012-09-20 Mitsubishi Electric Corporation Method for measuring depth values in a scene

Also Published As

Publication number Publication date
WO2014078005A1 (en) 2014-05-22
EP2920546B1 (en) 2016-11-30
CN104769388A (zh) 2015-07-08
US20140132722A1 (en) 2014-05-15
CN109612404B (zh) 2021-02-26
CN104769387A (zh) 2015-07-08
US10368053B2 (en) 2019-07-30
EP2920545B1 (en) 2020-12-09
JP6193390B2 (ja) 2017-09-06
EP2920545A1 (en) 2015-09-23
CN104769387B (zh) 2017-10-10
EP2920546A1 (en) 2015-09-23
WO2014078015A1 (en) 2014-05-22
CN104769388B (zh) 2018-11-27
US11509880B2 (en) 2022-11-22
CN109612404A (zh) 2019-04-12
KR20150082262A (ko) 2015-07-15
ES2617831T3 (es) 2017-06-19
HUE033203T2 (en) 2017-11-28
US20140132721A1 (en) 2014-05-15
JP2016505133A (ja) 2016-02-18

Similar Documents

Publication Publication Date Title
KR102111821B1 (ko) 구조화된 광 능동 심도 센싱 시스템들에서의 광원 전력의 동적 조절
US10453185B2 (en) System and method for high dynamic range depth capture using multiple cameras
US9615032B2 (en) Imaging apparatus with scene adaptive auto exposure compensation
CN109246354B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2017524909A (ja) コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ
JP6346427B2 (ja) 画像処理装置、画像処理方法
JP6847922B2 (ja) 構造化照明のためのコード領域パワー制御
US11917304B2 (en) Optical distance measurement system and distance measurement method thereof
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
US10771717B2 (en) Use of IR pre-flash for RGB camera&#39;s automatic algorithms
US20130058071A1 (en) System and method for projection and binarization of coded light patterns
US10750100B2 (en) Image processing apparatus that generates moving image using shooting image, image pickup apparatus, image processing method, and storage medium
CN108629329B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR101887945B1 (ko) 3d 카메라의 노출 시간 결정 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant