KR102168257B1 - 구조형 광에 대한 코드 도메인 파워 제어 - Google Patents

구조형 광에 대한 코드 도메인 파워 제어 Download PDF

Info

Publication number
KR102168257B1
KR102168257B1 KR1020187009067A KR20187009067A KR102168257B1 KR 102168257 B1 KR102168257 B1 KR 102168257B1 KR 1020187009067 A KR1020187009067 A KR 1020187009067A KR 20187009067 A KR20187009067 A KR 20187009067A KR 102168257 B1 KR102168257 B1 KR 102168257B1
Authority
KR
South Korea
Prior art keywords
codewords
expected
depth map
processing circuit
received
Prior art date
Application number
KR1020187009067A
Other languages
English (en)
Other versions
KR20180044415A (ko
Inventor
제임스 윌슨 내쉬
칼린 미트코브 아타나소브
알브레히트 요하네스 린드너
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180044415A publication Critical patent/KR20180044415A/ko
Application granted granted Critical
Publication of KR102168257B1 publication Critical patent/KR102168257B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/18—
    • G06K9/4661—
    • G06K9/52—
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

구조형 광 레이저 시스템들을 제어하기 위한 시스템들 및 방법들이 개시된다. 하나의 양태는 구조형 광 시스템이다. 시스템은 심도 맵을 저장하도록 구성된 메모리 디바이스를 포함한다. 시스템은 코드워드들을 투영하도록 구성된 레이저 시스템을 포함하는 이미지 투영 디바이스를 더 포함한다. 시스템은 센서를 포함하는 수신기 디바이스를 더 포함하고, 이 수신기 디바이스는 오브젝트로부터 반사된 투영된 코드워드들을 감지하도록 구성된다. 시스템은, 심도 맵의 부분을 취출하고, 심도 맵으로부터 예상되는 코드워드들을 계산하도록 구성된 프로세싱 회로를 더 포함한다. 시스템은, 감지된 코드워드들 및 예상되는 코드워드들에 기초하여 레이저 시스템의 출력 파워를 제어하도록 구성된 피드백 시스템을 더 포함한다.

Description

구조형 광에 대한 코드 도메인 파워 제어
다양한 특징들은 능동 심도 감지에 관한 것이고, 보다 구체적으로는, 코드 도메인 통계를 이용하여 구조형 광 코드워드 송신기의 출력 파워를 제어하는 것에 관한 것이다.
구조형 광 능동 감지 시스템들 (structured light active sensing systems) 인 촬상 디바이스들은 그 촬상 디바이스 (imaging device) 로부터의 장면 (scene) 에서의 하나 이상의 오브젝트들 (objects) 의 거리를 표시하는 심도 맵 (depth map) 을 생성하기 위해 공간적 코드들 (spatial codes) (또는 "코드워드들 (codewords)") 에 대응하는 패턴들을 송신 및 수신하도록 구성된 송신기 및 수신기를 포함한다. 송신기 및 수신기로부터 장면에서의 오브젝트가 더 멀수록, (송신된 코드워드에 비해) 오브젝트로부터 반사된 수신된 코드워드는 그것의 원래의 포지션으로부터 더 가깝게 되는데, 그 이유는, 나가는 코드워드와 반사되어 들어오는 코드워드의 전파 경로가 보다 평행하기 때문이다. 역으로, 오브젝트가 송신기 및 수신기에 더 가까울수록, 수신된 코드워드는 송신된 코드워드에서 그것의 원래 포지션으로부터 더 멀다. 이에 따라, 수신된 코드워드와 대응하는 송신된 코드워드의 포지션 사이의 차이는 장면에서의 오브젝트의 심도를 결정하기 위해 사용될 수도 있다. 구조형 광 능동 감지 시스템들은, 장면의 3 차원적 표현일 수도 있는, 장면의 심도 맵을 생성하기 위해 이들 결정된 심도들을 이용할 수도 있다. 많은 애플리케이션들은 이미지 품질 향상 및 컴퓨터 비전 기법들을 포함하여, 장면의 심도 맵을 결정하는 것으로부터 혜택을 받을 수도 있다.
각각의 코드워드는 심볼들에 대응하는 강도 값들의 행들 및 열들에 의해 표현될 수도 있다. 예를 들어, 바이너리 (binary) 공간적 코드들은 바이너리 패턴을 표현하기 위해, 어두운 그리고 밝은 강도 값들에 대응하는, 0 들 및 1 들을 사용할 수도 있다. 다른 공간적 코드들은 2 개보다 많은 심볼들에 대응하는 2 개보다 많은 상이한 강도 값들을 사용할 수도 있다. 다른 공간적 표현들이 또한 사용될 수도 있다.
심도 맵을 생성하는 것은 코드워드들을 검출하는 것에 의존한다. 심볼들의 어레이로 이루어진 코드워드들을 검출하기 위해, 필터들을 디코딩하는 것은 코드워드들 및 심볼들에 대한 공간적 경계들을 식별하고, 그들의 강도 값들에 기초하여 심볼들을 예를 들어, "0" 또는 "1" 로서 분류할 수도 있다. 필터들을 디코딩하는 것은, 들어오는 기초 함수들을 분류하기 위해, 가능한 코드워드들의 셋트를 정의하기 위해 사용되는 하모닉 기초 함수들 (harmonic basis functions) 의 셋트에 대응하는, 매칭된 필터들을 사용할 수도 있다. 따라서, 심도 맵 정확도는 심볼들, 코드워드들, 및/또는 기초 함수들을 정확하게 수신하는 것에 의존한다.
패턴을 투영하기 위해 사용되는 광원 (예를 들어, 레이저) 의 파워 (power) 레벨이 너무 낮은 경우에는, 보다 밝은 심볼들에 대응하는 스폿들 (spots) 은 보다 어두운 심볼들로부터 차별화되기에 너무 어두울 수도 있다. 광원의 파워 레벨이 너무 높은 경우에는, 보다 밝은 심볼들에 대응하는 스폿들은 포화되게 되고 이웃하는 스폿들로 번질 수도 있다 (이웃하는 스폿들과 섞일 수도 있다). 이것이 일어날 때, 심볼들, 코드워드들, 및 기초 함수들을 정확하게 분류하는 것이 어려울 수도 있다. 최적의 파워 레벨 범위는 오브젝트 심도 및 표면 반사도에 적어도 부분적으로 의존할 수도 있다. 최적의 파워 레벨들은 장면들 내에서 그리고 또한 장면들 사이에서 변화할 수도 있다.
광원 파워를 제어하기 위한 기존의 방법들 및 시스템들은 로컬 변동을 고려하지 않을 수도 있고, 심볼, 코드워드, 또는 기초 함수 정확도를 최대화하기 위해 최적화되지 않을 수도 있다. 따라서, 보다 정확한 심도 맵 생성을 위해 구조형 광 시스템들 (structured light systems) 에 대한 광원 파워를 제어하기 위한 방법들 및 시스템들에 대한 필요성이 존재한다.
본 발명의 배경이 되는 기술은 미국 특허출원 공개공보 제2014/0132721호(2014.5.15.) 에 개시되어 있다.
본 개시의 샘플 양태들의 요약은 다음과 같다. 편의상, 본 개시의 하나 이상의 양태들은 본 명세서에서 단순히 "일부 양태들" 로서 지칭될 수도 있다.
본 명세서에서 개시되는 방법들 및 장치들 또는 디바이스들은 각각 수개의 양태들을 가지고, 그들의 어떤 단일한 것도 그것의 바람직한 속성들에 대해 단독으로 책임지지 아니한다. 예를 들어 다음의 청구항들에 의해 표현되는 바와 같이, 이 개시의 범위를 제한함이 없이, 그것의 보다 두드러진 특징들이 이제 간략하게 논의될 것이다. 이 논의를 고려한 후에, 그리고 특히 "상세한 설명" 이라는 제목의 섹션을 읽은 후에, 기술되는 특징들이, 보다 적은 디코딩 에러들을 초래하는 코드 도메인 통계를 사용하여 구조형 광 코드워드 송신기의 출력 파워를 제어하기 위한 효율적인 방식들을 포함하는 이점들을 어떻게 제공하는지를 이해할 것이다.
하나의 혁신은 구조형 광 시스템이다. 구조형 광 시스템은 심도 맵을 저장하도록 구성된 메모리 디바이스를 포함할 수도 있다. 구조형 광 시스템은 추가적으로, 코드워드들을 투영하도록 구성된 레이저 시스템을 포함하는 이미지 투영 디바이스를 포함할 수도 있다. 구조형 광 시스템은 추가적으로, 센서를 포함하는 수신기 디바이스를 포함하고, 수신기 디바이스는 오브젝트로부터 반사된, 투영된 코드워드들을 감지하도록 구성된다. 구조형 광 시스템은 추가적으로, 메모리 디바이스에 저장된 심도 맵의 적어도 부분을 취출 (retrieve) 하고, 심도 맵으로부터 예상되는 코드워드들을 계산하도록 구성된 프로세싱 회로를 포함할 수도 있다. 구조형 광 시스템은 추가적으로, 감지된 코드워드들 및 예상되는 코드워드들에 기초하여 레이저 시스템의 출력 파워를 제어하도록 구성된 피드백 시스템을 포함할 수도 있다.
일부 구현들에 있어서, 프로세싱 회로는 감지된 코드워드들에 기초하여 심도 맵을 업데이트하도록 더 구성된다. 일부 구현들에 있어서, 메모리 디바이스는 업데이트된 심도 맵을 저장하도록 더 구성된다.
일부 구현들에 있어서, 피드백 시스템은 감지된 코드워드들을 예상되는 코드워드들과 비교하는 코드 도메인 통계 (code domain statistic) 를 결정하도록 구성된다. 일부 구현들에 있어서, 피드백 시스템은 결정된 코드 도메인 통계에 적어도 부분적으로 기초하여 레이저 시스템의 출력을 제어한다. 일부 구현들에 있어서, 코드 도메인 통계는 심볼 분류 정확도를 정량화한다. 일부 구현들에 있어서, 코드 도메인 통계는 강도 분산들 (intensity variances) 의 합에 의해 나누어진 강도 평균들에서의 차이의 제곱이다.
일부 구현들에 있어서, 프로세싱 회로는 심도 맵 및/또는 사전에 수신된 코드워드들로부터 예상되는 수신된 심볼들을 계산하도록 더 구성된다. 일부 구현들에 있어서, 프로세싱 회로는 각각의 수신된 강도 값을 대응하는 예상되는 수신된 심볼들에 할당하도록 더 구성된다. 일부 구현들에 있어서, 프로세싱 회로는 각각의 심볼에 대한 평균 강도 값을 계산하도록 더 구성된다. 일부 구현들에 있어서, 프로세싱 회로는 각각의 심볼에 대한 분산 강도 값을 계산하도록 더 구성된다. 일부 구현들에 있어서, 프로세싱 회로는 강도 분산들의 합에 의해 나누어진 강도 평균들에서의 차이의 제곱으로서 코드 도메인 통계를 계산하도록 더 구성된다.
일부 구현들에 있어서, 코드 도메인 통계는 코드워드 검출 정확도를 정량화한다. 일부 구현들에 있어서, 코드 도메인 통계는 예상되는 코드워드들에 매칭되는 수신된 코드워드들의 퍼센티지 (percentage) 이다.
일부 구현들에 있어서, 프로세싱 회로는 수신된 코드워드들을 예상되는 코드워드들에 대해 비교하도록 더 구성된다. 일부 구현들에 있어서, 프로세싱 회로는 정확하게 수신된 코드워드들의 퍼센티지를 계산하도록 더 구성된다. 일부 구현들에 있어서, 정확하게 수신된 코드워드들은 예상되는 코드워드들에 대응한다.
일부 구현들에 있어서, 코드 도메인 통계는 기초 함수 정확도를 정량화한다. 일부 구현들에 있어서, 코드 도메인 통계는 예상되는 기초 함수들에 매칭되는 수신된 기초 함수들의 퍼센티지이다.
일부 구현들에 있어서, 프로세싱 회로는 심도 맵 및/또는 사전에 수신된 코드워드들로부터 예상되는 기초 함수들을 계산하도록 구성된다. 일부 구현들에 있어서, 프로세싱 회로는 수신된 기초 함수들을 예상되는 기초 함수들에 대해 비교하도록 구성된다. 일부 구현들에 있어서, 프로세싱 회로는 정확하게 수신된 기초 함수들의 퍼센티지를 계산하도록 더 구성된다. 일부 구현들에 있어서, 정확하게 수신된 기초 함수들은 예상되는 기초 함수들에 대응한다.
일부 구현들에 있어서, 피드백 시스템은 레이저 시스템의 출력 파워를 코드 도메인 통계에 대한 최대 값으로 수렴 (converge) 하도록 반복적으로 (iteratively) 제어한다.
다른 혁신은 구조형 광 시스템에서 레이저 파워를 제어하는 방법이다. 이 방법은, 메모리 디바이스로 심도 맵을 저장하는 단계를 포함할 수도 있다. 이 방법은, 레이저 시스템으로 코드워드들을 투영하는 단계를 포함할 수도 있다. 이 방법은, 수신기 센서로, 오브젝트로부터 반사된 투영된 코드워드들을 감지하는 단계를 포함할 수도 있다. 이 방법은, 메모리 디바이스로부터 심도 맵의 부분을 취출하는 단계를 포함할 수도 있다. 이 방법은, 심도 맵으로부터 예상되는 코드워드들을 계산하는 단계를 포함할 수도 있다. 이 방법은, 감지된 코드워드들 및 예상되는 코드워드들에 기초하여 레이저 시스템의 출력 파워를 제어하는 단계를 포함할 수도 있다.
다양한 실시형태들에서, 방법은, 감지된 코드워드들에 기초하여 심도 맵을 업데이트하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 메모리 디바이스로, 업데이트된 심도 맵을 저장하는 단계를 더 포함할 수도 있다.
다양한 실시형태들에서, 방법은, 감지된 코드워드들을 예상되는 코드워드들과 비교하는 코드 도메인 통계를 결정하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 결정된 코드 도메인 통계에 적어도 부분적으로 기초하여 레이저 시스템의 출력 파워를 제어하는 단계를 더 포함할 수도 있다.
다양한 실시형태들에서, 방법은, 심도 맵 및/또는 사전에 수신된 코드워드들로부터 예상되는 수신된 심볼들을 계산하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 각각의 수신된 강도 값을 대응하는 예상되는 수신된 심볼들에 할당하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 각각의 심볼에 대한 평균 강도 값을 계산하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 각각의 심볼에 대한 분산 강도 값을 계산하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 강도 분산들의 합에 의해 나누어진 강도 평균들에서의 차이의 제곱으로서 코드 도메인 통계를 계산하는 단계를 더 포함할 수도 있다.
다양한 실시형태들에서, 방법은, 수신된 코드워드들을 예상되는 코드워드들에 대해 비교하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 정확하게 수신된 코드워드들의 퍼센티지를 계산하는 단계를 더 포함할 수도 있고, 정확하게 수신된 코드워드들은 예상되는 코드워드들에 대응한다.
다양한 실시형태들에서, 방법은, 심도 맵 및/또는 사전에 수신된 코드워드들로부터 예상되는 기초 함수들을 계산하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 수신된 기초 함수들을 예상되는 기초 함수들에 대해 비교하는 단계를 더 포함할 수도 있다. 다양한 실시형태들에서, 방법은, 정확하게 수신된 기초 함수들의 퍼센티지를 계산하는 단계를 더 포함할 수도 있고, 정확하게 수신된 기초 함수들은 예상되는 기초 함수들에 대응한다.
다양한 실시형태들에서, 방법은, 레이저 시스템의 출력 파워를 코드 도메인 통계에 대한 최대 값으로 수렴하도록 반복적으로 제어하는 단계를 더 포함할 수도 있다.
또 다른 혁신은 구조형 광 시스템이다. 이 구조형 광 시스템은, 심도 맵을 저장하는 수단을 포함할 수도 있다. 이 구조형 광 시스템은, 코드워드들을 투영하는 수단을 포함할 수도 있다. 이 구조형 광 시스템은, 오브젝트로부터 반사된, 투영된 코드워드들을 감지하는 수단을 포함할 수도 있다. 이 구조형 광 시스템은, 심도 맵을 저장하는 수단으로부터 심도 맵의 부분을 취출하는 수단을 포함할 수도 있다. 이 구조형 광 시스템은, 심도 맵으로부터 예상되는 코드워드들을 계산하는 수단을 포함할 수도 있다. 이 구조형 광 시스템은, 감지된 코드워드들과 예상되는 코드워드들 간의 비교에 기초하여 투영하는 수단의 출력 파워를 제어하는 수단을 포함할 수도 있다.
다양한 실시형태들에서, 저장하는 수단은 메모리 디바이스를 포함할 수도 있다. 다양한 실시형태들에서, 투영하는 수단은 레이저 시스템을 포함할 수도 있다. 다양한 실시형태들에서, 감지하는 수단은 수신기 센서를 포함한다. 다양한 실시형태들에서, 취출하는 수단은 프로세싱 회로를 포함한다. 다양한 실시형태들에서, 계산하는 수단은 프로세싱 회로를 포함한다. 다양한 실시형태들에서, 제어하는 수단은 피드백 시스템을 포함한다.
다양한 실시형태들에서, 구조형 광 시스템은 추가적으로, 감지된 코드워드들을 예상되는 코드워드들과 비교하는 코드 도메인 통계를 결정하는 수단을 포함한다. 다양한 실시형태들에서, 구조형 광 시스템은 추가적으로, 결정된 코드 도메인 통계에 적어도 부분적으로 기초하여 레이저 시스템의 출력 파워를 제어하는 수단을 포함한다.
또 다른 혁신은, 실행될 때 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체이다. 이 방법은, 메모리 디바이스로 심도 맵을 저장하는 단계를 포함할 수도 있다. 이 방법은, 레이저 시스템으로 코드워드들을 투영하는 단계를 포함할 수도 있다. 이 방법은, 수신기 센서로, 오브젝트로부터 반사된 투영된 코드워드들을 감지하는 단계를 포함할 수도 있다. 이 방법은, 메모리 디바이스로부터 심도 맵의 부분을 취출하는 단계를 포함할 수도 있다. 이 방법은, 심도 맵으로부터 예상되는 코드워드들을 계산하는 단계를 포함할 수도 있다. 이 방법은, 감지된 코드워드들 및 예상되는 코드워드들에 기초하여 레이저 시스템의 출력 파워를 제어하는 단계를 포함할 수도 있다.
다양한 특징들, 양태들 및 이점들은 본 명세서의 설명 및 거기에 첨부된 도면들로부터 명백하게 될 것이고, 첨부 도면들에서 동일한 참조 부호들은 일반적으로 그 도면들에서 도시된 대응하는 양태들 또는 컴포넌트들을 식별할 것이다. 당해 기술분야에서 통상의 지식을 가진 자 (이하, '통상의 기술자' 라 함) 는, 실시형태에 대해 설명되거나 예시된 양태들은, 달리 진술되지 않는 한, 이러한 실시형태의 기능 또는 구현을 위해 비실용적이지 않은 경우에, 하나 이상의 다른 설명된 또는 예시된 실시형태들에 포함될 수도 있음을 이해할 것이다.
도 1 은 능동 감지 시스템의 일 예를 나타내는 모식도이고, 여기서, 장면을 조명하고 심도 정보를 획득하기 위해 알려진 패턴이 사용되고, 그 심도 정보를 이용하여, 2-차원 (2D) 이미지들 및/또는 정보로부터 3-차원 (3D) 정보를 생성하게 된다.
도 2 는 3D 장면이 2D 이미지들 또는 정보로부터 구성되는 능동 감지를 위한 시스템의 다른 예를 나타내는 도면이다.
도 3 은 오브젝트 또는 장면에 대해 어떻게 심도가 감지될 수도 있는지를 나타내는 모식도이다.
도 4 는 복합 코드 마스크를 생성하고 및/또는 이러한 복합 코드 마스크를 투영하도록 구성될 수도 있는 송신기 디바이스의 일 예를 나타내는 블록도이다.
도 5 는 복합 코드 마스크로부터 심도 정보를 획득하도록 구성될 수도 있는 수신기 디바이스의 일 예를 나타내는 블록도이다.
도 6 은 본원에 개시된 에러 정정 방법들의 하나 이상을 수행하도록 구성된 장치의 하나의 실시형태의 블록도이다.
도 7 은 밝은 그리고 어두운 스폿들에 대응하는 심볼들의 어레이들을 갖는 코드 마스크의 일 예를 나타내는 그림이다.
도 8 은, 도 7 의 코드 마스크와 같은, 코드 마스크를 통해 레이저에 의해 투영된 코드워드들과 중첩된, 심도 맵을 생성하기 위해 사용되는 장면의 이미지를 나타내는 그림이다.
도 9 는 도 8 의 장면에 대한 심도 맵의 일 예를 나타낸다.
도 10 은 최적의 파워 레벨에서 조명되는 코드워드의 일 예를 나타낸다. 코드워드는, 도 7 의 코드 마스크에서 인코딩되는 심볼들에 대응하는, "0" 또는 "1" 심볼들의 4x4 어레이를 포함하고, 이 심볼들은 "0" 심볼들과 "1" 사이에 강도 값들에서 잘 정의된 경계들 및 분명한 분리를 갖는다.
도 11 은 도 10 에서 기술되는 바와 같이 최적의 레이저 파워로 도 7 의 코드 마스크에서 인코딩되는 "0" 및 "1" 심볼들에 대한 강도 값들의 잘 분리된 확률 분포 함수들의 일 예를 도시한다.
도 12 는, 밝은 스폿들이 도 10 에서와 같이 밝지는 않도록, 도 10 에서보다 더 낮은 파워 레벨로 조명되는, 도 10 의 코드워드의 일 예를 나타낸다.
도 13 은, 도 12 를 참조하여 기술되는 바와 같이, 최적의 파워 레벨보다 더 낮은 파워 레벨에서, 도 7 의 코드 마스크에서 인코딩되는 "0" 및 "1" 심볼들에 대한 심볼에 의해 강도 값들의 중첩하는 확률 분포 함수들의 일 예를 도시한다.
도 14 는, 밝은 스폿들이 포화되고, 서로의 내로 번지고, 일부 어두운 스폿들이 밝게 보이도록 하도록, 도 10 에서보다 더 높은 파워 레벨로 조명되는, 도 10 의 코드워드의 일 예를 나타낸다.
도 15 는, 도 14 에서 기술되는 바와 같이, 최적의 레이저 파워보다 더 높은 파워에서, 도 7 의 코드 마스크에서 인코딩되는 "0" 및 "1" 심볼들에 대한 심볼에 의해 강도 값들의 중첩하는 확률 분포 함수들의 일 예를 도시한다.
도 16 은 파워 레벨의 함수로서 2 개의 심볼들 사이의 콘트라스트 또는 분리의 그래프의 일 예를 나타낸다.
도 17 은 예시적인 실시형태에서 3 개의 상이한 파워 셋팅들에서 취해지는 구조형 광 이미지들을 나타낸다.
도 18 은, 구조형 광 시스템에서 수신기에 의해 감지될 때 포화되도록 너무 밝지도 않고 감지되고 구분되도록 너무 어둡지도 않은 코드워드들을 투영하도록 구조형 광 시스템에서 레이저를 제어하기 위해 사용될 수 있는 피드백 제어 시스템의 일 예를 나타낸다.
도 19 는 기존의 심도 맵 정보 및 코드워드들의 감지된, 반사된, 이미지들에 기초하여 코드 도메인 통계를 이용하여 구조형 광 송신기의 파워를 조절하기 위한 프로세스 (1900) 의 일 예를 나타낸다.
도 20 은, 코드 도메인 통계의 계산을 포함하는, 오브젝트로부터 반사되는 수신된 코드워드들로부터 결정된 정보를 이용하여 구조형 광 송신기의 파워를 제어하기 위한 프로세스 (2000) 의 일 예를 나타낸다.
도 21 은 프로세스 (2000) 의 코드 도메인 통계를 계산하기 위한 프로세스 (2100) 의 일 예를 나타내고, 여기서, 코드 도메인 통계는 강도 분산들의 합에 의해 나누어진 강도 평균들에서의 차이의 제곱에 의해 측정되는 바와 같은 심볼들 사이의 콘트라스트이다.
도 22 는 프로세스 (2000) 의 코드 도메인 통계를 계산하기 위한 프로세스 (2200) 의 일 예를 나타내고, 여기서, 코드 도메인 통계는 예상되는 코드워드들에 매칭되는 수신된 코드워드들의 퍼센티지이다.
도 23 은 프로세스 (2000) 의 코드 도메인 통계를 계산하기 위한 프로세스 (2300) 의 일 예를 나타내고, 여기서, 코드 도메인 통계는 예상되는 기초 함수들에 매칭되는 수신된 기초 함수들의 퍼센티지이다.
이하의 상세한 설명은 특정 구체적인 실시형태들로 지향된다. 하지만, 개시되는 방법들 및 시스템들은 다수의 상이한 방식들로 구현될 수도 있다. 본원의 양태들은 아주 다양한 형태들로 구현될 수도 있고, 본원에 개시된 임의의 특정 구조, 기능, 또는 양자는 단지 대표적이라는 것을 분명히 하여야 한다. 본원에 개시된 양태들은 임의의 다른 양태들과는 독립적으로 구현될 수도 있다. 이들 양태들 중 2 개 이상이 다양한 방식들로 결합될 수도 있다. 예를 들어, 본원에 전개된 양태들의 임의의 개수를 이용하여 장치가 구현될 수도 있거나 방법이 실시될 수도 있다. 또한, 본원에서 전개된 양태들의 하나 이상에 추가하여 또는 그 외의 다른 구조, 기능, 또는 구조 및 기능을 이용하여 이러한 장치가 구현될 수도 있거나 이러한 방법이 실시될 수도 있다.
또한, 본원에 기술된 시스템들 및 방법들은 다양한 상이한 촬상 시스템들 및 컴퓨팅 디바이스들 및 시스템들 상에서 구현될 수도 있다. 그것들은 범용 또는 특수 목적 시스템들을 이용할 수도 있다.
구조형 광 시스템들은 코드워드들의 수신된 패턴들을 디코딩하고 그것들을 송신된 패턴들에 대해 비교함으로써 심도 맵들을 생성한다. 수신된 심볼들 및 코드워드들이 상이한 심볼 값들에 대해 잘 정의된 공간적 경계들 및 잘 분리된 강도 레벨들을 갖는 경우에, 수신된 패턴들을 정확하게 디코딩하고 정확한 심도 맵들을 생성하는 것이 가능하다. 심볼 경계들이 잘 정의되지 않고, 및/또는 강도 레벨들이 잘 분리되지 않는 경우에는, 정확도 검출은 떨어지고 심도 맵 정확도는 고통받는다.
구조형 광 시스템들은 마스크를 통해 제어가능한 파워 레벨에서 광을 방출함으로써 코드워드들의 패턴들을 송신한다. 일부 실시형태들에서, 광원은 (비록 그것이 또한 다른 타입의 광원일 수도 있지만) 레이저이고, 마스크는 회절형 광학 엘리먼트이다. 광원의 파워 레벨이 너무 낮은 경우에, 심볼들은 정확하게 수신되고 올바르게 디코딩되기에 너무 어두울 수도 있다. 전원의 보다 높은 파워 레벨에서, 송신된 심볼들은, 그들의 경계들이 잘 윤곽지어지고, 그리고 증가하는 파워로, 강도에 의해 잘 분리되기 때문에, 디코딩될 가능성이 보다 높을 수 있다. 예를 들어, "0" 심볼들은 어둡게 보이고, "1" 심볼들은 밝게 보이며, 어두운 심볼들과 밝은 심볼들 사이에 큰 강도 갭 (gap) 이 존재한다. 광원의 파워 레벨이 너무 높은 경우에는, 심볼들은 심볼들의 의도된 경계들 너머 보호 밴드들 내로 그리고 심지어 이웃하는 심볼들 내로 번지는 것으로 나타날 수도 있다. 따라서, 광원의 파워 레벨이 너무 높은 경우에, 심볼 경계들은 심볼들이 서로 섞일 수도 있으므로 불분명할 수도 있고, 수신된 심볼들은 투영되었던 것과는 상당히 상이하게 나타날 수도 있어서, 검출 정확도를 감소시킨다. 임의의 특정 장면에서, 상이한 거리들에서의 및/또는 상이한 표면 특성들을 갖는 오브젝트들은 정확한 디코딩을 위해 상이한 레이저 파워 레벨들을 필요로 할 수도 있다.
개시된 기술은, 수신된 이미지들이 정확하게 디코딩될 수 있도록, 광원 파워 레벨을 제어하기 위한 시스템들 및 방법들을 포함한다. 코드 도메인 통계는, 예를 들어, 상이한 심볼 값들 사이의 콘트라스트 또는 분리를 정량화하는 것, 코드워드 검출 정확도를 정량화하는 것, 또는, 기초 함수 검출 정확도를 정량화하는 것에 의해, 수신된 이미지들이 얼마나 효율적으로 디코딩될 수 있는지를 특성화하기 위해 사용된다. 이들 측정치들은 직접적으로 디코딩 정확도를 특성화하고, 코드 도메인 통계를 (예를 들어, 네거티브 피드백 루프를 통해, 또는 적응적 알고리즘을 이용하여) 레이저 제어기로 피드백함으로써 최적의 레이저 파워 레벨로의 제어 수렴을 가능하게 한다. 그 결과, 결과적인 심도 맵은 보다 적은 디코딩 에러들을 가질 수도 있고 따라서 보다 정확할 수도 있다.
도 1 은 2 차원 이미지들로부터, 심도 맵 (107) 과 같은, 3 차원 정보를 생성하는 능동 감지 시스템 (100) 의 일 예를 나타낸다. 능동 감지 시스템 (100) 은 송신기 (102) 및 수신기 (108) 를 포함한다. 송신기 (102) 는 투영된 이미지 (104) 를 형성하기 위해 코드 마스크를 통해 광을 투영시킨다. 투영된 이미지 (104) 의 섹션 (112) 은 장면 (106) 상으로 투영되는 고유한 코드워드 (120) 를 포함한다. 장면 (106) 에서의 오브젝트(들)의 표면은 공간적 패턴 (116) 에 의해 조명되고, 이는 수신기 (108) 에 의해 감지되는 반사된 이미지의 일부를 형성한다. 도 3 과 관련하여 이하 설명되는 바와 같이, 수신기 (108) 는, 고유한 코드워드 (120) 를 포함하는, 반사된 이미지 (110) 의 부분 (118) (세그먼트) 을 감지하고, 장면 (106) 에서의 오브젝트의 표면의, 심도 맵 (107) 을 생성하기 위한, 심도 정보를 결정하기 위해, 고유한 코드워드 (120) 의 상대적인 포지션을 코드 마스크에서의 다른 고유한 코드워드들에 대해 비교한다. 수신기 (108) 는, 반사된 이미지 (110) 의 다른 세그먼트들로부터 다른 식별가능한 코드워드들을 반사하는, 장면에서의 오브젝트들의 표면들에 걸친 심도 추정치들에 기초하여 심도 맵 (107) 을 형성한다. 캡처되는 각각의 세그먼트 (118) 는, 수신기 (108) 및 코딩된 마스크의 알려진 패턴으로부터 확인되는 다른 세그먼트들에 대한 그것의 로케이션에서 고유하게 식별가능할 수도 있다. 수신기 (108) 는 왜곡을 해결하기 위한 패턴 세그먼트화 기법들, 코드들을 식별하기 위한 디코딩 기법들, 및 배향 및/또는 심도를 확인하기 위한 삼각측량을 이용할 수도 있다.
도 2 는 심도 맵들을 생성하고 장면들의 3 차원 표현들을 디스플레이하기 위한 능동 감지를 위한 시스템의 다른 예를 나타낸다. 인코더/형상 변조기 (201) 는 코드 마스크를 생성할 수도 있고, 이 코드 마스크는 그 후에 송신 채널 (204) 을 통해 송신기 디바이스 (202) 에 의해 투영된다. 코드 마스크는 타겟 (예를 들어, 장면) 상으로 투영될 수도 있고, 반사된 광은 투영된 코드 마스크 이미지로서 수신기 센서 (205) 에 의해 캡처된다. 수시기 센서 (205) (예컨대, 도 1 에서의 수신기 (108)) 는, 세그먼트화/디코더 (206) 가 심도 맵 (208) 을 생성하기 위해 사용되는 심도 정보를 결정하기 위해 세그먼트화하고 디코딩하는, 타겟의 반사된 이미지를 캡처한다. 심도 맵 (208) 은 그 후에, 타겟, 예를 들어, 타겟들 (210a-e) 중 하나의 3D 이미지 버전을 프리젠팅, 생성, 및/또는 제공하기 위해 사용될 수도 있다.
능동 감지는 장면 상에서 송신기 디바이스 (202) 에 의해 투영되고 있는 코드 마스크로부터 공간적 코드들 (예컨대, 코드워드들) 을 (수신기 센서 (205) 및/또는 세그먼트화/디코더 (206) 에서) 을 인식하는 것이 가능한 것에 의존한다. 장면이 송신기 및 수신기에 너무 가까운 경우에는, 장면의 표면이 각지거나 곡선을 이룰 수도 있고, 베이스라인 기준 평면이 경사질 수도 있고, 코드들은 알려지지 않은 아핀 변환 (예컨대, 회전, 스큐우, 압축, 연장 등) 하에서 변형될 수도 있다.
본원에 기술된 특징들의 하나 이상의 양태들은 도 1 및 도 2 의 예시적인 환경 내에서 구현될 수도 있다.
도 3 은 장면에서의 하나 이상의 오브젝트들에 대해 어떻게 심도가 감지될 수도 있는지의 일 예를 나타낸다. 도 3 은 송신기 (302) 및 수신기 (304) 를 포함하는 디바이스 (300) 를 도시한다. 디바이스는 코드워드 투영 (codeword projection) (310) 으로서 송신기 (302) 로부터 방출된 구조형 광으로 2 개의 오브젝트들 (306 및 308) 을 조명하고 있다. 코드워드 투영 (310) 은 오브젝트들 (306 및/또는 308) 로부터 반사되고, 센서 평면 (307) 상에서 수신기 (304) 에 의해 반사된 코드워드 (311) 로서 수신된다.
도 3 에서 예시된 바와 같이, 송신기 (302) 는 수신기 (304) 와 동일한 기준 평면 (예컨대, 렌즈 평면 (305)) 상에 있다. 송신기 (302) 는 개구 (313) 를 통해 오브젝트들 (306 및 308) 상으로 코드워드 투영 (310) 을 투영한다.
코드워드 투영 (310) 은 오브젝트 (306) 를 투영된 세그먼트 (312') 로서 조명하고, 오브젝트 (308) 를 투영된 세그먼트 (312'') 로서 조명한다. 투영된 세그먼트들 (312' 및 312'') 이 수신기 개구 (315) 를 통해 수신기 (304) 에 의해 수신될 때, 반사된 코드워드 (311) 는 제 1 거리 (d1) 에서 오브젝트 (308) 로부터 생성된 반사들 및 제 2 거리 (d2) 에서 오브젝트 (306) 로부터 생성된 반사들을 보여줄 수도 있다.
도 3 에 의해 도시된 바와 같이, 오브젝트 (306) 는 송신기 (302) 에 가장 가깝게 위치되기 때문에 (예컨대, 송신기 디바이스로부터 제 1 거리), 투영된 세그먼트 (312') 는 그것의 초기 로케이션으로부터 거리 d2 에서 나타난다. 반면에, 오브젝트 (308) 는 더 멀리 위치되기 때문에 (예컨대, 송신기 (302) 로부터 제 2 거리), 투영된 세그먼트 (312'') 는 그것의 초기 로케이션으로부터 거리 d1 에서 나타난다 (여기서, d1 < d2). 즉, 오브젝트가 송신기/수신기로부터 더 멀리 떨어질수록, 수신된 투영된 세그먼트/부분/윈도우는 수신기 (304) 에서의 그것의 원래의 포지션으로부터 더 가깝다 (예컨대, 나가는 투영 및 들어오는 투영은 보다 평행하다). 역으로, 오브젝트가 송신기/수신기로부터 더 가까울수록, 수신된 투영된 세그먼트/부분/윈도우는 수신기 (304) 에서의 그것의 원래의 포지션으로부터 더 멀다. 따라서, 수신된 및 송신된 코드워드 포지션 사이의 거리는 오브젝트의 심도의 표시자로서 사용될 수도 있다. 하나의 예에서, 이러한 심도 (예컨대, 상대적인 심도) 는 이미지에서의 각각의 픽셀 또는 그룹핑된 픽셀들 (예컨대, 2 개 이상의 픽셀들의 구역들) 에 의해 묘사되는 오브젝트들에 대한 심도 값을 제공할 수도 있다.
다양한 유형들의 변조 및 코딩 방식들이 코드워드 투영 또는 코드 마스크를 생성하기 위해 사용될 수도 있다. 이들 변조 및 코딩 방식들은, 예를 들어, 시간적 코딩, 공간적 코딩, 및 직접적 부호화 (direct codification) 를 포함한다.
시간적 코딩에서, 패턴들은 시간에 걸쳐 측정 표면 상으로 성공적으로 투영된다. 이 기법은 높은 정확도 및 해상도를 가지지만, 동적 장면들에 대해 덜 적합하다.
공간적 코딩에서, 정보는 형상들 및 패턴들에 기초하여 로컬 이웃에서 인코딩된다. 의사랜덤 코드들은 De-Bruijn 또는 M-어레이들 정의 유효한 코드워드들의 코드북 (예컨대, m-진 강도 또는 컬러 변조) 에 기초할 수도 있다. 패턴 세그먼트화는 예를 들어 형상들 및 패턴들이 왜곡되는 경우에 쉽게 획득되지 않을 수도 있다.
직접적 부호화에서, 수평 및 수직 픽셀 좌표들 양자가 인코딩된다. 변조는 단조 위상 또는 강도 파형에 의할 수도 있다. 하지만, 이러한 방식은 다른 방법들에 대해 이용되는 코드북보다 더 큰 코드북을 이용할 수도 있다. 대부분의 방법들에서, 수신된 코드워드들 (감지된 코드워드들) 은 (예컨대, 코드북에서) 가능한 코드워드들의 정의된 셋트에 대하여 상관될 수도 있다. 따라서, 코드워드들의 작은 셋트 (예컨대, 작은 코드북) 의 사용은 보다 큰 코드북보다 더 나은 퍼포먼스를 제공할 수도 있다. 또한, 보다 큰 코드북은 코드워드들 사이의 보다 작은 거리들을 초래하기 때문에, 추가적인 에러들이 보다 큰 코드북들을 이용한 구현들에 의해 경험될 수도 있다.
구조형 광 패턴들은 광을 코드마스크를 통해 비춤으로써 장면 상으로 투영될 수도 있다. 코드마스크를 통해 투영된 광은 하나 이상의 바둑판무늬의 코드마스크 프리미티브들을 포함할 수도 있다. 각각의 코드마스크 프리미티브 (primitive) 는 공간적 코드들의 어레이를 포함할 수도 있다. 코드북 또는 데이터 구조는 코드들의 셋트를 포함할 수도 있다. 공간적 코드들, 코드마스크, 및 코드마스크 프리미티브들은 기초 함수들 (basis functions) 을 사용하여 생성될 수도 있다. 기초 함수들의 주기성들은 (고스트 이미지들을 제거하고 제조를 단순화하기 위한) 에르미트 대칭성의 전체 패턴, (코드워드 당 최소 파워를 보장하기 위해) 최소 듀티 사이클, (높은 해상도를 위한 최적 윤곽 해상도 및 코드 패킹을 위한) 완벽한 윈도우 특성, 및 (오브젝트 경계들 상의 향상된 검출을 위한) 랜덤화된 시프팅을 위한 요건들을 충족시키기 위해 선택될 수도 있다. 수신기는 수신된 패턴들에서 복조, 디코딩, 및 에러들을 정정할 때 제약들에 대해 준수하도록 의도된 설계의 속성들 및/또는 코드북을 이용할 수도 있다.
공간적 코드들의 사이즈 및 대응하는 해상도는 코드마스크 상의 공간적 코드의 물리적인 공간적 확장에 대응한다. 사이즈는 각각의 코드워드를 나타내는 매트릭스에서의 행들 및 열들의 수에 대응할 수도 있다. 코드워드들이 더 작을수록, 검출될 수 있는 오브젝트는 더 작다. 예를 들어, 셔츠 상의 버튼과 셔츠 옷감 사이의 심도 차이를 검출하고 결정하기 위해, 코드워드는 버튼의 사이즈보다 더 커서는 아니된다. 일부 실시형태들에서, 각각의 공간적 코드는 4 개의 행들 및 4 개의 열들을 점유할 수도 있다. 일부 실시형태들에서, 코드들은, 예를 들어, 3x3, 4x4, 4x5, 5x5, 6x4, 또는 10x10 행들 및 열들을 점유하기 위해 더 많은 또는 더 적은 행들 및 열들 (행들 x 열들) 을 점유할 수도 있다.
공간적 코드들의 공간적 표현은 어떻게 각각의 코드워드 엘리먼트가 코드마스크 상에 패턴닝되고 그 다음에 장면 상으로 투영되는지에 대응한다. 예를 들어, 각각의 코드워드 엘리먼트는 하나 이상의 점들, 하나 이상의 라인 세그먼트들, 하나 이상의 그리드들, 몇몇 다른 형상, 또는 이들의 몇몇 조합을 이용하여 표현될 수도 있다.
공간적 코드들의 "듀티 사이클 (duty cycle)" 은 코드워드에서의 확인되지 않은 비트들 또는 부분들 (예컨대, "0 들") 의 수에 대한 확인된 비트들 또는 부분들 (예컨대, "1 들") 의 수의 비율에 대응한다. 코드워드를 포함하는 코딩된 광 패턴이 장면 상으로 투영될 때, "1" 의 값을 갖는 각각의 비트 또는 부분은 에너지 (예컨대, "광 에너지") 를 가질 수도 있지만, "0" 의 값을 갖는 각각의 비트는 에너지가 없을 수도 있다. 코드워드가 쉽게 검출가능하기 위해서는, 코드워드는 충분한 에너지를 가져야만 한다.
코드들의 "윤곽 해상도 (contour resolution)" 또는 "완벽한 윈도우 (perfect window)" 특성은, 코드워드가 일정 양만큼 예를 들어 1-비트 회전 만큼 시프트될 때, 결과적인 데이터는 다른 코드워드를 표현하는 것을 나타낸다.
도 4 는 복합 코드 마스크 (composite code mask) 를 생성하고 및/또는 이러한 복합 코드 마스크를 투영하도록 구성될 수도 있는 송신기 디바이스의 일 예를 나타내는 블록도이다. 송신기 디바이스 (402) 는 메모리/저장 디바이스 (406) (메모리 디바이스), 이미지 투영 디바이스 (408), 및/또는 유형의 매체 (409) 에 커플링된 프로세싱 회로 (404) 를 포함할 수도 있다. 일부 양태들에서, 송신기 디바이스 (402) 는 도 3 과 관련하여 상기 논의된 송신기 (302) 에 대응할 수도 있다.
제 1 예에서, 송신기 디바이스 (402) 는 유형의 매체 (409) 를 포함하도록 커플링될 수도 있다. 유형의 매체는 복합 코드 마스크 (414) 를 정의, 포함, 및/또는 저장할 수도 있다. 유형의 매체는, 레이저 또는 다른 광원으로부터의 광이 예를 들어 근적외선 주파수에서 회절형 광학 엘리먼트 (diffractive optical element; DOE) 를 통해 투영될 때, 코드워드 패턴 이미지가 송신기로부터 투영되도록, 코드 마스크를 인코딩하는 DOE 일 수도 있다. 복합 코드 마스크는 캐리어 계층과 결합된 코드 계층을 포함할 수도 있다. 코드 계층은 복수의 심볼들에 의해 정의된 고유하게 식별가능한 공간적으로-코딩된 코드워드들을 포함할 수도 있다. 캐리어 계층은 코드 계층으로부터 독립적으로 확인가능하고 구분될 수도 있다. 캐리어 계층은 투영 시의 왜곡에 대해 강건한 복수의 기준 오브젝트들을 포함할 수도 있다. 코드 계층 및 캐리어 계층 중 적어도 하나는 투영 이전에 합성 포인트 확산 함수에 의해 사전-성형될 수도 있다.
제 2 예에서, 프로세싱 회로 (또는 프로세서) (404) 는 코드 계층 생성기/선택기 (416), 캐리어 계층 생성기/선택기 (418), 복합 코드 마스크 생성기/선택기 (420) 및/또는 사전-성형 (pre-shaping) 회로 (422) 를 포함할 수도 있다. 코드 계층 생성기/선택기 (416) 는 사전-저장된 코드 계층 (410) 을 선택할 수도 있고, 및/또는, 이러한 코드 계층을 생성할 수도 있다. 캐리어 계층 생성기/선택기 (418) 는 사전-저장된 캐리어 계층 (412) 을 선택할 수도 있고, 및/또는, 이러한 캐리어 계층을 생성할 수도 있다. 복합 코드 마스크 생성기/선택기는 사전-저장된 복합 코드 마스크 (414) 를 선택하고 및/또는 복합 코드 마스크 (414) 를 생성하기 위해 코드 계층 (410) 및 캐리어 계층 (412) 을 결합할 수도 있다. 선택적으로, 프로세싱 회로 (404) 는, 복합 코드 마스크가 투영될 채널에서 예상되는 왜곡에 대대 보상하기 위해, 복합 코드 마스크 (414), 코드 계층 (410), 및/또는 캐리어 계층 (412) 을 사전-성형하는 사전-성형 회로 (422) 를 포함할 수도 있다.
일부 구현들에서, 복수의 상이한 코드 계층들 및/또는 캐리어 계층들이 이용가능할 수도 있고, 여기서, 각각의 이러한 캐리어 또는 코드 계층들은 상이한 조건들에 대해 (예컨대, 상이한 거리들에서의 오브젝트들, 또는 송신기 디바이스와 수신기 디바이스 사이의 상이한 구성들에 대해) 구성될 수도 있다. 실례로, 제 1 거리 또는 범위 내의 오브젝트들에 대해, 제 2 거리 또는 범위에서의 오브젝트들에 대해서와는 코드 및 캐리어 계층들의 상이한 조합이 사용될 수도 있고, 여기서, 제 2 거리는 제 1 거리보다 더 크다. 다른 예에서, 코드 및 캐리어 계층들의 상이한 조합은 송신기 디바이스와 수신기 디바이스의 상대적인 배향에 의존하여 사용될 수도 있다.
이미지 투영 디바이스 (408) 는 생성된/선택된 복합 코드 마스크를 관심대상의 오브젝트 상으로 투영하도록 기능할 수도 있다. 실례로, 레이저 또는 다른 광 소스가 복합 코드 마스크를 관심대상의 오브젝트 상으로 (예컨대, 투영 채널을 통해) 투영하기 위해 사용될 수도 있다. 하나의 예에서, 복합 코드 마스크 (414) 는 적외선 스펙트럼에서 투영될 수도 있어서, 그것은 육안으로 보이지 않을 수도 있다. 대신에, 적외선 스펙트럼 범위에서의 수신기 센서가 이러한 투영된 복합 코드 마스크를 캡처하기 위해서 사용될 수도 있다.
도 5 는 오브젝트로부터 반사된 복합 코드 마스크를 수신하고, 복합 코드 마스크로부터 심도 정보를 결정하도록 구성되는 수신기 디바이스 (502) 의 일 예를 나타내는 블록도이다. 수신기 디바이스 (502) 는 메모리/저장 디바이스에 커플링된 프로세싱 회로 (504) 및 수신기 센서 (508) (예컨대, 이미지 캡처링 디바이스 (508)) 를 포함할 수도 있다. 일부 양태들에서, 도 5 에서 도시된 수신기 디바이스 (502) 는 도 3 과 관련하여 상기 논의된 수신기 (304) 에 대응할 수도 있다. 일부 실시형태들에서, 수신기 센서 (508) 는 이미지 캡처 디바이스, 예를 들어, 카메라이다.
수신기 센서 (508) 는 오브젝트의 표면 상에 투영된 복합 코드 마스크의 적어도 부분을 획득하도록 구성될 수도 있다. 실례로, 수신기 센서는 타겟 오브젝트의 표면 상에 투영된 복합 코드 마스크 (414) 의 적어도 부분의 이미지를 캡처할 수도 있다. 복합 코드 마스크 (414) 는: (a) 복수의 심볼들에 의해 정의된 고유하게 식별가능한 공간적으로-코딩된 코드워드들의 코드 계층, 및 (b) 코드 계층과는 독립적으로 확인가능한 그리고 구분되는 그리고 투영 시에 왜곡에 대해 강건한 복수의 기준 오브젝트들을 포함하는 캐리어 계층에 의해 정의될 수도 있다. 코드 계층 및 캐리어 계층 중 적어도 하나는 투영 이전에 합성 포인트 확산 함수에 의해 사전-성형되었을 수도 있다. 하나의 예에서, 수신기 센서 (508) 는 적외선 스펙트럼에서 복합 코드 마스크를 캡처 (감지) 할 수도 있다.
여전히 도 5 를 참조하면, 일부 실시형태들에서, 코드 계층은 n1 바이 n2 바이너리 심볼들을 포함할 수도 있고, 여기서, n1 및 n2 는 2 보다 더 큰 정수들이다. 복합 코드 마스크에서, 각각의 심볼은 기준 오브젝트들과는 구분되는 2 개의 그레이-스케일 셰이드들 중 하나에서의 라인 세그먼트일 수도 있다. 코드 계층의 심볼들은 적어도 하나의 차원에서 갈지자형태일 수도 있다. 캐리어 계층 기준 오브젝트들은 사이에 보호 간격 (guard interval) 을 갖는 복수의 동등하게 이격된 기준 스트라이프들 (reference stripes) 을 포함할 수도 있다. 기준 스트라이프들 및 보호 간격은 상이한 폭들의 것일 수도 있다. 보호 간격 폭에 대한 각각의 기준 스트라이프의 폭은 송신기 디바이스 및/또는 수신기 디바이스의 예상되는 광학적 스프레딩에 의해 결정될 수도 있다.
프로세싱 회로 (504) 는 기준 스트라이프 검출기 회로/모듈 (512), 왜곡 조정 회로/모듈 (514), 코드워드 식별기 회로/모듈 (516), 심도 검출 회로/모듈 (518), 및/또는 심도 맵 생성 회로/모듈 (520) 을 포함할 수도 있다.
기준 스트라이프 검출기 회로/모듈 (512) 은 복합 코드 마스크의 부분 내에서 기준 스트라이프들을 검출하도록 구성될 수도 있다. 왜곡 조정 회로/모듈 (514) 은 기준 스트라이프들의 실제 배향에 대한 기준 스트라이프들의 예상되는 배향에 기초하여 복합 코드 마스크의 부분의 왜곡을 조정하도록 구성될 수도 있다. 코드워드 식별기 회로/모듈 (516) 은 복합 코드 마스크의 부분 내에서 정의된 윈도우로부터 코드워드를 획득하도록 구성될 수도 있다. 심도 검출 회로/모듈 (518) 은: (a) 복합 코드 마스크의 단일의 투영, 및 (b) 알려진 기준 코드 마스크에 대한 윈도우의 변위에 기초하여 윈도우에 대응하는 타겟 오브젝트의 표면 부분에 대한 심도 정보를 획득하도록 구성될 수도 있다.
심도 맵 생성 회로/모듈 (520) 은 왜곡되지 않은 복합 코드 마스크의 부분 내에서 상이한 오버랩핑하는 윈도우들로서 검출된 복수의 코드워드들에 기초하여 오브젝트에 대한 심도 맵을 어셈블링하도록 구성될 수도 있다.
도 6 은 본원에 개시된 에러 정정 방법들의 하나 이상을 수행하도록 구성된 장치의 일 실시형태를 나타내는 블록도이다. 장치 (600) 는 광 방출기 (602), 광 수신 엘리먼트 (604), 프로세서 (606), 및 메모리 (608) 를 포함한다. 광 방출기 (602), 광 수신 엘리먼트 (604), 프로세서 (606), 및 메모리 (608) 는 버스 (610) 를 통해 동작가능하게 접속된다. 일부 양태들에서, 광 수신 엘리먼트 (604) 는 도 5 와 관련하여 상기 논의된 수신기 디바이스 (502) 에 대응할 수도 있다. 일부 양태들에서, 광 방출기 (602) 는 도 4 와 관련하여 상기 논의된 송신기 디바이스 (402) 에 대응할 수도 있다.
메모리 (608) 는 본원에서 논의된 방법들의 하나 이상의 기능들을 수행하도록 프로세서 (606) 를 구성하는 명령들을 저장할 수도 있다. 예를 들어, 메모리에 저장된 명령들은, 타겟 오브젝트를 조명하기 위해 코드워드들로서 구조형 광을 인코딩하는 광을 방출하도록 광 방출기 (602) 를 제어하도록 프로세서 (606) 를 구성할 수도 있다. 메모리 (608) 에 저장된 명령들은, 추가적으로 프로세서 (606) 로 하여금, 타겟 오브젝트로부터 반사되는 광을 수신하고 반사된 광에서 인코딩된 데이터를 생성하도록 광 수신 엘리먼트 (604) 를 제어하게 할 수도 있다. 메모리에 저장된 명령들은 추가적으로, 이하에서 논의되는 방법 (1500) 에 따라 광 수신 엘리먼트에 의해 생성된 데이터에서 에러들을 정정하도록 프로세서를 구성할 수도 있다.
도 7 은 밝은 그리고 어두운 스폿들에 대응하는 심볼들의 어레이들을 갖는 코드 마스크 (700) 의 일 예의 그림이다. 밝은 스폿들은 "1" 심볼들에 대응한다. 그것들은 행들 및 열들에서 정렬되어 있고, 투영된 코드들에 구조를 부여하고 개별 심볼들 및 코드워드들의 공간적 경계들을 결정하는 것을 가능하게 하는 검은 보호 간격들 및 보호 밴드들에 의해 분리된다. 코드워드들은 심볼들의 행들 및 열들을 포함하는 직사각형 공간적 영역을 점유한다. 예를 들어, 코드워드는 4 개 행들 및 4 개 열들로 16 개의 심볼들을 포함할 수도 있다. 밝은 스폿들을 갖는 "1" 심볼들은 가시적이고, 하지만, 어두운 스폿들을 갖는 "0" 심볼들은 보호 간격들 및 보호 밴드들 내로 섞인다.
도 8 은, 도 7 의 코드 마스크와 같은, 코드 마스크를 통해 레이저에 의해 투영되는 코드워드들로 중첩되는 심도 맵을 생성하기 위해 사용되는 장면의 이미지의 그림 (800) 이다. 도 8 의 이미지는, 전경에서의 눈송이, 그 눈송이의 우측에 펴진 손에 의해 증가하는 심도로 이어지고, 프로파일에서의 조각된 머리, 엄지손가락이 위로 향한 주먹쥔 손, 엄지손가락이 위로 향한 손의 좌측에 펴진 손의 가장 먼 뒷부분을 포함한다. 코드워드들은 주파수 스펙트럼의 비-가시 부분에서 수신될 수도 있음에 따라, 도 8 의 중첩된 코드워드 투영은 도 8 에서 가시적이도록 폴스 컬러 (false color) 로 인쇄된다.
도 9 는, 상술된 구조형 광 기법들을 이용하여 결정된, 도 8 의 장면에 대한 심도 맵 (900) 의 일 예를 나타낸다. 최소 및 최대 심도의 포인트들은 도 9 에서 각각 표시된다. 일부 실시형태들에서, 심도 맵 (900) 은 비디오 레이트로 (예를 들어, 초 당 30 프레임으로) 지속적으로 업데이트된다. 사전에 수신된 프레임들로부터 생성된, 기존의 심도 맵은 각각의 새로운 이미지 프레임에 대한 예상되는 심도들의 셋트를 제공한다. 이미지에서의 각각의 로케이션에서의 심도는 각각의 로케이션에서의 예상되는 심도에 대응하고, 그 로케이션에서의 예상되는 코드워드, 심볼, 및 기초 함수를 결정하기 위해 사용될 수도 있다.
도 10 은 최적의 파워 레벨에서 투영된 코드워드의 일 예를 나타낸다. 코드워드는 도 7 의 코드 마스크에서 인코딩된 심볼들에 대응하는, 심볼들의 4x4 어레이 (1000) 를 포함한다. 도 10 에서의 심볼들은 "0" 및 "1" 심볼들 사이의 강도 값들에서 잘 정의된 경계들 및 분명한 분리를 갖는다. 심볼 (1010), 및 검은 경계선과 음영 없는 원으로서 묘사된 다른 3 개의 심볼들은 어두운 "0" 심볼 도트들에 대응한다. 심볼 (1020), 및 어두운 빗금음영을 갖는 원으로서 각각 묘사된 다른 11 개의 심볼들은 밝은 "1" 심볼 도트들에 대응한다. 도 10 의 예에서, 파워 레벨은 최적이다. 도 10 에서의 각각의 심볼은 에지들에 걸쳐 번지거나 포화를 갖지 않는 분명한 경계를 갖는다. 도 11 에서 추가로 예시되는 바와 같이, 어두운 도트들 (1010) 과 밝은 도트들 (1020) 사이에 분명한 강도 분리가 존재한다.
도 11 은 도 10 에서 기술되는 바와 같이 최적의 레이저 파워로 도 7 의 코드 마스크에서 인코딩되는, "0" 및 "1" 심볼들 각각에 대한 강도 값들의 잘 분리된 확률 분포 함수들의 일 예를 도시한다. 도 11 의 수평 및 수직 축들은 강도 레벨 및 확률 레벨에 각각 대응한다. 어두운 "0" 심볼들에 대한 확률 분포 함수 (1110) 는 μ0 의 평균 강도 레벨 및 σ0 의 표준 편차를 갖는 가우시안 분포에 근사한다. 대응하는 분산은
Figure 112018031589212-pct00001
이다. 유사하게, 밝은 "1" 심볼들에 대한 확률 분포 함수 (1120) 는 평균 μ1 및 σ1 의 표준 편차를 갖는 가우시안 분포에 근사한다. 이 예에서, μ1 > μ0 이고, σ1 > σ0 이다. 2 개의 확률 분포 함수들 (1110 및 1120) 은 잘 분리되지만 오버랩된다.
결정 경계 (1130) 의 좌측에 대한 수신된 강도 레벨들은 "1" 심볼들이라기보다는 "0" 심볼들일 가능성이 보다 높다. 2 개의 확률 분포 함수들 (1110 및 1120) 이 동등한 확률 값들을 가지면서 교차하는 결정 경계 (1130) 에서 확률은 동일하다. 결정 경계 (1130) 의 우측에 대한 수신된 강도 레벨들은 "0" 심볼들이라기보다는 "1" 심볼들일 가능성이 보다 높다. 따라서, 결정 경계 (1130) 의 좌측에 대한 강도 값들을 갖는 "0" 심볼들은 정확하게 분류될 것인 한편, 우측 꼬리 (1150) 에 대응하는 결정 경계의 우측에 대한 것들은 "1" 심볼들로서 부정확하게 분류될 것이다.
유사하게, 결정 경계 (1130) 의 우측에 대한 강도 값들을 갖는 "1" 심볼들은 정확하게 분류될 것인 한편, 좌측 꼬리 (1140) 에 대응하는 결정 경계의 좌측에 대한 것들은 "0" 심볼들로서 부정확하게 분류될 것이다. 따라서, 보다 적은 분리는 더 적은 심볼 분류 에러들에 대응한다.
도 11 의 예에서, 확률 분포 함수들 (1110 및 1120) 의 평균들에서의 차이는 그들의 분산들의 합에 의해 정규화될 때 비교적 크기 때문에 좌측 꼬리 (1140) 및 우측 꼬리 (1150) 는 작다. 이러한 관계는 아래의 식 (1) 에서 정의되는 바와 같이 콘트라스트 또는 클러스터 사이 내지 클러스터 내부 변동을 측정하는 코드 도메인 통계를 정량화될 수도 있다. 심볼 강도 레벨들 사이의 보다 양호한 분리는 A 에 대한 더 높은 값들에 대응한다.
Figure 112018031589212-pct00002
(1)
도 12 는, 심볼 (1220) 에서 더 가벼운 빗금음영에 의해 나타낸 바와 같이, 밝은 스폿들이 도 10 에서와 같이 밝지는 않도록, 더 낮은 파워 레벨로 조명되는, 도 10 의 코드워드의 일 예를 나타낸다. 도 12 에서의 심볼들은 잘 정의된 경계들을 가지지만, "0" 및 "1" 심볼들 사이의 강도 값들에서의 덜 분명한 분리가 존재한다. 심볼 (1210), 및 검은 경계와 음영 없는 원으로서 묘사된 다른 3 개의 심볼들은 어두운 "0" 심볼 도트들에 대응한다. 심볼 (1220), 및 가벼운 빗금음영을 갖는 원으로서 각각 묘사된 다른 11 개의 심볼들 각각은 밝은 "1" 심볼 도트들에 대응한다. 도 10 의 예에서, 최적보다 더 낮은 파워 레벨, 밝은 "1" 심볼들 (1220) 은 밝은 "1" 심볼들 (1020) 만큼 밝지는 않아서, 어두운 도트들과 밝은 도트들 사이의 보다 적은 강도 분리를 초래한다.
도 13 은, 도 12 에서 기술되는 바와 같이, 최적의 레이저 파워보다 더 낮은 파워에서, 도 7 의 코드 마스크에서 인코딩되는 "0" 및 "1" 심볼들에 대한 심볼에 의해 강도 값들의 중첩하는 확률 분포 함수들의 일 예를 도시한다. 도 10 과 비교될 때, 어두운 "0" 심볼들 및 밝은 "1" 심볼들 각각에 대한 확률 분포 함수들 (1310 및 1320) 은 밝은 스폿들이 더 낮은 레이저 파워 레벨의 경우에 있어서와 같이 밝지는 않기 때문에 더 많이 중첩된다. 결정 경계 (1330) 는 결정 경계 (1130) 보다 더 낮은 강도 값에 있다. 확률 분포 함수 (1310) 의 우측 꼬리 (1350) 는 우측 꼬리 (1150) 보다 면적에서 상당히 더 크다. 유사하게, 좌측 꼬리 (1340) 는 좌측 꼬리 (1140) 에서보다 면적에서 상당히 더 크다. 확률 분포 함수들 (1110 및 1120) 에 대해 분명했던 것보다 최적의 레이저 파워 레벨들보다 더 적은 경우에 확률 분포 함수들 (1310 및 1320) 사이의 오버랩의 더 큰 정도에 있어서, 콘트라스트 통계 Λ 는 최적의 파워에 대한 것보다 최적의 파워보다 더 적은 것에 대해 더 낮다.
도 14 는 밝은 스폿들이 포화되고, 서로의 내로 번지고, 일부 어두운 스폿들이 밝게 보이도록 하도록, 더 높은 파워 레벨로 조명되는, 도 10 의 코드워드의 일 예를 나타낸다. 도 12 에서의 심볼들은, 포화된 밝은 "1" 비트들 (1420) 이 보호 밴드들, 보호 간격들 내로 번지고 심지어 이웃하는 "0" 심볼들 (1410) 과 오버랩될 수도 있기 때문에 송신된 경계들에 대응하는 잘 정의된 경계들을 더 이상 가지지 않는다. 이것은 "0" 심볼 값들에 대한 평균 강도 값들이 증가하고 어두운 "0" 심볼 값들의 분산이 증가하며, 밝은 도트들과 어두운 도트들 사이의 더 적은 강도 분리를 초래할 수도 있다.
도 15 는, 도 14 에서 기술되는 바와 같이, 최적의 레이저 파워보다 더 높은 파워에서, 도 7 의 코드 마스크에서 인코딩되는 "0" 및 "1" 심볼들에 대한 심볼에 의해 강도 값들의 중첩하는 확률 분포 함수들의 일 예를 도시한다. 도 10 과 비교될 때, 어두운 "0" 심볼들 및 밝은 "1" 심볼들에 대한 확률 분포 함수들 (1510 및 1520) 은 각각, 확률 분포 함수 (1510) 에서 나타낸 바와 같이, 어두운 스폿들은 이웃하는 밝은 스폿들의 번짐 또는 섞임, 및 어두운 스폿들에 대한 강도 값들의 분산에서의 증가로 인해 더 밝게 보이기 때문에, 보다 많이 중첩된다. 결정 경계 (1530) 는 결정 경계 (1130) 보다 더 높은 강도 값에 있다. 확률 분포 함수 (1510) 의 우측 꼬리 (1550) 는 우측 꼬리 (1150) 보다 면적이 상당히 더 크다. 유사하게, 좌측 꼬리 (1540) 는 좌측 꼬리 (1140) 보다 면적이 상당히 더 크다. 확률 분포 함수들 (1510 및 1520) 사이의 오버랩의 보다 큰 정도로, 확률 분포 함수들 (1110 및 1120) 에 대해 분명했던것보다 최적의 레이저 파워 레벨보다 더 많은 파워 레벨들에 있어서, 콘트라스트 특성 Λ 은 최적의 파워에 대한 것보다 최적의 파워보다 더 높은 파워에 대해 더 낮다.
도 16 은 광원의 파워 레벨의 함수로서 2 개의 심볼들 사이의 콘트라스트 (또는 분리) 의 그래프의 일 예 (1600) 를 나타낸다. 수평 축은 광원 파워 레벨에 대응한다. 수직 축은 계산된 콘트라스트 통계 Λ 에 대응한다. 이 "콘트라스트 바이 파워 (contrast by power)" 곡선 (1610) 은 최적의 파워 레벨 (1620) 에서 최대 콘트라스트 통계 값 (1630) 을 갖는다. "콘트라스트 바이 파워" 곡선 (1610) 은, 파워가 보일 수 있도록 밝은 도트들을 조명하기에 불충분한 포인트까지 감소함에 따라 최적의 파워 레벨 (1620) 의 좌측으로 급격한 꼬리를 가지고, 파워가 포화를 향해 증가함에 따라 최적의 파워 레벨 (1620) 의 우측으로 긴 꼬리를 갖는다.
도 17 은 광원의 3 개의 상이한 파워 레벨 셋팅들에서 취해진 구조형 광 이미지들의 예들을 나타낸다. 도 17 에서의 원래의 이미지들의 제 1 행에서, 대응하는 이미지들은 제 2 행에서 코드 콘트라스트 통계로부터 생성되었고, 대응하는 심도 맵들은 제 3 행에 있다. 원래의 이미지들의 제 1 행은, 최적의 범위 내의 공칭 파워 레벨에서의 광원을 이용하여 생성된 이미지 (1705), 최적의 범위 초과의 170% 파워 레벨에서의 광원을 이용하여 생성된 이미지 (1710), 및 최적의 범위로부터 훨씬 더 먼 200% 파워 레벨에서의 광원을 이용하여 생성된 이미지 (1715) 를 포함한다. 도 17 에서의 제 2 행은, 코드 콘트라스트 통계 이미지들, 구체적으로, 원래의 이미지 (1705) 에 대응하는 이미지 (1720), 원래의 이미지 (1710) 에 대응하는 이미지 (1725), 및 원래의 이미지 (1730) 에 대응하는 이미지 (1730) 를 포함한다. 도 17 에서의 제 3 행은 원래의 구조형 광 이미지들 (1705, 1710, 및 1715) 에 의해 각각 생성된 심도 맵들 (1735, 1740 및 1745) 을 포함한다. 도 17 은 따라서, 광원의 파워가 100% 및 최적으로부터 최적의 170% 로 그리고 최적의 200% 로 증가함에 따라, 심도 맵들은 더 적게 정확한 정보를 제공한다. 예를 들어, 원 안의 눈송이 심도들은 심도 맵 (1735) 에서 잘 정의되는 원 안의 눈송이 심도이다.
도 18 은, 구조형 광 시스템에서 수신기 센서 (508) 에 의해 감지될 때 포화되도록 너무 밝지도 않고 감지되고 구분되도록 너무 어둡지도 않은 코드워드들을 투영하도록 구조형 광 시스템에서 레이저 (1820) 를 제어하기 위해 사용될 수 있는 피드백 제어 시스템 (1800) 을 나타낸다. 피드백 제어 시스템 (1800) (피드백 시스템) 은 (광원) 레이저 (1820) 에 커플링된 제어기 (1810), 복합 코드 마스크 (414), 수신기 센서 (508), 프로세싱 회로 (504), 메모리/저장 디바이스 (506) (메모리 디바이스), 및 가산기 (1830) 를 포함한다. 이들 엘리먼트들은 레이저 (1820) (레이저 시스템) 의 출력을 반복적으로 제어하기 위해 도 18 에서 예시된 바와 같이 네거티브 피드백 루프를 형성하도록 서로에 대해 커플링된다. 일부 실시형태들에서, 제어기 (1810), 레이저 (1820), 및 복합 코드 마스크 (414) 는 송신기 디바이스 (402) (도 4) 의 엘리먼트들일 수도 있다. 제어기 (1810) 및 레이저 (1820) 는 이미지 투영 디바이스 (408) (도 4) 내에 하우징된다. 일부 실시형태들에서, 수신기 센서 (508), 프로세싱 회로 (504), 및 메모리/저장 디바이스 (506) 는 수신기 디바이스 (502) (도 5) 의 엘리먼트들일 수도 있다. 가산기 (1830) 는 송신기 디바이스 (402) 또는 수신기 디바이스 (502) (도 5) 중 어느 일방 내에 통합될 수도 있다. 상기 언급된 바와 같이, 송신기 디바이스 (402) 및 수신기 디바이스 (502) 는 단일 디바이스 내에 하우징될 수도 있다. 또한, 제어기 (1810) 는 가산기 (1830) 를 포함할 수도 있고, 및/또는 제어기 (1810) 및 프로세싱 회로 (404) 는 단일 엘리먼트 내에 결합될 수도 있다. 프로세싱 회로 (504), 가산기 (1830), 제어기 (1810), 및 레이저 (1820) 는 서로 커플링되고 전자 통신한다. 수신기 센서 (508), 프로세싱 회로 (504), 및 메모리/저장 디바이스는 서로 커플링되고 전자 통신한다.
이미지 투영 디바이스 (408) (도 4) 는 제어기 (1810) 에 의해 제어되는 레이저 (1820) 를 포함한다. 레이저 (1820) 는, 예를 들어, 사람 눈에 보이지 않고 수신기 센서 (508) 에 의해 감지될 수도 있는 근적외선 주파수에서 광을 방출한다. 레이저 (1820) 의 출력 레벨은 제어기 (1810) 에 의해 조절될 수 있다. 복합 코드 마스크 (414), 수신기 센서 (508), 프로세싱 회로 (504), 및 메모리/저장 디바이스 (506) 는 도 4 및 도 5 와 관련하여 상기 설명되었다.
도 19 는 기존의 심도 맵 정보 (예를 들어, 장면의 사전에 결정된 심도 맵, 또는 사전에 결정된 코드워드들) 및 장면으로부터 수신된 (장면으로부터 반사된) 코드워드들의 감지된 이미지들을 이용하여, 코드 도메인 통계들을 이용하여 구조형 광 송신기의 파워를 조절하기 위한 프로세스 (1900) 의 일 예를 나타낸다.
블록 (1905) 에서, 프로세스 (1900) 는 레이저 파워 레벨을 초기화한다. 이것은 예를 들어 이미지 투영 디바이스 (408) (도 4), 제어기 (1810) (도 18), 또는 광 방출기 (602) (도 6) 에 의해 수행될 수도 있다. 레이저의 초기 설정은, 예를 들어, 메모리에 사전에 저장되었던 사전의 최적의 레이저 파워 레벨에 기초하여 설정되고, 블록 (1905) 에서의 메모리로부터 취출될 수도 있으며, 레이저의 출력 파워에 대응하는 레이저 파워 레벨을 설정하기 위해 사용될 수도 있다. 저장된 레이저 파워 레벨은, 예를 들어, 미리결정된 "공장 설정" 값일 수도 있고, 또는, 그것은 메모리에 저장된 그리고 레이저의 사전 사용 동안 이전에 결정되었을 수도 있다.
블록 (1910) 에서, 프로세스 (1900) 는 심도 맵을 생성하고 그것을 메모리에 저장한다. 이것은, 예를 들어, 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 프로세스 (1900) 는 도 3 과 관련하여 설명된 바와 같이 구조형 광 방법들을 이용할 수도 있고, 여기서, 코드워드 변위들은 심도 정보를 생성하기 위해 사용된다. 프로세스 (1900) 는 단일 구조형 광 프레임, 또는 다수의 구조형 광 프레임들로부터 심도 맵 정보를 생성할 수도 있다. 심도 맵 정보는 도 5 및 도 18 의 메모리/저장 디바이스 (506) 에서, 또는 도 6 의 메모리 (608) 에서 저장될 수도 있다.
원형의 플로우차트 엘리먼트 (1915) 는 심도 맵 업데이트 원에 대한 시작 포인트이다. 각각의 업데이트 사이클에 대해, 프로세스 (1900) 는 블록들 (1920-1955), 및 피드백 경로 (1960) 에서 기술되는 바와 같이 최적의 레이저 파워 레벨로 수렴한다. 일단 수렴되면, 프로세스 (1900) 는 블록 (1965) 에서 심도 맵을 업데이트하고 그것을 메모리에 저장한다. 일단 업데이트되면, 프로세스 (1900) 는 다른 심도 맵 업데이트 사이클에 대해 경로 (1970) 를 통해 원형의 플로우차트 엘리먼트 (1915) 로 리턴된다. 일부 실시형태들에서, 레이저 수렴 및 심도 맵 업데이트 사이클은 비디오 레이트들에서, 예를 들어, 초 당 30 이상의 사이클들로 발생할 수도 있다.
블록 (1920) 에서, 프로세스 (1900) 는 메모리로부터 장면의 (또는 장면의 소정의 영역 또는 부분의) 심도 맵 정보를 취출한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 심도 맵 정보는 도 5 및 도 18 의 메모리/저장 디바이스 (506) 로부터, 또는 도 6 의 메모리 (608) 로부터 취출될 수도 있다.
블록 (1925) 에서, 프로세스 (1900) 는, 예상되는 심볼들을 계산하는 것, 예상되는 기초 함수들을 계산하는 것, 및/또는 예상되는 코드워드들을 계산하는 것에 의해, 취출된 심도 맵 정보에 기초하여 영역에 대한 예상되는 심볼들, 코드워드들, 및/또는 기초 함수들을 생성한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 심도 맵 (1735) 은 로케이션의 함수로서 심도의 그림적 표현이다.
이미지에서의 각각의 행 및 열은 "예상되는 (expected)" 심도, 또는 장면에서의 오브젝트의 표면까지의 거리에 대응하는 심도 값을 갖는다. 도 3 과 관련하여 설명된 바와 같이, 영역 내의 고유한 코드워드들에 대한 심도와 코드워드 변위 사이에 일-대-일 대응이 존재한다. 각각의 코드워드 로케이션에서, 프로세스 (1900) 는 수신된 심도 맵에서의 심도에 대응하는 코드워드 변위를 계산한다. 프로세스 (1900) 는 그 다음에, 각각의 코드워드 로케이션에서의 예상되는 코드워드를 결정하기 위해 코드워드 변위만큼 코드 마스크 내에서 옮긴다. 영역에 걸쳐서 이것을 반복함으로써, 프로세스 (1900) 는 로케이션의 함수로서 예상되는 코드워드들의 어레이를 결정한다.
각각의 코드워드는 심볼들의 알려진 어레이를 포함한다. 각각의 코드워드를 그것의 심볼들과 연관시킴으로써, 프로세스 (1900) 는 각 심볼 로케이션에서의 심볼들의 대응하는 셋트를 결정한다.
또한, 코드마스크의 각 부분에서의 코드워드들은 코드마스크를 생성하기 위해 사용되는 하모닉 기초 함수들에 직접적으로 맵핑된다. 각 로케이션에서 센터링되는 코드워드들을 대응하는 (변위된) 코드마스크 로케이션에서 코드마스크를 생성하기 위해 사용되는 기초 함수들과 연관시킴으로써, 프로세스 (1900) 는 각 기초 함수 로케이션에서의 기초 함수들의 대응하는 셋트를 결정한다.
예상되는 코드워드들, 예상되는 심볼들, 및 예상되는 기초 함수들은, 레이저 파워가 최적의 레벨에 있고 심도가 정확한 경우에 프로세스 (1900) 가 디코딩하는 코드워드들, 심볼들, 및 기초 함수들에 대응한다. 따라서, 이들 값들은 최적의 레이저 파워 레벨로의 수렴을 돕기 위해서 사용될 수도 있다.
블록 (1930) 에서, 프로세스 (1900) 는 코드워드들을 장명 상으로 투영하기 위해 코드마스크를 통해 레이저 광을 투영시킨다. 코드마스크는 동일한 코드워드들, 연관된 심볼들을 가지고, 블록 (1925) 과 관련하여 상기 설명된 코드마스크와 동일한 하모닉 기초 함수들에 의해 형성된다. 이것은, 예를 들어, 이미지 투영 디바이스 (408) (도 4), 레이저 (1820) (도 18), 또는 광 방출기 (602) (도 6) 에 의해 수행될 수도 있다. 코드워드들은 시간 간격들에 대해 연속적으로 투영된다. 투영된 코드워드들은 장면, 또는 장면에서의 오브젝트들 상으로 투영될 수도 있다.
블록 (1935) 에서, 프로세스 (1900) 는 코드워드들의 반사된 이미지를 감지한다. 이것은 도 5 및 도 18 의 수신기 센서 (508), 또는 광원과 통합된 센서, 예를 들어, 도 6 의 광 방출기 (602) 와 통합된 광 수신 엘리먼트 (604) 에 의해 수행될 수도 있다. 수신된 코드워드들은 장면 또는 그 장면에서의 오브젝트들의 이미지에서 수신될 수도 있다.
블록 (1940) 에서, 프로세스 (1900) 는 감지된 이미지에 기초하여 영역에 대한 감지된 심볼들의 강도 레벨들, 코드워드들, 및/또는 기초 함수들을 결정한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 프로세스 (1900) 는 프로세싱 회로 (504) 및 모듈들 (512, 514, 516, 및 518) 을 이용하여 코드워드들을 윤곽짓고 검출하기 위해 도 5 와 관련하여 상기 설명된 기능들을 수행한다. 일단 프로세스 (1900) 가 수신된 코드워드들을 결정하면, 그것은 수신된 코드워드들의 셋트를 생성하기 위해 각각의 코드워드를 각각의 코드워드에 대응하는 심볼들의 알려진 (예컨대, 저장된, 사전-존재하는) 셋트와 연관시킨다. 코드마스크 및 코드워드들이 하모닉 기초 함수들을 사용하여 생성되는 실시형태들에서, 프로세스 (1900) 는, 하모닉 기초 함수 당 하나씩, 매칭되는 필터들에 들어오는 강도 값들을 적용하는 것, 및 매칭되는 필터가 가장 높은 출력을 가짐을 결정하는 것에 의해, 수신된 기초 함수들을 결정할 수도 있다. 최고 출력을 갖는 매칭되는 필터는 그 로케이션에서 가장 가능성이 높은 기초 함수에 대응한다.
블록 (1950) 에서, 프로세스 (1900) 는 예상되는 그리고 감지된 심볼, 코드워드, 및/또는 기초 함수들에 기초하여 적어도 하나의 코드 도메인 통계를 생성한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 코드워드 통계의 제 1 예는, 수신된 코드워드들이 얼마나 잘 검출될 수 있는지를 정량화하기 위해, 상기 식 (1) 에서 정의된 바와 같이 콘트라스트 통계 Λ 를 이용하여 심볼 분리를 특성화한다. 제 2 코드워드 통계는 대응하는 예상되는 코드워드들에 매칭되는 수신된 코드워드들의 퍼센티지를 계산함으로써 코드워드 검출 정확도를 특성화한다. 제 3 코드워드 통계는 대응하는 예상되는 기초 함수들에 매칭되는 수신된 기초 함수들의 퍼센티지를 계산함으로써 기초 함수 정확도를 특성화한다. 콘트라스트, 코드워드 검출 정확도, 및 기초 함수 검출 정확도 통계들을 계산하기 위한 소정의 프로세스들의 예들은 도 21, 도 22, 및 도 23 과 각각 관련하여 이하에서 설명된다.
블록 (1950) 에서, 프로세스 (1900) 는 적어도 하나의 코드 도메인 통계에 응답하여 레이저 파워를 조절한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 도 18 을 참조하면, 레이저 파워 레벨이 증가되어야 하는지 또는 감소되어야 하는지 여부를 결정하기 위해 제어기 (1810) 에 의해 사용되는 에러 값을 결정하기 위해, 코드 도메인 통계(들)는 가산기 (1830) 에 의해 기준 값과 결합될 수 있다. 제어기 (1810) 는 그 후에, 제어 신호를 레이저 (1820) 에 송신하고, 이에 의해, 코드 도메인 통계를 향상시키기 위해 레이저 파워를 조절한다. 이 피드백 제어 시스템 (1800) 은 계속적으로 동작할 수도 있고, 일부 실시형태들에서, 비디오 프레임 레이트들에서 최적의 파워 레벨로 수렴한다. 도 18 은 네거티브 피드백 루프로서 레이저 (1820) 제어를 기술한다. 일부 실시형태들에서, 레이저 (1820) 는 적응적 알고리즘을 이용하여 또는 비-선형 검색 기법들을 이용하여 제어될 수도 있다.
블록 (1955) 에서, 프로세스 (1900) 는 레이저 파워 레벨이 수렴되었는지 여부를 결정한다. 이것은 도 18 의 제어기 (1810), 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 프로세스 (1900) 는, 파워 조절이 임계 값 미만인 경우에 레이저 파워 레벨이 수렴한 것을 결정할 수도 있다. 레이저 파워 레벨이 아직 수렴되지 않은 경우에, 프로세스 (1900) 는 피드백 경로 (1960) 를 따라 블록 (1930) 으로 진행한다.
레이저 파워 레벨이 수렴한 경우에, 프로세스 (1900) 는 블록 (1965) 으로 진행한다. 블록 (1965) 에서, 프로세스 (1900) 는 심도 맵을 업데이트하고, 그것을 메모리에 저장한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 업데이트된 심도 맵, 또는 업데이트된 심도 맵 정보는 도 5 및 도 18 의 메모리/저장 디바이스 (506) 에서, 또는 도 6 의 메모리 (608) 에서 저장될 수도 있다. 프로세스 (1900) 는 새로운 심도 맵 업데이트 사이클을 시작하기 위해 원형의 플로우차트 엘리먼트 (1915) 로 경로 (1970) 를 따라서 진행한다.
도 20 은, 오브젝트로부터 반사되는 하나 이상의 수신된 코드워드들로부터 결정된 정보를 이용하여 구조형 광 송신기의 파워를 제어하기 위한 프로세스 (2000) 의 일 예를 나타낸다.
블록 (2005) 에서, 프로세스 (2000) 는 코드워드들의 패턴들을 하나 이상의 오브젝트들 상으로 투영한다. 이것은 예를 들어 이미지 투영 디바이스 (408) (도 4), 레이저 (1820) (도 18), 또는 광 방출기 (602) (도 6) 에 의해 수행될 수도 있다. 코드워드들은 시간 간격에 대해 연속적으로 투영된다. 투영된 코드워드들은 장면, 또는 장면에서의 오브젝트들 상으로 투영될 수도 있다.
블록 (2010) 에서, 프로세스 (2000) 는 코드워드들을 수신한다. 이것은 도 5 및 도 18 의 수신기 센서 (508), 또는 광원과 통합된 센서, 예를 들어, 도 6 의 광 방출기 (602) 와 통합된 광 수신 엘리먼트 (604) 에 의해 수행될 수도 있다. 수신된 코드워드들은 장면 또는 그 장면에서의 오브젝트들의 이미지에서 수신될 수도 있다.
블록 (2015) 에서, 프로세스 (2000) 는 수신된 코드워드들 중 하나 이상의 코드워드들로부터 코드 도메인 통계를 계산한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 코드 도메인 통계들은 심볼 분류 정확도, 코드워드 디코딩 정확도, 및/또는 기초 함수 디코딩 정확도를 정량화한다.
제 1 예에서, 심볼 분류 정확도는 심볼들 사이의 콘트라스트와 상관될 수도 있다. 콘트라스트의 정도는 도 11 과 관련하여 상기 설명된 바와 같이 정량화될 수도 있고, 평균들 및 표준 편차들 (및/또는 대응하는 분산들) 은 각각의 심볼에 대한 수신된 강도 값들에 대해 추정되고, 코드 도메인 통계 Λ 를 결정하기 위해 식 (1) 이 사용된다. 아래의 도 21 은 코드 도메인 통계를 결정하기 위한 프로세스 (2100) 를 예시한다. 결정된 코드 도메인 통계는 심볼 분류 정확도를 정량화한다.
제 2 예에서, 코드 도메인 통계는, 기존의 심도 맵 또는 사전에 수신된 코드워드들에 기초하여 예상되는 코드워드들에 매칭되는 디코딩된 코드워드들의 퍼센티지를 계산함으로써 코드워드 검출 정확도를 정량화할 수도 있다. 아래의 도 22 는 코드워드 검출 정확도를 특성화하는 코드 도메인 통계를 결정하기 위한 프로세스 (2200) 를 예시한다.
제 3 예에서, 코드 도메인 통계는, 정확하게 수신된 기초 함수의 퍼센티지를 계산함으로써 기초 함수 코딩 정확도를 정량화할 수도 있다. 아래의 도 23 은 코드 도메인 통계를 결정하기 위한 프로세스 (2300) 를 예시한다. 결정된 코드 도메인 통계는 기초 함수 정확도를 정량화한다.
블록 (2020) 에서, 프로세스 (2000) 는 코드 도메인 통계(들)에 기초하여 광원의 파워를 조절하고, 광원의 조절된 파워 셋팅에서 추가로 코드워드들을 투영하기 위해 경로 (2025) 를 통해 루프를 되돌아갈 수도 있다. 프로세스 (2000) 는 다양한 구현들로 광원의 파워를 조절할 수도 있다. 하나의 예는, 도 18 과 관련하여 설명된 바와 같이 폐쇄 루프, 네거티브 피드백 구현이고, 여기서, 프로세싱 회로 (504) 에 의해 결정된 코드 도메인 통계는, 레이저 (1820) 의 파워 레벨을 조절하는 제어 신호를 결정하기 위해 제어기 (1810) 에 의해 사용되는 차분 또는 에러 신호를 생성하기 위해 가산기 (1830) 에 의해 기준 값에 대해 비교된다. 제 2 예에서, 적응적 알고리즘은 최적의 레이저 파워 레벨로 수렵하도록 사용된다. 제 3 예에서, 하나 이상의 코드 도메인 통계들을 최대화하는 최적의 레이저 (1820) 파워 레벨을 식별하기 위해 비-선형 검색 기법들이 이용된다.
도 21 은 프로세스 (2000) 의 코드 도메인 통계를 계산하기 위한 프로세스 (2100) 의 일 예를 나타내고, 여기서, 코드 도메인 통계는 강도 분산들의 합에 의해 나누어진 강도 평균들에서의 차이의 제곱에 의해 측정되는 바와 같은 심볼들 사이의 콘트라스트이다.
블록 (2105) 에서, 프로세스 (2100) 는 심도 맵 및/또는 사전에 수신된 코드워드들로부터 대응하는 예상되는 심볼들을 계산한다. "예상되는" 수신된 심볼들은 가장 가능성 높은 (최대 우도) 심볼에 대응한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504) 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 심도 맵 및/또는 사전에 수신된 코드워드들은 메모리 또는 저장 디바이스에 저장된다. 이것은 도 5 및 도 18 의 메모리/저장 디바이스 (506) 또는 도 6 의 메모리 (608) 에 의해 수행될 수도 있다.
블록 (2110) 에서, 프로세스 (2100) 는 각각의 수신된 강도 값을 예상되는 심볼에 할당한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504) 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 이것은, 심도 맵 및/또는 사전에 수신된 코드워드들에 기초하여, "0" 심볼들이 예상되는 로케이션들에 대한 수신된 강도 값들, 및 "1" 심볼들이 예상되는 로케이션들에 대한 강도 값들을 식별하는 것을 가능하게 한다. 수신된 강도 값들은 심볼에 의해 데이터 구조에서 라벨링될 수도 있고, 또는, 각각의 심볼 히스토그램 내로 통합될 수도 있다.
블록 (2115) 에서, 프로세스 (2100) 는 각각의 심볼에 대한 평균 및 분산 강도 값들을 계산한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504) 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 도 11 과 관련하여 상기 논의된 바와 같이, 각각의 심볼에 대한 강도 값들의 확률 분포 함수들은, 정규적으로 분포되는 것으로 고려되는 경우에, 강도 값들의 그것의 평균 및 분산 (또는 대응하는 표준 편차) 에 의해 특성화될 수도 있다.
블록 (2120) 에서, 프로세스 (2100) 는 각각의 심볼에 대한 평균 및 분산 강도 값들에 기초하여 콘트라스트 통계를 계산한다. 이것은 도 5 및 도 18 의 프로세싱 회로 (504), 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다. 예를 들어, 콘트라스트 통계 Λ 는, 식 1 에 의해 정의된 바와 같이, 강도 분산들의 합에 의해 나누어진 강도 평균들에서의 거리의 제곱이다. 더 높은 콘트라스트 통계들은 더 큰 심볼 분리, 더 적은 오버랩, 및 더 높은 심볼 검출 정확도에 대응한다.
도 22 는 프로세스 (2000) 의 코드 도메인 통계를 계산하기 위한 프로세스 (2200) 의 일 예를 나타내고, 여기서, 코드 도메인 통계는 예상되는 코드워드들에 매칭되는 수신된 코드워드들의 퍼센티지이다. 프로세스 (2200) 의 블록들 (2205, 2210, 2215, 및 2220) 은 각각, 도 5 및 도 18 의 프로세싱 회로 (504) 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다.
블록 (2205) 에서, 프로세스 (2200) 는 심도 맵 및/또는 사전에 수신된 코드워드들로부터 예상되는 코드워드들을 계산한다. 심도 맵 및/또는 사전에 수신된 코드워드들은 도 5 및 도 18 의 메모리/저장 디바이스 (506) 에서 또는 도 6 의 메모리 (608) 에서 저장된다.
블록 (2210) 에서, 프로세스 (2200) 는 에러 정정 후의 각각의 수신된 코드워드를 그것의 예상되는 코드워드레 대해 비교한다. 예상되는 코드워드는 추가적인 정보의 부존재 시에 정확한 것으로 가정된다.
블록 (2215) 에서, 프로세스 (2200) 는 정확하게 수신된 코드워드들의 퍼센티지를 계산한다. 이 퍼센티지는 예상되는 코드워드들에 매칭되는 수신된 코드워드들의 비율이다. 더 높은 퍼센티지는 더 큰 코드워드 검출 정확도에 대응한다.
도 23 은 프로세스 (2000) 의 코드 도메인 통계를 계산하기 위한 프로세스 (2300) 의 일 예를 나타내고, 여기서, 코드 도메인 통계는 예상되는 기초 함수들에 매칭되는 수신된 기초 함수들의 퍼센티지이다. 프로세스 (2300) 의 블록들 (2305, 2310, 및 2315) 은 각각 이하에서 설명될 수도 있고, 각각 도 5 및 도 18 의 프로세싱 회로 (504) 또는 도 6 의 프로세서 (606) 에 의해 수행될 수도 있다.
블록 (2305) 에서, 프로세스 (2300) 는 심도 맵 및/또는 사전에 수신된 코드워드들로부터, 도 3 과 관련하여 상기 정의된 바와 같이, 예상되는 기초 함수들을 계산한다. 심도 맵 및/또는 사전에 수신된 코드워드들은, 예를 들어, 도 5 및 도 18 의 메모리/저장 디바이스 (506) 에서 또는 도 6 의 메모리 (608) 에서 저장된다.
블록 (2310) 에서, 프로세스 (2300) 는 각각의 수신된 기초 함수를 그것의 예상되는 기초 함수에 대해 비교한다. 예상되는 기초 함수는 추가적인 정보의 부존재 시에 정확한 것으로 가정된다.
블록 (2315) 에서, 프로세스 (2300) 는 정확하게 수신된 기초 함수들의 퍼센티지를 계산한다. 이 퍼센티지는 예상되는 기초 함수들에 매칭되는 수신된 기초 함수들의 비율이다. 더 높은 퍼센티지는 더 큰 기초 함수 검출 정확도에 대응한다. 더 높은 기초 함수 검출 정확도는 더 큰 코드워드 검출 정확도에 대응한다.
지시, 예를 들어, "제 1", "제 2" 등을 이용한 본 명세서에서의 엘리먼트에 대한 임의의 언급은 일반적으로 그들 엘리먼트들의 양 또는 순서를 제한하지 않음을 이해하여야 한다. 오히려, 이들 지시들은 엘리먼트의 인스턴스들 똔느 2 개 이상의 엘리먼트들 사이에 구분하는 편리한 방법으로서 본 명세서에서 사용될 수도 있다. 따라서, 제 1 및 제 2 엘리먼트들에 대한 언급은 오직 2 개의 엘리먼트들만이 거기에 채용될 수도 있다거나 제 1 엘리먼트가 몇몇 방식으로 제 2 엘리먼트에 선행해야만 하는 것을 의미하지 않는다. 또한, 달리 진술되지 않는 한, 엘리먼트들의 셋트는 하나 이상의 엘리먼트들을 포함할 수도 있다. 또한, 상세한 설명 또는 청구항들에서 사용된 "A, B, 또는 C 중 적어도 하나" 형태의 용어는 "A 또는 B 또는 C 또는 이들 엘리먼트들의 임의의 조합" 을 의미한다.
본원에서 이용되는 바와 같이, 용어 "결정하는" 는 매우 다양한 액션들을 포괄한다. 예를 들어, "결정하는" 는 계산하는, 컴퓨팅, 프로세싱, 도출하는, 조사하는, 검색하는(예를 들어, 예를 들어 룩-업 테이블과 같은 테이블, 데이터베이스, 또는 다른 데이터 구조에서 검색하는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는" 은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (메모리의 데이터에 액세스하는) 등을 포함할 수 있다. 또한, "결정하는" 은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.
본원에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 멤버들을 포함한, 이들 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c: 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 포함하고자 한다.
위에서 설명된 방법들의 다양한 동작들은 동작들을 수행할 수 있는 임의의 적절한 수단, 예를 들어, 다양한 하드웨어 및/또는 스프트웨어 컴포넌트(들), 회로들, 및/또는 모듈(들) 에 의해 수행될 수도 있다. 일반적으로, 도면들에서 도시된 임의의 동작들은 그 동작들을 수행할 수 있는 대응하는 기능적 수단에 의해 수행될 수도 있다.
본원 개시와 연계하여 설명된 다양한 예증적인 논리 블록들, 모듈들, 및 회로들은 본원에서 개시된 기능들을 수행하도록 디자인된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA) 또는 다른 프로그래머블 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있으나, 대안으로, 프로세서는 임의의 상업적으로 이용가능한 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.
하나 이상의 양태들에서, 상술된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독가능 매체 상에 명령들 또는 코드로 저장되거나 그 매체를 통해 송신될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함한 통신 매체들 및 컴퓨터 저장 매체 양쪽을 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 이나 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본원에서 이용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피 디스크, 및 블루레이 디스크를 포함하는데, 여기서 디스크 (disk) 들은 보통 자기적으로 데이터를 재생하는 반면, 디스크 (disc) 들은 레이저들로 광학적으로 데이터를 재생한다. 따라서, 일부 양태들에서 컴퓨터 판독가능 매체들은 비일시적 컴퓨터 판독가능 매체들 (예를 들어, 유형의 매체들) 을 포함할 수도 있다.
본원에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 즉, 단계들 또는 액션들에 대한 특정 순서가 명시되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.
또한, 본원에 설명된 방법들 및 기법들을 수행하는 모듈들 및/또는 다른 적절한 수단은 다운로드될 수도 있고/있거나, 그렇지 않으면 가능한 적용가능한 사용자 단말 및/또는 기지국에 의해 획득될 수도 있다. 예를 들면, 본원에서 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하기 위한 서버에 디바이스가 커플링될 수도 있다. 대안으로, 본원에 설명된 다양한 방법들이 저장 수단 (예를 들어, RAM, ROM, 물리적 저장 매체, 예컨대, 물리적 콤팩트 디스크 (CD) 나 플로피 디스크 등) 을 통해 제공될 수도 있어, 사용자 단말기 및/또는 기지국은 디바이스에 커플링할 시에 또는 디바이스에 저장 수단을 제공할 시에 다양한 방법들을 획득할 수 있다. 또한, 본원에서 설명된 상기 방법들 및 기술들을 디바이스에 제공하기 위한 임의의 다른 적절한 기술들이 활용될 수 있다.
하기의 특허청구범위는 위에 설명된 정확한 구성 및 컴포넌트들로 제한되는 것이 아님을 이해해야 한다. 청구범위의 범위를 벗어나지 않으면서, 본원에서서 설명된 방법들 및 장치들의 배치, 동작 및 세부사항들에서 다양한 수정예들, 변경예들 및 변형예들이 이루어질 수도 있다.

Claims (30)

  1. 구조형 광 시스템 (100) 으로서,
    심도 맵을 저장하도록 구성된 메모리 디바이스 (506);
    코드워드들을 투영하도록 구성된 레이저 시스템 (1820) 을 포함하는 이미지 투영 디바이스 (408);
    센서 (508) 를 포함하는 수신기 디바이스 (502) 로서, 오브젝트로부터 반사된, 투영된 상기 코드워드들을 감지하도록 구성된, 상기 수신기 디바이스 (502);
    상기 메모리 디바이스 (506) 에 저장된 상기 심도 맵의 적어도 부분을 취출하고, 상기 심도 맵으로부터 예상되는 코드워드들을 계산하도록 구성된 프로세싱 회로 (504); 및
    감지된 상기 코드워드들 및 상기 예상되는 코드워드들에 기초하여 상기 레이저 시스템 (1820) 의 출력 파워를 제어하도록 구성된 피드백 시스템 (504, 1810, 1830) 을 포함하는, 구조형 광 시스템 (100).
  2. 제 1 항에 있어서,
    상기 프로세싱 회로 (504) 는 상기 감지된 코드워드들에 기초하여 상기 심도 맵을 업데이트하도록 더 구성되고, 상기 메모리 디바이스 (506) 는 업데이트된 상기 심도 맵을 저장하도록 더 구성되는, 구조형 광 시스템 (100).
  3. 제 2 항에 있어서,
    상기 피드백 시스템 (504, 1810, 1830) 은 상기 감지된 코드워드들을 상기 예상되는 코드워드들과 비교하는 코드 도메인 통계를 결정하도록 구성되고, 상기 피드백 시스템 (504, 1810, 1830) 은 결정된 상기 코드 도메인 통계에 적어도 부분적으로 기초하여 상기 레이저 시스템 (1820) 의 상기 출력 파워를 제어하는, 구조형 광 시스템 (100).
  4. 제 3 항에 있어서,
    상기 코드 도메인 통계는 심볼 분류 정확도를 정량화하는, 구조형 광 시스템 (100).
  5. 제 4 항에 있어서,
    상기 코드 도메인 통계는 강도 분산들의 합에 의해 나누어진 강도 평균들에서의 차이의 제곱인, 구조형 광 시스템 (100).
  6. 제 5 항에 있어서,
    상기 프로세싱 회로 (504) 는 상기 심도 맵 및/또는 사전에 수신된 코드워드들로부터 예상되는 심볼들을 계산하도록 더 구성되고, 상기 프로세싱 회로 (504) 는 각각의 수신된 강도 값을 대응하는 예상되는 심볼들에 할당하도록 더 구성되며, 상기 프로세싱 회로 (504) 는 각각의 심볼에 대한 평균 강도 값을 계산하도록 더 구성되고, 상기 프로세싱 회로 (504) 는 각각의 심볼에 대한 분산 강도 값을 계산하도록 더 구성되며, 상기 프로세싱 회로 (504) 는 강도 분산들의 합에 의해 나누어진 강도 평균들에서의 차이의 제곱으로서 상기 코드 도메인 통계를 계산하도록 더 구성되는, 구조형 광 시스템 (100).
  7. 제 3 항에 있어서,
    상기 코드 도메인 통계는 코드워드 검출 정확도를 정량화하는, 구조형 광 시스템 (100).
  8. 제 7 항에 있어서,
    상기 코드 도메인 통계는 예상되는 코드워드들에 매칭되는 수신된 코드워드들의 퍼센트인, 구조형 광 시스템 (100).
  9. 제 8 항에 있어서,
    상기 프로세싱 회로 (504) 는 수신된 코드워드들을 예상되는 코드워드들에 대해 비교하도록 더 구성되고, 상기 프로세싱 회로 (504) 는 정확하게 수신된 코드워드들의 퍼센티지를 계산하도록 더 구성되며, 정확하게 수신된 코드워드들은 예상되는 코드워드들에 대응하는, 구조형 광 시스템 (100).
  10. 제 3 항에 있어서,
    상기 코드 도메인 통계는 기초 함수 (basis function) 정확도를 정량화하는, 구조형 광 시스템 (100).
  11. 제 10 항에 있어서,
    상기 코드 도메인 통계는 예상되는 기초 함수들에 매칭되는 수신된 기초 함수들의 퍼센트인, 구조형 광 시스템 (100).
  12. 제 11 항에 있어서,
    상기 프로세싱 회로 (504) 는 상기 심도 맵 및/또는 사전에 수신된 코드워드들로부터 예상되는 기초 함수들을 계산하도록 더 구성되고, 상기 프로세싱 회로 (504) 는 수신된 기초 함수들을 예상되는 기초 함수들에 대해 비교하도록 더 구성되며, 상기 프로세싱 회로 (504) 는 정확하게 수신된 기초 함수들의 퍼센티지를 계산하도록 더 구성되고, 정확하게 수신된 기초 함수들은 예상되는 기초 함수들에 대응하는, 구조형 광 시스템 (100).
  13. 제 3 항에 있어서,
    상기 피드백 시스템 (504, 1810, 1830) 은 상기 레이저 시스템 (1820) 의 출력 파워를 상기 코드 도메인 통계에 대한 최대 값으로 수렴하도록 반복적으로 제어하도록 구성되는, 구조형 광 시스템 (100).
  14. 구조형 광 시스템에서 레이저 파워를 제어하는 방법 (1900) 으로서,
    메모리 디바이스로 심도 맵을 저장하는 단계 (1910);
    레이저 시스템으로 코드워드들을 투영하는 단계 (1930);
    수신기 센서로, 오브젝트로부터 반사된 투영된 상기 코드워드들을 감지하는 단계 (1935);
    상기 메모리 디바이스로부터 상기 심도 맵의 부분을 취출하는 단계 (1920);
    상기 심도 맵으로부터 예상되는 코드워드들을 계산하는 단계 (1925); 및
    감지된 상기 코드워드들 및 상기 예상되는 코드워드들에 기초하여 상기 레이저 시스템의 출력 파워를 제어하는 단계 (1950) 를 포함하는, 구조형 광 시스템에서 레이저 파워를 제어하는 방법 (1900).
  15. 명령들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 실행될 때, 프로세서 및 구조형 광 시스템으로 하여금, 상기 구조형 광 시스템의 레이저 시스템의 출력 파워를 제어하는 방법을 수행하게 하고,
    상기 방법은,
    메모리 디바이스로 심도 맵을 저장하는 단계;
    상기 레이저 시스템으로 코드워드들을 투영하는 단계;
    수신기 센서로, 오브젝트로부터 반사된 투영된 상기 코드워드들을 감지하는 단계;
    상기 메모리 디바이스로부터 상기 심도 맵의 부분을 취출하는 단계;
    상기 심도 맵으로부터 예상되는 코드워드들을 계산하는 단계; 및
    감지된 상기 코드워드들 및 상기 예상되는 코드워드들에 기초하여 상기 레이저 시스템의 출력 파워를 제어하는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020187009067A 2015-08-31 2016-08-16 구조형 광에 대한 코드 도메인 파워 제어 KR102168257B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562212507P 2015-08-31 2015-08-31
US62/212,507 2015-08-31
US15/060,028 US9846943B2 (en) 2015-08-31 2016-03-03 Code domain power control for structured light
US15/060,028 2016-03-03
PCT/US2016/047179 WO2017040028A1 (en) 2015-08-31 2016-08-16 Code domain power control for structured light

Publications (2)

Publication Number Publication Date
KR20180044415A KR20180044415A (ko) 2018-05-02
KR102168257B1 true KR102168257B1 (ko) 2020-10-21

Family

ID=58095794

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187009067A KR102168257B1 (ko) 2015-08-31 2016-08-16 구조형 광에 대한 코드 도메인 파워 제어

Country Status (10)

Country Link
US (2) US9846943B2 (ko)
EP (1) EP3344949B1 (ko)
JP (2) JP6847922B2 (ko)
KR (1) KR102168257B1 (ko)
CN (1) CN108419440B (ko)
BR (1) BR112018003954B1 (ko)
CA (1) CA2992598A1 (ko)
ES (1) ES2775512T3 (ko)
HU (1) HUE046551T2 (ko)
WO (1) WO2017040028A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10192311B2 (en) * 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
CN109405749B (zh) * 2018-11-19 2024-03-26 清华大学深圳研究生院 一种激光成像测距方法及系统
CN111174702B (zh) * 2020-01-22 2022-03-15 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法
CN115427753A (zh) * 2020-04-15 2022-12-02 三菱电机株式会社 参数调整装置、学习装置、测定系统、参数调整方法及程序

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4653104A (en) 1984-09-24 1987-03-24 Westinghouse Electric Corp. Optical three-dimensional digital data acquisition system
US5226084A (en) 1990-12-05 1993-07-06 Digital Voice Systems, Inc. Methods for speech quantization and error correction
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
JPH1145782A (ja) * 1997-07-28 1999-02-16 Matsushita Electric Works Ltd 調光監視制御システム
CA2306515A1 (en) 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
FI109633B (fi) 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7212663B2 (en) 2002-06-19 2007-05-01 Canesta, Inc. Coded-array technique for obtaining depth and other position information of an observed object
JP3660328B2 (ja) * 2002-06-21 2005-06-15 ファナック株式会社 レーザ加工機
DE10232690A1 (de) 2002-07-18 2004-02-12 Siemens Ag Verfahren und Vorrichtung zur dreidimensionalen Erfassung von Objekten sowie Verwendung der Vorrichtung und des Verfahrens
US7146036B2 (en) 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US7231578B2 (en) 2004-04-02 2007-06-12 Hitachi Global Storage Technologies Netherlands B.V. Techniques for detecting and correcting errors using multiple interleave erasure pointers
CN100394141C (zh) * 2004-12-28 2008-06-11 陈胜勇 基于领域唯一性的高效结构光的实现方法及其装置
US7916932B2 (en) 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
JP2007271530A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd ３次元形状検出装置及び３次元形状検出方法
JP4856605B2 (ja) 2006-08-31 2012-01-18 パナソニック株式会社 符号化方法、符号化装置、及び送信装置
DE102006048234A1 (de) 2006-10-11 2008-04-17 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
EP2084491A2 (en) 2006-11-21 2009-08-05 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US7950581B2 (en) 2006-12-01 2011-05-31 Intermec Ip Corp. System and method of acquiring a machine-readable symbol
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US20090322859A1 (en) 2008-03-20 2009-12-31 Shelton Damion M Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System
TWI420401B (zh) 2008-06-11 2013-12-21 Vatics Inc 一種回授式物件偵測演算法
JP4715944B2 (ja) 2009-04-03 2011-07-06 オムロン株式会社 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
CN101608906B (zh) * 2009-07-21 2012-01-04 西安交通大学 一种时间编码的光学三维轮廓测量方法
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
DE112009005382T5 (de) 2009-11-18 2012-09-13 Industrial Technology Research Institute Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden
US20110147620A1 (en) * 2009-12-23 2011-06-23 Imra America, Inc. Laser patterning using a structured optical element and focused beam
US20130038694A1 (en) 2010-04-27 2013-02-14 Sanjay Nichani Method for moving object detection using an image sensor and structured light
US8432392B2 (en) 2010-09-02 2013-04-30 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
GB2497031A (en) * 2010-09-08 2013-05-29 Canon Kk Method and apparatus for 3D-measurement by detecting a predetermined pattern
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9013634B2 (en) 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
JP5891424B2 (ja) 2010-09-17 2016-03-23 パナソニックＩｐマネジメント株式会社 立体映像作成装置および立体映像作成方法
US20120086803A1 (en) 2010-10-11 2012-04-12 Malzbender Thomas G Method and system for distance estimation using projected symbol sequences
US8429495B2 (en) 2010-10-19 2013-04-23 Mosaid Technologies Incorporated Error detection and correction codes for channels and memories with incomplete error characteristics
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
JP2012141252A (ja) 2011-01-06 2012-07-26 Nikon Corp 三次元形状測定装置
US20140002610A1 (en) * 2011-03-15 2014-01-02 Board Of Trustees Of Michigan State University Real-time 3d shape measurement system
US20120242795A1 (en) 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination
US8724854B2 (en) 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9536312B2 (en) 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
BR112014003165A2 (pt) 2011-08-09 2017-03-01 Samsung Electronics Co Ltd método para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, aparelho para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, método para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, e aparelho para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
US8270465B1 (en) 2011-11-15 2012-09-18 Xw Llc Timing and time information extraction from a phase modulated signal in a radio controlled clock receiver
JP5918984B2 (ja) 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
WO2013162252A1 (ko) 2012-04-23 2013-10-31 삼성전자 주식회사 슬라이스 헤더를 이용하는 3차원 비디오 부호화 방법 및 그 장치, 3차원 비디오 복호화 방법 및 그 장치
KR101913321B1 (ko) 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
US9207070B2 (en) 2012-05-24 2015-12-08 Qualcomm Incorporated Transmission of affine-invariant spatial mask for active depth sensing
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN102831582B (zh) 2012-07-27 2015-08-12 湖南大学 一种微软体感装置深度图像增强方法
US9633439B2 (en) 2012-07-30 2017-04-25 National Institute Of Advanced Industrial Science And Technology Image processing system, and image processing method
US20140028801A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection
JP6787667B2 (ja) 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置
JP6061616B2 (ja) 2012-10-29 2017-01-18 キヤノン株式会社 測定装置及びその制御方法、プログラム
US10368053B2 (en) * 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US9071756B2 (en) 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
KR101995340B1 (ko) 2013-01-02 2019-07-02 엘지이노텍 주식회사 적외선 광원 제어방법
KR20140099098A (ko) 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
JP5794240B2 (ja) 2013-02-05 2015-10-14 ソニー株式会社 誤り検出訂正装置、誤り検出訂正方法、情報処理装置、および、プログラム
US10140765B2 (en) 2013-02-25 2018-11-27 Google Llc Staged camera traversal for three dimensional environment
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
WO2014209268A1 (en) 2013-06-24 2014-12-31 Intel Corporation Error detecting and correcting structured light patterns
JP6248533B2 (ja) 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2015065386A1 (en) 2013-10-30 2015-05-07 Intel Corporation Image capture feedback
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
CN103796004B (zh) 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US9589359B2 (en) 2014-04-24 2017-03-07 Intel Corporation Structured stereo
US20150381972A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
US20160050372A1 (en) 2014-08-15 2016-02-18 Qualcomm Incorporated Systems and methods for depth enhanced and content aware video stabilization
US9507995B2 (en) 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
US9638801B2 (en) 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9500475B2 (en) 2015-01-08 2016-11-22 GM Global Technology Operations LLC Method and apparatus for inspecting an object employing machine vision
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light

Also Published As

Publication number Publication date
JP2018525636A (ja) 2018-09-06
US20170061634A1 (en) 2017-03-02
JP2021051082A (ja) 2021-04-01
KR20180044415A (ko) 2018-05-02
US9846943B2 (en) 2017-12-19
HUE046551T2 (hu) 2020-03-30
JP6847922B2 (ja) 2021-03-24
EP3344949A1 (en) 2018-07-11
BR112018003954A2 (pt) 2018-09-25
BR112018003954B1 (pt) 2022-09-13
US10223801B2 (en) 2019-03-05
CN108419440A (zh) 2018-08-17
EP3344949B1 (en) 2019-11-27
CN108419440B (zh) 2020-05-26
US20180068456A1 (en) 2018-03-08
WO2017040028A1 (en) 2017-03-09
CA2992598A1 (en) 2017-03-09
ES2775512T3 (es) 2020-07-27

Similar Documents

Publication Publication Date Title
KR102168257B1 (ko) 구조형 광에 대한 코드 도메인 파워 제어
CN107851310B (zh) 节省存储器的经译码光错误校正
JP6513887B2 (ja) 構造化光深度マップのアウトライアの検出および補正のための方法および装置
US9948920B2 (en) Systems and methods for error correction in structured light
US10771768B2 (en) Systems and methods for improved depth sensing
CN109416837B (zh) 使用移位阴影轮廓的视差图中的对象重构

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant