KR101834025B1

KR101834025B1 - 삼차원의 다위상 동적 교정 방법 및 시스템

Info

Publication number: KR101834025B1
Application number: KR1020137001077A
Authority: KR
Inventors: 잔핑 수; 트래비스 페리; 게이지 힐스
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2010-07-16
Filing date: 2011-06-30
Publication date: 2018-03-02
Also published as: JP2013534639A; WO2012009170A1; EP2593810A4; IL224105A; EP2593810B1; US20120013887A1; US8587771B2; JP5834079B2; HK1183709A1; CN102346248B; EP2593810A1; KR20130042552A; CN102346248A

Abstract

위상-기반 TOF 시스템은, 많은 고차 고조파가 존재함에도 변조 대비를 강화하기 위해 빠른 상승 및 하강 시간을 가지는 광 파형을 생성하는 것이 바람직하다. 시스템은 시스템 메모리 요건을 지나치게 증가시키지 않고 우수한 변조 대비를 유지하면서 고차 고조파에 기인한 시스템 바이어스 오차를 감소시키도록 짝수 위상으로 동작되는 것이 바람직하다. 바람직하게 시스템은 시간 및 온도에 대해 TOF 생성 광 에너지 파형 내의 고자 고조파를 동적으로 교정(및 보상)할 수 있다. 광 에너지 전송 채널 내에서 또는 광 에너지 검출 채널 내에서, 검출 증폭기 이득이 변조될 수 있고 및/또는 검출기 신호 누적 시간이 변경될 수 있으며, 및/또는 디지털 값이 교정 및 오차 감소를 구현하기 위해 사용될 수 있다. 결과적인 TOF 시스템은 감소된 교정 요건을 가지고 개선된 위상-대-거리 특성으로 동작할 수 있다.

Description

삼차원의 다위상 동적 교정 방법 및 시스템{METHOD AND SYSTEM FOR MULTI-PHASE DYNAMIC CALIBRATION OF THREE-DIMENSIONAL (3D) SENSORS IN A TIME-OF-FLIGHT SYSTEM}

TOF(time-of-flight)에 기초한 삼차원(3D) 카메라는 이미징되는 장면의 객체(들)로부터 거리 정보를 획득한다. 거리 정보는 카메라의 센서 어레이의 각각의 픽셀에서 독립적으로 생성된다. 예시적인 이러한 시스템은 미국 특허 제6,323,942호("CMOS-호환형 삼차원 이미지 센서 IC(CMOS-Compatible Three-Dimensional Image Sensor IC)"(2001)) 및 미국 특허 제6,515,740호("양자 효율 변조를 이용한 CMOS-호환형 삼차원 이미지 센싱 방법(Methods for CMOS-Compatible Three-Dimensional Image Sensing Using Quantum Efficiency Modulation)"(2003))에 기술되어 있으며, 이 특허들은 원래는 카네스타 사(Canesta, Inc.)에 양도되었다가 현재에는 마이크로소프트 사(Microsoft, Inc.)로 양도되었다.

미국 특허 제6,323,942호에 기술된 바와 같이, TOF 시스템은 광 에너지(활성 광 에너지)를 방출하고 타깃 객체에 반사된 그 에너지의 적어도 일부가 다시 시스템에 도착하여 센서의 어레이에 의해 검출될 때까지 얼마나 오래 걸리는지를 결정한다. TOF 시스템을 향해 다시 반사되기 전까지 타깃 객체의 보다 먼 표면 영역으로 이동하는 방출된 광 에너지는, 타깃 객체가 시스템에 더 가까운 경우보다 더 긴 TOF를 가질 것이다. 라운드트립 TOF 시간을 t₁이라 하면, 타깃 객체와 TOF 시스템 사이의 거리는 Z₁이고, 여기서

이며, C는 광속도이다. 이러한 시스템은 광도 데이터(luminosity data)(신호 진폭) 및 TOF 거리 모두를 획득할 수 있고, 실시간으로 타깃 객체의 삼차원 이미지를 구현할 수 있다. 효과적으로, 이러한 시스템은 주변 광(ambient light)(수동 광 에너지)이 존재하든 존재하지 않든 동작할 수 있으며, 가동부(moving part), 예를 들면 셔터 및 모터 없이도 동작할 수 있다.

더욱 세밀한 TOF 시스템이 미국 특허 제6,515,740호에 기술되어 있으며, 여기서 TOF는 변조 및 전송된 광신호와 타깃 객체로부터 반사된 광신호 사이의 상대적인 위상 변이(phase shift)를 진단함으로써 결정된다. 도 1a는 '749 특허에 따른 예시적인 위상-변이 검출 시스템(phase-shift detection system, 100)을 나타낸다. 시스템의 픽셀 에레이 내의 여러 위치에 대한 반사된 광신호의 검출은 깊이 이미지(depth images)라 칭하는 측정 신호(measurement signal)를 생성한다. 깊이 이미지는 타깃 객체 표면의 삼차원 이미지를 나타낸다.

도 1a를 참조하면, TOF 시스템(100)은 픽셀 검출기(140)의 이차원 어레이(130)를 포함하고, 픽셀 검출기는 각각 관련 검출기에 의한 검출 전하 출력(detection charge output)을 처리하기 위한 전용 회로(150)를 가진다. 전형적인 응용예에서, 어레이(130)는 100x100개의 픽셀(230)을 포함할 수 있고 따라서 100x100개의 처리 회로(150)를 포함한다. IC(110)는 또한 마이크로프로세서 또는 마이크로컨트롤러 유닛(160), 메모리(170)(이는 랜덤 액세스 메모리 또는 RAM 및 리드-온리 메모리 또는 ROM을 포함하는 것이 바람직함), 고속 배포형 클록(high speed distributable clock, 180) 및 다양한 컴퓨팅 및 입출력(I/O) 회로(190)를 포함할 수 있다. 여러 기능 중에서, 컨트롤러 유닛(160)은 객체로의 거리측정 및 객체 속도 계산을 수행할 수 있다.

마이크로프로세서(160)의 컨트롤 하에서, 광 에너지의 소스(120)는 여기장치(exciter, 115)를 거쳐 주기적으로 에너지를 공급받고 렌즈(125)를 거쳐 광 에너지를 객체 타깃(20)으로 방출한다. 전형적으로 광 에너지는 예를 들면, 레이저 다이오드, VCSEL(vertical-cavity surface emitting laser) 또는 LED 장치(120)에 의해 방출된 빛이다. 장치(120)로부터 방출된 광 에너지의 일부가 타깃 객체(20)의 표면에서 반사될 것이고, 구경 시야 조리개(aperture field stop) 및 렌즈(135)를 일괄적으로 통과할 것이며, 이미지가 형성되는 픽셀 검출기(140)의 이차원 어레이(130)에 도달한다(fall upon). 일부 구현예에서, 각각의 이미징 픽셀 검출기(140)는 방출기(120)에 의해 전송된 광 에너지가 타깃 객체(20)에 도달하고 이차원 센서 어레이(130)에 의한 검출을 위해 다시 반사되는 데 필요한 TOF를 캡쳐한다. 이러한 TOF 정보를 이용하여 거리(Z)가 판정될 수 있다. 효과적으로, 시스템(100)은 상대적으로 적은 오프-칩 컴포넌트를 가지는, 단일 IC(110) 상에 구현될 수 있다.

전형적으로 광 에너지원(20)은 바람직하게는 저전력(예, 대략 1 와트피크)의 주기 파형(periodic waveforms)을 방출하고, 이는 셔터 타임(대략 10ms)으로 알려진 시간(time period) 동안 알려진 주파수(대략 30MHz에서 수백 MHz)의 광 에너지 방사를 생성한다. 방출기(120)로부터의 광 에너지 및 픽셀 검출기(140) 내에서 검출된 광 에너지 신호는 서로에 대해 동기되어 있어 위상 차 및 이에 따른 거리(Z)가 각각의 픽셀 검출기에 대해 측정될 수 있다. 사용된 검출 방법은 '740 특허 및 '496 특허에서 호모다인 검출(homodyne detection)이라고 지칭된다. 위상-기반 호모다인 검출 TOF 시스템은 또한 본래 카네스타 사에 양도되었다가 현재는 마이크로소프트 사(본 명세서상의 양수인임)에 양도된 미국 특허 제6,906,793호(삼차원 센싱을 위한 전하 관리 방법 및 장치)에 기술되어 있다. 출원인은 상기 '793 특허를 참조로서 본 명세서에 추가한다.

이차원 이미징 센서 어레이(130)에 의해 검출된 광 에너지는 "A"로 표시된, 광원 진폭 또는 강도(intensity) 정보를

로 표시된 위상 변이 정보와 함께 포함할 것이다. 도 1b 및 1c의 예시적인 파형으로 나타낸 것과 같이, 수신된 위상 변이 정보(도 1c)는 TOF에 따라 달라지고 Z 데이터를 포함하는 DATA를 산출하도록 처리될 수 있다. 방출기(120)에 의해 송신되는 광 에너지의 각각의 펄스 트레인(pulse train)에 대해, 타깃 객체(20)의 가시 부분(visible portion)에 대한 삼차원 이미지가 획득되고, 이로부터 강도 및 Z 데이터(DATA)가 획득된다. 미국 특허 제6,515,740호 및 제6,580,496호에 기술된 것과 같이, 깊이 정보(Z)를 획득하는 것은 방출된 광 에너지와 픽셀 검출 신호 사이의 90도 위상 변이를 가지는 타깃 객체(또는 장면)의 적어도 두 개의 샘플을 획득하는 것을 필요로 한다. 두 개의 샘플이 최소 수치(minimum figure)이나, 바람직하게는 위상이 90도 차이 나는, 4 개의 샘플이 픽셀 검출기 성능의 불일치, 관련 전자 구현예의 불일치 및 기타 오류에 기인한 검출 오류 축소를 가능하게 하는데 필요하다. 픽셀 당(per-pixel) 검출기 기반으로, 측정된 네 개의 샘플 데이터가 실제 Z 깊이 정보 데이터를 생성하기 위해 결합된다. 위상 변이 시스템의 다양한 실시예의 구현에 관한 추가 세부사항은 미국 특허 제6,515,740호 및 제6,580,496호 양자에서 찾을 수 있다.

도 1d는 미국 특허 제6,580,496호(제목: 양자 효율 변조를 이용한 CMOS-호환형 삼차원 이미지 센싱 시스템) 또는 미국 특허 제7,906,793호(제목: 삼차원 센싱을 위한 전하 관리 방법 및 장치)의 도 10의 고정 위상 지연 실시예에 관하여 기술된 것과 유사하며, 두 특허는 본래 카네스타 사에 양도되었다가 현재는 본 명세서 상의 양수인인 마이크로소프트 사에 양도되었다. (출원인은 '496 특허 및 '793 특허를 참조로서 본 명세서에 포함한다.) 도 1d에서, 각각의 양자 효율 변조된 차동 픽셀 검출기(예, 140-1)로부터 생성된 광전류가 차동 검출(DIF. DETECT) 및 차동 증폭(AMP)되어 신호

를 생성하며, 여기서 B는 휘도 계수(brightness coeffient)이다.

TOF 시스템의 정규 런타임 동작 중에, 0도 또는 90도의 고정 위상 변이 지연(DELAY)이 위상 선택 제어 신호(PHASE SELECT)에 응답하여 전환가능하게 삽입될 수 있다. 호모다인 믹싱은 전송되고 수신된 신호(도 1b 및 1c 참조) 사이의 위상 차를 얻고 다른 데이터 사이의 TOF를 얻기 위한 양자 효율 변조를 사용하여 이루어질 수 있다. 위상-기반 TOF 시스템의 호모다인 검출에 대한 보다 상세한 설명은 '496 특허에서 찾을 수 있다. 정현파 파형이 도 1d에 표현되어 있으나, 비정현파 파형이 대신 사용될 수 있다. 도 1d와 유사한 검출 구성이 본 발명의 실시예에서 사용될 수 있다.

따라서, 도 1a에 예시된 TOF 시스템은 변조된 전송 광 및 타깃 객체-반사 광 사이의 위상 지연(

)을 획득할 수 있다. 위상

은 TOF 센서 어레이 및 타깃 객체를 분리하는 (Z) 거리에 비례하나, 위상 지연은 상대적인 양이고 Z 거리와 그 자체로 동일 하지 않다. 예를 들어 Z가 증가함에 따라 위상

이 증가하나, 360도 증가 후에 위상 폴드오버(fold-over)와 Z의 추가 증가는 0도에서 다시 시작하는

의 추가 증가를 일으킨다. 실제로, 일반적으로 TOF 시스템에 Z의 실제 측정값을 획득하기 위해 위상 데이터의 차를 분명히 보여주거나(disambiguate) 디-에일리어스(de-alias)하는 기능(ability)을 제공한다.

본래 카네스타 사에 양도되었다가 현재는 본 명세서상의 양수인인 마이크로소프트 사에 양도된 미국 특허 제7,719,662호에 예시된 바와 같이, 방사상 정보(radial information) 대신에 데카르트 (또는 현실의 X, Y, Z) 좌표의 사용을 가능하게 하는 교정 방법(calibration method)이 TOF 시스템에 추가 제공되는 것이 효과적이다. (TOF 픽셀 또는 센서는 어레이(130)의 각각 픽셀(140)에 대해 상이한 소정의 방사각을 따라 위상 지연을 측정한다.) '662 특허에 따르면, 교정의 한 기능은 센서(140)의 응답으로부터 기하학적 좌표(이는 알려진 기준에 관한 X, Y, 및 Z 정보임)로의 매핑을 생성하는 것으로 정의될 수 있다. (X 및 Y 좌표는 TOF 시스템의 광학 축으로부터의 수평 및 수직 오프셋이며, Z는 이미징된 장면 내의 타깃 객체 또는 객체와 센서 사이의 수직 거리이다.) 이러한 매핑은 XY 교정과 함께 깊이 교정을 포함할 수 있다. '662 특허는, 타깃 객체가 XY 평면 내의 상이한 Z 깊이로 물리적으로 재배치되었기 때문에 Z의 상이한 값에서의 깊이 데이터를 모으는 것을 필요로 하지 않는 교정 매핑 방법을 개시하고 있다(소위, "예시(by example)" 방법). 그렇게 모아진 데이터는 획득된 깊이 데이터의 수정을 하기 위한 런타임 동작 중에 TOF 시스템에서 이용할 수 있는 룩-업-테이블(LUT:look-up-table)에 수집 및 저장될 수 있다.

기하학적 교정에 더하여, 온도 및 주변 광 조건(이에 한정되는 것은 아님) 을 포함하는 소정의 환경 요인을 고려하기 위한 다른 유형의 교정을 수행해야 한다. 예를 들어, 센서 어레이(130)의 온도 변화는 픽셀(140)의 소위 암전류를 증가시킬 수 있고, 이는 차례로 측정된 위상

을 변경할 수 있다. 주변 광은 광원(120)으로부터의 시스템-방출 광과 간섭할 수 있고 위상 오차를 발생시킬 수 있다. 완전한 교정 절차는 바람직하게는 이러한 환경 변화의 효과를 모델링하는 단계를 포함할 것이다. 그렇게 하는 것은 환경 조건이 변경되는 경우에 런타임 동작 중에 동적으로 이러한 효과가 제거되도록 할 수 있다.

따라서, 상기 센서 어레이로부터의 주어진 위상 응답은 교정 테이블에 저장된 값을 보간(interpolating)함으로써 거리로 전환된다. 그러나, 위상-대-거리 전달 함수 곡선은 고조파(harmonics)를 포함하고, 충분한 데이터 포인트가 불충분한 샘플링에 기인한 정확도의 손실을 방지하기 위해 이러한 고조파를 모델링하도록 교정 테이블에 저장되어야 한다. 또한, 테이블의 사이즈를 증가시킴으로써 감소될 수만 있는 보간 오차가 존재한다.

"예시" 샘플링은 간단하여 상대적으로 빠른 런타임 처리로 구현되나, 몇몇 단점을 가진다. 동작 범위의 하위집합(subset)을 취하는 것 및 후속 보간은 수 센티미터 규모일 수 있는 오차를 발생시킨다. 나아가, 센서의 동작 범위가 증가함에 따라, 더 많은 데이터가 정확도를 유지하기 위해 교정 테이블에 저장되어야 한다. 이는 더 많은 저장소와 더불어 더 긴 보간 시간을 요하는 더 큰 교정 테이블을 생성한다. 저장소는 예를 들면 확장된 시스템에서 사용하기에 매우 큰, 수 MB 정도일 수 있다. 실질적 관점에서 다른 문제점은, 타깃 객체가 재배치됨에 따라 넓은 FOV(field of view) 및 동작 범위에 대해 센서로부터 데이터를 캡쳐하는데 필요한 큰 물리적 공간이다. 예를 들어, 100도의 FOV와 5m 동작 범위를 가지는 센서는 대략 12m x 12m의 타깃 객체를 요하고, 여기서 타깃 객체는 교정 중에 0m 및 5m 사이에서 이동되어야 한다. 교정 중에 타깃 객체의 재배치를 위해 충분한 물리적 공간이 주어지고, 교정 절차를 위해 충분한 시간이 주어지는 경우에, 이러한 종래 기술에 따른 "예시" 교정이 수행될 수 있다. 그러나, 이러한 종래 기술에 따른 교정 절차는 비용이 비싸고 고-볼륨 제품을 교정하는 데에는 매우 적합하지 않다.

고정적으로, 룰업 테이블(LUT)의 교정 수정 항(calibration correction terms)을 저장하는 것은 교정에 대한 전통적인 접근법이었다. 그러나, TOF 시스템이 새로운 것인 경우에 생성되었던 LUT 계수 값은, TOF 시스템이 낡거나, 개별적인 컴포넌트가 변경(예를 들면, 온도 면에서)됨에 따라 우수한 교정 수정을 더 이상 제공할 수 없다. 나아가, LUT 값을 저장하는 것은 시스템 메모리 저장 오버헤드를 증가시킬 수 있다.

미국 특허 제7,719,662호는 삼차원 카메라 시스템에 대한 거리 교정을 위해 검출 위상을 구현하는 수 개의 효율적인 방법 및 시스템을 다루고 있다. '662 특허는 수행되는 데에 보다 적은 시간 및 보다 적은 물리적 공간을 요하는 방법 및 시스템을 기술한다. 그러나, 일반적으로 추가 개선이 바람직하다.

임의의 TOF 시스템 디자인에는 상충관계(tradeoffs)가 존재한다. 한편으로, 구형파(square-wave)인 광 에너지를 효과적으로 방출하는 것은 변조 대비(modulation contrast)를 강화하나, 구형파를 특징짓는 빠른 상승(rise) 및 하강 시간은 바람직하지 않은 고차 고조파의 원인이 된다.

TOF 시스템에 의해 획득되는 위상-기반 데이터의 고조파 성분(harmonic content)에 기인한 오차(종종 바이어스 오차라 함)를 감소시키는 방법 및 시스템이 요구된다. 바람직하게는 이러한 방법 및 시스템은 방출된 구형파 광학 에너지 파형과 연관된 고 변조 대비를 효과적으로 가능하게 하면서, 이러한 파형에 동반하는 고차 고조파에 수반되는 바이어스 오차를 보상한다. 바이어스 오차의 변경은 시간 및 온도에 기인하는 방출 광 에너지의 파형의 변경으로부터 비롯될 수 있다. 그리고 나서 TOF 시스템에 대한 교정 요건을 변경함으로써 바이어스 오차의 변경을 보상하는 것이 필수적이거나 적어도 바람직하다. 바람직하게는, 이러한 방법 및 시스템은 고 변조 대비를 보전하면서 메모리 요건의 증가 없이, 바람직하게는 메모리를 감소시키면서 동적으로 동작가능해야 한다. 이러한 방법 및 시스템의 구현은 시스템 및/또는 환경 조건을 변경하는 것에 대해서조차 강화된 선형성(linearity)을 가지는 TOF 시스템의 동적으로 우수한 교정을 제공한다.

본 발명은 이러한 방법 및 시스템을 제공한다.

현대적인 TOF 시스템은 전형적으로, 예를 들면, 방출된 광 에너지의 변조 주파수의 네 개의 위상 변이(0도, 90도, 180도 및 270도)를 이용하여 깊이 데이터를 획득하는 다중 위상 변이(multiple phase shifting)를 사용하여 Z 깊이 데이터를 획득한다. 일부 시스템에 따른 고속 교정은 룩업 테이블에 저장된 수정 파라미터를 이용하여 TOF 시스템에 대한 교정 모델을 제공하며, 또는 위상 오프셋 수정을 위해 제공된다. 그러나, TOF 시스템이 낡았거나 시스템 변화(예를 들면, 열적 변화)가 발생에 따라, 저장된 수정 모델링 데이터의 유효성이 악화될 수 있다. 대조적으로, 본 발명에 따른 실시예는 종래 기술에 따른 TOF 시스템의 전형적인 정적 모델링을 사용하지 않고 TOF 시스템을 동적으로 교정할 수 있다.

본 발명은, 위상-기반 TOF 시스템을 바람직하게는 위상 변이의 짝수(예를 들면, N=4, N=6 등)가 아닌 위상 변이의 홀수(예를 들면, N=3, N=5, N=7 등)를 이용하여 동작시키는 것이 TOF 시스템의 비-선형성에 실질적인 원인이 되는 고차 고조파로부터의 바이어스 오차를 효과적으로 줄인다는 것을 인정한다. 이러한 바이어스 오차 수정 또는 보상은 종래 기술의 TOF 시스템에서는 명시적으로 제공되지 않았다. 또한, 위상 변이의 홀수를 사용하는 것은 변조 대비(센서 검출기 효율성의 측정치)를 최소화할 수 있다. 본 발명은 TOF 시스템이 구형파 모양의 광 에너지(이러한 파형은 바람직하게는 강화된 고 변조 대비를 촉진함)를 방출하는 것을 가능하게 할 수 있으나, 고차 고조파가 바람직하지 않게 많다. 그러나, 이러한 고차 고조파로부터의 바이어스 오차는 본 발명의 실시예에 따라 감소된다. 나아가, 수정 데이터에 대한 저장 요건이 위상 수가 실질적으로 3보다 큰 경우에도 효과적으로 감소한다 (예를 들면 두 개의 메모리 뱅크로도 수정 데이터를 저장하기에 충분함). 전체적으로, 변조 대비를 강화하지 않는다면 저장 오버헤드의 증가 없이 변조 대비를 보전하면서, 보다 나은 교정 수정이 동적으로 획득된다. 이러한 교정 수정은 시간 및 온도에 대해 TOF 시스템 방출 광 파형의 위상-거리 측정치 변경을 포함하는, 바이어스 오차 컴포넌트에 대한 동적 보상을 포함한다. 본 발명의 실시예는 TOF 시스템 성능을 추가 강화하기 위해 룩-업 테이블(LUT)과 홀수 위상 변이의 사용을 조합할 수 있다. 선택적으로 사용되는 경우에, 바람직하게 LUT는 고차 고조파로부터의 잔여 바이어스 오차를 추가로 감소시킬 수 있는 정밀한 수정을 하기 위해 수정 데이터를 저장한다. 본 발명의 태양이 소프트웨어 및/또는 하드웨어로 구현될 수 있다.

본 발명의 다른 특징 및 효과는, 첨부 도면과 함께 바람직한 실시예가 상세히 제시되는 다음의 설명으로부터 분명히 이해될 것이다.

도 1a는 종래 기술에 따른, 미국 특허 제6,515,740호에 의해 예시된 위상-단계화된(phase-phased) 삼차원 TOF 이미징 시스템을 나타내는 블록도이다.
도 1b 및 1c는 종래 기술에 따른 도 1a의 블록도에 대한 예시적인 파형 관계를 나타낸다.
도 1d는 종래 기술에 따른, 예시적인 차동 광검출기 및 고정-위상 지연(FPD) 양자 효율 변조 검출기의 관련 전자장치를 나타내는 블록도이다.
도 1e는 종래 기술에 따른 TOF 시스템의 깊이-대-거리 배핑 특성에 대해 이상적인 선형 컴포넌트에 중첩된 비-선형 고조 컴포넌트를 나타낸다.
도 2는 본 발명의 실시예에 따른, 고차 고조파에 기인한 잔여 오차의 보다 정밀한 수정을 위한 광학 룩-업 테이블(LUT) 구현을 포함하는, 이득 변조, 누적 시간 변조, 및/또는 디지털 동작을 이용한 복수의 위상 변이 교정 중 하나 또는 전부를 가능하게 하는 동적으로 선택 가능한 복수의 위상 변이 교정이 제공된 TOF 시스템을 나타낸다.
도 3a, 3b, 및 3c는 본 발명의 실시예에 따른 4상 동작 TOF 시스템에 대한, 광 입력, 픽셀 또는 검출기 A 출력, 및 픽셀 또는 검출기 B 출력 대 변조 주기/거리를 나타낸다.
도 3d 및 3e는 본 발명의 실시예에 따른 4상 동작 TOF 시스템에 대한, 검출기 B와 차동 검출기 (A-B) 출력 대 변조 주기/거리를 나타낸다.
도 3f는 본 발명의 실시예에 따른 4상 동작 TOF 시스템에 대한, 위상 대 변조 주기/거리를 나타낸다.
도 3g는 본 발명의 실시에에 따른 4상 고조파를 나타내는 극도표(polar plot)이다.
도 3h는 본 발명의 실시예에 따른 4상 고조파에 대한 위상 대 변조 주기/거리를 나타낸다.
도 3i는 본 발명의 실시예에 따른 4상 고조파에 대한 활성 휘도 대 변조 주기/거리를 나타낸다.
도 4a, 4b, 및 4c는 본 발명의 실시예에 따른, 5상 동작 TOF 시스템에 대한 광 입력, 픽셀 또는 검출기 A 출력, 및 픽셀 또는 검출기 B 출력 대 변조 주기/거리를 나타낸다.
도 4d 및 4e는 본 발명의 실시예에 따른, 5상 동작 TOF 시스템에 대한 검출기 B와 차동 검출기(A-B) 출력 대 변조 주기/거리를 나타낸다.
도 4f는 본 발명의 실시예에 따른 5상 동작 TOF 시스템에 대한 위상 대 변조 주기/거리를 나타낸다.
도 4g는 본 발명의 실시예에 따른 5상 고조파를 나타내는 극도표이다.
도 4h는 본 발명의 실시예에 따른 5상 고조파에 대한 위상 대 변조 주기/거리를 나타낸다.
도 4i는 본 발명의 실시예에 따른 5상 고조파에 대한 활성 휘도 대 변조 주기/거리를 나타낸다.
도 5a, 5b, 및 5c는 본 발명의 실시예에 따른, 7상 동작 TOF 시스템에 대한, 광 입력, 픽셀 또는 검출기 A 출력, 및 픽셀 또는 검출기 B 출력 대 변조 주기/거리를 나타낸다.
도 5d 및 5e는 본 발명의 실시예에 따른, 7상 동작 TOF 시스템에 대한, 검출기 B와 차동 검출기 (A-B) 출력 대 변조 주기/거리를 나타낸다.
도 5f는 본 발명의 실시예에 따른 7상 동작 TOF 시스템에 대한 위상 대 변조 주기/거리를 나타낸다.
도 5g는 본 발명의 실시예에 따른 7상 고조파를 나타내는 극도표이다.
도 5h는 본 발명의 실시예에 따른 7상 고조파에 대한 위상 대 변조 주기/거리를 나타낸다.
도 5i는 본 발명의 실시예에 따른 7상 고조파에 대한 활성 휘도 대 변조 주기/거리를 나타낸다.

언급한 바와 같이, TOF 시스템으로부터 신뢰할 수 있게 정확한 깊이 Z 데이터를 획득하는 것은 TOF 시스템의 교정 특성이 시스템의 런타임 동작 중에 알려질 것이 요구된다. 일부 TOF 특성은 소위 "예시(by example)" 교정 기술을 이용하여 연역적으로 획득될 수 있다. 미국 특허 제7,719,662호는 개선된 교정 방법을 기술하고 있으며, 이 방법에서 타깃 객체는 정지한 상태를 유지하나 위상은 거리-유발 위상(distance-caused phase)을 에뮬레이트도록 방출된 광 에너지의 변조 주파수로 투입된다. 이러한 교정은 빠르고 데이터를 획득하기 위한 넓은 공간을 필요로 하지 않았다. 전기성(electrial)(감지 시스템의 기하학적 특성이 아닌 전기성(electrical)에 의존하는, 위상 대 거리 특성) 및 타원성(elliptical)(감지 시스템의 전기적 특성이 아닌 기하학적 성질에 의존하는 위상 대 거리 특성)을 포함하는 교정 모델이 구성 및 저장되었다.

그러나, TOF 특성은 시간에 대해 그리고 환경 변화(예, 온도 변화)에 대해 정적인 것이 아니라 동적인 경향이 있다. 따라서, TOF 시스템이 새것(그리고 금방 교정된 것)인 경우에 매우 정확할 저장된 모델 데이터가 TOF 시스템상의 온도 변화를 포함하는 시스템 변화 때문에 덜 정확하게 될 수 있다.

본 발명은 TOF 시스템의 런타임 동작 중에 우수한 선형 교정 데이터를 획득 및 유지하기 위한 다위상 동적 교정 방법 및 시스템을 제공한다.

도 2는 TOF 시스템(200)을 나타내며, 시스템의 메모리(170)는 데이터 중에서도 예를 들면 온-칩 프로세서(가령 160) 또는 오프-칩 프로세서에 의한 실행시에 본 발명의 실시예를 수행하는 루틴을 저장한다. (다르게 언급되지 않는다면, 도 1a와 유사한 구성요소 참조 번호를 가지는 도 2의 컴포넌트 및 시스템은 동일하거나 실질적으로 동일한 것으로 간주될 수 있다.) 나아가, 메모리(170)의 영역(215)은 본 발명의 실시예에 의해 생성된 데이터를 저장하는데 사용될 수 있고, 또는 이러한 데이터가 오프-IC 칩(210)(예를 들면 오프-칩 메모리(270))에 저장될 수 있다. 도 2의 시스템(200')은 복수의 광원(120)을 사용할 수 있다. 메모리 영역(170)은 또한 본 발명에 의해 사용된 적어도 하나의 룩-업 테이블(LUT)을 이용할 수 있다. 선택적으로, LUT는 고차 고조파에 기인한 시스템의 작은 잔여 오차의 보다 정밀한 수정을 가능하게 하기 위해 수동적으로 수집된 수정 데이터(corrective data)를 포함하는 수정 데이터를 저장할 수 있다. 본 발명의 실시예는 고조파 관련 오차를 추가 수정하기 위해 개별 픽셀에 기초한(on a per-pixel basis) 수정 계수를 포함하는 적어도 하나의 LUT를 위한 저장소(가령 170, 215 등)를 포함할 수 있다.

고속-Z 교정은 시간 효율적이고 공간 효율적인 방식으로, 가능한 적은 데이터 포인트로 매핑되는 위상-대-거리(phase-to-distance)를 생성하는 것이 바람직하다. 시스템(200)의 기본적인 전자 검출 특성을 캡쳐하기 위해, 위상-대 거리 매핑은 이상적이게는 선형적이어야 하나, 실제로는 도 1e에 도시된 것과 같이 고조파를 포함할 것이다. 이러한 바람직하지 않은 선형성으로부터의 이탈은 설명될 것과 같이, 고차 홀수 고조파(odd harmonics)에 기인하는 것으로 여겨진다. 본 발명의 실시예는 시간 및 온도에 대해 보다 선형적인 위상-대-거리 전달 함수를 동적으로 제공하는 것을 추구한다. 결과는 깊이 측정이 정확한 교정에 덜 의존하는 TOF 시스템이다.

본 발명에서, 출원인은 본질적으로 정적인 수정 데이터에 의존하기보다 홀수 위상(예를 들면,

등)을 사용하여 위상-기반 TOF 시스템을 동작시키는 것이 효과적이라는 것을 발견하였다. 짝수 위상을 사용하여 TOF 데이터를 획득하는 것은 도 1e에 증명되는 것과 같이, 고조파의 주름-형 악영향(ripple-like mal-effects)에 기인한 바이어스 오차를 효과적으로 감소시킨다.

효과적으로, 우수한 변조 대비가 본 발명의 실시예를 사용하여 획득되고, N의 크기에 독립적으로, 교정 데이터를 저장하기 위해 단 두 개의 메모리 뱅크로도 충분하다. 원하는 경우에, 많은 응용예에서 필요하지 않을 것이나, 고조파 바이어스 오차의 추가 감소가 룩-업 테이블(LUT)을 이용함으로써 획득될 수 있다. 일 실시예에서, 이러한 LUT는 TOF 시스템에 대해 동적 기반으로 가장 최근에 획득된 수정 데이터를 저장하는 것이 바람직하다. LUT의 사용은 선택적이나 정밀한 수정을 하기 위해 TOF 시스템의 위상-대-깊이 거리 관계의 잔여 비-선형성에 대해 보다 최적으로 수정될 수 있다.

다시 도 2로 돌아가면, TOF 시스템(200')은 예를 들면 도 1a, 1b, 1c 및 1d에 관하여 설명된 것과 많은 측면에서 유사하며, 언급한 바와 같이, 유사한 참조 번호가 실질적으로 유사한 컴포넌트 또는 기능을 나타낼 수 있다. 위상-기반 TOF 시스템(200')에 의해 획득된 데이터가 DATA'로 표시되고 다른 애플리케이션 및/또는 장치로 전달될 수 있다. 도 2에 도시된 것과 같이, 시스템(200')은 바람직하게는 적어도 하나의 동작 모드 또는 모듈(230, 240, 250으로 표시됨)을 포함하고, 여기서 시스템(200')은 이러한 모드 중 하나에서 동작할 수 있다(바람직하게는 동적으로 스위칭 가능함). 전자 스위치(260)는 본 발명의 TOF 시스템 런타임 동작 조건을 가장 적합한, 세 개의 모드(230, 240, 250) 중 바람직한 하나로 시스템(200)이 동적으로 또는 정적으로 스위칭하는 것을 가능하게 하는 것으로 상징적으로 도시된다. 시스템(200)은 또한 방출기(들)(120)로부터의 광 에너지의 변조 주파수가 바람직한 위상 값을 가지도록 할 수 있는 이상기 제어 유닛(phase shifter control unit, 220)을 포함한다.

본 명세서에서 전술한 바와 같이, 많은 종래 기술의 TOF 시스템(가령, 도 1a의 시스템(100))은 네 개의 위상을 사용하여 동작되며, 여기서 광 에너지는 정현파형 파형(sinusoidal type waveform)을 가진다. 파형이 이상적인 정현파인 경우에, TOF 시스템(100)은 비선형 일그러짐(non-linear distortion)을 나타내지 않을 것이나, 실제로는 이러한 일그러짐이 존재할 것이다. 예를 들어, 4상 시스템(four-phase system)은 전형적으로 소정의 Z 거리에서 약

의 오차를 가진 깊이 Z 값을 생성할 것이며, 이러한 오차는 주로 유사-삼각 파형과 연관된 고차 고조파의 상관 함수(CF)에 기인한다. 예를 들어, 이상적인 삼각형 CF에 대한 고조파의 상대적인 진폭이

등으로 주파수 도메인에 전개될 수 있으며, 여기서

은 TOF 시스템에 적용된 기본 주파수이다. 물론 실제 시스템에서, 고차 항(higher order term)의 고조파는 존재하는 비선형 일그러짐에 기인하여 제로로 완전히 감소하지는 않을 것이다.

전형적으로 정적인 LUT(들)을 사용하는 교정 또는 보상 방법이 보다 높은 깊이 Z 측정 정밀도를 추구하기 위해 이용될 수 있으나, 현재 TOF 시스템 동작 조건을 만족시키도록 LUT의 내용을 손쉽게 동적으로 변경할 수 없다. 예를 들어, 아마도 변조 불안정성, 파형, 일그러짐 등에 기인하는 상관 함수(CF)의 3차 이상의 고조파의 악효과를 처리하도록 LUT 내용을 변경할 수 있다면 매우 유용할 것이다. 정적으로 저장된 LUT 수정 교정 값에 의존하는 TOF 시스템은 주된 3차 고조파 또는 그 이상 차수의 고조파에 의해 야기된 진폭 계수 변화 및/또는 위상 변이 변화에 특히 취약하다.

예를 들어, 3차 고조파를

로 표현할 수 있고, 여기서 m₃는 공칭 계수(nominal coefficient)이고,

는 방출기(들)(120)로부터의 광 에너지에 대한 변조 신호의 기본 각 주파수이며,

는 TOF(time-of-flight)에 기인한 시간 지연이고,

은 TOF 시스템 위상 오프셋으로서 시스템 노이즈, 열적 효과 등을 나타내는 파라미터이다. k 값은 시스템 위상 오프셋인 주된 항이고, 이는 4상 기반 TOF 시스템의 시스템 오차를 생성한다.

계수 및 시스템 위상 오프셋인

는 파 변형 및/또는 기타 변수에 따라 변할 수 있다. 이해할 수 있듯이, 순수한 LUT 교정 또는 수정 접근법이 k의 크기가 변하는 경우에 적절히 보상하는 것이 과제이다. 또한 통상적인 4상 TOF 시스템은 특히 타깃 객체가 강한 반사율을 가지는 경우에 센서 또는 픽셀 포화에 시달릴 수 있다. 타깃 객체가 빠르게 움직이는 경우에, 획득된 깊이 데이터의 단일 프레임은 흐릿해진 이미지(blurred images)를 포함할 수 있으며, 이는 후속 처리에서 치유하기가 어렵다. 이해할 수 있듯이, 깊이 데이터가 보다 짧은 기간에 획득될 수 있는 경우에 흐려짐(blurring) 및 어레이(130) 내의 픽셀 포화에 대한 가능성이 상대적으로 적다.

경제성을 포함하는 실제적 디자인 고려사항은, 광원(들)(120)이 LED 또는 레이저 다이오드이고, 여기장치(115)로부터의 변조 신호 및 어레이(130)의 다양한 픽셀 검출기(140)에 인가된 변조 신호가 직사각 또는 사각 파형을 가지는 것을 강제할 수 있다. 이러한 고속 상승 및 하강 시간 파형 신호는 예를 들면 강화된 변조 대비에 의해 나타내지는, TOF 시스템 수정 감도를 강화할 수 있다.

이론적으로, 이상적인 검출기 시스템은 구형파 파형(square-wave waveforms)에 대해 100%의 변조 대비를 나타낼 것이며, 정현파에 대해 50%의 변조 대비를 나타낼 것이다. 그러나 변조 대비 관점에서 이득이나, 구형파의 사용은 심각한 TOF 시스템 비선형 일그러짐을 일으킬 수 있고, 이는 시스템 측정된 Z 깊이 값의 절대 정밀도를 감소시킬 것이다. 지금부터 설명할 것과 같이, 본 발명의 실시예는 감소된 고조파 기반 오차, 강화된 변조 대비, 이미지 흐릿해짐 감소, 및 더욱 낮은 픽셀 포화 가능성, 메모리 저장소의 필요성 감소를 효과적으로 제공한다.

본 발명의 실시예는 TOF 시스템(200')에 대한 홀수(N)의 위상-변이 단차(step)를 바람직하게는 시스템 광 에너지 전달 채널이나 경로에, 또는 삼차원 수신 채널이나 경로에 적용하는 것이 바람직하다. 설명의 쉽게 하기 위해, 도 2은 위상 변이(phase shifting)이 수신 채널이나 경로에 도시되는 실시예를 나타낸다. 스위치(260)가 예를 들면, 이득 변조 계수 G_N 할당 유닛인, 모듈(240)에 연결된 수평 위치에 존재하는 것으로 가정한다. 이러한 모드에서, TOF 시스템 오실레이터 유닛(예, 클록(180), 프로세서(160), I/O(190))은 변조 주파수 f0를 가지는 방출기(115)를 거쳐 RF 변조 신호를 생성한다. 이러한 구동 신호는 광 에너지 방출기(들)(120)에 연결되고, 광 에너지 방출기는 관심 대상인 타깃 객체(20)의 일부를 적어도 부분적으로 조명하는 광 에너지를 방출한다. 이러한 활성 에너지(활성 광)는 타깃 객체에 의해 TOF 시스템(200')을 향해 다시 반사되고, 여기서 황설 에너지는 광한 시스템(135)를 통과하여 어레이(130) 내의 픽셀 검출기 또는 센서(140)에 도달한다. 타깃 객체(200에 의해 반사되고 TOF 시스템(200')으로 부분적으로 반환된 광 에너지가 시스템(200')을 벗어나는 데 필요한 지속시간은 전파 시간 또는 TOF(t_d)이다. 150과 같은 전자장치는 아날로그/디지털 변환과 같은 기능, 적어도 하나의 가변 이득 증폭기, 및 판독 성능(가령 I/O(190))을 포함하는 것이 바람직하다. RF 변조 신호 구동 여기장치(115) 및 방출기(120)는 또한 이상기(220)에 동시에 연결되고, 각각의 픽셀 검출기를 통해 TOF 시스템에 의해 획득된 광 깊이 이미지를 복조하는데 사용된다.

복조의 예시적 유형은 양자 효율 복조 및 호모다인 검출을 포함한다(미국 특허 제6,515,740호 참조). 스위치(260)가 중앙 위치에 있는 경우에, 복조된 신호의 이득은 바람직하게는, 상이한 증폭기 이득 인자(예, 이득 G₁, 이득 G₂ ... G_N)을 할당하는 계수 할당 유닛(240)에 의해 조정된 변수이다. 따라서 이득-변조 신호는 이후에 IC 칩(210) 또는 오프-칩에서 디지털화되고, 예를 들면 메모리(215)에 온-칩으로 또는 예를 들면 메모리(270)에 오프-칩으로 저장될 수 있다. 온 또는 오프 칩에 저장된 것은 아마도 메모리(170, 215)의 일부 또는 메모리(270)의 오프-칩 내의 데이터 뱅크, 바람직하게는 하나 또는 두 개의 데이터 뱅크로 간주될 수 있다. 택일적으로, 처리 또는 사전처리된 신호 정보가 다른 장치 및/또는 애플리케이션에 의한 사용을 위해 DATA'로서 전달될 수 있다. 바람직한 실시예에서, 항당 유신9240)의 다양한 이득이 진폭 면에서 변할 수 있고, 런타임 동작 중에 동적으로 변경될 수 있어 그 순간에 TOF 시스템 환경을 가장 잘 수용한다.

계속해서 도 2를 참조하면, 스위치(260)가 최상위(uppermost) 위치로 이동되어, 누적 시간 변조기 유닛(230)에 연결되는 것으로 가정한다. 다양한 t₁, t₂, ... t_N 엔트리가 상이한 픽셀 신호 통합 시간을 나타낸다. (전형적으로는, 들어오는 광자 에너지에 의해 픽셀에서 생성된 검출 전류가 검출가능 신호를 생성하도록 커패시터에 집약된다.) 이러한 동작 모드에서, 복조된 검출 신호의 누적 시간이 각각의 위상 변이 유닛(phase shift unit, 220)으로부터의 각각의 위상 변이와 동시에, 누적 시간 변조기 유닛(230)에 의해 가변적으로 조정된다. 다시, 가변적 통합 시간 변조 검출 신호의 디지털화가 온 또는 오프 IC 칩(210)에서 이루어진다.

이제 디지털 스위치(260)가, 위상 유닛(220)으로부터의 위상 변화와 동시에 동작하는, D1, D2, ... DN으로 표시된 디지털 수치 값을 포함하는 디지털 수치 유닛(250)에 연결되는 최하위 위치에 있다고 가정한다. 생성된 데이터는 예를 들면 메모리(170, 215) 및/또는 메모리(270)의 온 또는 오프 칩에 저장될 수 있다.

"스위치"(230)는 축약 표현이고, 회전형 물리적 기계 스위치가 아니다. 바람직한 실시예에서, 스위치(230)는 이득 변경 모드, 누적 시간 변경 모드, 디지털 값 변경 모드 간의 동력학적으로 그리고 접촉식으로 현재의 동작 환경의 현재 런타임에서 TOF 시스템(200')의 동작에 가장 잘 맞는, 모드를 스위칭할 수 있다. 다양한 동작 모드에서, N-상 변이는 관련 상관 인자(CF)의 주기 내에서 또는 주기에 걸쳐 분포된 동일하거나 최소한 동일하지 않은 거리인 것으로 가정한다. 예를 들어, N개의 동일하게 분포된 위상 변이는 다음의 위상 변이 세트가 된다.

초기 변이는 임의의 위상 값

더하기 위의 브레이스(braces) 내의 임의의 값일 수 있다. TOF 픽셀 어레이(130, 도 2 참조) 내의 각각의 픽셀(140)은 다음과 같이 위상(

)에 대응하는 출력 Z 깊이 정보를 제공할 것이다.

여기서, Vk는 위상 단차

에서의 픽셀 출력 신호이고, 정현파 항(sinusoidal terms)은 변조 계수를 결정한다. 이러한 일반식은 위상 변이의 임의의 정수 N에 대해 3, 4, 5를 포함한다. 위상 변이의 수의 증가는 고차 고조파에 의해 유발되는 원치않는 계통 오차를 소거하거나 선택적으로 소거할 것이다. 위의 atan 함수의 전개는 실수 도메인의 컴포넌트와 허수 도메인의 컴포넌트를 산출할 것이다. N의 크기에 독립적으로, 이러한 두 개의 컴포넌트 세트(실수 및 허수)가 런타임 교정 수정에서의 사용을 위해, 예를 들면 온칩 메모리(215) 또는 오프칩 메모리(270)로 단 두 개의 메모리 뱅크에 저장될 수 있다.

표 1은 이하에 주파수 도메인의 계통 오차를 생성하는 고조파의 항을 요약한다. 고차 고조파로부터 발생하는 바이어스의 소거(또는 적어도 실질적 감소)를 나타내는, 표 1의 제로(zeros)의 존재에 주의한다.

표 1의 참조하면, N=4인 위상 변이에 대해, 제3차 고조파(third order harmonics)가 기본적으로 본 발명에 의해 제로로 감소되고, 실질적으로는 TOF 시스템 오차가 감소될 것이라는 것이 주목한다. N=8인 위상 변이에 대해,

항의 고차 고조파는 이러한 항이 크거나(large) 상이한 환경 및 기타 조건에서 크기가 변하는 경우에도, 계통 오차를 발생시키지 않을 것이다.

다음의 표 2는 전술한 가변 이득 모드, 가변 누적 시간 모드 및 디지털 동작에서의 TOF 시스템(200')의 동작을 나타낸다.

위상 변이의 수인 N은 임의의 정수일 수 있고, 초기 또는 최초 위상 변이는 임의의 위상 값일 수 있다는 것에 주의한다. N이 홀수(odd integer)인 경우에, 구형파 신호로 동작하는 TOF 시스템의 매우 높은 차수의 고조파에 대해 높은 저항(예를 들면, 리덕션(reduction))이 존재한다. 다른 한편으로, N-위상 변이의 짝수를 사용하는 것은 구형파 신호로 동작하는 TOF 시스템의 높은 차수의 홀수 고조파에 대해 보다 적은 리덕션을 가질 것이다.

언급한 바와 같이, 구형파 모양의 TOF 시스템 광 방출 파형과 고 변조 대비 의 사용과, 더욱 낮은 변조 대비를 생성하나 상승 및 하강 시간이 바람직하지 않은 고차 고조파에서와 같이 풍부(rich)하지 않은, 아마도 삼각형 모양인 파형의 사용 간에는 디자인 상충관계(trandoff)가 존재한다. 본 발명은 효과적으로 양쪽 면의 최선책을 제공한다. TOF 시스템은 보다 높은 변조 대비에는 바람직하나 수반되는 고차 고조파에는 바람직하지 않은, 빠른 상승 및 하강 전환 시간을 가지는 파형을 방출한다. 그러나, 고차 고조파에 기인한 바이어스 오차가 본 발명에 따라 감소된다.

2π로 동일하게 분포된 N-위상 변이가 (CF) 상관 함수의 단일 주기 내에 적용될 수 있고, 하나보다 많은 주기(예를 들면, N+k, k+1, 2, ...)에 대해 적용될 수 있다. 이러한 방법을 구현하는 실시예는, 종래 기술에 따른 방법을 사용하여 획득한다면 쉽지 않은 인자인, 최소 고조파를 이용한 최대 변조 대비를 가능하게 한다.

효과적으로, TOF 시스템의 열적 효과는 본 발명에 따른, 고차 홀수 고조파의 실질적 감소로 실질적으로 감소된다. 이 방범은 동적인 자체-교정이기 때문에, 교정이 시스템의 수명에 걸쳐, TOF 시스템 내의 시스템 컴포넌트의 환경 온도 변화 및 변경에도 견고하다. 단순히 연역적으로 결정된 교정 데이터를 가진 정적 LUT(들)의 종래 기술에 따른 사용은 특히 광 에너지 및 픽셀 검출기 파형이 런타임 동작 중에 변경되는 경우에 지속적으로 우수한 교정 데이터를 제공할 수 없다. 고정된 거리 및 프레임 레이트(frame rate) 내에서, 본 발명의 실시예는 N-위상 변이를 증가시키면서 동적 범위를 효과적으로 강화한다.

언급한 바와 같이, 균일성은 홀수 위상의 사용과 연관된 비대칭성의 면에서 강화된다. 효과적으로, 이러한 비대칭성은 픽셀의 포화 또는 이들의 연관된 아날로그/디지털 컨버터의 포화를 줄이는 바람직한 효과를 가진다. 실제로, 포화에 대해 오차가 증가하는 레이트는 TOF 시스템이 통상적인 4상 방법으로 동작되는 경우보다 적다. 따라서, 종래기술에 따른 교정 접근법을 오랫동안 괴롭혔던 고조파에 기인한 오차가 이제 감소된다. 활성 강도 정보(active intensity information)(TOF 시스템 활성 또는 방출 광 에너지에 응답하는 픽셀)는 전형적으로 많은 TOF 시스템에서 필터링을 위해 사용된다. 그러나 전형적인 TOF 시스템은 이들의 활성 강도 데이터와 마찬가지로 고조파 오차를 가진다. 효과적으로, 본 발명은 활성 강도 고조파에서 오차를 감소시키고, 이는 필터링이 TOF 시스템에 적용되는 경우에 오차를 감소시킨다. 본 발명의 효과를 설명하였으나, 다양한 위상 변이를 이용하여 획득된 몇몇의 실제 데이터가 지금부터 설명될 것이다.

도 3a 내지 3i는 4상 모드(N=4)에서 동작하는 TOF 시스템(200')을 나타낸다. 도 3a는 이상적인 입력 광 에너지를 나타내고, 도 3b 및 3c는 픽셀 뱅크(A)dml 검출기의 출력 및 픽셀 뱅크(B)의 검출기의 출력을 나타낸다. 픽셀 검출에 대한 세부사항은 현재는 마이크로소프트 사의 소유이며 본 명세서에서 참조된, 카네스타 사의 여러 특허에서 찾아볼 수 있으며, 이하에서 반복 설명되지 않을 것이다. 도 3d는 검출기(B)에 대한, 4상 데이터 대 변조 주기/거리의 도표(plot)이고, 도 3e는 차동 (A-B) 검출기 데이터 대 변조 주기/거리를 나타낸다. 원 숫자는 네 개의 위상을 나타낸다. 도 3f는 위상 대 변조 주기/거리를 나타내고, 전달 함수에 대한 일부의 바람직하지 않은 주름(ripple) 및 비-선형성을 도시한다.

도 3g는 4상 동작에 대한 극도표이고, 도 3h는 4상 고조파 대 변조 주기/거리를 나타낸다. 도 3i는 활성 휘도(예를 들면, 다른 주변, 광 에너지에 대한 응답에 반하는 120에 의해 방출된 광 에너지에 대한 응답) 대 변조 주기/거리를 나타낸다.

도 4a 내지 4i는 5상 동작에 대한 유사한 도표를 나타낸다. 특히 도 3f의 고조파-일그러짐된 4상 전달 함수에 비교하여, 도 4f에 도시된, 변조 주기/거리 대한 5상 전달 함수의 강화된 선형성에 주목한다. 유사하게, 도 4h 및 4i에 도시된 데이터에 상대적으로 작은 교란(perturbation)이 존재한다.

도 5a 내지 5i는 7상 동작에 대한 유사한 도표를 나타낸다. 도 5에 도시된 위상 대 변조 주기/거리의 전달 함수가 매우 선형적이다. 마찬가지로, 7상 동작에 대해 도 5h 및 5i에 도시된 데이터에 매우 작은 교란이 존재한다. 이러한 전달 함수의 고 선형성은 도 4f의 고조파-일그러짐 된 함수에 대해 효과적으로 향상된 것이다. 명확하게, 홀수 위상이 짝수 위상의 사용보다 선호된다.

TOF 시스템의 수신 채널 또는 기능에 관해 다양한 실시예가 설명되었으나, 대신 구현은 광 방출 채널에 대한 것일 수 있다. 구현시에서, 본 발명은 위상-기반 TOF 시스템의 고차 고조파에 의해 야기된 계통 오차를 실질적으로 줄이는 자기-교정 방법을 제공한다. 효과적으로, 우수한 변조 대비 성능이 유지되면서, 동시에 계통 오류를 줄인다.

위상 변이의 임의 정수 N이 사용될 수 있고, 초기 위상 변이가 임의의 값일 수 있다. 그러나, 고차 고조파 교란이 감소되기 때문에 위상 변이의 홀수를 사용하는 것은 구형파를 이용해 TOF 시스템을 동작시키는 경우에도 효과적일 수 있다. 홀수 위상은 TOF 시스템에 대해 보다 높은 부하(load)를 가하지만 고차 고조파의 영향을 줄인다. 대조적으로, 짝수 위상을 이용한 동작은 적은 시스템 부하를 선사하나, 고차 고조파의 효과적인 제거가 어려워진다. N의 크기에 독립적으로, 두 개의 메모리 뱅크는 교정 데이터를 저장하는데 충분하다. N 위상 변이 단계는 TOF 시스템의 전송 채널 또는 수신 채널 내에서 구현될 수 있다. 구현시에, 열적 효과를 포함하는 시스템 오차가 실질적으로 줄어든다.

본 발명의 다양한 실시예는, 시스템(200')이 종래 기술에 따른 위상-기반 TOF 시스템보다 높은 레벨의 변조 대비(가령, 70%)를 획득하게 할 수 있으며, 동시에 노이즈의 증가 없이 더욱 높은 차수의 고조파를 감소시키기 위한 자기-교정을 성취할 수 있다. 월등하게 본 발명은 견고하고 역동적이다. 나아가 데이터 획득에 대한 고정된 Z 거리 프레임 레이트가 주어지면, 증가하는 N 평균 데이터가 더욱 많이, 그러나 더욱 짧은 시간 증분(time increments)에서 얻어지기 때문에, 본 발명 은 이동하는 타깃 객체로 인한 흐릿해짐의 가능성이 적은 증가된 동적 범위를 제공한다. 홀수 위상의 사용은 추가로, 아날로그/디지털 변환 유닛을 포함하는 장치 및 시스템의 포화 가능성을 줄인다. 효과적으로, TOF 시스템에 의해 획득된 활성 강도 정보는 또한 활성 강도 정보를 사용하는 수정 방법이 수행됨에 따라 본 발명에서 이득을 얻는다.

다음의 청구항에 의해 정의된 본 발명의 주제 및 사상을 벗어나지 않는 범위에서 개시된 실시예에 변경 및 변형이 이루어질 수 있다.

Claims

오차를 감소시키도록 TOF(time-of-flight) 시스템을 자기-교정(self-calibrating)하는 방법에 있어서,
상기 TOF 시스템은 알려진 변조 주파수 위상(known modulation frequency phase)의 광 에너지를 방출하고, 픽셀 어레이를 사용하여 Z 거리만큼 떨어진 타깃 객체로부터 반사된 상기 광 에너지의 일부를 검출하며, 방출된 상기 광 에너지의 위상에 대한 검출된, 반사된 광 에너지의 위상 변이(phase shift)를 진단함으로써 깊이 Z를 결정하고,
상기 방법은,
(a) N개의 위상-변이 단차(phase-shifting step) - N은 홀수로부터 선택됨 - 를 사용하여 상기 픽셀 어레이로부터 검출 데이터를 획득하는 단계;
(b) (i) 검출 이득 변경 모드, (ii) 검출 누적 시간 변경 모드 및 (iii) 디지털 값 변경 모드로 구성된 그룹으로부터 선택된 모드 - 선택된 상기 모드는 상기 TOF 시스템에 자기-교정 데이터를 제공함 - 에서 런타임 동안에 상기 TOF 시스템을 동작하게 하는 단계;
(c) 하나의 상기 모드 동안에 획득된 자기-교정 데이터를 제1 및 제2 메모리 위치에 저장하는 단계; 및
(d) 상기 TOF 시스템의 런타임 동작 중에 저장된 상기 자기-교정 데이터를 사용하여 교정 오차를 줄이는 단계
를 포함하고,
상기 방법은 (i) 고차 고조파(higher order harmonics)로 인한 바이어스 오차, (ii) 상기 TOF 시스템에 의해 방출된 광 에너지의 파형의 변화(variation)로 인한 바이어스 오차, 및 (iii) 상기 어레이 내의 픽셀에 의해 수신된 파형의 변화로 인한 바이어스 오차 중 적어도 하나를 감소시키는,
TOF 시스템의 자기-교정 방법.
제1항에 있어서,
단계 (a)에서, 적어도 3개의 위상-변이 단차가 사용되는 것인,
TOF 시스템의 자기-교정 방법.
제1항에 있어서,
단계 (b)는 상기 TOF 시스템의 런타임 동작 중에 동적으로 수행되는 것인,
TOF 시스템의 자기-교정 방법.
제1항에 있어서,
단계 (b)는 단일의 상기 모드를 제공하는 것인,
TOF 시스템의 자기-교정 방법.
제1항에 있어서,
단계 (b)에서, 런타임 동안에 상기 TOF 시스템이 검출 이득 변경 모드에서 동작하고,
(i) 양자 효율 변조 및 (ii) 호모다인 검출(homodyne detection) 중 적어도 하나가 상기 TOF 시스템 내에 구현되는 것인,
TOF 시스템의 자기-교정 방법.
제5항에 있어서,
TOF 시스템 복조된 신호의 이득은 위상 당 변화에 기초하여(on a per-phase change basis) 변경되고, 이득 변경된 상기 복조된 신호는 디지털화되며 적어도 제1 및 제2 메모리 뱅크에 저장되는 것인,
TOF 시스템의 자기-교정 방법.
제1항에 있어서,
단계 (b)에서, 런타임 동안에 상기 TOF 시스템은 검출 누적 시간 변경 모드에서 동작하며,
(i) 양자 효율 변조 및 (ii) 호모다인 검출 중 적어도 하나가 상기 TOF 시스템내에 구현되는 것인,
TOF 시스템의 자기-교정 방법.
제7항에 있어서,
단계 (b)에서, TOF 시스템 복조된 픽셀 검출 신호 누적 시간이 위상 당 변화에 기초하여 동시에 변경되고, 복조된 픽셀 검출 신호가 이어서 디지털화되며 적어도 제1 및 제2 메모리 뱅크에 저장되는 것인,
TOF 시스템의 자기-교정 방법.
제1항에 있어서,
단계 (b)에서, 런타임 동안에 상기 TOF 시스템은 디지털 값 변경 모드에서 동작하고,
(i) 양자 효율 변조 및 (ii) 호모다인 검출 중 적어도 하나가 상기 TOF 시스템내에 구현되는 것인,
TOF 시스템의 자기-교정 방법.
제9항에 있어서,
단계 (b)에서, TOF 시스템 복조된 픽셀 검출 신호가 위상 당 변화에 대해 사전-저장된 디지털 수치 값과 연관되는 것인,
TOF 시스템의 자기-교정 방법.
제1항에 있어서,
단계 (c)에서, 자기-교정 데이터는 저장소의 2개의 뱅크에 저장될 수 있고, 상기 저장소의 2개의 뱅크의 위치는 (i) 상기 TOF 시스템의 내부 및 (ii) 상기 TOF 시스템의 외부로 구성된 그룹으로부터 선택되는 것인,
TOF 시스템의 자기-교정 방법.
제1항에 있어서,
위상 변이는 (i) 서로에 대해 동일한 위상 변이 및 (ii) 연관된 상관 인자(correlation factor)의 주기에 걸쳐 적어도 동일하지 않은 거리에서 서로에 관해 분포되는 위상 변이로 구성된 그룹으로부터 선택된 적어도 하나의 특성을 가지는 것인,
TOF 시스템의 자기-교정 방법.
알려진 변조 주파수 위상의 광 에너지를 방출하고, 픽셀 어레이를 사용하여 Z 거리만큼 떨어진 타깃 객체로부터 반사된 상기 광 에너지의 일부를 검출하며, 방출된 상기 광 에너지의 위상에 대한 검출된, 반사된 광 에너지의 위상 변이를 진단함으로써 깊이 Z를 결정하는 TOF 시스템에 있어서,
상기 TOF 시스템은,
N개의 위상-변이 단차(phase-shifting step) - N은 홀수로부터 선택됨 - 를 사용하여 상기 픽셀 어레이로부터 검출 데이터를 획득하는 수단;
(i) 검출 이득 변경 모드, (ii) 검출 누적 시간 변경 모드 및 (iii) 디지털 값 변경 모드로 구성된 그룹으로부터 선택된 모드 - 선택된 상기 모드는 상기 TOF 시스템에 자기-교정 데이터를 제공함 - 에서 런타임 동안에 상기 TOF 시스템을 동작하게 하는 수단;
하나의 상기 모드 중에 획득된 자기-교정 데이터를 제1 및 제2 메모리 위치에 저장하는 메모리; 및
상기 TOF 시스템의 런타임 동작 중에 저장된 상기 자기-교정 데이터를 사용하여 교정 오차를 줄이는 수단
을 포함하고,
상기 TOF 시스템은 (i) 고차 고조파로 인한 바이어스 오차, (ii) 상기 TOF 시스템에 의해 방출된 광 에너지의 파형의 변화로 인한 바이어스 오차, 및 (iii) 상기 어레이 내의 픽셀에 의해 수신된 파형의 변화로 인한 바이어스 오차로 구성된 그룹으로부터 선택된 적어도 하나의 유형의 감소된 바이어스 오차를 보이는 것인,
TOF 시스템.
제13항에 있어서,
자기-교정 데이터는 상기 TOF 시스템의 런타임 동작 중에 동적으로 획득되는 것인,
TOF 시스템.
제13항에 있어서,
상기 TOF 시스템은, 검출 이득 변경 모드에서 동작하고, (i) 양자 효율 변조 및 (ii) 호모다인 검출(homodyne detection) 중 적어도 하나를 사용하여 구현되는,
TOF 시스템.
제15항에 있어서,
상기 TOF 시스템 복조된 신호의 이득은 위상 당 변화에 기초하여(on a per-phase change basis) 변경되고,
이득 변경된 상기 복조된 신호를 디지털화하고 적어도 제1 메모리 뱅크 및 제2 메모리 뱅크에 저장하는 수단을 더 포함하는,
TOF 시스템.
제13항에 있어서,
런타임 동안에 상기 TOF 시스템은 검출 누적 시간 변경 모드에서 동작하며, (i) 양자 효율 변조 및 (ii) 호모다인 검출 중 적어도 하나를 사용하여 구현되는 것인,
TOF 시스템.
제17항에 있어서,
TOF 시스템 복조된 픽셀 검출 신호 누적 시간이 위상 당 변화에 기초하여 동시에 변경되고,
복조된 픽셀 검출 신호를 디지털화하고 적어도 제1 메모리 뱅크 및 제2 메모리 뱅크에 저장하는 수단을 더 포함하는,
TOF 시스템.
제13항에 있어서,
상기 TOF 시스템은 디지털 값 변경 모드에서 동작하고, (i) 양자 효율 변조 및 (ii) 호모다인 검출 중 적어도 하나를 사용하여 구현되는,
TOF 시스템.
제19항에 있어서,
위상 당 변화에 대해 TOF 시스템 복조된 픽셀 검출 신호와 연관된 디지털 수치 값을 저장하는 메모리를 더 포함하는,
TOF 시스템.
제13항에 있어서,
메모리의 제1 뱅크 및 메모리의 제2 뱅크를 더 포함하고,
상기 메모리의 제1 뱅크 및 제2 뱅크는 (i) 상기 TOF 시스템의 내부 및 (ii) 상기 TOF 시스템의 외부로 구성된 그룹으로부터 선택되는 위치에 배치되는 것인,
TOF 시스템.
제13항에 있어서,
위상 변이는 (i) 서로에 대해 동일한 위상 변이 및 (ii) 연관된 상관 인자(correlation factor)의 주기에 걸쳐 적어도 동일하지 않은 거리에서 서로에 관해 분포되는 위상 변이로 구성된 그룹으로부터 선택된 적어도 하나의 특성을 가지는 것인,
TOF 시스템.