KR101992511B1

KR101992511B1 - 3차원 줌 이미저

Info

Publication number: KR101992511B1
Application number: KR1020147023398A
Authority: KR
Inventors: 사지 카츠; 아비샤이 아들러; 지오라 야하브; 데이비드 코헨; 엘리 래리; 쉴로모 펠젠쉬타인
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2012-01-23
Filing date: 2013-01-08
Publication date: 2019-06-24
Also published as: WO2013112284A1; US9720089B2; JP2015510586A; CN104094594A; US20130188022A1; EP2807826B1; CN104094594B; EP2807826A1; EP2807826A4; KR20140123079A

Abstract

3D 이미저는 이미저를 위해 활성 공간을 제공하도록 중첩되는 고정된 광각(wide-angle) 및 협각 FOV들을 각각 구비한 두 개의 카메라들과, 제어기를 포함하며, 제어기는 카메라들에 의해 제공되는 거리에 응답해서 활성 공간 내의 피처(feature)까지의 거리와, 활성 공간을 근거리, 중거리, 및 원거리 구역으로 분할하는 것을 결정한다.

Description

3차원 줌 이미저{3D ZOOM IMAGER}

물체(object)가 카메라로부터 더 멀리 이동함에 따라, 카메라가 물체를 이미징하는 광센서(photosensor)에 물체가 마주 대하는(subtend) 각도가 감소하고, 카메라가 광센서 상으로 투사하는 물체의 이미지 크기와, 이미지에 의해 덮혀지는 광센서 내의 픽셀들의 개수가 감소한다. 이미지가 투사되는 이미지 크기와, 픽셀 개수의 감소로 인해, 물체의 피처(feature)의 해상도가 감소하고, 물체의 세부사항이 식별할 수 없게 될 수 있다. 줌 기능을 제공하는 카메라의 광학계는 조정가능하여, 물체가 카메라로부터 멀어짐에 따라, 물체가 카메라 광센서를 마주 대하는 각도를 유지하거나 증가시키도록 물체가 줌인(zoomed in)될 수 있다. 물체에 대한 줌인은 카메라가 자신의 광센서 상으로 초점을 맞추는 물체의 이미지를 확대시키고, 물체의 이미징된 피처의 해상도를 향상시킨다.

통상적으로, 카메라를 위한 줌 조절은 카메라의 광학계 내의 하나의 렌즈 또는 렌즈들을 이동시켜 렌즈들의 상대적 위치와, 따라서, 광학계의 초점 길이를 변화시키게 하는 기계적 시스템에 의해 제공된다. 광학계는 렌즈를 이동시켜 비교적 긴 초점 길이 및 시계(field of view; FOV)를 카메라에 제공하며, 물체에 대해 줌인하고, 카메라가 획득하는 물체의 이미지를 확대시키도록 비교적 작은 화각을 갖는 것을 특징으로 한다. 광학계는 렌즈를 이동시켜 비교적 짧은 초점 길이 및 비교적 광각의 시계(Field of View; FOV)를 카메라에 제공하여, 물체를 줌 아웃(zoom out)하고, 카메라가 획득하는 물체의 이미지를 축소시키게 한다.

카메라의 FOV는 카메라의 광학 중심으로부터 연장되는 입체각에 의해 정의되는 공간 영역이고, 이러한 공간 영역을 위해 이러한 공간 영역 내의 점들이 카메라 광센서 상의 카메라의 광학계에 의해 이미징된다. 대부분의 이미징 목적을 위한 FOV의 크기는 수평 및 수직 화각에 의해 편리하게 측정된다. 수평 및 수직 화각들은 카메라의 광학 중심으로부터 연장되는 두 개의 라인들 사이의 가장 큰 각도이고, FOV 내에 포함되며, 지면에 각각 평행하고 수직인 평면에서 카메라 광축에 공면(coplanar)이다.

카메라가 이미징하는 장면 내의 물체의 이미지를 줌인이 확대하는 반면에, 줌인은 또한 카메라의 FOV의 화각을 감소시켜서, 결과적으로, 이미징되는 장면의 크기와, 카메라가 이미징할 수 있는 카메라를 둘러싸는 환경의 일부분을 감소시킨다. 카메라가 이미징하는 장면 내의 물체의 이미지를 줌아웃이 축소시키는 반면에, 줌아웃은 또한 카메라의 FOV의 화각을 증가시켜서, 결과적으로, 이미징되는 장면의 크기와, 카메라가 이미징할 수 있는 카메라를 둘러싸는 환경의 일부분을 증가시킨다.

인간을 컴퓨터와 인터페이스하도록 인간의 제스처를 추적하는 것과 같은, 많은 응용을 위해, 인간을 이미징하는 카메라가, 비교적 큰 분량의 공간(이하, "활성 공간(active space)"이라고 칭함)에 대해 허용가능한 정도의 해상도로 인간을 이미징하는 것이 이롭다. 예를 들면, 인간을 인간의 전신 움직임에 응답하는 컴퓨터 게임 - 이하에서는, 컴퓨터 게임은 권투 게임 또는 운동을 요구하는 게임과 같은 전신(full-body) 3차원(three-dimensional; 3D) 게임이라고 또한 지칭됨 - 과 인터페이스하도록, 카메라가 활성 영역 내의 실질적으로 어느 곳에서든지 허용가능한 해상도로 인간을 이미징하는 것이 이로울 수 있다. 활성 공간은 예를 들면, 약 1 미터인 카메라 근처의 거리로부터 약 3 미터인 카메라로부터의 원거리까지 연장되는 "길이"를 갖는다. 활성 공간의 길이에 걸쳐 이로운 이미지 해상도를 제공하도록, 카메라 광학 장치가 줌 조정을 위해 구성될 수 있다.

3D 게임을 하는 동안 인간의 제스처 또는 움직임을 추적하기 위해 인간을 이미징하는 것은, 인간의 피처(feature) 및, 선택적으로 인간의 환경의 피처까지의 거리를 획득하는, 삼각법 또는 TOF(time of flight) 3D 카메라와 같은, 3D 카메라를 이용해서 이롭게 수행될 수 있다. 실질적으로 동일한 주어진 시간에 개인 및, 선택적으로, 개인의 환경을 위해 3D 카메라에 의해 획득되는 거리는 인간을 포함하는 장면의 "범위 이미지"를 제공한다. 3D 카메라는, 일반적으로 자신이 생성하는 광으로 장면을 이미징하고, 장면 내의 피처까지의 거리를 결정하도록 구성되는 활성 조명 카메라이다.

삼각법형 3D 카메라는, 카메라가 두 개의 일반적으로 약간 상이한 관점들로부터 피처를 이미징하는, 각도로부터 장면 내의 피처까지의 거리를 획득한다. 삼각법 카메라는 "구조화된 광"이라고 지칭되는 공간적으로 변조된 광으로 장면을 조명할 수 있다. TOF 3D 카메라는, 자신이 전송하는 일시적으로 변조된 광이 피처까지 이동하고 카메라로 되돌아오는데 얼마나 걸리는지 시간을 측정함으로써 자신이 이미징하는 장면 내의 피처까지의 거리를 획득한다. 카메라는 일반적으로 매우 짧은 광 펄스에서 광을 전송하고, 광을 위한 왕복 이동, 즉 "앞뒤로"의 이동 시간을 결정하도록 자신이 수집하는, 피처에 의해 반사되는 펄스로부터 광을 이미징한다.

3D 카메라에 줌 광학 장치를 제공하는 것은 일반적으로 기술적으로 그리고 비용적으로 도전이 된다.

본 발명의 실시예는, 이하에서 "3D 이미저(imager)"라고 또한 지칭되는 3D 이미징 시스템을 제공하는 것에 대한 것이고, 3D 이미저는 제2의 3D 카메라의 협각 FOV의 적어도 일부분과 중첩하는 광각 FOV을 갖는 제1의 3D 카메라를 포함한다. 제1 및 제2의 3D 카메라의 FOV들은 3D 이미저의 활성 공간을 한정한다. 3D 이미저는 제1 및 제2의 3D 카메라에 의해 제공되는 거리에 응답하여 활성 공간 내의 피처의 범위 이미지를 제공하는 알고리즘을 구현하기 위한 실행가능한 명령어 세트로 프로그래밍된 프로세서를 포함한다.

본 발명의 실시예에 따라, 알고리즘은 이하에서 또한 "근거리 카메라"라고 지칭되는, 제1의 3D 카메라에 의해 결정되는 거리에 응답해서 3D 이미저에 비교적 근접한 활성 공간의 제1 "근거리 영역" 내의 피처까지의 거리를 결정한다. 알고리즘은, 이하에서 또한 "원거리 카메라"라고 지칭되는, 제2의 3D 카메라에 의해 결정되는 거리에 응답해서 3D 이미저로부터 비교적 멀리 떨어져 있는 활성 공간의 제2 "원거리 영역" 내의 피처까지의 거리를 결정한다. 근거리 및 원거리 3D 카메라의 FOV들이 중첩되는 활성 공간의 제3의 "중첩" 영역 내의 피처까지의 거리는 3D 카메라들 둘다에 의해 제공되는 거리 정보를 이용해서 결정된다.

본 발명의 실시예에서, 근거리 및 원거리 TOF 3D 카메라들은 이하에서 또한, 근거리 및 원거리 TOF 카메라들이라고 지칭되는, 근거리 및 원거리 TOF 3D 카메라들을 각각 포함한다. 근거리 또는 원거리 TOF 카메라 내의 픽셀은, 픽셀 상에 이미징되는 활성 공간 내의 피처의 TOF 카메라로부터의 거리의 측정치를 제공하는, 이하에서 또한 "거리 이미지"라고 지칭되는 이미지를 획득한다. 본 발명의 일 실시예에 따라, 알고리즘은 각각 원거리 또는 근거리 TOF 카메라 내의 픽셀에 의해 이미징되는 활성 공간의 실질적으로 동일한 피처를, 근거리 또는 원거리 TOF 카메라 내의 어느 픽셀이 이미징하는 지를 결정하도록 TOF 카메라 내의 픽셀들을 상관하는 방법을 제공한다. 상관은 픽셀에 의해 획득되는 거리 이미지가 제공하는 거리 정보에 응답해서 수행된다. 선택적으로, 상관은 상이한 TOF 카메라들 내의 픽셀들이 활성 공간 내에서 동일한 피처를 이미징하는 확률 분포를 최대화함으로써 수행된다.

일 실시예에서, 3D 이미저는 3D 이미저에 의해 이미징되는 활성 공간 내의 피처의 거리에 응답해서 활성 공간을 조명하도록, 3D 이미저에 의해 제공되는 광의 강도를 조절하는 제어기를 포함한다.

본 발명의 실시예에 따라 3D 이미저를 구성하여, 광각 및 협각 FOV들을 각각 갖는 근거리 및 원거리 TOF 카메라들을 포함함으로써, 3D 이미저는 비교적 큰 활성 공간을 갖는다. 3D 이미저는 종래의 줌 광학 장치를 이용할 필요 없이 동일한 비교적 높은 공간적 해상도로 공간 내의 실질적으로 임의의 위치에 있는 피처를 이미징한다.

논의에서, 다르게 언급되지 않는다면, 본 발명의 실시예의 피처 또는 피처들의 조건 또는 관계 특징을 수식하는 "실질적으로"와 "약"과 같은 형용사들은, 조건 또는 특징이, 의도되는 응용을 위한 실시예의 동작 동안 허용될 수 있는 공차 내에 한정되다는 것을 의미한다고 이해된다.

이 요약은 이하의 상세한 설명에서 추가적으로 설명되는 간략한 형태의 개념들의 선택을 도입하기 위해 제공된다. 이 요약은 청구 대상의 주요 특징 또는 필수적 특징을 식별하기 위해 의도되지 않으며, 청구 대상의 범위를 제한하기 위해 사용되는 것으로 의도되지도 않는다.

본 발명의 실시예의 비제한적 예시는 이 문단에 후속하여 나열되는 본 명세서에 첨부되는 도면들을 참조해서 이하에서 설명된다. 하나 이상의 도면들에서 등장하는 동일한 구조들, 요소들 또는 부품들은 이것들이 등장하는 모든 도면들 내에서 동일한 숫자로 일반적으로 표기된다. 도면들에 도시된 컴포넌트들과 피처들의 크기는 표현의 편리성과 명료함을 위해 선택된 것이고, 반드시 크기에 맞추어서 도시된 것은 아니다.
도 1은 본 발명의 일 실시예에 따라, 제1 및 제2 TOF 카메라들을 포함하는 3D 이미저와, TOF 카메라들의 FOV들에 의해 제공되는 이미저의 활성 공간의 평면도를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따라, TOF 카메라에 의해 획득되고, 활성 공간 내의 피처까지의 거리를 결정하기 위해 이용되는, 도 1에 도시된 3D 이미저의 활성 공간의 동일 영역 내의 피처들의 거리 이미지들 사이의 기하학적 관계를 개략적으로 도시한다.
도 3a 및 3b는 본 발명의 일 실시예에 따라, 활성 공간 내의 피처까지의 거리를 결정하기 위한 알고리즘의 흐름도를 도시한다.

상세한 설명의 이하의 기재에서, 복수의 선택적으로 두 개의 TOF 카메라들을 포함하는 TOF 3D 이미저의 양상들이 도 1을 참조해서 논의되고, 도 1은 TOF 3차원 이미저의 컴포넌트들과, TOF 카메라들의 FOV들에 의해 제공되는 활성 공간을 도시한다. 도 2는 도 1에 도시된 TOF 3D 이미저의 활성 공간의 동일 영역 내의 피처에 대해 두 개의 TOF 카메라들 내의 픽셀에 의해 획득되는 거리 이미지들 사이의 기하학적 관계들을 개략적으로 도시한다. 이 도면은 편의상 가우시안이라고 가정되는, TOF 카메라 내의 픽셀에 의해 제공되는 거리 측정의 주파수 분포 및 거리 이미지에 의해 제공되는 거리 측정의 불확실성을 개략적으로 보여 준다. 두 개의 TOF 카메라들에 의해 제공되는 정보을 이용해서 활성 공간 내의 피처들까지의 거리를 결정하고, 두 개의 카메라 내의 어느 픽셀이 대응하고, 활성 공간 내에 실질적으로 동일한 피처를 이미징하는지를 결정하도록 픽셀들을 상관시키기 위한 방법이, 도 2와, 그리고 도 3a 및 3b에 도시된 흐름도를 참조해서 논의된다.

도 1은 근거리 TOF 카메라(30), 원거리 TOF 카메라(40)과, 광원(50)을 포함하는 TOF 3D 이미저(20)의 평면도를 개략적으로 도시한다. TOF 카메라의 세부사항은 삽도(90) 내에 도시된다.

근거리 TOF 카메라(30)는 근거리 TOF 카메라에 의해 이미징되는 물체로부터 광을 수집하고, 광센서(32) 상에서 수집된 광을 이미징하는, 렌즈(31)에 의해 표현되는 광학계를 포함한다. 광학계(31)는 광센서(32)와 함께 근거리 TOF 카메라를 위해 광각 FOV를 한정하는 초점 거리(f_N)와 광학 중심(33)을 가지며, 라인들(44)에 의해 한정되는 비교적 큰 선택적으로 고정된 수평 화각(θ_N)을 갖는 것을 특징으로 한다. 근거리 TOF 카메라(30)의 광각 FOV의 화각(θ_N)을 한정하는 라인들을 지정하는 숫자(44)는, 근거리 TOF 카메라(30)의 FOV - "근거리 FOV"라고 지칭될 수 있음 - 를 지칭하기 위해 또한 이용된다. 광학계(31)는 근거리 TOF 카메라(30)의 개폐를 셔터링(shuttering)하기 위한 셔터(35)를 또한 포함한다.

유사하게, 원거리 TOF 카메라(40)는, 카메라의 FOV 내의 물체로부터 광을 수집하고, 광센서(42) 상에서 수집된 광을 이미징하는 렌즈(41)에 의해 표현되는 광학계를 포함한다. 광학계는 광센서(42)와 함께 원거리 TOF 카메라를 위한 협각 FOV를 한정하는 초점 거리(f_F)와 광학 중심(43)을 가지며, 라인들(34)에 의해 한정되는 비교적 큰 선택적으로 고정된 수평 화각(θ_F)을 갖는 것을 특징으로 한다. 원거리 TOF 카메라(40)의 광각 FOV의 화각(θ_F)을 한정하는 라인들을 지정하는 숫자(34)는, 원거리 TOF 카메라의 FOV - "원거리 FOV"라고 지칭될 수 있음 - 를 지칭하기 위해 또한 이용된다. 광학계(41)는 원거리 TOF 카메라(30)의 개폐를 셔터링하기 위한 셔터(45)를 또한 포함한다.

광원(50)은 근거리 및 원거리 FOV들(44 및 34)에 있는 물체를 조명하도록 일련의 광펄스들을 방사하기 위해 제어기(60)에 의해 제어가능하다. 광원(50)에 의해 방사되는 광펄스는 숫자(52)로 표시되는 정사각형 "펄스"에 의해 개략적으로 표현된다. 광펄스(52)가 적절한 발광 다이오드(LED)에 의해 제공되는 광 및/또는 스펙트럼의 임의의 부분으로부터의 레이저를 포함할 수 있지만, 보통, 광펄스(52)는 근적외선(near infrared; NIR) 광펄스이다.

근거리 및 원거리 FOV들(44 및 34) 내의 물체를 조명하도록 일련의 광펄스 내의 각각의 광펄스(52)가 광원(50)에 의해 방사되는 시간으로부터 미리결정된 지연(τ_ND)에 후속해서, 제어기(60)는 기간(τ_N)을 갖는 짧은 노출 기간 동안 근거리 TOF 카메라(30)의 개방을 셔터링하도록 근거리 셔터(35)를 제어한다. 노출 기간 동안, 근거리 TOF 카메라(30)에 도달하는 근거리 FOV(44) 내의 피쳐에 의해 광펄스로부터 반사되는 광은 렌즈(31)에 의해 광센서(32) 상으로 이미징된다. 이미징되는 광은 근거리 TOF 카메라에 의해 등록(register)되고, 광 펄스(52) 내의 광이 광원(50)으로부터 피쳐까지, 그리고 다시 근거리 TOF 카메라(30)까지 왕복 이동하는 데 얼마나 걸리는지를 결정하기 위해 이용된다. 왕복 시간 및 광속은 피쳐가 근거리 TOF 카메라로부터, 그러므로 TOF 3D 이미저(20)로부터 얼마나 떨어져 있는지를 결정하기 위해 이용된다.

유사하게, 각각의 펄스(52)가 광원(50)에 의해 방사된 후에, 제어기(60)는 지연(

)에 후속하는 기간(

)을 갖는 짧은 노출 기간 동안 원거리 TOF 카메라의 개방을 셔터링하도록 원거리 TOF 카메라(40) 내의 셔터(45)를 제어한다. 원거리 TOF 카메라는 노출 기간 동안 원거리 TOF 카메라에 도달하는 광펄스로부터 반사된 광을 이미징하고 등록하며, TOF 3D 이미저(20)로부터 원거리 FOV(34)까지의 거리를 결정하도록 등록된 광을 이용한다.

원거리 TOF 카메라(40)는, 자신의 협각 FOV(34) 때문에, 근거리 TOF 카메라(30)보다 양호한 공간적 해상도를 갖는 TOF 3D 이미저(20)로부터 더 멀리 있는 피쳐를 이미징하지만, TOF 3D 이미저(20)에 근접한 비교적 적은 분량의 공간을 이미징한다. 반면에, 근거리 TOF 카메라(30)는, 자신의 비교적 광각의 FOV(44)때문에, TOF 3D 이미저(20)에 근접한 비교적 큰 분량의 공간을 이미징할 수 있고, 허용될 수 있는 공간적 해상도로 근접한 피쳐를 이미징하도록 구성될 수 있다.

본 발명의 일 실시예에 따라, 근거리 및 원거리 FOV들(44 및 34)를 결합해서 TOF 3D 이미저(20)에 대해 이로운 활성 공간을 제공하고, 근거리 및 원거리 TOF 카메라들(30 및 40)에 의해 제공되는 원거리 정보를 어떻게 이용할 지를 결정하도록, 이미징 범위의 하한 및 상한이 근거리 및 원거리 TOF 카메라들(30 및 40)을 위해 수립된다. 근거리 TOF 카메라(30)와 연관된 하한 및 상한이 각각 NR_L 및 NR_U에 의해 표현된다고 가정하자. 근거리 TOF 카메라(30)를 위한 하한 및 상한은 NR_L 및 NR_U로 표시되는 점선에 의해 도 1에 개략적으로 도시된다. 원거리 TOF 카메라(40)와 연관된 하한 및 상한이 각각 FR_L 및 FR_U에 의해 표현된다고 가정하자. 원거리 카메라(40)를 위한 하한 및 상한은 FR_L 및 FR_U로 표시되는 점선에 의해 도 1에 개략적으로 도시된다.

화각(θ_N 및 θ_F)과, 범위 한계(NR_L, NR_U, FR_L, 및 FR_U)는 TOF 3D 이미저(20)를 위해 두꺼운 점선(22)에 의해 개략적으로 윤곽이 그려진 활성 공간을 선택적으로 정의한다. TOF 3D 이미저(20)의 활성 공간의 윤곽을 그리는 점선을 표시하는 숫자(22)가 또한 활성 공간을 지칭하기 위해 이용된다.

본 발명의 일 실시예에서, 근거리 TOF 카메라(30)의 광각 FOV(44)을 위한 화각(θ_N)은, 활성 공간(22)이 TOF 3D 이미저(20)에 근접한 이로운 두께를 갖도록 결정된다. 원거리 TOF 카메라(40)의 근거리 및 원거리 상한(NR_U 및 FR_U)과 협각 FOV(34)에 대한 화각(θ_F)은, 근거리 및 원거리 TOF 카메라(30 및 40)가 실질적으로 동일한 공간적 해상도를 갖고 거리(NR_U 및 FR_U)에서 각각 물체를 이미징하도록 결정된다. 예증적 예시에 의해, 광센서(32 및 42)가 실질적으로 동일한 픽셀 크기를 갖는다고 가정하면, 근거리 및 원거리 TOF 카메라(30 및 40)는 실질적으로 동일한 공간적 해상도로 거리(NR_U and FR_U)에 물체를 각각 이미징한다(tan[θ_F/2] = (NR_U/FR_U)tan[θ_N/2]인 조건임).

수치적 예시에 의해, 근거리 및 원거리 TOF 카메라(30 및 40)가 640 x 480 픽셀들의 배열을 포함하는 광센서(32 및 42)를 가진다는 것과, 픽셀들이 5.6 ㎛(마이크로미터)의 대각선 길이를 갖는다고 가정하자. 만약 NR_U = 200 cm 이고 FR_U = 300 cm이면, 근거리 및 원거리 카메라들(30 및 40)은 거리(200 cm 및 300 cm)에서 각각 약 0.5 cm 만큼 분리되는 피쳐를 해상(resolve)할 것이다 (이 카메라들의 FOV 각도들(θ_N and θ_F)이 약 74^o 및 약 53^o와 각각 동일하다는 조건임).

부드럽게 연속적인 활성 공간(22)을 제공하고, 근거리 및 원거리 TOF 카메라들(30 및 40)에 의해 제공되는 이미지의 공간적 등록을 용이하게 하도록, 원거리 TOF 카메라(40)를 위한 하한 범위(FR_L)와 근거리 TOF 카메라(30)를 위한 상한 범위(NR_U)가 FR_L < NR_U가 되도록 결정된다. 그러므로, 활성 공간(22)은 3개의 구역, 즉, 근거리 구역(23), 중거리 구역(24), 및 원거리 구역(25)을 포함한다.

수치적 예시를 통해, 예를 들면, 전신 3D 컴퓨터 게임을 플레이하기 위한 활성 공간(22)이 이롭게 TOF 3D 이미저(20)로부터 약 0.80 m인 NR_L에서 약 3 m인 FR_U까지 연장된다고 가정하자. 만약 TOF 3D 이미저(20)로부터 0.80 미터에서, 활성 공간(22)이 약 1 미터의 폭이라면, 근접 TOF 카메라(30)는 약 62.5^o인 화각(θ_N)을 갖는다. 만약 TOF 3D 이미저(20)로부터 거리(NR_U)에서, 활성 공간(22)이 이롭게 약 2.5 미터의 폭을 갖는다면, NR_U는 약 2미터이고, θ_F = arctan[θ_F/2] = arctan((NR_U/FR_U)tan[θ_N/2]θ_F)는 약 42^o이다. 만약 근거리 및 원거리 TOF 카메라들이 일 측상에서 5 ㎛인 정사각형 픽셀들을 가지고, 이롭게 거리(NR_U and FR_U)에서 약 1 cm만큼 이격되어 있는 피쳐들을 해상할 수 있다면, 이 카메라들의 초점 거리들(f_N 및 f_F)은 이롭게 각각 약 30 mm(밀리미터)와 45 mm이다.

제어기(60)는 TOF 3D 이미저(20)를 제어하고, 근거리 및 원거리 TOF 카메라들(30 및 40)이 정의하는, 하한 및 상한(N_RL, N_RU, F_RL, and F_RU)과 구역들(23, 24, 25)에 응답해서 이 카메라들에 의해 획득되는 거리 이미지들에 의해 제공되는 거리 정보를 처리한다. 본 발명의 일 실시예에서, 제어기(60)는 원거리 TOF 카메라(40)를 위한 지연(

) 및 노출 기간(

)과 실질적으로 각각 동일한, 근거리 TOF 카메라(30)를 위한 지연(

) 및 노출 기간(

)을 이용해서 TOF 3D 이미저(20)를 제어한다. 실질적으로 동일한 이러한 조건들 하에서, TOF 카메라들 둘다는 TOF 3D 이미저로부터의 동일한 범위의 거리들 상의 활성 공간(22) 내의 피처를 위한 이미지를 획득한다.

본 발명의 일 실시예에서, 제어기(60)는, 단지 근거리 TOF 카메라로부터 피처의 거리가 FR_L 과 FR_U 사이에 있을 경우에만, 원거리 TOF 카메라(40)가 광원(50)으로부터의 광으로 원거리 FOV(34) 내에 존재하는 피처를 이미징하도록 결정된,

및

를 갖는 원거리 TOF 카메라(40)를 셔터링한다. 유사하게, 제어기는, 단지 근거리 TOF 카메라로부터 피처의 거리가 NR_L 과 NR_U 사이에 있을 경우에만, 근거리 TOF 카메라(30)가 광원(50)으로부터의 광으로 근거리 FOV(44) 내에 존재하는 피처를 이미징하도록 결정된,

및

를 갖는 근거리 TOF 카메라(30)를 셔터링한다.

일반적으로, 제어기(60)는 단지 근거리 TOF 카메라(30)에 의해서만 제공되는 거리 이미지를 이용해서 구역(23) 내의 피처를 위해 허용될 수 있는 거리 측정을 제공할 수 있다. 일반적으로, 제어기(60)는 단지 원거리 TOF 카메라(40)에 의해서만 제공되는 거리 이미지를 이용해서 구역(25) 내의 피처를 위해 허용될 수 있는 거리 측정을 제공할 수 있다. 중거리 구역(24) 내에 위치한 피처를 위해, 또는 TOF 카메라들 중 하나의 카메라에 의해 제공되는 명백히 무효하거나 미정의 거리를 위해, 제어기는 근거리 및 원거리 TOF 카메라들 둘다에 의해 제공된 데이터를 선택적으로 이용한다. 채워진 원(73, 74, 및 75)은 구역(23, 24, 및 25) 내의 위치에 있는 피처를 개략적으로 표현한다.

근거리 및 원거리 카메라들(30 및 40) 둘다로부터의 거리 이미지로부터 결정되는 피처까지의 거리를 위해, 제어기는 TOF 카메라들 중 하나의 카메라를 "제1차(prime)" TOF 카메라라고 지정한다. 표현의 편이성을 위해, TOF 카메라들로부터의 정보가 본 발명의 일 실시예에 따라 어떻게 사용되는지에 대한 이하의 설명에서, 문자 "C"는 제1차 카메라를 나타낸다. 문자 C^*는 "제2차(secondary)" 카메라라고 지칭될 수 있는 다른 카메라를 나타낸다. TOF 3D 이미저(20)로부터의 거리는 제1차 카메라(C)의 픽셀(P_j) 상에 이미징되는 피처를 위해 결정될 것이다. 예를 들면, 도 2를 참조하는 이하의 논의에서, 제1차 카메라는 근거리 TOF 카메라(30)인 것으로 가정되고, 픽셀(P_j) 상에 이미징되는 피처는 중거리 구역(24) 내에 위치한, 도 1 내에 도시된 피처(74)라고 가정된다.

도 2는 근거리 및 원거리 TOF 카메라들(30 및 40), 피처(74)가 위치하는 중거리 구역(24)의 영역(100)과, 제1차 카메라(C)인 근거리 TOF 카메라(30)의 광센서(32)상에 피처(74)가 이미징되는 픽셀(P_j)의 매우 확대된 뷰를 개략적으로 도시한다.

본 발명의 일 실시예에 따라, 피처(74)는, 피처로부터 근거리 TOF 카메라(30)의 광학 중심(33)을 통해 지나가고 픽셀(P_j)을 교차하는, 제1차 이미징 라인(101)이라고 또한 지칭되는 공간 내의 하나의 라인, 즉, 이미징 라인(101)을 따라 놓이도록 제약된다고 가정된다. 피처(74)를 위한 시도 거리는 픽셀(P_j)에 의해 획득되는 피처(74)의 거리 이미지로부터 결정된 거리("dCP_j")이다. 제1차 이미징 라인(101)을 따라서의 거리 "d"는, 피처(74)가 확률 분포 함수

에 의해 주어진 확률로 배치되는, 이미징 라인을 따라서의 실제 거리가 되도록 가정되며, 여기서 s_j는 시도 거리(dCP_j)와 연관된 오류의 측정치이다. 산탄 잡음(shot noise) 및 판독 잡음(read noise)은 통상적으로 시도 거리와 연관된 오류를 발생시킨다. 치수 보조선들(110 및 111) 간의 이미징 라인(101)의 세그먼트는 dCP_j와 연관된 오류의 강도를 개략적으로 나타낸다. 도 2에서, 확률 분포

는 거리(dCP_j)에서 최대값과 표준편차(σ_j)를 갖는 이미징 라인(101)을 따라 도시된 곡선(120)에 의해 표현된 정규본포가 되도록 가정된다.

본 발명의 일 실시예에 따라, 치수보조선들(110 및 111) 사이의 거리들(d_jm)에서 이미징 라인(101)을 따라, M개의 복수 영역들 R_jm, (1≤m≤M) 각각을 위해, 원거리 TOF 카메라(40)의 광센서(42) 내의 픽셀(P*_jm)은, 이 픽셀이 이 영역 내에 위치한다면 어느 영역(R_jm) 상에 이미징될지가 결정된다. 도 2에서, M은 임의로 5개라고 도시된다. 영역(R_jm)은 R_j1, R_j2,…R_j5에 각각 대응하는 대응 거리 d_j1, d_j2, …d_j5에 의해 표시되는 다이아몬드 아이콘에 의해 치수 보조선들(110 및 111) 사이의 제1차 이미징 라인(101)의 세그먼트를 따라 개략적으로 표시된다.

d_jm로부터 제2차 카메라인 원거리 TOF 카메라(40)의 광학 중심을 통해 연장되는 제2 이미징 라인(IL_m)이라고 본 명세서에서 또한 지칭되는, 이미징 라인 IL_m의 끝에 픽셀(P^* _jm)이 놓인다. 픽셀(P^* _jm)에 의해 획득되는 거리 이미지가 픽셀 상에 이미징되는 피처를 위해 연관된 이미징 라인(IL_m)을 따라 거리(dC^*P^* _jm)를 제공하고, 거리(dC^*P^* _jm)는 오류(σ^* _jm)와 연관된다고 가정하자. 거리(dC^*P^* _jm)는 제2차 이미징 라인(IL_m)을 따라 거리(dC^*P^* _jm, (1≤m≤5))에 의해 표시된 원형 아이콘에 의해 그래픽하게 표현된다.

픽셀(P^* _jm) 상에 이미징되는 피처를 위한 이미징 라인(IL_m)을 따라서의 거리(d^* _m)가 피처를 위한 실제 거리일 확률이, 확률 분포 함수(P(d^* _m; dC^*P^* _jm, σ^* _jm))에 의해 주어진다고 가정하자. 도 2에서, 예시적인 분포(P (d^* _jm; dC^*P^* _jm, σ^* _jm))가 m=5를 위한 정규분포(130)로서 도시된다. 만약 제1차 이미징 라인(101)과 제2차 이미징 라인(IL_m)과의 교차점이 원거리 TOF 카메라(40)로부터의 이미징 라인(IL_m)을 따라서의 거리(d^* _jm)에 위치한다면, d^* _jm가 원거리 카메라(40)로부터 픽셀(P^* _jm) 상에 이미징되는 피처까지의 실제 거리일 확률은 P(d^* _jm; dC^*P^* _jm, σ^* _jm)이다.

본 발명의 일실시예에 따라, 제1차 근거리 TOF 카메라(30)의 픽셀(P_j) 상에 이미징되는 피처(예를 들면 피처(74))를 위한 거리(DCP_j)가 P(d_m;dCP_j,σ_j)ㆍP(d^* _jm;dC^*P^* _jm,σ^* _jm)를 최대화하는 거리(d_m(1≤m≤M))라는 것을 제어기(60)가 결정한다.

위의 논의에서, 근거리 TOF 카메라(30)가 제1차 카메라라고 지정되고, 원거리 TOF 카메라(40)가 제2차 카메라라고 지정되었지만, 거리를 결정하기 위한 절차는 어느 카메라가 제1차 카메라인지와는 일반적으로 무관하다. 카메라들의 역할들은 뒤바뀔 수 있으며, 즉, 원거리 TOF 카메라(40)가 제1차 카메라라고 지정되고, 근거리 TOF 카메라가 제2차 카메라라고 지정되며, 제1차 이미징 라인(101)이 원거리 TOF 카메라와 연관될 수 있다.

도 3a 및 3b는 숫자 200에 의해 또한 지칭되는 알고리즘의 흐름도(200)를 도시하며, 이 알고리즘에 의해 TOF 3D 이미저(20)는 근거리 및 원거리 TOF 카메라들(30 및 40)에 의해 획득되는 활성 공간(22)의 이미지로부터의 정보를 처리하여, 활성 공간(22) 내의 피처까지의 거리를 결정하고, 활성 공간 내의 피처를 위한 범위 이미지를 제공하게 된다.

블록(202)에서, 선택적으로 제어기(60)는 TOF 3D 이미저(20)를 조정하여 줌아웃 모드에서 또는 줌인 모드에서 동작할지를 결정한다. TOF 3D 이미저를 조정하는 것은 근거리 TOF 카메라(30)(광각 FOV, 줌아웃 카메라) 또는 원거리 TOF 카메라(40)(협각 FOV, 줌인 카메라) 중 어느 카메라가, 카메라들에 의해 제공되는 거리 정보를 처리하기 위한 제1차 카메라로서 지정되는지를 결정하는 것을 포함한다. 도 1과 관련한 위의 논의는 활성 공간(22)(도 1) 내의 피처까지의 거리를 결정하는 데 있어서 제1차 카메라의 역할의 예시를 제공한다. 선택적으로, 어느 카메라가 제1차 카메라라고 이롭게 지정될지를 결정하기 위해, 제어기(60)는 근거리 및 원거리 TOF 카메라들(30 및 40)에 의해 제공되는 거리로부터, 활성 공간(22) 내의 근거리, 중첩 및 원거리 구역들(23, 24, 및 25) 내에 존재하는 다수의 해당 피처들을 추정한다. 제어기는 추정된 개수들의 피처들에 응답해서 줌인 또는 줌아웃을 결정한다.

예를 들면, 만약 근거리 또는 원거리 구역(23 또는 25) 내에 피처들의 우세함이 존재한다면, 제어기(60)는 TOF 3D 이미저(20)를 조정하여, 줌인 모드에서 근거리 TOF 카메라(30)로 제1차 카메라를 동작시키거나, 줌아웃 모드에서 원거리 TOF 카메라(40)로 제1차 카메라를 각각 동작시킨다. 선택적으로, 만약 해당 피처의 우세함이 중거리 구역 내에서 존재한다고 알려지면, 제어기(60)는, TOF 3D 이미저를 TOF 3D 이미저가 해당 피처들의 개수를 추정하기 전에 줌 모드에서 동작하고 있던 줌 모드로 이 이미저가 동작하게 내버려 두던가, 미리 결정된 디폴트 절차에 따라 줌 모드를 결정한다.

블록(204)에서, 제어기(60)는 광원(50)에 의해 방사되는 광펄스의 강도를 설정하여 줌 모드의 선택에 매칭되게 한다. 만약 줌 모드가 줌 아웃이면, 제어기는 선택적으로 강도를 중간 레벨로 설정하여, TOF 3D 이미저(20)에 근접한 근거리 구역(23) 내의 피처들이 광 펄스로부터의 광량을 근거리 및 원거리 TOF 카메라들(30 및 40)에 다시 반사시켜, TOF 카메라들 내의 픽셀을 포화(saturate)시킬 확률을 감소시킨다. 만약 줌 모드가 줌 인이라면, 제어기(60)는 선택적으로 줌 아웃 모드를 위해 선택된 중간 강도보다 크게 방사된 펄스의 강도를 설정하여, TOF 3D 이미저(20)로부터 비교적 멀리 있는 원거리 구역(25) 내의 피처들이 허용될 수 있는 이미징을 위해 충분한 광을 TOF 카메라들에 다시 반사시키지 않을 확률을 감소시킨다. 중간 강도는 비교적 많은 수의 해당 피처들이 중거리 구역(24) 내에서 발견되는 상황을 위해 선택적으로 결정된다.

블록(206)에서, 제어기는, 근거리 TOF 카메라(30) 또는 원거리 TOF 카메라(40)일 수 있는, 제1차 카메라(C)에서 픽셀을 지정하는 인덱스 "j"를 영으로 초기화한다. 인덱스 j는 근거리 TOF 카메라(30) 내의 픽셀들의 전체 개수를 나타내는, 최대값 J를 갖는다. 블록(208)에서, 제어기는 인덱스를 1만큼 증가시킨다. 블록(210)에서, 제어기(60)는 활성 공간(22) 내의 피처를 위해 제1차 카메라(C) 내의 픽셀(P_j)에 의해 획득되는 거리 이미지로부터 시도 거리(dCP_j)를 결정한다. 결정 블록(212)에서, 픽셀(P_j) 상에 이미징되는 피처가, 제1차 카메라(C)와 연관된 활성 공간(22) 내의, "C-구역"이라고 본 명세서에서 또한 지칭되는, 구역 내에 위치하는지의 여부를 dCP_j를 위한 값이 표시하는지의 여부를 제어기(60)가 결정한다. 즉, 만약 근거리 TOF 카메라(30)가 제1차 카메라(C)이면, C-구역이 근거리 구역(23)(도 1)이고, 만약 원거리 TOF 카메라(40)가 제1차 카메라(C)이면, C-구역이 원거리 구역(25)이다. 만약 이미징된 피처가 C-구역 내에 있는 것으로 보이면, 블록(214)에서, 제어기는, 선택적으로 거리(DCP_j = dCP_j)가 제1차 카메라(C)의 픽셀(P_j) 상에 이미징된 피처를 위한 거리라고 결정한다.

그런 다음, 제어기는 선택적으로 블록(224)으로 진행하고, j=J인지의 여부를 결정하며, 여기서, J는 제1차 카메라(C) 내의 전체 픽셀의 개수이다. 만약 j가 J와 같지 않으면, 제어기(60)는 블록(208)으로 회귀하여, 인덱스 j를 1만큼 증가시키고, 다음 픽셀(P_(j+1)) 상에 이미징된 피처를 위한 거리를 결정하기 위해 진행한다. 만약 j=J라면, 제어기(60)는 제1차 카메라(C) 내의 픽셀(P_j)을 위한 거리를 결정하기 위한 처리를 종료하고, 선택적으로 블록(226)에서, 제어기(60)는 거리(

)를 이용해 활성 공간(22)을 위한 범위 이미지를 제공한다. 그런 다음, 제어기는 선택적으로 블록(228)으로 진행하여 처리를 종료한다.

본 발명의 일 실시예에서, 만약 피처가 C-구역 내에 있지 않으면, 픽셀(P_j) 상에 이미징된 피처가 중거리 구역(24) 내에 위치한 것으로 보이는지 여부를, 시도 거리(dCP_j)가 표시하는지의 여부를, 결정 블록(216)에서 제어기가 선택적으로 결정한다. 만약 이러한 결정이 참이라면, 선택적으로 블록(218)에서, 제어기(60)는 제1차 카메라(C)와 제2차 카메라(C^*)둘다로부터의 거리 정보를 이용해서, P_j 상에 이미징된 피처를 위한 거리(DCP_j)를 결정한다. 선택적으로, 제어기는 근거리 및 원거리 TOF 카메라들(30 및 40)의 기하학적 구조와, TOF 3D 이미저(20) 내에서의 이러한 카메라들의 서로에 대한 위치들로부터, 어느 픽셀(

)이 픽셀(P_j)에 대응하는지를 결정하고, 픽셀(P_j)이 이미징하는 실질적으로 동일한 피처를 이미징한다. 선택적으로, 제어기는, 등식

에 따라, 픽셀

에 의해 획득되는 거리 이미지에 의해 제공되는 시도 거리(

)와 시도 거리(dCP_j)의 가중 평균으로 거리(DCP_j)를 결정하며, 여기서 wC 및 wC^*는 가중화 인자들이다. 가중화 인자들은 예를 들면, 제2차 카메라(C^*)로부터의 정보보다 제1 카메라(C)로부터의 정보를 더 높게 가중화시키거나, 시도 거리들을 각각의 오류들의 함수로서 가중화시킬 수 있다. DCP_j를 결정한 후에, 제어기(60)는 선택적으로 블록(218)로부터 결정 블록(224)를 경유해 블록(208)까지 진행하여 인덱스 j를 증가시키거나, 블록(226)으로 진행하여 활성 공간(22)을 위한 범위 이미지를 제공하고, 블록(228)으로 진행하여 처리를 종결시킨다.

블록(216)에서, 피처가 중거리 구역(24) 내에 위치한다는 것을 시도 거리(dCP_j)가 표시하지 않는다는 것을 제어기(60)가 발견한다면, 피처가, 제2차 카메라 (C^*)와 연관된 활성 공간(22) 내의 구역인 C^*-구역 내에 위치한다는 것을 시도 거리가 표시하거나, 시도 거리가 무효이고, 제어기는 선택적으로 블록(220)으로 진행한다. 선택적으로, 제어기는 도 2를 참조해서 위에서 설명된 것과 유사한 절차를 수행하고, 수식 DCP_j = {d_m |MAX[P(d_m;dCP_j,σ_j)ㆍP(d^* _jm;dC^*P^* _jm,σ^* _jm)]}에 따라 DCP_j를 결정한다.

블록(220)으로부터 제어기는 선택적으로 블록(224)으로 진행하고, 그런 후에, 블록(208)로 회귀하여 제1차 카메라(C) 내의 다음 픽셀을 위해 절차를 반복하거나, 블록(226)으로 회귀하여 범위 이미지를 제공하고, 그런 다음 절차를 종료한다.

물론 TOF 3D 이미저(20)가 예를 들면, 활성 공간(22) 내의 피처들을 반복적으로 이미징하도록 전신 3D 컴퓨터 게임을 지원하는 연속적 동작 중에 있으면, 제어기는 게임 동안 활성 공간을 위해 획득된 각각의 이미지 세트를 위해 알고리즘(200)을 반복적으로 실행하도록 진행할 수 있다.

본 출원의 설명 및 청구항들에서, 동사들, "포함하다" 및 "갖다"와, 이 동사들의 활용형들은, 동사의 목적어 및 목적어들이 반드시 이 동사의 주어 또는 주어들의 컴포넌트, 요소 또는 부분의 완전한 목록인 것은 아니라는 것을 표시하기 위해 이용된다.

본 출원에서 본 발명의 실시예들의 설명은 예시에 의해 제공되고, 본 발명의 범위를 제한하는 것으로 의도되지는 않는다. 설명된 실시예는 상이한 특징들을 포함하지만, 이러한 특징들의 전부가 본 발명의 모든 실시예에서 요구되지는 않는다. 일부 실시예는 특징들 중 단지 일부만을 또는 특징들의 가능한 조합들을 활용한다. 설명되는 본 발명의 실시예들의 변형과, 설명되는 실시예들에서 주목되는 특징들의 상이한 조합을 포함하는 본 발명의 실시예가 당업자에게 발생할 것이다. 본 발명의 범위는 단지 청구항들에 의해서만 제한된다.

Claims

활성 공간 내의 피처(feature)들을 이미징하고 상기 피처들까지의 거리들을 결정하는 3차원(three-dimensional; 3D) 이미징 시스템에 있어서,
적어도 하나의 광펄스로 상기 활성 공간을 조명하는 광원;
광학 중심을 가지며 픽셀들을 갖는 제1 광센서 및 제2 광센서를 각각 포함하는 제1 3차원(3D) 카메라와 제2 3차원(3D) 카메라 - 상기 제1 3D 카메라와 상기 제2 3D 카메라는 상기 피처들의 거리 이미지들을 획득하도록 상기 적어도 하나의 광펄스로부터 반사되는 광을 상기 픽셀들 상에 이미징하며, 상기 제1 3D 카메라와 상기 제2 3D 카메라는 상기 활성 공간을 제공하도록 중첩되는, 광각 및 협각 시계(field of view; FOV)를 각각 가지며, 각각의 3D 카메라는 다른 하나의 3D 카메라와는 독립적으로 상기 활성 공간 내의 상기 피처들의 거리 이미지들을 획득하도록 동작가능함 -;
상기 활성 공간을 구역들로 분할하는 복수의 범위 한계들 - 상기 범위 한계들은 근거리 범위 상한("NR_U")과 원거리 범위 하한("FR_L")을 포함함 -; 및
상기 피처들까지의 거리들을 결정하도록 상기 구역들에 응답해서 상기 거리 이미지들을 처리하는 제어기를
포함하는, 3차원(3D) 이미징 시스템.
제1항에 있어서, 상기 범위 한계들은 관계식 FR_L < NR_U를 만족시키고, 상기 활성 공간을 근거리 구역, 중거리 구역, 및 원거리 구역으로 분할하고, 이들 구역들에 대해 상기 활성 공간 내의 피처들까지의 거리들은 각각 FR_L미만, FR_L과 NR_U사이, 및 NR_U 초과인 것인, 3차원(3D) 이미징 시스템.
제2항에 있어서, 상기 활성 공간 내의 피처들까지의 거리들을 포함하는 범위 이미지를 제공하도록, 상기 제어기는,
상기 3D 카메라들 중 하나를 제1차 카메라(prime camera)로 지정하고, 상기 3D 카메라들 중 다른 하나를 제2차 카메라(secondary camera)로 지정하고;
상기 제1차 카메라 내의 복수의 픽셀들 각각에 대해 상기 픽셀 상에 이미징되는 상기 활성 공간 내의 피처를 위한 시도 거리(trial distance)를 결정하고;
상기 제1차 카메라가 상기 제1 3D 카메라이고 상기 결정된 거리가 상기 근거리 구역 내에 있거나, 상기 제1차 카메라가 상기 제2 3D 카메라이고 상기 시도 거리가 상기 원거리 구역 내에 있다면, 상기 피처까지의 거리를 상기 시도 거리라고 결정하고;
상기 제1차 카메라가 상기 제1 3D 카메라이고 상기 결정된 거리가 상기 근거리 구역 내에 있지 않거나, 상기 제1차 카메라가 상기 제2 3D 카메라이고 상기 시도 거리가 상기 원거리 구역 내에 있지 않다면, 상기 제2차 카메라 내의 픽셀에 의해 제공되는 거리 및 상기 시도 거리에 응답한 거리를 결정하며;
상기 범위 이미지 내의 상기 거리들로서, 상기 제1차 카메라 내의 픽셀들에 대해 결정된 거리들을 이용하는 것인, 3차원(3D) 이미징 시스템.
제3항에 있어서, 상기 시도 거리는 상기 중거리 구역 내에 놓이는 것인, 3차원(3D) 이미징 시스템.
제4항에 있어서, 상기 제어기는 상기 제2차 카메라 내의 픽셀에 의해 제공되는 거리와 상기 시도 거리의 평균으로서 상기 피처까지의 거리를 결정하는 것인, 3차원(3D) 이미징 시스템.
제5항에 있어서, 상기 평균은 가중 평균인 것인, 3차원(3D) 이미징 시스템.
제3항에 있어서, 상기 제1차 카메라는 상기 제1 3D 카메라이고 상기 시도 거리는 상기 원거리 구역 내에 놓이거나, 상기 제1차 카메라가 상기 제2 3D 카메라이고 상기 시도 거리는 상기 근거리 구역 내에 놓이는 것인, 3차원(3D) 이미징 시스템.
제7항에 있어서, 상기 제2차 카메라 내의 어느 픽셀들이, 상기 제1차 카메라 내의 픽셀과 상기 제1차 카메라의 광학 중심을 통과하는 라인을 따라 놓여 있는 점들을 이미징하는지를 상기 제어기가 결정하는 것인, 3차원(3D) 이미징 시스템.
제8항에 있어서, 상기 제어기는, 상기 제2차 카메라 내의 상기 결정된 픽셀들 중의 각각의 픽셀에 대한 거리를, 상기 적어도 하나의 광펄스로부터의 광으로 상기 픽셀에 의해 획득되는 거리 이미지에 응답하여 결정하는 것인, 3차원(3D) 이미징 시스템.
제9항에 있어서, 상기 제어기는, 상기 제2차 카메라의 광학 중심과 상기 결정된 픽셀을 통과하는 라인을 따라 주어진 거리가, 상기 제2차 카메라로부터 상기 결정된 픽셀 상에 이미징되는 상기 피처의 실제 거리인 확률 분포를 결정하는 것인, 3차원(3D) 이미징 시스템.
제10항에 있어서, 상기 제어기는, 상기 제1차 카메라 내의 상기 라인을 따라 주어진 거리가, 상기 제1차 카메라로부터 상기 제1차 카메라의 픽셀 상에 이미징되는 상기 피처의 실제 거리인 확률 분포를 결정하는 것인, 3차원(3D) 이미징 시스템.
제11항에 있어서, 상기 제어기는, 상기 제1차 카메라로부터 상기 제1차 카메라의 픽셀 상에 이미징되는 상기 피처의 거리를 결정하도록, 상기 제1차 카메라와 상기 제2차 카메라로부터의 상기 주어진 거리들에 대해 결정된 상기 확률 분포들을 사용하는 것인, 3차원(3D) 이미징 시스템.
제1항에 있어서, 상기 제1 3D 카메라와 상기 제2 3D 카메라 중 하나의 3D 카메라는 TOF(time of flight) 3D 카메라인 것인, 3차원(3D) 이미징 시스템.
활성 공간 내에 위치한 피처들까지의 거리들을 결정하는 방법에 있어서,
적어도 하나의 광펄스로 상기 활성 공간을 조명하는 단계;
광학 중심을 가지며 픽셀들을 갖는 제1 광센서 및 제2 광센서를 각각 포함하는 제1 3차원(three-dimensional; 3D) 카메라와 제2 3차원(3D) 카메라를 사용해 상기 활성 공간 내의 피처들을 이미징하는 단계 - 상기 제1 3D 카메라와 상기 제2 3D 카메라는 상기 피처들의 거리 이미지들을 획득하도록 상기 적어도 하나의 광펄스로부터 반사되는 광을 상기 픽셀들 상에 이미징하며, 상기 제1 3D 카메라와 상기 제2 3D 카메라는 상기 활성 공간을 제공하도록 중첩되는, 광각 및 협각 시계(field of view; FOV)를 각각 가지며, 각각의 3D 카메라는 다른 하나의 3D 카메라와는 독립적으로 상기 활성 공간 내의 상기 피처들에 대한 거리 측정값들을 획득하도록 동작가능함 -;
상기 활성 공간을 복수의 범위 한계들 - 상기 범위 한계들은 근거리 범위 상한("NR_U")과 원거리 범위 하한("FR_L")을 포함함 - 에 의해 한계가 정해진 구역들로 분할하는 단계; 및
상기 피처들까지의 거리들을 결정하도록 상기 구역들에 응답해서 상기 거리 이미지들을 처리하는 단계
포함하는, 활성 공간 내에 위치한 피처들까지의 거리들을 결정하는 방법.
제14항에 있어서, 상기 범위 한계들은 관계식 FR_L < NR_U를 만족시키고, 상기 활성 공간을 근거리 구역, 중거리 구역, 및 원거리 구역으로 분할하고, 이들 구역들에 대해 상기 활성 공간 내의 피처들까지의 거리들은 각각 FR_L미만, FR_L과 NR_U사이, 및 NR_U 초과인 것인, 활성 공간 내에 위치한 피처들까지의 거리들을 결정하는 방법.
제15항에 있어서, 상기 활성 공간 내의 피처들까지의 거리들을 포함하는 범위 이미지를 제공하도록, 상기 방법은,
상기 3D 카메라들 중 하나를 제1차 카메라로 지정하고, 다른 하나를 제2차 카메라로 지정하는 단계;
상기 제1차 카메라 내의 복수의 픽셀들 각각에 대해 상기 픽셀 상에 이미징되는 상기 활성 공간 내의 피처를 위한 시도 거리를 결정하는 단계;
상기 제1차 카메라가 상기 제1 3D 카메라이고 상기 결정된 거리가 상기 근거리 구역 내에 있거나, 상기 제1차 카메라가 상기 제2 3D 카메라이고 상기 시도 거리가 상기 원거리 구역 내에 있다면, 상기 피처까지의 거리를 상기 시도 거리라고 결정하는 단계;
상기 제1차 카메라가 상기 제1 3D 카메라이고 상기 결정된 거리가 상기 근거리 구역 내에 있지 않거나, 상기 제1차 카메라가 상기 제2 3D 카메라이고 상기 시도 거리가 상기 원거리 구역 내에 있지 않다면, 상기 제2차 카메라 내의 픽셀에 의해 제공되는 거리 및 상기 시도 거리에 응답한 거리를 결정하는 단계; 및
상기 범위 이미지 내의 상기 거리들로서, 상기 제1차 카메라 내의 픽셀들에 대해 결정된 거리들을 이용하는 단계
를 더 포함하는, 활성 공간 내에 위치한 피처들까지의 거리들을 결정하는 방법.
제16항에 있어서, 상기 시도 거리는 상기 중거리 구역 내에 놓이는 것인, 활성 공간 내에 위치한 피처들까지의 거리들을 결정하는 방법.
제17항에 있어서, 상기 제2차 카메라 내의 픽셀에 의해 제공되는 거리와 상기 시도 거리의 평균으로서 상기 피처까지의 거리를 결정하는 단계를 더 포함하는, 활성 공간 내에 위치한 피처들까지의 거리들을 결정하는 방법.
활성 공간 내의 피처들을 이미징하고 상기 피처들까지의 거리들을 결정하는 3차원(three-dimensional; 3D) 이미징 시스템에 있어서,
적어도 하나의 광펄스로 상기 활성 공간을 조명하는 광원;
광학 중심을 가지며 픽셀들을 갖는 제1 광센서 및 제2 광센서를 각각 포함하는 제1 3D 카메라와 제2 3D 카메라 - 상기 제1 3D 카메라와 상기 제2 3D 카메라는 상기 피처들의 거리 이미지들을 획득하도록 상기 적어도 하나의 광펄스로부터 반사되는 광을 상기 픽셀들 상에 이미징하며, 상기 제1 3D 카메라와 상기 제2 3D 카메라는 상기 활성 공간을 제공하고 상기 활성 공간을 구역들로 분할하도록 중첩되는, 광각 및 협각 시계(field of view; FOV)를 각각 가지며, 중첩 영역은 근거리 구역과 원거리 구역 사이에 위치한 중거리 구역이고, 각각의 3D 카메라는 다른 하나의 3D 카메라와는 독립적으로 상기 활성 공간 내의 상기 피처들의 거리 이미지들을 획득하도록 동작가능함 -; 및
상기 피처들까지의 거리들을 결정하도록 상기 구역들에 응답해서 상기 거리 이미지들을 처리하는 제어기
를 포함하는, 3차원(3D) 이미징 시스템.
제19항에 있어서, 상기 제1 3D 카메라와 상기 제2 3D 카메라는 상이한 유형의 3D 카메라들인 것인, 3차원(3D) 이미징 시스템.