KR102203318B1 - 능동형 조명을 구비한 센서 시스템 - Google Patents

Abstract

본 발명은 능동형 조명을 기반으로 하는 시각 센서에 관한 것이다. 이미징 시스템은 이미징 센서를 포함하고 각각 근적외선 영역의 파장을 가진 적어도 2개의 서로 다른 조명 광원에 의해 조명되는 장면의 이미지를 처리하도록 구성되어 있다. 일 변형예에 있어서, 상기 이미징 시스템은 3차원 비행시간 측정을 수행하기 위해 사용되는 변조 주파수 미만의 변조 주파수를 가진 조명 광원을 이용하도록 구성되어 있다. 일 변형예에 있어서, 상기 이미징 시스템은 비행시간 측정에 사용하는 수보다 프레임 당 적은 수의 샘플을 획득하도록 구성되어 있다.

Description

능동형 조명을 구비한 센서 시스템{SENSOR SYSTEM WITH ACTIVE ILLUMINATION}

본 발명은 능동형 조명(active illumination)을 기반으로 하는 시각 센서(vision sensor)에 관한 것이다. 본 발명은 능동형 이미징 시스템(active imaging system)의 화질을 향상시키고 동적 범위(dynamic range)와 그의 배경광 안정성을 향상시킨다. 전형적으로 이러한 센서는 이들의 주변, 물체 또는 사람을 감지 및 측정하기 위해 이용된다.

다수의 카메라 구성에 있어서 카메라 측정결과를 향상시키기 위해 능동형 조명이 적용되고 있다. 카메라는 다수의 화소가 배치된 이미지 센서가 안에 포함되어 있는 전기광학 기기로서 이해된다.

많은 머신 비전(machine vision) 용도에서 카메라 시스템에 대해 일정한 빛의 강도 수준을 보장하기 위해 능동형 조명을 이용하고 있다. 이렇게 함으로써, 능동형 시스템의 성능은 그 주변의 조명 변화에 덜 취약하게 된다. 안정성과 신뢰성이 향상된다. 또한 시스템에 광력(illumination power)을 더함으로써 노출을 더 짧게 설정할 수 있고 더 높은 프레임 속도를 달성할 수 있다.

능동형 조명 카메라 시스템을 구비한 다른 센서들은 장면 속 대상 물체의 특정 성질을 이용하는데, 예를 들면 쉽게 인식할 수 있고 경우에 따라서는 추적이 가능한 반사체를 장면에 따라 이용할 수 있다.

다른 용도로는 눈의 반사특성과 같은 대상 물체의 특정 반사특성을 이용하는 것이 있다. 능동형 조명을 구비한 시스템에 의해 포획되는 눈의 전형적인 후방반사는 눈을 탐지 및 추적하고 눈을 깜박이는 횟수를 측정하여 예를 들면 운전자의 졸음을 살피고 피로 측정 센서를 구축하기 위해 이용할 수 있다.

간섭계에서 능동형 시스템은 대상 물체와 기준 표적에 조명을 비춘다. 반사 간섭을 이용하여 깊이를 측정 및 분석할 수 있다.

다른 능동형 시스템은 조명을 변조하여 그 주변에 대한 더 많은 정보를 얻는다. 전형적으로 이러한 조명을 시간적으로 변조(시간 변조) 또는 공간적으로 변조하고 예를 들면 거리 측정에 적용하여 주변환경의 맵을 3D로 제작할 수 있다. 시간 변조는 소위 비행시간(time-of-flight, TOF) 카메라(간접형과 직접형)에서 구현되고 있고; 공간 변조는 구조광(structured light) 기술이라고도 하는 삼각 측량 기반의 깊이 측정 시스템에서 이용되고 있다.

비행시간 이미지 센서 화소는 광발생 전하를 이들의 저장 노드로 극히 빠른 전달을 확실히 하기 위해 구성된 전용 화소이다. 변조 주파수가 높아질수록 깊이 노이즈 성능은 좋아진다. 따라서 TOF 복조 화소는 전형적으로 수십 MHz 내지 수백 MHz 이하의 범위에서 동작한다. 또한 TOF 화소는 TOF 이미징 시스템의 동적 범위를 증가시키기 위해서 화소 수준에서 배경광을 억제하는 것을 종종 포함하기도 한다. 대부분의 적용에 있어서, TOF 화소는 화소 당 2개의 샘플링된 신호를 저장 및 적분하는 2개의 저장 노드를 포함하고 있다.

모든 능동 조명형 이미징 시스템의 강점은 태양광과 같은 배경광 신호를 제거할 수 있는 경우에 실익이 있다. 배경광 신호 제거는 주로 조명이 켜있는 상태와 조명이 꺼진 상태에서 각각 하나씩 2개의 연속 이미지를 획득함으로써 이루어진다. 상기 2개의 이미지를 차감하면 능동형 조명의 강도 정보를 포함한 이미지만이 나타난다. 이러한 기법의 단점은 먼저 상기 시스템이 2개의 별개 이미지를 획득할 필요가 있다는 것이다. 장면 또는 장면 속 물체는 이미지마다 다르게 변할 수 있고 이 경우에는 배경을 차감하는 것이 이상적인 것은 아니다. 또한 획득된 2개의 이미지는 배경광과 활성광의 전체 동적 신호 범위를 다룰 필요가 있다. 배경광 신호는 비록 요구되지 않더라도 시스템의 동적 범위를 훼손한다.

본 발명의 목적은 동적 범위가 향상된 이미징 시스템을 제공하는 것이다. 본 발명의 다른 목적은 해상도가 향상되고 광출력 소비가 적은 3차원 측정용 이미징 시스템을 제공하는 것이다. 또한 본 발명의 목적은 2차원 강도와 3차원 이미징 시스템을 제공하는 것이다.

본 발명에 따르면, 이들 목적은 특히 독립항의 특징부를 통해 달성된다. 또한 다른 유리한 구현예들은 종속항과 상세한 설명으로부터 이해된다.

본 발명에 따른 이미징 시스템은 이미징 센서를 포함한다. 상기 이미징 시스템은 각각 근적외선 영역의 파장을 가진 적어도 2개의 서로 다른 조명 광원에 의해 조명되는 장면의 이미지를 처리하도록 구성되어 있다. 상기 파장은 바람직하게는 800 내지 1000 nm이다. 상기 조명 광원은 이미지 센서에 바로 옆에 설치될 수 있고 이미지 센서와 동기화될 수 있다. 상기 적어도 2개의 조명 광원은 최소로 가려지도록 설치될 수 있다.

몇몇 구현예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원의 파장은 상이한바, 예를 들면 적어도 하나의 조명 광원의 파장은 약 850 nm이고 적어도 하나의 조명 광원의 파장은 약 940 nm이다.

몇몇 구현예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 적어도 하나의 구조 조명 광원을 포함한다. 예를 들어, 상기 이미지 센서가 비행시간 센서인 경우에 비행시간 측정과 구조 조명 광원 측정에 의해 제공되는 장점의 혜택을 제공한다.

몇몇 구현예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 적어도 하나의 균일한 조명 광원을 포함한다.

몇몇 구현예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 각각 근적외선 영역이지만 적어도 하나의 균일한 조명 광원과 적어도 하나의 구조 조명 광원을 포함한다. 구조 조명 광원을 기반으로 하는 이미지 획득은 균일한 조명 광원을 기반으로 하는 획득과 동시에 수행(interleave)될 수 있다. 구조 조명 광원을 기반으로 하는 실제 미가공 이미지는 종래의 색상 또는 강도 표현으로는 그의 획득 환경을 나타내지 못한다. 이러한 이유로, 구조 조명 광원을 기반으로 하는 종래기술의 시스템에는 제2 이미지 감지기, 보통 RGB 센서가 추가되어 있다. 본 발명에 제안되어 있는 바와 같이 2개의 서로 다른 조명 광원, 예를 들어 하나의 구조 조명 광원과 하나의 균일한 조명 광원을 구현함으로써 상기 이미징 시스템은 동일한 이미지 센서에 의해 깊이 정보를 얻고 대표 강도(또는 흑백) 이미지를 생성할 수 있다. 이것은 추가로 2D 강도 이미지에 3D 맵을 용이하게 일대일로 매핑할 수 있게 한다. 상기 이미지 센서가 TOF 이미지 센서인 경우에는 TOF 이미지 센서와 2개의 서로 다른 조명 광원은 추가로 시간 변조 및 동기화될 수 있다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 각각 유사한 중심 파장, 바람직하게는 모두 800 내지 1000 nm 사이에서 유사한 중심 파장을 갖는 구조 조명 광원과 균일한 조명 광원을 포함한다. 이러한 구현예에 있어서, 상기 구조 조명 광원으로부터의 이미지와 균일한 조명 광원으로부터의 이미지는 각각 동일한 광로를 통해 이미지화될 수 있고 상기 광로에는 좁은 광 대역 통과 필터가 적용되어 있을 수 있다. 좁은 대역 통과 필터를 적용하면 광학적으로 배경광 신호를 되도록 많이 차단할 수 있게 된다.

몇몇 구현예에 있어서, 상기 이미지 센서는 비행시간 센서이다.

몇몇 구현예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 노출 중에 시간 변조되는 적어도 하나의 조명 광원을 포함한다. 적절한 시간 변조 방식은 취득 중 장면의 변화 또는 물체의 움직임으로 인해 유발되는 허상을 줄이게 할 수 있고 또한 영역 내에서 다른 이미징 시스템의 간섭을 방지하게 할 수 있다.

몇몇 구현예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 동일한 발광 다이 상에 위치한다. 이는 적어도 2개의 조명 광원이 구조 조명 광원이고 2개 모두 시간 변조되는 경우에 특히 중요하다. 동일한 발광 다이 상에 있는 적어도 2개의 구조 조명 광원을 구비하고 이미지 센서와 동기화하는 이들 광원을 변조시키는 시스템 장치는 구조 이미지 위의 정보 밀도 수준을 더 높게 한다.

또한 본 발명은 이미지 센서를 이용하는 이미징 방법에 관한 것이다. 각각 근적외선 영역의 파장을 가진 적어도 2개의 서로 다른 조명 광원에 의해 조명되는 장면의 이미지를 처리한다. 일 변형예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원의 파장은 서로 다르다. 일 변형예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 적어도 하나의 구조 조명 광원을 포함한다. 일 변형예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 적어도 하나의 균일한 조명 광원을 포함한다. 일 변형예에 있어서, 상기 이용 이미지 센서는 비행시간 센서이다. 일 변형예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 비행시간 측정에 사용되는 변조 주파수 미만의 변조 주파수에 의해 변조되는 적어도 하나의 균일한 조명 광원을 포함한다. 일 변형예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 노출 중에 시간 변조되는 적어도 하나의 구조 조명 광원을 포함한다. 일 변형예에 있어서, 상기 적어도 2개의 서로 다른 조명 광원은 동일한 발광 다이 상에 위치한다.

본 발명에 따르면, 비행시간 센서를 포함하는 이미징 시스템은 3차원 비행시간 측정을 수행하기 위해 사용되는 변조 주파수 미만의 변조 주파수를 가진 조명 광원을 이용하도록 구성되어 있다.

바람직한 특정 구현예에 있어서, 본 발명은 상기 이미징 시스템에서 전형적으로는 화소 당 2개, 나아가 바람직하게는 어느 정도 화소 내(in-pixel) 배경 억제능을 내부에 포함하고 있는 저장 노드를 구비한 비행시간 센서 또는 구성을 구현하는 것을 제안한다. 또한 상기 능동 조명형 이미징 시스템에서 비행시간 이미지 센서와 조명 광원은 낮은 변조 주파수로 제어되어 신호의 실제 비행시간이 샘플링 신호에 대해 무시할만한 효과를 갖도록 한다. 또한 본 발명은 상기 이미징 시스템에 대해 획득 타이밍을 시행하여 그 결과로서 실제 비행시간 측정을 수행하기에는 충분하지 않은 여러 샘플과 획득을 얻고 이들 획득만을 토대로 이미지 평가하는 것을 제안한다. 비행시간 화소는 대부분의 실제 적용에 있어서 2개의 저장 노드를 포함하고 적어도 2개, 그러나 가장 보편적으로는 4개의 생성된, 그러나 위상 지연된 이미지를 포착하여 깊이 정보를 얻는다. 이 구현예에 있어서, 상기 화소의 하나의 저장 노드를 바람직하게는 배경광만을 적분하는데 사용한 다음, 능동 방출되어 반사된 광과 함께 배경광 신호를 적분하는 다른 하나의 저장 노드로부터 차감한다. 상기 신호의 획득과 적분 및 2개의 비행시간 화소 저장 노드로의 전달은 바람직하게는 획득 중에 여러 번 반복되고 동시에 수행된다. 이때, 얻어진 차분 화소(differential pixel) 출력 값은 능동 방출 신호만을 표현하는 것일 수 있으며, 이는 주변의 조명 조건 변화에 대해 시스템을 더욱 강화시킨다.

몇몇 구현예에 있어서, 상기 변조 주파수는 100 Hz 내지 1 MHz이다. 종래기술의 비행시간 측정 시스템에서는 수십 MHz인 토글링에 비해 느린 변조는 상기 이미징 시스템의 전력소비를 낮춘다. 또한 조명 광원과 드라이버의 속도 요건을 낮추고 변조와 복조 효율을 증가시킨다. 일반적으로 비행시간 측정용으로는 너무 느린 고출력 LED와 같은 고효율 고출력 광원을 적용할 수 있다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 비행시간 센서의 화소의 수준에서 직접 차감을 수행하도록 구성되어 있다. 비행시간 화소의 화소 위(on-pixel) 배경광 제거는 능동형 조명 광원을 구비하고 있는 다른 시스템에서는 배경광으로 인한 포화를 방지하도록 도와준다. 또한 아날로그로부터 디지털 전환 요건이 완화되는데 배경 수준이 이미 화소 수준에서 차감되어 있고 더 이상 전환할 필요가 없기 때문이다. 또한 능동형 조명을 구비한 시스템 내 광 변조, 동일 프레임 획득 중에 신호 광과 배경광의 동시 적분 및 여러 사이클에 걸친 적분은 장면 속에서 움직임으로 인한 문제를 줄여주고 나아가 적절한 시간 변조 방식을 이용하여 간섭이 적은 여러 시스템의 병행 작동을 가능하게 한다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 구조 조명 광원을 이용하도록 구성되어 있다. 상기 구조 조명 광원은 비행시간 이미지 센서와 동기화하고 구조 조명 광원을 기반으로 이미지를 포착하여 깊이 정보를 얻기 위해 이용된다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 비행시간 이미지 센서와 적어도 하나의 조명 광원을 포함한다. 상기 비행시간 이미지 센서는 후방 반사광을 샘플링하기 위해 이용한다. 비행시간 원리를 토대로 깊이 정보를 얻기에는 충분하지 않은 프레임 당 여러 획득과 획득한 샘플을 기반으로 신호를 평가한다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 의사-랜덤(pseudo-random) 변조된 조명 광원을 이용하여 서로 다른 획득 시스템 간 서로 다른 간섭을 최소화하도록 구성되어 있다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 적어도 2개의 서로 다른 파장을 가진 적어도 2개의 조명 광원을 이용하도록 구성되어 있다. 미분 판독 또는 화소 위에서 차감을 실시함으로써 상기 2개의 조명 광원의 차분 이미지를 직접 측정할 수 있다. 이는 예를 들면 크게 강화된 눈 추적 시스템 구축을 가능하게 한다.

몇몇 구현예에 있어서, 본 발명은 비행시간 센서를 이용하는 이미징 시스템으로서 조명 광원이 3차원 비행시간 측정을 수행하기 위해 사용되는 변조 주파수 미만의 변조 주파수를 갖는 이미징 시스템을 제공한다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 비행시간 측정을 수행하기 위해 필요한 수보다 프레임 당 적은 수의 샘플을 획득하도록 구성되어 있다.

몇몇 구현예에 있어서, 비행시간 센서와 적어도 하나의 조명 광원을 포함하는 이미징 시스템의 타이밍은 비행시간 측정을 얻기 위해 필요한 수보다 프레임 당 적은 수의 샘플을 획득하도록 구성되어 있다.

또한 본 발명은 비행시간 센서를 이용하는 이미징 방법에 관한 것이다. 비행시간 측정에 사용되는 변조 주파수 미만의 변조 주파수를 가진 조명 광원을 이용한다. 일 변형예에 있어서, 상기 사용 변조 주파수는 100 Hz 내지 1 MHz이다. 일 변형예에 있어서, 상기 비행시간 센서의 화소의 수준에서 직접 차감을 수행한다. 일 변형예에 있어서, 구조 조명 광원을 이용한다. 일 변형예에 있어서, 적어도 2개의 서로 다른 파장을 가진 2개의 조명 광원을 이용한다. 일 변형예에 있어서, 의사-랜덤 시간 변조된 조명 광원을 이용한다. 일 변형예에 있어서, 비행시간 측정에 사용되는 수보다 프레임 당 적은 수의 샘플을 획득한다.

본 발명에 따르면, 상기 이미징 시스템은 비행시간 측정에 사용되는 수보다 프레임 당 적은 수의 샘플을 획득하도록 구성되어 있다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 비행시간 측정에 사용되는 변조 주파수 미만의 변조 주파수, 특히 100 Hz 내지 1 MHz의 변조 주파수를 갖는 조명 광원을 이용하도록 구성되어 있다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 비행시간 센서의 화소의 수준에서 직접 차감을 수행하도록 구성되어 있다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 구조 조명 광원을 이용하도록 구성되어 있다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 적어도 2개의 서로 다른 파장을 가진 적어도 2개의 조명 광원을 이용하도록 구성되어 있다.

몇몇 구현예에 있어서, 상기 이미징 시스템은 의사-랜덤 시간 변조된 조명 광원을 이용하도록 구성되어 있다.

또한 본 발명은 비행시간 센서를 이용하는 이미징 방법에 관한 것이다. 비행시간 측정에 사용되는 수보다 프레임 당 적은 수의 샘플을 획득한다. 일 변형예에 있어서, 비행시간 측정에 사용되는 변조 주파수 미만의 변조 주파수, 특히 100 Hz 내지 1 MHz의 변조 주파수를 가진 조명 광원을 이용한다. 일 변형예에 있어서, 비행시간 센서의 화소의 수준에서 직접 차감을 수행한다. 일 변형예에 있어서, 구조 조명 광원을 이용한다. 일 변형예에 있어서, 적어도 2개의 서로 다른 파장을 가진 2개의 조명 광원을 이용한다. 일 변형예에 있어서, 의사-랜덤 시간 변조된 조명 광원을 이용한다.

본 명세서에 기재된 발명은 첨부 청구범위에 기재되어 있는 발명을 한정하는 것으로 간주되어서는 안 되는 후술하는 상세한 설명과 첨부 도면으로부터 더욱 완전하게 이해될 것이다. 도면은 다음을 보여주고 있다:
도 1에서 a)는 서로 다른 구성요소를 구비한 종래기술의 TOF 화소를 보여주는 도면이고, b) 내지 d)는 비행시간 원리를 토대로 깊이 측정을 얻는 종래기술의 타이밍 도면과 샘플링을 나타낸 그래프이고;
도 2는 비행시간 3차원 이미징 시스템에 대해 깊이 측정을 얻기 위해 필요한 4개의 샘플의 획득 타이밍을 가장 보편적으로 사용되는 선행기술에 따라 보여주고 있고;
도 3에서 a)는 제어기(140)에 의해 모두 제어 및 동기화되는 비행시간 이미지 센서(110)와 능동형 조명 광원(120)을 구비하고 있는 본 발명에 따른 이미징 시스템(100)을 도시하고 있고, b) 본 발명에 따른 개략적인 타이밍 도면의 일 구현예를 도시하고 있으며, c) 본 발명에 따른 더 자세한 타이밍 도면의 일 구현예를 도시하고 있고;
도 4는 구조 조명 광원(121)을 기반으로 하는 본 발명에 따른 이미징 시스템(100)을 도시하고 있고;
도 5는 적외선 영역의 서로 다른 파장을 가진 2개의 조명 광원(122, 123)과 비행시간 이미지 센서(110)를 기반으로 하는 본 발명에 따른 눈/눈동자 감지용 이미징 시스템(100)을 도시하고 있고;
도 6은 제1 구조 조명 광원(121) 및 이와 다르게 구조화된 제2 조명 광원(125)을 포함하는 본 발명에 따른 이미징 시스템(105)을 도시하고 있고;
도 7은 장면/물체로부터 동일한 광로와 이미지 센서를 통해 3차원의 컬러 또는 그레이스케일(greyscale) 정보 취합을 가능하게 하는 본 발명에 따른 이미징 시스템의 일 구현예를 보여주는 것으로, a)는 깊이 정보를 획득하는 획득 동작을 도시하고 있다. 구조 조명 광원을 이용하여 포착되는 샘플 그레이스케일 이미지가 c)에 나타나 있다. b)는 그레이스케일 이미지 획득 중에 이미징 시스템과 그의 동작을 나타낸 것이고, 그 결과 얻어진 그레이스케일 이미지는 d)에 나타나 있으며;
도 8은 본 발명에 따른 실제 구성을 보여주고 있다.

비행시간 이미징 시스템은 방출광이 측정 시스템으로부터 물체로 이동하고 다시 되돌아 오는데 걸리는 시간을 측정할 수 있다. 방출광 신호는 소정 거리에 있는 물체에 의해 반사된다. 이 거리는 측정 시스템으로부터 물체로 이동하고 다시 되돌아 오는 빛의 이동 시간에 의해 일어나는 방출 신호로부터 수신 신호까지 시간 지연에 해당한다. 간접 비행시간 측정에서 거리-의존 시간 지연은 방출 신호로부터 수신 신호까지 위상 지연에 상응한다. 또한 수신 신호는 후방 반사된 방출 신호를 포함할 뿐 아니라 예를 들면 태양 또는 다른 광원의 배경광 신호를 가질 수도 있다. 종래기술의 비행시간 화소가 도 1a에 도시되어 있다. 상기 비행시간 화소는 제1 스위치(SW1)에 의해 저장 노드(C1)에 연결되고 제2 스위치(SW2)에 의해 저장 노드(C2)에 연결되는 감광 영역(P)을 포함하고 있다. 스위치(SW1)를 닫고 스위치(SW2)를 열거나 또는 그 반대로 하여 광발생 전자를 샘플링한다. 스위치(SW1, SW2)는 제어기에 의해 조명 광원에 동기화되어 있다. 합리적인 비행시간 측정을 가능하게 하기 위해서는 스위치(SW1, SW2)와 조명 광원을 약 10 MHz 내지 200 MHz 초과 범위에서 작동시킬 필요가 있고 광발생 전하를 감광 영역(P)으로부터 저장 노드(C1 또는 C2)로 수 ns 내에 전달하여야 한다. 이러한 고속 샘플링에 도달하도록 비행시간 화소는 특별히 고안되어 있다. 이러한 고속 비행시간 화소 구성의 가능한 실행예가 특허 US 5,856,667, EP 1009984 B1, EP 1513202 B1 또는 US 7,884,310 B2에 기재되어 있다. 비행시간 화소의 출력 회로(C)는 일반적으로 판독 증폭기와 재설정 노드를 포함한다. 다수의 비행시간 화소 적용에 있어서, 화소 내 출력 회로(C)는 저장 노드(C1, C2)에 2개의 샘플의 공동 수준 제거 또는 배경 차감 회로를 포함하고 있다. 이러한 화소 내 공동 신호 수준 제거는 비행시간 화소의 동적 범위를 크게 증가시킨다. 적분 중에 샘플의 공동 수준 제거를 수행하는 가능한 실행예가 PCT 공보 WO 2009135952 A2와 특허 US 7574190 B2에 제시되어 있다. 데이터 판독 사이클 중에 노출 후 수행되는 샘플의 또 다른 공동 신호 수준 차감 기법이 미국특허 US 7897928 B2에 기재되어 있다.

시판 중인 3차원 비행시간 측정 시스템은 정현파 또는 의사-노이즈 변조 중 어느 하나를 기반으로 한다. 2가지 변조 모두 위상 또는 깊이 정보 각각, 오프셋과 진폭 정보를 얻기 위해서는 적어도 3개의 샘플을 필요로 한다. 구성 단순화와 신호 강화를 이유로 비행시간 시스템은 통상적으로 충돌 광신호를 4회 샘플링한다. 그러나 가장 감도가 좋아 가장 광범위하게 이용되고 있는 비행시간 화소 구성은 도 1a에 개략적으로 제시되어 있는 바와 같이 단 2개의 저장 노드만을 포함한다. 4개의 샘플을 얻기 위해서 상기 시스템은 이후에 적어도 2개의 후속 이미지를 획득할 필요가 있다. 정현파 샘플링의 타이밍 도면이 도 1b에 개략적으로 제시되어 있다. 이렇게 수신된 광신호는 도 1a의 화소 위에 광전류를 발생시킨 다음, 이 광전류는 도 1b에 나타낸 바와 같이 제1 노출(E1) 중에 샘플링 및 적분된다.

제1 노출(E1) 후에 판독(RO1)을 진행한다. 제2 노출(E2)은 E1에 비해 90°만큼 지연되는 샘플을 획득한다. 제2 노출(E2) 이후, 새로 획득한 샘플을 판독한다(RO2). 이 시점(D)에서 모든 데이터는 수신 신호의 위상, 오프셋과 진폭 정보를 결정할 수 있게 준비된다. E1의 샘플링 과정에서 시간을 확대한 것이 도 1c에, 노출(E2)로 시간을 확대한 것이 도 1d에 각각 개략적으로 제시되어 있다. 샘플링 지속시간은 주기의 절반인 것으로 추정되며 수천에서 수백만 주기에 걸쳐 적분된다. 이러한 제1 노출(E1) 중에 0°와 180°의 샘플들은 도 1c에 개략적으로 제시되어 있는 바와 같이 스위치(SW1, SW2)에 의해 각각 저장 노드(C1, C2)로 향하게 된다. 제2 노출(E2)로 확대한 것이 도 1d에 개략적으로 제시되어 있다. 제2 노출(E2)은 제1 노출(E1)에 비해 90°만큼 지연되는 샘플을 갖는다. 샘플 90°와 270°는 저장 노드(C1, C2)에 재차 적분된다. 노출(E1)과 노출(E2)의 적분시간은 동일하다. 4개의 샘플 모두 측정되어 이용 가능하게 되는 시점(D)에서 위상, 진폭과 오프셋 정보를 계산할 수 있지만, 위상 정보는 측정된 물체의 거리 정보에 직접 해당한다.

그러나 불일치로 인해 대부분의 실행예에서는 특허 US 7,462,808 B2에 제안되고 도 2에 개략적으로 제시되어 있는 바와 같이 단 2개의 이미지 대신에 실제로는 4개의 이미지가 획득된다. 제1 노출(E1)과 제2 노출(E2) 및 이들의 판독(RO1, RO2)은 도 1b에 기재되어 있는 바대로 수행되지만, 이들 노출 후에 2회 더 노출(E3, E4)과 판독(RO3, RO4)을 진행한다. 노출(E3)은 제1 노출(E1)로부터 샘플을 획득하지만 180°만큼 지연되고, 노출(E4)은 노출(E2)의 180° 위상 지연에 상응한다. 시점(D)에서 4개의 모든 샘플들은 수신 신호의 위상(또는 각각 깊이), 오프셋과 진폭 정보를 계산하기 위해 이용 가능하다. 특허 US 7,462,808 B2에 기재되어 있는 바와 같이, 이러한 기법은 예를 들면 화소 회로와 응답 불일치 또는 구동 비대칭을 보상하게 할 수 있다.

도 3a에는 이미징 시스템(100)을 기반으로 하는 본 발명에 따른 일반적인 제1 구현예가 도시되어 있고, 상기 이미징 시스템의 개략적인 타이밍은 도 3b에, 더 자세한 타이밍은 도 3c에 도시되어 있다. 상기 이미징 시스템은 도 1a에 도시되어 있는 바와 같이 비행시간 화소로 이루어진 비행시간 이미지 센서(110), 조명 광원(120), 광학 시스템(130)과 제어기(140)를 포함하고 있다. 방출광(120a)은 물체(10)에 의해 반사된다. 후방 반사광(120b)은 광학 시스템(130)에 의해 비행시간 이미지 센서(110) 위에 이미지를 형성한다. 비행시간 이미지 센서(110)와 조명 광원(120)은 조명 광원(120)이 켜져 있는 동안 비행시간 이미지 센서(110) 위에 비행시간 화소의 1개의 저장 노드가 모든 광발생 전자를 적분하는 한편 조명 광원(120)이 꺼져 있을 때 제2 저장 노드는 모든 광발생 전자를 수집하도록 제어기(140)에 의해 시간 변조 및 동기화된다. 이러한 점멸 사이클은 여러 번 반복될 수 있다. 본 발명은 고속 비행시간 이미지 센서에 낮은 변조 주파수를 인가하여 방출광과 후방 반사광의 비행시간의 실제 영향은 무시할 정도가 되고 모든 방출광은 바람직하게는 비행시간 이미지 센서 위의 각 화소의 단일 저장 노드에 포획되도록 하는 것을 제시한다. 또한 도 3b에 도시되어 있는 바와 같이 실제 비행시간 측정을 얻게 할 수 없는 적은 수의 샘플과 획득을 단지 포착하기만 하는 것을 제안한다. 제1 노출(E) 후에 판독(RO)을 진행한다. 노출(E) 중에 광발생 전하는 저장 노드(C1)나 저장 노드(C2) 중 어느 하나로 전달되고 조명 광원(120)과 동기화된다. 상기 주어진 구현예에 있어서, TOF 정보를 얻기 위해 필요한 모든(적어도 3개의) 샘플을 취합하기 위해 필요에 따라 적어도 2개 또는 4개를 획득하는 대신 단 하나를 획득하는 것을 제안한다. 시점(D)에서 샘플의 수로는 포착 신호의 비행시간 정보를 추정할 수 없다. 본 발명의 변형예로서 단일 노출예에서는 2개의 샘플의 차분 이미지화를 실시한다. 도 3a에 암시되어 있는 바와 같이 의사-랜덤 방법으로 변조를 수행할 수 있다. 이렇게 함으로써, 서로 다른 이미징 시스템(100) 간 방해 간섭이 최소화될 수 있다. 의사-랜덤 코딩 다음으로, 위상 도약 또는 주파수 도약, 처핑(chirping) 등의 분할 다중 접속 기법과 같은 다른 공지 기술을 실행하여 시스템의 간섭을 최소화할 수 있다.

도 3c는 적분 중에 2개의 저장 노드(C1, C2)를 서로 회로 차감하는 것을 포함하여, 도 3b에 개략적으로 제시되어 있는 단일 노출의 타이밍 도면을 더욱 자세하게 보여주고 있다. 전체 프레임은 F, 실제 노출은 E, 판독(RO) 시간은 RO, 재설정 시간은 RS로 기재되어 있다. 상기 구현예의 현재 타이밍시 변조 주파수는 합리적으로 비행시간 이미지화하기에 필요한 것보다 훨씬 더 낮다. 광(L1)은 조명 광원(120)에 의해 방출되고 비행시간 이미지 센서(110)와 동기화되어 "광 켜짐(light on)" 시간 중에 모든 광발생 전하가 제1 저장 노드(C1)로 전달되는 반면에, "광 꺼짐(light-off)" 시간 중에는 모든 광발생 전하가 제2 저장 노드(C2)로 전달된다. 후방 반사되고 수신된 신호는 시간(t)에 따라 L2로서 그래프에 나타나 있고 약간의 배경광 성분(LBG)을 갖고 있다. S1은 "광 켜짐 시간" 중에 제2 저장 노드(C1)에서의 적분을 보여주고 있고, S2는 "광 꺼짐" 시간 중에 저장 노드(C1)에서의 적분을 보여주고 있다. Sdiff는 실제 화소 내 배경 제거가 실행될 때의 신호차를 보여주는 것이다. 화소 내 회로(C)가 이러한 차이를 만들고 이렇게 함으로써 배경광 신호를 제거한다. 도시된 예에서는 비행시간 이미지 센서(110) 위의 비행시간 화소는 Sdiff에 대해 적분하는 중에 2개의 노드를 직접 차감한다. 다른 실행에 있어서, 비행시간 화소는 적분 시간 종료시에 차감을 수행한다. 2개의 실행 모두 능동형 이미징 시스템의 동적 범위를 증가시킨다. "광 켜짐"과 "광 꺼짐" 시간은 노출(E) 중에 여러 번 반복된다. 수백 Hz 내지 MHz 미만 범위의 변조 주파수는 광 펄스의 도달시간의 영향을 감소시키게 할 수 있다. 비행시간 이미지 센서(110)의 화소 위 2개의 저장 노드에 동일량의 배경광을 적분하고 이들 샘플에 대해 동일한 배경 또는 공동 모드 수준을 차감하기 위하여 상기 비행시간 화소의 제1 저장 노드(C1)와 제2 저장 노드(C2)에서의 전체 적분 시간은 노출 중에 동등한 것이 바람직하다. 상기 2개의 노출시간이 동일하게 유지되면, 광 펄스는 그 저장 노드에서의 샘플 지속시간보다 훨씬 더 짧을 수 있다. 이를 통해 펄스의 도달 시간에 대한 영향이 없다는 것이 더욱 확실해진다. 어느 경우에나, 되도록 최대한 배경광을 제거하기 위해서는 2개의 저장 노드에서의 전체 노출 시간은 동일하여야 한다. 노출(E) 후에 화소 값을 판독하고(RO) 제어기(140)로 전달한다. 다음 획득을 시작하기 전에 일반적으로 화소를 재설정한다(RS). 상기 2개의 저장 노드 위에서 광응답의 불일치를 줄이기 위해서 제1 노출(E) 대비 스위칭을 바꾼 제2 노출과 상기 2개의 이미지 차감은 이미지 센서 화소의 광응답에 따라 유익할 수 있다. 그러나 획득된 샘플의 수는 비행시간 정보를 얻기에 여전히 충분하지 않을 것이다.

도 4는 본 발명에 따른 이미징 시스템(100)을 보여주고 있다. 이미징 시스템(100)은 도 1a에 개략적으로 제시되어 있는 바와 같이 비행시간 화소들로 이루어진 비행시간 이미지 센서(110), 광학 시스템(130), 구조 조명 광원(121)과 제어기(140)를 포함하고 있다. 제어기(140)는 또한 비행시간 이미지 센서(110)와 구조 조명 광원(121)을 동기화시키고 시간 변조시킨다. 구조 조명 광원(121)은 시간 변조된 광(121a)을 방출하고 상기 시간 변조된 광은 물체(10)에 의해 반사된다. 장면(10)에 의해 후방 반사된 광(121b)은 광학 시스템(130)에 의해 비행시간 이미지 센서(110)에 투영되고 상기 이미지 센서 위에서 비행시간 화소는 입사 신호를 2개의 저장 노드로 복조한다. 이미징 시스템(100)의 타이밍은 도 3에 기재되어 있는 것과 비슷할 수 있다. 상기 구조 조명 광원과 3차원 매핑 기술은 PCT 공보 WO 2007/105205 A2에 제시되어 있는 바와 같이 적용될 수 있다. 상기 구조 조명 광원의 경우에 WO 2007/105205 A2에 기재된 바와 같이 간섭에 의해 야기되는 스펙클(speckle)을 기반으로 하는 투영 기술을 이용할 수 있지만, 다른 패턴 투영 기술들, 예를 들면 굴절 기반의 광학계 또는 패턴 생성 마스크를 이용하여 구조 조명 광원(121)에 적용할 수 있다. 바람직하게는, 랜덤 점 패턴을 투영한다. EP 2519001 A2는 제1 및 제2 저장 노드로의 이동 게이트와 표준 저속 포토다이오드를 이용하여 특수 설계한 센서 화소를 구비한 센서 기반의 구조 광 시스템의 이용을 교시하고 있다. 이에 비해, 본 발명은 특정 화소 구성을 적용하는 것이 아니라 오히려 기존의 고속 비행시간 이미지 센서(110)와 화소를 이용하고, 광의 실제 이동 시간(비행시간)의 영향을 무시하도록 제어기(140)에 의해 구조 조명 광원(121)과 비행시간 이미지 센서(110)에 낮은 변조 주파수를 인가하며, 비행시간 이미지 센서(110)에 대해 후방 반사광(121b)의 샘플링과 저장을 수행하는 것을 제안한다. 또한 비행시간 이미지 센서(110)는 적어도 3개의 필요한 샘플을 포착하지 않고 비행시간 이미지 센서(110)로부터 적은 수의 샘플을 평가하는 방식으로 작동하는 것을 제안한다. 비행시간 이미지 시스템에 대해 요구되는 일반적인 90° 위상 이동을 버리고 비행시간 이미지 센서(110) 위 모든 화소에 대해 2개의 저장 노드로부터 얻어지는 차분 이미지만을 평가한다. 앞서 언급한 모든 고속 비행시간 이미지 센서는 반사광을 시간적으로 적어도 2개의 저장 노드로 실제 비행시간 측정 시스템에 대해 이용할 수 없는 매우 낮은 주파수로 복조할 수 있다. 또한 앞서 언급한 모든 비행시간 이미지 센서는 비행시간 이미지 감지를 위해 필요한 수보다 적은 수의 샘플 획득을 가능하게 한다. 따라서 이들 모든 기준 화소 구성은 본 발명에 따른 비행시간 이미지 센서처럼 적분될 수 있다. 적절한 화소 내 회로에 의해 비행시간 이미지 센서(110)는 샘플로부터 공동 신호 수준을 차감하거나 2개의 저장 노드 샘플을 서로 단순하게 차감할 수 있다. 한편으로 이는 이미징 시스템의 동적 범위를 증가시키고 다른 한편으로는 이미지에서 동적 배경광 신호가 제거되기 때문에 깊이 맵 제작을 위한 상관 알고리즘을 단순화한다. 또한 코드 또는 주파수 분할 다중 접속과 같은 적절한 시간 변조 방식을 적용함으로써 서로 다른 구조 광 3차원 이미징 시스템의 방해 간섭을 방지할 수 있다.

이상적으로는 비행시간 이미지 센서(110) 위 비행시간 화소는 "광 켜짐" 시간 중에 제1 저장 노드로 전하를 전달하고 "광 꺼짐" 시간 중에는 전하를 제2 저장 노드로 전달하고 차감을 수행한다. 상기 비행시간 화소의 시간 변조와 배경 제거 회로는 상술한 모든 이점을 구조 광 시스템에 부가한다. 상기 변조 주파수는 실제 TOF 측정을 위해서는 너무 낮은 수백 Hz에서 1 MHz 이하 범위에 있는 것이 바람직하다. 비행시간 이미징에 대해 필요한 변조 주파수보다 훨씬 미만의 변조 주파수에서 작동하는 구조 조명 광원(121)과 비행시간 센서(100)를 포함한, 도 4에 기재되어 있는 바와 같은 이러한 이미징 시스템(100)은 PCT 공보 WO 2007/105205 A2 및/또는 WO 2014/014341 A1에 기재되어 있는 바와 같이 기존의 3차원 이미징 시스템의 동적 범위를 크게 증가시킬 것이다.

도 5는 피로 센서로서 이용되는 본 발명에 따른 이미징 시스템(100)을 나타내고 있다. 본 구현예는 예를 들면 운전자의 졸음 측정 또는 피로 평가를 위해 이용할 수 있는 크게 강화된 눈 추적 시스템을 구축하게 할 수 있다. 본 발명에 따른 이미징 시스템(100)은 각각 근적외선 영역의 파장을 갖는 2개의 서로 다른 조명 광원을 포함하는 한편, 제1 파장의 제1 조명 광원(122)은 예를 들면 약 850 nm의 파장을 갖고 제2 파장의 제2 조명 광원(123)은 예를 들면 약 940 mm의 파장을 갖는다. 상기 이미징 시스템은 도 1a에 따른 비행시간 화소를 구비한 비행시간 이미지 센서(110), 광학 시스템(130)과 제어기(140)를 더 포함한다. 조명 광원(122, 123) 모두 제어기(140)에 의해 비행시간 이미지 센서(110)와 동기화되어 있다. 노출 중에 제1 파장의 제1 조명 광원(122)은 켜지고 제2 파장의 제2 조명 광원(123)은 꺼지는데, 그 반대로 뒤바뀔 수 있다. 제1 파장의 제1 조명 광원(122)은 광(122a)을 방출하고 제2 파장의 제2 조명 광원(123)은 광(123a)을 방출한다. 제1 파장의 제1 조명 광원(122)의 후방 반사광(122b)은 광학 시스템(130)에 의해 비행시간 이미지 센서(110)의 비행시간 화소 위에서 이미지를 형성하고 비행시간 화소 위 제1 저장 노드로 이동하는 한편, 제2 파장의 조명 광원(123)의 후방 반사광(123b)은 동일한 비행시간 이미지 센서(110)에 의해 포획되고 비행시간 화소의 제2 저장 노드로 이동할 것이다. 노출 후 및 미분 판독 또는 화소 위에서 신호 차감을 함으로써 상기 2개의 조명 광원의 차분 이미지를 직접 측정할 수 있다. 사람 눈의 망막은 여전히 약 850 nm에서 직접 반사하고 약 940 nm에서 반사가 크게 감소하므로 차분 이미지에서 눈동자를 분명하게 볼 수 있고 쉽고 확실하게 추적할 수 있다. 눈동자는 차분 이미지에서 쉽게 식별할 수 있고 눈의 개폐를 탐지할 수 있다. 깜박임을 토대로 PERCLOS 값(1분 중에 눈이 80% 감기는 시간의 비율/퍼센트) 또는 예를 들면 버스 운전기사의 졸음 인자를 측정할 수 있고 대응조치를 개시할 수 있다. 운전자의 졸음을 측정하는 종래기술의 방법은 특허 US 7,253,739 B2에서 Hammoud 등이 기재한 바대로 주로 표준 이미지 형성과 대량의 이미지 처리를 토대로 한다.

도 6에 개략적으로 제시되어 있는 이미징 시스템(105)의 구현예는 본 발명에 따른 3차원 이미징 시스템을 도시하고 있다. 이미징 시스템(105)은 제1 구조 조명 광원(121) 및 구조 유형이 상이한 제2 구조 조명 광원(125)을 포함하고 있다. 상기 2개의 조명 광원 모두 근적외선 파장을 갖는다. 또한 상기 이미징 시스템은 이미지 센서(115), 광학 시스템(130)과 제어기(140)를 포함하고 있다. 시스템(105)은 제1 구조 조명 광원(121)과 제2 구조 조명 광원(125)을 이용하는 장치이고, 상기 2개의 조명 광원 모두 이미지 센서(115) 옆에 설치되어 있다. 제어기(140)는 구조 조명 광원(121, 125)과 이미지 센서(115)를 동기화시킨다. 2개의 조명 광원(121, 125)은 최소로 가려지도록 설치하는 것이 바람직하다. 제1 구조 조명 광원(121)의 방출광(121a)은 반사되고 후방 반사광(121b)은 광학 시스템(130)에 의해 이미지 센서(115)에 투영된다. 제2 구조 조명 광원(125)의 방출광(125a) 역시 반사되고 후방 반사광(125b) 역시 동일한 광학 시스템(130)에 의해 동일한 이미지 센서(115)에 투영된다. 획득 중에 조명 광원(121, 125)은 시간 변조될 수 있는바, 이 경우 바람직하게는 제1 구조 조명 광원(121)의 모든 광이 이미지 센서(115) 위 화소의 제1 저장 노드에 수집될 수 있고 제2 구조 조명 광원(125)의 후방 반사광(125b)은 이미지 센서(115) 위 화소의 제2 저장 노드에 수집될 수 있도록 노출 중에 뒤바뀐다. 방형파 또는 의사 노이즈 등과 같은 시간 변조를 생각할 수 있다. 이미지 센서(115) 위의 화소가 배경 차감 회로를 포함하는 경우에 제1 구조 조명 광원(121)의 신호는 양의 값이고; 제2 구조 조명 광원(125)의 신호는 음의 값일 것이다. 이 기법 및 물리적으로는 분리되어 있지만 시간적으로 동시에 수행되는 2개의 조명 광원이 갖는 단점은 제1 구조 조명 광원(121)과 제2 구조 조명 광원(125)의 신호를 포함하는 화소들을 서로 제거할 수 있다는 것이다. 따라서 예를 들어 랜덤 스펙클 패턴을 가진 제1 구조 조명 광원(121)과 줄무늬 형상 패턴을 가진 제2 구조 조명 광원(125)을 갖는 것을 생각할 수 있다. 또한 2개의 구조 조명 광원이 예를 들면 VCSEL 어레이와 같은 동일 발광 다이 상에 구조화된 패턴으로서 적분되는 것을 생각할 수 있다. 상기 VCSEL 어레이는 제2 구조 조명 광원(125)에 해당하는 제2 군의 발광 레이저 다이오드와는 서로 다르게 제어될 수 있는 제1 구조 조명 광원(121)에 해당하는 제1 군의 발광 레이저 다이오드로 이루어져 있을 수 있는바, 이 2개의 군은 동일한 VCSEL 어레이 다이 상에 있다. 구조 조명 광원을 기반으로 하는 이미징 시스템용 투영기로서 이용되는 동일한 다이 위의 VCSEL 어레이가 공보 US 2013038881 A1에 제시되어 있는바, 단일 구동 신호에 의해 전체 어레이가 제어된다. 제1 군의 레이저 다이오드 발광 스팟이 다이 위에 랜덤으로 설치되는 반면에 동일한 다이로부터 제2 군의 레이저 다이오드 발광 스팟이 동일한 패턴을 갖지만 모두 약간 이동되어 있는 것을 생각할 수 있다. 이 VCSEL 어레이 패턴을 투영함으로써 제1 군의 레이저 다이오드 또는 제1 구조 조명 광원(121)으로부터 투영되는 스팟과 제2 군의 레이저 다이오드 또는 제2 구조 조명 광원(125)으로부터 투영되는 스팟은 공간에서 서로 간섭하지 않을 것인데, 이들의 스팟이 VCSEL 어레이 다이 위에서 물리적으로 분리되어 있고 이들의 방출광은 동일한 투영 광학계에 의해 공간에 투영되기 때문이다. 또한 상기 2개 군의 레이저 다이오드는 제1 구조 조명 광원(121)의 모든 후방 반사광(121b)이 이미지 센서(115) 위 화소의 제1 저장 노드 상에 저장되고 제2 구조 조명 광원(125)의 모든 후방 반사광(125b)이 이미지 센서(115) 위 화소의 제2 저장 노드 상에 저장되는 방법으로 제어될 수 있다. 또한, 이미지 센서(115) 위의 화소는 동적 범위를 증대시키는 배경 제거 회로를 포함할 수 있다. 또한 이미지 센서(115)는 비행시간 이미지 센서(110)일 수 있다.

도 7a 내지 d는 구조 조명 광원(121), 균일한 조명 광원(126), 광학 시스템(130), 이미지 센서(115)와 제어기(140)를 포함하는 본 발명에 따른 이미징 시스템(105)의 일 구현예를 도시하고 있다. 상기 2개의 조명 광원은 모두 근적외선 영역의 파장을 갖고 있다. 도 7a에 도시되어 있는 제1 노출에서는 구조 조명 광원(121)은 켜져 있는 반면에, 균일한 조명 광원은 꺼져 있다. 도 7a의 도면에 의해 암시되어 있는 바와 같이, 구조 조명 광원(121)은 제어기(140)에 의해 변조되고 이미지 센서(115)와 동기화될 수 있다. 구조 조명 광원(121)의 방출광(121a)은 물체(10)에 도달하여 반사된다. 구조 조명 광원(121)의 후방 반사광(121b)은 광학 시스템(130)에 의해 이미지 센서(115)에 이미지를 형성한다. 이미지 센서(115)에 의해 포착되는 구조 조명 광원(121)의 이미지는 전통적인 방법으로 이용되어 장면으로부터 깊이 정보를 얻을 수 있다. 그러나 구조 조명 광원(121)을 기반으로 이미지 센서(115)에 의해 전달되어 획득되는 그레이스케일 이미지는 대표적으로 나타낸 것이 아니고 많은 경우에 물체와 세부적인 것들이 단지 모호하게 인식 가능하다. 랜덤 점 패턴을 가진 구조 조명 광원(121)을 기반으로 하는 이러한 그레이스케일 이미지가 도 7c에 도시되어 있다. 세세한 부분들이 없음을 분명하게 볼 수 있다. 종래의 이미지를 여전히 가질 수 있도록 하기 위해서는 구조 조명 광원을 기반으로 하는 종래기술의 이미징 시스템은 제1 이미지 센서(115) 옆에 자체 광로를 가진 제2 이미지 감지기를 상기 이미지 센서에 추가한다. 상기 제2 이미지 센서는 보통 RGB 센서이고 완전히 독립적인 컬러 이미지를 전달한다. 그러나 서로 다른 광로를 통해 획득되는 제2 이미지는 첫 번째로 고가이고 두 번째로 2개의 이미지를 매핑하는데 해결해야할 문제가 많다. 본 발명의 방법의 일 구현예는 켜져 있는 상태의 균일한 조명 광원(126)을 구비하고 동일한 광학 시스템(130)과 이미지 센서(115)를 이용하는 이미징 시스템(105)으로 제2 이미지를 획득하는 것을 제안한다, 균일한 조명 광원(126)으로부터 방출된 광(126a)은 장면 속 물체(10)에 도달하여 반사된다. 균일한 조명 광원(126)으로부터 방출된 광(126b)은 광학 시스템(130)에 의해 이미지 센서(115)에 이미지를 형성한다. 제2 이미지 획득의 과정이 도 7b에 도시되어 있다. 도 7b의 도면에 암시되어 있는 바와 같이, 균일한 조명 광원(126)과 이미지 센서(115)는 제어기(140)에 의해 동기화 및 변조될 수 있다. 균일한 조명 광원(126)을 기반으로 하여 이러한 제2 이미지의 얻어진 그레이스케일 이미지가 도 7d에 제시되어 있다. 이제 세부적인 것들을 훨씬 더 잘 볼 수 있고, 구조 조명 광원(121)으로부터의 3차원 이미지와 균일한 조명 광원(126)으로부터의 그레이스케일 이미지를 매핑하는 것은 단순하게 된다.

광학 시스템(130)에 적절한 광학 대역 통과 필터를 적용하기 위해서 구조 조명 광원(121)과 균일한 조명 광원(126)의 경우에 비슷한 파장을 갖는 것이 유리하다. 또한 구조 조명 광원(121)과 균일한 조명 광원(126)은 제어기(140)에 의해 이미지 센서(115)와 동기화 및 변조될 수 있다. 이미지 센서(115)는 동적 범위를 증가시키기 위해서 화소 내 배경 제거 회로를 더 가질 수 있다.

또한 이미지 센서(115)는 비행시간 이미지 센서(110)일 수 있다.

도 8은 본 발명에 따른 실제 구현예를 보여주고 있다. 이미징 시스템(105)은 광학 시스템(130), 구조 조명 광원(121)과 균일한 조명 광원(126)을 포함하며, 상기 조명 광원 각각은 근적외선 영역의 파장을 갖고 있다. 상기 광학 시스템 후방에는 이미지 센서(115)가 가려져 있고 이미징 시스템(105)의 하우징 후방에는 제어기(140)가 가려져 있어 도면에서는 볼 수 없다. 도 8에 주어진 예에서는 균일한 조명 광원(126)이 중앙의 구조 조명 광원(126) 옆에 설치되는 2개의 동일한 조명 광원으로 이루어져 있다. 균일한 조명 광원(126)을 기반으로 이미지 센서(115)에 의해 포착되는 이미지는 장면을 대표적으로 나타내는 그레이스케일 예로서 사용될 수 있는 반면에, 구조 조명 광원(121)을 기반으로 이미지 센서(115)에 의해 포착되는 이미지는 삼각 측량 원리를 토대로 깊이 정보를 얻기 위해 사용될 수 있다. 구조 조명 광원(121)과 균일한 조명 광원(126)은 바람직하게는 광학 시스템(130)에 좁은 대역 통과 필터의 적용을 가능하게 하여 되도록 많은 배경광을 차단하는 한편 이미지 센서(115) 위로 구조 조명 광원(121)과 균일한 조명 광원(126)으로부터 되도록 많은 광이 통과한다는 점에서 유사하다. 또한 이미지 센서(115)와 구조 조명 광원(121)은 도 7에 설명되어 있는 바와 같이 동기화 및 변조될 수 있다. 또한 균일한 조명 광원(126)과 이미지 센서(115)는 도 7에서 설명한 바와 같이 동기화 및 변조될 수 있다. 또한 이미지 센서(115)는 비행시간 이미지 센서(110)일 수 있고 바람직하게는 화소 내 배경 제거 회로를 포함한다. 균일한 조명 광원(126) 기반의 이미지를 토대로 적절한 이미지 처리 알고리즘은 구조 조명 광원(121)을 기반으로 이미지 평가에 의해 재구성되는 깊이 맵을 향상시킬 수 있다.

변조된 조명 광원을 이용하는 앞서 언급한 모든 실행예에 있어서, 광원 펄스는 바람직하게는 저장 노드 중 하나에 샘플링과 동일하거나 그보다 더 짧은 지속시간을 갖는다. 또한 상기 저장 노드에 샘플링 지속시간은 2개의 저장 노드 내 제거되는 동일한 배경광을 갖기 위해서 2개의 노드에 동일한 것이 바람직하다.

상기 구조 조명 광원은 고정 패턴을 방출하는 공간 변조된 광원으로서 이해된다. 가능한 패턴에는 스펙클 패턴(랜덤, 의사-랜덤 또는 규칙적인) 줄무늬 패턴, 랜덤 2진 패턴 등이 있다.

Claims (40)

1. 이미징 시스템(100)으로서,
   10 MHz 이상에서의 작동을 핸들링하기 위해 설계된 화소 구조를 갖는 비행시간 센서;
   서로 다른 파장을 가진 적어도 2개의 조명 광원들;
   조명 광원들의 각각이 비행시간 센서와 동기화되도록 100 Hz 내지 1 MHz의 범위의 변조 주파수를 비행시간 센서 및 조명 광원들에 인가하기 위해 작동 가능한 제어기로서, 상기 제어기는, 조명 광원들에 의해 생성되며 물체에 의해 반사되는 빛을 기초로, 비행시간 센서로부터의 출력 신호들을 샘플링하기 위해 더욱 작동 가능한, 제어기를
   포함하는 것을 특징으로 하는 이미징 시스템.
2. 제1항에 있어서, 이미징 시스템이 비행시간 센서의 화소 수준에서 직접 차감을 수행하도록 작동 가능한 것을 특징으로 하는 이미징 시스템.
3. 제1항에 있어서, 조명 광원은 구조화된 조명 광원을 포함하는 것을 특징으로 하는 이미징 시스템.
4. 제1항에 있어서, 조명 광원은 의사-랜덤 변조된 조명 광원을 포함하는 것을 특징으로 하는 이미징 시스템.
5. 10 MHz 이상에서의 작동을 핸들링하기 위해 설계된 화소 구조를 갖는 비행시간 센서, 및 서로 다른 파장을 가진 적어도 2개의 조명 광원들을 포함하는 이미징 시스템의 작동 방법으로서, 상기 방법은:
   조명 광원들의 각각이 비행시간 센서와 동기화되도록 100 Hz 내지 1 MHz의 범위의 변조 주파수를 비행시간 센서 및 조명 광원들에 인가하는 단계; 및
   조명 광원들에 의해 생성되며 물체에 의해 반사되는 빛을 기초로 비행시간 센서로부터의 출력 신호들을 샘플링하는 단계를
   포함하는 것을 특징으로 하는 이미징 시스템의 작동 방법.
6. 제5항에 있어서, 비행시간 센서의 화소 수준에서 직접 차감을 수행하는 단계를 더욱 포함하는 것을 특징으로 하는 이미징 시스템의 작동 방법.
7. 제5항에 있어서, 조명 광원은 구조화된 조명 광원을 포함하며, 그리고
   방법은 구조화된 조명 광원을 사용하여 패턴화된 광을 형성하는 단계를 포함하는 것을 특징으로 하는 이미징 시스템의 작동 방법.
8. 제5항에 있어서, 조명 광원은 의사-랜덤 변조된 조명 광원을 포함하며, 그리고
   방법은 의사-랜덤 변조된 조명 광원을 사용하여 의사-랜덤 시간적으로 변조(시간 변조)되는 광을 형성하는 단계를 포함하는 것을 특징으로 이미징 시스템의 작동 방법.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제

Images