KR20210153563A - 깊이 검출을 위한 히스토그램 비닝 시스템 및 방법 - Google Patents

Abstract

본 발명은 깊이 검출 시스템 및 깊이 검출을 위한 히스토그램 비닝 방법을 제공한다. 본 발명에 따른 깊이 검출 시스템은 객체를 향하여 광 펄스를 방출하는 광원, 상기 객체에서 반사되는 상기 광 펄스를 검출하고, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 1 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 1 감지 픽셀 및 상기 객체에서 반사되는 상기 광 펄스에 따라 제 2 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 2 감지 픽셀을 포함하는 광학 센서, 및 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 제 1 집계 히스토그램을 결정하고, 상기 제 1 감지 픽셀과 관련된 제 1 비행 시간을 결정하기 위하여 상기 제 1 집계 히스토그램의 제 1 피크를 결정하는 처리 회로를 포함한다.

Description

깊이 검출을 위한 히스토그램 비닝 시스템 및 방법{SYSTEM AND METHOD FOR HISTOGRAM BINNING FOR DEPTH DETECTIION}

본 개시는 깊이 검출을 위한 시스템 및 방법에 관한 것이다.

최근 몇 년 동안, 라이다(Light Detection and Ranging, Lidar) 시스템과 같은 광학 깊이 검출 시스템은 객체들의 디지털 표현들을 생성하기 위한 다양한 환경에서 광범위한 응용 분야들에 적용되어 왔다. 예를 들어, 라이다 시스템은 목표물의 표면에 빛을 조사하기 위하여 펄스 레이저를 이용할 수 있고, 펄스 레이저는 목표물로부터 라이다 시스템의 센서를 향하여 다시 반사된다. 라이다 시스템으로부터 방출되고 센서를 향하여 다시 반사되는 빛의 왕복 시간(예를 들어, 비행 시간(time-of-flight))은 목표물의 표면으로부터 거리(예를 들어, 깊이)를 측정하는데 이용될 수 있다. 즉, 라이다는 광자가 라이다 시스템의 레이저로부터 목표물까지 이동한 다음, 라이다 시스템의 센서로 이동하는데 걸리는 시간을 이용하여 거리를 측정하는 비행 시간 기술(time-of-flight techniques)을 사용할 수 있다.

그러나, 실제 환경 하에서 주변 배경 빛 사이에서 반사된 빛을 검출하고 분석하는 것은 어려울 수 있다. 목표물의 반사율, 목표물의 상대적인 위치, 목표물까지의 거리, 환경 간섭 등과 같은 여로 요인들은 라이다의 신호 대 잡음비(Signal-to-Noise Ratio, 이하 SNR)에 악영향을 미칠 수 있고, 따라서 비행 시간을 정확하게 측정하는데 어려움이 있다. 예를 들어, 증가된 목표물까지의 거리, 낮은 목표물의 반사율, 및/또는 높은 주변 조도는 SNR을 감소시킬 수 있다.

본 배경 기술에 개시된 상술한 정보는 본 개시의 배경에 대한 이해를 높이기 위한 것으로, 종래 기술을 구성하지 않는 정보를 포함할 수 있다.

본 개시의 목적은 복수의 감지 픽셀들로부터 개별 히스토그램들을 비닝하여 깊이 검출을 수행하기 위한 시스템 및 방법을 제공하는데 있다.

본 개시에 따른 실시 예들은 복수의 감지 픽셀들로부터 개별 히스토그램들을 비닝함으로써 깊이 검출을 하기 위한 시스템 및 방법에 관한 것이다.

본 개시의 실시 예에 따르면, 깊이 검출 시스템이 제공된다. 상기 깊이 검출 시스템은 객체를 향하여 광 펄스를 방출하는 광원, 상기 객체에서 반사되는 상기 광 펄스를 검출하고, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 1 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 1 감지 픽셀 및 상기 객체에서 반사되는 상기 광 펄스에 따라 제 2 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 2 감지 픽셀을 포함하는 광학 센서, 및 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 제 1 집계 히스토그램을 결정하고, 상기 제 1 감지 픽셀과 관련된 제 1 비행 시간을 결정하기 위하여 상기 제 1 집계 히스토그램의 제 1 피크를 결정하는 처리 회로를 포함한다.

상기 제 1 감지 픽셀 및 상기 제 2 감지 픽셀은 각각 단일 SPAD(Single-Photon Avalanche Diode)를 포함할 수 있다.

상기 처리 회로는 상기 제 1 감지 픽셀과 관련된 제 2 비행 시간을 결정하기 위하여 상기 제 1 집계 히스토그램의 제 2 피크를 결정할 수 있다.

상기 깊이 검출 시스템은 상기 객체에서 반사되는 상기 광 펄스에 따라 제 3 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 3 감지 픽셀을 더 포함할 수 있다. 상기 제 1 감지 픽셀, 상기 제 2 감지 픽셀, 및 상기 제 3 감지 픽셀은 감지 픽셀 행(sensing pixel row)에 배열될 수 있다. 상기 처리 회로는 상기 제 1 이벤트 카운트, 상기 제 2 이벤트 카운트, 및 상기 제 3 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정할 수 있다.

상기 깊이 검출 시스템은 상기 객체에서 반사되는 상기 광 펄스에 따라 제 3 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 3 감지 픽셀을 더 포함할 수 있다. 상기 제 1 감지 픽셀, 상기 제 2 감지 픽셀, 및 상기 제 3 감지 픽셀은 감지 픽셀 열(sensing pixel column)에 배열될 수 있다. 상기 처리 회로는 상기 제 1 이벤트 카운트, 상기 제 2 이벤트 카운트, 및 상기 제 3 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정할 수 있다.

상기 처리 회로는 상기 제 1 이벤트 카운트 또는 상기 제 2 이벤트 카운트에 가중치를 적용함으로써, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀과 대응하는 상기 제 1 집계 히스토그램을 결정할 수 있다.

상기 처리 회로는 상기 제 1 이벤트 카운트에 기반하여 제 1 히스토그램을 결정하고, 상기 제 2 이벤트 카운트에 기반하여 제 2 히스토그램을 결정하고, 상기 제 1 히스토그램 및 상기 제 2 히스토그램 간의 상관 관계에 대한 임계 값 만족 여부에 응답하여, 상기 제 2 히스토그램을 상기 제 1 히스토그램과 비닝함으로써, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정할 수 있다.

상기 처리 회로는 상기 제 1 이벤트 카운트에 기반하여 제 1 히스토그램을 결정하고, 상기 제 2 이벤트 카운트에 기반하여 제 2 히스토그램을 결정하고, 상기 제 2 히스토그램에 의하여 나타나는 신호 품질에 대한 임계 값 만족 여부에 응답하여, 상기 제 2 히스토그램을 상기 제 1 히스토그램과 비닝함으로써, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정할 수 있다.

본 개시의 실시 예에 따르면, 히스토그램 비닝 방법이 제공된다. 상기 방법은 광원에 의하여, 객체를 향하여 광 펄스를 방출하는 단계, 광학 센서에 의하여, 상기 객체에서 반사되는 상기 광 펄스를 검출하는 단계, 상기 광학 센서의 제 1 감지 픽셀에 의하여, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 1 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 단계, 상기 광학 센서의 제 2 감지 픽셀에 의하여, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 2 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 단계, 처리 회로에 의하여, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 제 1 집계 히스토그램을 결정하는 단계 및 상기 처리 회로에 의하여, 상기 제 1 감지 픽셀과 관련된 비행 시간을 결정하기 위하여 상기 제 1 집계 히스토그램의 제 1 피크를 결정하는 단계를 포함할 수 있다.

상기 제 1 감지 픽셀 및 상기 제 2 감지 픽셀은 각각 단일 SPAD(Single-Photon Avalanche Diode)를 포함할 수 있다.

상기 방법은 상기 처리 회로에 의하여, 상기 제 1 감지 픽셀과 관련된 제 2 비행 시간을 결정하기 위하여 상기 제 1 집계 히스토그램의 제 2 피크를 결정하는 단계를 더 포함할 수 있다.

상기 방법은 상기 광학 센서의 제 3 감지 픽셀에 의하여, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 3 이벤트 카운트를 위한 상기 광 펄스를 검출하는 단계를 더 포함할 수 있다. 상기 제 1 감지 픽셀, 상기 제 2 감지 픽셀, 및 상기 제 3 감지 픽셀은 감지 픽셀 행(sensing pixel row)에 배열될 수 있다. 상기 처리 회로에 의하여, 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램이 결정하는 단계는 상기 제 1 이벤트 카운트, 상기 제 2 이벤트 카운트, 및 상기 제 3 이벤트 카운트에 기반할 수 있다.

상기 방법은 상기 광학 센서의 제 3 감지 픽셀에 의하여, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 3 이벤트 카운트를 위한 상기 광 펄스를 검출하는 단계를 더 포함할 수 있다. 상기 제 1 감지 픽셀, 상기 제 2 감지 픽셀, 및 상기 제 3 감지 픽셀은 감지 픽셀 열(sensing pixel column)에 배열될 수 있다. 상기 처리 회로에 의하여, 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정하는 단계는 상기 제 1 이벤트 카운트, 상기 제 2 이벤트 카운트, 및 상기 제 3 이벤트 카운트에 기반할 수 있다.

상기 처리 회로에 의하여, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 제 1 집계 히스토그램을 결정하는 단계는 상기 제 1 이벤트 카운트 또는 상기 제 2 이벤트 카운트에 가중치를 적용하는 단계를 포함할 수 있다.

상기 방법은 상기 처리 회로에 의하여, 상기 제 1 이벤트 카운트에 기반하여 제 1 히스토그램을 결정하는 단계 및 상기 처리 회로에 의하여, 상기 제 2 이벤트 카운트에 기반하여 제 2 히스토그램을 결정하는 단계를 더 포함할 수 있다. 상기 처리 회로에 의하여, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 제 1 집계 히스토그램을 결정하는 단계는 상기 제 1 히스토그램 및 상기 제 2 히스토그램 간의 상관 관계에 대한 임계 값 만족 여부에 응답하여, 상기 제 2 히스토그램을 상기 제 1 히스토그램과 비닝하는 단계를 포함할 수 있다.

상기 방법은 상기 처리 회로에 의하여, 상기 제 1 이벤트 카운트에 기반하여 제 1 히스토그램을 결정하는 단계 및 상기 처리 회로에 의하여, 상기 제 2 이벤트 카운트에 기반하여 제 2 히스토그램을 결정하는 단계를 더 포함할 수 있다. 상기 처리 회로에 의하여, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 제 1 집계 히스토그램을 결정하는 단계는 상기 제 2 히스토그램에 의하여 나타나는 신호 품질에 대한 임계 값 만족 여부에 응답하여, 상기 제 2 히스토그램을 상기 제 1 히스토그램과 비닝하는 단계를 포함할 수 있다.

본 개시의 실시 예에 따르면, 히스토그램 비닝 방법이 제공된다. 상기 방법은 처리 회로에 의하여, 관심 감지 픽셀을 선택하는 단계, 상기 처리 회로에 의하여, 광학 센서에 의하여 수신된 신호들에 기반하여 상기 관심 감지 픽셀에 대한 제 1 히스토그램 및 상기 관심 감지 픽셀에 인접한 감지 픽셀에 대한 제 2 히스토그램을 생성하는 단계, 상기 처리 회로에 의하여, 상기 제 1 히스토그램 및 상기 제 2 히스토그램에 기반하여 상기 관심 감지 픽셀에 대한 집계 히스토그램을 생성하는 단계 및 상기 처리 회로에 의하여, 상기 관심 감지 픽셀과 관련된 제 1 비행 시간을 결정하기 위하여 상기 집계 히스토그램의 제 1 피크를 결정하는 단계를 포함할 수 있다.

상기 방법은 상기 처리 회로에 의하여, 상기 관심 감지 픽셀과 관련된 제 2 비행 시간을 결정하기 위하여 상기 집계 히스토그램의 제 2 피크를 결정하는 단계를 더 포함할 수 있다.

상기 처리 회로에 의하여, 상기 제 1 히스토그램 및 상기 제 2 히스토그램에 기반하여 상기 관심 감지 픽셀에 대한 집계 히스토그램을 생성하는 단계는 상기 제 1 히스토그램을 상기 제 2 히스토그램으로 비닝하기 전에 상기 제 1 히스토그램 또는 상기 제 2 히스토그램에 가중치를 적용하는 단계를 포함할 수 있다.

상기 처리 회로에 의하여, 상기 제 1 히스토그램 및 상기 제 2 히스토그램에 기반하여 상기 관심 감지 픽셀에 대한 집계 히스토그램을 생성하는 단계는 상기 제 2 히스토그램에 의하여 나타나는 신호 품질에 대한 임계 값 만족 여부에 응답하여, 상기 제 1 히스토그램을 상기 제 2 히스토그램으로 비닝하는 단계를 포함할 수 있다.

본 개시에 따른 시스템 및 방법에 따르면, 추가적인 측정에 의한 속도 저하 없이 SNR이 향상될 수 있다.

본 개시의 양상들 및 특징들은 첨부된 도면들을 참조하여 이하 실시 예들에 대한 상세한 설명으로부터 통상의 기술자에게 보다 명백해질 것이다.
도 1은 본 개시의 실시 예에 따른 깊이 검출 시스템의 블록도이다.
도 2는 본 개시의 실시 예에 따른 광학 센서를 포함하는 블록도이다.
도 3은 본 개시의 실시 예에 따른 감지 픽셀들에 대한 개별 히스토그램들 및 목표물로부터 반사된 빛에 기반하여 집계된 히스토그램들의 그래프들을 나타내는 도면이다.
도 4a는 본 개시의 실시 예에 따른 복수의 목표물들을 포함하는 도면이다.
도 4b는 본 개시의 실시 예에 따른 감지 픽셀들에 대한 개별 히스토그램들 및 피크 검출 값들을 포함하는 차트를 나타내는 도면이다.
도 4c는 본 개시의 실시 예에 따른 다중 에코들이 검출되는 감지 픽셀들에 대한 집계 히스토그램들의 그래프들 및 피크 검출을 포함하는 차트를 나타내는 블록도이다.
도 5는 본 개시의 실시 예에 따른 복수의 이웃 감지 픽셀들로의 신호 전파를 나타내기 위한 개략도이다.
도 6은 본 개시의 실시 예에 따른 가중화된 히스토그램 비닝을 나타내기 위한 개략도이다.
도 7은 본 개시의 실시 예에 따른 비행 시간을 결정하는 방법의 순서도이다.
도 8은 본 개시의 실시 예에 따른 비행 시간을 결정하는 방법의 순서도이다.

이하, 예시적인 실시 예들은 유사한 참조 번호들은 유사한 구성 요소들을 지칭하는 첨부 도면을 참조하여 상세히 설명될 것이다. 그러나 본 발명은 여러 가지 다양한 형태로 구현 될 수 있고, 본 명세서에서 단지 예시 된 실시 예에 한정되는 것은 아니다. 오히려, 이러한 실시 예들은 이 개시가 철저하고 완전하게 되기 위한 예로서 제공되며, 통상의 기술자에게 본 발명의 특징 및 기능을 완전하게 전달할 것이다. 따라서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명의 특징 및 기능을 완벽하게 이해하기 위해 필요하지 않은 프로세스, 요소들, 및 기술들은 설명되지 않을 수 있다. 특별히 언급하지 않는 한, 유사한 참조 번호들은 첨부된 도면들 및 쓰여진 설명에서 유사한 구성요소들을 나타내고, 따라서 그것에 대한 설명은 반복되지 않을 것이다.

일반적으로, D-TOF(Direct Time-of-flight) 라이다 시스템과 같은 라이다 시스템들은 객체를 향하여 광 펄스(예를 들어, 레이저 펄스)를 방출하고, 광 펄스가 객체에서 반사되어 라이다 시스템의 센서에 의하여 감지되는 데 걸리는 시간을 측정함으로써 객체와의 거리(예를 들어, 깊이)를 측정한다. 예를 들어, 주변 광으로부터의 노이즈를 줄이기 위하여, 반복된 측정들을 기반으로 하여 상대적인 비행 시간(Time-of-flight, 이하 TOF)들의 개별 히스토그램을 생성하기 위하여 반복된 측정들을 수행할 수 있고, 이벤트를 검출하기 위하여(예를 들어, 광 펄스를 다시 반사하는 객체의 지점 또는 영역의 깊이를 검출하기 위하여) 개별 히스토그램의 피크가 계산될 수 있다. 그러나, 이러한 경우 검출된 피크는 예를 들어 주변 광 때문에 낮은 신호 대 잡음비(Signal-to-Noise Ratio, 이하 SNR)로부터 영향을 받을 수 있으므로, 검출된 피크는 위양성(false-positive) 이벤트일 수 있다.

SNR을 개선하기 위하여, 일부 라이다 시스템들은 측정 횟수를 늘리거나, 각각의 감지 픽셀에 대한 보다 많은 광 검출기(예를 들어, 단일 광자 애벌랜치 다이오드(Single-Photon Avalanche Diode, 이하 SPAD))들을 포함할 수 있다. 예를 들어, 측정 횟수를 늘림으로써, 일부 라이다 시스템들은 반복된 측정들의 최대 피크에 따라 노이즈로부터 실제 이벤트들을 구별할 수 있고, 반복된 측정들에서 임의의 다른 피크들은 노이즈(예를 들어, 주변 광 등)로부터 비롯된 것으로 추정될 수 있다. 측정 횟수를 증가시키면 속도가 감소할 수 있고, 감지 픽셀들 각각에 대한 광 검출기들의 개수를 증가시키면 해상도가 감소할 수 있다. 그러나, 속도 및 해상도는 다양한 컴퓨터 비전 애플리케이션들(예를 들어, 자율 주행 애플리케이션을 위한 객체 검출 등)에 중요할 수 있다.

또한, 이러한 라이다 시스템들은 단일 감지 픽셀에서 수신되는 다중 에코들을 검출하지 못할 수 있고, 이는 서로 다른 깊이를 가지는 두 표면들의 교차점 또는 교차를 나타낼 수 있다. 예를 들어, 다수의 측정들에서 임의의 다른 피크들은 노이즈로부터 비롯된 것으로 추정될 수 있기 때문에, 이러한 라이다 시스템들은 단일 감지 픽셀에 의하여 수신된 다른 실제 이벤트로부터 노이즈를 구별하지 못할 수 있다. 그러나, 단일 감지 픽셀에서 다수의 이벤트들을 검출하는 것은, 예를 들어 서로 다른 깊이들을 갖는 두 표면들이 서로 교차할 때에 모서리(또는 경계)를 나타냄으로써, 컴퓨터 비전 어플리케이션의 성능을 향상시킬 수 있다.

본 발명의 실시 예에 따르면, 관심 감지 픽셀에 대한 집계 히스토그램을 생성하기 위하여, 관심 감지 픽셀의 개별 히스토그램은 이웃 감지 픽셀들(예를 들어, 감지 픽셀들과 하나 이상 인접한 및/또는 직접적으로 인접한)로부터의 개별 히스토그램들과 비닝되어, 관심 감지 픽셀에 대한 집계 히스토그램들을 생성할 수 있다. 감지 픽셀 어레이의 각각의 감지 픽셀에 대한 집계 히스토그램들을 생성함으로써, 감지 픽셀 어레이의 주요 피크 TOF들은 개별 히스토그램들에 기반한 감지 픽셀 어레이의 주요 피크 TOF와 비교하여 증가된 안정성, 향상된 에지 검출 및/또는 증가된 SNR을 가질 수 있다. 더욱이, 이웃 감지 픽셀들(예를 들어, 감지 픽셀들과 하나 이상 인접한 및/또는 직접적으로 인접한)로부터의 개별 히스토그램들을 비닝함으로써 집계 히스토그램을 생성하는 것은 측정 횟수를 증가시키기 않으므로, 피크 TOF를 결정하는 프로세스를 빠르게 할 수 있다.

또한, 각각의 감지 픽셀에 대한 광 검출기들의 개수를 증가시켜 해상도를 감소시키는 대신, 본 발명의 실시 예에 따른 비닝 방법은 해상도 손실을 피할 수 있다. 따라서, 본 발명의 실시 예에서, SPAD와 같은 단일 광 검출기는 고해상도를 개선하거나 제공하기 위하여 각각의 감지 픽셀에 포함될 수 있고, 이는 먼 목표물들을 식별하기 위한 객체 검출을 위하여 중요할 수 있다(예를 들어, 자율 주행 어플리케이션 등에서).

실시 예에서, 시스템은 두 개의 표면들이 교차하는 에지 또는 경계 또는 교차점을 나타내는 다중 에코들을 검출할 수 있다. 예를 들어, 주요 피크 TOF를 측정하기 위하여 단일 피크(예를 들어, 최대 피크 또는 주요 피크)를 식별하는 대신, 이웃 감지 픽셀(예를 들어, 감지 픽셀들과 하나 이상 인접한 및/또는 직접적으로 인접한)들로부터 집계된 히스토그램에 기반한 향상된 SNR은 처리 회로가 단일 감지 픽셀의 집계 히스토그램으로부터 추가적인 정보를 위한 주요 피크 TOF 및 하나 이상의 추가 마이너 피크 TOF를 제공하기 위하여, 각각의 감지 픽셀에 대하여 집계된 히스토그램에서 다중 에코(하나 이상의 피크)들을 검출하도록 할 수 있다.

실시 예에서, 개별 히스토그램들에 가중치들을 적용함으로써 집계 히스토그램들을 생성하기 위하여, 비닝 동안 선형 필터링이 도입될 수 있다. 따라서, 감지 픽셀에 대한 집계 히스토그램을 생성한 후 후속 프로세스에서 선형 필터링을 적용하는 대신, 선형 필터링은 이미 집계 히스토그램의 생성에 통합될 수 있다.

실시 예에서, 온 더 플라이(on-the-fly) 방식 및/또는 후처리(post-processing) 방식이 사용될 수 있다. 후처리 방식은 저장된 개별 히스토그램들에 기반하여 집계 히스토그램을 생성하는 것을 의미한다. 즉, 후처리 방식은 즉시 발생하지 않을 수 있고, 메모리에 저장된 개별 히스토그램들을 이용하여 설정된(예를 들어, 미리 결정된) 또는 가변 구간(예를 들어, 시간, 이벤트 카운트들의 수, 및/또는 임의의 다른 적절한 인자들에 기반한 구간)들에서 각각의 감지 픽셀에 대한 집계 히스토그램을 생성할 수 있다. 집계 히스토그램을 기반으로, 처리 회로는 주요 피크 TOF들 및/또는 마이너 피크 TOF들(예를 들어, 다중 에코들이 검출되는 경우)을 결정할 수 있다. 실시 예에서, 온 더 플라이 방식은 주요 피크 TOF들 및/또는 마이너 피크 TOF들을 “즉석으로” 제공하기 위하여 실시간 또는 실질적인 실시간으로 집계된 히스토그램을 생성 및 업데이트 하는 것을 의미한다. 예를 들어, 각각의 감지 픽셀이 반사된 광 신호를 수신하면, 대응하는 이벤트 카운트는 관련된 집계 히스토그램들에 비닝된다. 따라서, 메모리에 개별 히스토그램들을 저장하는 것은 선택 사항이며, 이에 따라 개별 히스토그램들의 임의의 수(예를 들어, 0부터 전부)가 원하는대로 선택적으로 저장될 수 있기 때문에, “후처리” 방식과 비교하여 메모리가 절약될 수 있다.

실시 예에서, 조건부 비닝은 집계 히스토그램을 생성하기 위하여 개별 히스토그램이 비닝되어야 하는지 여부를 결정하기 위하여 각각의 감지 픽셀에 대한 데이터를 개별적으로 고려할 수 있다. 예를 들어, 각각의 감지 픽셀에 대한 개별 히스토그램에 의하여 나타나는 신호 품질은 신호 품질이 다른 감지 픽셀의 개별 히스토그램과 비닝하기에 충분히 높은지(즉, 설정된 임계 값 이상) 여부를 결정하기 위하여 검토될 수 있다. 또 다른 예로서, 두 개의 감지 픽셀들에 대한 개별 히스토그램 간의 상관 관계는 집계 히스토그램을 생성하기 위하여 해당 두 개의 감지 픽셀들에 대한 개별 히스토그램들이 함께 비닝하여야 하는지 여부를 결정하기 전에 측정될 수 있다(즉, 설정된 임계 값 이상). 이러한 조건에 기반하여, 집계 히스토그램은 더 높은 품질의 신호들을 보다 잘 반영하고, SNR을 보다 개선하는 등을 위하여 사용자에 의하여 원하는대로 수정될 수 있다. 조건부 비닝은 비닝 전에 개별 히스토그램들의 가용성을 기반으로 하기 때문에, 조건부 비닝은 “온 더 플라이” 사례에서 구현되지 않을 수 있다.

본 발명의 실시 예의 상술한 양상들 및 특징들, 그리고 다른 양상들 및 특징들은 도면들을 참조하여 보다 상세히 설명될 것이다.

도 1은 본 발명의 실시 예에 따른 깊이 검출 시스템의 블록도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 깊이 검출 시스템(100)은 환경 내에서 주변 환경에 대응하는 정보를 획득할 수 있다. 예를 들어, 깊이 검출 시스템(100)은 환경을 스캔할 수 있는 라이다(Light Detection and Ranging, Lidar) 시스템일 수 있고, 깊이 검출 시스템(100)에 대한 적절한 근접 범위 내에 위치한 객체 등에 대한 정보를 전달하는 감지 데이터를 생성할 수 있다.

실시 예에서, 깊이 검출 시스템(100)은 광원(102), 및 광학 센서(108)를 포함하는 광 수신기(106)를 포함한다. 더불어, 이러한 구성요소들은 깊이 검출 시스템(100)이 환경 내에서 위치한 깊이 검출 시스템(100)으로부터 목표물(110)까지의 거리(예를 들어, 깊이)(D)를 결정할 수 있게 한다. 예를 들어, 깊이 검출 시스템(100)의 광원(102)(예를 들어, 레이저 또는 임의의 다른 적절한 발광 장치)은 광 펄스(예를 들어, 레이저 펄스)를 목표물(110)을 향하여 방출할 수 있고, 광 펄스는 목표물(100)의 표면에 입사할 수 있으며 광 수신기(106)의 광학 센서(108)로 다시 반사될 수 있다. 광 펄스의 방출부터 반사된 광 펄스의 검출까지의 경과된 시간(예를 들어, TOF)에 기반하여, 깊이 검출 시스템(100)은 목표물(110)의 표면까지의 거리(예를 들어, 깊이)(D)를 결정할 수 있다.

실시 예에서, 광 수신기(106)의 광학 센서(108)는 감지 픽셀 어레이, 예를 들어, SPAD 어레이를 포함할 수 있으나, 본 발명은 이에 제한되지 않는다. 예를 들어, 다른 실시 예들에서, 광학 센서(108)는 예를 들어, 애벌랜치 포토 다이오드(Avalanche Photodiode, 이하 APD) 등과 같이 목표물(110)에서 반사되는 광 펄스를 검출할 수 있는 임의의 적합한 광학 센서일수 있다. APD 어레이의 사례의 경우, 히스토그램들은 파형들로 대체될 수 있고, 파형들은 본 발명을 통하여 설명된 히스토그램들과 실질적으로 유사한 방식으로 처리될 수 있다. 따라서, 본 발명의 실시 예는 이산 리턴 라이다 시스템을 이용하는 깊이 검출 시스템(100)을 포함할 수 있고(즉, 시스템은 각각의 광 펄스와 연관된 단일 또는 소수의 TOF 값을 반환한다), 다른 실시 예에서, 깊이 검출 시스템(100)은 전체 파형 라이더 시스템을 이용할 수 있다(즉, 시스템은 각각의 광 펄스와 연관된 감지된 빛의 분포에 기반하여 전체 파형을 반환한다).

실시 예에서, 깊이 검출 시스템(100)은 프로세서(116) 및 메모리(112)를 포함하는 처리 회로(114)를 포함할 수 있다. 프로세서(116)는 범용 프로세서, ASIC(Application Specific Integrated Circuit), 하나 이상의 FPGA(Field Programmable Gate Array), 처리 구성요소들의 그룹, 또는 다른 적절한 전자 처리 구성요소들로 구현될 수 있다. 메모리(예를 들어, 메모리, 메모리 유닛, 저장 장치 등)(112)는 본 발명에서 설명된 다양한 프로세스들을 완료 또는 용이하게 하기 위한 데이터 및/또는 컴퓨터 코드를 저장하기 위한 하나 이상의 장치(예를 들어, RAM, ROM, 플래시 메모리, 하드디스크 스토리지 등)를 포함할 수 있다. 메모리(112)는 휘발성 메모리 또는 비휘발성 메모리이거나 이를 포함할 수 있다. 메모리(112)는 본 발명에 설명된 다양한 활동들 및 정보 구조들을 지원하기 위하여 데이터베이스 구성 요소, 객체 코드 구성요소, 스크립트 구성요소 또는 임의의 다른 유형의 정보 구조를 포함할 수 있다. 실시 예에 따르면, 메모리(112)는 처리 회로(114)를 통하여 프로세서(116)와 통신 가능하게 연결될 수 있고, 본 발명에서 설명된 하나 이상의 프로세스를 실행하기 위하여(예를 들어, 처리 회로(114) 및/또는 프로세서(116)에 의하여) 컴퓨터 코드를 포함한다.

실시 예에서, 처리 회로(114)는 깊이 검출 시스템(100)의 내부 처리 회로로서 깊이 검출 시스템(100) 내에서 구현될 수 있다. 다른 실시 예에서, 처리 회로(114) 또는 그것의 하나 이상의 구성요소(예를 들어, 본 발명에서 설명된 방법들을 수행하기 위하여 메모리에서 명령들을 수행하는 구성요소들)는 다수의 서버 또는 컴퓨터들에 걸쳐 분산될 수 있다(예를 들어, 분산된 위치들에 존재할 수 있다).

실시 예에서, 처리 회로(114)는 TOF를 추적하고, 히스토그램들을 생성하고, 집계된 히스토그램들을 생성하기 위하여 개별 히스토그램들을 비닝하고, 하나 이상의 에코를 검출(예를 들어, 하나 이상의 피크를 검출)하는 등을 위하여 메모리(112) 내의 명령들을 수행할 수 있다.

간략하게, 처리 회로(114)는 광원(102)으로부터 방출된 광 펄스들 각각의 비행 시간(예를 들어, 상대적인 TOF)을 추적할 수 있다. 예를 들어, 처리 회로(114)는 광원(102)으로부터 광 펄스가 방출되는 시간, 및 객체에서 반사된 광 펄스와 대응하는 반사된 광 신호가 광 수신기(106)의 감지 픽셀에 의하여 검출되는 시간을 추적할 수 있다. 처리 회로(114)는 감지 픽셀로부터 수신된 반사된 광 신호에 대응하는 이벤트 카운트 및 상대적인 TOF(예를 들어, 나노초 단위)를 메모리(112)에 저장할 수 있다.

실시 예에서, 처리 회로(114)는 감지 픽셀에 의하여 수신된 다수의 광 감지 신호들에 따라 감지 픽셀들 각각에 대한 히스토그램을 생성할 수 있다. 예를 들어, 감지 픽셀들 각각의 히스토그램들은 상대적인 TOF들에서 감지 픽셀에 의하여 수신된 다수의 이벤트 카운트들을 포함할 수 있다. 비 제한적인 예로서, 광원(102)은 20개의 광 펄스들을 방출할 수 있으며, 이 경우 감지 픽셀은 20개의 광 펄스들로부터 반사된 광의 검출에 대응하는 총 20개의 반사된 광 신호들을 제공할 수 있다. 따라서, 처리 회로(114)는 상대적인 TOF들의 범위에 걸쳐 이벤트 카운트들의 범위(즉, 반사된 광 신호들)을 가지는 감지 픽셀에 대한 히스토그램을 생성할 수 있다.

처리 회로(114)는 각각의 감지 픽셀에 대한 집계 히스토그램이 형성되도록 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접 인접 감지 픽셀들)의 개별 히스토그램들과 각각의 감지 픽셀의 개별 히스토그램을 비닝할 수 있다. 이 경우, 비 제한적인 예로서, 각각의 감지 픽셀들에 대한 집계 히스토그램은 감지 픽셀에 의하여 제공되는 반사된 광 신호들과 대응하는 이벤트 카운트들 및 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접 인접 감지 픽셀들)에 의하여 제공되는 반사된 광 신호들과 대응하는 이벤트 카운트들을 포함할 수 있고, 이에 따라 방출되는 광 펄스들의 수의 증가 없이 각각의 감지 픽셀들에 대한 집계 히스토그램에서 총 이벤트 카운트들이 증가될 수 있다. 처리 회로(114)는 하나 이상의 목표물(예를 들어, 객체)의 하나 이상의 반사 표면들까지의 거리(또는 깊이)를 결정하기 위한 집계 히스토그램으로부터 하나 이상의 피크를 결정할 수 있다.

따라서, 깊이 검출 시스템(100)은 집계 히스토그램을 결정하거나 생성하기 위하여 메모리(112)와 통신하는 처리 회로(114)를 포함할 수 있다. 집계 히스토그램은 복수의 감지 픽셀들에 기반하여 상대적인 TOF들의 범위에 걸쳐 검출된 다수의 이벤트들을 포함할 수 있다. 집계 히스토그램을 생성한 후, 하나 이상의 피크는 주요 피크 TOF 및/또는 하나 이상의 마이너 피크 TOF를 나타내기 위하여 식별될 수 있다. 실시 예에서, 주요 피크 TOF(예를 들어, 집계 히스토그램에서 최대 피크 또는 주요 피크와 대응하는 상대적인 TOF)는 목표물(110)로부터의 거리를 계산하는데 이용될 수 있고, 마이너 피크 TOF(예를 들어, 마이너 피크 또는 최대 피크와 상이한 로컬 최대 값)는 두번째 목표물로부터의 거리를 계산하는데 이용될 수 있으며, 여기서 주요 피크 및 마이너 피크는 이하 보다 자세히 논의되는 에코들로써 지칭될 수 있다.

“주요 피크 TOF”및 “마이너 피크 TOF”가 다중 에코 검출을 위한 하나 이상의 피크의 검출을 설명하기 위하여 사용되나, 본 발명은 이에 제한되지 않는다. 예를 들어, 스캔된 환경을 더 설명하기 위하여 제공되는 제 1 TOF 및/또는 제 2 TOF와 같이 임의의 적절한 검출 배열은 제시된 데이터의 형식 및 애플리케이션에 따라 사용될 수 있다.

실시 예에서, 메모리(112)는 깊이 검출 시스템(100)의 일부로서 구현될 수 있거나 깊이 검출 시스템(100)으로부터 외부적으로 구현될 수 있고 깊이 검출 시스템(100)에 통신 가능하게 연결될 수 있다. 예를 들어, 추가적인 처리를 위하여 TOF 및 이벤트 카운트 데이터는 로컬 메모리(예를 들어, 내부 메모리)에 저장될 수 있거나 전자 통신을 통하여 외부 메모리(예를 들어, 외부 저장 장치, 원격 데이터 저장 시설 등)에 전송될 수 있다.

실시 예에서, 집계 히스토그램은 후처리 방식에 따라 저장된 복수의 감지 픽셀들의 개별 히스토그램들에 기반하여 생성될 수 있고, 다른 실시 예에서, 집계 히스토그램은 이하 상세히 설명될 온 더 플라이 방식에 따라 각각의 반사된 광 신호가 검출될 때 생성될 수 있다.

실시 예에서, 광학 센서(108)의 구현에 따라, 다수의 감지 픽셀들에 대한 집계 히스토그램들은 결정되거나 생성될 수 있다. 예를 들어, 복수의 감지 픽셀들의 각각의 감지 픽셀은 빛을 검출할 수 있으며, 이에 따라 집계 히스토그램은 잠재적으로 상이한 이웃 감지 픽셀들을 가지는 각각의 감지 픽셀에 대하여 생성될 수 있다(예를 들어, 상이한 인접 감지 픽셀들 및/또는 상이한 직접 인접 감지 픽셀들).

각각의 감지 픽셀은 원하는 또는 적절한 해상도에 따른 하나 이상의 광 감지 구성요소를 포함할 수 있다. 예를 들어, 감지 픽셀 당 광 감지 구성요소들의 수(예를 들어, 광 검출기들의 수)를 증가시키는 것은 광 감지 구성요소들을 수용하기 위하여 증가된 영역(각각의 감지 픽셀들에 대하여 증가된 영역) 때문에 해상도를 감소시킬 수 있다. 반면, 감지 픽셀 당 광 감지 구성요소들의 수(예를 들어, 광 검출기들의 수)를 감소시키는 것은 각각의 감지 픽셀에 대한 광 감지 구성요소를 수용하기 위하여 더 적은 면적이 사용될 수 있기 때문에 해상도를 증가시킬 수 있다. 즉, 이 경우 감지 어레이의 단위 면적에 대한 감지 픽셀들의 수는 증가될 수 있고, 해상도는 각각의 단위 면적에 대응하여 증가할 수 있다. 따라서, 실시 예에서, 하나의 감지 픽셀 당 단일 광 감지 구성요소(예를 들어, 하나의 SPAD)가 해상도를 증가시키기 위하여 사용될 수 있으나, 본 발명이 이에 제한되는 것은 아니다. 예를 들어, 깊이 검출 시스템(100)의 애플리케이션에 따라서 감지 픽셀 당 임의의 적절한 수의 광 감지 구성요소들이 사용될 수 있다.

도 1에서 처리 회로(114)는 깊이 검출 시스템(100)의 일부로서 도시되어 있으나, 처리 회로(114)는 깊이 검출 시스템(100)에 위치할 수 있거나 깊이 검출 시스템(100)의 외부에 위치할 수 있다. 실시 예에서, 처리 회로(114)는 깊이 검출 시스템(100) 및 하나 이상의 원격 위치에 각각 제공될 수 있는 다수의 불필요한 처리 회로들의 일부일 수 있다.

도 2는 본 발명의 실시 예에 따른 광학 센서를 포함하는 블록도이다.

도 2를 참조하면, 실시 예에서, 광학 센서(108)는 행 드라이버(row driver, 204), 판독 회로(206) 및 열(column)과 행(row)의 어레이로 배열된 복수의 감지 픽셀들(210)을 포함할 수 있다. 예를 들어, 행들은 제 1 방향(DR1)으로 연장될 수 있고, 열들은 제 1 방향(DR1)과 교차하는 제 2 방향(DR2)으로 연장될 수 있다. 그러나, 본 발명은 이에 제한되지 않는다. 예를 들어, 복수의 감지 픽셀들(210)은 임의의 적절한 방향 및 임의의 적절한 정렬된 격자(정사각형 격자, 다이아몬드 격자, 삼각형 격자 등)로 배열될 수 있다.

실시 예에서, 행 드라이버(204)는 구동 신호들을 행들 각각에 전송할 수 있고(예를 들어, 순차적으로 또는 행 단위로), 판독 회로(206)는 감지 픽셀들(210)의 열들 각각으로부터 감지 신호들을 수신할 수 있다. 따라서, 행 드라이버(204)는 감지 픽셀들(210) 각각을 구동할 수 있고, 판독 회로(206)는 감지 픽셀들(210) 각각으로부터 감지 신호들을 검출할 수 있다.

실시 예에서, 편의를 위하여 광학 센서(108)는 감지 픽셀들(210)의 4x4 어레이를 포함하는 것으로 도시된다(1 내지 16으로 표시됨). 그러나, 본 발명은 이에 제한되지 않으며, 광학 센서(108)는 임의의 적절한 배열(예를 들어, 다양한 크기의 행들 및 열들)로 임의의 적절한 수의 감지 픽셀들(예를 들어, 감지 픽셀들의 100x100 어레이)을 포함할 수 있다. 또한, 감지 픽셀들 각각은 임의의 적절하고 정렬된 격자일 수 있다(예를 들어, 정사각형 격자, 다이아몬드 격자, 삼각형 격자 등). 제 1 방향(DR1)을 따라 배열된 감지 픽셀들(예를 들어, 감지 픽셀 1, 2, 3, 4)은 감지 픽셀 행으로 지칭될 수 있고, 제 2 방향(DR2)을 따라 배열된 감지 픽셀들(예를 들어, 감지 픽셀 1, 5, 9, 13)은 감지 픽셀 열로 지칭될 수 있다.

광학 센서(108)의 각각의 감지 픽셀은 예로서 “SPAD”또는 “APD”와 같은 광 전류(즉, 빛에 반응하는 전류)를 생성할 수 있는 하나 이상의 광 감지 구성요소(즉, 하나 이상의 광 검출기)를 포함할 수 있다. 실시 예에서, 감지 픽셀들(210) 각각은 단일 SPAD를 포함할 수 있으므로, 향상된 또는 높은 해상도가 제공될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 다른 실시 예에서, 감지 픽셀들(210) 각각은 깊이 검출 시스템(100)의 설계, 애플리케이션, 구조 등에 따라 임의의 적절한 수의 SPAD를 포함할 수 있다.

도 3은 본 발명의 실시 예에 따라 감지 픽셀들에 대한 개별 히스토그램들 및 목표물로부터 반사된 빛에 기반하여 집계된 히스토그램들의 그래프들을 나타내는 도면이다

도 3을 참조하면, 실시 예에서, 처리 회로(114)는 예를 들어, SNR을 향상시키고, TOF 결정을 개선하고 및/또는 다중 에코 검출을 가능하게 하기 위하여, 개별 관심 감지 픽셀의 히스토그램(301) 및 하나 이상의 이웃 감지 픽셀들(하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 개별 히스토그램들(302, 303, 304, 305, 306, 307, 308, 309)에 기반하여 집계 히스토그램(312)을 생성할 수 있다.

본 발명에서 사용되는 바와 같이, “관심 감지 픽셀”은 임의의 다른 감지 픽셀로부터 특정 관심 감지 픽셀을 구분하는 속성 보다는 참조 프레임을 지칭한다. 따라서, 복수의 감지 픽셀들의 각각의 감지 픽셀은 특정 관심 감지 픽셀에 대한 상대적인 이웃 감지 픽셀들(하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)을 참조할 때, 참조 프레임의 변화들에 대응하는 “관심 감지 픽셀”로써 선택될 수 있다.

도 3에 도시된 실시 예에서, 9 개의 감지 픽셀들의 개별 히스토그램들(301, 302, 303, 304, 305, 306, 307, 308, 309)은 도 2에 도시된 감지 픽셀들과 유사한 행들 및 열들에 따라서 배열되는 것으로 도시된다. 따라서, 9개의 감지 픽셀들은 감지 픽셀 어레이 내에서 그들의 상대적인 위치에 따라 도시된다. 예를 들어, 9개의 감지 픽셀들은 도 2에 도시된 감지 픽셀들(6, 7, 8, 10, 11, 12, 14, 15, 16, 도 2 참조)과 대응할 수 있다.

또한, 설명을 위하여 도 3에서는 개별 히스토그램들(301, 302, 303, 304, 305, 306, 307, 308, 309) 및 집계 히스토그램(312)은 도표의 형식으로 표시되고, 그래프는 예를 들어, 다수의 반사된 광 신호들 또는 이벤트 카운트들을 나타내는 y축(예를 들어, 레이저 펄스들에 대응하여 검출되는 반사된 광 신호들) 및 경과 시간에 기반하여 각각의 레이저 펄스에 대해 수신된 이벤트의 수와 대응하는 상대적인 TOF들(예를 들어, 측정된 TOF들)을 나타내는 x축을 포함한다.

실시 예에서, 처리 회로(114)는 광원(102)이 광 펄스를 방출하는 시간 및 광 수신기(106)(예를 들어, 그것의 광학 센서(108))가 목표물(310)(예를 들어, 사람)의 반사된 광 펄스를 수신하는 시간을 추적할 수 있다. 처리 회로(114)는 추적된 시간(즉, 상대적인 TOF)을 9개의 감지 픽셀들 각각의 SPAD로부터 수신된 반사된 광 신호(즉, 이벤트 카운트)와 연관시킬 수 있다. 상대적인 TOF와 연관된 이벤트 카운트들의 누적은 감지 픽셀들 각각에 대한 개별 히스토그램들(301, 302, 303, 304, 305, 306, 307, 308, 309)을 생성하는데 사용될 수 있다.

이 경우, 비 제한적인 예에서, 개별 히스토그램들(301, 302, 303, 304, 305, 306, 307, 308, 309) 각각은 대응하는 감지 픽셀들에 의하여 검출된 반사된 20개의 반사된 광 신호들과 대응하는 총 20개의 이벤트 카운트들을 포함한다. 반사된 광 신호들 각각은 처리 회로(114)에 의하여 결정된 바와 같이 관련된 상대적 TOF를 가진다. 관심 감지 픽셀의 개별 히스토그램(301)에서 도시된 바와 같이, 이벤트 카운트의 수는 1에서 4까지의 범위이며, 상대적인 TOF들은 50나노초부터 100나노초까지의 범위이다. 이 경우, 관심 감지 픽셀의 상대적인 TOF들 중 일부는 노이즈(예를 들어, 주변 광 간섭)의 결과일 수 있다. 따라서, 최종 TOF(예를 들어, 주요 피크 TOF)를 추정하기 위하여 하나 이상의 피크가 개별 히스토그램으로부터 결정될 수 있다. 그러나, SNR이 낮은 경우 위양성 TOF의 가능성이 높기 때문에 최종 TOF는 신뢰성이 떨어질 수 있다.

따라서, 본 발명의 실시 예에 따르면, 관심 감지 픽셀의 개별 히스토그램(301)을 보충하기 위하여 관심 감지 픽셀에 대한 개별 히스토그램(301)은 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들) 중 하나 이상의 개별 히스토그램들(302, 303, 304, 305, 306, 307, 308, 309)과 비닝될 수 있다(예를 들어, 처리 회로(114)에 의하여). 관심 감지 픽셀의 개별 히스토그램(301) 및 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들) 중 하나 이상의 개별 히스토그램들(302, 303, 304, 305, 306, 307, 308, 309)을 함께 비닝하는 것은, 예를 들어 측정 횟수의 증가없이(예를 들어, 방출되는 광 펄스들의 수의 증가없이), 처리 회로(114)가 더 많은 수의 이벤트 카운트들 및 잠재적으로 넓은 범위의 TOF들을 포함하는 관심 감지 픽셀에 대한 집계 히스토그램(312)을 생성할 수 있게 한다. 이 경우, 비 제한적인 예에서, 집계 히스토그램(312)은 9배 더 많은 이벤트 카운트들을 포함한다(예를 들어, 9개의 이웃 감지 픽셀로부터의 20개의 반사된 광 신호들에 대응하는 180개의 이벤트 카운트들). 도시된 실시 예에서, 집계 히스토그램(312)은 더 큰 SNR을 가지며, 이에 따라 위양성 TOF의 가능성은 감소한다.

즉, 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 개별 히스토그램들(302, 303, 304, 305,306, 307, 308, 309) 중 하나 이상이 집계 히스토그램(312)을 생성하기 위하여 관심 감지 픽셀의 개별 히스토그램(301)과 비닝되는 경우, 집계 히스토그램(312)에 대한 데이터 포인트들의 수는 측정 횟수(예를 들어, 방출된 광 펄스들의 수)의 증가 없이 증가될 수 있다. 따라서, SNR은 측정 횟수의 증가 없이 향상될 수 있고, 이에 따라 레이턴시 또는 지연은 감소할 수 있다.

실시 예에서, 하나 이상의 피크는 피크 검출 또는 에코 검출을 위하여 집계 히스토그램(312)으로부터 결정될 수 있다. 예를 들어, 처리 회로(114)는 주요 피크 TOF 및/또는 임의의 마이너 피크 TOF들을 계산하기 위하여 하나 이상의 피크를 결정할 수 있다. 피크들은 임의의 적절한 방식에 따라 검출될 수 있고, 예를 들어, 피크들은 단일 빈에서 이벤트 카운트들의 수에 기반하여 검출될 수 있거나(예를 들어, 주요 피크는 가장 높은 이벤트 카운트를 가지는 빈일 수 있다), 박스 필터를 가지는 집계 히스토그램을 평활화한 후 검출될 수 있다(예를 들어, 주요 피크는 박스 필터로 평활화한 후 가장 높은 피크일 수 있다). 실시 예에서, 처리 회로(114)는 관심 감지 픽셀에 대하여 목표물로부터의 거리(D)를 결정하거나 계산하기 위한 주요 피크 TOF, 및/또는 다른 특징들로부터 다른(또는 이차의) 거리를 계산하기 위한 임의의 마이너 피크 TOF들을 사용할 수 있다.

실시 예에서, 처리 회로(114)는 각각의 감지 픽셀에 대한 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)로부터의 데이터와 대응하는 집계 히스토그램을 결정하거나 생성하기 위하여, 관심 감지 픽셀로서 감지 픽셀들 각각을 선택할 수 있다. 그러나, 감지 픽셀 어레이의 첫 번째 또는 마지막 감지 픽셀 열/행으로부터 관심 감지 픽셀이 선택되는 경우, 감지 픽셀에 대한 집계 히스토그램은 이러한 감지 픽셀들이 보다 적은 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)을 가지기 때문에 감지 픽셀 어레이의 첫 번째 또는 마지막 감지 픽셀 행/열 사이의 감지 픽셀보다 더 적은 데이터에 기반한다. 그러나, 본 발명은 이에 제한되지 않으며, 감지 픽셀 어레이의 끝단에서 관심 감지 픽셀에 대한 임의의 적절한 조정이 도입될 수 있다.

도 4a는 본 발명의 실시 예에 따른 복수의 목표물들을 포함하는 도면이다.

도 4a를 참조하면, 장면(400)은 제 1 벽(402) 및 제 2 벽(403)을 포함하는 복수의 목표물들을 가질 수 있다. 제 1 벽(402) 및 제 2 벽(403)은 깊이 검출 시스템(100)으로부터 2개의 상이한 거리들에 있는 평평한 표면들일 수 있다. 설명을 위하여, 광학 센서의 9개의 감지 픽셀들에 의하여 검출되는 영역과 대응하는 장면의 부분(401)은 도 4b 및 도 4c에서 보다 상세히 설명될 것이다.

도 4b는 본 발명의 실시 예에 따른 감지 픽셀들에 대한 개별 히스토그램들 및 피크 검출 값들을 포함하는 차트를 나타내는 도면이다.

도 4b를 참조하면, 처리 회로(114)는 제 1 벽(402) 및 제 2 벽(403)으로부터 반사되는 빛에 기반하여 9개의 감지 픽셀들과 대응하는 9개의 개별 히스토그램들(404, 405, 406, 407, 408, 409, 410, 411, 412)을 결정하거나 생성할 수 있다.

도 3의 개별 히스토그램들(301, 302, 303, 304, 305, 306, 307, 308, 309)과 유사하게, 비 제한적인 예로서, 9개의 개별 히스토그램들(404, 405, 406, 407, 408, 409, 410, 411, 412)은 상대적인 TOF들에서 20개의 반사된 광 신호들과 대응하는 20개의 이벤트 카운트들을 포함할 수 있다. 도시된 실시 예에서, 개별 히스토그램들(404, 405, 406, 408, 410, 411)을 포함하는 제 1 그룹(424)은 제 1 벽(402)으로부터의 거리를 나타내는 감지 픽셀들과 대응하고, 개별 히스토그램들(407, 409, 412)을 포함하는 제 2 그룹(426)은 제 2 벽(403)으로부터의 거리를 나타내는 감지 픽셀들과 대응한다. 그러나, 차트(422)에 도시된 바와 같이, 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 하나 이상의 개별 히스토그램들을 관심 감지 픽셀의 개별 히스토그램과 비닝하는 것보다, 피크 검출은 개별 히스토그램들(404, 405, 406, 407, 408, 409, 410, 411, 412) 상에서 직접적으로 수행되고, 주요 피크 TOF들이 범위는 인접한 감지 픽셀들에 대하여 나타날 수 있다. 제 1 벽(402) 및 제 2 벽(403)을 분리하는 에지(428)의 좌측의 주요 피크 TOF들은 74 내지 80 나노초 범위이며, 에지(428)의 우측의 주요 피크 TOF들은 88 내지 90 나노초 범위이다. 이 경우, 주요 피크 TOF들의 범위는 각각의 감지 픽셀의 노이즈 ‹š문일 수 있다. 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 개별 히스토그램들을 비닝함으로써, 더 높은 SNR이 바람직할 수 있고, 도 4c를 참조하여 설명될 것이다.

도 4c는 본 발명의 실시 예에 따른 다중 에코들이 검출되는 감지 픽셀들에 대한 집계 히스토그램들의 그래프들 및 피크 검출을 포함하는 차트를 나타내는 블록도이다.

도 4c를 참조하면, 처리 회로(114)는 제 1 벽(402) 미 제 2 벽(403)으로부터 반사된 빛에 기반하여 9개의 감지 픽셀들에 대응하는 9개의 집계 히스토그램들(413, 414, 415, 416, 417, 418, 419, 420, 421)을 결정하거나 생성할 수 있다.

도 3의 집계 히스토그램(312)과 유사하게, 비 제한적인 예로서, 감지 픽셀들 각각에 대한 집계 히스토그램들(413, 414, 415, 416, 417, 418, 419, 420, 421)은 대응하는 도 4b에 도시된 개별 히스토그램들(404, 405, 406, 407, 408, 409, 410, 411, 412)보다 더 높은 SNR을 가질 수 있다. 도 4b 및 도 4c에 도시된 바와 같이, 개별 히스토그램들(404, 405, 406, 407, 408, 409, 410, 411, 412)는 이벤트 카운틀의 수에 의하여 제한되는 높이(즉, 강도)를 가진다. 개별 히스토그램들(404, 405, 406, 407, 408, 409, 410, 411, 412)을 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 개별 히스토그램들과 비닝하여 집계 히스토그램들(413, 414, 415, 416, 417, 418, 419, 420, 421)을 생성하는 처리 회로(114)를 사용함으로써, 도 4c에 도시된 바와 같이 이벤트 카운트들의 수는 증가될 수 있고 SNR은 향상될 수 있다. 실시 예에서, 더 높은 강도 값은 더 높은 최대 강도 값을 지원하는 더 큰 비트 깊이를 가지는 이미지에 의하여 표현될 수 있다. 따라서, 더 높은 피크들은 더 높은 강도로 이어질 수 있으며, 이는 강도 이미지의 더 큰 비트 깊이로 이어질 수 있다.

도시된 실시 예에서, 제 1 그룹(424)은 제 1 벽(402)으로부터의 거리를 나타내는 개별 히스토그램들(404, 405, 406, 408, 410, 411)에 대응하는 집계 히스토그램들(413, 414, 415, 417, 419, 420)을 포함할 수 있고, 제 2 그룹(426)은 제 2 벽(403)으로부터의 거리를 나타내는 개별 히스토그램들(407, 409, 412)에 대응하는 집계 히스토그램들(416, 418, 421)을 포함할 수 있다. 차트(430)에 도시된 바와 같이, 피크 검출은 집계 히스토그램들(413, 414, 415, 416, 417, 418, 419, 420, 421) 상에서 수행될 수 있고, 제 1 벽(402) 및 제 2 벽(403)으로 분리되는 에지(428)의 좌측의 주요 피크 TOF들은 75 나노초에 있고, 에지(428)의 우측상에 주요 피크 TOF들은 91 내지 92 나노초 범위에 있다. 이 경우, 집계 히스토그램들(413, 414, 415, 416, 417, 418, 419, 420, 421)에 대하여 처리 회로(114)에 의하여 검출된 피크들은 개별 히스토그램들(404, 405, 406, 407, 408, 409, 410, 411, 412)에 기반하여 검출된 피크들보다 더 안정적일 수 있다. 즉, 집계 히스토그램들(414, 415, 416, 417, 418, 419, 420, 421)을 기반으로 한 목표물의 주요 피크 TOF들은 개별 히스토그램들(404, 405, 406, 407, 408, 409, 410, 411, 412)을 기반으로 한 목표물의 주요 피크 TOF들보다 노이즈가 적을 수 있다. 또한, 에지 검출은 제 1 벽(402) 및 제 2 벽(403) 사이의 에지(428)의 양측에서 검출된 거리들에 의하여 도시된 바와 같이 보존될 수 있다.

실시 예에서, 처리 회로(114)는 에코들을 검출하거나 결정하기 위하여 하나 이상의 피크들을 식별할 수 있다. 에코들은 주요 피크들 및/또는 임의의 마이너 피크들을 포함할 수 있다. 마이너 피크들은 복수의 목표물들의 존재와 같은 장면에 관한 2차적인 정보를 제공할 수 있다(예를 들어, 도 4a에 도시된 바와 같이 벽 앞에 서있는 사람 또는 제 2 벽과 겹치는 제 1 벽). 에코들은 예를 들어, 두 개의 상이한 목표물들 사이의 에지를 향하는 단일 광 펄스에 의하여 발생할 수 있고, 따라서 두 개의 반사된 광 신호들은 검출될 수 있다. 두 개의 신호들은 처리 회로(114)에 의하여 식별될 수 있는 2 개의 개별 피크들을 도출할 수 있다.

도시된 실시 예에서, 처리 회로(114)는 집계 히스토그램들(413, 415, 416, 418, 420, 421)을 포함하는 제 3 그룹(432)에서 다중 에코들을 검출할 수 있다. 집계 히스토그램들(413, 415, 416, 418, 420, 421)을 형성하기 전에, 잡음으로부터 에코들을 구별하기 위하여 SNR이 충분히 높지 않을 수 있기 때문에, 대응하는 개별 히스토그램들(404, 406, 407, 409, 411, 412)로부터 다중 에코들을 검출하는 것은 어려울 수 있다. 실제로 비교 예에서, 단일 주요 피크는 주요 피크 TOF를 결정하기 위하여 검출될 수 있다. 그러나, 마이너 피크로부터의 에코는 노이즈로 간주될 수 있으므로 무시된다.

따라서, 실시 예에서, 감지 픽셀들의 개별 히스토그램들을 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 개별 히스토그램들과 비닝함에 의한 SNR 향상은 처리 회로(114)가 깊이 감지 시스템(100)에 의하여 검출된 장면에 대한 추가적인 정보를 위한 에코들을 검출할 수 있게 한다.

도 3 내지 도 4c는 8개의 주변 감지 픽셀들을 기반으로한 집계 히스토그램을 도시함에도 불구하고, 임의의 적절한 로직이 처리 회로(114)에 의하여 사용될 수 있고, 주변 감지 픽셀들의 수는 변할 수 있다. 예를 들어, 실시 예에서, 관심 감지 픽셀의 개별 히스토그램은 행에서 인접한 감지 픽셀들(예를 들어, 직접 인접 감지 픽셀들) 및/또는 열에서 인접한 감지 픽셀들(예를 들어, 인접 감지 픽셀들)의 개별 히스토그램들과 함꼐 처리 회로(114)에 의해서만 비닝될 수 있다.

상이한 비닝 로직은 상이한 애플리케이션들을 위하여 적합할 수 있으며, 예를 들어, 감지 픽셀 행 또는 감지 픽셀 열에서 인접한 감지 픽셀들의 개별 히스토그램들을 서로 비닝하는 것은 장치(예를 들어, 차량, 로봇, 보트 등)의 동작을 위하여 수직 또는 수평 특징들의 해상도가 중요한지 여부에 따라 더 바람직 할 수 있다. 일반적으로, 비닝이 수행되는 방향에 따라서 비닝의 이점을 받을 수 있다. 예를 들어, 수평 방향의 비닝은 수평 특징들의 해상도를 향상시킬 수 있고, 수직 방향의 비닝은 수직 특징들의 해상도를 향상시킬 수 있다.

도 3 내지 도 4c의 실시 예들은 복수의 감지 픽셀들에 대한 정사각형 배열로 설명되지만, 본 발명의 실시 예들은 정사각형 배열로 제한되지 않는다. 예를 들어, 실시 예에서, 복수의 감지 픽셀들은 삼각형 격자, 다이아몬드 격자 등을 포함하는 임의의 규칙적인 격자로 배열될 수 있다.

실시 예에서, 깊이 검출 시스템(100)은 온 더 플라이 방식 또는 후처리 방식을 사용할 수 있다.

온 더 플라이 방식에서, 처리 회로(114)는 주요 피크 TOF들 및/또는 마이너 피크 TOF들을 “즉석으로” 제공하기 위하여 실시간 또는 실질적인 실시간으로 집계 히스토그램을 생성하거나 업데이트할 수 있다(예를 들어, 다중 에코들이 검출되는 경우). 예를 들어, 각각의 감지 픽셀이 이벤트 카운트에 대응하는 반사된 광 신호를 수신하면, 이벤트 카운트는 관련된 집계 히스토그램들에 비닝된다. 비 제한적인 예에서, 관련된 집계 히스토그램들은 반사된 광 신호를 수신하는 감지 픽셀의 개별 히스토그램 및 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 개별 히스토그램들로부터 집계될 수 있다. 실시 예에서, 집계된 히스토그램만이 메모리에 저장될 수 있다. 따라서, 실시 예에서, 더 적은 개별 히스토그램들을 저장함으로써(예를 들어, 개별 히스토그램이 없음), 메모리 공간은 절약될 수 있다. 그러나, 본 발명은 이에 제한되지 않는다. 예를 들어, 다른 실시 예들에서, 개별 히스토그램 및 집계 히스토그램 모두 메모리에 저장될 수 있다.

후처리 방식에서, 깊이 검출 시스템(100)의 처리 회로(114)는 메모리에 복수의 감지 픽셀들의 각각의 감지 픽셀에 대한 개별 히스토그램들을 저장할 수 있다. 이어서, 저장된 개별 히스토그램들을 비닝하는 것에 기반하여, 집계 히스토그램들은 처리 회로(114)에 의하여 형성될 수 있다. 즉, 후처리 방식은 즉시 발생하지 않을 수 있고, 메모리에 저장된 개별 히스토그램들을 이용하여 설정된 또는 가변 구간들(예를 들어, 시간, 데이터 수집의 볼륨, 및/또는 임의의 다른 적절한 요인들에 기반한 구간들)에서 각각의 감지 픽셀에 대한 집계 히스토그램을 생성할 수 있다.

도 5는 본 발명의 실시 예에 따른 복수의 이웃 감지 픽셀들로의 신호 전파를 나타내기 위한 개략도이다.

도 5를 참조하면, 집계 히스토그램은 온 더 플라이 방식에 따라 처리 회로(114)에 의하여 형성될 수 있다. 예를 들어, 복수의 감지 픽셀들 각각에 의하여 검출된 반사된 광 신호는 실시간 또는 실질적인 실시간으로 설정된(예를 들어, 미리 결정된) 로직에 따라 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)에 전송되거나 전파될 수 있다. 실시 예에서, 반사된 광 신호들의 전파는 감지 픽셀들의 어레이에 대한 하드웨어 수정들에 의하여 달성될 수 있다. 예를 들어, 감지 픽셀이 반사된 빛을 검출하는 경우, 감지 픽셀은 반사된 광 신호를 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)에 전파할 수 있고, 전파된 반사된 광 신호는 관심 감지 픽셀 각각에 대한 집계 히스토그램을 생성하는데 이용될 수 있다. 즉, 관심 감지 픽셀에 의하여 제공된 반사된 광 신호들과 관심 감지 픽셀의 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)로부터 수신되는 전파된 반사된 광 신호들을 결합함으로써, 관심 감지 픽셀 각각에 대한 집계 히스토그램이 생성될 수 있다.

도시된 실시 예에서, 제 1 논리 배열(500), 제 2 논리 배열(501), 제 3 논리 배열(502), 및 제 4 논리 배열(503)은 각각 사분면의 왼쪽 상단, 오른쪽 상단, 오른쪽 하단, 및 왼쪽 하단에 도시된다.

실시 예에서, 제 1 논리 배열(9500)은 제 1 감지 픽셀(504)에 의하여 검출된 반사된 광 신호를 포함할 수 있다. 제 1 감지 픽셀(504)은 제 1 감지 픽셀(504)에 의하여 검출된 각각의 반사된 광 신호를 행 방향으로 즉시 인접한 감지 픽셀들(510, 512) 및 열 방향으로 즉시 인접한 감지 픽셀들(506, 508)로 전송 또는 전파할 수 있다. 따라서, 처리 회로는 감지 픽셀들의 개별 히스토그램들을 먼저 생성하지 않아도, 제 1 감지 픽셀(504)으로부터 수신된 반사된 광 신호들 각각에 대응하는 이벤트 카운트들을 포함하는 감지 픽셀들(506, 508, 510, 512)에 대한 집계 히스토그램을 생성할 수 있다.

실시 예에서, 제 2 논리 배열(501)은 제 2 감지 픽셀(514)에 의하여 검출된 반사된 광 신호를 포함할 수 있다. 제 2 감지 픽셀(514)은 제 2 감지 픽셀(514)에 의하여 검출된 각각의 반사된 광 신호를 열 방향으로 즉시 인접한 감지 픽셀들(516, 518)로 전송 및 전파할 수 있다. 따라서, 처리 회로는 감지 픽셀들의 개별 히스토그램들을 먼저 생성하지 않아도, 제 2 감지 픽셀(514)으로부터 수신된 반사된 광 신호들 각각에 대응하는 이벤트 카운트들을 포함하는 감지 픽셀들(516, 518)에 대한 집계 히스토그램을 생성할 수 있다.

실시 예에서, 제 3 논리 배열(502)은 제 3 감지 픽셀(520)에 의하여 검출된 반사된 광 신호를 포함할 수 있다. 제 3 감지 픽셀(520)은 제 3 감지 픽셀(520)에 의하여 검출된 각각의 반사된 광 신호를 행 방향으로 즉시 인접한 감지 픽셀들(522, 524)로 전송 및 전파할 수 있다. 따라서, 처리 회로는 감지 픽셀들의 개별 히스토그램들을 먼저 생성하지 않아도, 제 3 감지 픽셀(520)으로부터 수신된 반사된 광 신호들 각각에 대응하는 이벤트 카운트들을 포함하는 감지 픽셀들(522, 524)에 대한 집계 히스토그램을 생성할 수 있다.

실시 예에서, 제 4 논리 배열(503)은 제 4 감지 픽셀(526)에 의하여 검출된 반사된 광 신호를 포함할 수 있다. 제 4 감지 픽셀(526)은 제 4 감지 픽셀(526)에 의하여 검출된 각각의 반사된 광 신호를 주변의 즉시 인접한 감지 픽셀들(528, 530, 532, 534, 536, 538, 540, 542)로 전송 및 전파할 수 있다. 따라서, 처리 회로는 감지 픽셀들의 개별 히스토그램들을 먼저 생성하지 않아도, 제 4 감지 픽셀(526)으로부터 수신된 반사된 광 신호들 각각에 대응하는 이벤트 카운트들을 포함하는 감지 픽셀들(528, 530, 532, 534, 536, 538, 540, 542)에 대한 집계 히스토그램을 생성할 수 있다.

도 5에는 4개의 분리된 논리 배열들(500, 501, 502, 503)이 도시되어 있으나, 본 발명에 따른 실시 예는 하나 이상의 논리 배열을 감지 픽셀 어레이에 적용할 수 있다.

도 6은 본 발명의 실시 예에 따른 가중화된 히스토그램 비닝을 나타내기 위한 개략도이다.

도 6을 참조하면, 본 발명의 실시 예는 선형 필터링을 집계 히스토그램의 생성 또는 결정에 통합함으로써, 이미지 신호 처리 동안 선형 필터링에 대한 필요성을 잠재적으로 우회할 수 있다. 실시 예에서, 선형 필터링은 감지 픽셀들로부터 개별 히스토그램들에 가중치들을 할당함으로써 처리 회로(114)에 의하여 달성될 수 있다. 예를 들어, 처리 회로(114)가 관심 감지 픽셀(601)의 집계 히스토그램을 결정 또는 생성하는 경우, 관심 감지 픽셀(601) 및 각각의 이웃 감지 픽셀들(602, 603, 604, 605, 606, 607, 608, 609)(예를 들어, 하나 이상의 인접한 및/또는 즉시 인접한 감지 픽셀들)은 설정된(예를 들어, 미리 결정된) 일련의 가중치들에 관련될 수 있다. 도시된 실시 예에서, 센터 아웃 선형 필터링은 처리 회로(114)가 관심 감지 픽셀(602)의 이벤트 카운트에 2x(가중치)를 적용하고(즉, 관심 감지 픽셀(602) 또는 중앙 감지 픽셀로부터의 이벤트 카운트는 두 번 카운트될 수 있다) 이웃 감지 픽셀들(602, 603, 604, 605, 606, 607, 608, 609)의 이벤트 카운트에 1x(가중치)를 적용하는(즉, 하나 이상의 인접 및/또는 직접적으로 인접한 감지 픽셀들로부터 이벤트 카운트는 한 번 카운트될 수 있다) 경우, 처리 회로(114)에 의하여 수행될 수 있다. 그러나, 본 발명의 실시 예는 이에 제한되지 않으며, 원하는 선형 필터링의 유형에 따라 감지 픽셀들에 대한 임의의 적절한 정수 가중치 값 및 배열이 설정될(예를 들어, 미리 결정된) 수 있다. 예를 들어, 에지 선형 필터링은 관심 감지 픽셀의 이벤트 카운트에 1x(가중치)를 적용하고, 관심 감지 픽셀의 일 측에 직접적으로 인접한(예를 들어, 관심 감지 픽셀(601)의 일 측의 감지 픽셀들(604, 605, 606)) 이벤트 카운트들에 2x(가중치)를 적용하는 경우 수행될 수 있다.

따라서, 본 발명의 실시 예는 이미지를 선형적으로 필터링하기 위한 가중 비닝 방법을 제공한다. 가중치 비닝 방법은 후처리 방식 및/또는 온 더 플라이 방식에 적용될 수 있다.

도 7은 본 발명의 실시 예에 따른 비행 시간을 결정하는 방법의 순서도이다.

도 7을 참조하면, 실시 예에서, 처리 회로(114)는 관심 감지 픽셀을 선택할 수 있다. 처리 회로(114)는 관심 감지 픽셀에 대한 히스토그램을 결정하거나 생성할 수 있고, 하나 이상의 이웃 감지 픽셀들에 대한 히스토그램들을 결정하거나 생성할 수 있다(702)(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들).

히스토그램들에 기반하여, 처리 회로(114)는 관심 감지 픽셀에 대한 집계 히스토그램을 결정 또는 생성할 수 있다(704). 관심 감지 픽셀에 대한 집계 히스토그램은 임의의 적절한 설정된(예를 들어, 미리 결정된) 로직에 따라 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 히스토그램들과 비닝된 관심 감지 픽셀의 히스토그램을 포함할 수 있다. 예를 들어, 실시 예에서, 처리 회로(114)는 관심 감지 픽셀에 직접적으로 인접한 모든 감지 픽셀들을 고려할 수 있고, 다른 실시 예에서, 처리 회로(114)는 행에서 직접적으로 인접한 감지 픽셀들을 고려할 수 있으며, 또 다른 실시 예에서, 처리 회로(114)는 열에서 직접적으로 인접한 감지 픽셀들을 고려할 수 있다.

따라서, 실시 예에서, 처리 회로(114)는 하나 이상의 이웃 감지 픽셀들 (예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 히스토그램들을 생성(702)한 후, 설정된 로직에 따라서 이웃 감지 픽셀 (예를 들어, 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 히스토그램을 선택할 수 있다(706). 이웃 감지 픽셀 (예를 들어, 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 히스토그램을 선택(706)한 후, 처리 회로(114)는 실시 예에 따라, A, B, 및 C로 표시된 3개의 경로 중 어느 하나를 따를 수 있다.

경로 A에 따른 실시 예에서, 처리 회로(114)는 선택된 이웃 감지 픽셀의 히스토그램을 비닝할 수 있다(714). 그 다음, 처리 회로(114)는 이웃 감지 픽셀들(예를 들어, 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 모든 관련된 히스토그램들이 선택되었는지 여부를 결정할 수 있다(716). 선택되지 않은 이웃 감지 픽셀들의 관련된 히스토그램들(예를 들어, 직접적으로 인접한 감지 픽셀들, 행에서 직접적으로 인접한 감지 픽셀들, 열에서 직접적으로 인접한 감지 픽셀들 등의 관련된 히스토그램들)이 일부 있는 경우, 처리 회로(114)는 (706) 단계로 회귀하고, 이웃 감지 픽셀(예를 들어, 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 다음 히스토그램을 선택한다(706). 실시 예에서, 처리 회로(114)는 관심 감지 픽셀에 대한 모든 관련된 히스토그램들이 선택될 때까지, 경로 A에 대한 동일한 루프를 따른다. 따라서, 관심 감지 픽셀에 대한 집계 히스토그램들이 생성될 수 있다(704).

경로 B에 따른 실시 예에서, 처리 회로(114)는 선택된 이웃 감지 픽셀의 상대적인 위치에 기반하여 설정된 가중치들을 적용할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 선택된 히스토그램에 대응하는 이웃 감지 픽셀의 상대적인 위치(예를 들어, 관심 감지 픽셀에 대한 상대적인 위치)는 비닝 이전에 선택된 히스토그램의 이벤트 카운트들에 적용되는 가중치의 값을 결정할 수 있다. 설정된 가중치 값에 따라, 선택된 히스토그램의 이벤트 카운트들에 승수(multiplier)가 적용될 수 있다. 설정된 가중치 값을 적용한 후, 처리 회로(114)는 선택된 이웃 감지 픽셀의 히스토그램을 비닝할 수 있다(714). 그 다음, 처리 회로(114)는 이웃 감지 픽셀들(예를 들어, 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 모든 관련된 히스토그램들이 선택되었는지 여부를 결정할 수 있다(716). 선택되지 않은 임의의 관련 이웃 감지 픽셀들(예를 들어, 직접적으로 인접한 감지 픽셀들, 행에서 직접적으로 인접한 감지 픽셀들, 열에서 직접적으로 인접한 감지 픽셀들 등과 같이 설정된 로직에 기반한 관련된 이웃 감지 픽셀들)이 있는 경우, 처리 회로(114)는 (706) 단계로 회귀하고, 이웃 감지 픽셀(예를 들어, 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 다음 히스토그램을 선택한다(706). 실시 예에서, 처리 회로(114)는 관심 감지 픽셀에 대한 모든 관련 히스토그램들이 선택될 때까지 경로 B에 대한 동일한 루프를 따른다. 따라서, 관심 감지 픽셀에 대한 집계 히스토그램이 생성될 수 있다(704).

경로 C에 따른 실시 예에서, 처리 회로(114)는 비닝을 위한 하나 이상의 조건이 충족되는지 여부를 결정하기 위하여 조건 로직을 적용할 수 있다(708). 하나 이상의 조건은 히스토그램에 표시된 신호의 품질에 대하여 임계 값이 충족되는지 여부 및/또는 관심 감지 픽셀의 히스토그램과 선택된 히스토그램의 히스토그램 간의 상관 관계가 임계 값이 충족되는지 여부와 같은 임의의 적절한 조건을 포함할 수 있다. 임계 값은 처리 회로(114)에 의하여 설정될 수 있거나, 사용자에 의하여 설정되는 가변 파라미터일 수 있다.

실시 예에서, 신호 품질은 선택된 히스토그램의 임의의 적절한 메트릭 또는 특성일 수 있다. 예를 들어, 히스토그램에서 스프레드의 외부 한계들 또는 상대적인 TOF들의 범위들은 신호 품질의 표시로서 사용될 수 있다. 비 제한적인 예에서, 시스템의 전체 범위의 특정 비율이 사용될 수 있으며, 예를 들어, 범위가 15미터/100나노초인 경우, 스프레드의 외부 한계는 100나노초의 40%인 40나노초일 수 있다. 또한, 히스토그램의 최대 높이는 신호 품질의 표시로서 사용될 수 있다. 따라서, 관심 감지 픽셀의 히스토그램이 선택된 히스토그램과 비닝될 수 있는지 여부를 결정하기 위하여, 이들 특성 중 임의의 하나 이상에 대하여 임계 값이 설정될 수 있다.

다른 예로서, 관심 감지 픽셀의 히스토그램과 선택된 히스토그램 간의 상관 관계가 결정될 수 있다. 비 제한적인 예로서, 도 4b의 실시예를 참조하면, 9개의 감지 픽셀들로부터의 데이터에 기반한 히스토그램들(404, 405,406, 407, 408, 409, 410, 411, 412)은 히스토그램에서 특별한 모양 또는 곡선을 가질 수 있다. 이 경우, 중앙 열에서의 감지 픽셀들에 대한 히스토그램들(404, 406, 411)은 우측 열에서의 감지 픽셀들에 대한 히스토그램들(407, 409, 412)보다 좌측 열에서의 감지 픽셀들에 대한 히스토그램들(405, 408, 410)과 보다 밀접하게 연관되어 있다. 따라서, 비 제한적인 예로서, 데이터를 상관시키기 위한 임계 값은 중앙 열의 감지 픽셀들의 히스토그램들(404, 406, 411)이 좌측 열로부터의 감지 픽셀들의 히스토그램들(405, 408, 410)과 비닝될 수 있도록 설정될 수 있고, 그 반대의 경우도 마찬가지나, 좌측 열 및 중앙 열의 히스토그램들(404, 405, 406, 408, 410, 411)은 우측 열로부터의 감지 픽셀들의 히스토그램들(407, 409, 412)과 비닝되지 않을 수 있다. 비 제한적인 예에서, 조건부 비닝은 에지(428)를 검출하느 것을 추가적으로 도울 수 있다.

하나 이상의 조건이 충족되지 않는 경우, 처리 회로(114)는 이웃 감지 픽셀의 선택된 히스토그램을 비닝하지 않으며(710), 처리 회로(114)는 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 모든 관련된 히스토그램들이 선택되었는지 여부를 결정할 수 있다(716). 선택되지 않은 임의의 관련된 이웃 감지 픽셀들이 있는 경우(예를 들어, 직접적으로 인접한 감지 픽셀들, 행에서 직접적으로 인접한 감지 픽셀들, 열에서 직접적으로 인접한 감지 픽셀들 등과 같은 설정된 로직에 기반한 관련 이웃 감지 픽셀들), 처리 회로(114)는 (706) 단계로 회귀하고, 이웃 감지 픽셀(인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 다음 히스토그램을 선택한다.

하나 이상의 조건을 충족한 수, 처리 회로는 경로 E 또는 경로 D를 따를 수 있다. 경로 D에 기반하여, 처리 회로(114)는 선택된 이웃 감지 픽셀의 히스토그램을 비닝할 수 있다(714). 그 다음, 처리 회로(114)는 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 모든 관련된 히스토그램들이 선택되었는지 여부를 결정할 수 있다(716). 만약, 임의의 관련된 이웃 감지 픽셀들이 선택되지 않은 경우(예를 들어, 직접적으로 인접한 감지 픽셀들, 행에서 직접적으로 인접한 감지 픽셀들, 열에서 직접적으로 인접한 감지 픽셀들 등과 같은 설정된 로직에 기반한 관련된 이웃 감지 픽셀들), 처리 회로(114)는 (706) 단계로 회귀하고, 이웃 감지 픽셀의 다음 히스토그램을 선택한다(706)(예를 들어, 인접한 및/또는 직접적으로 인접한 감지 픽셀들). 실시 예에서, 처리 회로(114)는 관심 감지 픽셀에 대한 모든 관련된 히스토그램들이 선택될 때까지 경로 C 및 경로 D에 대하여 동일한 루프를 따른다. 따라서, 관심 감지 픽셀에 대한 집계 히스토그램은 생성될 수 있다(704).

실시 예에서, 하나 이상의 조건을 충족한 후, 처리 회로는 경로 E를 따를 수 있다. 이 경우, 처리 회로는 선택된 이웃 감지 픽셀의 상대적인 위치에 기반하여 하나 이상의 설정된 가중치를 적용할 수 있다(712). 예를 들어, 도 6에 도시된 바와 같이, 선택된 히스토그램에 대응하는 이웃 감지 픽셀의 상대적인 위치(예를 들어, 관심 감지 픽셀에 대한 상대적인 위치)는 비닝 이전에 선택된 히스토그램의 이벤트 카운트들에 적용된 가중치의 값을 결정할 수 있다. 설정된 가중치의 값에 따라, 선택된 히스토그램의 이벤트 카운트들에 승수가 적용될 수 있다. 설정된 가중치 값을 적용한 후, 처리 회로(114)는 선택된 이웃 감지 픽셀의 히스토그램을 비닝할 수 있다(714). 그 다음, 처리 회로(114)는 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)의 관련된 히스토그램들이 모두 선택되었는지 여부를 결정할 수 있다(716). 만약, 임의의 관련된 이웃 감지 픽셀들이 선택되지 않은 경우(예를 들어, 직접적으로 인접한 감지 픽셀들, 행에서 직접적으로 인접한 감지 픽셀들, 열에서 직접적으로 인접한 감지 픽셀들 등과 같이 설정된 로직에 기반한 관련된 이웃 감지 픽셀들), 처리 회로(114)는 (706) 단계로 회귀하고, 이웃 감지 픽셀의 다음 히스토그램을 선택한다(706)(예를 들어, 인접한 및/또는 직접적으로 인접한 감지 픽셀들). 실시 예에서, 처리 회로(114)는 관심 감지 픽셀에 대한 모든 관련된 히스토그램들이 선택될 때까지(조건이 충족되지 않는 한) 경로 C 및 경로 E에 대한 동일한 루프를 따른다. 따라서, 관심 감지 픽셀에 대한 집계 히스토그램이 생성될 수 있다(704).

관심 감지 픽셀에 대한 집계 히스토그램을 생성한 후, 처리 회로(114)는 관심 감지 픽셀의 집계 히스토그램에 기반하여 하나 이상의 피크(예를 들어, 주요 피크 및 하나 이상의 마이너 피크)를 결정할 수 있다(718). 하나 이상의 피크는 주요 피크 또는 마이너 피크로 지정될 수 있다. 실시 예에서, 주요 피크는 히스토그램의 임의의 다른 피크보다 더 큰 깊이를 가지는 피크일 수 있고, 마이너 피크는 히스토그램의 주요 피크보다 더 작은 깊이를 가지는 피크일 수 있다.

관심 감지 픽셀의 집계 히스토그램에 기반한 하나 이상의 피크가 결정(718)된 후, 처리 회로(114)는 하나 이상의 피크에 따라 TOF를 결정할 수 있다(720). 주요 피크는 목적물로부터의 거리에 대응하는 주요 피크 TOF를 계산하거나 결정하는데 사용될 수 있고, 마이너 피크는 장면에서 다른 목적물 또는 특징에 관한 2차 정보를 제공하는 마이너 피크 TOF를 계산하거나 결정하는데 사용될 수 있다.

도 8은 본 발명의 실시 예에 따른 비행 시간을 결정하는 방법의 순서도이다.

도 8을 참조하면, 집계 히스토그램은 온 더 플라이 방식에 따라 처리 회로(114)에 의하여 형성될 수 있다.

실시 예에서, 광원(102)은 광 펄스를 방출할 수 있다(802). 목적물로부터의 광 펄스의 반사에 기반하여, 광학 센서(108)의 하나 이상의 감지 픽셀은 반사된 광 펄스를 검출할 수 있고(804), 반사된 광 펄스의 검출에 대응하는 이벤트 카운트를 제공할 수 있다.

도 5의 실시 예를 참조하여 도시되고 설명된 설정된(예를 들어, 미리 결정된) 로직에 따라서, 반사된 광 펄스가 검출된 하나 이상의 감지 픽셀 각각은 하나 이상의 이웃 감지 픽셀들(예를 들어, 하나 이상의 인접한 및/또는 직접적으로 인접한 감지 픽셀들)로 이벤트 카운트를 나타내는 신호를 실시간 또는 실질적인 실시간으로 전파할 수 있다.

전파된 신호를 수신하거나 반사된 광 펄스를 검출하는 감지 픽셀에 응답하여, 처리 회로(114)는 감지 픽셀에 대응하는 집계 히스토그램을 생성하거나 업데이트 할 수 있다. 즉, 반사된 광 펄스를 검출한 하나 이상의 감지 픽셀 각각에 대하여 집계 히스토그램이 생성되거나 업데이트될 수 있으며, 이벤트 카운트를 나타내는 전파된 광 펄스를 수신한 하나 이상의 이웃 감지 픽셀들 각각에 대하여 집계 히스토그램이 생성되거나 업데이트될 수 있다(808). 또한, 처리 회로(114)는 최근에 집계되거나 업데이트된 히스토그램을 메모리에 저장할 수 있다. 실시 예에서, 최근에 집계되거나 업데이트된 히스토그램은 특정 감지 픽셀에 대응하는 이전에 집계되거나 업데이트된 히스토그램을 덮어쓰거나, 대체하거나, 또는 업데이트 한다.

처리 회로(114)가 감지 픽셀에 대응하는 집계 히스토그램을 생성하거나 업데이트하는 경우, 처리 회로(114)는 감지 픽셀의 집계된 또는 업데이트된 히스토그램 각각에 대한 하나 이상의 피크를 결정할 수 있다(810). 그 다음, 처리 회로(114)는 생성된 집계 히스토그램들 각각에 대한 하나 이상의 피크(예를 들어, 주요 피크 TOF 및/또는 마이너 피크 TOF)에 따라 TOF를 결정할 수 있다.

따라서, 집계 히스토그램 및 TOF들은 개별 히스토그램이 생성되고 다른 개별 히스토그램과 함께 비닝될 때까지 기다리지 않고, 컴퓨터 비전 애플리케이션을 위하여 실시간 또는 실질적인 실시간으로 제공될 수 있다. 또한, 개별 히스토그램이 아닌 집계 히스토그램만을 저장하여, 메모리 공간을 절약할 수 있다. 그러나, 본 발명은 이에 제한되지 않는다. 예를 들어, 실시 예에서, 처리 회로(114)는 메모리에 필요에 따라 각각의 감지 픽셀에 대한 개별 히스토그램들을 저장하기 위하여 전파된 신호들과 검출된 신호들을 구별할 수 있다.

따라서, 본 발명에 따른 실시 예는 SNR을 향상시키고, 다중 에코 검출을 포함하고, 고 해상도 광 검출 어레이를 제공하기 위하여 감지 픽셀 강도의 깊이를 개선한다. 또한, 본 발명의 실시 예에 따른 시스템 및 방법은 속도(예를 들어, 초당 프레임 수)에 부정적인 영향을 미치는 추가적인 실제 측정(예를 들어, 추가 레이저 펄스들)을 보유하지 않고, 향상된 또는 높은 해상도를 제공한다(예를 들어, 단일 SPAD를 가지는 감지 픽셀을 통하여).

본 명세서에서 기술된 본 발명의 실시 예에 따른 전자 또는 전기 장치들 그리고/또는 다른 임의의 관련된 장치들 또는 요소들은 임의의 적합한 하드웨어, 펌웨어(예를 들면, Application Specific Integrated Circuit; ASIC), 소프트웨어, 또는 소프트웨어, 펌웨어, 그리고 하드웨어의 조합을 이용하여 구현될 수 있다. 예를 들어, 이러한 장치들의 다양한 요소들은 하나의 집적 회로(Integrated Circuit; IC) 칩 또는 분리된 IC 칩들로 형성될 수 있다. 또한, 이러한 장치들의 다양한 요소들은 유연한 인쇄 회로 필름(Flexible Printed Circuit Film), TCP(Tape Carrier Package), 인쇄 회로 기판(Printed Circuit Board; PCB) 위에 구현되거나 하나의 기판 위에서 형성될 수 있다. 또한, 이러한 장치들의 다양한 요소들은 컴퓨터 프로그램 명령들을 실행하고 본 명세서에서 설명된 다양한 기능들을 수행하기 위한 다른 시스템 요소들과 상호 작용하는 하나 이상의 컴퓨팅 장치들에서 또는 하나 이상의 프로세서들에서 수행되는 프로세스 또는 스레드(Thread)일 수 있다. 컴퓨터 프로그램 명령들은 예를 들면 RAM(Random Access Memory)과 같은 표준 메모리 장치를 이용하는 컴퓨팅 장치에서 구현되는 메모리 내에 저장된다. 컴퓨터 프로그램 명령들은 또한 예를 들면 CD-ROM, 플래시 드라이브(Flash Drive), 또는 그와 같은 다른 일시적이지 않은 컴퓨터 읽기 가능한 미디어(Non-transitory Computer Readable Media)에 저장될 수도 있다. 또한, 본 발명의 당업자는 본 발명의 예시적인 실시 예들의 사상 및 범위를 벗어나지 않고 다양한 컴퓨팅 장치들의 기능은 단일 컴퓨팅 장치에 통합되거나 집적되고, 특정 컴퓨팅 장치의 기능이 하나 또는 그 이상의 다른 컴퓨팅 장치들에 분산될 수 있음을 인식해야 한다.

도면에서, 구성 요소, 층 및 영역들의 상대적인 크기는 명확성을 위해 과장될 수 있다.

비록 여기에서 제 1, 제 2, 제3 등의 용어들은 다양한 요소들, 성분들, 영역들, 층들 그리고/또는 섹션들을 설명하기 위해 사용되지만, 이러한 요소들, 성분들, 영역들, 층들 그리고/또는 섹션들은 이러한 용어들로 인해 제한되지 않는 것으로 이해될 것이다. 이러한 용어들은 다른 요소, 성분, 영역, 층, 또는 섹션으로부터 하나의 요소, 구성, 영역, 층 또는 섹션을 구별하기 위해 사용된다. 따라서, 후술하는 제 1 구성 요소, 성분, 영역, 층, 또는 섹션은 본 발명의 사상 및 범위를 벗어나지 않고, 제 2 구성 요소, 성분, 영역, 층, 또는 섹션을 지칭 할 수 있다.

요소, 층, 영역, 또는 성분이 다른 요소, 층, 영역 또는 성분 “에”, “에 연결된”, “에 결합된” 것으로 언급되는 때, 그것은 다른 요소, 층, 영역, 또는 성분 “에 직접적으로”, “에 직접적으로 연결된”, “에 직접적으로 결합된”일 수 있거나, 하나 또는 그 이상의 사이의 요소들, 층들, 영역들, 또는 성분들이 존재할 수 있다. 또한, 요소 또는 층이 두 개의 요소들 또는 층들 사이로 언급되는 때, 그것은 단지 요소 또는 층이 두 요소들 또는 층들 사이에 있을 수 있거나, 또는 하나 또는 그 이상의 사이의 요소들 또는 층들이 또한 존재할 수 있다.

본 명세서에서 사용된 용어들은 단지 특정한 실시 예들을 설명하기 위한 것이고, 본 발명을 제한하려는 것으로 의도되지 않았다. 본 명세서에서 사용된 바와 같이, 문맥상 명백하게 다르게 뜻하지 않는 한, 단수 형태 “하나”는 복수의 형태도 포함하는 것으로 의도된다. “구성되는”, “구성되고 있는”, “포함하는”, 그리고 “포함하고 있는” 용어들이 본 명세서에서 사용될 때, 이러한 용어들은 정해진 특징들, 정수들, 단계들, 동작들, 요소들, 그리고/또는 성분들이 존재를 명시하나, 하나 또는 그 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 성분들, 그리고/또는 그것들의 그룹들의 추가 또는 존재를 불가능하게 하지 않는다. 본 명세서에서 사용된 바와 같이, “그리고/또는” 용어는 하나 또는 그 이상의 열거된 항목들과 연관된 임의의 그리고 모든 조합들 포함한다. “적어도 하나”와 같은 표현들은 요소들 전체 리스트를 수정하고 그리고 리스트의 개별 요소들을 수정하지 않는다.

또한, 본 발명의 실시 예들을 기술할 때 "할 수 있다"의 사용은 "본 발명의 하나 이상의 실시 예들"을 의미한다. 본 명세서에서 사용된 바와 같이, “사용”, “사용되는”, 그리고 “사용된” 용어들은 “이용”, “이용되는”, 그리고 “이용된” 용어들의 동의어로 각각 간주 될 수 있다. 또한, "예시" 용어는 예 또는 그림을 의미한다.

다르게 정의되지 않는 한, 모든 용어들(기술 또는 과학 용어를 포함)은 본 발명의 장치와 방법이 속하는 분야에서 당업자들에게 통상적으로 이해되는 동일한 의미를 가질 것이다. 더불어, 사전적 의미로 정의된 용어들은 관련된 기술 그리고/또는 본 발명의 설명의 상황에 따라 해석되어야 하며, 그렇게 정의되지 않는 한 이상적으로 이해되거나 과도하게 형식적인 의미로 이해되어서는 안된다.

일부 실시 예들이 설명되었으나, 통상의 기술자는 본 발명의 사상 및 범위를 벗어나지 않는 다양한 변형이 가능함을 쉽게 이해할 것이다. 달리 설명되지 않는 한, 각 실시 예의 특징 또는 양상의 설명은 일반적으로 다른 실시 예의 다른 유사한 특징 또는 양상에 대하여 이용가능한 것으로 이해될 것이다. 따라서, 상술한 내용은 다양한 실시 예들을 예시한 것이며, 본 발명의 특정 예시적인 실시 예들로 한정되는 것으로 해석되어서는 안되며, 개시된 실시 예들 및 다른 예시적인 실시 예들에 대한 다양한 변형은 첨부된 청구범위 및 그 균등물로 정의되는 바와 같이 본 발명의 사상 및 범위 내에 포함되는 것으로 이해될 것이다.

100 : 깊이 검출 시스템
102 : 광원
106 : 광수신기
108 : 광학 센서
110 : 목표물
112 : 메모리
114 : 처리 회로
116 : 프로세서

Claims (10)

1. 객체를 향하여 광 펄스를 방출하는 광원;
   상기 객체에서 반사되는 상기 광 펄스를 검출하고, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 1 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 1 감지 픽셀 및 상기 객체에서 반사되는 상기 광 펄스에 따라 제 2 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 2 감지 픽셀을 포함하는 광학 센서; 및
   상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 제 1 집계 히스토그램을 결정하고, 상기 제 1 감지 픽셀과 관련된 제 1 비행 시간을 결정하기 위하여 상기 제 1 집계 히스토그램의 제 1 피크를 결정하는 처리 회로를 포함하는 깊이 검출 시스템.
2. 제 1 항에 있어서,
   상기 제 1 감지 픽셀 및 상기 제 2 감지 픽셀은 각각 단일 SPAD(Single-Photon Avalanche Diode)를 포함하는 깊이 검출 시스템.
3. 제 1 항에 있어서,
   상기 처리 회로는 상기 제 1 감지 픽셀과 관련된 제 2 비행 시간을 결정하기 위하여 상기 제 1 집계 히스토그램의 제 2 피크를 결정하는 깊이 검출 시스템.
4. 제 1 항에 있어서,
   상기 객체에서 반사되는 상기 광 펄스에 따라 제 3 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 3 감지 픽셀을 더 포함하되,
   상기 제 1 감지 픽셀, 상기 제 2 감지 픽셀, 및 상기 제 3 감지 픽셀은 감지 픽셀 행(sensing pixel row)에 배열되고,
   상기 처리 회로는 상기 제 1 이벤트 카운트, 상기 제 2 이벤트 카운트, 및 상기 제 3 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정하는 깊이 검출 시스템.
5. 제 1 항에 있어서,
   상기 객체에서 반사되는 상기 광 펄스에 따라 제 3 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 제 3 감지 픽셀을 더 포함하되,
   상기 제 1 감지 픽셀, 상기 제 2 감지 픽셀, 및 상기 제 3 감지 픽셀은 감지 픽셀 열(sensing pixel column)에 배열되고,
   상기 처리 회로는 상기 제 1 이벤트 카운트, 상기 제 2 이벤트 카운트, 및 상기 제 3 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정하는 깊이 검출 시스템.
6. 제 1 항에 있어서,
   상기 처리 회로는 상기 제 1 이벤트 카운트 또는 상기 제 2 이벤트 카운트에 가중치를 적용함으로써, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀과 대응하는 상기 제 1 집계 히스토그램을 결정하는 깊이 검출 시스템.
7. 제 1 항에 있어서,
   상기 처리 회로는:
   상기 제 1 이벤트 카운트에 기반하여 제 1 히스토그램을 결정하고,
   상기 제 2 이벤트 카운트에 기반하여 제 2 히스토그램을 결정하고,
   상기 제 1 히스토그램 및 상기 제 2 히스토그램 간의 상관 관계에 대한 임계 값 만족 여부에 응답하여, 상기 제 2 히스토그램을 상기 제 1 히스토그램과 비닝함으로써, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정하는 깊이 검출 시스템.
8. 제 1 항에 있어서,
   상기 처리 회로는:
   상기 제 1 이벤트 카운트에 기반하여 제 1 히스토그램을 결정하고,
   상기 제 2 이벤트 카운트에 기반하여 제 2 히스토그램을 결정하고,
   상기 제 2 히스토그램에 의하여 나타나는 신호 품질에 대한 임계 값 만족 여부에 응답하여, 상기 제 2 히스토그램을 상기 제 1 히스토그램과 비닝함으로써, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 상기 제 1 집계 히스토그램을 결정하는 깊이 검출 시스템.
9. 히스토그램 비닝 방법에 있어서:
   광원에 의하여, 객체를 향하여 광 펄스를 방출하는 단계;
   광학 센서에 의하여, 상기 객체에서 반사되는 상기 광 펄스를 검출하는 단계;
   상기 광학 센서의 제 1 감지 픽셀에 의하여, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 1 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 단계;
   상기 광학 센서의 제 2 감지 픽셀에 의하여, 상기 객체에서 반사되는 상기 광 펄스에 따라 제 2 이벤트 카운트를 위하여 상기 광 펄스를 검출하는 단계;
   처리 회로에 의하여, 상기 제 1 이벤트 카운트 및 상기 제 2 이벤트 카운트에 기반하여 상기 제 1 감지 픽셀에 대응하는 제 1 집계 히스토그램을 결정하는 단계; 및
   상기 처리 회로에 의하여, 상기 제 1 감지 픽셀과 관련된 비행 시간을 결정하기 위하여 상기 제 1 집계 히스토그램의 제 1 피크를 결정하는 단계를 포함하는 방법.
10. 히스토그램 비닝 방법에 있어서:
    처리 회로에 의하여, 관심 감지 픽셀을 선택하는 단계;
    상기 처리 회로에 의하여, 광학 센서에 의하여 수신된 신호들에 기반하여 상기 관심 감지 픽셀에 대한 제 1 히스토그램 및 상기 관심 감지 픽셀에 인접한 감지 픽셀에 대한 제 2 히스토그램을 생성하는 단계;
    상기 처리 회로에 의하여, 상기 제 1 히스토그램 및 상기 제 2 히스토그램에 기반하여 상기 관심 감지 픽셀에 대한 집계 히스토그램을 생성하는 단계; 및
    상기 처리 회로에 의하여, 상기 관심 감지 픽셀과 관련된 제 1 비행 시간을 결정하기 위하여 상기 집계 히스토그램의 제 1 피크를 결정하는 단계를 포함하는 방법.
    
    
    

Images