KR20180102986A

KR20180102986A - 타임스탬프를 재생성하도록 구성된 이미지 처리 장치 및 그것을 포함하는 전자 기기

Info

Publication number: KR20180102986A
Application number: KR1020170145538A
Authority: KR
Inventors: 박근주; 김준석; 노요한; 류현석; 우주연; 이현구
Original assignee: 삼성전자주식회사
Priority date: 2017-03-08
Filing date: 2017-11-02
Publication date: 2018-09-18
Also published as: KR102378086B1; KR102282140B1; KR102424382B1; KR20180102988A; KR20180102976A

Abstract

본 발명의 이미지 처리 장치는 비전 센서와 프로세서를 포함한다. 비전 센서는 빛의 세기가 변하는 복수의 이벤트들과 타임스탬프들을 생성할 수 있다. 프로세서는 타임 스탬프들을 이벤트가 발생한 시간에 따라 그룹핑할 수 있다. 나아가, 본 발명의 프로세서는, 이벤트들의 시간적 상관 관계에 기초하여, 비정상 이벤트가 발생한 픽셀의 타임스탬프를 재생성할 수 있다.

Description

타임스탬프를 재생성하도록 구성된 이미지 처리 장치 및 그것을 포함하는 전자 기기{IMAGE PROCESSING DEVICE CONFIGURED TO REGENERATE TIMESTAMP AND ELECTRONIC DEVICE INCLUDING THE SAME}

본 발명은 비전 센서를 포함하는 이미지 처리 장치에 관한 것으로, 좀 더 상세하게는, 불량 픽셀에서 발생한 이벤트의 타임스탬프를 재생성하도록 구성된 이미지 처리 장치에 관한 것이다.

일반적으로 이미지 센서는 크게 동기식으로 동작하는 이미지 센서와 비동기식으로 동작하는 이미지 센서로 구분될 수 있다. 동기식으로 동작하는 이미지 센서의 대표적인 예로써 CMOS (complementary metal-oxide semiconductor) 이미지 센서가 있다. 비동기식으로 동작하는 이미지 센서의 대표적인 예로써 DVS (dynamic vision sensor)와 같은 비전 센서가 있다.

CMOS 이미지 센서는 프레임-기반으로 이미지를 처리한다. 그러므로 일정한 간격마다 지속적으로 프레임이 생성되어야 한다. 따라서, 사용자에게 관심이 없는 부분(예컨대, 배경 등)에 관한 정보도 일정한 간격마다 지속적으로 생성되기 때문에, 프로세서가 처리해야 하는 데이터의 양이 급격히 증가할 수 있다. 이는 이미지 처리 장치의 성능을 저하시키는 요인이 될 수 있다.

반면, 비전 센서는 이벤트-기반으로 이미지를 처리한다. 이벤트-기반이란, 일정한 간격마다 데이터를 생성하는 것이 아니라, 이벤트(예컨대, 빛의 세기 변화)가 발생하자마자 이벤트에 관한 정보를 생성하여 사용자에게 전달하는 것을 의미한다. 빛의 세기 변화는 주로 오브젝트의 아웃라인에서 일어나기 때문에, 비전 센서에서 불필요한 배경에 관한 정보는 생성되지 않는다. 그러므로, 프로세서가 처리해야 하는 데이터의 양은 급격히 감소할 수 있다.

한편, 비전 센서를 구성하는 픽셀의 사이즈는 CMOS 이미지 센서와 같은 종래의 이미지 센서의 픽셀 사이즈보다 상당히 크다. 그러므로, 비전 센서를 구성하는 픽셀 자체의 하자는 사용자에게 제공되는 이미지의 품질 측면뿐만 아니라, 제조 과정에서의 수율 측면에서도, 중요한 이슈이다. 다만, 순수한 제조 공정의 개선만으로는 수율을 향상시키는데 한계가 있으므로, 하드웨어 또는 소프트웨어(펌웨어)를 이용하여 불량 픽셀을 개선하는 것은 매우 중요하다.

본 발명의 목적은 불량 픽셀에서 발생한 이벤트의 타임스탬프를 재생성하여 이미지 처리 장치의 성능을 향상시키는데 있다.

본 발명의 실시 예에 따른 이미지 처리 장치는, 타깃 픽셀과 상기 타깃 픽셀 주위의 인접 픽셀들을 포함하는 복수의 픽셀들 중 적어도 일부를 통하여 빛의 세기가 변하는 복수의 이벤트들을 생성하고, 상기 복수의 이벤트들이 발생한 시간에 관한 복수의 타임스탬프들을 생성하도록 구성되는 비전 센서, 그리고 상기 복수의 타임스탬프들 중 제 1 값을 갖는 적어도 하나의 제 1 타임스탬프를 제 1 그룹으로 그룹핑하고, 상기 복수의 타임스탬프들 중 제 2 값을 갖는 적어도 하나의 제 2 타임스탬프를 제 2 그룹으로 그룹핑하도록 구성되는 프로세서를 포함하되, 상기 프로세서는 상기 제 1 값으로부터 상기 제 2 값으로의 변화 에 기초하여, 상기 복수의 이벤트들이 발생하는 방향을 판단하고 상기 인접 픽셀들에 대응하는 타임스탬프들 중 제 3 값을 갖는 제 3 타임스탬프가 비정상 이벤트에 기인하는 것인지 여부를 판단하도록 더 구성되고, 상기 프로세서는 상기 제 3 타임스탬프를, 상기 비정상 이벤트를 야기한 픽셀과 인접한 픽셀들에 대응하는 타임스탬프들 중 어느 하나로 대체하도록 더 구성될 수 있다.

본 발명에 의하면, 목적은 불량 픽셀에서 발생한 이벤트의 타임스탬프를 재생성함으로써 이미지 처리 장치의 성능을 향상시킬 수 있다.

나아가, 본 발명에 의하면, 불량 픽셀을 정상적인 픽셀과 유사하게 취급할 수 있으므로, 이미지 처리 장치에 포함된 픽셀 어레이의 수율을 향상시키는 효과가 달성될 수 있다.

도 1은 본 발명의 실시 예에 따른 이미지 처리 장치를 보여주는 블록도이다.
도 2는 도 1에 도시된 비전 센서의 구성을 예시적으로 보여주는 블록도이다.
도 3a는 도 2에 도시된 비전 센서의 예시적인 구성을 보여주는 블록도이다.
도 4a는 도 2에 도시된 비전 센서의 예시적인 구성을 보여주는 블록도이다.
도 5a는 도 2에 도시된 비전 센서의 예시적인 구성을 보여주는 블록도이다.
도 5b는 도 5a에 도시된 예시적인 비전 센서의 구성으로부터 출력되는 정보의 포맷을 예시적으로 보여주는 도면이다.
도 6a는 도 2에 도시된 비전 센서의 예시적인 구성을 보여주는 블록도이다.
도 6b는 도 6a에 도시된 예시적인 비전 센서의 구성으로부터 출력되는 정보의 포맷을 예시적으로 보여주는 도면이다.
도 7a는 도 2에 도시된 비전 센서의 예시적인 구성을 보여주는 블록도이다.
도 7b는 도 7a의 비전 센서로부터 출력되는 프레임의 예시적인 포맷을 개념적으로 보여주는 도면이다.
도 8은 도 3a 내지 7b에 도시된 픽셀의 구성을 개략적으로 보여주는 블록도이다.
도 9는 도 8에 도시된 픽셀의 구성을 예시적으로 보여주는 회로도이다.
도 10a는 도 1 내지 도 9를 통하여 설명된 이미지 처리 장치의 반도체 패키지를 보여주는 단면도이다.
도 10b는 도 1 내지 도 9를 통하여 설명된 이미지 처리 장치의 반도체 패키지를 보여주는 단면도이다.
도 10c는 도 1 내지 도 9를 통하여 설명된 이미지 처리 장치의 반도체 패키지를 보여주는 단면도이다.
도 10d는 도 1 내지 도 9를 통하여 설명된 이미지 처리 장치의 반도체 패키지를 보여주는 단면도이다.
도 11은 도 1에 도시된 프로세서의 동작을 예시적으로 보여주는 블록도이다.
도 12는 도 11에 도시된 타임스탬프 재생성기가 노이즈 픽셀 또는 핫 픽셀의 타임스탬프를 재생성하는 것을 개념적으로 보여주는 도면이다.
도 13은 본 발명의 타임스탬프 재생성기가 노이즈 픽셀 또는 핫 픽셀을 판단하는 것을 개념적으로 보여주는 도면이다.
도 14는 본 발명의 프로세서가 노이즈 픽셀 또는 핫 픽셀을 판단하는 것을 개념적으로 보여주는 도면이다.
도 15는 본 발명의 타임스탬프 재생성기가 노이즈 픽셀 또는 핫 픽셀의 타임스탬프를 재생성하는 것을 개념적으로 보여주는 도면이다.
도 16은 본 발명의 타임스탬프 재생성기가 데드 픽셀의 타임스탬프를 재생성하는 것을 개념적으로 보여주는 도면이다.
도 17은 본 발명의 프로세서가 데드 픽셀을 판단하는 것을 개념적으로 보여주는 도면이다.
도 18은 본 발명의 실시 예에 따른 타임스탬프 재생성 스킴을 보여주는 순서도이다.
도 19 및 도 20은 본 발명의 타임스탬프 재생성 스킴이 서브 샘플링 과정에 적용되는 과정을 보여주기 위한 도면들이다.
도 21은 본 발명의 실시 예에 따른 이미지 처리 장치가 적용된 전자 기기를 예시적으로 보여주는 블록도이다.

아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.

도 1은 본 발명의 실시 예에 따른 이미지 처리 장치(100)를 보여주는 블록도이다. 이미지 처리 장치(100)는 비동기식 이벤트뿐만 아니라, 동기식 이벤트를 처리하도록 구성될 수 있다. 예를 들어, 이미지 처리 장치(100)는 이벤트와 관련된 비동기식 패킷뿐만 아니라, 이벤트와 관련된 동기식 프레임들을 생성할 수 있다. 이미지 처리 장치(100)는 비전 센서(110) 및 프로세서(120)를 포함할 수 있다.

비전 센서(110)는 입사되는 빛의 세기의 변화를 감지하여 이벤트 신호를 출력할 수 있다. 예를 들어, 빛의 세기가 증가하는 이벤트가 발생하는 경우, 이벤트 기반 센서(110)는 이에 대응하는 온-이벤트를 출력할 수 있다. 반대로, 빛의 세기가 감소하는 이벤트가 발생하는 경우, 이벤트 기반 센서(110)는 오프-이벤트를 출력할 수 있다.

비전 센서(110)는 이벤트 기반(event-based)의 비전 센서일 수 있다. 예를 들어, 비전 센서(110)는 빛의 세기 변화가 감지되는 픽셀을 액세스하여 이벤트 신호를 출력할 수 있다. 예를 들어, 빛의 세기 변화는 비전 센서(110)에 의해 촬영되는 오브젝트의 움직임에 기인하거나, 비전 센서(110) 자체의 움직임에 기인할 수 있다. 이 경우, 비전 센서(110)에 의해 감지되거나 비전 센서(110)로부터 출력되는 이벤트 신호는 비동기식 이벤트(asynchronous event) 신호일 것이다.

또는, 비전 센서(110)는 프레임 기반(frame-based)의 비전 센서일 수 있다. 예를 들어, 비전 센서(110)는 기준 주기마다 비전 센서(110)를 구성하는 모든 픽셀들을 스캔하여 이벤트 신호들을 출력할 수 있다. 그러나 일반적인 CMOS 이미지 센서와는 달리, 비전 센서(110)는 모든 픽셀들에 대해 이벤트 신호들을 출력하지 않을 수 있으며, 빛의 세기가 감지되는 픽셀들에 대해서만 이벤트 신호들을 출력할 수 있다. 이 경우, 비전 센서(110)로부터 출력되는 이벤트 신호는 프로세서 등에 의해 동기식 이벤트(synchronous event) 신호로 변환될 수 있다.

프로세서(120)는 비전 센서(110)에 의해 감지된 신호들을 처리할 수 있다. 프로세서(120)는 인접하는 픽셀들의 타임스탬프들의 시간적 상관관계(temporal correlation)를 이용하여 노이즈 픽셀(noise pixel), 핫 픽셀(hot pixel), 또는 데드 픽셀(dead pixel)의 타임스탬프를 재생성할 수 있다. 이러한 타임스탬프를 재성성하는 스킴은 상세하게 후술될 것이다.

프로세서(120)는 타임스탬프를 재성성하는 스킴을 실행하도록 구현된 ASIC (application specific integrated circuit), FPGA (field-programmable gate array), 전용 프로세서 (dedicated microprocessor), 마이크로프로세서 등을 포함할 수 있다. 또는, 프로세서(120)는 범용 프로세서 (general purpose processor)를 포함할 수 있다. 이 경우, 타임스탬프를 재생성하는 스킴은 프로세서(120)에 연결된 호스트 프로세서(예컨대, 애플리케이션 프로세서 등)에 의해 수행될 수 있다.

본 발명의 이미지 처리 장치(100)는 비전 센서(110)를 구성하는 픽셀들 중 불량 픽셀로부터 출력되는 이벤트 신호의 타임스탬프를 재생성함으로써 이미지 처리 장치(100)의 성능을 향상시킬 수 있다. 이러한 스킴에 의해 불량 픽셀을 정상적인 픽셀과 유사하게 취급할 수 있으므로, 비전 센서(110)를 구성하는 픽셀 어레이의 수율을 향상시키는 효과가 달성될 수 있다.

도 2는 도 1에 도시된 비전 센서(110)의 구성을 예시적으로 보여주는 블록도이다. 도 2를 참조하면, 비전 센서(110)는 픽셀 어레이(111), 및 이벤트 감지 회로(112)를 포함할 수 있다. 이벤트 감지 회로(112)는 픽셀 어레이(112)에 의해 감지되는, 빛의 세기가 증가하거나 감소하는 이벤트들을 처리하도록 구성될 수 있다. 예를 들어, 이벤트 감지 회로(112)는 AER (address event representation), 샘플러, 패킷타이저, 및 스캐너와 같은 다양한 구성 요소들 중 적어도 하나 이상을 포함할 수 있다. 이벤트 감지 회로(112)의 구체적인 구성들은 도 3a 내지 도 7a를 통하여 상세하게 설명될 것이다.

픽셀 어레이(111)는 M개의 행들과 N개의 열들을 따라 매트릭스 형태로 배열된 복수의 픽셀(PX)들을 포함할 수 있다. 픽셀 어레이(111)는 빛의 세기가 증가하거나 감소하는 이벤트들을 감지하도록 구성된 복수의 픽셀들을 포함할 수 있다. 예를 들어, 각각의 픽셀은 열 방향으로 컬럼 라인과 그리고 행 방향으로 로우 라인을 통하여 이벤트 감지 회로(112)에 연결될 수 있다. 픽셀에서 이벤트가 발생하였음을 알리는 신호는, 예를 들어, 컬럼 라인을 통하여, 이벤트 감지 회로(112)에 전달될 수 있다. 각각의 픽셀에서 발생한 이벤트의 극성 정보(즉, 빛의 세기가 증가하는 온-이벤트 인지 또는 빛의 세기가 감소하는 오프-이벤트인지 여부)는, 예를 들어, 컬럼 라인을 통하여 이벤트 감지 회로(112)에 전달될 수 있다.

이벤트 감지 회로(112)는 발생한 이벤트들을 처리하도록 구성될 수 있다. 예를 들어, 이벤트 감지 회로(112)는 이벤트가 발생한 시간 정보를 포함하는 타임스탬프(timestamp)를 생성할 수 있다. 예를 들어, 이벤트 감지 회로(112)는 리셋 신호(RST)를 이벤트가 발생한 픽셀로 전달하여 픽셀을 리셋시킬 수 있다. 나아가, 이벤트 감지 회로(112)는 발생한 이벤트의 극성 정보, 이벤트가 발생한 픽셀의 어드레스(ADDR), 및 타임스탬프를 포함하는 패킷 또는 프레임을 생성할 수 있다. 이벤트 감지 회로(112)에 의해 생성된 패킷 또는 프레임은, 본 명세서에서 설명될 타임스탬프 재생성 스킴을 구현하도록, 구성된 프로세서(도 1, 120)에 의해 처리될 수 있다.

이러한 예시적인 구성들에 의하면, 픽셀 어레이(111)에서 발생한 이벤트들이 픽셀 단위로 처리되거나, 복수의 픽셀들을 포함하는 픽셀 그룹 단위로 처리되거나, 컬럼 단위로 처리되거나, 또는 프레임 단위로 처리될 수 있다. 그러나, 이러한 실시 예들은 픽셀 어레이(111)를 통해 감지된 이벤트들이 다양한 방법으로 처리될 수 있다는 것을 의미할 뿐이며, 본 명세서를 통하여 설명되는 기술 사상이 이러한 구성들에 한정되지는 않는다.

도 3a는 도 2에 도시된 비전 센서(110)의 예시적인 구성을 보여주는 블록도이다. 비전 센서(110a)는 픽셀 어레이(111a), 컬럼 AER(113a), 로우 AER(115a), 그리고 패킷타이저 및 입출력 회로(117a)를 포함할 수 있다.

픽셀 어레이(111a)를 구성하는 복수의 픽셀들 중 이벤트가 발생한 픽셀은, 빛의 세기가 증가하거나 감소하는 이벤트가 발생하였음을 알리는 신호(column request; CR)를 컬럼 AER(113a)로 전송할 수 있다.

컬럼 AER(113a)은 이벤트가 발생한 픽셀로부터 수신된 컬럼 리퀘스트(CR)에 응답하여 응답 신호(ACK)를 이벤트가 발생한 픽셀로 전송할 수 있다. 응답 신호(ACK)를 수신한 픽셀은, 발생한 이벤트의 극성 정보(Pol)를 로우 AER(115a)로 전송할 수 있다. 나아가, 컬럼 AER(113a)은 이벤트가 발생한 픽셀로부터 수신된 컬럼 리퀘스트(CR)에 기초하여 이벤트가 발생한 픽셀의 컬럼 어드레스(C_ARRD)를 생성할 수 있다.

로우 AER(115a)은 이벤트가 발생한 픽셀로부터 극성 정보(Pol)를 수신할 수 있다. 로우 AER(115a)은 극성 정보(Pol)에 기초하여, 이벤트가 발생한 시간에 관한 정보를 포함하는 타임스탬프(Timestamp; TS)를 생성할 수 있다. 예시적으로, 타임스탬프는, 로우 AER(113a)에 구비되는 타임 스탬퍼(116a)에 의해 생성될 수 있다. 예를 들어, 타임 스탬퍼(116a)는 수 내지 수십 마이크로 초 단위로 생성되는 타임틱(timetick)을 이용하여 구현될 수 있다. 로우 AER(115a)은 극성 정보(Pol)에 응답하여 리셋 신호(RST)를 이벤트가 발생한 픽셀로 전송할 수 있다. 리셋 신호(RST)는 이벤트가 발생한 픽셀을 리셋시킬 수 있다. 나아가, 로우 AER(115a)은 이벤트가 발생한 픽셀의 로우 어드레스(R_ARRD)를 생성할 수 있다.

로우 AER(115a)은 리셋 신호(RESET)가 생성되는 주기를 제어할 수 있다. 예를 들어, AER 로직은 너무 많은 이벤트들이 발생하여 워크로드가 증가하는 것을 방지하기 위해 특정한 주기 동안 이벤트가 발생하지 않도록 리셋 신호(RESET)가 생성되는 주기를 제어할 수 있다. 즉, AER 로직은 이벤트 생성의 불응기(refractory period)를 제어할 수 있다.

패킷타이저 및 입출력 회로(117a)는 타임스탬프(TS), 컬럼 어드레스(C_ADDR), 로우 어드레스(R_ADDR), 및 극성 정보(Pol)에 기초하여 패킷을 생성할 수 있다. 패킷타이저 및 입출력 회로(117a)는 패킷의 앞단에 패킷의 시작을 알리는 헤더, 뒷단에 패킷의 끝을 알리는 테일을 부가할 수 있다.

도 3b는 도 3a에 도시된 예시적인 비전 센서의 구성으로부터 출력되는 정보의 포맷을 예시적으로 보여주는 도면이다. 더 나은 이해를 돕기 위해, 도 3a를 함께 참조하기로 한다.

타임스탬프(TS)는 이벤트가 발생한 시간에 관한 정보를 포함할 수 있다. 예를 들어, 타임스탬프(TS)는 32비트로 구성될 수 있으나, 이에 한정되지 않는다.

컬럼 어드레스(C_ADDR)와 로우 어드레스(R_ADDR)는 각각 8비트로 구성될 수 있다. 그러므로, 최대 8개의 행들과 8개의 열들로 배치되는 복수의 픽셀들을 포함하는 비전 센서를 지원할 수 있다. 그러나, 이는 예시적인 것이며, 픽셀들의 개수에 따라 컬럼 어드레스(C_ADDR)와 로우 어드레스(R_ADDR)비트 수들은 다양해질 수 있다.

극성 정보(Pol)는 온-이벤트와 오프-이벤트에 관한 정보를 포함할 수 있다. 예를 들어, 극성 정보(Pol)는 온-이벤트의 발생 여부에 관한 정보를 포함하는 1 비트와, 오프-이벤트의 발생 여부에 관한 정보를 포함하는 1 비트로 구성될 수 있다. 예를 들어, 온-이벤트를 나타내는 비트와 오프-이벤트를 나타내는 비트는 모두 '1'일 수는 없으나, 모두 '0'일 수는 있다.

패킷타이저 및 입출력 회로(117a)로부터 출력되는 패킷은 타임스탬프(TS), 컬럼 어드레스(C_ADDR), 로우 어드레스(R_ADDR), 및 극성 정보(Pol)를 포함할 수 있다. 그러나, 그 배치 순서는 이에 한정되지 않는다.

도 4a는 도 2에 도시된 비전 센서(110)의 예시적인 구성을 보여주는 블록도이다. 비전 센서(110b)는 픽셀 어레이(111b), 컬럼 AER(113b), 로우 AER(115b), 제어 로직(114b), 그리고 패킷타이저 및 입출력 회로(117b)를 포함할 수 있다.

앞서 도 3a의 실시 예와는 달리, 복수의 픽셀들은 각각이 적어도 2개 이상의 픽셀들을 포함하는 복수의 그룹들로 그룹핑 될 수 있다. 예시적으로, 동일한 컬럼에 배치되는 8개의 픽셀들을 포함하는 제 K 픽셀 그룹이 도시되었다. 제 K 픽셀 그룹에 속하는 픽셀들 중 이벤트가 발생한 픽셀은 이벤트가 발생하였음을 알리는 컬럼 리퀘스트(CR)를 컬럼 AER(113b)로 전송할 수 있다.

컬럼 AER(113b)은 이벤트가 발생한 픽셀로부터 수신된 컬럼 리퀘스트(CR)에 응답하여 응답 신호(ACK)를 이벤트가 발생한 픽셀로 전송할 수 있다. 응답 신호(ACK)를 수신한 픽셀이 속하는 제 K 픽셀 그룹에 속하는 픽셀들은, 극성 정보(Pol)를 로우 AER(115b)로 전송할 수 있다. 나아가, 컬럼 AER(113b)은 이벤트가 발생한 픽셀로부터 수신된 컬럼 리퀘스트(CR)에 기초하여 이벤트가 발생한 픽셀 그룹의 컬럼 어드레스(C_ARRD)를 생성할 수 있다.

제어 로직(114b)은 로우 AER(115b)에 컬럼 어드레스(C_ADDR)를 전송할 수 있다.

로우 AER(115b)은 이벤트가 발생한 픽셀이 속하는 픽셀 그룹의 픽셀들로부터 극성 정보들(Pol(s))을 수신할 수 있다. 로우 AER(115b)은 (예시적으로, 타임 스탬퍼(116b))는 극성 정보들(Pol(s))에 기초하여, 이벤트들이 발생한 시간에 관한 정보를 포함하는 타임스탬프들(TS(s))을 생성할 수 있다. 로우 AER(115b)은 극성 정보들(Pol(s))에 응답하여 리셋 신호들(RST(s))을 이벤트가 발생한 픽셀이 속하는 픽셀 그룹의 픽셀로 각각 전송할 수 있다. 리셋 신호들(RST(s))은 제 K 픽셀 그룹에 속하는 픽셀들을 리셋시킬 수 있다. 로우 AER(115b)은 제 K 픽셀 그룹의 그룹 어드레스(GP_ARRD)를 생성할 수 있다. 로우 AER(115b)은 리셋 신호(RESET)가 생성되는 주기를 제어할 수 있다.

나아가, 로우 AER(115b)은 컬럼 어드레스(C_ADDR)에 기초하여, 이벤트가 발생한 픽셀이 속하는 그룹의 그룹 어드레스(GP_ADDR)를 생성할 수 있다. 제 K 픽셀 그룹의 그룹 어드레스(GP_ADDR)와, 제 K 픽셀 그룹에 속하는 픽셀들의 컬럼/로우 어드레스들 사이의 대응 관계는 미리 정해져 있을 수 있다. 예를 들어, 제 1 픽셀 그룹의 그룹 어드레스는, 제 1 열의 제 1 행부터 제 1 열의 제 8 행까지의 픽셀들의 어드레스들을 지시하는 것으로 미리 정해져 있을 수 있다. 그러므로, 본 실시 예와 같이, 그룹 어드레스(GP_ADDR)가 이용되는 경우, 패킷에는 별도의 컬럼 어드레스 또는 로우 어드레스가 포함되지 않을 수 있다.

패킷타이저 및 입출력 회로(117b)는 타임스탬프들(TS(s)), 컬럼 어드레스(C_ADDR), 그룹 어드레스(GP_ADDR), 및 극성 정보(Pol)에 기초하여 패킷을 생성할 수 있다.

도 4b는 도 4a에 도시된 예시적인 비전 센서의 구성으로부터 출력되는 정보의 포맷을 예시적으로 보여주는 도면이다. 더 나은 이해를 돕기 위해, 도 4a를 함께 참조하기로 한다.

패킷타이저 및 입출력 회로(117b)로부터 출력되는 패킷은 타임스탬프들(TS(s)), 그룹 어드레스(GP_ADDR), 온-이벤트 정보, 및 오프-이벤트 정보를 포함할 수 있다. 그러나, 그 배치 순서는 이에 한정되지 않는다. 온-이벤트 정보, 및 오프-이벤트 정보는 극성 정보로 일컬어질 수 있다.

타임스탬프들(TS(s))은 제 K 그룹에 속하는 각각의 픽셀에서 발생한 이벤트의 시간 정보를 포함할 수 있다. 그룹 어드레스(GP_ADDR)는 이벤트가 발생한 픽셀이 속하는 픽셀 그룹 고유의 주소를 나타낼 수 있다. 예시적으로, 그룹 어드레스(GP_ADDR)는 6비트로 구성되는 것으로 도시되었으나, 이에 한정되지 않는다. 즉, 픽셀 어레이(111b)를 구성하는 픽셀들의 개수들에 따라 그룹 어드레스(GP_ADDR)의 비트 수는 달라질 수 있다.

온-이벤트와 오프 이벤트는 각각 8비트로 구성될 수 있다. 예를 들어, 온-이벤트를 나타내는 비트들 중 첫 번째 비트는, 제 K 픽셀 그룹에 속하는 첫 번째 픽셀(예컨대, 도 4a의 픽셀들 중 '1'로 표시된 픽셀)의 이벤트 정보를 나타낼 수 있다. 유사하게, 온-이벤트를 나타내는 비트들 중 8번째 번째 비트는, 제 K 픽셀 그룹에 속하는 8번째 번째 픽셀(예컨대, 도 4a의 픽셀들 중 '8'로 표시된 픽셀)의 이벤트 정보를 나타낼 수 있다. 오프-이벤트도 유사하다.

도 5a는 도 2에 도시된 비전 센서(110)의 예시적인 구성을 보여주는 블록도이다. 비전 센서(110c)는 픽셀 어레이(111c), 컬럼 AER(113c), 제어 로직(114c), 로우 샘플러(115c), 그리고 패킷타이저 및 입출력 회로(117c)를 포함할 수 있다.

앞서 도 3a의 실시 예와는 달리, 복수의 픽셀들은 컬럼 단위로 그룹핑 될 수 있다. 예를 들어, 이벤트가 발생한 픽셀은 이벤트가 발생하였음을 알리는 컬럼 리퀘스트(CR)를 컬럼 AER(113c)로 전송할 수 있다.

컬럼 AER(113c)은 이벤트가 발생한 픽셀로부터 수신된 컬럼 리퀘스트(CR)에 응답하여 응답 신호(ACK)를 이벤트가 발생한 픽셀로 전송할 수 있다. 응답 신호(ACK)를 수신한 픽셀이 속하는 컬럼과 동일한 컬럼에 배치되는 픽셀들은, 극성 정보(Pol)를 로우 샘플러(115c)로 전송할 수 있다. 나아가, 컬럼 AER(113c)은 이벤트가 발생한 픽셀로부터 수신된 컬럼 리퀘스트(CR)에 기초하여 이벤트가 발생한 픽셀이 속하는 컬럼의 컬럼 어드레스(C_ARRD)를 생성할 수 있다.

제어 로직(114c)은 이벤트가 발생한 픽셀과 동일한 컬럼에 배치되는 픽셀들에 대한 샘플링을 로우 샘플러(115c)에 요청할 수 있다. 제어 로직(114c)은 컬럼 어드레스(C_ADDR)를 전송할 수 있다.

로우 샘플러(115c)는 이벤트가 발생한 픽셀과 동일한 컬럼에 배치되는 픽셀들로부터 극성 정보들(Pol(s))을 수신할 수 있다. 로우 샘플러(115c)는 (예시적으로, 타임 스탬퍼(116c))는 극성 정보들(Pol(s))에 기초하여, 이벤트들이 발생한 시간에 관한 정보를 포함하는 타임스탬프들(TS(s))을 생성할 수 있다. 로우 샘플러(115c)는 극성 정보들(Pol(s))에 응답하여 이벤트가 발생한 픽셀과 동일한 컬럼에 배치되는 픽셀들에 리셋 신호들(RST(s))을 각각 전송할 수 있다. 리셋 신호들(RST(s))은 이벤트가 발생한 픽셀과 동일한 컬럼에 배치되는 픽셀들을 리셋시킬 수 있다. 로우 샘플러(115c)는 리셋 신호(RESET)가 생성되는 주기를 제어할 수 있다.

도 5b는 도 5a에 도시된 예시적인 비전 센서의 구성으로부터 출력되는 정보의 포맷을 예시적으로 보여주는 도면이다. 더 나은 이해를 돕기 위해, 도 5a를 함께 참조하기로 한다.

패킷타이저 및 입출력 회로(117c)로부터 출력되는 패킷은 타임스탬프들(TS(s)), 컬럼 어드레스(C_ADDR), 온-이벤트 정보, 및 오프-이벤트 정보를 포함할 수 있다. 그러나, 그 배치 순서는 이에 한정되지 않는다.

온-이벤트와 오프 이벤트는 각각 M비트로 구성될 수 있다. 예를 들어, 온-이벤트를 나타내는 비트들 중 첫 번째 비트는, 이벤트가 발생한 픽셀과 동일한 컬럼에 배치되는 픽셀들 중 1행의 픽셀의 이벤트 정보를 나타낼 수 있다. 유사하게, 온-이벤트를 나타내는 비트들 중 M번째 번째 비트는, 이벤트가 발생한 픽셀과 동일한 컬럼에 배치되는 픽셀들 중 M행의 픽셀의 이벤트 정보를 나타낼 수 있다. 오프-이벤트도 유사하다.

도 6a는 도 2에 도시된 비전 센서(110)의 예시적인 구성을 보여주는 블록도이다. 비전 센서(110d)는 픽셀 어레이(111d), 컬럼 스캐너(113d), 제어 로직(114d), 로우 샘플러 (115d), 그리고 패킷타이저 및 입출력 회로(117d)를 포함할 수 있다.

앞선 실시 예들과는 달리, 이벤트가 발생한 픽셀은 이벤트가 발생하였음을 알리는 신호(예컨대, 컬럼 리퀘스트)를 컬럼 스캐너(113d)로 전송하지 않을 수 있다. 그리고, 앞선 실시 예들과는 달리, 본 실시 예에서 픽셀들은 그룹화되지 않는다.

컬럼 스캐너(113d)는 픽셀 어레이(111d)의 1열부터 N행까지 순차적으로 그리고 주기적으로 스캔할 수 있다. 그리고, 컬럼 스캐너(113d)는 스캐닝하는 컬럼의 컬럼 어드레스(C_ADDR)를 생성하여 제어 로직(114d)으로 전송할 수 있다.

제어 로직(114d)은 컬럼 스캐너(113d)에 의해 스캐닝 되는 컬럼에 배치되는 픽셀들에 대한 샘플링을 로우 샘플러(115d)에 요청할 수 있다. 나아가, 제어 로직(114d)은 스캐닝 되는 컬럼의 컬럼 어드레스(C_ADRR)를 로우 샘플러(115d)로 전송할 수 있다.

로우 샘플러(115d)는 스캐닝되는 컬럼에 배치되는 픽셀들로부터 극성 정보들(Pol(s))을 수신할 수 있다. 로우 샘플러(115d)는 (예시적으로, 타임 스탬퍼(116d))는 극성 정보들(Pol(s))에 기초하여, 이벤트들이 발생한 시간에 관한 정보를 포함하는 타임스탬프들(TS(s))을 생성할 수 있다. 로우 샘플러(115d)는 극성 정보들(Pol(s))에 응답하여 스캐닝 되는 컬럼에 배치되는 픽셀들에 리셋 신호들(RST(s))을 각각 전송할 수 있다. 리셋 신호들(RST(s))은 스캐닝 되는 컬럼에 배치되는 픽셀들을 리셋시킬 수 있다. 로우 샘플러(115d)는 리셋 신호(RESET)가 생성되는 주기를 제어할 수 있다.

도 6b는 도 6a에 도시된 예시적인 비전 센서의 구성으로부터 출력되는 정보의 포맷을 예시적으로 보여주는 도면이다. 더 나은 이해를 돕기 위해, 도 6a를 함께 참조하기로 한다.

패킷타이저 및 입출력 회로(117d)로부터 출력되는 패킷은 픽셀 어레이(111d)에서 발생한 모든 이벤트들과 관련된 정보를 포함할 수 있다. 예를 들어, 패킷은 제 1 컬럼과 관련된 정보 내지 제 N 컬럼과 관련된 정보를 포함할 수 있다. 도시의 간략화를 위해, 패킷타이저 및 입출력 회로(117d)로부터 출력되는 패킷 중, 제 1 컬럼과 관련된 정보와, 제 N 컬럼과 관련된 정보가 도시되었다.

우선, 패킷 중, 제 1 열과 관련된 부분은 타임스탬프들(TS(s)), 제 1 컬럼 어드레스(1st C_ADDR), 온-이벤트 정보, 및 오프-이벤트 정보를 포함할 수 있다. 그러나, 그 배치 순서는 이에 한정되지 않는다.

타임스탬프들(TS(s))은 제 1 열에 배치되는 픽셀들에서 발생한 이벤트들의 시간 정보를 포함할 수 있다. 온-이벤트와 오프 이벤트는 각각 M비트로 구성될 수 있다. 예를 들어, 온-이벤트를 나타내는 비트들 중 첫 번째 비트는, 제 1 열의 1 행의 픽셀의 이벤트 정보를 나타낼 수 있다. 유사하게, 온-이벤트를 나타내는 비트들 중 M번째 번째 비트는, 제 1 열의 제 M 행의 픽셀의 이벤트 정보를 나타낼 수 있다. 오프-이벤트도 이와 유사하다.

상술된 구성은, 패킷 중, 제 2 열에 대응하는 부분 내지 제 N 열에 대응하는 부분에도 동일하게 적용될 수 있을 것이다. 그러므로, 상세한 설명은 생략하기로 한다.

도 7a는 도 2에 도시된 비전 센서(110)의 예시적인 구성을 보여주는 블록도이다. 도 7b는 도 7a의 비전 센서로부터 출력되는 프레임의 예시적인 포맷을 개념적으로 보여주는 도면이다.

비전 센서(110e)는 픽셀 어레이(111e), 컬럼 스캐너(113e), 제어 로직(114e), 로우 샘플러 (115e), 그리고 프레임 생성기 및 입출력 회로(117e)를 포함할 수 있다. 비전 센서(110e)의 구성 및 동작은 앞서 도 6a를 통하여 설명된 비전 센서와 대체로 유사하다. 그러므로, 중복되는 설명은 생략하기로 한다. 다만, 비전 센서(110e)는 비동기식 기반의 패킷을 생성하는 대신에, 동기식 기반의 프레임을 생성하도록 구성될 수 있다.

예를 들어, 프레임 생성기 및 입출력 회로(117e)는 컬럼 스캐너(113e) 및 로우 샘플러 (115e)에 의해 주기적으로 획득되는 극성 정보들(TS(s)), 컬럼 어드레스들(C_ADDR(s)), 로우 어드레스들(R_ADDR(s)), 및 극성 정보들(Pol(s))을 이용하여 프레임을 생성할 수 있다.

예를 들어, 컬럼 스캐너(113e)가 일정한 주기를 가지고 픽셀 어레이(111e)를 스캔하는 경우, 프레임 생성기 및 입출력 회로(117e)에 의해 생성되는 프레임들도 주기적으로 생성될 것이다. 그러므로, 비전 센서(110e)는 동기식으로 동작할 수 있다. 실시 예에 있어서, 비전 센서(110e)가 동기식으로 동작하는 경우, 로우 샘플러(115e)는 리셋 신호(RESET)가 생성되는 주기를 제어할 수 있다. 예를 들어, 프레임 레이트(frame rate)가 60 frames/sec라면, 리셋 신호(RST)의 생성 주기는 1/60 초일 수 있다.

그러나, 프레임을 기반으로 하는 비전 센서(110e)가 항상 동기식으로 동작하는 것은 아니다. 예를 들어, 발생하는 이벤트들의 양은 매번 다를 수 있다. 예를 들어, 어떤 프레임은 매우 작은 양의 이벤트들을 포함하는 반면, 다른 프렘임은 상당히 많은 양의 이벤트들을 포함할 수 있다. 예컨대, 발생하는 이벤트들의 양이 적다면, 리셋 신호(RST)의 생성 주기를 줄여 프레임 생성 속도를 증가시킬 수 있다. 반면, 발생하는 이벤트들의 양이 많다면, 리셋 신호(RST)의 생성 주기를 늘려 프레임 생성 속도를 감소시킬 수 있다. 이 경우, 프레임의 생성 주기는 수시로 변화할 수 있으므로, 프레임들은 비동기식으로 출력될 수 있다.

이상 도 2에 도시된 이벤트 감지 회로(112)의 몇몇 예들이 도 3a 내지 도 7a를 통하여 예시적으로 설명되었다. 그러나, 이러한 실시 예들은 픽셀 어레이를 통해 감지된 이벤트들이 다양한 방법으로 처리될 수 있다는 것을 의미할 뿐이며, 본 명세서를 통하여 설명되는 기술 사상이 이러한 구성들에 한정되지는 않는다.

도 8은 도 3a 내지 7b에 도시된 픽셀의 구성을 개략적으로 보여주는 블록도이다. 픽셀(PX)은 센싱 유닛(118)과 인-픽셀 회로(119)를 포함할 수 있다. 어떤 실시 예에서, 센싱 유닛(118)은 빛의 변화를 감지하는 기능 블록으로 일컬어질 수 있다. 그리고 인-픽셀 회로(119)는 감지된 빛의 변화를 아날로그 신호 또는 디지털 신호로써 처리하는 기능 블록으로 일컬어질 수 있다. 예를 들어, 인-픽셀 회로(119)는 아날로그 회로, 디지털 회로 또는 이들의 조합으로 구성될 수 있다.

도 9는 도 8에 도시된 픽셀의 구성을 예시적으로 보여주는 회로도이다. 픽셀은 센싱 유닛(118) 및 인-픽셀 회로(119)를 포함할 수 있다.

센싱 유닛(118)은 포토 다이오드(PD)를 포함할 수 있다. 포토 다이오드(PD)는 빛 에너지를 전기 에너지로 변화시킬 수 있다. 즉, 빛의 세기 변화에 의해 전기 에너지도 변화하며, 변화하는 전기 에너지를 감지함으로써 이벤트의 발생 여부가 판단될 수 있다.

인-픽셀 회로(119)는 커패시터(C), 차동 증폭기(DA), 비교기(CMP), 및 읽기 회로(Readout Circuit)를 포함할 수 있다. 인-픽셀 회로(119)는 전원을 공급하기 위한 트랜스퍼 게이트 트랜지스터(TG) 및 하나의 이벤트에 대한 처리가 완료된 후 픽셀을 리셋시키기 위한 스위치(SW)를 더 포함할 수 있다.

커패시터(C)는 포토 다이오드(PD)에 의해 생성된 전기 에너지를 저장할 수 있다. 예를 들어, 커패시터(C)의 정전 용량은 하나의 픽셀에서 연속하여 발생할 수 있는 두 이벤트들 사이의 최단 시간(예컨대, 불응기(refractory period))를 고려하여 적절하게 선택될 수 있다.

스위치(SW)가 리셋 신호(RESET)에 의해 스위칭-온 되면, 커패시터(C)에 저장된 전하가 방전됨으로써, 픽셀이 초기화될 수 있다. 예를 들어, 리셋 신호(RST)는 도 3a 내지 도 7a를 통하여 설명된 로우 AER(도 3a, 4a), 로우 샘플러(도 5a, 6a, 7a) 등으로부터 수신될 수 있다.

차동 증폭기(DA)는 포토 다이오드(PD)에 저장된 전하에 의한 전압 레벨을 증폭시킬 수 있다. 이는 비교기(CMP)에 의해 수행되는, 이벤트의 타입을 판단 동작을 용이하게 하기 위함이다.

비교기(CMP)는 차동 증폭기(FA)의 출력 전압과 기준 전압(Vref)의 레벨을 비교하여, 픽셀에 발생한 이벤트가 온-이벤트인지 또는 오프-이벤트인지 여부를 판단할 수 있다. 예를 들어, 빛의 세기가 증가하는 경우, 비교기(CMP)는 온-이벤트임을 나타내는 신호(ON)를 출력할 수 있다. 반대로, 빛의 세기가 감소하는 경우, 비교기(CMP)는 오프-이벤트임을 나타내는 신호(OFF)를 출력할 수 있다.

읽기 회로는 픽셀에서 발생한 이벤트에 관한 정보(즉, 온-이벤트 인지 또는 오프-이벤트 인지)를 전송할 수 있다. 극성 정보로 일컬어지는, 온-이벤트 정보 또는 오프-이벤트 정보는 도 3a 내지 도 7a를 통하여 설명된 로우 AER(도 3a, 4a), 로우 샘플러(도 5a, 6a, 7a) 등으로 전송될 수 있다.

본 실시 예에서 도시된 픽셀의 구성은 예시적인 것이다. 즉, 빛의 변화를 감지하는 구성(예컨대, 포토 다이오드), 전기 에너지를 저장하는 구성(예컨대, C), 저장된 전기 에너지로부터 발생한 이벤트의 타입을 판단하는 구성(예컨대, CMP), 및 이벤트에 관한 가장 기초적인 정보를 생성하는 구성(예컨대, 읽기 회로)의 예를 도시한 것이며, 빛의 세기의 변화를 감지하여 이벤트의 타입을 판단하는 다양한 구성의 픽셀들이 본 발명에 적용될 수 있다.

도 10a는 도 1 내지 도 9를 통하여 설명된 이미지 처리 장치의 반도체 패키지를 보여주는 단면도이다. 도 10a를 참조하면, 반도체 패키지(10)는 하부 패키지(11), 및 상부 패키지(15)를 포함할 수 있다.

하부 패키지(11)는 하부 기판(12) 및 하부 반도체 칩(13)을 포함할 수 있다. 예를 들어, 하부 반도체 칩(13)은 도 3a 내지 도 7a의 비전 센서의 구성 요소들 중 픽셀 어레이를 제외한 구성 요소들(예컨대, 113a, 115a, 117a, 113b, 114b, 115b, 117b, 113c, 114c, 115c, 117c, 113d, 114d, 115d, 117d, 113e, 114e, 115e, 117e) 및 도 9의 인-픽셀 회로(119)를 포함할 수 있다. 하부 패키지(11)는 하부 반도체 칩(13)이 하부 기판(12)상에 페이스 다운(face down) 실장되는 플립 칩 소자일 수 있다.

하부 기판(12)은 회로 패턴을 갖는 인쇄회로기판(PCB)일 수 있다. 하부 기판(12)의 하면에 제공되는 외부 단자는 외부 단자는 상부 반도체 칩(17) 및/또는 하부 반도체 칩(13)을 외부 전기 장치(미도시)와 전기적으로 연결시킬 수 있다. 예를 들어, 상부 반도체 칩(17)과 외부 단자는 내부 배선들 및/또는 TSV (through silicon via)를 통하여 전기적으로 연결될 수 있다. 예를 들어, TSV가 제공되는 경우, 상부 반도체 칩(17)이 실장되는 상부 기판(16)은 생략될 수 있다.

하부 반도체 칩(13)이 하부 기판(12) 상에 실장될 수 있다. 하부 반도체 칩(13)은 몰딩막(미도시)에 의하여 밀봉될 수 있다. 몰딩막은 에폭시 몰딩 컴파운드(epoxy molding compound)와 같은 절연성 고분자 물질을 포함할 수 있다.

상부 패키지(15)는 상부 기판(16) 및 상부 반도체 칩(17)을 포함할 수 있다. 예를 들어, 상부 반도체 칩(17)은 도 3의 센싱 유닛(118)을 포함할 수 있다. 즉, 상부 반도체 칩(17)은 도 2의 픽셀 어레이(111) 중 빛의 변화를 감지하는 구성 요소(예컨대, 포토 다이오드)로 구성될 수 있다.

상부 기판(16)은 회로 패턴을 갖는 인쇄회로기판(PCB)일 수 있다. 상부 반도체 칩(17)은 몰딩막(미도시)에 의해 밀봉될 수 있다.

도 10b는 도 1 내지 도 9를 통하여 설명된 이미지 처리 장치의 반도체 패키지를 보여주는 단면도이다. 10b를 참조하면, 반도체 패키지(20)는 하부 패키지(21), 및 상부 패키지(22)를 포함할 수 있다. 하부 패키지(21)는 하부 기판(22) 및 하부 반도체 칩(23)을 포함할 수 있다. 상부 패키지(25)는 상부 기판(26) 및 상부 반도체 칩(27)을 포함할 수 있다. 본 실시 예의 반도체 패키지는, 와이어 본딩 방식에 의해 패키징 된다는 것을 제외하고는, 도 10a를 통하여 설명된 반도체 패키지와 대체로 유사하다. 그러므로, 상세한 설명은 생략하기로 한다.

도 10c는 도 1 내지 도 9를 통하여 설명된 이미지 처리 장치의 반도체 패키지를 보여주는 단면도이다. 도 10c를 참조하면, 반도체 패키지(30)는 패키지 기판(31), 제 1 반도체 칩(33), 제 2 반도체 칩 (35), 및 제 3 반도체 칩 (37)를 포함할 수 있다. 본 실시 예의 반도체 패키지는, 메모리 장치를 포함하는 반도체 칩이 더 패키징 된다는 것을 제외하고는, 도 10a를 통하여 설명된 반도체 패키지와 대체로 유사하다. 그러므로, 중복되는 설명은 생략하기로 한다.

제 1 반도체 칩(33)은 메모리를 포함할 수 있다. 제 1 반도체 칩(33)으로 구현되는 메모리에는 본 발명의 이미지 처리 장치가 동작을 수행하는데 필요한 데이터가 저장될 수 있다. 예를 들어, 제 1 반도체 칩(33)으로 구현되는 메모리에는 이미지 처리 장치가 처리하는 데이터 등이 저장될 수 있다. 예를 들어, 제 1 반도체 칩(33)은 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.

제 2 반도체 칩(35)은 도 3a 내지 7a의 비전 센서의 구성 요소들 중 픽셀 어레이를 제외한 구성 요소들(예컨대, 113a, 115a, 117a, 113b, 114b, 115b, 117b, 113c, 114c, 115c, 117c, 113d, 114d, 115d, 117d, 113e, 114e, 115e, 117e) 및 도 9의 인-픽셀 회로(119)를 포함할 수 있다. 제 3 반도체 칩(37)은 도 3a 내지 7b의 비전 센서의 구성 요소들 중 픽셀 어레이(111a, 111b, 111c, 111d, 111e)를 포함할 수 있다.

도 10d는 도 1 내지 도 9를 통하여 설명된 이미지 처리 장치의 반도체 패키지를 보여주는 단면도이다. 도 10d를 참조하면, 반도체 패키지(40)는 패키지 기판(41), 제 1 반도체 칩(43), 제 2 반도체 칩(45), 및 제 3 반도체 칩(47)를 포함할 수 있다. 예를 들어, 제 1 반도체 칩(43), 제 2 반도체 칩(45), 및 제 3 반도체 칩(47)은 도 10c에 도시된 제 2 반도체 칩(35), 제 1 반도체 칩(33), 및 제 3 반도체 칩(37)에 각각 대응할 수 있다. 즉, 반도체 칩들이 적층되는 순서를 제외하고는, 본 실시 예는 도 10c를 통하여 설명된 실시 예와 대체로 유사하다. 그러므로 중복되는 설명은 생략하기로 한다.

도 11은 도 1에 도시된 프로세서(120)의 동작을 예시적으로 보여주는 블록도이다. 프로세서(120) 외에도, 메모리(130)가 함께 도시되었다. 예를 들어, 메모리(130)는 도 10c 또는 10d에 도시된 제 1 반도체 칩(33) 또는 제 2 반도체 칩(45)으로 구현되는 메모리일 수 있다. 또는, 메모리(130)는 프로세서(120)와 함께 구비되는 버퍼 또는 캐시 메모리일 수 있다. 프로세서(120)는 타임스탬프 재생성기(122)를 포함할 수 있다. 설명의 이해를 돕기 위해 도 1 내지 도 9를 함께 참조하여 설명하기로 한다.

메모리(130)는 비전 센서(110)로부터 수신된 패킷 또는 프레임을 저장할 수 있다. 예를 들어, 패킷 또는 프레임은, 앞서 도 3b 내지 7b를 통하여 설명한 바와 같이, 타임스탬프(TS), 컬럼 어드레스(C_ADDR), 로우 어드레스(R_ADDR), 그룹 어드레스(GP_ADDR), 그리고 온-이벤트 정보 및 오프-이벤트 정보를 포함하는 극성 정보(Pol) 중 일부를 포함할 수 있다.

프로세서(120)는 타임스탬프(TS), 어드레스(ADDR) 및 극성 정보(Pol)를 이용하여 온-이벤트 맵과 오프-이벤트 맵을 생성할 수 있다. 온-이벤트 맵과 오프-이벤트 맵은 메모리(130)에 저장될 것이다. 온-이벤트 맵은 빛의 세기가 증가하는 온-이벤트가 발생한 픽셀들의 좌표 및 이벤트가 발생한 시간 정보를 포함할 것이다. 온-이벤트 맵의 Ti-1, j에서 i-1, j는 픽셀 어레이(111)를 구성하는 픽셀의 좌표를 나타내고, T는 온-이벤트가 발생한 시간을 나타낸다. 오프-이벤트의 경우도 유사할 것이다.

타임스탬프 재생성기(122)는 인접하는 픽셀들의 타임스탬프들의 시간적 상관관계(temporal correlation)를 이용하여 노이즈 픽셀(noise pixel), 핫픽셀(hot pixel), 또는 데드 픽셀(dead pixel) 등과 같은 불량 픽셀에서 발생한 이벤트의 타임스탬프를 재생성할 수 있다. 타임스탬프를 재성성하는 스킴은 아래에서 상세하게 후술될 것이다.

도 12는 도 11에 도시된 타임스탬프 재생성기(122)가 노이즈 픽셀 또는 핫 픽셀의 타임스탬프를 재생성하는 것을 개념적으로 보여주는 도면이다. 예시적으로, 도 11에 도시된 온-이벤트 맵 또는 오프-이벤트 맵의 일부로써 3×3 (three by three)으로 배치된 9개의 픽셀들의 타임스탬프들이 도시되었다. 타임 스탬프 '1'로 마킹된 이벤트는 제 1 시구간(time period) 동안 발생한 이벤트를 나타낼 수 있으며, 타임 스탬프 '2'로 마킹된 이벤트는 제 2 시구간 동안 발생한 이벤트를 나타낼 수 있다. 설명의 이해를 돕기 위해, 도 1 내지 도 11을 함께 참조하여 설명하기로 한다.

9개의 픽셀들 중 2행 2열에 배치된, 빗금쳐진 픽셀은 타깃 픽셀을 나타낸다. 본 실시 예에서 언급되는 노이즈 픽셀이란, 픽셀 자체 또는 픽셀 외부에서 발생하는 노이즈로 인하여 실제로 이벤트가 발생하지 않았음에도 이벤트가 발생한 것으로 표시되는 픽셀을 말한다. 그리고 핫 픽셀이란 픽셀 자체의 하자로 인하여 항상 이벤트가 발생하는 것으로 표시되는 픽셀을 말한다. 실제로 이벤트가 발생하지 않았음에도 이벤트가 발생한 것으로 표시된다는 점에서 노이즈 픽셀과 핫 픽셀은 서로 유사하므로, 본 명세서에서 유사하게 취급하기로 한다.

프로세서(120)는 타깃 픽셀과 타깃 픽셀 주위의 8개의 픽셀들의 타임스탬프들을 관찰하여 타깃 픽셀에서 발생한 이벤트와 타깃 픽셀 주위의 픽셀들에서 발생한 이벤트들의 시간적 상관관계(temporal correlation)를 판단할 수 있다. 예를 들어, 타깃 픽셀에서 제 1 시구간 동안 제 1 이벤트가 발생하고, 기준 시간이 경과한 후에, 타깃 픽셀 주위의 인접 픽셀들에서 제 2 시구간 동안 제 2 이벤트가 발생하였다면, 제 1 이벤트와 제 2 이벤트는 시간적 상관관계가 약한 것으로 일컬어질 수 있다. 본 실시 예에서 "인접 픽셀들"은 타깃 픽셀 주위의 8개의 픽셀을 지칭하기 위해 언급될 수 있다.

프로세서(120)는 시간적 상관관계에 기반하여 타임스탬프들을 적절하게 그룹핑할 수 있다. 프로세서(120)는 1행 3열에 배치된 타임스탬프 '1'로 마킹된 픽셀을 제 1 그룹으로 그룹핑할 수 있다. 이하, 본 명세서에서 x행 및 y열에 배치되는 픽셀을 설명함에 있어서, x행 및 y열을 [x, y]로 표기하기로 한다. [1, 2] 및 [2, 3]에 배치된 픽셀들은 타임스탬프 '2'를 가지므로, 타깃 픽셀에서 발생한 이벤트와, [1, 2] 및 [2, 3]에 배치된 픽셀들에서 발생한 이벤트들은 동일한 시간적 상관관계를 갖는다. 그러므로, 프로세서(120)는 [1, 2] 및 [2, 3]에 배치된 픽셀들을 제 2 그룹으로 그룹핑할 수 있다. [1, 1], [2, 2], [3, 3]에 배치된 픽셀들은 타임스탬프 '0'을 가지므로, 타깃 픽셀에서 발생한 이벤트와, [1, 1], [2, 2], [3, 3]에 배치된 픽셀들에서 발생한 이벤트들은 동일한 시간적 상관관계를 갖는다. 그러므로, 프로세서(120)는 [1, 1], [2, 2], [3, 3]에 배치된 픽셀들을 제 3 그룹으로 그룹핑할 수 있다.

프로세서(120)는 분류된 그룹들에 기초하여 오브젝트의 아웃라인을 판단할 수 있다. 예를 들어, [1, 2], [2, 3]에 배치된 타임스탬프 '2'로 마킹된 픽셀들의 어드레스들과, [1, 1], [2, 2], [3, 3]에 배치된 타임스탬프 '0'으로 마킹된 픽셀들의 어드레스들에 기초하여, 개략적으로 좌상에서 우하 방향으로 향하는 오브젝트의 아웃라인이 판단될 수 있다.

나아가, 프로세서(120)는 분류된 그룹의 타임스탬프에 기초하여 오브젝트의 이동 방향을 판단할 수 있다. 예를 들어, 프로세서(120)는, 제 1 그룹에 속하는 픽셀의 타임스탬프가 '1'이고, 제 2 그룹에 속하는 픽셀들의 타임스탬프들이 '2'인 것에 기초하여, 오브젝트가 우상으로부터 좌하 방향으로 이동하는 것으로 판단할 수 있다. 또한, 프로세서(120)는 오브젝트의 이동 방향과 그룹핑된 타임스탬프들의 위치들 및/또는 값들을 참조하여 오브젝트의 속도 및/또는 가속도를 판단할 수 있다.

또는, 프로세서(120)는 분류된 그룹의 타임스탬프에 기초하여 비전 센서(110)의 이동 방향을 판단할 수 있다. 이는, 오브젝트는 정지하고 있고, 비전 센서(110)가 좌하로부터 우상 방향으로 이동하는 경우에도 도 12에 도시된 것과 동일한 타임스탬프가 얻어질 수 있기 때문이다. 이 경우 프로세서(120)는 비전 센서(110)의 이동 방향과 그룹핑된 타임스탬프들의 위치들 및/또는 값들을 참조하여 비전 센서(110)의 속도를 판단할 수 있다. 그러나, 이는 상대성에 기인하는 것일 뿐, 비전센서(110)만 움직이거나, 오브젝트와 비전센서(110) 모두 움직이는 경우에도 본 발명은 동일하게 적용될 수 있다.

프로세서(120)는 타깃 픽셀에서 발생한 이벤트와, 타깃 픽셀이 속하는 그룹 3에 포함된 픽셀들에서 발생한 이벤트들 사이의 시간적 상관관계를 판단할 수 있다. 예를 들어, 타깃 픽셀과 [1, 1], [3, 1]에 배치된 픽셀들에서 발생한 이벤트들의 타임스탬프는 모두 '0'이므로, 프로세서(120)는 이벤트의 발생이 종료한 것으로 판단할 수 있다.

나아가, 프로세서(120)는 타깃 픽셀에서 발생한 이벤트와, [3, 1]에 배치된 픽셀에서 발생한 이벤트의 시간적 상관관계를 판단할 수 있다. 그러나, 오브젝트가 우상으로부터 좌하 방향으로 움직이고 있다는 것과, 제 2 그룹에 속하는 픽셀들에서 발생한 이벤트에 타임스탬프 '2'가 마킹된 후, 이벤트의 발생이 종료하였음을 고려하면, 타깃 픽셀에서 발생한 이벤트와 [3, 1]에 배치된 픽셀에서 발생한 이벤트의 시간적 상관관계는 매우 낮을 것이다. 즉, [3, 1]에 배치된 픽셀에서 발생한 이벤트는 노이즈 또는 픽셀 자체의 하자(즉, 핫 픽셀)에 기인할 가능성이 크다. 결국, 프로세서(120)는 시간적 상관관계에 기초하여 [3, 1]에 배치된 픽셀을 노이즈 픽셀 또는 핫픽셀로 판단할 수 있다.

타임스탬프 재생성기(122)는 노이즈 픽셀 또는 핫 픽셀로 판단된 픽셀의 타임스탬프(즉, 4)를 타깃 픽셀의 타임스탬프(즉, 0)로 대체할 수 있다. 즉, 타임스탬프 재생성기(122)는 메모리(130)에 저장된 온-이벤트 맵 또는 오프-이벤트 맵의 타임스탬프를 업데이트할 수 있다.

다만, 오브젝트 (또는 비전 센서)의 움직임 방향을 고려했을 때, 도 12에 도시된 [3, 1]에 배치된 픽셀의 타임스탬프는 갑자기 '4'로 마킹 되었으므로, 이는 픽셀 자체의 하자에 의한 비정상적인 이벤트에 기인하는 것임을 알 수 있다. 그러나, 타임스탬프가 정상적인 이벤트의 발생에 기인하는 것인지, 아니면 노이즈 픽셀 또는 핫 픽셀에 기인하는 것인지 판단하기 어려운 경우가 있을 수 있다. 이러한 경우에 타임스탬프 재생성기(122)의 동작은 도 13, 14를 통하여 설명하기로 한다.

도 13은 본 발명의 타임스탬프 재생성기(122)가 노이즈 픽셀 또는 핫 픽셀을 판단하는 것을 개념적으로 보여주는 도면이다. 앞서 도 12를 통하여 설명된 실시 예와 달리, 노이즈 픽셀 또는 핫 픽셀을 보다 정확하게 판단하기 위해, 타깃 픽셀 주위의 인접 픽셀들이 고려될 수 있다. 본 실시 예에서 "인접 픽셀들"은 타깃 픽셀 주위의 24개의 픽셀을 지칭하기 위해 언급될 수 있다.

프로세서(120)는 타깃 픽셀과 타깃 픽셀 주위의 24개의 픽셀들의 타임스탬프들을 관찰하여 시간적 상관관계를 판단할 수 있다. 앞서 도 12를 통하여 설명된 것과 유사하게, 타임스탬프 '1'로 마킹된 이벤트가 발생한 픽셀은 그룹 1로 그룹핑될 수 있고, 타임스탬프 '2'로 마킹된 이벤트가 발생한 픽셀들은 그룹 2로 그룹핑될 수 있고, 타임스탬프 '3'으로 마킹된 이벤트가 발생한 픽셀들은 그룹 3으로 그룹핑될 수 있다.

프로세서(120)는 제 2 그룹에 속하는 픽셀들이 타임스탬프 '2'를 갖는다는 것과, 제 3 그룹에 속하는 픽셀들이 타임스탬프 '3'을 갖는다는 것에 기초하여, 오브젝트의 아웃라인을 판단할 수 있다. 나아가, 프로세서(120)는 제 1 내지 제 3 그룹들에 속하는 타임스탬프들에 기초하여, 오브젝트가 우상으로부터 좌하 방향으로 이동하는 것으로 판단할 수 있다.

프로세서(120)는 타깃 픽셀에서 발생한 이벤트와 제 1 내지 제 3 그룹에 속하는 픽셀들에서 발생한 이벤트 사이의 시간적 상관관계를 판단할 수 있으며, 제 3 그룹에 속하는 픽셀들에서 이벤트들이 발생한 후 이벤트의 발생이 종료하였다고 판단할 수 있다.

나아가, 프로세서(120)는 타깃 픽셀에서 발생한 이벤트와 [4, 2]에 배치된 픽셀에서 발생한 이벤트의 시간적 상관관계를 판단할 수 있다. 만일, 앞서 도 12를 통하여 설명된 실시 예와 같이, 프로세서(120)가 타깃 픽셀 주위의 8개의 픽셀들의 타임스탬프들만 고려한다면, [4, 2]에 배치된 픽셀의 타임스탬프 '2'는 노이즈 픽셀 또는 핫 픽셀에 기인하는 것으로 판단될 가능성이 있다.

그러나, 프로세서(120)는 [4, 2]에 배치된 픽셀이 노이즈 픽셀 또는 핫 픽셀로 잘못 판단되는 것을 방지하기 위해, [4, 1], [5, 2] 및 [5, 1]에 배치된 타임스탬프들을 더 관찰할 수 있다. 도 13에 도시된 타임스탬프들에 의하면, [4, 2], [4, 1], [5, 2] 및 [5, 1]에 배치된 픽셀들에서 새로운 이벤트가 발생하였다고 봄이 타당하다, 오히려, 오브젝트가 움직이는 방향성을 방향을 고려하면, [3, 3]에 배치된 타깃 픽셀이 데드 픽셀일 가능성이 있을 수 있다.

결론적으로, 타깃 픽셀이 데드 픽셀인지 여부는 별론으로 하더라도, [4, 2]에 배치되는 픽셀은 노이즈 픽셀 또는 핫 픽셀로 판단되어서는 안된다. 프로세서(120)는, 관찰하는 픽셀들의 범위를 확장함으로써, [4, 2]에 배치되는 픽셀을 노말 픽셀로 판단할 수 있다. 이 경우, 타임스탬프 재생성기(122)는 동작하지 않을 것이다.

도 14는 본 발명의 프로세서(120)가 노이즈 픽셀 또는 핫 픽셀을 판단하는 것을 개념적으로 보여주는 도면이다. 앞서 도 13과 유사하게, 타깃 픽셀 주위의 24개의 픽셀들을 고려될 수 있다.

프로세서(120)는 앞선 실시 예들과 유사하게 픽셀들을 그룹핑할 수 있다. 프로세서(120)는 타깃 픽셀에서 발생한 이벤트와 타깃 픽셀 주위의 픽셀들에서 발생한 이벤트들 사이의 시간적 상관관계들을 고려하여, 오브젝트의 아웃라인 및 오브젝트가 우상에서 좌하 방향으로 움직인다는 것을 판단할 수 있다.

프로세서(120)는 [4, 2]에 배치되는 픽셀의 타임스탬프 외에도, [4, 1], [5, 2] 및 [5, 1]에 배치되는 픽셀들의 타임스탬프들을 더 관찰하여 시간적 상관관계를 판단할 수 있다. 예컨대, 타깃 픽셀에서 발생한 이벤트의 타임스탬프는 '0'이고 [4, 2]에 배치된 픽셀들에서 발생한 이벤트들의 타임스탬프는 '1'이므로, 타깃 픽셀에서 발생한 이벤트와 [4, 2]에 배치된 픽셀에서 발생한 이벤트 사이에는 어느 정도 시간적 상관관계가 있다. 즉, 프로세서(120)는 [4, 2]에 배치된 픽셀에서 아주 작은 오브젝트의 미세한 움직임에 기인하는 이벤트가 발생하였다고 판단할 수 있다.

그러나, 특수한 경우, [4, 2]에 배치된 픽셀에서 감지된 이벤트는 아주 미세한 노이즈에 의한 것이거나 픽셀 자체의 하자(핫 픽셀)에 기인하는 것일 수도 있다. 그러므로, 프로세서(120)는, [4, 2]에 배치되는 픽셀과 인접한 8개의 픽셀들의 타임스탬프들은 모두 '0'이므로, [4, 2]에 배치되는 픽셀에서 아주 미세한 노이즈가 발생한 것으로 판단할 수도 있다.

타임스탬프 재생성기(122)는 프로세서(120)의 판단에 기초하여 [4, 2]에 배치되는 픽셀의 타임스탬프를 '0'으로 대체할 수 있다. [4, 2]에 배치되는 픽셀이 노이즈 픽셀 또는 핫 픽셀이라면 타임스탬프는 마땅히 '0'으로 대체되어야 하기 때문이다. 설사, [4, 2]에 배치되는 픽셀에서 아주 작은 오브젝트의 미세한 움직임에 기인하는 이벤트라 하더라도, 이벤트가 발생하지 않은 것으로 간주하거나 또는 근사화(approximation)가 가능할 것이기 때문이다.

도 15는 본 발명의 타임스탬프 재생성기(122)가 노이즈 픽셀 또는 핫 픽셀의 타임스탬프를 재생성하는 것을 개념적으로 보여주는 도면이다.

프로세서(120)는 앞서 설명된 실시 예들과 유사하게 타임스탬프들을 적절하게 그룹핑할 수 있다. 프로세서(120)는 오브젝트가 움직이는 방향을 판단할 수 있으며, 타깃 픽셀에서 발생한 이벤트와 타깃 픽셀 주위의 픽셀들에서 발생한 이벤트들 사이의 시간적 상관관계에 기초하여, 타깃 픽셀에서 발생한 이벤트가 비정상적인 이벤트임을 판단할 수 있다.

타임스탬프 재생성기(122)는 프로세서(120)의 판단 결과에 기초하여 타깃 픽셀의 타임스탬프(즉, 4)를, 타깃 픽셀과 인접한 픽셀들의 타임스탬프(즉, 0)로 대체할 수 있다. 이러한 대체는 메모리(130)에 저장된 온-이벤트 맵 또는 오프-이벤트 맵을 업데이트함으로써 실행될 수 있다.

도 16은 본 발명의 타임스탬프 재생성기(122)가 데드 픽셀의 타임스탬프를 재생성하는 것을 개념적으로 보여주는 도면이다. 예시적으로, 도 11에 도시된 온-이벤트 맵 또는 오프-이벤트 맵의 일부로써 [3, 3]으로 배치된 9개의 픽셀들의 타임스탬프들이 도시되었다. 설명의 이해를 돕기 위해, 도 1 내지 도 11을 함께 참조하여 설명하기로 한다.

9개의 픽셀들 중 [2, 2]에 배치된, 빗금쳐진 픽셀은 타깃 픽셀을 나타낸다. 본 실시 예에서 언급되는 데드 픽셀이란, 픽셀 자체의 하자와 같은 이유로, 실제로 이벤트가 발생하였음에도 이벤트가 발생하지 않은 것으로 표시되는 픽셀을 말한다.

프로세서(120)는 [1, 3]에 배치된 픽셀을 그룹 1로 그룹핑할 수 있다. 프로세서(120)는 타임스탬프 '2'로 마킹된 이벤트가 발생한 [1, 2] 및 [2, 3]에 배치된 픽셀들을 그룹 2로 그룹핑할 수 있다. 프로세서(120)는, 분류된 그룹들 및 제 1, 2 그룹들에 속하는 픽셀들의 타임스탬프의 변화 추이에 기초하여, 오브젝트의 아웃라인 및 오브젝트가 우상으로부터 좌하 방향으로 이동하는 것으로 판단할 수 있다.

프로세서(120)는 타깃 픽셀과, 제 2 그룹에 속하는 픽셀들과 인접한 픽셀들(타깃 픽셀 제외)에서 발생한 이벤트들 사이의 시간적 상관관계를 판단할 수 있다. 즉, 프로세서(120)는 타깃 픽셀과, [1, 1] 및 [3, 3]에 배치된 픽셀들에서 발생한 이벤트들 사이의 시간적 상관관계를 판단할 수 있다. 타깃 픽셀에서 발생한 이벤트의 타임스탬프는 '0'이고, [1, 1] 및 [3, 3]에 배치된 픽셀들에서 발생한 이벤트들의 타임스탬프는 '4'이므로, 프로세서는 타깃 픽셀에서 발생한 이벤트는 비정상적인 이벤트라고 판단할 수 있다. (즉, 데드 픽셀)

타임스탬프 재생성기(122)는 데드 픽셀로 판단된 타깃 픽셀의 타임스탬프(즉, 0)를 주변의 타임스탬프들 중 큰 값을 갖는 타임스탬프(즉, 4)로 대체할 수 있다. 이는 오브젝트의 움직임 및 아웃라인을 고려했을 때, 서로 인접한 두 픽셀들에서 발생하는 이벤트들의 타임스탬프가 급격하게 변할 확률은 매우 낮다는데 근거한 것이다.

도 17은 본 발명의 프로세서(120)가 데드 픽셀을 판단하는 것을 개념적으로 보여주는 도면이다. 앞서 도 16을 통해 설명된 실시 예와는 달리, 타깃 픽셀 주위의 24개의 픽셀들이 고려될 수 있다. 이는, 도 16의 실시 예에서 타깃 픽셀은 정상이나, [1, 1] 및 [3, 3]에 배치된 픽셀들이 데드픽셀일 가능성을 배제할 수 없음을 고려한 것이다.

프로세서(120)는 앞선 실시 예들에서 설명된 것과 유사하게 픽셀들을 그룹핑할 수 있다. 예를 들어, 프로세서(120)는 타임스탬프 '1'로 마킹된 이벤트가 발생한 픽셀을 그룹 1로 그룹핑할 수 있다. 프로세서(120)는 타임스탬프 '2'로 마킹된 이벤트들이 발생한 픽셀들을 그룹 2로 그룹핑할 수 있다. 그룹 3 내지 그룹 4도 유사하다.

프로세서(120)는 각각의 그룹에 속하는 픽셀들에서 발생한 이벤트들의 타임스탬프 및 타임스탬프의 변화 추이를 고려하여 오브젝트의 아웃라인 및 움직임 방향을 판단할 수 있다. 예를 들어, 프로세서(120)는 오브젝트가 우상으로부터 좌하로 움직이고 있으며, 오브젝트의 아웃라인은 좌상에서 우하로 향하는 대각선이라고 판단할 수 있다.

프로세서(120)는 타깃 픽셀에서 발생한 이벤트와 타깃 픽셀과 인접한 픽셀들에서 발생한 이벤트들의 시간적 상관관계를 판단할 수 있다. 오브젝트의 움직임 방향 및 아웃라인을 고려했을 때, [2, 2] 및 [4, 4]에 배치된 픽셀들에서 발생한 이벤트가 비정상적 이벤트이거나, 또는 타깃 픽셀, [1, 1] 및 [5, 5]에 배치된 픽셀들에서 발생한 이벤트들이 비정상적 이벤트일 것이다. 이 경우, 프로세서(120)는 [2, 2] 및 [4, 4]에 배치된 픽셀들에서 발생한 이벤트가 비정상적 이벤트라고 판단할 수 있다. (즉, 노이즈 픽셀 또는 핫 픽셀). 3개의 픽셀들보다는 2개의 픽셀들에 흠결이 있을 가능성이 더 크기 때문이다.

타임스탬프 재생성기(122)는, 프로세서(120)의 판단 결과에 기초하여, 노이즈 픽셀 또는 핫 픽셀로 판단된 [2, 2] 및 [4, 4]에 배치된 타임스탬프들을 '0'으로 대체할 수 있다.

이상 도 12 내지 도 17을 통하여 설명된 스킴에 의하면, 노이즈 픽셀, 핫픽셀, 및 데드 픽셀로부터 정상적인 이벤트가 생성되는 것과 같은 효과를 달성할 수 있다. 그러므로 이미지 처리 장치의 성능을 향상시킬 수 있다. 뿐만 아니라, 픽셀 어레이의 수율을 향상시키는 것과 같은 효과를 달성할 수 있으므로, 이미지 처리 장치의 제조 비용을 낮출 수 있다.

도 18은 본 발명의 실시 예에 따른 타임스탬프 재생성 스킴을 보여주는 순서도이다. 설명의 이해를 돕기 위해, 도 12 내지 도 17을 참조하여 설명하기로 한다.

S110 단계에서, 복수의 타임스탬프들이 생성될 수 있다. 타임스탬프는 픽셀에서 이벤트가 발생한 시간에 관한 정보를 나타낼 수 있다.

S120 단계에서, 복수의 타임스탬프들이 복수의 그룹들로 그룹핑 될 수 있다. 예를 들어, [1, 2], [2, 3], [3, 4], [4, 5]에 배치된 픽셀들에서 발생한 이벤트들은 제 4 그룹으로 그룹핑 될 수 있다. 제 1 내지 3 그룹도 유사한 방식으로 그룹핑된 픽셀들을 각각 포함할 것이다.

각각의 그룹에 속하는 타임스탬프 및 타임스탬프의 변화 추이에 기초하여 오브젝트의 아웃라인 및 움직임 방향이 판단될 수 있다. 예를 들어, 도 16을 참조하면, 오브젝트는 우상으로부터 좌하 방향으로 움직이고 있으며, 오브젝트의 아웃라인은 좌상으로부터 우하 방향으로 향하는 대각선이라고 판단될 수 있다.

S130 단계에서, 타깃 픽셀에서 발생한 이벤트와 각각의 그룹에 속하는 픽셀들에서 발생한 이벤트들 사이의 시간적 상관관계가 판단될 수 있다. 나아가, 타깃 픽셀에서 발생한 이벤트와, 마지막 이벤트가 발생한 그룹과 인접한 픽셀에서 발생한 이벤트들 사이의 시간적 상관관계도 더 판단될 수 있다. 제 4 그룹에 속하는 타임스탬프로부터 판단된 오브젝트의 아웃라인, 및 오브젝트의 움직임 방향을 고려하면, [1, 1], [2, 2], [3, 3], [4, 4], [5, 5]에 배치된 픽셀들에서 발생한 이벤트들 중 일부는 비정상 이벤트일 것이다. 이때, 프로세서(120)는 [2, 2] 및 [4, 4]에 배치된 픽셀들이 불량 픽셀(예컨대, 노이즈 픽셀 또는 핫 픽셀)이라고 판단할 수 있다.

S140 단계에서, S130 단계에서 수행된 판단 결과에 기초하여 불량 픽셀의 타임스탬프가 재생성될 수 있다. 예를 들어, 도 17의 타임스탬프 재생성기(122)는 [2, 2] 및 [4, 4]에 배치된 픽셀들의 타임스탬프를 '0'으로 대체할 수 있다.

도 19 및 도 20은 본 발명의 타임스탬프 재생성 스킴이 서브 샘플링(sub sampling) 과정에 적용되는 과정을 보여주기 위한 도면들이다. 설명의 이해를 돕기 위해 도 1 내지 도 11을 함께 참조하여 설명하기로 한다.

우선, 도 19를 참조하면, 복수의 픽셀들은 복수의 그룹들(GP1~GP9)로 그룹핑 될 수 있다. 예를 들어, 제 1 그룹(GP1)은 [1, 1], [1, 2], [2, 1], [2, 2]에 배치되는 픽셀들을 포함한다. 제 2 그룹(GP2)은 [1, 3], [1, 4], [2, 3], [2, 4]에 배치되는 픽셀들을 포함한다. 나머지 그룹들(GP3~GP9) 각각도 유사하게 복수의 픽셀들을 포함할 수 있다. 비록, 예시적으로 4개의 픽셀들이 하나의 그룹으로 그룹핑 되는 것으로 도시되었으나, 서브 샘플링을 통하여 구현하고자 하는 해상도에 부합하도록, 각각의 그룹에 속하는 픽셀들의 개수가 결정될 수 있다.

본 발명에서 서브 샘플링이란 픽셀의 화소 수를 줄여 데이터의 처리량을 감소시키기 위한 기법을 의미할 수 있다. 예를 들어, 6×6 (six by six)의 픽셀들을 복수의 그룹들(GP1~GP9)로 그룹핑 하고, 각각의 그룹에 포함된 픽셀들의 타임스탬프 값들 중 대표값을 선택한다면, 3×3 (three by three)의 픽셀들에서 이벤트가 발생하는 것으로 취급할 수 있다.

예를 들어, 서브 샘플링에 의하여, 각각의 그룹에 속하는 픽셀들의 타임스탬프들 중 가장 최근에 발생한 이벤트의 타임스탬프가 해당 그룹의 대표값으로 선택될 수 있다. 그러나, 가장 먼저 발생한 이벤트의 타임스탬프가 대표값으로 선택되거나, 중간값의 타임스탬프가 대표값으로 선택될 수도 있다. 예를 들어, 제 1 그룹(GP1)에 속하는 픽셀들에서 발생한 이벤트들 중 가장 최근에 발생한 이벤트는 '6'으로 마킹된 픽셀들에서 발생하였다. 그러므로, 제 1 그룹(GP1)의 서브 샘플링 된 타임스탬프는 '6'일 수 있다. 나머지 그룹들(GP2~GP9)에 대해서도 유사한 방식으로 타임스탬프들이 서브 샘플링 될 수 있다. 각각의 그룹의 서브 샘플링 된 타임스탬프는 원안에 마킹된 숫자로 표시되었다.

한편, 제 7 그룹(GP7)에 속하는 [6, 2]에 배치되는 픽셀이 노이즈 픽셀 또는 핫 픽셀이라 가정하자. 타임스탬프 '6'으로 마킹된 픽셀들에서 이벤트들의 발생이 끝났음에도 불구하고, 위에서 설명된 서브 샘플링에 의하여, 제 7 그룹(GP7)의 서브 샘플링 된 타임스탬프는 '4'이 되었다. 서브 샘플링이 적용되는 경우에도, 본 발명의 타임스탬프 재생성 스킴이 동일하게 적용될 수 있다.

도 20을 참조하면, 제 2 그룹(GP3)의 서브 샘플링 된 타임스탬프는 '3'이고, 제 2 및 6 그룹들(GP2, GP6)의 서브 샘플링 된 타임스탬프는 '5'이고, 제 1, 5, 및 9 그룹들(GP1, GP5, GP9)의 서브 샘플링 된 타임스탬프는 '6'인 점을 고려하여, 프로세서(120)는 오브젝트 (또는 비전 센서)의 움직임 방향을 판단할 수 있다. 그리고, 제 4 및 8 그룹들(GP4, GP8)의 서브 샘플링 된 타임스탬프는 '0'인 점을 고려하여, 프로세서(120)는 이벤트의 발생이 종료하였다는 것을 판단할 수 있다.

나아가, 프로세서(120)는 복수의 그룹들(GP1~GP9)의 타임스탬프들 사이의 시간적 상관관계를 판단할 수 있다. 예를 들어, 제 4 및 8 그룹들(GP4, GP8)의 서브 샘플링 된 타임스탬프는 '0' 이지만, 제 7 그룹(GP7)의 서브 샘플링 된 타임스탬프가 '4'인 점에 기초하여, 프로세서(120)는 제 7 그룹(GP7)의 서브 샘플링 된 타임스탬프 '4'가 비정상적인 이벤트에 기인하는 것임을 판단할 수 있다. 왜냐하면, 오브젝트 (또는 비전 센서)의 움직임 방향을 고려했을 때, 서브 샘플링된 타임스탬프가 '0'에서 '4'로 급격히 변하는 것은 비정상적이기 때문이다.

타임스탬프 재생성기(122)는 비정상적인 대표값을 갖는 제 7 그룹(GP7)의 서브 샘플링 된 타임스탬프를 재생성할 수 있다. 예를 들어, 타임스탬프 재생성기(122)는 제 7 그룹(GP7)의 서브 샘플링 된 타임스탬프를 인접한 서브 샘플링 된 타임스탬프로 대체할 수 있다. 예를 들어, 제 7 그룹(GP7)의 서브 샘플링 된 타임스탬프 '4'는, 제 7 그룹(GP7)과 인접한 제 4 및 8 그룹들(GP4, GP8)의 서브 샘플링 된 타임스탬프 '0'으로 대체될 것이다.

도 21은 본 발명의 실시 예에 따른 이미지 처리 장치가 적용된 전자 기기를 예시적으로 보여주는 블록도이다. 예를 들어, 전자 기기(1000)는 스마트폰, 태블릿 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 웨어러블(Wearable) 기기로 구현될 수 있다. 나아가, 전자 기기(1000)는 무인 경비 시스템, 사물 인터넷, 자율 주행 자동차를 운영하는데 필요한 다양한 유형의 전자 기기들 중 하나로 구현될 수 있다

전자 기기(100)는 이미지 처리 장치(1100), 메인 프로세서(1200), 워킹 메모리(1300), 스토리지(1400), 디스플레이(1500), 통신 블록(1600), 및 유저 인터페이스(1700)를 포함할 수 있다.

이미지 처리 장치(1100)는 앞서 도 1 내지 도 20을 통하여 설명된 스킴을 실행하도록 구현된 이미지 처리 장치일 수 있다.

한편, 타임스탬프 재생성 스킴은 프로세서(1120) 대신에, 메인 프로세서(1200)에 의해 소프트웨어 또는 펌웨어로서 수행될 수도 있다. 이 경우, 타임스탬프 재생성 스킴을 실현하는 펌웨어 또는 소프트웨어인 타임스탬프 재생성기(1310)는 워킹 메모리(1300)에 로딩될 수 있으며, 메인 프로세서(1200)는 타임스탬프 재생성기(1310)를 구동할 수 있다. 이 경우, 타임스탬프 재생성 스킴은 메인 프로세서(1200)에 의해 구동/처리되기 때문에, 이 경우 프로세서(1120)는 생략될 수 있다.

워킹 메모리(1300)는 전자 기기(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 프로세서(1120)에 의해 처리된 패킷들 또는 프레임들을 일시적으로 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.

스토리지(1400)는 타임스탬프 재생성 스킴을 수행하기 위한 펌웨어 또는 소프트웨어를 저장할 수 있다. 타임스탬프 재생성 스킴을 수행하기 위한 펌웨어 또는 소프트웨어는 메인 프로세서(1200)의 요청 또는 명령에 따라 스토리지(1400)로부터 읽혀질 수 있으며, 워킹 메모리(1300)에 로딩될 수 있다. 스토리지(1400)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.

디스플레이(1500)는 디스플레이 패널 및 DSI (display serial interface) 주변 회로를 포함할 수 있다. 예를 들어, 디스플레이 패널은 LCD (Liquid Crystal Display) 장치, LED (Light Emitting Diode) 표시 장치, OLED (Organic LED) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치 등과 같은 다양한 장치로 구현될 수 있다. 메인 프로세서(1200)에 내장된 DSI 호스트는 DSI를 통하여 디스플레이 패널과 시리얼 통신을 수행할 수 있다. DSI 주변 회로는 디스플레이 패널을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다.

통신 블록(1600)은 안테나를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 블록(1600)의 송수신기(1610) 및 MODEM (Modulator/Demodulator, 1620)은 LTE (Long Term Evolution), WIMAX (Worldwide Interoperability for Microwave Access), GSM (Global System for Mobile communication), CDMA (Code Division Multiple Access), Bluetooth, NFC (Near Field Communication), Wi-Fi (Wireless Fidelity), RFID (Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.

유저 인터페이스(1700)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스들 중 적어도 하나를 포함할 수 있다.

전자 기기(1000)의 구성 요소들은 USB (Universal Serial Bus), SCSI (Small Computer System Interface), PCIe (Peripheral Component Interconnect Express), M-PCIe (Mobile PCIe), ATA (Advanced Technology Attachment), PATA (Parallel ATA), SATA (Serial ATA), SAS (Serial Attached SCSI), IDE (Integrated Drive Electronics), EIDE (Enhanced IDE), NVMe (Nonvolatile Memory Express), UFS (Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상에 의거하여 데이터를 교환할 수 있다.

위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 위에서 설명한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.

100: 이미지 처리 장치 110: 비전 센서
111: 픽셀 어레이 113: 컬럼 디코더
115: 로우 디코더 116: 센싱 유닛
117: 어드레스 디코더 118: 인-픽셀 회로
119: 출력 회로 120: 프로세서
122: 버퍼 124: 타임스탬퍼
126: 타임스탬프 리제너레이터

Claims

타깃 픽셀과 상기 타깃 픽셀 주위의 인접 픽셀들을 포함하는 복수의 픽셀들 중 적어도 일부를 통하여 빛의 세기가 변하는 복수의 이벤트들을 생성하고, 상기 복수의 이벤트들이 발생한 시간에 관한 복수의 타임스탬프들을 생성하도록 구성되는 비전 센서; 그리고
상기 복수의 타임스탬프들 중 제 1 값을 갖는 적어도 하나의 제 1 타임스탬프를 제 1 그룹으로 그룹핑하고, 상기 복수의 타임스탬프들 중 제 2 값을 갖는 적어도 하나의 제 2 타임스탬프를 제 2 그룹으로 그룹핑하도록 구성되는 프로세서를 포함하되,
상기 프로세서는 상기 제 1 값으로부터 상기 제 2 값으로의 변화에 기초하여, 상기 복수의 이벤트들이 발생하는 방향을 판단하고 상기 인접 픽셀들에 대응하는 타임스탬프들 중 제 3 값을 갖는 제 3 타임스탬프가 비정상 이벤트에 기인하는 것인지 여부를 판단하도록 더 구성되고,
상기 프로세서는 상기 제 3 타임스탬프를, 상기 비정상 이벤트를 야기한 픽셀과 인접한 픽셀들에 대응하는 타임스탬프들 중 어느 하나로 대체하도록 더 구성되는 이미지 처리 장치.
제 1 항에 있어서,
상기 프로세서는, 상기 제 3 타임스탬프를, 상기 비정상 이벤트를 야기한 상기 픽셀과 인접한 상기 픽셀들에 대응하는 상기 타임스탬프들 중 가장 작은 값을 갖는 타임스탬프로 대체하는 이미지 처리 장치.
제 2 항에 있어서,
상기 프로세서는 상기 제 3 타임스탬프를 '0'으로 대체하는 이미지 처리 장치.
제 1 항에 있어서,
상기 프로세서는 상기 제 1 그룹 및 상기 제 2 그룹에 기초하여 상기 복수의 이벤트들의 생성의 기초가 되는 오브젝트의 아웃라인을 판단하도록 더 구성되는 이미지 처리 장치.
제 1 항에 있어서,
상기 제 1 타임스탬프와 관련된 제 1 이벤트는 상기 적어도 하나의 제 2 타임스탬프와 관련된 적어도 하나의 제 2 이벤트보다 먼저 발생한 이미지 처리 장치.
제 1 항에 있어서,
상기 제 1 이벤트를 생성한 제 1 픽셀과, 상기 적어도 하나의 제 2 이벤트를 생성한 적어도 하나의 제 2 픽셀은 서로 인접하는 이미지 처리 장치.
제 6 항에 있어서,
상기 비정상 이벤트를 야기한 상기 픽셀은 상기 제 2 픽셀과 인접 하지 않는 이미지 처리 장치.
제 1 항에 있어서,
상기 비전 센서는:
행과 열 방향으로 배열되는 상기 복수의 픽셀들을 포함하는 픽셀 어레이;
상기 복수의 픽셀들 중 상기 복수의 이벤트들이 발생한 픽셀들을 액세스하고, 상기 이벤트들이 발생한 시간에 관한 타임스탬프들을 생성하도록 구성되는 이벤트 감지 회로를 포함하는 이미지 처리 장치.
타깃 픽셀과 상기 타깃 픽셀 주위의 인접 픽셀들을 포함하는 복수의 픽셀들 중 적어도 일부를 통하여 빛의 세기가 변하는 복수의 이벤트들을 생성하고, 상기 복수의 이벤트들이 발생한 시간에 관한 복수의 타임스탬프들을 생성하도록 구성되는 비전 센서; 그리고
상기 복수의 타임스탬프들 중 제 1 시구간에 발생한 적어도 하나의 제 1 이벤트의 제 1 타임스탬프와 제 2 시구간에 발생한 적어도 하나의 제 2 이벤트의 제 2 타임스탬프 사이의 시간적 상관관계에 기초하여, 상기 타깃 픽셀이 데드 픽셀 인지 여부를 판단하도록 구성되는 프로세서를 포함하되,
상기 프로세서는 상기 타깃 픽셀의 타임스탬프를, 상기 인접 픽셀들에서 발생한 이벤트들의 타임스탬프들 중 어느 하나로 대체하도록 더 구성되는 이미지 처리 장치.
제 9 항에 있어서,
상기 프로세서는 상기 타깃 픽셀의 타임스탬프를, 상기 인접 픽셀들에서 발생한 이벤트들의 타임스탬프들 중 가장 큰 값을 갖는 타임스탬프로 대체하도록 더 구성되는 이미지 처리 장치.
제 9 항에 있어서,
상기 프로세서는 상기 타깃 이벤트의 상기 타임스탬프를, 상기 적어도 하나의 제 2 이벤트의 타임스탬프로 대체하도록 구성되는 이미지 처리 장치.
제 9 항에 있어서,
상기 프로세서는 상기 적어도 하나의 제 1 이벤트 및 상기 적어도 하나의 제 2 이벤트에 기초하여 상기 복수의 이벤트들의 생성에 기초가 되는 오브젝트의 아웃라인을 판단하도록 더 구성되는 이미지 처리 장치.
제 9 항에 있어서,
상기 적어도 하나의 제 1 이벤트는 상기 적어도 하나의 제 2 이벤트보다 먼저 발생한 이미지 처리 장치.
제 9 항에 있어서,
상기 적어도 하나의 제 1 이벤트를 생성한 적어도 하나의 제 1 픽셀과, 상기 적어도 하나의 제 2 이벤트를 생성한 적어도 하나의 제 2 픽셀은 서로 인접하는 이미지 처리 장치.
각각이 서로 인접하는 적어도 2개의 픽셀들 을 포함하는 복수의 픽셀 그룹들을 포함하는 복수의 픽셀들 중 적어도 일부를 통하여 빛의 세기가 변하는 복수의 이벤트들을 생성하고, 상기 복수의 이벤트들이 발생한 시간에 관한 복수의 타임스탬프들을 생성하도록 구성되는; 그리고
상기 복수의 타임스탬프들 중 제 1 픽셀 그룹에 대응하는 타임스탬프들로부터 제 1 대표값을 선택하고, 상기 복수의 타임스탬프들 중 제 2 픽셀 그룹에 대응하는 타임스탬프들로부터 제 2 대표값을 선택하도록 구성되고, 상기 복수의 타임스탬프들 중 제 3 픽셀 그룹에 대응하는 타임스탬프들로부터 제 3 대표값을 선택하도록 구성되는 프로세서를 포함하되,
상기 프로세서는, 상기 제 1 대표값과 상기 제 2 대표값 사이의 시간적 상관 관계에 기초하여, 제 3 픽셀 그룹의 제 3 대표값이 비정상 이벤트에 기인하는 것인지 여부를 판단하도록 더 구성되고,
상기 프로세서는 상기 제 3 대표값을, 상기 제 3 픽셀 그룹과 인접한 픽셀 그룹들의 대표값들 중 어느 하나로 대체 하도록 더 구성되는 이미지 처리 장치.
제 15 항에 있어서,
상기 프로세서는 상기 제 3 대표값을, 상기 제 3 픽셀 그룹과 인접한 상기 픽셀 그룹들의 상기 대표값들 중 가장 큰 값 을 갖는 대표값으로 대체하는 이미지 처리 장치.
제 15 항에 있어서,
상기 프로세서는 상기 제 3 대표값을, 상기 제 3 픽셀 그룹과 인접한 상기 픽셀 그룹들의 상기 대표값들 중 가장 작은 값 을 갖는 대표값으로 대체하는 이미지 처리 장치.
제 17 항에 있어서,
상기 프로세서는 상기 제 3 대표값을, '0'으로 대체하는 이미지 처리 장치.
제 15 항에 있어서,
상기 프로세서는 상기 제 1 대표값, 상기 제 2 대표값, 및 상기 대체된 제 3그룹 대표값에 기초하여 상기 복수의 이벤트들의 생성의 기초가 되는 오브젝트의 아웃라인을 판단하도록 더 구성되는 이미지 처리 장치.
제 15 항에 있어서,
상기 제 1 픽셀 그룹과 상기 제 2 픽셀 그룹은 인접하고, 상기 제 3 픽셀 그룹은 상기 제 1 픽셀 그룹 및 상기 제 2 픽셀 그룹과 인접하지 않는 이미지 처리 장치.