KR102070562B1 - 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법 - Google Patents

Abstract

이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법이 개시된다. 실시예들은 복수의 이미지 픽셀들 각각에서 미리 정해진 이벤트가 발생되었는지 여부를 감지하여 이벤트 신호를 출력하는 센서, 출력된 이벤트 신호에 대응되는 적어도 하나의 픽셀과 이벤트 신호가 출력된 시간을 맵핑 시킴으로써 타임 스탬프 정보를 생성하는 타임 스탬프부 및 출력된 이벤트 신호에 반응하여 타임 스탬프 정보를 기초로 광류를 생성하는 광류 생성부를 포함한다.

Description

이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법{EVENT-BASED IMAGE PROCESSING DEVICE AND METHOD THEREOF}

아래 실시예들은 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법에 관한 것이다.

이미지 프로세싱(image processing)은 넓게는 입출력이 영상인 모든 형태의 정보 처리를 가리키며, 예를 들어 사진이나 동영상을 처리하는 작업 등을 포함할 수 있다. 대부분의 영상 처리 기법은 화상을 2차원 신호로 보고 여기에 표준적인 신호 처리 기법을 적용하는 방법을 이용한다.

이미지 센서는 이미지 프로세싱을 위한 입력 데이터를 센싱하는 장치로서, 예를 들어 반도체 소자의 제조 기술을 이용하여 집적회로화 된 광전 변환 소자 등을 포함할 수 있다.

팩시밀리나 복사기에 사용되는 라인 이미지 센서(1차원 이미지 센서)와 텔레비전 카메라나 디지털 카메라에 사용되는 어레이 이미지 센서(2차원 이미지 센서)가 있다.

라인 이미지 센서는 빛을 검출해서 전하를 발생시키는 광 다이오드를 일렬로 배치한 것이다. 라인 이미지 센서는 면적을 가지는 영역의 정지 화면을 획득하기 위하여 대상물(문서나 사진)을 센서 라인과 직각 방향으로 스캔 할 수 있다.

어레이 이미지 센서는 광 다이오드를 2차원으로 배열한 것이며, 한 번에 화면 전체 이미지를 획득할 수 있어 비디오 같은 동영상 용으로 사용된다.

일 측에 따른 이벤트 기반 이미지 처리 장치는 복수의 이미지 픽셀들 각각에서 미리 정해진 이벤트가 발생되었는지 여부를 감지하고, 상기 감지에 반응하여 이벤트 신호를 출력하는 센서; 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀과 상기 이벤트 신호가 출력된 시간을 맵핑(mapping) 시킴으로써 타임 스탬프(time stamp) 정보를 생성하는 타임 스탬프부; 및 상기 이벤트 신호의 출력에 반응하여 상기 타임 스탬프 정보를 기초로 광류(optical flow)를 생성하는 광류 생성부를 포함한다.

이 때, 상기 센서는 상기 복수의 이미지 픽셀들 중 상기 미리 정해진 이벤트가 발생된 일부 픽셀들 각각에 대응되는 이벤트 신호를 비동기적으로 출력할 수 있다.

또한, 상기 광류는 상기 적어도 하나의 픽셀의 속도 벡터를 포함할 수 있다. 여기서, 상기 광류 생성부는 상기 이벤트 신호의 출력에 반응하여, 상기 복수의 이미지 픽셀들 중 상기 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀에 인접한 주변 픽셀들 각각의 속도 벡터를 비동기적으로 계산하는 부분 계산부; 및 미리 정해진 주기마다, 상기 복수의 이미지 픽셀들의 속도 벡터들을 계산하는 전체 계산부 중 적어도 하나를 포함할 수 있다.

또한, 상기 광류 생성부는 상기 적어도 하나의 픽셀의 주변 픽셀들을 획득하는 주변 픽셀 획득부; 상기 타임 스탬프 정보를 이용하여 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 시간 차이와 관련된 정보를 계산하는 시간 차이 계산부; 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 거리 차이와 관련된 정보를 계산하는 거리 차이 계산부; 및 상기 시간 차이와 관련된 정보와 상기 거리 차이와 관련된 정보를 기초로 상기 광류를 계산하는 광류 계산부를 포함할 수 있다.

또한, 상기 시간 차이 계산부는 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 시간 차이가 미리 정해진 윈도우(window) 범위 밖인 경우, 상기 시간 차이와 관련된 정보를 0으로 계산할 수 있다.

또한, 상기 거리 차이와 관련된 정보는 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 픽셀 거리의 역수를 포함할 수 있다.

또한, 상기 광류 계산부는 상기 광류를 계산하기 위하여, 상기 시간 차이와 관련된 정보와 상기 거리 차이와 관련된 정보를 이용하여 상기 적어도 하나의 픽셀에 대응되는 2차원 벡터 A를 계산하고, 상기 2차원 벡터 A를 상기 2차원 벡터 A의 내적 값으로 나누는 연산을 수행할 수 있다.

또한, 상기 이벤트 기반 이미지 처리 장치는 상기 광류를 기초로 유저 인터페이스를 위한 정보를 연산하는 연산부를 더 포함할 수 있다.

또한, 상기 유저 인터페이스를 위한 정보는 상기 센서가 위치된 센서 평면과 평행한 평면에서 상기 복수의 이미지 픽셀들에 포함된 물체가 x축 방향으로 움직이는 제1 속도; 상기 평행한 평면에서 상기 물체가 y축 방향으로 움직이는 제2 속도; 상기 물체가 상기 평행한 평면과 수직한 방향으로 움직이는 제3 속도; 또는 상기 평행한 평면에서 상기 물체가 원형으로 회전하는 제4 속도 중 적어도 하나를 포함할 수 있다.

또한, 상기 연산부는 상기 광류를 기초로 상기 제1 속도 및 상기 제2 속도를 연산하는 평면 속도 연산부; 상기 광류를 기초로 상기 광류의 중심을 연산하는 광류 중심 연산부; 상기 광류와 상기 광류의 중심을 기초로 상기 제3 속도를 연산하는 Z축 속도 연산부; 및 상기 광류와 상기 광류의 중심을 기초로 상기 제4 속도를 연산하는 각속도 연산부를 포함할 수 있다.

또한, 상기 평면 속도 연산부는 상기 제1 속도 및 상기 제2 속도를 연산하기 위하여 상기 광류의 평균을 연산할 수 있다.

또한, 상기 광류 중심 연산부는 상기 적어도 하나의 픽셀의 위치와 상기 광류에 포함되는 상기 적어도 하나의 픽셀의 속도 벡터의 크기를 이용하여 광류의 중심을 연산할 수 있다.

또한, 상기 Z축 속도 연산부는 상기 제3 속도를 연산하기 위하여 상기 광류의 중심과 상기 적어도 하나의 픽셀의 위치를 이용하여 상기 적어도 하나의 픽셀에 대응되는 제1 벡터를 생성하고, 상기 제1 벡터와 상기 광류에 포함되는 상기 적어도 하나의 픽셀의 속도 벡터를 이용하여 내적 연산을 수행할 수 있다.

또한, 상기 각속도 연산부는 상기 제4 속도를 연산하기 위하여 상기 광류의 중심과 상기 적어도 하나의 픽셀의 위치를 이용하여 상기 적어도 하나의 픽셀에 대응되는 제1 벡터를 생성하고, 상기 제1 벡터와 상기 광류에 포함되는 상기 적어도 하나의 픽셀의 속도 벡터를 이용하여 외적 연산을 수행할 수 있다.

또한, 상기 타임 스탬프 정보는 상기 복수의 이미지 픽셀들 각각에서 상기 미리 정해진 이벤트가 가장 최근에 발생된 시간과 관련된 정보를 포함할 수 있다.

또한, 상기 미리 정해진 이벤트는 단위 시간 구간에 미리 정해진 수치 이상 밝아지는 경우 발생되는 이벤트; 또는 상기 단위 시간 구간에 상기 미리 정해진 수치 이상 어두워지는 경우 발생되는 이벤트 중 적어도 하나를 포함할 수 있다.

다른 일 측에 따른 이벤트 기반 이미지 처리 방법은 복수의 이미지 픽셀들 각각에서 미리 정해진 이벤트가 발생되었는지 여부를 감지하는 센서로부터 이벤트 신호를 수신하는 단계; 상기 이벤트 신호의 수신에 반응하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀과 상기 이벤트 신호가 출력된 시간을 맵핑(mapping) 시킴으로써 타임 스탬프(time stamp) 정보를 생성하는 단계; 및 상기 타임 스탬프 정보를 기초로 상기 적어도 하나의 픽셀의 속도 벡터를 포함하는 광류(optical flow)를 생성하는 단계를 포함한다.

이 때, 상기 광류를 생성하는 단계는 상기 적어도 하나의 픽셀의 주변 픽셀들을 획득하는 단계; 상기 타임 스탬프 정보를 이용하여 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 시간 차이와 관련된 정보를 계산하는 단계; 상기 타임 스탬프 정보를 이용하여 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 거리 차이와 관련된 정보를 계산하는 단계; 및 상기 시간 차이와 관련된 정보와 상기 거리 차이와 관련된 정보를 기초로 상기 광류를 계산하는 단계를 포함할 수 있다.

또한, 상기 이벤트 기반 이미지 처리 방법은 상기 광류를 기초로 유저 인터페이스를 위한 정보를 연산하는 단계를 더 포함하고, 상기 유저 인터페이스를 위한 정보는 상기 센서가 위치된 센서 평면과 평행한 평면에서 상기 복수의 이미지 픽셀들에 포함된 물체가 x축 방향으로 움직이는 제1 속도; 상기 평행한 평면에서 상기 물체가 y축 방향으로 움직이는 제2 속도; 상기 물체가 상기 평행한 평면과 수직한 방향으로 움직이는 제3 속도; 또는 상기 평행한 평면에서 상기 물체가 원형으로 회전하는 제4 속도 중 적어도 하나를 포함할 수 있다.

또한, 상기 연산하는 단계는 상기 광류를 기초로 상기 제1 속도 및 상기 제2 속도를 연산하는 단계; 상기 광류를 기초로 상기 광류의 중심을 연산하는 단계; 상기 광류와 상기 광류의 중심을 기초로 상기 제3 속도를 연산하는 단계; 및 상기 광류와 상기 광류의 중심을 기초로 상기 제4 속도를 연산하는 단계를 포함할 수 있다.

도 1은 일 실시예에 따른 이벤트 기반 이미지 처리 장치를 나타내는 블록도.
도 2a 및 도 2b는 일 실시예에 따른 타임 스탬프 정보를 설명하기 위한 도면.
도 3은 일 실시예에 따른 이벤트 기반 이미지 처리 장치에 포함된 광류 생성부를 나타내는 블록도.
도 4는 일 실시예에 따른 광류 생성부에 의해 생성된 광류를 설명하기 위한 도면.
도 5a는 일 실시예에 따른 이벤트 기반 이미지 처리 장치에 포함된 연산부를 나타내는 블록도.
도 5b는 일 실시예에 따른 연산부에 의해 생성된 유저 인터페이스를 위한 정보를 설명하기 위한 도면.
도 6은 일 실시예에 따른 광류의 중심을 연산하는 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 Z축 속도와 각속도를 연산하는 방법을 설명하기 위한 도면.
도 8은 일 실시예에 따른 이벤트 기반 이미지 처리 방법을 나타내는 블록도.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 일 실시예에 따른 이벤트 기반 이미지 처리 장치를 나타내는 블록도이다.

도 1을 참조하면, 일 실시예에 따른 이벤트 기반 이미지 처리 장치(100)는 센서(110), 타임 스탬프부(120) 및 광류 생성부(130)를 포함한다.

센서(110)는 시간의 흐름에 따라 이미지 데이터를 연속적으로 입력 받을 수 있다. 이 때, 센서(110)는 입력 받은 이미지 데이터에 포함된 복수의 이미지 픽셀들 각각에서 미리 정해진 이벤트가 발생되었는지 여부를 감지할 수 있다. 이하, 픽셀 또는 픽셀들은 각각 이미지 픽셀 또는 이미지 픽셀들을 포함할 수 있다.

여기서, 미리 정해진 이벤트는 단위 시간 구간에 미리 정해진 수치 이상 밝아지는 경우 발생되는 이벤트(이하, "밝아지는 이벤트"라고 함) 또는 단위 시간 구간에 미리 정해진 수치 이상 어두워지는 경우 발생되는 이벤트(이하, "어두워지는 이벤트"라고 함) 중 적어도 하나를 포함할 수 있다.

예를 들면, 센서(110)는 연속적으로 입력 받는 이미지 데이터에 포함된 복수의 픽셀들 각각에서 각 픽셀의 명도와 관련된 이벤트가 발생되었는지 여부를 감지할 수 있다.

이로 인해, 이벤트 기반 이미지 처리 장치(100)는 미리 정해진 이벤트(예를 들면, 각 픽셀의 명도와 관련된 이벤트)가 발생된 픽셀들만을 대상으로 이미지 프로세싱(image processing)을 수행함으로써, 매 프레임마다 모든 픽셀에 대하여 이미지 프로세싱을 수행하는 방식에 비하여 연산량을 대폭 감소시킬 수 있다.

나아가, 센서(110)는 미리 정해진 이벤트가 발생되었음을 감지함에 반응하여 이벤트 신호를 출력할 수 있다. 여기서, 이벤트 신호는 미리 정해진 이벤트에 기반한 비동기적인 신호로, 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀과 관련된 정보를 포함할 수 있다.

센서(110)는 복수의 이미지 픽셀들 중 미리 정해진 이벤트가 발생된 일부 픽셀들에 한하여, 해당 픽셀들 각각에 대응되는 이벤트 신호를 비동기적으로 출력할 수 있다.

예를 들면, (3,10) 위치의 제1 픽셀과 (20,20) 위치의 제2 픽셀이 미리 정해진 수치 이상으로 밝아졌음을 감지되는 경우, 센서(110)는 제1 픽셀의 위치와 제2 픽셀의 위치를 포함하는 이벤트 신호를 출력할 수 있다.

또한, 타임 스탬프부(120)는 센서(110)로부터 출력된 이벤트 신호를 수신할 수 있다.

타임 스탬프부(120)는 이벤트 신호에 대응되는 적어도 하나의 픽셀과 이벤트 신호가 출력된 시간을 맵핑 시킴으로써 타임 스탬프(time stamp) 정보를 생성할 수 있다.

보다 구체적으로, 타임 스탬프부(120)는 수신된 이벤트 신호에 포함된 정보(예를 들면, 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀과 관련된 정보)를 이용하여 해당하는 픽셀에 새로운 이벤트가 발생된 시간을 저장할 수 있다.

예를 들어, 타임 스탬프부(120)는 수신된 이벤트 신호를 기초로 복수의 픽셀들 각각에 새로운 이벤트가 발생된 시간을 저장할 수 있다.

따라서, 타임 스탬프부(120)에 의해 생성되는 타임 스탬프 정보는 복수의 픽셀들 각각에서 미리 정해진 이벤트가 가장 최근에 발생된 시간과 관련된 정보를 포함할 수 있다.

일 실시예에 따르면, 타임 스탬프부(120)는 복수의 픽셀들 각각에서 미리 정해진 이벤트가 가장 최근에 발생된 시간과 관련된 정보만을 유지할 수 있다. 예를 들면, 타임 스탬프부(120)는 수신된 이벤트 신호에 포함된 정보(예를 들면, 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀과 관련된 정보)를 기초로, 해당하는 픽셀에 기존에 저장되어 있던 시간을 새로운 이벤트가 발생된 시간으로 갱신시킬 수 있다.

일 실시예에 따른 타임 스탬프부(120)는 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 예를 들어, 타임 스탬프부(120)는 프로세서, 메모리, 하드웨어 가속기(Hardware Accelerator, HWA), FPGA, 또는 이들의 조합 등으로 구현될 수 있다.

따라서, 일 실시예에 따른 이벤트 기반 이미지 처리 장치(100)는 시간의 흐름에 따라 발생된 이벤트들의 히스토리를 고려하지 아니하고, 각 픽셀에서 마지막으로 발생된 이벤트와 관련된 정보만을 이용하여 이미지 프로세싱을 수행할 수 있다. 이로 인해, 이벤트 기반 이미지 처리 장치(100)는 적은 메모리와 적은 연산량을 가지고 이미지 프로세싱을 수행하는 기술을 제공할 수 있다.

타임 스탬프부(120)에 의해 생성되는 타임 스탬프 정보와 관련된 보다 상세한 사항들은 도 2a 및 도 2b를 참조하여 후술한다.

또한, 광류 생성부(130)는 센서(110)로부터 출력되는 이벤트 신호에 반응하여 타임 스탬프부(120)에 의해 생성되는 타임 스탬프 정보를 기초로 광류(optical flow)를 생성할 수 있다.

일 실시예에 따른 광류 생성부(130)는 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 예를 들어, 광류 생성부(130)는 프로세서, 메모리, 하드웨어 가속기(Hardware Accelerator, HWA), FPGA, 또는 이들의 조합 등으로 구현될 수 있다.

여기서, 광류는 새로운 이벤트가 발생된 적어도 하나의 픽셀의 속도 벡터를 포함할 수 있다. 예를 들어, 광류는 복수의 픽셀들 중 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀의 속도 벡터를 포함할 수 있다.

이 때, 각각의 속도 벡터는 복수의 픽셀들로 구성되는 2차원 평면 상에서 특정 방향과 특정 크기를 가지는 2차원 벡터이고, 각각의 속도 벡터의 시작 위치는 해당하는 픽셀의 위치일 수 있다.

예를 들면, 카메라를 이용하여 시간적으로 연속된 영상을 얻을 때, 물체에 대해서 카메라의 위치를 이동시키거나 카메라에 대해서 물체를 이동시키면 이미지 내의 각 픽셀들의 밝기가 변화하는데, 광류는 이러한 이미지 내의 명암의 이동을 2차원 벡터의 형태로 포함할 수 있다.

광류 생성부(120)의 구조 및 광류 생성부(120)가 타임 스탬프 정보로부터 광류를 생성하는 동작에 관한 보다 상세한 사항들은 도 3을 참조하여 후술한다.

도 2a 및 도 2b는 일 실시예에 따른 타임 스탬프 정보를 설명하기 위한 도면이다.

도 2a를 참조하면, 일 실시예에 따른 타임 스탬프 정보(200)는 복수의 이미지 픽셀들 각각에 대응되는 시간 정보를 저장할 수 있다.

도 1을 참조하여 전술한 바와 같이, 타임 스탬프 정보(200)는 각 픽셀에서 미리 정해진 이벤트가 가장 최근에 발생된 시간과 관련된 정보만을 유지할 수 있다.

예를 들면, (i, j) 위치의 픽셀(210)에서 미리 정해진 이벤트가 가장 최근에 발생된 시간은 T_{i ,j}이고, (i, j+1) 위치의 픽셀(220)에서 미리 정해진 이벤트가 가장 최근에 발생된 시간은 T_{i ,j+1}일 수 있다.

도 1의 타임 스탬프부(120)는 센서(110)로부터 전송 받은 이벤트 신호를 기초로 타임 스탬프 정보(200)를 업데이트 할 수 있다. 이 경우, 타임 스탬프부(120)는 모든 픽셀들에 대하여 업데이트를 수행하는 것이 아니고, 미리 정해진 이벤트가 발생된 픽셀에 대하여만 업데이트를 수행할 수 있다.

일 실시예에 따른 센서(110)는 마이크로 초(us) 단위로 미리 정해진 이벤트가 발생되었는지 여부를 감지할 수 있다. 이 경우, 타임 스탬프부(120)는 마이크로 초(us) 단위로 새로운 이벤트가 발생된 시간을 각 픽셀 별로 저장할 수 있다.

도 2b를 참조하면, 일 실시예에 따른 이벤트 기반 이미지 처리 장치는 광류를 생성하기 위하여, 타임 스탬프 정보를 이용하여 적어도 하나의 픽셀의 속도 벡터를 계산할 수 있다.

예를 들어, (i, j) 위치의 픽셀(210)에서 미리 정해진 이벤트가 발생된 이후, (i+1, j+1) 위치의 픽셀(230)에서 미리 정해진 이벤트가 발생된 경우를 가정하자. 이 경우, (i, j) 위치의 픽셀(210)은 시간 T_{i ,j}를 저장하고, (i+1, j+1) 위치의 픽셀(230)은 T_{i ,j}보다 큰 수치를 가지는 시간 T_{i +1,j+1}을 저장할 수 있다.

이 때, 이벤트 기반 이미지 처리 장치는 타임 스탬프 정보(200)를 이용하여 픽셀(210)의 위치에서 시작점을 가지는 2차원 벡터

(도면 미표시)를 계산할 수 있다.

보다 구체적으로, 이벤트 기반 이미지 처리 장치는 타임 스탬프 정보(200)로부터 2차원 벡터

(도면 미표시)를 계산하기 위한 시간 차이 및 위치 차이를 추출할 수 있다. 여기서, 시간 차이는 시간 T_{i +1,j+ 1}와 시간 T_{i ,j} 사이의 시간 차이로, 스칼라

(도면 미표시)일 수 있다. 또한, 위치 차이는 픽셀(230)과 픽셀(210) 사이의 위치 차이로, 2차원 벡터

(240)일 수 있다.

이벤트 기반 이미지 처리 장치는 수학식 1을 이용하여 2차원 벡터

(도면 미표시)를 계산할 수 있다.

나아가, 이벤트 기반 이미지 처리 장치는 전술한 방식과 동일하게 다른 픽셀들의 위치들에서 시작점들을 가지는 2차원 벡터들을 계산할 수 있다. 이벤트 기반 이미지 처리 장치는 이러한 2차원 벡터들의 세트(set)를 포함하는 광류를 출력할 수 있다.

도 3은 일 실시예에 따른 이벤트 기반 이미지 처리 장치에 포함된 광류 생성부를 나타내는 블록도이다.

도 3을 참조하면, 일 실시예에 따른 광류 생성부(300)는 주변 픽셀 획득부(310), 시간 차이 계산부(320), 거리 차이 계산부(330) 및 광류 계산부(340)을 포함한다.

도 3에 도시된 모듈들 각각은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 예를 들어, 광류 생성부(300)는 주변 픽셀 획득부(310), 시간 차이 계산부(320), 거리 차이 계산부(330) 및 광류 계산부(340) 각각은 프로세서, 메모리, 하드웨어 가속기(Hardware Accelerator, HWA), FPGA, 또는 이들의 조합 등으로 구현될 수 있다.

주변 픽셀 획득부(310)는 미리 정해진 이벤트가 발생된 픽셀을 중심으로 복수의 주변 픽셀들을 획득할 수 있다.

예를 들면, 주변 픽셀 획득부(310)는 미리 정해진 이벤트가 발생된 픽셀과 직접적으로 인접한 8개의 주변 픽셀들을 획득할 수 있다. 다른 실시예에 따르면, 주변 픽셀 획득부(310)는 미리 정해진 이벤트가 발생된 픽셀과 직접적으로 인접한 8개의 주변 픽셀들뿐만 아니라, 8개의 주변 픽셀들을 둘러싸는 16개의 주변 픽셀들을 더 획득할 수 있다.

또한, 시간 차이 계산부(320)는 도 2의 타임 스탬프 정보(200)를 이용하여 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀과 그 주변 픽셀들 사이의 시간 차이와 관련된 정보를 계산할 수 있다.

보다 구체적으로, 시간 차이 계산부(320)는 새로운 이벤트가 발생된 픽셀과 그 주변 픽셀들 사이의 시간 차이를 계산할 수 있다. 예를 들면, 도 2의 픽셀(210)에서 새로운 이벤트가 발생한 경우를 가정하자. 시간 차이 계산부(320)는 픽셀(210)에 저장된 시간 T_{i ,j}와 주변 픽셀(220)에 저장된 시간 T_{i ,j+1}의 차이를 계산할 수 있다.

이 경우, 픽셀(210)에 저장된 시간 T_{i ,j}는 새로운 이벤트의 발생에 반응하여 도 1의 타임 스탬프부(120)에 의해 값이 갱신된 상태이므로, T_{i ,j} - T_{i ,j+1}은 0보다 크거나 같은 값이 된다(픽셀(220)에서도 동시에 이벤트가 발생된 경우, T_{i ,j} - T_{i ,j+1}이 0이 될 수 있다).

시간 차이 계산부(320)는 주변 픽셀 획득부(310)에 의해 획득된 복수의 주변 픽셀들 각각에서 전술한 시간 차이를 계산할 수 있다.

나아가, 시간 차이 계산부(320)는 계산된 시간 차이가 미리 정해진 윈도우 범위(예를 들면, 0.1초) 밖인 경우, 계산된 시간 차이 대신 0을 출력할 수 있다.

다시말해, 시간 차이 계산부(320)는 계산된 시간 차이가 미리 정해진 윈도우 범위(예를 들면, 0.1초) 밖인 경우 계산된 시간 차이를 무의미한 정보로 취급할 수 있다.

이로 인해, 광류 생성부(300)는 광류에 포함되는 각 픽셀의 속도 벡터에 노이즈로 작용될 수 있는 요소를 제거할 수 있다.

또한, 거리 차이 계산부(330)는 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀과 그 주변 픽셀들 사이의 거리 차이와 관련된 정보를 계산할 수 있다.

보다 구체적으로, 거리 차이 계산부(330)는 새로운 이벤트가 발생된 픽셀과 그 주변 픽셀들 사이의 픽셀 거리의 역수를 계산할 수 있다. 여기서, 픽셀 거리는 복수의 이미지 픽셀들 사이의 일반화된 거리(normalized distance)를 포함할 수 있다. 예를 들면, 도 2의 픽셀(210)과 픽셀(220) 사이의 픽셀 거리는 1일 수 있다.

거리 차이 계산부(330)는 주변 픽셀 획득부(310)에 의해 획득된 복수의 주변 픽셀들 각각에서 전술한 픽셀 거리의 역수를 계산할 수 있다.

또한, 광류 계산부(340)는 시간 차이 계산부(320)에 의해 계산된 시간 차이와 관련된 정보와 거리 차이 계산부(330)에 의해 계산된 거리 차이와 관련된 정보를 기초로 광류를 계산할 수 있다.

보다 구체적으로, 광류 계산부(340)는 광류를 계산하기 위하여, 시간 차이와 관련된 정보와 거리 차이와 관련된 정보를 이용하여 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀에 대응되는 2차원 벡터 A를 계산하고, 2차원 벡터 A를 2차원 벡터 A의 내적 값으로 나누는 연산을 수행할 수 있다.

예를 들면, 광류 계산부(340)는 미리 정해진 이벤트가 발생된 픽셀의 주변 픽셀들 각각에 대응되는 시간 차이와 관련된 정보와 거리 차이와 관련된 정보를 곱할 수 있다. 이어서, 광류 계산부(340)는 주변 픽셀들에 각각 대응되는 곱셈 결과들을 합하여 2차원 벡터 A를 계산할 수 있다. 여기서, 2차원 벡터 A의 단위는 "시간/거리"일 수 있다.

광류 계산부(340)는 2차원 벡터 A를 2차원 벡터 A 자신을 내적한 값으로 나눔으로써 광류에 포함되는 속도 벡터 V를 계산할 수 있다. 여기서, 속도 벡터 V의 단위는 "거리/시간"일 수 있다.

광류 계산부(340)는 미리 정해진 이벤트가 발생된 픽셀들 각각에서 전술한 속도 벡터 V를 계산함으로써, 픽셀들 각각의 속도 벡터를 포함하는 광류를 생성할 수 있다.

전술한 바와 같이, 시간 차이 계산부(320)는 이벤트가 발생된 픽셀과 그 주변 픽셀 사이의 시간 차이가 미리 정해진 윈도우 범위 밖인 경우 0을 출력할 수 있다. 만약, 이벤트가 발생된 픽셀과 그 주변 픽셀들 모두와의 시간 차이들이 미리 정해진 윈도우 범위 밖인 경우, 광류 계산부(340)에서 계산되는 2차원 벡터 A는 0일 수 있다.

이 경우, 광류 계산부(340)는 속도 벡터 V의 값으로 계산되는 무한대 대신 0을 출력할 수 있다.

도면에 도시하지 않았으나, 광류 생성부(300)는 부분 계산부 및 전체 계산부 중 적어도 하나를 포함할 수 있다.

여기서, 부분 계산부는 이벤트 신호의 출력에 반응하여, 전체 이미지 픽셀들 중 이벤트 신호가 출력된 일부 픽셀 및 그 주변 픽셀들에 한하여 비동기적으로 광류를 새로 계산할 수 있다. 예를 들어, 부분 계산부는 전체 이미지 픽셀들 중 이벤트 신호에 대응되는 적어도 하나의 픽셀 및 해당 픽셀에 인접한 주변 픽셀들의 속도 벡터들을 계산할 수 있다.

또한, 전체 계산부는 미리 정해진 주기마다, 전체 이미지 픽셀들에 대하여 광류를 새로 계산할 수 있다. 예를 들어, 전체 계산부는 미리 정해진 주기가 도과하였는지 여부를 판단하고, 미리 정해진 주기가 도과하는 경우 전체 이미지 픽셀들의 속도 벡터들을 일괄적으로 계산할 수 있다.

부분 계산부 및 전체 계산부에는 도 3을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

도 4는 일 실시예에 따른 광류 생성부에 의해 생성된 광류를 설명하기 위한 도면이다.

예를 들어, 원통형의 중심부 주변에 위치된 8개의 막대들이 동일한 속력을 가지고 반시계 방향으로 회전하는 경우를 가정하자. 이 경우, 일 실시예에 따른 이벤트 기반 이미지 처리 장치는 8개의 막대들의 회전 운동에 의한 광류를 생성할 수 있다.

보다 구체적으로, 그래프(410)을 참조하면, 도 1의 센서(110)는 원통형의 중심부 주변에 위치된 8개의 막대들이 반시계 방향으로 회전하는 경우, 밝아지는 이벤트를 감지하여 이벤트 신호를 출력할 수 있다. 다시말해, 센서(110)는 반시계 방향으로 회전되는 8개의 막대들에 의하여 이미지 내의 복수의 픽셀들의 명암이 미리 정해진 수치 이상 밝아지는 것을 감지하여 이벤트 신호를 출력할 수 있다.

광류 생성부는 도 3을 참조하여 전술한 바와 같이, 해당하는 픽셀들( 명암이 미리 정해진 수치 이상으로 밝아진 픽셀들) 각각에 대응되는 속도 벡터 V를 계산할 수 있다.

그래프(420)은 2차원 벡터인 속도 벡터 V에서 x축 성분만을 추출한 결과를 설명하기 위한 도면이다.

보다 구체적으로, 그래프(420)은 해당하는 픽셀들( 명암이 미리 정해진 수치 이상으로 밝아진 픽셀들) 각각의 x축 속도 벡터 Vx의 크기를 밝기로 표시한 그래프이다.

예를 들면, 8개의 막대들이 반시계 방향으로 회전하고 있으므로, 아래쪽에 위치된 막대(421)의 Vx가 가장 큰 값을 가진다. 따라서, 막대(421)이 가장 밝게 표시될 수 있다.

또한, 그래프(430)은 2차원 벡터인 속도 벡터 V에서 y축 성분만을 추출한 결과를 설명하기 위한 도면이다.

보다 구체적으로, 그래프(430)은 해당하는 픽셀들(예를 들어, 명암이 미리 정해진 수치 이상으로 밝아진 픽셀들) 각각의 y축 속도 벡터 Vy의 크기를 밝기로 표시한 그래프이다.

예를 들면, 8개의 막대들이 반시계 방향으로 회전하고 있으므로, 오른쪽에 위치된 막대(431)의 Vy가 가장 큰 값을 가진다. 따라서, 막대(431)이 가장 밝게 표시될 수 있다.

도 5a는 일 실시예에 따른 이벤트 기반 이미지 처리 장치에 포함된 연산부를 나타내는 블록도이다.

도 5a를 참조하면, 일 실시예에 따른 이벤트 기반 이미지 처리 장치는 연산부(500)를 더 포함할 수 있다.

연산부(500)는 광류 생성부에 의해 생성된 광류를 기초로 유저 인터페이스를 위한 정보를 연산할 수 있다.

도 5b를 참조하면, 유저 인터페이스를 위한 정보는 센서(551)가 위치된 센서 평면(550)과 평행한 평면(560)에서 복수의 이미지 픽셀들에 포함된 물체가 x축 방향(562)으로 움직이는 제1 속도(Vx), 평행한 평면(560)에서 물체가 y축 방향(561)으로 움직이는 제2 속도(Vy), 물체가 평행한 평면(560)과 수직한 방향(563)으로 움직이는 제3 속도(Vz) 또는 평행한 평면(560)에서 물체가 반시계 방향(564)으로 회전하는 제4 속도(w) 중 적어도 하나를 포함할 수 있다.

다른 실시예에 따른 연산부(500)는 물체는 이동하지 아니하고 카메라가 움직이는 경우에도 유저 인터페이스를 위한 정보를 생성할 수 있다. 이 경우, 해당 분야에서 통상의 기술을 가진 자라면 전술한 사항들로부터 간단한 연산(예를 들면, 결과 값의 부호를 변경하는 연산)을 통하여 물체는 이동하지 아니하고 카메라가 움직이는 경우의 유저 인터페이스를 위한 정보를 생성하게끔 실시예를 변형할 수 있다.

이 때, 연산부(500)는 평면 속도 연산부(510), 광류 중심 연산부(520), Z축 속도 연산부(530) 및 각속도 연산부(540)를 포함할 수 있다.

평면 속도 연산부(510)는 광류를 기초로 제1 속도(Vx)와 제2 속도(Vy)를 연산할 수 있다. 보다 구체적으로, 평면 속도 연산부(510)는 제1 속도(Vx)와 제2 속도(Vy)를 연산하기 위하여 광류의 평균을 연산할 수 있다.

전술한 바와 같이, 광류는 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀의 속도 벡터를 포함할 수 있다. 평면 속도 연산부(510)는 적어도 하나의 픽셀의 속도 벡터 모두의 벡터 합을 계산함으로써, 광류의 평균을 연산할 수 있다.

여기서, 적어도 하나의 픽셀의 속도 벡터 각각은 2차원 벡터이므로, 광류의 평균 또한 2차원 벡터일 수 있다. 평면 속도 연산부(510)는 계산된 광류의 평균에서 x축 성분과 y축 성분을 분리함으로써, 제1 속도(Vx)와 제2 속도(Vy)를 연산할 수 있다.

또한, 광류 중심 연산부(520)는 광류를 기초로 광류의 중심을 연산할 수 있다. 보다 구체적으로 광류 중심 연산부(520)는 광류의 중심을 연산하기 위하여 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀의 위치와 광류에 포함되는 해당 픽셀의 속도 벡터의 크기를 이용하여 무게 중심 연산을 수행할 수 있다.

예를 들면, 도 6을 참조하면, 미리 정해진 이벤트가 발생된 픽셀들이 픽셀(610), 픽셀(620), 픽셀(630) 및 픽셀(640)인 경우를 가정하자. 이 때, 광류 생성부에 의해 생성된 광류는 픽셀(610), 픽셀(620), 픽셀(630) 및 픽셀(640) 각각에 대응되는 속도 벡터 V₁(615), 속도 벡터 V₂(625), 속도 벡터 V₃(635) 및 속도 벡터 V₄(645)를 포함할 수 있다.

광류 중심 연산부(520)는 픽셀(610), 픽셀(620), 픽셀(630) 및 픽셀(640) 각각의 위치(x축 픽셀 좌표와 y축 픽셀 좌표)와 속도 벡터 V₁(615), 속도 벡터 V₂(625), 속도 벡터 V₃(635) 및 속도 벡터 V₄(645) 각각의 크기(x축 방향 크기와 y축 방향 크기)를 수학식 2에 대입하여, 광류의 중심 c(650)를 연산할 수 있다.

또한, Z축 속도 연산부(530)는 광류와 광류의 중심을 기초로 제3 속도(Vz)를 연산할 수 있다.

보다 구체적으로, Z축 속도 연산부(530)는 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀의 위치와 광류의 중심을 이용하여 해당하는 픽셀에 대응되는 제1 벡터를 생성할 수 있다. 나아가, Z축 속도 연산부(530)는 광류에 포함되는 해당 픽셀의 속도 벡터와 제1 벡터를 이용하여 내적 연산을 수행함으로써, 제3 속도(Vz)를 연산할 수 있다.

예를 들면, 도 7을 참조하면, 도 5의 광류 중심 연산부(520)에 의해 연산된 광류의 중심이 c(710)이고, 미리 정해진 이벤트가 발생된 픽셀들 중 i번째 픽셀이 픽셀(720)일 수 있다.

Z축 속도 연산부(530)는 c(710)의 위치와 픽셀(720)의 위치를 이용하여 제1 벡터(715)를 생성할 수 있다. 나아가, Z축 속도 연산부(530)는 제1 벡터(715)와 i번째 픽셀의 속도 벡터(725)를 수학식 3에 대입하여, 제3 속도(Vz)를 연산할 수 있다.

도 5b를 참조하면, 물체가 센서(551)에 가까워 지는 방향(563)으로 이동 중인 경우, Z축 속도 연산부(530)에 의해 연산된 Vz는 양(+)의 값을 가질 수 있다. 반대로, 물체가 센서(551)에 멀어지는 방향으로 이동 중인 경우, Vz는 음(-)의 값을 가질 수 있다.

또한, 각속도 연산부(540)는 광류와 광류의 중심을 기초로 제4 속도(w)를 연산할 수 있다.

보다 구체적으로, 각속도 연산부(540)는 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀의 위치와 광류의 중심을 이용하여 해당하는 픽셀에 대응되는 제1 벡터를 생성할 수 있다. 나아가, 각속도 연산부(540)는 광류에 포함되는 해당 픽셀의 속도 벡터와 제1 벡터를 이용하여 외적 연산을 수행함으로써, 제4 속도(w)를 연산할 수 있다.

예를 들면, 도 7을 참조하면, 도 5의 광류 중심 연산부(520)에 의해 연산된 광류의 중심이 c(710)이고, 미리 정해진 이벤트가 발생된 픽셀들 중 i번째 픽셀이 픽셀(720)일 수 있다.

각속도 연산부(540)는 c(710)의 위치와 픽셀(720)의 위치를 이용하여 제1 벡터(715)를 생성할 수 있다. 나아가, 각속도 연산부(540)는 제1 벡터(715)와 i번째 픽셀의 속도 벡터(725)를 수학식 4에 대입하여, 제4 속도(w)를 연산할 수 있다.

도 5b를 참조하면, 물체가 반시계 방향(564)으로 회전 중인 경우, 각속도 연산부(540)에 의해 연산된 w는 양(+)의 값을 가질 수 있다. 반대로, 물체가 시계 방향으로 회전 중인 경우, 각속도 연산부(540)에 의해 연산된 w는 음(-)의 값을 가질 수 있다.

일 실시예에 따른 이벤트 기반 이미지 처리 장치는 이벤트 기반 이미지 센서를 이용하는 기술적 특징을 포함할 수 있다. 이벤트 기반 이미지 센서는 이미지에 포함된 복수의 픽셀들 각각에서 비동기적(asynchronously)으로 이벤트 정보를 생성할 수 있다.

예를 들어, 이벤트 기반 이미지 센서는 복수의 픽셀들 중 미리 정해진 이벤트가 발생된 픽셀에 대해서만 이벤트 정보를 생성할 수 있다. 이로 인하여, 일 실시예에 따른 이벤트 기반 이미지 처리 장치는 광류 생성을 위하여 이미지 정보를 업데이트하는 시간을 단축시킬 수 있다.

예를 들어, 이벤트 기반 이미지 처리 장치는 프레임(frame)마다 이미지 전체를 스캔(scan)할 필요 없이, 미리 정해진 이벤트가 발생된 픽셀에 대해서만 타임 스탬프를 업데이트할 수 있다. 이로 인하여, 일 실시예에 따른 이벤트 기반 이미지 처리 장치는 광류를 생성하기 위해 필요한 연산 시간(computation time) 또는 메모리 공간(memory space)을 현저히 감소시키는 기술을 제공할 수 있다.

도 8은 일 실시예에 따른 이벤트 기반 이미지 처리 방법을 나타내는 블록도이다.

도 8을 참조하면, 일 실시예에 따른 이벤트 기반 이미지 처리 방법은 이벤트를 수신하는 단계(810), 타임 스탬프 정보를 생성하는 단계(820), 광류를 생성하는 단계(830) 및 유저 인터페이스를 위한 정보를 연산하는 단계(840)를 포함할 수 있다.

이벤트를 수신하는 단계(810)는 복수의 이미지 픽셀들 각각에서 미리 정해진 이벤트가 발생되었는지 여부를 감지하는 센서로부터 이벤트 신호를 수신할 수 있다. 타임 스탬프 정보를 생성하는 단계(820)는 이벤트 신호의 수신에 반응하여 이벤트 신호에 대응되는 적어도 하나의 픽셀과 이벤트 신호가 출력된 시간을 맵핑 시킴으로써 타임 스탬프 정보를 생성할 수 있다. 광류를 생성하는 단계(830)는 타임 스탬프 정보를 기초로 적어도 하나의 픽셀의 속도 벡터를 포함하는 광류를 생성할 수 있다. 유저 인터페이스를 위한 정보를 연산하는 단계(840)는 광류를 기초로 유저 인터페이스를 위한 정보를 연산할 수 있다.

도 8에 도시된 각 단계들에는 도 1 내지 도 7을 참조하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (29)

1. 복수의 이미지 픽셀들 각각에서 미리 정해진 이벤트가 발생되었는지 여부를 감지하고, 상기 감지에 반응하여 이벤트 신호를 출력하는 센서;
   상기 이벤트 신호에 대응되는 적어도 하나의 픽셀과 상기 이벤트 신호가 출력된 시간을 맵핑(mapping) 시킴으로써 타임 스탬프(time stamp) 정보를 생성하는 타임 스탬프부; 및
   상기 이벤트 신호의 출력에 반응하여 상기 타임 스탬프 정보를 기초로 광류(optical flow)를 생성하는 광류 생성부; 를 포함하고,
   상기 광류 생성부는,
   상기 적어도 하나의 픽셀의 주변 픽셀들을 획득하는 주변 픽셀 획득부;
   상기 타임 스탬프 정보를 이용하여 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 시간 차이와 관련된 정보를 계산하며, 상기 시간 차이가 미리 정해진 범위 밖이면, 상기 시간 차이와 관련된 정보를 0으로 계산하는 시간 차이 계산부;
   상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 거리의 역수를 포함하는 거리 차이와 관련된 정보를 계산하는 거리 차이 계산부; 및
   상기 주변 픽셀들에 대해, 상기 시간 차이와 관련된 정보와 상기 거리 차이와 관련된 정보를 곱셈하고, 상기 곱셈의 결과를 합하여 획득하는 2차원 벡터를 기초로 상기 광류를 계산하는 광류 계산부; 를 포함하는 이벤트 기반 이미지 처리 장치.
2. 제1항에 있어서,
   상기 센서는 상기 복수의 이미지 픽셀들 중 상기 미리 정해진 이벤트가 발생된 일부 픽셀들 각각에 대응되는 이벤트 신호를 비동기적으로 출력하는 이벤트 기반 이미지 처리 장치.
3. 삭제
4. 제1항에 있어서,
   상기 광류 생성부는
   상기 이벤트 신호의 출력에 반응하여, 상기 복수의 이미지 픽셀들 중 상기 적어도 하나의 픽셀 및 상기 주변 픽셀들 각각의 상기 2차원 벡터를 비동기적으로 계산하는 부분 계산부; 및
   미리 정해진 주기마다, 상기 복수의 이미지 픽셀들의 상기 2차원 벡터들을 계산하는 전체 계산부
   중 적어도 하나를 포함하는 이벤트 기반 이미지 처리 장치.
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 광류를 기초로 유저 인터페이스를 위한 정보를 연산하는 연산부; 를 더 포함하며,
   상기 유저 인터페이스를 위한 정보는
   상기 센서가 위치된 센서 평면과 평행한 평면에서 상기 복수의 이미지 픽셀들에 포함된 물체가 x축 방향으로 움직이는 제1 속도;
   상기 평행한 평면에서 상기 물체가 y축 방향으로 움직이는 제2 속도;
   상기 물체가 상기 평행한 평면과 수직한 방향으로 움직이는 제3 속도; 또는
   상기 평행한 평면에서 상기 물체가 원형으로 회전하는 제4 속도
   중 적어도 하나를 포함하는 이벤트 기반 이미지 처리 장치.
8. 제7항에 있어서,
   상기 연산부는
   상기 광류를 기초로 상기 제1 속도 및 상기 제2 속도를 연산하는 평면 속도 연산부;
   상기 광류를 기초로 상기 광류의 중심을 연산하는 광류 중심 연산부;
   상기 광류와 상기 광류의 중심을 기초로 상기 제3 속도를 연산하는 Z축 속도 연산부; 및
   상기 광류와 상기 광류의 중심을 기초로 상기 제4 속도를 연산하는 각속도 연산부
   를 포함하는 이벤트 기반 이미지 처리 장치.
9. 제8항에 있어서,
   상기 평면 속도 연산부는
   상기 제1 속도 및 상기 제2 속도를 연산하기 위하여 상기 광류의 평균을 연산하는 이벤트 기반 이미지 처리 장치.
10. 제8항에 있어서,
    상기 광류 중심 연산부는
    상기 적어도 하나의 픽셀의 위치와 상기 광류에 포함되는 상기 2차원 벡터의 크기를 이용하여 광류의 중심을 연산하는 이벤트 기반 이미지 처리 장치.
11. 제8항에 있어서,
    상기 Z축 속도 연산부는
    상기 제3 속도를 연산하기 위하여 상기 광류의 중심과 상기 적어도 하나의 픽셀의 위치를 이용하여 상기 적어도 하나의 픽셀에 대응되는 제1 벡터를 생성하고, 상기 제1 벡터와 상기 광류에 포함되는 상기 적어도 하나의 픽셀의 속도 벡터를 이용하여 내적 연산을 수행하는 이벤트 기반 이미지 처리 장치.
12. 제8항에 있어서,
    상기 각속도 연산부는
    상기 제4 속도를 연산하기 위하여 상기 광류의 중심과 상기 적어도 하나의 픽셀의 위치를 이용하여 상기 적어도 하나의 픽셀에 대응되는 제1 벡터를 생성하고, 상기 제1 벡터와 상기 광류에 포함되는 상기 적어도 하나의 픽셀의 상기 2차원 벡터를 이용하여 외적 연산을 수행하는 이벤트 기반 이미지 처리 장치.
13. 제1항에 있어서,
    상기 타임 스탬프 정보는
    상기 복수의 이미지 픽셀들 각각에서 상기 미리 정해진 이벤트가 가장 최근에 발생된 시간과 관련된 정보를 포함하는 이벤트 기반 이미지 처리 장치.
14. 복수의 이미지 픽셀들 각각에서 미리 정해진 이벤트가 발생되었는지 여부를 감지하는 센서로부터 이벤트 신호를 수신하는 단계;
    상기 이벤트 신호의 수신에 반응하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀과 상기 이벤트 신호가 출력된 시간을 맵핑(mapping) 시킴으로써 타임 스탬프(time stamp) 정보를 생성하는 단계; 및
    상기 타임 스탬프 정보를 기초로 상기 적어도 하나의 픽셀의 속도 벡터를 포함하는 광류(optical flow)를 생성하는 단계; 를 포함하고,
    상기 광류를 생성하는 단계에서, 상기 적어도 하나의 픽셀과 주변 픽셀들의 시간 차이와 관련된 정보, 및 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 거리의 역수를 포함하는 거리 차이와 관련된 정보의 곱셈 결과를 합하여 상기 속도 벡터를 획득하며,
    상기 시간 차이가 미리 정해진 범위 밖이면, 상기 시간 차이와 관련된 정보를 0으로 계산하는 이벤트 기반 이미지 처리 방법.
15. 이미지 프로세서에 있어서,
    복수의 픽셀들을 포함하는 입력 이미지 데이터를 수신하고, 상기 복수의 픽셀들 각각의 밝기 변화가 미리 정해진 값보다 큰지 여부를 감지하며, 상기 복수의 픽셀들 중 상기 밝기 변화가 상기 미리 정해진 값보다 큰 적어도 하나의 픽셀 각각에 대응되는 각각의 신호를 출력하는 센서;
    상기 각각의 신호를 수신하고, 상기 각각의 신호에 기초하여 상기 적어도 하나의 픽셀 각각을 상기 밝기 변화가 일어난 각각의 시간에 매핑하는 정보를 생성하는 타임 스탬퍼; 및
    상기 타임 스탬퍼에 의해 생성된 상기 정보에 기초하여 광류를 생성하는 광류 생성부; 를 포함하고,
    상기 광류 생성부는, 상기 적어도 하나의 픽셀과 주변 픽셀들 사이의 시간 차이와 관련된 정보, 및 상기 적어도 하나의 픽셀과 상기 주변 픽셀들 사이의 거리의 역수를 포함하는 거리 차이와 관련된 정보의 곱셈 결과를 합하여 2차원 벡터를 획득하고, 상기 2차원 벡터를 이용하여 상기 광류를 생성하며,
    상기 광류 생성부는, 상기 시간 차이가 미리 정해진 범위 밖이면, 상기 시간 차이와 관련된 정보를 0으로 계산하는 이미지 프로세서.
16. 제15항에 있어서,
    상기 타임 스탬퍼는 상기 정보를 저장하고, 상기 센서로부터 새로운 신호를 수신하는 경우 상기 정보를 갱신하며 기존에 저장된 정보는 폐기하는 이미지 프로세서.
17. 제16항에 있어서,
    상기 센서는 상기 밝기 변화를 감지하기 위하여 마이크로초 당 한 번씩 센싱 동작을 수행하는 이미지 프로세서.
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제

Images