KR101991343B1 - 비동기식 광센서의 베이스에 대한 광흐름 평가 방법 - Google Patents

Abstract

컴퓨터는 픽셀 매트릭스가 장면에 마주보며 배치된 광센서(10)로부터 발생한 비동기식 정보를 수신한다. 비동기식 정보는, 매트릭스의 각 픽셀에 대해, 이 픽셀로부터 발생하고 장면에서 광변화에 따르는 연속 이벤트들을 포함한다. 픽셀 매트릭스에서 평가공간(p) 및 평가시간(t)에 대해, 컴퓨터는 평가공간의 공간상 이웃(π_p)에 놓인 픽셀로부터 발생하고 평가시간에 대해 정의된 시간간격(θ)에서 일어난 이벤트 세트(S_{p ,t})를 선택하므로, 이 세트는 기껏해야 공간상 이웃의 픽셀당 하나의 이벤트를 갖는다. 컴퓨터는 매트릭스내 이들 이벤트들이 발생한 픽셀의 위치 함수로서 선택된 세트의 이벤트 발생시간들의 변화를 양자화한다.

Description

비동기식 광센서의 베이스에 대한 광흐름 평가 방법{METHOD OF ESTIMATING OPTICAL FLOW ON THE BASIS OF AN ASYNCHRONOUS LIGHT SENSOR}

본 발명은 이미징 기술에서 광흐름(optical flow)을 평가하는 방법에 관한 것이다.

광흐름은 시간에 걸쳐 변하는 연속 이미지들의 움직임에 대한 묘사이다. 광흐름에 대한 최초의 연구는 텔레비전 분야의 기술자들에 의해 그리고 생물학적 시각 모델링에 관심 있는 사람들에 의해 행해졌다. 그런 후로, 이들 기술들은 컴퓨터 시각 및 로봇 네비게이션을 포함한 광범위한 분야에서 인정받았다. 특히, 이들은 움직임 검출, 대상 분할, 충돌시간 계산, 운동보상 인코딩 등을 수행하는데 사용된다.

광흐름은 노이즈에 의해 악영향을 받는 시각적 측정이다. 이는 현재 이미지 시퀀스내 속도 맵으로 표현된다. 그러나, 이런 맵을 평가한다는 것은 방정식의 개수에 대해 미지수가 너무 많은 불분명한 문제의 해법을 가정한다. 그 결과, 플로우 벡터를 평가하기 위해, 추가 가정 및 구속조건들이 적용되어야 한다. 그러나, 이들 가정 및 구속조건들이 항상 유효하지 않다. 더욱이, 필터되지 않은 본래 이미지 시퀀스들에서 불가피한 확률적 노이즈가 있어 이로 인해 모바일 로봇의 제어 루프에 사용과 관련해 여러 가지 문제가 발생한다.

광흐름 기술들은 4개 카탈로그(J.L. Barron, et al., "Performance of Optical Flow Techniques", International Journal of Computer Vision, Vol. 12, No. 1, pp. 43-77 참조)로 나눌 수 있다:

- 에너지 기반의 방법들은 퓨리에 영역에 정의된 속도적응필터의 출력에 따른 옵트컬 플로우를 표현한다;

- 위상기반의 방법들은 통과대역 필터 출력의 관점에서 이미지 속도를 평가한다;

- 상관기반의 방법들은 일시적인 인접 이미지들에서 작은 공간 이웃들 간의 베스트 매치를 찾는다:

- 미분 또는 기울기 기반의 방법들은 이미지 강도의 시공간 도함수 및 일정 조명의 가정을 이용한다.

광흐름 기술의 설계, 비교 및 적용에 행해진 대부분의 작업은 상관 또는 기울기 기반의 접근법들에 집중된다. 그러나, 이들 모든 방법들은 본질적으로 실행이 느리므로, 실시간 실행 구속조건들에 잘 맞지 않아, 다소 수 회의 적용들이 있을 수 있다.

또 다른 움직임 검출 방법은 EMD(Elementary Motion Detector)로 알려진 시각센서에 의존한다. EMD는 추정되는 곤충의 시각 메카니즘을 재현한 움직임 검출모델에 기초한다. 2개의 인접한 광수용기들은 이미지 신호를 공급하는데 사용되고 그런 후 상기 이미지 신호가 시간 의존적 고대역 및 저대역 필터 열(列)에 공급된다. 고대역 필터들은 전혀 움직임 정보를 전달하지 않는 조명의 연속 성분들을 제거한다. 그리고 나서 신호는 2개의 채널들로 서브분할되며, 상기 채널들 중 하나만 저대역 필터를 포함한다. 저대역 필터에 적용된 지연은 지연 이미지 신호를 제공하는데 이용되고 그런 후 상기 지연 이미지 신호는 인접한 비지연 채널의 신호와 상관된다. 마지막으로, 2개 채널들 간의 차는 움직임 방향에 대한 감도를 갖는 응답을 제공하며, 따라서 이는 비주얼 모션(visual motion)을 측정하는데 이용될 수 있다. EMD에 의한 움직임 검출은 이미지 콘트라스트에 민감하며, 검출된 움직임의 진폭은 하이 콘트라스트가 있을 때 더 크다. 이는 비주얼 모션 측정의 정확도를 교란시킨다. 이런 정확도의 부족으로 인해, EMD는 일반 네비게이션 적용에 대해, 특히 미세한 움직임 제어를 필요로 하는 과업에 대해 적합하지 않다.

기정의된 샘플링의 인스턴스로 연속 이미지들을 기록하는 종래 카메라들과는 달리, 생물학적 망막은 시각화 되어진 장면에 대해 단지 소량의 중복 정보만을 전송하고 비동기식으로 처리한다. 이벤트 기반의 비동기식 시각센서들은 이벤트 형태로 압축된 디지털 데이터를 전달한다. 이런 센서들의 일반적 소개는 "Activity-Driven, Event-Based Vision Sensors", T. Delbruk, et al., Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS), pp. 2426-2429에서 참고될 수 있다. 이벤트 기반의 시각센서들은 중복을 제거하는 이점이 있어, 종래 카메라에 비해 지연시간을 줄이고 동적 범위를 증가시킨다.

이런 시각센서의 출력은 각 픽셀 어드레스에 대해 이벤트들이 발생한 순간 장면 반사율의 변화를 나타내는 일련의 비동기식 이벤트들로 있을 수 있다. 센서의 각 픽셀은 독립적이고 마지막 이벤트의 방출 이후 임계치(가령 강도의 로그에서 15%의 콘트라스트)보다 큰 강도의 변화를 검출한다. 강도 변화가 고정 임계치를 초과하면, 강도가 증가 또는 감소하는지 여부에 따라 픽셀에 의해 ON 또는 OFF 이벤트가 발생된다. 센서는 종래 카메라와 같이 클록으로 샘플화되지 않고, 매우 고도의 (가령, 1㎲ 크기의) 시간 정확도로 이벤트의 시퀀싱을 참작할 수 있다. 이런 센서가 이미지 시퀀스를 재구성하는데 사용되면, 종래 카메라들의 경우 수 십 헤르쯔인데 반해, 수 킬로 헤르쯔의 이미지 레이트(image rate)를 얻을 수 있다.

이벤트 기반의 시각센서들에 유망한 기대를 하고 있더라도, 지금까지도 이런 센서들에 의해 전달된 신호를 기초로 광흐름을 판단하는데 잘 적용되는 실질적인 방법이 전혀 없다. "Frame-free dynamic digital vision", Proceedings of the International Conference on Secure-Life Electronics, Advanced Electronics for Quality Life and Society, University of Tokyo, 6-7^th March 2008, pp. 21-26에서, T. Delbruk는 광흐름의 평가를 고려할 수 있게 하는 정보를 전혀 제공하지 않고도 움직임의 방향 또는 윤곽 방위들과 같이 검출된 이벤트들에 추가 중요성을 제공하기 위해 "레이블러(labelers)"의 사용을 제안한다.

"Neural Networks" periodical, Vol. 27, pp. 32-37, 2012년 3월에 실린 "Asynchronous frameless event-based optical flow" 논문에서, R. Benosman et al은 비동기식 센서에 의해 검출된 이벤트들을 기초로 광흐름의 평가를 설명하고 있다. 사용된 알고리즘은 기울기 기반이며, 이 픽셀(x,y)에서 발생한 이벤트들과 (x-1,y) 및 (x,y-1) 좌표 픽셀들에서 동시에 발생한 이벤트들 간의 차로 주어진 좌표(x,y)의 픽셀에서 공간 기울기들이 평가되는 방정식의 시스템의 해(解)에 의존한다.

종래 카메라에 대해 알려진 실시보다 평가를 더 빨리 할 수 있는 광흐름을 평가하는 방법에 대한 필요성이 있다. 또한, 광흐름의 이용에 따라 개발된 다양한 기술 및 응용들을 이용할 수 있도록, 이벤트 기반의 시각센서에 의해 출력된 신호를 기초로 광흐름을 평가하는 방법에 대한 필요성이 있다.

-픽셀 매트릭스가 장면을 바라보며 배열된 광센서로부터 발생하고, 매트릭스의 각 픽셀에 대해, 상기 픽셀로부터 발생한 연속 이벤트들을 포함하고 장면에서 광변화에 따르는 비동기식 정보를 수신하는 단계;

-픽셀 매트릭스에서 평가공간 및 평가시간에 대해, 평가공간의 공간상 이웃에 놓인 픽셀로부터 발생하고 평가시간에 대해 정의된 시간간격에서 일어난 이벤트 세트를 선택하는 단계; 및

-매트릭스내 상기 이벤트가 발생한 픽셀의 위치 함수로서 선택된 세트의 이벤트 발생시간들의 변화를 양자화하는 단계를 포함하고 상기 세트는 기껏해야 공간상 이웃의 픽셀당 하나의 이벤트를 갖는 광흐름 평가 방법이 제안된다.

상기 방법은 주어진 픽셀위치에서 가장 마지막 이벤트의 발생시간이 단조증가함수인 사실을 이용한다. 이 함수는 다양한 픽셀위치들에 대해 로컬 변화가 센서가 보는 것처럼 장면내 속도 분야에 대한 정보를 제공하는 면을 정의한다. 이들 변화의 양자화는 센서의 픽셀의 응답시간 크기의 지연이 가령 밀리세컨드 크기 이하로 아주 빨리 실행된다.

상기 방법의 실시예에서, 이벤트들이 발생한 픽셀들의 위치 함수로서 선택된 세트의 이벤트 발생시간의 변화의 양자화는 선택된 세트의 이벤트들이 평가공간 주위로 시공간 표현으로 나타나는 기울기를 평가하는 단계를 포함한다. 선택된 이벤트 세트에는 소정의 노이즈 효과를 감쇠시기키 위해 시공간 표현으로 스무딩 연산이 행해질 수 있다.

픽셀 매트릭스가 2차원인 경우, 픽셀의 위치 함수로서 선택된 세트의 이벤트 발생시간들의 변화를 양자화하는 한가지 방법은 시공간 표현으로 선택된 세트의 이벤트들에 대해 최소거리를 나타내는 면을 판단하는 단계를 포함한다. 픽셀 매트릭스가 1차원인 경우, 이는 직선이며 시공간 표현에서 결정될 수 있는 면이 아니다.

매트릭스의 픽셀에 의해 검출된 이벤트의 시공간 분석을 향상시키기 위해, 한가지 가능성은 선택된 위치의 이벤트들이 평가공간 주위로 시공간 표현으로 나타난 2차 미분의 평가를 변화의 양자화에 포함하는 것이다.

일실시예에서, 매트릭스의 각 픽셀에 대해, 이 픽셀로부터 발생한 가장 최근 이벤트의 발생시간이 기억된다. 그런 후 평가공간 및 평가시간에 대한 이벤트 세트의 선택은 시간간격내 시간발생이 평가시간에 대해 정의되고 평가공간의 공간상 이웃의 픽셀에 대해 기억되는 이런 각 이벤트 세트내 포함을 구성한다. 이런 타입의 방법은 상기 방법의 간단하고 빠른 실행을 가능하게 한다.

일실시예에서, 이벤트 세트를 선택하는 단계 및 발생시간의 변화를 양자화하는 단계는 평가공간로서 이벤트가 검출되는 픽셀의 위치 및 평가시간으로서 상기 이벤트의 검출 인스턴트를 취함으로써 실행된다. 따라서, 활동이 관찰되는 픽셀 매트릭스의 관련 영역들에서 광흐름의 초고속 평가에 도달할 수 있다.

특히, 이벤트 세트의 선택은 검출 인스턴트시 매트릭스의 픽셀로부터 발생한 이벤트의 검출에 응답해 수행될 수 있다. 모든 가능성에서 노이즈만을 나타내는 이벤트를 걸러내기 위해, 이벤트 세트가 임계치 보다 큰 이벤트 회수를 포함하는 조건의 움직임 정보를 업데이트하기 위해 발생시간의 변화의 양자화로 진행할 수 있다.

본 발명의 또 다른 태양은

픽셀 매트릭스가 장면을 바라보도록 배열되고, 매트릭스의 각 픽셀에 대해, 상기 픽셀로부터 발생하고 장면의 광변화에 의존하는 연속 이벤트들을 포함하는 비동기식 정보를 출력하도록 형성된 광센서; 및

픽셀 매트릭스에서 평가공간 및 평가시간에 대해

·평가공간의 공간상 이웃에 놓이며 평가시간에 대해 정의된 시간 간격에서 나타난 픽셀로부터 발생하는 이벤트 세트를 선택하는 단계; 및

·매트릭스에서 상기 이벤트가 발생한 픽셀들의 위치의 함수로서 선택된 세트의 이벤트들의 발생시간의 변화를 양자화하는 단계를 실행하기 위한 컴퓨터를 구비하고, 상기 세트는 공간상 이웃의 픽셀당 기껏해야 하나의 이벤트를 갖는 옵트컬 플로우 평가 장치에 관한 것이다.

본 발명의 내용에 포함됨.

본 발명의 다른 특징 및 이점은 첨부도면을 참조로 하기의 비제한적인 실시예의 설명에서 더욱 명백해진다.
도 1은 본 발명의 구현에 적용된 광흐름을 평가하기 위한 장치의 블록도이다.
도 2a는 비동기식 센서의 픽셀 레벨에서 조명 강도 프로파일의 예를 도시한 도면이다.
도 2b는 도 2a에서 강도 프로파일에 응답해 비동기식 센서에 의해 출력된 신호의 예를 도시한 것이다.
도 2c는 도 2b에서의 신호로부터 강도 프로파일의 재구성을 도시한 것이다.
도 3a 및 3b는 본원의 방법의 또 다른 예시적인 실시예에 사용될 수 있는 광수집모드를 도시한 도 2a-2b의 도면들과 유사한 도면들이다.
도 4는 광흐름을 평가하기 위한 방법의 실시예를 도시한 도면이다.
도 5는 회전바를 포함한 장면을 바라보며 배치된 비동기식 센서에 의해 발생된 이벤트를 도시한 도면이다.
도 6은 광흐름을 평가하기 위한 방법의 또 다른 실시예를 도시한 도면이다.

도 1에서 광흐름을 평가하기 위한 장치는 장면을 바라보며 상기 장면으로부터 하나 이상의 렌즈들을 포함한 수집광학기(15)를 통해 광속(luminous flux)을 수신하게 배치된 이벤트 기반의 비동기식 센서(10)를 포함한다. 센서(10)는 수집광학기(15)의 이미지면에 배치된다. 픽셀 매트릭스에 편성된 감광소자 어레이를 포함한다. 감광소자에 대응하는 각 픽셀은 장면내 광변화에 따라 연속 이벤트들을 발생한다.

컴퓨터(20)는 센서(10)에 의해 출력된 비동기식 정보(f), 즉, 다양한 픽셀들로부터 비동기식으로 수신된 연속 이벤트들을 처리해 이로부터 장면내에 관찰된 광흐름에 대한 정보(V)를 추출한다. 컴퓨터(20)는 디지털 신호들로 작동된다. 이는 적절한 프로세서를 프로그램함으로써 실행될 수 있다. 특수논리회로(ASIC, FPGA 등)를 이용한 컴퓨터(20)의 하드웨어 구현도 또한 가능하다.

매트릭스의 각 픽셀에 대해, 센서(10)는 센서의 시야에 나타난 장면에서 픽셀에 의해 검출된 광변화를 기초로 이벤트 기반의 비동기식 신호 시퀀스를 발생한다. 이런 비동기식 감광센서는 어떤 경우 망막의 생리적 반응에 접근할 수 있다. 이는 두문자로 DVS(Dynamic Vision Sensor)로 알려져 있다.

이 비동기식 센서에 의한 획득 원리가 도 2a-2c에 도시되어 있다. 정보는 활성 임계치(Q)에 도달한 연속시간 t_k(k　=　0, 1, 2,…)으로 존재한다. 도 2a는 DVS 매트릭스의 픽셀로 본 조명 강도 프로파일(P1)의 예를 도시한 것이다. 이 강도가 시간 t_k에 있었던 것으로부터 활성 임계치(Q)와 같은 양만큼 증가시킬 때마다, 새 인스턴스 t_{k +1}가 식별되고 양의 스파이크(도 2b에서 레벨 +1)가 이 인스턴스 t_{k +1}에서 방출된다. 대칭적으로, 픽셀의 강도가 시간 t_k에 있었던 것으로부터 Q 양만큼 감소될 때마다, 새 인스턴스 t_{k' +1}가 식별되고 음의 스파이크(도 2b에서 레벨 -1)가 이 인스턴스 t_{k' +1}에서 방출된다. 그런 후 픽셀에 대한 비동기식 신호 시퀀스는 픽셀의 조명 프로파일에 따라 인스턴스 t_k의 시간에 위치된 연속한 양 또는 음의 펄스들 또는 스파이크들로 존재한다. 이들 스파이크들은 수학적으로 양 또는 음의 디랙 피크로 표현되고 방출 인스턴스 t_k 및 신호비트에 의해 특징된다. 따라서, DVS(10)의 출력은 어드레스 이벤트 표현(Address-Event Representation, AER)의 형태이다. 도 2c는 도 2b의 비동기식 신호의 시간에 걸친 적분으로 프로파일(P1)의 근사로 재구성될 수 있는 강도 프로파일(P2)을 도시한 것이다.

활성 임계치(Q)는 도 2a-2c의 경우에서와 같이 고정되거나 도 3a-3b의 경우에서와 같이 조명 강도의 함수로 적용될 수 있다. 예컨대, 임계치(±Q)는 ±1 이벤트의 발생에 대한 조명 강도의 로그의 변화와 비교될 수 있다.

예로써, DVS(10)는 "A 128×128 120　dB 15　㎲ Latency Asynchronous Temporal Contrast Vision Sensor", P. Lichtsteiner, et al., IEEE Journal of Solid-State Circuits, Vol. 43, No. 2, February 2008, pp. 566-576, 또는 특허출원 US　2008/0135731　A1에 기술된 종류일 수 있다. 수 밀리세컨드의 크기로 망막의 다이나믹(활동 전위간의 최소 기간)은 이런 타입의 DVS로 적절히 재현될 수 있다. 다이나믹 성능은 여하튼 실제 샘플링 주파수로 종래 비디오 카메라가 도달할 수 있는 것보다 크다.

컴퓨터(20)의 입력 신호를 구성하는 DVS(10)가 픽셀에 전달한 비동기 신호의 형태는 연속 디랙 피크들과 다를 수 있음에 유의해야 하며, 표현된 이벤트는 이 이벤트 기반의 비동기식 신호에서 임의의 종류의 시간폭 또는 진폭 또는 파형을 가질 수 있다.

본 명세서에 제안된 방법은 다른 타입의 DVS 및 또한 광센서에 적용될 수 있고, 그 신호의 출력은 반드시 망막의 행동을 재현하도록 추구하지 않아도 어드레스 이벤트 표현에 따라 발생되는 것에 유의하라

도 4는 대상물(25)이 전면에서 속도(v)로 이동하는 1차원 비동기식 센서(20), 즉, 픽셀 행들로 구성된 센서를 아주 개략적으로 도시한 것이다. 픽셀 앞에 대상물(25)의 정면 가장자리의 도달은 픽셀에서 ON 이벤트(도 4에서 "+"로 표시됨)를 발생하고 대상물(25)의 뒷면 가장자리가 픽셀 앞으로 지날 때 OFF 이벤트(도 4에서 "-"로 표시됨)를 발생하는 것으로 가정한다. 평가공간(p) 및 평가시간(t)에서 센서(10)가 광흐름을 본 것으로 한다. 이에 대해, 평가공간(p)의 공간상 이웃(π_p)뿐만 아니라 평가시간(t)과 관련해 정의된 시간간격(θ)을 고려하자. 도 4에 도시된 경우에서, 공간상 이웃(π_p)은 π_p = [p-R, p+R]이고, 시간간격(θ)은 평가시간 θ = [t-T, t]에서 종료하는 기정의된 기간의 주기(T)이다.

도 4는 또한 시간간격(θ)에서 공간상 이웃(π_p)으로부터 발생한 센서(10)의 픽셀들로부터 수신된 이벤트들의 세트(S_{p ,t})를 도시한 것이다. 세트(S_{p ,t})의 이벤트들이 정렬되어 있는 것을 도 4의 하부에 있는 그래프의 시공간 표현에서 알 수 있다. 이들 이벤트들을 지나는 직선의 기울기는 센서(10)의 몇몇 픽셀들이 본 대상물(25)의 정면 가장자리의 속도(v)를 나타낸다. 이 속도(v)는 시간간격(θ) 동안 대상물(25)의 후면 가장자리를 본 센서의 다른 지점에서도 또한 발견된다. 이는 특히 시간간격(θ)에서 또 다른 평가공간(p')의 공간상 이웃(π_p)에서 발생한 센서(10)의 픽셀들로부터 수신된 세트(S_{p' ,t})의 이벤트들의 기울기이다.

실제로, 센서(10)의 픽셀들에 의해 전송된 ON 또는 OFF 이벤트들은 도 4에서 이상적인 도식에 나타낸 시간 규칙성을 갖지 않는다. 반대로, 이벤트의 발생 시간은 센서의 감광소자들의 전체적으로 예측될 수 없는 전자 상태들로 인한 상대적 혼동 행태뿐만 아니라 획득 노이즈를 갖는다. 따라서, 세트(S_{p ,t})의 이벤트들은 일반적으로 직선 주위로 분산이 있고, 직선의 기울기는 점(p,t)에서 광흐름을 나타낸다. 이는 세트(S_{p ,t})의 이벤트들이 시공간 도면에 나타나는 것을 못 막는다. 한가지 가능성은 평가공간(p)에 가장 가까운 픽셀들의 위치에 더 큰 가중치를 적용할 수 있어, 최소자승 면에서 세트(S_{p ,t})의 점들을 베스트 핏(best fit)하는 직선을 결정하는 것이다. 그런 후 이 직선의 기울기가 결정될 수 있고, 센서(10)의 시야에서 속도의 평가를 제공하도록 역전된다.

기울기는 또한 공간 미분 커널로 세트(S_{p ,t})의 이벤트들의 발생시간의 컨볼루션으로 즉시 평가될 수 있다. 이와 같은 경우, 컨볼루션 커널 전에 시공간 표현으로 이벤트 세트(S_{p ,t})에 스무딩 오퍼레이션(smoothing operation)을 적용함으로써 노이즈 효과를 감쇠시키는 것이 바람직할 수 있다. 스무딩은 명백히 중간값 필터링을 적용함으로써 실행될 수 있다.

이미징 애플리케이션에서, 센서(10)의 픽셀 매트릭스는 1차원적이기보다 종종 2차원적이다. 픽셀들로부터 발생한 ON 또는 OFF 이벤트들이 배치될 수 있는 시공간 도면은 도 5에 도시된 바와 같이 3차원의 도면이다. 이 도면에서, 각 점은 박스(A)에 도식된 바와 같이 일정 각속도를 갖는 회전바의 운동에 의해 위치(

)의 센서의 픽셀에서 인스턴스(t)에 비동기식으로 발생된 이벤트를 나타낸다. 이들 점들의 대부분은 일반적 나선형 면 가까이에 분포된다. 그러나, 상술한 혼동 행태가 주어진다면 점들이 이 표면에 정확히 정렬되지 않는다. 더욱이, 도면은 측정되나 바의 유효 운동에 해당하지는 않는 나선형 면으로부터 떨어진 소정 개수의 이벤트들을 도시한 것이다. 이런 이벤트들은 획득 노이즈이다.

보다 일반적으로, 센서(10)의 시야에서 하나 이상의 대상물들의 운동이 있음으로, 이벤트들이 3차원 표현(x,y,t)으로 나타나고 이 운동에 해당하는 광흐름을 찾는다.

사이트 p=(

)에 위치된 픽셀에서 시간(t)에서 발생한 이벤트는 e(p,t)로 표시된다. e(p,t)의 값은 이벤트의 ON(콘트라스트에서 양의 변화) 또는 OFF(콘트라스트에서 음의 변화) 극성에 따라 +1 또는 -1이다. 다시 한번, 픽셀(p)의 공간상 이웃(π_p): π_p = {p'/∥p'-p∥≤R} 및 시간간격(θ=[t-T,t])이 정의될 수 있고, (시간간격(θ) 동안 이벤트가 있다면) 각 픽셀에 대해 가장 최근 이벤트만 보유함으로써 시간간격(θ)에서 이웃(π_p)에 있는 픽셀로부터 발생한 이벤트들을 고려할 수 있다. 이런 식으로, 이벤트의 시공간 표현으로 표면(Σ_e)의 공간(π_p×θ) 내에 놓이는 부분들로 보여질 수 있는 이벤트 세트(S_{p ,t})가 구성된다.

매트릭스의 각 픽셀(p)에 대해, 마지막에 관찰된 이벤트의 발생시간이 기억된다. 그런 후 각 위치(p)에는 이 위치에서 가장 최근 이벤트의 발생시간(Σ_e(p))을 할당하는 함수를 정의할 수 있다. 표면(Σ_e)은 3차원 공간에서 이 함수의 표현이다. 면은 시간함수로서 상승한다. 픽셀 매트릭스의 면에 점들의 투영이 공간상 이웃(π_p) 밖에 있고, 시간축에 이런 점들의 투영이 시간간격(θ) 밖에 있는 이 면(Σ_e)의 점들은 이벤트 세트(S_{p ,t})를 선택할 때 소거된다.

컴퓨터(20)는 그런 후 2개의 공간 파라미터(x,y)에 대해 점 e(p,t)에서 표면(Σ_e)의 편미분

및

을 평가한다: 이들 편미분은 S_{p ,t} 이벤트가 평가 위치 주위로 나타나는 기울기를 나타낸다. e(p,t) 주위에서, 즉, S_{p ,t}가 나타나는 면의 일부분에서, Σ_e는 다음과 같이 쓸 수 있다:

Σ_e의 편미분은 하나의 변수(x 또는 y)의 함수이다. 시간은 엄격한 증가함수이므로, Σ_e는 각 점에서 0이 아닌 미분 면이다. 위치 p=(

) 주위에 다음과 같이 쓰는 데 그 역함수가 이용될 수 있다:

여기서 Σ_e｜_x=x0 및 Σ_e｜_{y= y0}는 x₀에서 x 및 y₀에서 y로 국한된 Σ_e이다. 그런 후 그래디언트 ∇Σ_e는 ∇Σ_e = (1/v_x, 1/v_y)로 쓸 수 있고, 이는 시간 함수로서 이벤트의 픽셀 속도(v_x, v_y)의 역을 제공한다.

앞서의 경우와 유사한 방식으로, 이벤트 발생의 시간 변화의 양자화는 시공간 표현으로 세트(S_{p ,t})의 이벤트들에 대해 최소자승 면에서 최소 거리를 갖는 면을 판단하는 단계를 포함할 수 있다. 그래디언트 ∇Σ_e의 성분은 또한 스무딩 연산 후에 적용될 수 있는 x 및 y 위로 미분 커넬과 컨볼루션에 의해 평가될 수 있다.

광흐름의 정보를 완성하기 위해, 컴퓨터(20)는 점 e(p,t) 주위로 2차미분 Σ_e의 평가를 더 수행할 수 있다. 2차미분에 대한 이 정보는 센서(10)의 시야에서 관찰될 수 있는 가속도를 설명한다. 2차미분

,

, 및

은 이벤트의 식별할 수 있는 주파수의 측정을 제공하는 표면 Σ_e의 로컬 곡률을 나타낸다. 곡률이 0이면, 이벤트는 초점면에 고정된 비율로 발생한다. 곡률의 증감은 장면에서 이벤트를 발생하는 가장자리의 가속도와 관계 있다.

앞선 예에서, 주어진 평가공간(p) 및 평가시간(t)에 대해 선택된 이벤트의 세트(S_{p ,t})는 임의의 극성(ON 또는 OFF)의 이벤트들로 구성된다. 각 픽셀에서 발생한 가장 최근 이벤트인, ON 또는 OFF의 발생시간이 이 픽셀의 위치와 관련해 기억되어, 매트릭스 픽셀들이 본 가장 마지막 이벤트만을 세트(S_{p ,t})에 항상 포함할 수 있다. S_{p ,t}가 다른 극성의 이벤트를 포함하는 경우들이 발생할 수 있다. 이들 경우는 평가 기울기에서 상대적으로 드문 몇몇 에러를 일으키나, 이는 측정을 크게 방해하지 않는다.

이들 경우들의 횟수를 줄이기 위해, 한가지 가능성은 동일한 극성의 이벤트들만 이벤트 세트(S_{p ,t})에 포함하는 것이다. 특히, 매트릭스의 다양한 픽셀들에 대해, 하나는 가장 최근의 ON 이벤트들의 발생시간을 포함하고, 다른 하나는 가장 최근의 OFF 이벤트들의 발생시간을 포함하는 2개의 테이블을 기억할 수 있다. 이런 실시예에서, 위치(p)의 픽셀에서 주어진 극성, ON 또는 OFF를 갖는 이벤트 시간(t)에 수신으로 인해 세트(S_{p ,t})의 구성은 발생시간이 간격 θ = [t-T, t]내에 있는 이런 극성을 갖는 각 이벤트로 구성되고 이웃픽셀(π_p)에 대해 기억된다. 그런 후 컴퓨터는 이에 따라 형성된 세트(S_{p ,t})에서 1차 및/또는 2차 미분의 평가를 수행할 수 있다.

컴퓨터(20)는 주어진 픽셀 위치 주변에서 이벤트 발생시간의 변화에 대한 양자화를 수행하는 순간들이 이 픽셀에 대한 이벤트의 도달의 함수로서 선택될 수 있다.

예컨대, 검출 인스턴트(t)에서 매트릭스에 위치(p)의 픽셀로부터 발생한 이벤트 e(p,t)의 수신시, 컴퓨터(20)는 가장 최근 이벤트의 발생시간들이 (위치(p)에서 테이블의 선행 값을 t로 대체함으로써) 저장되는 테이블을 업데이트하고, 그런 후 세트(S_p,t)가 움직임의 적절한 평가를 수행할 수 있도록 충분한 최근 이벤트들을 포함하는지 판단한다. 이렇게 하기 위해, 컴퓨터(20)는 시간간격(θ) 내에 있는, 공간상 이웃(π_p)에서 픽셀 위치들에 대해 테이블에 기억되는 발생시간을 카운트할 수 있다. 따라서 판단된 발생시간 회수가 기정의된 임계치(α) 미만이면, 발생시간에서 변화의 양자화가 전혀 수행되지 않고, 검출된 이벤트는 노이즈로 간주된다. 다른 한편으로, 임계치(α)가 초과되면, 표면(Σ_e)은 발생시간의 변화를 양자화화기 위해 기울기 평가를 수행할 수 있도록 e(p,t)에 가까운 충분한 점들을 포함하는 것으로 추정된다. 임계치(α)는 일반적으로 센서가 공간상 이웃(π_p)을 포함한 픽셀의 개수의 비율(가령 10 내지 30%)로 정의된다.

앞선 예시적인 실시예에서, 2개의 파라미터(R 및 T)는 광흐름 측정을 수행하도록 조절될 수 있다. 이들 파라미터의 선택은 센서의 물리적 특징(픽셀들 간의 간격, 응답시간) 및, 이미지 면에서, 검출하고자 하는 대상물의 움직임의 차원과 속도의 크기 차수에 따른다. 예로써, 그리고 어떤 방식으로 이를 제한함이 없이, 공간상 이웃은 매트릭스 면에서 3 내지 5 픽셀의 크기의 반경(R)으로 치수화될 수 있고, 시간간격(θ)의 기간(T)은 500㎲에서 2ms의 크기로 있을 수 있다. 이 선택은 사용되는 하드웨어 및 애플리케이션에 따른다.

상술한 예시적인 실시예는 본 발명의 예이다. 다양한 변형들이 특허청구범위에 정의된 바와 같이 본 발명의 범위로부터 벗어남이 없이 이들에 행해질 수 있다.

Claims (14)

1. - 픽셀 매트릭스가 장면을 바라보며 배열된 광센서(10)로부터 발생하고, 매트릭스의 각 픽셀에 대해, 상기 픽셀로부터 발생한 연속 이벤트들을 포함하고 장면의 광변화에 따르는 비동기식 정보를 수신하는 단계;
   - 매트릭스의 각 픽셀에 대해, 상기 픽셀로부터 발생한 가장 최근 이벤트의 발생시간을 기억하는 단계;
   - 픽셀 매트릭스에서 평가공간(p) 및 평가시간(t)에 대해, 평가공간의 공간상 이웃(π_p)에 놓인 픽셀로부터 발생하고 평가시간에 대해 정의된 시간간격(θ)에서 일어난 이벤트 세트(S_p,t)를 선택하는 단계; 및
   - 매트릭스내 상기 이벤트가 발생한 픽셀의 위치 함수로서 선택된 세트의 이벤트 발생시간들의 변화를 양자화하는 단계;
   를 포함하는 광흐름 평가 방법으로서,
   상기 이벤트 세트는 공간상 이웃의 픽셀당 0 또는 하나의 이벤트를 갖고, 상기 시간간격내 각각의 발생시간이 평가시간에 대해 정의되고 평가공간의 상기 공간상 이웃의 픽셀에 대해 기억되는 각 이벤트를 포함하는 광흐름 평가 방법.
2. 제 1 항에 있어서,
   변화의 양자화는 선택된 세트(S_{p ,t})의 이벤트들이 평가공간 주위의 시공간 표현으로 나타나는 기울기를 평가하는 단계를 포함하는 광흐름 평가 방법.
3. 제 2 항에 있어서,
   시공간 표현으로, 기울기를 평가하기 전에, 선택된 이벤트 세트(S_{p ,t})에 대한 스무딩 연산을 포함하는 광흐름 평가 방법.
4. 제 2 항에 있어서,
   픽셀 매트릭스는 2차원이고 변화의 양자화는 시공간 표현으로 선택된 이벤트 세트(S_p,t)에 대해 최소 거리를 나타내는 면을 판단하는 단계를 포함하는 광흐름 평가 방법.
5. 제 2 항에 있어서,
   픽셀 매트릭스는 1차원이고 변화의 양자화는 시공간 표현으로 선택된 이벤트 세트(S_p,t)에 대해 최소 거리를 나타내는 직선을 판단하는 단계를 포함하는 광흐름 평가 방법.
6. 제 2 항에 있어서,
   변화의 양자화는 선택된 이벤트 세트(S_p,t)가 평가공간 주위로 시공간 표현으로 나타나는 2차 미분을 평가하는 단계를 더 포함하는 광흐름 평가 방법.
7. 제 1 항에 있어서,
   매트릭스의 픽셀로부터 발생한 이벤트들은 각각 여러 가지 가능한 극성들 가운데 한 극성을 갖고, 평가공간 및 평가시간에 대해 선택된 이벤트 세트(S_p,t)는 임의의 극성의 이벤트들로 구성되는 광흐름 평가 방법.
8. 삭제
9. 제 1 항에 있어서,
   매트릭스의 픽셀로부터 발생한 이벤트들 각각은 2가지 가능한 극성들 중에 한 극성을 갖고, 평가공간 및 평가시간에 대한 선택된 이벤트 세트(S_p,t)는 동일한 극성의 이벤트들로 구성되는 광흐름 평가 방법.
10. 제 9 항에 있어서,
    매트릭스의 각 픽셀 및 각각의 가능한 극성에 대해, 상기 극성을 갖는 상기 픽셀로부터 발생한 가장 최근 이벤트의 발생시간이 기억되고, 평가공간 및 평가시간에 대한 이벤트 세트(S_{p ,t})의 선택은 평가공간에서 주어진 극성을 갖는 이벤트의 수신에 잇따라:
    평가시간에 대해 정의되고 평가공간의 공간상 이웃 픽셀에 대해 기억되는 시간간격내 발생시간 및 주어진 극성을 갖는 각각의 이벤트를 상기 세트에 포함하는 단계를 포함하는 광흐름 평가 방법.
11. 제 1 항에 있어서,
    상기 시간간격(θ)은 평가시간을 종료하는 기정의된 기간주기(T)인 광흐름 평가 방법.
12. 제 1 항에 있어서,
    이벤트 세트(S_p,t)의 선택 및 발생시간의 변화를 양자화하는 단계는 평가공간로서 이벤트가 검출되는 픽셀의 위치 및 평가시간으로서 상기 이벤트의 검출 순간을 취함으로써 실행되는 광흐름 평가 방법.
13. 제 12 항에 있어서,
    이벤트 세트(S_{p ,t})의 선택은 검출 인스턴트에서 매트릭스의 픽셀들로부터 발생한 이벤트의 검출에 응답해 수행되고, 발생시간에서 변화의 양자화는 이벤트 세트가 임계치 보다 큰 이벤트 개수를 포함하는 조건의 움직임 정보를 업데이트하도록 수행되는 광흐름 평가 방법.
14. 픽셀 매트릭스가 장면을 바라보도록 배열되고, 매트릭스의 각 픽셀에 대해, 상기 픽셀로부터 발생하고 장면의 광변화에 의존하는 연속 이벤트들을 포함하는 비동기식 정보를 출력하도록 형성된 광센서; 및
    매트릭스의 각 픽셀에 대해, 상기 픽셀로부터 발생한 가장 최근 이벤트의 발생시간을 기억하도록 구성되고, 픽셀 매트릭스에서 평가공간 및 평가시간에 대해:
    - 평가공간의 공간상 이웃에 놓이며 평가시간에 대해 정의된 시간 간격에서 나타난 픽셀로부터 발생하는 이벤트 세트를 선택하는 단계; 및
    - 매트릭스에서 상기 이벤트가 발생한 픽셀들의 위치의 함수로서 선택된 세트의 이벤트들의 발생시간의 변화를 양자화하는 단계;
    를 실행하도록 구성되는 컴퓨터;
    를 포함하는 광흐름 평가 장치로서,
    상기 이벤트 세트는 공간상 이웃의 픽셀당 0 또는 하나의 이벤트를 갖고, 상기 시간간격내 각각의 발생시간이 평가시간에 대해 정의되고 평가공간의 상기 공간상 이웃의 픽셀에 대해 기억되는 각 이벤트를 포함하는 광흐름 평가 장치.

Images