KR102357680B1 - 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법 - Google Patents

이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법 Download PDF

Info

Publication number
KR102357680B1
KR102357680B1 KR1020140159926A KR20140159926A KR102357680B1 KR 102357680 B1 KR102357680 B1 KR 102357680B1 KR 1020140159926 A KR1020140159926 A KR 1020140159926A KR 20140159926 A KR20140159926 A KR 20140159926A KR 102357680 B1 KR102357680 B1 KR 102357680B1
Authority
KR
South Korea
Prior art keywords
event
pixel
movement
time
information
Prior art date
Application number
KR1020140159926A
Other languages
English (en)
Other versions
KR20160058449A (ko
Inventor
박근주
이규빈
이준행
류현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140159926A priority Critical patent/KR102357680B1/ko
Priority to US14/705,091 priority patent/US9817507B2/en
Publication of KR20160058449A publication Critical patent/KR20160058449A/ko
Application granted granted Critical
Publication of KR102357680B1 publication Critical patent/KR102357680B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법이 제공된다. 일 실시예에 따르면 이벤트에 기반하여 객체의 이동을 감지하는 장치는 이벤트 기반 비전 센서를 이용하여 감지한 이벤트에 대응하는 픽셀의 시차 정보 등에 기초하여 객체의 이동을 감지할 수 있다.

Description

이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법{METHOD AND DEVICE TO DETECT MOVEMENT OF OBJECT BASED ON EVENT}
이하, 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법이 개시된다.
모바일 기기 등의 제어에 있어서, 사용자의 동작을 인식하여 기기를 제어하는 인터페이스 기술이 요구될 수 있다. 이 때 깊이 영상을 이용한 동작 인식의 정확도를 높이기 위해서는 높은 해상도와 정확도를 갖는 양질의 3차원 정보가 획득되어야 할 수 있다.
예를 들어, 깊이 영상은 능동적 획득 방식과 수동적 획득 방식을 이용하여 획득될 수 있다. 능동적 획득 방식은 물리적 센서 장치(적외선 센서, 깊이 카메라 등)를 이용하여 깊이 정보를 직접 획득하는 반면에, 수동적 획득 방식은 두 대 이상의 카메라를 통하여 얻은 영상으로부터 깊이 정보를 계산할 수 있다.
다만, 깊이 영상에 대한 깊이 정보의 정확도가 항상 보장되지 않을 수 있고, 깊이 정보의 연산에 요구되는 복잡도가 높아 사용자의 동작을 인식하기 위해 상당한 연산량 및 연산 시간이 소요될 수 있다.
일 실시예에 따르면 이벤트(event)에 기반하여 객체(object)의 이동(movement)을 감지하는 방법은, 이미지 데이터에 포함된 복수의 픽셀들의 각각에서 발생하는 객체의 이동과 연관된 이벤트를 감지하여 적어도 하나의 이벤트 신호를 출력하는 단계, 적어도 하나의 이벤트 신호의 출력에 응답하여 이벤트가 발생한 픽셀에 이벤트가 발생한 시간과 관련된 시간 정보를 저장하는 단계, 및 복수의 픽셀들 중에서, 적어도 하나의 이벤트 신호에 대응하고 미리 정한 시간 범위(time range)에 속하는 시간 정보를 갖는 하나 이상의 픽셀들로부터, 이벤트 신호를 추출하는 단계를 포함할 수 있다.
적어도 하나의 이벤트 신호를 출력하는 단계는, 적어도 하나의 이벤트 신호로부터 객체의 적어도 일부에 대응하는 이벤트 신호를 식별하는 단계를 포함할 수 있다.
적어도 하나의 이벤트 신호를 출력하는 단계는, 적어도 하나의 이벤트 신호로부터 미리 정한 이벤트에 대응하는 이벤트 신호를 선택하는 단계를 포함할 수 있다.
상술한 방법은 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀(neighboring pixel)의 시간 정보에 기반하여, 이벤트가 발생한 픽셀의 시차(time difference) 정보를 계산하는 단계를 더 포함할 수 있다.
상술한 방법은 픽셀의 시차 정보가 미리 정한 임계 시차 범위에 대응하는 것으로 판단되는 경우에 응답하여, 이벤트가 발생한 픽셀을 선택하는 단계를 더 포함할 수 있다.
이벤트가 발생한 픽셀의 시차 정보를 계산하는 단계는, 이벤트가 발생한 픽셀의 시간 정보 및 적어도 하나의 주위 픽셀의 시간 정보 간의 시간 차이를 계산하는 단계를 포함할 수 있다.
이벤트가 발생한 픽셀의 시차 정보를 계산하는 단계는, 계산된 시간 차이의 합을 이벤트가 발생한 픽셀의 시차 정보로서 저장하는 단계를 포함할 수 있다.
상술한 방법은 복수의 픽셀들 각각을 둘러싸는 적어도 하나의 주위 픽셀에 대응하는 이벤트 신호에 기반하여, 객체의 이동과 연관된 픽셀을 복원하는 단계를 더 포함할 수 있다.
상술한 방법은 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀에 대응하는 이벤트 신호에 기반하여, 이벤트가 발생한 픽셀을 필터링하는 단계를 더 포함할 수 있다.
이벤트 신호를 추출하는 단계는, 미리 정한 타임 윈도우 내의 마지막 이벤트 신호에 대응하는 시간 정보 또는 미리 정한 타임 윈도우 내의 적어도 하나의 이벤트 신호의 평균 시간 정보에 기초하여 시간 범위를 결정하는 단계를 포함할 수 있다.
이벤트에 기반하여 객체의 이동을 감지하는 방법은 계산된 시차 정보에 기초하여 시간 범위를 조절하는 단계를 더 포함할 수 있다.
일 실시예에 따르면 이벤트에 기반하여 객체의 이동을 감지하는 장치는 이미지 데이터에 포함된 복수의 픽셀들의 각각에서 발생하는 객체의 이동과 연관된 이벤트를 감지하여 적어도 하나의 이벤트 신호를 출력하는 이벤트 센서(event sensor), 적어도 하나의 이벤트 신호의 출력에 응답하여 이벤트가 발생한 픽셀에 이벤트가 발생한 시간과 관련된 시간 정보를 저장하고, 복수의 픽셀들 중에서, 적어도 하나의 이벤트 신호에 대응하고 미리 정한 시간 범위(time range)에 속하는 시간 정보를 갖는 하나 이상의 픽셀들로부터, 이벤트 신호를 추출하는 처리부(processor)를 포함할 수 있다.
처리부는, 적어도 하나의 이벤트 신호로부터 객체의 적어도 일부에 대응하는 이벤트 신호를 식별할 수 있다.
처리부는, 적어도 하나의 이벤트 신호로부터 미리 정한 이벤트에 대응하는 이벤트 신호를 선택할 수 있다.
처리부는, 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀(neighboring pixel)의 시간 정보에 기반하여, 이벤트가 발생한 픽셀의 시차 정보를 계산할 수 있다.
처리부는, 픽셀의 시차 정보가 미리 정한 임계 시차 범위에 대응하는 것으로 판단되는 경우에 응답하여, 이벤트가 발생한 픽셀을 선택할 수 있다.
처리부는, 시차 정보를 계산하기 위해 이벤트가 발생한 픽셀의 시간 정보 및 적어도 하나의 주위 픽셀의 시간 정보 간의 시간 차이를 계산할 수 있다.
처리부는, 계산된 시간 차이의 합을 이벤트가 발생한 픽셀의 시차 정보로서 저장할 수 있다.
처리부는, 복수의 픽셀들 각각을 둘러싸는 적어도 하나의 주위 픽셀에 대응하는 이벤트 신호에 기반하여, 객체의 이동과 연관된 픽셀을 복원할 수 있다.
처리부는, 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀에 대응하는 이벤트 신호에 기반하여, 이벤트가 발생한 픽셀을 필터링할 수 있다.
도 1은 일 실시예에 따른 이벤트 기반 센서의 예시적인 구조를 도시한다.
도 2는 일 실시예에 따른 이벤트 프레임의 예시를 도시한다.
도 3은 일 실시예에 따른 이벤트에 기반하여 객체의 이동을 감지하는 방법을 도시한 흐름도이다.
도 4는 일 실시예에 따라 출력된 이벤트 신호를 나타낸 이벤트 프레임의 예시를 도시한다.
도 5는 일 실시예에 따른 복수의 이벤트 신호들로부터 일부 이벤트 신호를 선택하는 방법을 도시한 흐름도이다.
도 6은 일 실시예에 따라 미리 정한 이벤트에 대응하는 이벤트 신호를 나타낸 이벤트 프레임의 예시를 도시한다.
도 7은 일 실시예에 따라 시간 정보가 저장된 이벤트 프레임의 예시를 도시한다.
도 8은 일 실시예에 따라 미리 정한 시간 범위의 이벤트 신호를 나타낸 이벤트 프레임의 예시를 도시한다.
도 9는 일 실시예에 따라 이벤트 신호가 발생한 픽셀의 시차 정보를 계산하여 픽셀을 선택하는 방법을 도시한 흐름도이다.
도 10은 일 실시예에 따라 이벤트가 발생한 픽셀의 시차 정보를 계산하는 방법을 도시한 흐름도이다.
도 11 및 도 12는 일 실시예에 따른 필터의 형태의 예시를 도시한다.
도 13은 일 실시예에 따라 픽셀에 대한 시간 필터링(time-filtering)을 수행하는 제1 필터를 설명하기 위한 도면이다.
도 14는 일 실시예에 따라 도 8의 이벤트 프레임에 대해 계산된 시차 정보를 나타내는 이벤트 프레임을 도시한다.
도 15는 일 실시예에 따라 노이즈 픽셀을 필터링하고 누락된 픽셀을 복원하는 방법을 도시한 흐름도이다.
도 16은 일 실시예에 따라 픽셀에 대한 공간 필터링(spatial-filtering)을 수행하는 제2 필터를 설명하기 위한 도면이다.
도 17은 일 실시예에 따라 도 16의 필터를 이용한 계산이 적용된 결과를 도시한다.
도 18a 내지 도 18c는 일 실시예에 따른 계산된 시차 정보를 나타내는 이벤트 프레임의 예시를 도시한다.
도 19는 일 실시예에 따라 이벤트에 기반하여 객체의 이동을 감지하는 장치의 세부적인 블럭도를 도시한다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 이벤트 기반 센서의 예시적인 구조를 도시한다.
이벤트 기반 센서(100)는 3개의 단(stage)로 구성될 수 있다.
제1 단(first stage)(110)에서는 이벤트 기반 센서(100)로 입사되는 빛의 세기에 비례하는 전기 신호를 출력할 수 있다. 예를 들어, 제1 단(110)은 빛의 세기에 비례하는 전압 또는 전류를 생성할 수 있다. 도 1에서는 제1 단(110)에서 전류가 생성될 수 있다.
제2 단(second stage)(120)에서는 빛의 변화를 증폭한 신호를 출력할 수 있다. 예를 들어, 제2 단(120)에서는 커패시터(capacitor)를 통해 제1 단(110)에서 출력된 전기 신호의 DC 성분을 제거할 수 있다. 제2 단(120)에서는 제1 단(110)에서 출력된 전기 신호의 변화량을 증폭할 수 있다.
제3 단(third stage)(130)에서는 온 이벤트 신호(ON event signal) 또는 오프 이벤트 신호(OFF event signal)을 출력할 수 있다. 예를 들어, 제3 단(130)은 제2 단(120)에서 증폭된 전기 신호의 변화량이 임계 변화량보다 크면 온 이벤트 신호를 출력하고, 제2 단(120)에서 증폭된 전기 신호의 변화량이 임계 변화량보다 작으면 오프 이벤트 신호를 출력할 수 있다.
본 명세서에서 이벤트는 사용자의 입력에 대응되며, 명암이 변하는 이벤트, 소리가 변하는 이벤트, 터치가 변하는 이벤트 등을 포함할 수 있다. 이벤트는 다양한 이벤트 기반 센서로 감지되고 출력될 수 있다. 예를 들어, 이벤트는 오브젝트를 촬영하는 이벤트 기반 비전 센서로 감지되고 출력될 수 있다.
이벤트 기반 비전 센서는 입사되는 빛의 명암 변화를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력할 수 있다. 예를 들어, 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 밝아지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 온 이벤트(ON event)를 출력할 수 있다. 또한, 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 어두워지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 오프 이벤트(OFF event)를 출력할 수 있다.
이벤트 기반 비전 센서는 프레임 기반 비전 센서와 달리 각 픽셀의 포토 다이오드의 출력을 프레임 단위로 스캔하지 않고, 빛의 변화가 있는 부분의 픽셀 데이터만을 출력할 수 있다. 비전 센서로 입사되는 빛의 명암 변화는 오브젝트의 움직임에 기인할 수 있다. 예를 들어, 시간의 흐름에 따라 광원이 실질적으로 고정되어 있고 오브젝트는 스스로 발광하지 않는 경우, 비전 센서로 입사되는 빛은 광원에서 발생되어 오브젝트에 의해 반사된 빛이다. 오브젝트가 움직이지 않는 경우, 움직임이 없는 상태의 오브젝트에 의해 반사되는 빛은 실질적으로 변하지 않으므로, 이벤트 기반 비전 센서에 입사되는 빛의 명암 변화도 발생되지 않는다. 반면, 오브젝트가 움직이는 경우, 움직이는 오브젝트에 의해 반사되는 빛은 오브젝트의 움직임에 따라 변하므로, 비전 센서에 입사되는 빛의 명암 변화가 발생될 수 있다.
오브젝트의 움직임에 반응하여 출력되는 이벤트 신호는 시간 비동기적으로 생성된 정보로 인간의 망막으로부터 뇌로 전달되는 시신경 신호와 유사한 정보일 수 있다. 예를 들어, 이벤트 신호는 정지된 사물에 대하여는 발생되지 않고, 움직이는 사물이 감지되는 경우에 한하여 발생될 수 있다.
예를 들어, 이벤트 기반 비전 센서는 픽셀 3번에서 빛이 일정 크기 이상 증가하였으면 3번의 어드레스(address)와 빛의 변화가 발생한 시간 및 1을 출력할 수 있다. 다른 예를 들어, 픽셀 4번에서 빛이 일정 크기 이상 감소하였으면 4번 어드레스와 시간, 그리고 -1이 출력될 수 있다. 여기서, 픽셀의 어드레스는 번호, 위치, 인덱스와 매칭될 수 있다.
이벤트 기반 비전 센서와 달리, 이벤트 기반 청각 센서는 소리의 변화를 감지하여 이벤트로 출력할 수 있다. 이벤트 기반 청각 센서는 수신되는 소리의 변화를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력할 수 있다. 예를 들어, 이벤트 기반 청각 센서는 특정 주파수 대역에서 소리가 커지는 이벤트를 감지하는 경우, 해당 주파수 대역에 대응하는 온 이벤트를 출력할 수 있다. 또한, 이벤트 기반 청각 센서는 특정 주파수 대역에서 소리가 작아지는 이벤트를 감지하는 경우, 해당 주파수 대역에 대응하는 오프 이벤트를 출력할 수 있다.
또 다른 예로, 이벤트 기반 터치 센서는 터치의 변화를 감지하여 이벤트로 출력할 수 있다. 이벤트 기반 터치 센서는 인가되는 터치의 변화를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력할 수 있다. 예를 들어, 이벤트 기반 터치 센서는 특정 위치에서 터치 입력 이벤트를 감지하는 경우, 해당 위치에 대응하는 온 이벤트를 출력할 수 있다. 또한, 이벤트 기반 터치 센서는 특정 위치에서 터치 해제 이벤트를 감지하는 경우, 해당 위치에 대응하는 오프 이벤트를 출력할 수 있다.
이하, 본 명세서에서는 이벤트 기반 센서를 이벤트 센서라고 나타낼 수 있다. 하기 도 2 내지 도 19에서는 이벤트 기반 비전 센서를 이벤트 센서로서 설명할 수 있다. 상술한 이벤트 센서는 빛이 변화한 픽셀의 어드레스와 시간 정보 만을 활용하므로 일반 이미지 카메라보다 처리되는 정보량을 크게 감소될 수 있다.
도 2는 일 실시예에 따른 이벤트 프레임의 예시를 도시한다.
종래에는 사용자의 손동작을 인식하기 위해서 측정된 이미지로부터 특정을 추출한 후 손 모양에 해당하는 템플릿(template)과 비교하여 유사한 손 모양을 검색하였다. 다만, 이러한 방식은 특징을 추출하는 과정 및 템플릿과 비교하기 위한 확률 분포를 계산하는 과정 등에서 많은 계산량이 요구될 수 있다.
상술한 도 1에서 설명한 이벤트 센서는 비동기식으로 동작하므로, 이벤트 센서는 각각의 픽셀에 대해 개별적으로 이벤트의 발생을 감지할 수 있다. 이하, 본 명세서에서 이벤트 프레임(event frame)(220)은 미리 정한 타임 윈도우 동안 발생한 이벤트에 대응하는 픽셀들의 집합을 나타낼 수 있다. 여기서, 미리 정한 타임 윈도우는 이벤트가 발생한 시간을 구분하기 위한 단위를 나타낼 수 있다.
예를 들어 도 2에서, 손이 이동하는 경우(210)를 이벤트 센서가 감지하는 경우, 도 2에 도시된 이벤트 프레임(220)에서 미리 정한 타임 윈도우 동안 발생한 이벤트에 대응하는 픽셀들이 점으로서 나타날 수 있다. 도 2의 이벤트 프레임(220)은 미리 정한 타임 윈도우 동안 발생한 이벤트에 대응하는 픽셀들을 시각적으로 나타낸 것이다.
다만, 이벤트 프레임(220)을 이로 한정하는 것은 아니고, 이벤트 프레임(220)은 각 픽셀의 인덱스(예를 들어, 각 픽셀에 대해 고유하게 지정된 식별번호), 각 픽셀에 대해 이벤트가 발생한 시간 정보, 각 픽셀에서 발생한 이벤트의 종류, 및 각 픽셀의 위치 등과 같이 각 픽셀에서 발생하는 이벤트와 연관된 정보로 구성될 수 있다.
이하, 본 명세서에서는 이벤트 프레임(220)에 포함되는 상술한 정보들을 이벤트 맵(event map)의 형태로 나타낼 수 있다. 이벤트 맵은 이벤트에 포함될 수 있는 복수의 이벤트 값들에 대응되는 원소들을 포함할 수 있다. 여기서, 이벤트 맵은 상술한 원소들은 각각의 이벤트 값에 대응하는 픽셀과 매칭되어 저장될 수 있다. 예를 들어, 복수의 이벤트 값들에 대응되는 원소들은 각 원소에 대응하는 이벤트가 가장 최근에 발생된 시간을 나타내는 타임 스탬프, 및 이벤트의 종류(예를 들어, 온 이벤트인 경우에는 1, 오프 이벤트인 경우에는 -1)를 포함할 수 있다.
도 3은 일 실시예에 따른 이벤트에 기반하여 객체의 이동을 감지하는 방법을 도시한 흐름도이다.
우선, 단계(310)에서는 이벤트 센서가 복수의 픽셀들로부터 이벤트를 감지하여 이벤트 신호를 출력할 수 있다. 예를 들어, 이벤트 센서는 이미지 데이터에 포함된 복수의 픽셀들의 각각에서 발생하는 객체의 이동과 연관된 이벤트를 감지하여 적어도 하나의 이벤트 신호를 출력할 수 있다. 적어도 하나의 이벤트 신호의 집합인 이벤트 프레임의 예시가 하기 도 4에서 상세히 설명된다.
여기서, 객체의 이동과 연관된 이벤트는 객체의 이동에 의해 픽셀의 밝기가 밝아지는 온 이벤트 및 객체의 이동에 의해 픽셀의 밝기가 어두워지는 오프 이벤트를 포함할 수 있다. 예를 들어, 이벤트 신호는 각 픽셀에 대해 온 이벤트가 발생하면 1, 오프 이벤트가 발생하면 -1일 수 있다. 다만, 이로 한정하는 것은 아니고, 이벤트 신호는 온 이벤트 및 오프 이벤트를 구분하기 위한 모든 신호를 포함할 수 있다.
본 명세서에서 객체는 인간의 신체(예를 들어, 손, 팔, 다리 등), 인간의 얼굴, 사물, 및 동물 등을 포함할 수 있다. 객체의 이동은 이벤트 센서를 기준으로 객체가 움직이는 상태를 나타낼 수 있다. 객체 또는 객체의 일부의 고속 이동은 객체 또는 객체의 일부가 빠르게 움직이는 상태를 나타낼 수 있다.
그리고 단계(320)에서는 처리부가 이벤트가 발생한 픽셀에 대응하는 시간 정보를 저장할 수 있다. 예를 들어, 처리부는 적어도 하나의 이벤트 신호의 출력에 응답하여 이벤트가 발생한 픽셀에 대응하는 시간 정보를 저장할 수 있다. 시간 정보가 저장된 이벤트 프레임은 하기 도 7에서 상세히 설명한다.
여기서, 이벤트가 발생한 픽셀에 대응하는 시간 정보는 각 픽셀에서 이벤트가 발생한 시간과 관련된 정보를 포함할 수 있다. 예를 들어, 시간 정보는 각 픽셀에서 이벤트가 발생한 시간에 대응하는 타임 스탬프를 포함할 수 있다.
이어서 단계(330)에서는 처리부가 미리 정한 시간 범위에 대응하는 시간 정보를 가지는 이벤트 신호를 추출할 수 있다. 예를 들어, 처리부는 미리 정한 타임 윈도우 내의 마지막 이벤트 신호에 대응하는 시간 정보 또는 미리 정한 타임 윈도우 내의 적어도 하나의 이벤트 신호의 평균 시간 정보에 기초하여 시간 범위를 결정할 수 있다. 미리 정한 시간 범위에 기초하여 추출된 이벤트 신호는 하기 도 8에서 상세히 설명한다.
또한, 처리부는 하기 도 9에서 계산되는 시차(time difference) 정보에 기초하여 상술한 시간 범위를 조절할 수 있다. 예를 들어, 처리부는 미리 정한 타임 윈도우 내의 적어도 하나의 이벤트 신호의 시차 정보의 평균이 평균 임계 시차보다 큰 경우(예를 들어, 객체의 움직임이 느린 경우), 시간 범위를 증가시킬 수 있다. 미리 정한 타임 윈도우 내의 적어도 하나의 이벤트 신호의 시차 정보의 평균이 평균 임계 시차보다 작은 경우(예를 들어, 객체의 움직임이 빠른), 시간 범위를 감소시킬 수 있다. 다만, 이로 한정하는 것은 아니고, 시차 정보의 평균이 평균 임계 시차보다 작은 경우에 시간 범위를 증가시키거나 평균 임계 시차보다 큰 경우에 시간 범위를 감소시킬 수 있다. 여기서, 평균 임계 시차는 설계에 따라 변경될 수 있다.
여기서, 처리부는 이벤트 프레임 내에서 미리 정한 시간 범위에 대응하는 시간 정보를 가지는 이벤트 신호를 추출함으로써, 이동하는 객체에서 고속으로 이동하는 부위를 식별할 수 있다.
예를 들어, 이벤트 프레임에서 임의의 픽셀에 저장된 타임 스탬프 및 해당 픽셀 주위의 픽셀에 저장된 타임 스탬프의 차이가 작을 수록, 객체가 빠르게 움직이는 상태에 있을 수 있다. 이벤트 센서에서는 객체의 이동에 응답하여 각 픽셀에 타임 스탬프가 저장되는 바, 객체가 빠르게 움직일 수록 주위 픽셀들 간의 시간 차이가 작아지기 때문이다.
도 4는 일 실시예에 따라 출력된 이벤트 신호를 나타낸 이벤트 프레임의 예시를 도시한다.
도 3의 단계(310)에서 상술한 바와 같이, 이벤트 센서가 복수의 픽셀들로부터 이벤트를 감지하여 이벤트 신호를 출력할 수 있다. 도 4에서는 예를 들어, 처리부가 출력된 이벤트 신호를 이벤트 맵의 형태를 가지는 이벤트 프레임(400)으로 저장할 수 있다.
예를 들어, 도 4의 이벤트 프레임(400)에서는 이벤트 센서에 의해 감지된 이벤트가 온 이벤트인 경우 해당 이벤트가 발생한 픽셀에 이벤트 신호의 값으로서 1, 오프 이벤트인 경우 해당 이벤트가 발생한 픽셀에 이벤트 신호의 값으로서 -1을 저장할 수 있다. 각 이벤트 신호는 해당 이벤트가 발생한 픽셀의 위치 또는 인덱스와 매칭되어 저장될 수 있다.
도 5는 일 실시예에 따른 복수의 이벤트 신호들로부터 일부 이벤트 신호를 선택하는 방법을 도시한 흐름도이다.
우선, 단계(511)에서는 처리부가 객체의 적어도 일부에 대응하는 이벤트 신호를 식별할 수 있다. 예를 들어, 처리부는 적어도 하나의 이벤트 신호로부터 객체의 적어도 일부에 대응하는 이벤트 신호를 식별할 수 있다.
예를 들어, 객체가 인간의 신체(예를 들어, 인간의 팔)라고 가정하면, 처리부는 적어도 하나의 복수의 이벤트 신호로부터 신체의 일부(예를 들어, 인간의 손)를 추출할 수 있다. 처리부는 가우시안 혼합 모델(Gaussian Mixture Model) 등과 같은 기계 학습(machine learning) 기법을 이용하여, 이벤트 프레임을 구성하는 이벤트 신호들로부터, 객체 또는 객체의 일부에 대응하는 이벤트 신호를 식별할 수 있다.
이어서 단계(512)에서는 처리부가 적어도 하나의 이벤트 신호로부터 미리 정한 이벤트에 대응하는 이벤트 신호를 선택할 수 있다. 예를 들어, 처리부는 이벤트 프레임을 구성하는 이벤트 신호들 중 미리 정한 이벤트로서 특정 종류의 이벤트에 대응하는 이벤트 신호를 선택할 수 있다.
예를 들어, 처리부는 온 이벤트에 대응하는 이벤트 신호만 선택하거나, 오프 이벤트에 대응하는 이벤트 신호만 선택할 수 있다. 하기 도 6에서는 온 이벤트에 대응하는 이벤트 신호가 선택된 이벤트 프레임을 설명한다.
도 6은 일 실시예에 따라 미리 정한 이벤트에 대응하는 이벤트 신호를 나타낸 이벤트 프레임의 예시를 도시한다.
도 5의 단계(512)에서 상술한 바와 같이, 처리부는 적어도 하나의 이벤트 신호로부터 미리 정한 이벤트에 대응하는 이벤트 신호를 선택할 수 있다.
예를 들어, 처리부는 도 4에 도시된 이벤트 프레임(600)으로부터 온 이벤트에 대응하는 이벤트 신호(610)를 선택할 수 있다. 다만, 이로 한정하는 것은 아니고, 처리부는 오프 이벤트에 대응하는 이벤트 신호를 선택할 수도 있다.
도 7은 일 실시예에 따라 시간 정보가 저장된 이벤트 프레임의 예시를 도시한다.
도 3의 단계(320)에서 상술한 바와 같이, 처리부는 이벤트가 발생한 픽셀에 대응하는 시간 정보를 저장할 수 있다. 예를 들어, 처리부는 이벤트를 수신하면, 해당 이벤트에 기초하여 이벤트 프레임(700)을 갱신할 수 있다. 이벤트 프레임(700)은 이벤트에 포함될 수 있는 복수의 이벤트 값들에 대응되는 원소들을 포함한다. 각각의 원소들은 해당 원소에 대응되는 이벤트가 가장 최근에 발생된 시간을 나타내는 타임 스탬프를 저장할 수 있다. 또한, 각각의 원소들은 해당 원소에 대응되는 이벤트가 분류된 종류(예를 들어, 온 이벤트에 대응하는 1 또는 오프 이벤트에 대응하는 -1)를 저장할 수 있다. 여기서, 원소는 이벤트 프레임(700)을 구성하는 픽셀에 대응할 수 있다.
본 명세서에서 이벤트 프레임(700)은 7x7의 픽셀들로서 예시적으로 구성될 수 있으나, 이로 한정하는 것은 아니고, 임의의 개수(예를 들어, 128x128)의 픽셀들로도 구성될 수 있다. 본 명세서에서 (i, j) 위치의 픽셀은 i번째 행의 j번째 열의 픽셀을 나타낼 수 있다. 예를 들어, 도 7에서 (4, 2) 위치의 픽셀에서 이벤트가 가장 최근에 발생된 시간은 0.1이고, (5, 2) 위치의 픽셀에서 이벤트가 가장 최근에 발생된 시간은 0.05로 나타날 수 있다.
처리부는 이벤트를 수신하면, 해당 이벤트에 포함된 이벤트 값에 대응되는 원소를 갱신할 수 있다. 처리부는 모든 원소들을 갱신하는 대신, 이벤트에 대응되는 원소만 갱신할 수 있다. 예를 들어, 처리부는 이벤트 프레임(700)에 포함된 복수의 원소들 중 수신된 이벤트의 이벤트 값에 대응되는 원소를 검출하고, 검출된 원소의 타임 스탬프를 수신된 이벤트의 타임 스탬프로 갱신할 수 있다. 또한, 처리부는 검출된 원소의 클래스를 수신된 이벤트가 분류된 종류(예를 들어, 온 이벤트 또는 오프 이벤트)로 갱신할 수 있다.
처리부는 마이크로 초(us) 이하의 단위로 새로운 이벤트가 발생된 시간을 각 원소 별로 저장할 수 있다. 여기서, 타임 스탬프는 마이크로 초 이하의 단위 시간에 대해 이벤트가 발생한 순서 또는 시간을 나타낼 수 있다. 처리부는 시간의 흐름에 따라 발생된 이벤트들의 히스토리를 고려하지 아니하고, 각 원소에서 마지막으로 발생된 이벤트와 관련된 정보만을 이용하여 이미지 프로세싱을 수행할 수 있다. 처리부는 적은 메모리와 적은 연산 량을 가지고 이미지 프로세싱을 수행하는 기술을 제공할 수 있다.
도 8은 일 실시예에 따라 미리 정한 시간 범위의 이벤트 신호를 나타낸 이벤트 프레임의 예시를 도시한다.
도 3의 단계(330)에서 상술한 바와 같이, 처리부는 미리 정한 시간 범위에 대응하는 시간 정보를 가지는 이벤트 신호를 추출할 수 있다. 예를 들어, 처리부는 도 7에서 저장된 시간 정보에 기초하여, 미리 정한 시간 범위를 충족하는 이벤트 신호(810)를 추출할 수 있다.
도 8에서는 미리 정한 시간 범위가 미리 정한 타임 윈도우 내의 마지막 이벤트 신호에 대응하는 시간 정보에 기초하여 결정될 수 있다. 미리 정한 시간 범위는 마지막 이벤트 신호에 대응하는 시간 정보로부터 짧은 시간 범위로 설정될 수 있다.
예를 들어, 도 8에서는 미리 정한 타임 윈도우에 대응하는 이벤트 프레임(800) 내에서 마지막 이벤트 신호에 대응하는 타임 스탬프가 0.11일 수 있다. 미리 정한 시간 범위는 0.02의 시간 구간을 가지도록, 0.09부터 0.11 사이의 범위로 설정될 수 있다. 여기서, 처리부는 도 7에서 상술한 미리 정한 시간 범위에 속하지 않는 이벤트 신호들, 예를 들어 0.04 내지 0.05의 시간 정보를 가지는 이벤트 신호들을 이벤트 프레임(800)으로부터 제외하고, 0.1 내지 0.11의 시간 정보를 가지는 이벤트 신호들(810)을 이벤트 프레임에 포함시킬 수 있다.
다만, 미리 정한 시간 범위를 상술한 바로 한정하는 것은 아니고, 미리 정한 시간 범위는 마지막 시간 정보로부터 일정 구간 또는 이벤트 프레임(800) 내의 이벤트 신호들의 평균 시간 정보를 기준으로 일정 구간으로 설정될 수 있다. 예를 들어, 평균 시간 정보는 이벤트 프레임(800)에 대응하는 이벤트들의 평균 시간 내지 평균 타임 스탬프를 나타낼 수 있다. 또한, 평균 시간 정보를 기준으로 하는 일정 구간은 평균 시간 내지 평균 타임 스탬프 전후의 일정 구간을 나타낼 수 있다.
도 9는 일 실시예에 따라 이벤트 신호가 발생한 픽셀의 시차 정보를 계산하여 픽셀을 선택하는 방법을 도시한 흐름도이다.
우선, 단계(940)에서 처리부는 주위 픽셀의 시간 정보에 기반하여 이벤트가 발생한 픽셀의 시차 정보를 계산할 수 있다. 예를 들어, 처리부는 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀(neighboring pixel)의 시간 정보에 기반하여, 이벤트가 발생한 픽셀의 시차 정보를 계산할 수 있다. 시차 정보의 계산은 하기 도 10 내지 도 14에서 상세히 설명한다.
여기서, 이벤트가 발생한 픽셀의 시차 정보는 해당 픽셀에서의 객체의 이동 속도의 레벨(level)로서 시차 레벨(time difference level)을 포함할 수 있다.
예를 들어, 시차 레벨은 실측되는 속도가 아닌 빠르고 느린 정도를 나타내는 정보일 수 있다. 시차 레벨은 주위 픽셀들 간의 시간 차이 정보의 합으로서 표현될 수 있고, 이 경우 시간 차이 정보의 합이 낮을 수록 빠른 속도를 나타낼 수 있다. 따라서, 시차 레벨(예를 들어, 시간 차이의 합)이 낮을 수록 빠른 픽셀을 나타낼 수 있다. 시차 정보는 하기 도 13에서 상세히 설명한다.
그리고 단계(950)에서 처리부는 미리 정한 임계 시차 범위에 대응하는 픽셀을 선택할 수 있다. 예를 들어, 처리부는 픽셀의 시차 정보가 미리 정한 임계 시차 범위에 대응하는 것으로 판단되는 경우에 응답하여, 이벤트가 발생한 픽셀을 선택할 수 있다.
여기서, 미리 정한 임계 시차 범위는 고속 이동에 대응하는 이벤트 신호가 선택되도록 설정될 수 있다. 예를 들어, 미리 정한 임계 시차 범위는 최속 임계 레벨(fastest threshold level) 및 최완 임계 레벨(slowest threshold level) 사이의 범위로 설정될 수 있다. 최속 임계 레벨은 최대로 빠른 속도 레벨로서 제일 작은 시차 레벨을 나타내고, 최완 임계 레벨은 최대로 느린 속도 레벨로서 제일 큰 시차 레벨을 나타낼 수 있다.
예를 들어, 미리 정한 임계 시차 범위는 이벤트 프레임을 구성하는 픽셀들의 시차 정보의 평균, 최소, 및 최대 중 적어도 하나를 기준으로 설정될 수 있다. 또한, 미리 정한 임계 시차 범위는 이벤트 프레임의 최대 시차로부터 최대 시차의 일정 비율(예를 들어, 80%)까지의 범위로 설정될 수 있다.
미리 정한 임계 시차 범위에 대응하는 픽셀을 선택하는 구체적인 예시는 하기 도 14에서 상세히 설명한다.
도 10은 일 실시예에 따라 이벤트가 발생한 픽셀의 시차 정보를 계산하는 방법을 도시한 흐름도이다.
우선, 단계(1041)에서는 처리부가 이벤트가 발생한 픽셀과 주위 픽셀 간의 시간 차이를 계산할 수 있다. 예를 들어, 처리부는 이벤트가 발생한 픽셀의 시간 정보 및 적어도 하나의 주위 픽셀의 시간 정보 간의 시간 차이를 계산할 수 있다. 해당 픽셀과 주위 픽셀의 시간 정보와의 시간 차이에 기초하여 이벤트가 발생한 픽셀 중 노이즈에 대응하는 픽셀이 제1 필터에 의해 필터링될 수 있다. 제1 필터에 의한 필터링(이하, 제1 필터링)는 하기 도 13에서 상세히 설명한다.
그리고 단계(1042)에서 처리부는 단계(1041)에서 계산된 시간 차이의 합을 이벤트가 발생한 픽셀의 시차 정보로서 저장할 수 있다. 처리부는 상술한 단계(1041)에서 제1 필터에 의해 계산된 시간 차이의 합을 시차 정보로서 저장할 수 있다. 단계(1041)에서 계산된 시차 정보의 예시는 하기 도 14에서 상세히 설명한다.
도 11 및 도 12는 일 실시예에 따른 필터의 형태의 예시를 도시한다.
본 명세서에서 필터들은 시간 필터링을 수행하는 제1 필터 및 공간 필터링을 수행하는 제2 필터가 사용될 수 있다. 예를 들어, 제1 필터는 픽셀들 간의 시간 차이를 계산하기 위해 사용될 수 있고, 제2 필터는 노이즈 픽셀을 제거하고 객체의 이동과 연관된 픽셀을 복원하는데 사용될 수 있다.
도 11 및 도 12에 도시된 형태들(1110, 1210)의 필터에서는 검게 표시된 부분의 원소들 간의 연산이 수행될 수 있다. 예를 들어, 도 11 및 도 12에 도시된 형태들(1110, 1210)의 필터의 크기가 3x3인 경우, 필터의 중심의 원소 및 그 주변 원소들 간의 연산이 수행될 수 있다. 도 11에 도시된 형태(1110)의 필터는 중심의 원소 및 그 주변의 모든 원소들 간의 연산을 수행할 수 있다. 도 12에 도시된 형태(1210)의 필터는 중심의 원소 및 그 주변의 대각선에 위치하는 원소들 간의 연산을 수행할 수 있다.
하기 도 13 및 도 16은 도 11에 도시된 형태의 필터(1110)(예를 들어, 필터(1110) 내의 모든 원소들 간의 연산이 수행되는 필터)의 형태를 기준으로 설명된다. 하기 도 13은 제1 필터에 의한 제1 필터링, 하기 도 16은 제2 필터에 의한 필터링(이하, 제2 필터링)을 상세히 설명한다.
필터의 필터링은 이벤트 프레임(1100, 1200) 내에서 도 11 및 도 12에 도시된 화살표 방향에 따라 진행될 수 있으나, 이로 한정하는 것은 아니고, 설계에 따라 필터링의 진행 방향이 변경될 수 있다.
필터들의 필터링은 각 픽셀에 대해 수행될 수 있다. 예를 들어, 필터들의 필터링은 이벤트 프레임(1100, 1200) 내의 모든 픽셀에 대해 수행되거나, 이벤트가 발생한 픽셀에 대해서만 수행될 수 있다. 다만, 이로 한정하는 것은 아니고, 필터링이 수행되는 픽셀은 설계에 따라 결정될 수 있다.
도 13은 일 실시예에 따라 픽셀에 대한 시간 필터링(time-filtering)을 수행하는 제1 필터를 설명하기 위한 도면이다.
예를 들어, 도 13에 도시된 제1 필터(1310)는 도 11에 도시된 형태라고 가정할 수 있다. 다만, 이로 한정하는 것은 아니고, 도 12에 도시된 형태로 구성될 수 있으며, 그 이외의 크기 및 형태로도 구성될 수 있다.
도 13에서는 이벤트가 발생한 픽셀(1311)의 원소(예를 들어, 타임 스탬프)에 대한 제1 필터(1310)에 의한 제1 필터링을 설명한다. 여기서, 제1 필터링은 각 픽셀에 대해 시차 정보를 계산하고 계산된 시차 정보에 기초하여 노이즈로 판단된 픽셀을 필터링하는 시간 필터링을 나타낼 수 있다. 예를 들어, 오래 전에 이벤트 신호가 발생한 픽셀(예를 들어, 주변 픽셀과의 시간 차이의 합이 큰 픽셀)은 노이즈 픽셀일 가능성이 많으므로, 제1 필터링을 통해 시차 정보가 큰 픽셀이 필터링될 수 있다.
우선, 이벤트가 발생한 픽셀(1311)의 타임 스탬프가 t5라고 가정하면, 주위의 픽셀들의 타임 스탬프는 각각 t1, t2, t3, t4, t6, t7, t8, t9라고 나타낼 수 있다. 처리부는 이벤트가 발생한 픽셀(1311)을 기준으로 주위 픽셀들과의 시간 차이를 계산할 수 있다. 예를 들어, 도 13에서 이벤트가 발생한 픽셀(1311)에 대한 주위 픽셀들과의 시간 차이는 각각 t5-t1, t5-t2, t5-t3, t5-t4, t5-t6, t5-t7, t5-t8, t5-t9로 계산될 수 있다.
처리부는 상술한 주위 픽셀들과의 시간 차이의 합을 계산할 수 있다. 예를 들어, 도 13에서 이벤트가 발생한 픽셀(1311)에 대한 주위 픽셀들과의 시간 차이의 합은 8*t5-t1-t2-t3-t4-t6-t7-t8-t9로 나타날 수 있다.
상술한 도 10의 단계(1041)에서 처리부는 이벤트가 발생한 픽셀(1311)과 주위 픽셀 간의 시간 차이를 도 13의 제1 필터링을 이벤트 프레임(1300) 내의 각각의 픽셀들에 대해 수행함으로써 계산할 수 있다. 여기서, 제1 필터링은 이벤트가 발생한 픽셀(예를 들어, 도 8에서 미리 정한 시간 범위를 충족하는 이벤트 신호(810)가 발생한 픽셀들)에 대해서만 수행될 수 있다. 다만, 반드시 이로 한정하는 것은 아니고, 설계에 따라 제1 필터링이 수행되는 픽셀이 결정될 수 있다.
처리부는 이벤트가 발생한 픽셀(1311)에 대한 주위 픽셀들과의 시간 차이의 합(예를 들어, 시차 정보)이 차이 임계(difference threshold)보다 작은 경우, 이벤트가 정상적으로 검출된 것으로 판단하여 해당 픽셀(1311)을 유지할 수 있다. 반대로, 처리부는 시차 정보가 차이 임계(difference threshold)보다 작지 않은 경우, 해당 픽셀(1311)을 노이즈로 판단하여 제거할 수 있다.
도 14는 일 실시예에 따라 도 8의 이벤트 프레임에 대해 계산된 시차 정보를 나타내는 이벤트 프레임을 도시한다.
상술한 도 10의 단계(1042)에서는 처리부는 단계(1041)에서 계산된 시간 차이의 합을 이벤트가 발생한 픽셀의 시차 정보로서 저장할 수 있다. 예를 들어, 처리부는 상술한 도 13에서 이벤트가 발생한 픽셀(1311)에 대한 주위 픽셀 간의 시간 차이의 합인 8*t5-t1-t2-t3-t4-t6-t7-t8-t9를 이벤트가 발생한 픽셀(1311)에 대한 시차 정보로서 저장할 수 있다. 여기서, 처리부는 이벤트가 발생한 모든 픽셀에 대해 각각 시차 정보를 계산하여 도 14의 이벤트 프레임(1400)에 저장할 수 있다.
예를 들어, 도 8에 도시된 이벤트 프레임(800)에 저장된 시간 정보를 기초로 이벤트가 발생한 픽셀들의 원소에 대해 도 14에 도시된 바와 같이 시차 정보가 계산될 수 있다. 여기서, 도 8의 이벤트 프레임(800)에서 타임 스탬프가 표시되지 않은 부분은 타임 스탬프를 0으로 가정할 수 있다. 다만, 이로 한정하는 것은 아니고, 현재 이벤트 프레임에서 이벤트가 발생하지 않은 픽셀에 대해서는, 이전 이벤트 프레임에서 이벤트가 발생한 시간에 대응하는 타임 스탬프가 저장될 수 있다.
예를 들어, 처리부가 도 8의 이벤트 프레임(800)에서 (2, 2) 위치의 픽셀에 대해 시차 정보는 8*0.1-0.11-0.11=0.58로 계산될 수 있다.
또한, 처리부는 계산된 시차 정보에 기초하여 이벤트가 발생한 픽셀들을 필터링하는 제1 필터링을 수행할 수 있다. 상술한 도 9의 단계(950)에서 처리부는 미리 정한 임계 시차 범위에 대응하는 픽셀들(1410)을 선택할 수 있다. 처리부는 최완 임계 레벨보다 작고 최속 임계 레벨보다 큰 시차 레벨을 가지는 픽셀(1410)을 선택할 수 있다. 처리부는 최완 임계 레벨보다 작지 않고 최속 임계 레벨보다 크지 않은 시차 레벨을 가지는 픽셀(1410)은 노이즈로서 제거할 수 있다.
예를 들어, 도 14에서 임계 시차 범위의 최완 임계 레벨은 0.6, 최속 임계 레벨은 0.4로 가정할 수 있다. 도 14에서 미리 정한 임계 시차 범위에 대응하는 픽셀들(1410)은 각각 0.58, 0.46, 0.57, 0.59의 시차 레벨을 나타낼 수 있다.
일 실시예에 따르면 도 14에서 최종적으로 선택된 이벤트 신호들에 대응하는 픽셀들(1410)은 빠르게 움직이는 객체 또는 객체의 일부에 대응할 수 있다. 이와 같이, 이벤트에 기반하여 객체의 움직임을 감지하는 장치는 빛의 변화에 응답하여 이벤트가 발생한 픽셀에 대해서만 시차 정보를 계산함으로써 객체의 고속 이동을 감지할 수 있고 계산량이 크게 감소될 수 있다.
도 15는 일 실시예에 따라 노이즈 픽셀을 필터링하고 누락된 픽셀을 복원하는 방법을 도시한 흐름도이다.
우선, 단계(1560)에서는 처리부가 주위 픽셀에 대응하는 이벤트 신호에 기반하여 객체의 이동과 연관된 픽셀을 복원할 수 있다. 예를 들어, 처리부는 복수의 픽셀들 각각을 둘러싸는 적어도 하나의 주위 픽셀에 대응하는 이벤트 신호에 기반하여, 객체의 이동과 연관된 픽셀을 복원할 수 있다. 여기서, 처리부는 본래 검출되었어야 하는데 에러로 인해 검출되지 않았던 이벤트 신호에 대응하는 픽셀의 원소를 복원할 수 있다.
그리고 단계(1570)에서는 처리부가 주위 픽셀에 대응하는 이벤트 신호에 기반하여 노이즈 픽셀을 필터링할 수 있다. 예를 들어, 처리부는 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀에 대응하는 이벤트 신호에 기반하여, 이벤트가 발생한 픽셀을 필터링할 수 있다. 여기서, 처리부는 본래 검출되지 않았어야 하는데 에러로 인해 검출된 이벤트 신호에 대응하는 픽셀의 원소를 필터링할 수 있다. 여기서, 노이즈 픽셀은 에러로 인해 검출된 이벤트 신호에 대응하는 픽셀을 나타낼 수 있다.
도 16은 일 실시예에 따라 픽셀에 대한 공간 필터링(spatial-filtering)을 수행하는 제2 필터를 설명하기 위한 도면이다.
예를 들어, 도 16은 도 15의 방법에서 사용되는 필터를 설명할 수 있다. 도 16은 노이즈 픽셀을 필터링하고 누락된 픽셀을 복원하는 공간적 필터링을 수행하기 위한 제2 필터(1610)를 도시한다. 도 16의 제2 필터(1610)는 도 11의 형태를 예로 들고 있으나, 이로 한정하는 것은 아니고 다양한 형태 및 크기가 사용될 수 있다.
여기서, 제2 필터링은 주변 이벤트 신호의 출력 합에 기초하여 픽셀을 필터링하는 공간적 필터링을 나타낼 수 있다. 예를 들어, 제2 필터링은 주변 이벤트 신호의 출력 합이 미리 정한 공간 필터 범위 내인 경우 해당 픽셀을 복원하는 공간적 필터링을 나타낼 수 있다. 여기서, 제2 필터링은 에러로 인해 검출되지 못한 이벤트를 복원함으로써, 이벤트 맵 내의 이벤트 신호가 공간적으로 연속(continuously)되어 검출되도록 할 수 있다.
또한, 제2 필터링은 주변 이벤트 신호의 출력 합이 미리 정한 공간 필터 범위 외인 경우 해당 픽셀을 노이즈로서 제거하는 공간적 필터링을 나타낼 수 있다.
다만 이로 한정하는 것은 아니고, 제2 필터링은 설계에 따라 미리 정한 공간 필터 범위에 기초하여 픽셀의 복원 및 노이즈 제거를 동시에 수행하도록 구성될 수도 있다.
예를 들어, 도 16에서 제2 필터(1610)는 3x3으로 가정될 수 있다. 여기서, 임의의 픽셀(1611)에 대한 제2 필터(1610) 내의 이벤트 신호의 출력 합은 O1+O2+O3+O4+O5+O6+O7+O8+O9로 나타날 수 있다. 여기서, O1 내지 O9는 각각 이벤트 신호의 출력 값을 나타낼 수 있다. 예를 들어, 본 명세서에서는 온 이벤트인 경우 1, 오프 이벤트인 경우는 -1을 이벤트 신호의 출력 값으로 나타낼 수 있다.
처리부는 제2 필터(1610)를 이벤트 프레임(1600) 내에 존재하는 모든 픽셀들에 대해 적용하여 제2 필터링을 수행할 수 있다.
도 17은 일 실시예에 따라 도 16의 필터를 이용한 필터링이 적용된 결과를 도시한다.
도 17에서는 픽셀의 복원 및 노이즈 제거를 동시에 수행하도록 구성된 제2 필터에 의한 제2 필터링 결과가 도시될 수 있다. 상술한 도 15의 단계들(1560, 1570)에서는 처리부가 제2 필터를 이용하여 객체의 이동과 연관된 픽셀을 복원하고 노이즈 픽셀을 제거할 수 있다. 여기서, 이벤트 프레임(1700)에 대해 제2 필터를 적용함으로써, 객체의 이동과 연관된 픽셀이 복원되고 노이즈 픽셀이 제거될 수 있다.
처리부는 도 8의 이벤트 프레임(800)에 대해 제2 필터를 적용할 수 있다. 여기서, 이벤트 프레임(800)의 각 픽셀의 이벤트 신호 값에 대해 제2 필터에 의한 제2 필터링이 수행될 수 있다. 처리부는 이벤트 프레임(800)을 구성하는 모든 픽셀에 대해 제2 필터링을 수행할 수 있다.
예를 들어, 도 8의 이벤트 프레임(800)에서 (2, 2) 위치의 픽셀을 기준으로, 주위에 총 2개의 픽셀(예를 들어, (3, 2)의 위치 및 (2, 3)의 위치)에서 이벤트 신호가 출력될 수 있다. 여기서, 처리부는 (2, 2) 위치의 픽셀에 대한 주변 이벤트 신호의 출력 합으로서 1+1+1=3(예를 들어, (2, 2) 위치의 픽셀을 중심으로 3x3 내에서 3개의 이벤트 신호가 출력되므로 결과는 3)을 계산할 수 있다. 도 17에서 주변 이벤트 신호의 출력 합이 표시되지 않은 부분은 결과가 0일 수 있다.
처리부가 도 8의 이벤트 프레임(800)에 대해 제2 필터를 적용한 결과는 도 17의 이벤트 프레임(1700)과 같이 도시될 수 있다. 여기서, 처리부는 제2 필터를 적용한 결과로부터 미리 정한 공간 필터 범위를 적용할 수 있다.
이하, 미리 정한 공간 필터 범위는 하한 임계값(이하, 임계값)으로서 설명된다. 예를 들어, 처리부는 임의의 픽셀에 대해 제2 필터를 적용한 결과가 임계값보다 크면 해당 픽셀을 객체의 이동과 연관된 픽셀로 복원할 수 있다. 반대로, 처리부는 임의의 픽셀에 대해 제2 필터를 적용한 결과가 임계값 이하이면 해당 픽셀을 노이즈 픽셀로서 제거할 수 있다. 다만, 미리 정한 공간 필터 범위를 이로 한정하는 것은 아니고, 설계에 따라 상한 임계값 및 하한 임계값을 가질 수도 있다.
예를 들어, 도 8의 이벤트 프레임(800)에서는 (2, 2), (2, 3), (2, 4), (3, 2), (3, 4), (4, 2)의 위치의 픽셀에서 이벤트 신호가 출력될 수 있다. 처리부는 도 8의 이벤트 프레임(800)에 대해 제2 필터가 적용된 값을 나타내는 도 17의 이벤트 프레임(1700)으로부터 임계값을 초과하는 값을 가지는 픽셀들(1710)을 선택할 수 있다. 처리부는 임계값을 초과하는 값을 가지는 픽셀들(1710) 중 이벤트 신호가 검출되지 않았던 픽셀을 이벤트 신호가 출력된 것으로 복원할 수 있다. 도 17에서 임계값은 2로 가정될 수 있으나, 이로 한정하는 것은 아니고 설계에 따라 임계값이 변경될 수 있다.
도 17의 이벤트 프레임(1700)에서는 처리부가 (1, 3), (3, 1), (3, 3), (4, 3)의 위치의 픽셀들(예를 들어, 각 픽셀에서 주변 이벤트 신호의 출력 합이 임계값을 초과함)이 객체의 이동과 연관된 픽셀로서 복원할 수 있다.
다른 예를 들어, 처리부는 도 8의 이벤트 프레임(800)에 대해 제2 필터가 적용된 값을 나타내는 도 17의 이벤트 프레임(1700)으로부터 임계값 이하의 값을 가지는 픽셀들(1710)을 노이즈로서 제거할 수 있다.
도 17의 이벤트 프레임(1700)에서 처리부는 (4, 2)의 위치의 픽셀(예를 들어, 해당 픽셀에서 주변 이벤트 신호의 출력 합이 임계값 이하임)을 노이즈 픽셀로서 제거할 수 있다.
도 18a 내지 도 18c는 일 실시예에 따른 계산된 시차 정보를 나타내는 이벤트 프레임의 예시를 도시한다.
도 18a 내지 도 18c는 상술한 도 14와 같이 각 픽셀에 대해 계산된 시차 정보를 포함하는 이벤트 프레임을 시각적으로 도시한 도면이다. 도 18a 내지 도 18c에서 하얀 점은 느린 속도에 대응하는 픽셀, 회색 점은 중간 속도에 대응하는 픽셀, 검은 점은 빠른 속도에 대응하는 픽셀을 나타낼 수 있다. 도 14에서 이벤트 프레임의 각 픽셀에 저장된 시차 레벨에 따라 각 픽셀이 도 18a 내지 도 18c와 같이 시각화될 수 있다. 도 18a 내지 도 18c에서는 시차 레벨을 3개의 구간으로 나눠서 시각화하였으나, 이로 한정하는 것은 아니고, 시차 레벨을 복수의 구간으로 나눠서 시각화할 수도 있다.
일 실시예에 따르면, 상술한 도 1 내지 도 17의 방법에 따라 이벤트 프레임을 구성하는 각 픽셀에 대해 계산된 시차 정보를 시각화하면, 객체 중에서도 빠르게 이동하는 부위 및 느리게 이동하는 부위가 식별될 수 있다.
예를 들어, 도 18a는 도 2에서 손이 이동하는 경우(210)를 일 실시예에 따른 이벤트에 기반하여 객체의 이동을 감지하는 장치를 통해 감지한 결과를 시각화한 것일 수 있다. 도 18a에서 검지 손가락 부위(1810)는 빠르게 이동하므로, 검은 점으로 나타나고, 손바닥 부위(1820)는 느리게 이동하므로 비교적 흰색 점으로 많이 나타날 수 있다.
다른 예를 들어, 도 18b는 사람의 전신 중 손이 이동하는 경우를 일 실시예에 따른 이벤트에 기반하여 객체의 이동을 감지하는 장치를 통해 감지한 결과를 시각화한 것일 수 있다. 도 18b에서 사람의 손 부위(1830)는 빠르게 이동하므로 검은 점으로 나타나고 손을 제외한 몸통 부위(1840)는 느리게 이동하므로 비교적 흰색 점으로 많이 나타날 수 있다.
또 다른 예를 들어, 도 18c는 사람의 전신 중 양손이 이동하는 경우를 일 실시예에 따른 이벤트에 기반하여 객체의 이동을 감지하는 장치를 통해 감지한 결과를 시각화한 것일 수 있다. 도 18c에서 사람의 양손 부위(1850)는 빠르게 이동하므로 검은 점으로 나타나고, 양손을 제외한 나머지 몸통 부위(1860)는 느리게 이동하므로 비교적 흰색 점으로 많이 나타날 수 있다.
일반적으로 인간의 신체 부위에서 말단으로 갈 수록 이동 속도가 증가되는 바, 도 18a에 예시된 인간의 손에서는 손가락이 가장 빠른 속도를 나타낼 수 있다. 도 18b 및 도 18c에 예시된 인간의 전신에서는 한손 및 양손이 가장 빠른 속도를 나타낼 수 있다. 상술한 바와 같이, 이벤트에 기반하여 객체의 이동을 감지하는 장치는 이동 중인 임의의 객체에서 고속으로 움직이는 부분만을 추출할 수 있다.
다만, 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법은 모든 종류의 객체 및 각 객체의 모든 부위에 대해서, 시차 레벨을 구분하여 신속하고 정확하게 이동을 감지할 수 있다.
도 19는 일 실시예에 따라 이벤트에 기반하여 객체의 이동을 감지하는 장치의 세부적인 블럭도를 도시한다.
이벤트에 기반하여 객체의 이동을 감지하는 장치(1900)는 이벤트 센서(1910), 처리부(1920) 및 저장부(1930)를 포함할 수 있다.
이벤트 센서(1910)는 이미지 데이터에 포함된 복수의 픽셀들의 각각에서 발생하는 객체의 이동과 연관된 이벤트를 감지하여 적어도 하나의 이벤트 신호를 출력할 수 있다. 이벤트 센서(1910)의 구체적인 동작은 상술한 도 1 내지 도 18과 유사할 수 있다.
처리부(1920)는 적어도 하나의 이벤트 신호의 출력에 응답하여 이벤트가 발생한 픽셀에 대응하는 시간 정보를 저장하고, 적어도 하나의 이벤트 신호로부터 미리 정한 시간 범위에 대응하는 시간 정보를 가지는 이벤트 신호를 추출할 수 있다. 처리부(1920)의 구체적인 동작은 상술한 도 1 내지 도 18과 유사할 수 있다.
저장부(1930)는 이벤트 센서(1910)에 의해 출력된 이벤트 신호, 시간 정보, 및 처리부(1920)에 의해 계산된 시간 차이, 시차 정보 등을 저장할 수 있다. 또한, 저장부(1930)는 처리부(1920)에 의해 실행되는 상술한 도 1 내지 도 18의 방법 내지 동작들을 수행하도록 하는 명령들을 포함할 수 있다.
일 실시예에 따르면, 이벤트에 기반하여 객체의 이동을 감지하는 장치(1900)는 고속의 객체 이동(예를 들어, 손 동작)을 감지할 수 있다. 예를 들어, 시공간 이미지 정보(Spatio-temporal image information)를 시간 및 공간 상에서 필터링함으로써 빠른 속도의 객체 이동을 감지할 수 있다. 더 나아가, 빛의 변화에 응답하여 발생하는 이벤트만을 감지하여 계산하므로, 간단한 계산 및 적은 계산량만으로도 복잡한 고속의 손동작이 쉽게 판별될 수 씨다. 결과적으로, 빠른 손 동작의 객체 이동 감지에 의해 사용자의 손동작 기반 사용자 인터페이스가 구현될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1900: 이벤트에 기반하여 객체의 이동을 감지하는 장치
1910: 이벤트 센서
1920: 프로세서
1930: 저장부

Claims (20)

  1. 이벤트(event)에 기반하여 객체(object)의 이동(movement)을 감지하는 방법에 있어서,
    이미지 데이터에 포함된 복수의 픽셀들 각각에서 발생하는 상기 객체의 이동과 연관된 이벤트를 감지하여 적어도 하나의 이벤트 신호를 출력하는 단계;
    상기 적어도 하나의 이벤트 신호의 출력에 응답하여 상기 이벤트가 발생한 픽셀에, 상기 이벤트가 발생한 시간과 관련된 시간 정보를 저장하는 단계;
    상기 복수의 픽셀들 중에서, 상기 적어도 하나의 이벤트 신호에 대응하고 미리 정한 시간 범위(time range)에 속하는 시간 정보를 갖는 하나 이상의 픽셀들로부터, 이벤트 신호를 추출하는 단계;
    상기 이벤트가 발생한 픽셀의 시간 정보 및 상기 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀(neighboring pixel)의 시간 정보 간의 차이를 계산하는 단계; 및
    상기 시간 정보 간의 차이의 합을 상기 이벤트가 발생한 픽셀의 시차 정보(time difference)로써 저장하는 단계;
    를 포함하는 이벤트에 기반하여 객체의 이동을 감지하는 방법.
  2. 제1항에 있어서,
    상기 이벤트가 발생한 픽셀의 시차 정보는 해당 픽셀에서의 상기 객체의 이동 속도 정보를 포함하는, 이벤트에 기반하여 객체의 이동을 감지하는 방법.
  3. 제1항에 있어서,
    상기 복수의 픽셀들 각각을 둘러싸는 적어도 하나의 주위 픽셀에 대응하는 이벤트 신호에 기반하여, 상기 객체의 이동과 연관된 픽셀을 복원하는 단계
    를 더 포함하는 이벤트에 기반하여 객체의 이동을 감지하는 방법.
  4. 제1항에 있어서,
    상기 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀에 대응하는 이벤트 신호에 기반하여, 상기 이벤트가 발생한 픽셀을 필터링하는 단계
    를 더 포함하는 이벤트에 기반하여 객체의 이동을 감지하는 방법.
  5. 제1항에 있어서,
    상기 이벤트 신호를 추출하는 단계는,
    미리 정한 타임 윈도우 내의 마지막 이벤트 신호에 대응하는 시간 정보 또는 미리 정한 타임 윈도우 내의 상기 적어도 하나의 이벤트 신호의 평균 시간 정보에 기초하여 상기 시간 범위를 결정하는 단계
    를 포함하는 이벤트에 기반하여 객체의 이동을 감지하는 방법.
  6. 이벤트에 기반하여 객체의 이동을 감지하는 장치에 있어서,
    이미지 데이터에 포함된 복수의 픽셀들 각각에서 발생하는 상기 객체의 이동과 연관된 이벤트를 감지하여 적어도 하나의 이벤트 신호를 출력하는 이벤트 센서(event sensor); 및
    상기 적어도 하나의 이벤트 신호의 출력에 응답하여 상기 이벤트가 발생한 픽셀에 상기 이벤트가 발생한 시간과 관련된 시간 정보를 저장하고, 상기 복수의 픽셀들 중에서, 상기 적어도 하나의 이벤트 신호에 대응하고 미리 정한 시간 범위(time range)에 속하는 시간 정보를 갖는 하나 이상의 픽셀들로부터, 이벤트 신호를 추출하는 처리부(processor); 를 포함하고,
    상기 처리부는 상기 이벤트가 발생한 픽셀의 시간 정보 및 상기 이벤트가 발생한 픽셀을 둘러싸는 적어도 하나의 주위 픽셀(neighboring pixel)의 시간 정보 간의 차이를 계산하고, 상기 시간 정보 간의 차이의 합을 상기 이벤트가 발생한 픽셀의 시차 정보(time difference)로써 저장하는 이벤트에 기반하여 객체의 이동을 감지하는 장치.
  7. 제6항에 있어서,
    상기 이벤트가 발생한 픽셀의 시차 정보는 해당 픽셀에서의 상기 객체의 이동 속도 정보를 포함하는, 이벤트에 기반하여 객체의 이동을 감지하는 장치.
  8. 제7항에 있어서,
    상기 처리부는,
    상기 픽셀의 시차 정보가 미리 정한 임계 시차 범위에 대응하는 것으로 판단되는 경우에 응답하여, 상기 이벤트가 발생한 픽셀을 선택하는,
    이벤트에 기반하여 객체의 이동을 감지하는 장치.
  9. 제7항에 있어서,
    상기 처리부는,
    상기 시차 정보를 계산하기 위해 상기 이벤트가 발생한 픽셀의 시간 정보 및 상기 적어도 하나의 주위 픽셀의 시간 정보 간의 시간 차이를 계산하는,
    이벤트에 기반하여 객체의 이동을 감지하는 장치.
  10. 제9항에 있어서,
    상기 처리부는,
    상기 계산된 시간 차이의 합을 상기 이벤트가 발생한 픽셀의 시차 정보로서 저장하는,
    이벤트에 기반하여 객체의 이동을 감지하는 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140159926A 2014-11-17 2014-11-17 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법 KR102357680B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140159926A KR102357680B1 (ko) 2014-11-17 2014-11-17 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
US14/705,091 US9817507B2 (en) 2014-11-17 2015-05-06 Method and apparatus for detecting movement of object based on event

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140159926A KR102357680B1 (ko) 2014-11-17 2014-11-17 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160058449A KR20160058449A (ko) 2016-05-25
KR102357680B1 true KR102357680B1 (ko) 2022-02-03

Family

ID=55961692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140159926A KR102357680B1 (ko) 2014-11-17 2014-11-17 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법

Country Status (2)

Country Link
US (1) US9817507B2 (ko)
KR (1) KR102357680B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567679B2 (en) 2016-12-30 2020-02-18 Insightness Ag Dynamic vision sensor architecture
US11138742B2 (en) 2017-02-14 2021-10-05 The Trustees Of The University Of Pennsylvania Event-based feature tracking
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US11212468B2 (en) * 2018-03-14 2021-12-28 Sony Advanced Visual Sensing Ag Event-based vision sensor with direct memory control
EP3779769B1 (en) * 2018-05-22 2023-08-02 OmniVision Sensor Solution (Shanghai) Co., Ltd Optical flow computing method and computing device
DE102018211042A1 (de) * 2018-07-04 2020-01-09 Robert Bosch Gmbh Schnelle Erkennung gefährlicher oder gefährdeter Objekte im Umfeld eines Fahrzeugs
EP3808085A4 (en) 2018-08-14 2021-04-21 Huawei Technologies Co., Ltd. EVENT-BASED ADAPTATION OF CODING PARAMETERS FOR THE CODING OF VIDEO IMAGES
US11050964B1 (en) * 2020-01-21 2021-06-29 Bae Systems Information And Electronic Systems Integration Inc. Sensor readout with timestamp calibration
EP3879816B1 (en) * 2020-03-11 2024-02-28 Prophesee Event filtering method for operating an event-based image sensor
US11405580B2 (en) * 2020-09-09 2022-08-02 Fotonation Limited Event camera hardware
EP4384850A1 (en) 2021-09-24 2024-06-19 Terranet Tech AB Filtering a stream of events from an event-based sensor
CN115412687B (zh) * 2022-10-31 2023-03-24 深圳时识科技有限公司 主被动结合的降噪装置、方法、视觉传感器和芯片

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204045A (ja) 2000-01-24 2001-07-27 Mitsubishi Electric Corp 動き検出装置
KR100405150B1 (ko) 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
US7065679B2 (en) * 2004-03-24 2006-06-20 Hitachi, Ltd. Reasonable clock adjustment for storage system
KR100624426B1 (ko) * 2004-07-06 2006-09-19 삼성전자주식회사 파이프 라인 방식의 복호화 장치 및 방법과, 이 장치를제어하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수있는 기록 매체
JP2006211167A (ja) * 2005-01-27 2006-08-10 Toshiba Corp 電話交換機及び通信端末
CA2609623C (en) 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US7706626B2 (en) * 2005-12-20 2010-04-27 Carestream Health, Inc. Digital image reconstruction using inverse spatial filtering
JP2008193142A (ja) 2007-01-31 2008-08-21 Toshiba Corp 撮像装置および雑音除去方法
JP4523626B2 (ja) 2007-08-24 2010-08-11 日本電信電話株式会社 動き補償付きテンポラルフィルタ処理装置，処理方法，処理プログラムおよびコンピュータ読み取り可能な記録媒体
KR101508386B1 (ko) 2008-09-29 2015-04-03 엘지전자 주식회사 움직임 적응적 잡음 제거 방법 및 그 장치
KR101106448B1 (ko) * 2009-07-23 2012-01-18 정선태 지능 영상 감시를 위한 이동 객체 실시간 검출 방법
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8698092B2 (en) * 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
KR101779564B1 (ko) * 2010-09-10 2017-09-20 삼성전자주식회사 동작 인식 장치 및 그 방법
KR101792866B1 (ko) 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
KR101299031B1 (ko) 2011-12-02 2013-09-16 재단법인대구경북과학기술원 손 제스처 인식 장치 및 그 방법
KR20130096073A (ko) 2012-02-21 2013-08-29 주식회사 매크론 손 동작 인식을 이용한 가상 마우스 구동 방법
KR101306242B1 (ko) 2012-03-26 2013-09-09 엠텍비젼 주식회사 영상의 시간적 잡음 제거 방법 및 장치
KR20130109817A (ko) 2012-03-28 2013-10-08 삼성전자주식회사 손가락 패턴을 이용한 손 모양 인식 장치 및 방법
EP2677500B1 (en) * 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
KR20140011921A (ko) * 2012-07-18 2014-01-29 삼성전자주식회사 동작 인식을 사용하여 디바이스의 동작 모드를 제어하는 장치 및 방법

Also Published As

Publication number Publication date
US9817507B2 (en) 2017-11-14
US20160139795A1 (en) 2016-05-19
KR20160058449A (ko) 2016-05-25

Similar Documents

Publication Publication Date Title
KR102357680B1 (ko) 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
KR102433931B1 (ko) 움직임 인식 방법 및 움직임 인식 장치
USRE48780E1 (en) Method and apparatus for extracting static pattern based on output of event-based sensor
US10521661B2 (en) Detailed eye shape model for robust biometric applications
CN105339868B (zh) 基于眼睛跟踪的视觉增强
KR102209595B1 (ko) 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델
US10841501B2 (en) Photographing control apparatus and photographing control method
EP2693300A2 (en) Device and method for recognizing gesture based on direction of gesture
ES2764484T3 (es) Procedimiento de procesamiento de una señal asíncrona
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
JP2018523878A (ja) 眼瞼形状推定
KR20170056860A (ko) 이미지 생성 방법 및 장치
KR102474837B1 (ko) 전경 추출 방법 및 장치
KR20190047442A (ko) 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
CN106960473B (zh) 一种行为感知系统及方法
US20220157083A1 (en) Gesture tracking system
JP6629139B2 (ja) 制御装置、制御方法およびプログラム
KR20210129043A (ko) 이벤트 기반 센서로부터의 정보를 처리하는 방법
EP3757655B1 (en) Method and system for 3d cornea position estimation
JP6448005B2 (ja) 対象物の視覚追跡
Ghodichor et al. Virtual mouse using hand gesture and color detection
KR20230017273A (ko) 시선 추적 장치, 시선 추적 방법 및 컴퓨터 판독가능 매체
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
KR102159996B1 (ko) 이벤트 필터링 장치 및 이를 이용한 동작 인식 장치
Gossain et al. A novel approach to enhance object detection using integrated detection algorithms

Legal Events

Date Code Title Description
A201 Request for examination
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant