KR20170110505A - 다이나믹 비젼 센서의 이미지 표현 및 처리 방법과 장치 - Google Patents

다이나믹 비젼 센서의 이미지 표현 및 처리 방법과 장치 Download PDF

Info

Publication number
KR20170110505A
KR20170110505A KR1020170021223A KR20170021223A KR20170110505A KR 20170110505 A KR20170110505 A KR 20170110505A KR 1020170021223 A KR1020170021223 A KR 1020170021223A KR 20170021223 A KR20170021223 A KR 20170021223A KR 20170110505 A KR20170110505 A KR 20170110505A
Authority
KR
South Korea
Prior art keywords
image
unit
event
events
sampling
Prior art date
Application number
KR1020170021223A
Other languages
English (en)
Inventor
쩡핑 지
이규빈
치앙 장
이빙 미쉘 왕
류현석
일리아 오브시안니코브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170110505A publication Critical patent/KR20170110505A/ko

Links

Images

Classifications

    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/007—Digital input from or digital output to memories of the shift register type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06T5/006—
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/357—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

장치는 다이나믹 비젼 센서(DVS)에 의해 감지된 이벤트들로부터 생성된 프레임들 시퀀스를 수신하고, 노이즈 제거된 이벤트들로부터 신뢰 맵을 생성하는 이미지 표현 유닛; 및 상기 이미지 표현 유닛에 연결되고, 시-공상의 도메인에서 이미지의 노이즈를 제거하는 이미지 디노이징 유닛을 포함한다. 방법은, 이미지 표현 유닛에 의해, 다이나믹 비젼 센서(DVS)에 의해 감지된 이벤트들로부터 생성된 프레임들 시퀀스를 수신하고, 노이즈 제거된 이벤트들로부터 신뢰 맵을 생성하는 단계; 및 상기 이미지 표현 유닛에 연결된 이미지 디노이징 유닛에 의해, 시-공상의 도메인에서 상기 프레임들로부터 형성된 이미지의 노이즈를 제거하는 이미지 디노이징 유닛을 포함한다.

Description

다이나믹 비젼 센서의 이미지 표현 및 처리 방법과 장치 {METHOD AND APPARATUS OF IMAGE REPRESENTATION AND PROCESSING FOR DYNAMIC VISION SENSOR}
본 발명은 이미지 표현 및 처리 방법과 장치에 관한 것이고, 더욱 상세하게는 다이나믹 비젼 센서(DVS)의 이미지 표현 및 처리 방법과 장치에 관한 것이다.
다이나믹 비젼 센서(DVS)는 휘도 변화를 감지하는 카메라에 근거한 이벤트이다. 다이나믹 비젼 센서(DVS)는 장면을 프레임들로 캡쳐하지 않고, 인간의 망막과 유사하게 기능한다. 즉, 다이나믹 비젼 센서(DVS)는 장면 내 특정 위치에서 픽셀의 휘도 변화(예를 들어, 이벤트)만을 이벤트 시간에 전송한다. 다이나믹 비젼 센서(DVS)의 출력은 이벤트들의 흐름(stream)이고, 각 이벤트는 이벤트 상태와 연관된다.
다이나믹 비젼 센서(DVS)는 시간 적분(time integration) 없는 비동기식(ashnchrous) 센서이므로, 다이나믹 비젼 센서(DVS)를 사용하여 형성된 이미지는 종종 많은 노이즈를 포함하고 있다. 노이즈를 필터링하는 것은 장면의 유효한 표현을 제공하기 위해 다이나믹 비젼 센서(DVS)에서 가장 중요한 단계 중 하나이다. 전통적인 영상의 노이즈 제거 방법은 필터링 템플릿에 근거한다.
이는 픽셀들의 그룹을 분석하고, 픽셀 문제들과 단지 공간적 상관관계만 갖는 노이즈로서 제거될 바이어스된 픽셀(들)을 찾는다. 그러나, 다이나믹 비젼 센서(DVS)의 각 이벤트는 공간적인 정보(예를 들어, 다른 픽셀들의 위치와 상대적인 픽셀의 위치)와 연관될뿐만 아니라 일시적인 정보(다른 픽셀들 정보의 도착 시간에 상대적인 픽셀 정보의 도착 시간)와도 연관된다.
본 발명은 신뢰 맵의 이미지 표현에 근거하여 이미지 인식, 슬램(SLAM), 등과 같은 다이나믹 비젼 센서(DVS) 어플리케이션에 도움이 되는 매칭 정확도를 향상시킬 수 있는 가중 이미지 매칭 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 의하면, 장치는, 다이나믹 비젼 센서(DVS)에 의해 감지된 이벤트들로부터 생성된 프레임들 시퀀스를 수신하고, 노이즈 제거된 이벤트들로부터 신뢰 맵을 생성하는 이미지 표현 유닛; 및 상기 이미지 표현 유닛에 연결되고, 시-공상의 도메인에서 이미지의 노이즈를 제거하는 이미지 디노이징 유닛을 포함한다.
본 발명의 일 실시예에 의하면, 장치는, 이벤트들의 스트림을 생성하는 다이나믹 비젼 센서(DVS); 상기 다이나믹 비젼 센서(DVS)에 연결되고, 상기 이벤트들의 스트림을 샘플링하는 샘플링 유닛; 상기 샘플링 유닛에 연결되고, 상기 이벤트들의 스트림의 각 샘플로부터 이미지를 형성하는 이미지 형성 유닛; 상기 이미지 형성 유닛에 연결되고, 노이즈가 없는 이벤트들로부터 신뢰 맵을 생성하는 이미지 표현 유닛; 상기 이미지 표현 유닛에 연결되고, 프레임들 내 왜곡을 보상하는 이미지 왜곡제거 유닛; 및 상기 이미지 왜곡제거 유닛 및 상기 샘플링 유닛에 연결되고, 필요시, 프레임들을 매칭하고, 상기 샘플링 유닛의 샘플링 방식을 조절하는 이미지 매칭 유닛을 포함한다.
본 발명의 일 실시예에 따르면, 방법은, 이미지 표현 유닛에 의해, 다이나믹 비젼 센서(DVS)에 의해 감지된 이벤트들로부터 생성된 프레임들 시퀀스를 수신하고, 노이즈 제거된 이벤트들로부터 신뢰 맵을 생성하는 단계; 및 상기 이미지 표현 유닛에 연결된 이미지 디노이징 유닛에 의해, 시-공상의 도메인에서 상기 프레임들로부터 형성된 이미지의 노이즈를 제거하는 이미지 디노이징 유닛을 포함한다.
본 발명의 일 실시예에 따르면, 방법은, 다이나믹 비젼 센서(DVS)에 의해 이벤트들의 스트림을 생성하는 단계; 상기 다이나믹 비젼 센서(DVS)에 연결된 샘플링 유닛에 의해 상기 이벤트들의 스트림을 샘플링하는 단계; 상기 샘플링 유닛에 연결된 이미지 형성 유닛에 의해, 상기 이벤트들의 스트림의 각 샘플로부터 이미지를 형성하는 단계; 상기 이미지 형성 유닛에 연결된 이미지 표현 유닛에 의해, 상기 이미지 형성 유닛에 의해 형성된 이미지들을 수신하고, 노이즈가 없는 이벤트들로부터 신뢰 맵을 생성하는 단계; 상기 이미지 표현 유닛에 연결된 이미지 왜곡제거 유닛에 의해, 프레임들 내 왜곡을 보상하는 단계; 및 상기 이미지 왜곡제거 유닛에 연결된 이미지 매칭 유닛에 의해, 상기 이미지 왜곡제거 유닛 및 상기 샘플링 유닛에 연결된 이미지 매칭 유닛에 의해, 필요시, 프레임들을 매칭하고, 상기 샘플링 유닛의 샘플링 방식을 조절하는 단계를 포함한다.
본 발명은 신뢰 맵의 이미지 표현에 근거하여 이미지 인식, 슬램(SLAM), 등과 같은 다이나믹 비젼 센서(DVS) 어플리케이션에 도움이 되는 매칭 정확도를 향상시킬 수 있다.
본 발명의 특정한 실시예들의 상술한 양상 및 다른 양상, 특징, 및 장점들은 아래의 수반된 도면들과 결합된 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 프레임들의 이미지 표현 및 처리 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 방법을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 장치를 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 방법을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 장치를 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 방법을 도시한 순서도이다.
이하 첨부된 도면들을 참조하여 본 발명의 실시 예들이 설명된다. 동일한 구성들은 서로 다른 도면에 도시되어 있더라도, 서로 동일한 참조부호로 나타낸다. 이하의 설명에서, 본 발명의 실시예들의 전반적인 이해를 돕기 위해 구체적인 특징들, 예를 들어, 구체적인 배열 및 구성이 제공된다. 이하의 설명에서, 구체적인 구성들 및 요소들과 같은 상세한 세부 사항들은 본 발명의 실시예들의 전반적인 설명을 위해 충분히 제공되지 않는다. 따라서, 본 발명의 범위와 사상을 벗어나지 않는 범위 내에서 본 발명의 실시예들의 다양한 변경과 수정은 당업자에게 명백한 사항일 수 있다. 또한, 명확성과 간결성을 위해 잘 알려진 함수 및 구조에 대한 설명은 생략될 수 있다. 이하의 설명에서, 기재된 용어는 본 발명의 실시예에서 함수를 고려하여 정의된 것이므로, 사람, 사람의 의도, 또는 관습에 따라 다르게 해석될 수 있다. 따라서, 용어에 대한 정의는 발명의 설명 전반에 걸친 내용에 기초하여 결정되어야 한다.
본 발명은 첨부된 도면을 참조하여 구체적으로 설명한 실시예들의 다양한 변경과 다양한 실시예들을 포함한다. 그러나, 본 발명은 실시예들에 한정되지 않고, 본 발명의 범위와 사상 내에서 모든 변경, 그 동등물, 및 대안을 포함할 수 있다.
서수, 예를 들어, 첫번째, 두번째 등을 포함하는 용어는 다양한 구성들을 설명하는데 사용될 수 있으나, 구조적인 구성들은 용어에 제한되지 않는다. 용어는 하나의 구성과 다른 하나의 구성을 구별하기 위하여만 사용된다. 예를 들어, 본 발명의 범위를 범어나지 않는 범위 내에서 첫번째 구조적인 구성은 두번째 구조적인 구성으로 언급될 수 있다. 유사하게, 두번째 구조적인 구성은 첫번째 구조적인 구성으로 언급될 수 있다. 이하에서 사용되는 “및/또는”은 하나 또는 그 이상의 연관된 항목의 모든 조합을 포함할 수 있다.
이하에서 사용되는 용어는 본 발명의 다양한 실시예들을 설명하기 위해 사용되고, 본 발명을 제한하기 위한 것은 아니다. 문맥상 명백히 다른 경우를 나타내지 않는 다면, 단수 형태는 복수 형태를 포함하기 위한 것이다. 본 발명에서, “포함한다” 또는 “갖는다”는 용어는 특징, 개수, 단계, 동작, 구조적인 구성, 부분, 또는 이들의 조합의 존재를 나타내는 것으로 이해되어야 하고, 하나 또는 그 이상의 다른 특징들, 개수들, 단계들, 동작들, 구조적인 구성들, 부분들 또는 이들의 조합들에 대한 추가 가능성 또는 존재를 배제하는 것은 아니다.
다르게 정의되지 않는다면, 이하에서 사용된 모든 용어들은 본 발명이 속한 기술분야에서 당업자가 이해할 수 있는 의미와 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어들은 관련된 기술분야의 문맥상 의미와 동일한 의미를 갖는 것으로 해석되고, 본 발명에 명확하게 정의되어 있지 않는 이상 이상적이거나 과도하게 형식적인 의미를 갖는 것으로 해석되지 않는다.
본 발명은 시-공상의(spatio-temporal) 도메인에서 노이즈를 필터링하는 다이나믹 비젼 센서(DVS)의 노이즈 제거 방법과 각 유효(노이즈 제거된) 픽셀의 중요도를 평가하는 표현(representation)을 제공한다. 표현은 신뢰 맵으로 언급되고, 프레임들 중 주요 특징들을 유지하는데 유용하게 사용되고, 인접한 프레임들의 매칭을 향상시킨다.
본 발명의 실시예에서, 다이나믹 비션 센서(DVS)의 이벤트 샘플링 장치 및 방법이 제공된다. 특정 작업(예를 들어, 시각 인식, 슬램(simultaneous localization and mapping; SLAM), 패턴 인식, 장면 이해, 제스쳐 기판의 사용자-장치 인터랙션(예를 들어, 텔레비전, 게임)의 제스쳐 인식, 사용자 인식(예를 들어, 텔레비전 용도, 모바일 장치 용도), 및 로봇 공학)에 다이나믹 비션 센서(DVS)를 사용하기 위해, 다이나믹 비젼 센서(DVS) 스트림은 환경의 구조적 패턴들을 반영한 이미지로 변환되어야 한다. 다이나믹 비젼 센서(DVS) 이벤트들의 스트림(예를 들어, 이벤트 스트림)은 그들 사이의 변형들이 감소된 이미지들을 생성시키는 방식으로 샘플링된다. 이벤트 스트림으로부터 생성된 이미지들의 변형 감소는 이미지 기반 작업들에 유리하다.
본 발명은 프레임과 프레임 사이의 변형을 감소하여 프레임과 프레임 매칭을 향상시키는 다이나믹 비젼 센서(DVS)의 이미지 표현 및 처리 장치 및 방법에 연관된다. 또한, 본 발명은 시퀸스내에서 다이니믹 비젼 센서(DVS) 프레임들의 주요 이벤트(예를 들어, 주요 특징)을 유지하면서도 노이즈를 제거하는 것을 개시한다. 더욱이, 본 발명은 신뢰 맵의 이미지 표현에 근거하여 이미지 인식, 슬램(SLAM), 등과 같은 다이나믹 비젼 센서(DVS) 어플리케이션에 도움이 되는 매칭 정확도를 향상시킬 수 있는 가중 이미지 매칭 장치 및 방법에 연관된다.
도 1은 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 장치의 블록도이다.
도 1을 참조하면, 장치(100)는 이미지 표현 유닛(101)과 이미지 디노이징 유닛(103)을 포함한다.
이미지 표현 유닛(101)은 다이나믹 비젼 센서(DVS)에 의해 감지된 이벤트들로부터 생성된 프레임들의 시퀀스를 수신하는 입력과 출력을 갖고, 노이즈가 없는 이벤트들로부터 신뢰 맵을 생성한다.
다이나믹 비젼 센서(DVS)는 장면 내에서 픽셀 휘도의 변경(예를 들어, 이벤트)을 캡쳐하고, 각각이 상태(state)를 갖는 이벤트들의 스트림을 출력한다. 이벤트의 상태는 카메라 어레이 내에서 이벤트의 위치 및 연관된 위치의 직전 상태와 비교하여 연관된 이벤트의 휘도 변화가 파지티브 변화인지 네거티브 변화인지를 나타내는 2진 값을 포함한다. 네 개의 값들이 이벤트 상태(즉, 이벤트 위치를 나타내는 픽셀의 x 좌표 및 y 좌표, 연관된 위치의 직전 이벤트 상태와 비교하여 이벤트의 휘도의 파지티브 변화를 나타내는 +1 값이거나, 이벤트의 휘도의 네거티브 변화를 나타내는 -1 값이거나, 또는 이벤트의 휘도에 변화가 없음을 나타내는 0 값중의 어느 하나, 그리고 이벤트의 타임스탬프)를 표현한다.
샘플링 유닛은 다이나믹 비젼 센서(DVS)로부터 이벤트 스트림을 수신하기 위해 다이나믹 비젼 센서(DVS)의 출력에 연결된 입력과 이벤트 스트림의 샘플들을 출력하기 위한 출력을 포함한다. 샘플링 유닛은 타임 구간, 이벤트 개수, 또는 그들의 조합에 기초하여 이벤트 스트림을 샘플링한다. 샘플링 유닛은 이미지 형성 유닛에 이미지 스트림의 샘플들을 출력하는 출력을 포함할 수 있다.
이미지 형성 유닛은 샘플링 유닛의 출력에 연결된 입력을 포함하고, 이벤트 스트림의 샘플들을 수신한다. 특정 개수의 다이나믹 비젼 센서(DVS) 이벤트들은 이미지를 형성하기 위해 샘플링되고, 하나 또는 그 이상 이벤트들을 포함하는 픽셀 위치들이 0이 아닌 값으로 설정되고, 다른 픽셀 위치들은 0으로 설정된다. 0이 아닌 픽셀의 각각의 값은 다른 방법들에 의해 결정될 수 있다. 예를 들어, 각 0이 아닌 픽셀은 가장 최근의 이벤트 상태, 예를 들어, 휘도의 파지티브 변화는 +1, 휘도의 네거티브 변화는 -1, 위치에서 발생한 이벤트들의 개수, 또는 가장 최근 이벤트의 도착 시간으로 표현될 수 있다. 이미지 형성 유닛은 이벤트 스트림의 각 샘플로부터 이미지를 형성하고, 형성된 각 이미지를 출력한다. 이미지 형성 유닛으로부터 출력된 이미지는 이미지를 필요로 하는 어플리케이션 또는 어플리케이션 유닛(예를 들어, 시각 인식, 슬램(simultaneous localization and mapping; SLAM), 패턴 인식, 장면 이해, 제스쳐 기판의 사용자-장치 인터랙션(예를 들어, 텔레비전, 게임)의 제스쳐 인식, 사용자 인식(예를 들어, 텔레비전 용도, 모바일 장치 용도), 및 로봇 공학)에서 사용된다. 이미지 형성 유닛으로부터 형성된 이미지들의 시퀀스는 이미지 표현 유닛(101)의 입력으로 제공될 수 있다.
이미지 표현 유닛(101)은, 이미지 표현 유닛(101)에 의해 수신된 프레임들 시퀀스 내 DVS 이벤트 각각에 대해, 논의 대상(in question) 이벤트의 기 설정된 주위(neighborhood) 내 및 기 설정된 시간 대역(W)내에서의 이벤트들의 개수(N 1 )를 결정한다. 만약, 논의 대상 이벤트의 개수(N 1 )가 제1 임계값(T 1 ) 보다 작으면 논의 대상 이벤트는 노이즈로서 버려진다. 노이즈가 없는 이벤트들은 유효 이벤트들로 간주된다.
노이즈가 없는 이벤트 각각에 대해서는 인접 밀도(neighborhood density)가 결정된다. 논의 대상 이벤트의 인접 밀도(I(valid_ evt ))는 아래의 수학식 1을 사용하여 결정될 수 있다.
[수학식 1]
Figure pat00001
,
이때, M 은 논의 대상 이벤트를 포함하는 논의 대상 이벤트의 기 설정된 주위 내에서 이벤트들의 개수이고, S는 기 설정된 시간 대역이고, R 1 은 R 1 보다 작은 S 회피 임계 값이고, R 2 는 M이 큰 값(예를 들어, 기 설정된 값 보다 큰 값)으로 간주되어 I(valid_evt) 의 높은 값을 생성할 때 임계 값이고, k는 기 설정된 상수이다. 그러나, 본 발명은 인접 밀도를 결정하는데 상술한 수학식 1을 사용하는 것에 제한되지 않는다. 인접 밀도를 결정하기 위해 다른 수학식들이 사용될 수 있다.
제2 임계값(T 2 ) 보다 큰 인접 밀도를 갖는 이벤트 각각은 노이즈가 아니고 유효한 이벤트(예를 들어, 신뢰 이벤트)인 높은 신뢰를 갖는 이벤트로 확인된다. 신뢰 이벤트들은 신뢰 맵에 포함된다. 현재 프레임의 신뢰 이벤트들은 아래에 구체적으로 상술되는 바와 같이 다음 프레임에서 노이즈 제거하는 지원 이벤트들로 사용된다.
이미지 디노이징 유닛(103)은 이미지 표현 유닛(101)의 출력에 연결된 입력 및 출력을 포함하고, 시-공상의 도메인에서 이미지의 노이즈를 제거한다.
이미지 디노이징 유닛(103)은, 이미지 표현 유닛(101)에 의해 수신된 프레임들의 시퀀스 내 DVS 이벤트 각각에 대해, 논의 대상 이벤트의 기 설정된 주위 내 및 기 설정된 시간 대역(W)내에서의 이벤트들의 개수(N 2 )를 결정한다.
논의 대상 이벤트의 프레임(예를 들어, 현재 프레임)의 바로 이전 프레임 관련하여, 현재 프레임의 대응하는 주위 범위 내에 있는 바로 이전 프레임에서의 신뢰 이벤트들의 개수(C)가 결정된다. (N2 + (α X C)) 값이 결정된다. 이때, α는 기 설정된 상수이다. 만일, 논의 대상 이벤트의 (N2 + (α X C))가 제3 임계값(T3) 보다 작으면, 논의 대상 이벤트는 노이즈로서 버려진다. 노이즈 제거된 프레임들은 이미지 디노이징 유닛(103)에 의해 출력된다.
도 2는 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 방법을 도시한 순서도이다.
도 2를 참조하면, 201 단계에서 DVS 프레임들 시퀀스 내 DVS 이벤트 각각에 대해, 이미지 표현 유닛에 의해, 논의 대상 이벤트의 기 설정된 주위 내 및 기 설정된 시간 대역(W) 내에서의 이벤트들 개수(N1)가 결정된다.
203 단계에서, 만일 논의 대상 이벤트의 개수(N1)가 제1 임계값(T1) 보다 작으면, 이미지 표현 유닛에서 논의 대상 이벤트는 노이즈로서 벼려진다. 노이즈가 없는 이벤트들은 유효 이벤트들로 간주된다.
205 단계에서, 이미지 표현 유닛에 의해 노이즈가 없는 이벤트 각각의 인접 밀도가 결정된다. 논의 대상 이벤트의 인접 밀도(I(valid_evt))는 상술한 수학식 1을 사용하여 결정될 수 있다. 그러나, 본 발명은 인접 밀도를 결정하는데 상술한 수학식 1을 사용하는 것에 제한되지 않는다. 인접 밀도를 결정하기 위해 다른 수학식들이 사용될 수 있다.
207 단계에서, 이미지 표현 유닛에 의해, 제2 임계값 보다 큰 인접 밀도를 갖는 이벤트 각각은 노이즈가 아니고 유효한 이벤트(예를 들어, 신뢰 이벤트)인 높은 신뢰를 갖는 이벤트로 확인되고, 신뢰 이벤트들은 신뢰 맵에 포함된다. 현재 프레임의 신뢰 이벤트들은 아래에 구체적으로 상술되는 바와 같이 다음 프레임에서 노이즈를 제거하는 지원 이벤트들로 사용된다.
209 단계에서, 프레임들 시퀀스의 DVS 이벤트 각각에 대해, 이미지 디노이징 유닛에 의해, 논의 대상 이벤트의 기 설정된 주위 내 및 기 설정된 시간 대역(W) 내에서의 이벤트들 개수(N2)가 결정된다.
211 단계에서, 이미지 디노이징 유닛에 의해, 논의 대상 이벤트의 프레임(예를 들어, 현재 프레임)의 바로 이전 프레임 관련하여, 현재 프레임의 대응하는 주위 범위 내에 있는 바로 이전 프레임에서의 신뢰 이벤트들의 개수(C)가 결정된다.
213 단계에서, 이미지 디노이징 유닛에 의해 (N2 + (α X C)) 값이 결정된다. 이때, α는 기 설정된 상수이다.
215 단계에서, 만일, 논의 대상 이벤트의 (N2 + (α X C))가 제3 임계값(T3) 보다 작으면, 논의 대상 이벤트는 노이즈로서 버려진다. 노이즈 제거된 프레임들은 이미지 디노이징 유닛에 의해 출력된다.
도 3은 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 장치를 도시한 블록도이다.
도 3을 참조하면, 장치(300)는 다이나믹 비젼 센서(DVS)(301), 샘플링 유닛(303), 이미지 형성 유닛(305), 이미지 표현 유닛(307), 이미지 왜곡제거 유닛(309), 이미지 매칭 유닛(311)을 포함한다.
본 발명의 일 실시예에서, 장치(300)는 이미지 표현 유닛(307)과 이미지 왜곡제거 유닛(309) 사이에 이미지들의 노이즈를 제거하는 이미지 디노이징 유닛을 더 포함할 수 있다. 그러나, 이미지 디노이징 유닛은 이미지 매칭을 위해서는 필요로 하지 않는다.
다이나믹 비젼 센서(301)는 장면 내에서 휘도의 변경(예를 들어, 이벤트)을 캡쳐하고, 각각이 상태(state)를 갖는 이벤트들의 스트림을 출력한다. 이벤트의 상태는 카메라 어레이 내에서 이벤트의 위치 및 연관된 위치의 직전 상태와 비교하여 연관된 이벤트의 휘도 변화가 파지티브 변화인지 네거티브 변화인지를 나타내는 2진 값을 포함한다.
샘플링 유닛(303)은 다이나믹 비젼 센서(301)의 출력에 연결되고, 다이나믹 비젼 센서(301)로부터 이벤트 스트림을 수신하는 제1 입력, 샘플링 유닛(303)의 샘플링 방식을 조절하는 제2 입력, 및 이벤트 스트림의 샘플들을 출력하는 출력을 포함한다. 적어도 두 개의 이미지들이 샘플링 방식의 조절 전에 필요하므로, 처음 두 개의 샘플들에 대한 샘플링 방식을 동일할 수 있다. 이후, 다음 샘플에 대한 샘플링 방식은 달라질 수 있다.
이미지 형성 유닛(305)은 샘플링 유닛(303)의 출력에 연결되고, 이벤트 스트림의 샘플들을 수신하는 입력을 포함한다. 이미지 형성 유닛(305)은 이벤트 스트림의 각 샘플로부터 이미지를 형성하고, 이벤트 스트림의 각 샘플의 이미지를 출력한다. 적어도 두 개의 이미지들이 샘플링 방식의 조절 전에 필요하므로, 처음 두 개의 샘플들로 형성된 이미지들은 동일한 샘플링 방식을 기초로 형성된다. 이후, 다음 이미지들 각각은 직전 샘플링 방식과 상이한 샘플링 방식을 기초로 형성될 수 있다.
이미지 표현 유닛(307)은 이미지 형성 유닛(305)의 출력에 연결된 입력과, 출력을 포함한다. 이미지 표현 유닛(307)은 상술한 이미지 표현 유닛(101)과 유사하게 기능할 수 있다.
이미지 왜곡제거 유닛(309)은 이미지 표현 유닛(307)의 출력에 연결된 입력과, 출력을 포함한다. 이미지 왜곡제거 유닛(309)은 왜곡을 보상하기 위해 노이즈 제거된 이미지를 제거하거나 변경한다. 왜곡 보상은 왜곡을 감소시키는 것을 포함한다. 그러나, 본 발명은 이에 제한되지 않는다.
이미지 매칭 유닛(311)은 이미지 왜곡제거 유닛(309)의 출력에 연결된 입력과 샘플링 유닛(303)의 제2 입력에 연결된 출력을 포함한다. 이미지 매칭 유닛(311)은 이미지 왜곡제거 유닛(309)에 의해 출력된 두 개의 이미지들을 비교하고 두 개의 이미지들 내의 이벤트들이 매칭되는지(예를 들어, 동일한 위치를 공유하는지) 여부를 결정한다. 매칭된 이벤트들은 레퍼런스 이벤트들로 언급된다. 이미지 매칭 유닛(311)은 샘플링 방식을 조절하기 위한 신호를 샘플링 유닛(303)에 출력하고, 샘플링 방식은 감소되거나(예를 들어, 샘플링 기간이 감소, 샘플 내 기 설정된 이벤트들 개수의 감소, 또는 샘플링 기간과 이벤트들의 개수의 조합의 감소), 샘플링 방식이 증가되거나(예를 들어, 샘플링 기간이 증가, 샘플 내 기 설정된 이벤트들 개수의 증가, 또는 샘플링 기간 및 이벤트들의 개수의 조합의 증가), 또는 샘플링 방식이 유지될 수 있다.
본 발명의 일 실시예에서, 이미지 매칭 유닛(311)은 가중된 프레임 대 프레임 매칭을 이용하여 프레임들을 매칭할 수 있다. 가중된 프레임 대 프레임 매칭은 아래에 표현된 수학식 2로서 수행될 수 있다.
[수학식 2]
Figure pat00002
,
이때, arg min f(x)는 함수 f(x)가 최소값을 얻는 값 x를 결정하는 최소 변수(argument-of-minimum) 함수이다. 이러한 목적 함수는 두 개의 이미지들 사이에 점대점 광 에러를 최소화한다. 이때, i는 제1 이미지 I(I)의 신뢰맵 C(1)의 위치이고, pi는 위치 i의 좌표이고, I(2)는 제2 이미지이고, T는 acr min 함수를 최소로 하는 값을 찾는 변환 행렬이다. 그러나, 본 발명은 상술한 수학식 2로 표현된 가중된 프레임 대 프레임 매칭을 사용하는 것에 제한되지 않는다. 가중된 프레임 대 프레임 매칭과 다른 수학식들도 본 발명에 적용될 수 있다.
이미지 매칭 유닛(311)에 의해 출력된 이미지는 이미지를 필요로 하는 어플리케이션 또는 어플리케이션 유닛(예를 들어, 시각 인식, 슬램(simultaneous localization and mapping; SLAM), 패턴 인식, 장면 이해, 제스쳐 기판의 사용자-장치 인터랙션(예를 들어, 텔레비전, 게임)의 제스쳐 인식, 사용자 인식(예를 들어, 텔레비전 용도, 모바일 장치 용도), 및 로봇 공학)에서 사용될 수 있다.
도 4는 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 방법을 도시한 순서도이다.
도 4를 참조하면, 401 단계에서, 다이나믹 비젼 센서(예를 들어, 도 3의 다이나믹 비젼 센서(301))에 의해 이벤트 스트림이 생성된다.
403 단계에서, 이벤트 스트림은 샘플링 유닛(예를 들어, 도 3의 샘플링 유닛(303))에 의한 방식으로 샘플링된다.
405 단계에서, 이미지들은 이미지 형성 유닛(예를 들어, 도 3의 이미지 형성 유닛(305))에 의해 샘플들로부터 생성된다.
407 단계에서, 신뢰 이벤트들은 이미지 표현 유닛(예를 들어, 도 1의 이미지 표현 유닛(101))에 의해 확인된다.
본 발명의 일 실시예에서, 이미지들의 노이즈는 이미지 디노이징 유닛(예를 들어, 도 1의 이미지 디노이징 유닛(103))에 의해 제거될 수 있다. 다만, 이미지 매칭에서 이미지의 노이즈 제거는 필요하지 않다.
409 단계에서, 노이즈 제거된 이미지들의 왜곡은 이미지 왜곡제거 유닛(예를 들어, 도 3의 이미지 왜곡제거 유닛(309))에 의해 제거될 수 있다.
411 단계에서, 이미지들은 이미지 매칭 유닛(예를 들어, 도 3의 이미지 매칭 유닛(311))에 의해 매칭될 수 있고, 필요시 샘플링이 조절될 수 있다.
본 발명의 일 실시예에서, 프레임들의 이미지 매칭은 가중된 프레임 대 프레임 매칭을 이용하여 수행될 수 있다. 가중된 프레임 대 프레임 매칭은 상술한 수학식 2에 의해 수행될 수 있다. 하지만 본 발명은 이에 한정 되지 않으며 가중된 프레임 대 프레임 매칭과 다른 수학식들도 본 발명에 적용될 수 있다.
도 5는 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 장치(500)를 도시한 블록도이다. 도 5는 SLAM 어플리케이션에 관련된다.
도 5를 참조하면, 장치(500)는 다이나미 비젼 센서(DVS)(501), 샘플링 유닛(503), 이미지 형성 유닛(505), 이미지 표현 유닛(507), 이미지 왜곡제거 유닛(509), 이미지 매칭 유닛(511), 카메라 포즈 추정 유닛(513), 카메라 포즈 융합 유닛(515), SLAM 유닛(517)을 포함한다.
본 발명의 일 실시예에서, 이미지 왜곡제거 유닛은 이미지들의 노이즈를 제거하기 위해 이미지 표현 유닛(507) 및 이미지 왜곡제거 유닛(509) 사이에서 사용될 수 있다. 그러나, 이미지의 노이즈 제거는 이미지 매칭 및 SLAM에서 요구되지 않는다.
다이나믹 비젼 센서(DVS)(510)는 장면 내에서 픽셀 휘도의 변경(예를 들어, 이벤트)를 캡쳐하고, 각각이 상태(state)를 갖는 이벤트들의 스트림을 출력한다. 이벤트의 상태는 카메라 어레이 내에서 이벤트의 위치 및 연관된 위치의 직전 상태와 비교하여 연관된 이벤트의 휘도 변화가 파지티브 변화인지 네거티브 변화인지를 나타내는 2진 값을 포함한다.
샘플링 유닛(503)은 다이나믹 비젼 센서(501)의 출력에 연결되고, 다이나믹 비젼 센서(501)로부터 이벤트 스트림을 수신하는 제1 입력, 샘플링 유닛(503)의 샘플링 방식을 조절하는 제2 입력, 및 이벤트 스트림의 샘플들을 출력하는 출력을 포함한다. 적어도 두 개의 이미지들이 샘플링 방식의 조절 전에 필요하므로, 처음 두 개의 샘플들에 대한 샘플링 방식을 동일할 수 있다. 이후, 다음 샘플에 대한 샘플링 방식은 달라질 수 있다.
이미지 형성 유닛(505)은 샘플링 유닛(503)의 출력에 연결되고, 이벤트 스트림의 샘플들을 수신하는 입력을 포함한다. 이미지 형성 유닛(505)은 이벤트 스트림의 각 샘플로부터 이미지를 형성하고, 이벤트 스트림의 각 샘플의 이미지를 출력한다. 적어도 두 개의 이미지들이 샘플링 방식의 조절 전에 필요하므로, 처음 두 개의 샘플들로 형성된 이미지들은 동일한 샘플링 방식을 기초로 형성된다. 이후, 다음 이미지들 각각은 직전 샘플링 방식과 상이한 샘플링 방식을 기초로 형성될 수 있다.
이미지 표현 유닛(507)은 이미지 형성 유닛(505)의 출력에 연결된 입력과 출력을 포함한다. 이미지 표현 유닛(507)은 상술한 이미지 표현 유닛(101)과 유사하게 기능할 수 있다.
이미지 왜곡제거 유닛(509)은 이미지 표현 유닛(507)의 출력에 연결된 입력과 출력을 포함한다. 이미지 왜곡제거 유닛(509)은 왜곡을 보상하기 위해 노이즈 제거된 이미지를 제거하거나 변경한다. 왜곡 보상은 왜곡을 감소시키는 것을 포함한다. 그러나, 본 발명은 이에 제한되지 않는다.
이미지 매칭 유닛(511)은 이미지 왜곡제거 유닛(509)의 출력에 연결된 입력과 샘플링 유닛(503)의 제2 입력에 연결된 출력을 포함한다. 이미지 매칭 유닛(511)은 이미지 왜곡제거 유닛(509)에 의해 출력된 두 개의 이미지들을 비교하고 두 개의 이미지들 내의 이벤트들이 매칭되는지(예를 들어, 동일한 위치를 공유하는지) 여부를 결정한다. 매칭된 이벤트들은 레퍼런스 이벤트들로 언급된다. 이미지 매칭 유닛(511)은 샘플링 방식을 조절하기 위한 신호를 샘플링 유닛(503)에 출력하고, 샘플링 방식은 감소되거나(예를 들어, 샘플링 기간이 감소, 샘플 내 기 설정된 이벤트들 개수의 감소, 또는 샘플링 기간과 이벤트들의 개수의 조합의 감소), 샘플링 방식이 증가되거나(예를 들어, 샘플링 기간이 증가, 샘플 내 기 설정된 이벤트들 개수의 증가, 또는 샘플링 기간 및 이벤트들의 개수의 조합의 증가), 또는 샘플링 방식이 유지될 수 있다.
본 발명의 일 실시예에서, 이미지 매칭 유닛(511)은 가중된 프레임 대 프레임 매칭을 이용하여 프레임들을 매칭할 수 있다. 가중된 프레임 대 프레임 매칭은 상술된 수학식 2로서 수행될 수 있다. 그러나, 본 발명은 상술한 수학식 2로 표현된 가중된 프레임 대 프레임 매칭을 사용하는 것에 제한되지 않는다. 가중된 프레임 대 프레임 매칭과 다른 수학식들도 본 발명에 적용될 수 있다.
카메라 포즈 추정 유닛(513)은 이미지 매칭 유닛(511)의 출력에 연결된 입력과 출력을 포함한다. 카메라 포즈 추정 유닛(513)은 이미지에 대한 카메라의 포즈(pose)를 추정한다.
카메라 포즈 융합 유닛(515)은 카메라 포즈 추정 유닛(513)의 출력에 연결된 입력과 출력을 포함한다. 카메라 포즈 융합 유닛(515)은 이미지들과 관련된 추정된 카메라의 포즈들을 기초로 이미지들을 융합시킨다.
슬램 유닛(517)은 카메라 포즈 융합 유닛(515)의 출력에 연결된 입력과 출력을 포함한다. 슬램 유닛(517)은 이미지의 위치 파악과 지도 작성을 동시에 결정한다.
도 6은 본 발명의 일 실시예에 따른, 다이나믹 비젼 센서(DVS) 이벤트들의 이미지 표현 및 처리 방법을 도시한 순서도이다. 도 6은 SLAM 어플리케이션에 연관된다.
도 6을 참조하면, 601 단계에서, 다이나믹 비젼 센서(예를 들어, 도 5의 다이나믹 비젼 센서(501))에 의해 이벤트 스트림이 생성된다.
603 단계에서, 이벤트 스트림은 샘플링 유닛(예를 들어, 도 5의 샘플링 유닛(503))에 의한 방식으로 샘플링된다.
605 단계에서, 이미지들은 이미지 형성 유닛(예를 들어, 도 5의 이미지 형성 유닛(505))에 의해 샘플들로부터 생성된다.
607 단계에서, 신뢰 이벤트들은 이미지 표현 유닛(예를 들어, 도 1의 이미지 표현 유닛(101))에 의해 확인된다.
본 발명의 일 실시예에서, 이미지들의 노이즈는 이미지 디노이징 유닛(예를 들어, 도 1의 이미지 디노이징 유닛(103))에 의해 제거될 수 있다. 다만, SLAM에서 이미지의 노이즈 제거는 필요하지 않다.
609 단계에서, 노이즈 제거된 이미지들의 왜곡은 이미지 왜곡제거 유닛(예를 들어, 도 5의 이미지 왜곡제거 유닛(509))에 의해 제거될 수 있다.
611 단계에서, 이미지들은 이미지 매칭 유닛(예를 들어, 도 5의 이미지 매칭 유닛(511))에 의해 매칭될 수 있고, 필요시, 샘플링이 조절될 수 있다.
본 발명의 일 실시예에서, 프레임들의 이미지 매칭 가중된 프레임 대 프레임 매칭을 이용하여 수행될 수 있다. 가중된 프레임 대 프레임 매칭은 상술한 수학식 2에 의해 수행될 수 있다. 그러나, 본 발명은 상술한 수학식 2로 표현된 가중된 프레임 대 프레임 매칭을 사용하는 것에 제한되지 않는다. 가중된 프레임 대 프레임 매칭과 다른 수학식들도 본 발명에 적용될 수 있다.
613 단계에서, 이미지들의 카메라 포즈들은 카메라 포즈 추정 유닛(예를 들어, 도 5의 카메라 포즈 추정 유닛(513))에 의해 추정된다.
615 단계에서, 이미지들은 카메라 포즈 융합 유닛(예를 들어, 도 5의 카메라 포즈 융합 유닛(도 5의 515))에 의해 이미지들과 연관된 추정된 카메라 포즈들에 기초하여 합쳐진다.
617 단계에서, 이미지들의 위치 파악과 지도 작성은 SLAM 유닛(예를 들어, 도 5의 SLAM 유닛(517))에 의해 동시에 결정된다.
이상 본 발명의 특정한 실시예들을 기재하였으나, 본 발명은 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태로 변경될 수 있다. 따라서, 본 발명의 권리 범위는 기재된 실시예들에 한정하여 결정되는 것이 아니고, 청구항과 청구항의 균등물을 포함하는 것으로 해석되어야 한다.
101 : 이미지 표현 유닛 103 : 이미지 디노이징 유닛
301 : 다이나믹 비젼 센서 303 : 샘플링 유닛
305 : 이미지 형성 유닛 307: 이미지 표현 유닛
309 : 이미지 왜곡제거 유닛 311 : 이미지 매칭 유닛

Claims (20)

  1. 다이나믹 비젼 센서(DVS)에 의해 감지된 이벤트들로부터 생성된 프레임들 시퀀스를 수신하고, 노이즈 없는 이벤트들로부터 신뢰 맵을 생성하는 이미지 표현 유닛; 및
    상기 이미지 표현 유닛에 연결되고, 시-공상의 도메인에서 이미지의 노이즈를 제거하는 이미지 디노이징 유닛을 포함하는 장치.
  2. 제 1 항에 있어서,
    각 이벤트는 이벤트 상태를 표현하는 네 개의 값들에 연관되고,
    상기 네 개의 값들은, 이벤트 위치를 나타내는 픽셀의 x 좌표 및 y 좌표, 연관된 위치의 직전 이벤트 상태와 비교하여 이벤트의 휘도의 파지티브 변화를 나타내는 +1 값이거나, 이벤트의 휘도의 네거티브 변화를 나타내는 -1 값이거나, 또는 이벤트의 휘도에 변화가 없음을 나타내는 0 값 중의 어느 하나, 그리고 이벤트의 타임스탬프인 장치.
  3. 제 1 항에 있어서,
    이미지 표현 유닛은, 상기 프레임들 시퀀스 내 각 이벤트에 대해, 상기 이벤트의 기 설정된 주위 내 및 기 설정된 시간 대역(W) 내에서 이벤트들의 개수(N 1 )를 결정하고, 상기 이벤트들의 개수(N 1 )가 제1 임계값(T 1 ) 보다 작으면 상기 이벤트를 버리는 장치.
  4. 제 3 항에 있어서,
    상기 이미지 표현 유닛은 버려지지 않은 각 이벤트에 대해 아래와 같이 인접 밀도를 결정하고,
    Figure pat00003
    ,
    이때, M은 해당 이벤트를 포함하는 이벤트의 기 설정된 주위 내에서 이벤트들의 개수이고, S는 기 설정된 시간대역이고, R 1 은 R 1 보다 작은 S의 회피 임계 값이고, R 2 는 M이 기 설정된 값 보다 클 때 임계 값이고, k는 기 설정된 상수인 장치.
  5. 제 4 항에 있어서,
    이미지 표현 유닛은 각각이 현재 프레임에서 제2 임계값(T 2 ) 보다 큰 인접 밀도를 갖는 이벤트들의 상기 신뢰 맵을 생성하고, 상기 신뢰 맵에 포함된 상기 이벤트들은 신뢰 이벤트들로 언급되는 장치.
  6. 제 5 항에 있어서,
    상기 이미지 디노이징 유닛은, 각 이벤트에 대해, 상기 이벤트의 기 설정된 주위 내 및 기 설정된 시간 대역(W) 내에서 이벤트들의 개수(N 2 )를 결정하는 장치.
  7. 제 6 항에 있어서,
    이미지 디노이징 유닛은 상기 현재 프레임의 주위에 대응하는 범위 내에 있는 상기 이벤트의 프레임의 바로 이전 프레임에서의 상기 신뢰 이벤트들의 개수(C)를 결정하는 장치.
  8. 제 7 항에 있어서,
    상기 이미지 디노이징 유닛은 (N2 + (α X C)) 값을 결정하고, α는 기 설정된 상수이고, 만일, 상기 이벤트의 (N2 + (α X C))가 제3 임계값(T3) 보다 작으면, 해당하는 상기 이벤트를 노이즈로서 버리고, 결과 프레임들을 노이즈 제거된 이미지들로서 출력하는 장치.
  9. 이벤트들의 스트림을 생성하는 다이나믹 비젼 센서(DVS);
    상기 다이나믹 비젼 센서(DVS)에 연결되고, 상기 이벤트들의 스트림을 샘플링하는 샘플링 유닛;
    상기 샘플링 유닛에 연결되고, 상기 이벤트들의 스트림의 각 샘플로부터 이미지를 형성하는 이미지 형성 유닛;
    상기 이미지 형성 유닛에 연결되고, 노이즈가 없는 이벤트들로부터 신뢰 맵을 생성하는 이미지 표현 유닛;
    상기 이미지 표현 유닛에 연결되고, 프레임들 내 왜곡을 보상하는 이미지 왜곡제거 유닛; 및
    상기 이미지 왜곡제거 유닛 및 상기 샘플링 유닛에 연결되고, 프레임들을 매칭하고, 필요시, 상기 샘플링 유닛의 샘플링 방식을 조절하는 이미지 매칭 유닛을 포함하는 장치.
  10. 제 9 항에 있어서,
    상기 이미지 매칭 유닛은 아래의 가중된 프레임 대 프레임 매칭을 이용하여 프레임들을 매칭하고,
    Figure pat00004

    이때, arg min f(x)는 함수 f(x)가 최소값을 얻는 값 x를 결정하는 최소 변수 함수이고, i는 제1 이미지 I(I)의 신뢰맵 C(1)의 위치이고, pi는 위치 i의 좌표이고, I(2)는 제2 이미지이고, T는 acr min 함수를 최소로 하는 값을 찾는 변환 행렬인 장치.
  11. 이미지 표현 유닛에 의해, 다이나믹 비젼 센서(DVS)에 의해 감지된 이벤트들로부터 생성된 프레임들 시퀀스를 수신하고, 노이즈 없는 이벤트들로부터 신뢰 맵을 생성하는 단계; 및
    상기 이미지 표현 유닛에 연결된 이미지 디노이징 유닛에 의해, 시-공상의 도메인에서 상기 프레임들로부터 형성된 이미지의 노이즈를 제거하는 단계를 포함하는 방법.
  12. 제 11 항에 있어서,
    각 이벤트는 이벤트 상태를 표현하는 네 개의 값들에 연관되고,
    상기 네 개의 값들은, 이벤트 위치를 나타내는 픽셀의 x 좌표 및 y 좌표, 연관된 위치의 직전 이벤트 상태와 비교하여 이벤트의 휘도의 파지티브 변화를 나타내는 +1 값이거나, 이벤트의 휘도의 네거티브 변화를 나타내는 -1 값이거나, 또는 이벤트의 휘도에 변화가 없음을 나타내는 0 값 중의 어느 하나, 그리고 이벤트의 타임스탬프인 방법.
  13. 제 11 항에 있어서,
    이미지 표현 유닛에 의해, 상기 프레임들 시퀀스 내 각 이벤트에 대해, 상기 이벤트의 기 설정된 주위 내 및 기 설정된 시간 대역(W) 내에서 이벤트들의 개수(N 1 )를 결정하고, 상기 이벤트들의 개수(N 1 )가 제1 임계값(T 1 ) 보다 작으면 상기 이벤트를 버리는 단계를 더 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 이미지 표현 유닛에 의해, 버려지지 않은 각 이벤트에 대해 아래와 같이 인접 밀도를 결정하는 단계를 더 포함하고,
    Figure pat00005
    ,
    이때, M은 해당 이벤트를 포함하는 이벤트의 기 설정된 주위 내에서 이벤트들의 개수이고, S는 기 설정된 시간대역이고, R 1 은 R 1 보다 작은 S의 회피 임계 값이고, R 2 는 M이 기 설정된 값 보다 클 때 임계 값이고, k는 기 설정된 상수인 방법.
  15. 제 14 항에 있어서,
    상기 이미지 표현 유닛에 의해, 각각이 현재 프레임에서 제2 임계값(T 2 ) 보다 큰 인접 밀도를 갖는 이벤트들의 상기 신뢰 맵을 생성하는 단계를 더 포함하고, 상기 신뢰 맵에 포함된 상기 이벤트들은 신뢰 이벤트들로 언급되는 방법.
  16. 제 15 항에 있어서,
    상기 이미지 디노이징 유닛에 의해, 각 이벤트에 대해, 상기 이벤트의 기 설정된 주위 내 및 기 설정된 시간 대역(W) 내에서 이벤트들의 개수(N 2 )를 결정하는 단계를 더 포함하는 방법.
  17. 제 16 항에 있어서,
    상기 이미지 디노이징 유닛에 의해, 상기 현재 프레임의 주위에 대응하는 범위 내에 있는 상기 이벤트의 프레임의 바로 이전 프레임에서의 상기 신뢰 이벤트들의 개수(C)를 결정하는 단계를 더 포함하는 방법.
  18. 제 17 항에 있어서,
    상기 이미지 디노이징 유닛에 의해, (N2 + (α X C)) 값을 결정하고, α는 기 설정된 상수이고, 만일, 상기 이벤트의 (N2 + (α X C))가 제3 임계값(T3) 보다 작으면, 해당하는 상기 이벤트를 노이즈로서 버리고, 결과 프레임들을 노이즈 제거된 이미지들로서 출력하는 단계를 더 포함하는 방법.
  19. 다이나믹 비젼 센서(DVS)에 의해 이벤트들의 스트림을 생성하는 단계;
    상기 다이나믹 비젼 센서(DVS)에 연결된 샘플링 유닛에 의해 상기 이벤트들의 스트림을 샘플링하는 단계;
    상기 샘플링 유닛에 연결된 이미지 형성 유닛에 의해, 상기 이벤트들의 스트림의 각 샘플로부터 이미지를 형성하는 단계;
    상기 이미지 형성 유닛에 연결된 이미지 표현 유닛에 의해, 상기 이미지 형성 유닛에 의해 형성된 이미지들을 수신하고, 노이즈가 없는 이벤트들로부터 신뢰 맵을 생성하는 단계;
    상기 이미지 표현 유닛에 연결된 이미지 왜곡제거 유닛에 의해, 프레임들 내 왜곡을 보상하는 단계; 및
    상기 이미지 왜곡제거 유닛 및 상기 샘플링 유닛에 연결된 이미지 매칭 유닛에 의해, 프레임들을 매칭하고, 필요시, 상기 샘플링 유닛의 샘플링 방식을 조절하는 단계를 포함하는 방법.
  20. 제 19 항에 있어서,
    상기 프레임들 매칭은 아래의 가중된 프레임 대 프레임 매칭을 이용하고,
    Figure pat00006

    이때, arg min f(x)는 함수 f(x)가 최소값을 얻는 값 x를 결정하는 최소 변수 함수이고, i는 제1 이미지 I(I)의 신뢰맵 C(1)의 위치이고, pi는 위치 i의 좌표이고, I(2)는 제2 이미지이고, T는 acr min 함수를 최소로 하는 값을 찾는 변환 행렬인 방법.
KR1020170021223A 2016-03-22 2017-02-16 다이나믹 비젼 센서의 이미지 표현 및 처리 방법과 장치 KR20170110505A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662311599P 2016-03-22 2016-03-22
US62/311,599 2016-03-22
US15/148,657 2016-05-06
US15/148,657 US9934557B2 (en) 2016-03-22 2016-05-06 Method and apparatus of image representation and processing for dynamic vision sensor

Publications (1)

Publication Number Publication Date
KR20170110505A true KR20170110505A (ko) 2017-10-11

Family

ID=59897033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170021223A KR20170110505A (ko) 2016-03-22 2017-02-16 다이나믹 비젼 센서의 이미지 표현 및 처리 방법과 장치

Country Status (3)

Country Link
US (1) US9934557B2 (ko)
KR (1) KR20170110505A (ko)
CN (1) CN107220942B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410413B2 (en) 2018-09-10 2022-08-09 Samsung Electronics Co., Ltd. Electronic device for recognizing object and method for controlling electronic device
US11861814B2 (en) 2020-12-31 2024-01-02 Electronics And Telecommunications Research Institute Apparatus and method for sensing image based on event

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
CN111247801B (zh) 2017-09-28 2022-06-14 苹果公司 用于事件相机数据处理的系统和方法
CN107610069B (zh) * 2017-09-29 2020-10-09 西安电子科技大学 基于共享k-svd字典的dvs可视化视频去噪方法
CN108182670B (zh) * 2018-01-15 2020-11-10 清华大学 一种事件图像的分辨率增强方法及系统
US11244464B2 (en) 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
CN108961318B (zh) * 2018-05-04 2020-05-15 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
US11143879B2 (en) * 2018-05-25 2021-10-12 Samsung Electronics Co., Ltd. Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
CN109068024B (zh) * 2018-06-29 2020-07-21 北京大学 一种对时空信号进行滤波的方法
CN109525848B (zh) * 2018-10-16 2020-10-16 北京大学 一种脉冲序列的压缩方法及装置
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN109726356B (zh) * 2019-01-17 2021-05-04 西安电子科技大学 一种动态视觉传感器的地址事件流数据去噪方法
CN109801314B (zh) * 2019-01-17 2020-10-02 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN110068284B (zh) * 2019-05-20 2020-10-30 北京建筑大学 利用高速摄影测量技术监测塔式起重机的方法
CN110428397A (zh) * 2019-06-24 2019-11-08 武汉大学 一种基于事件帧的角点检测方法
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
WO2021084833A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
JP2021083004A (ja) * 2019-11-21 2021-05-27 アイシン精機株式会社 センサシステム
CN113449554B (zh) * 2020-03-25 2024-03-08 北京灵汐科技有限公司 一种目标检测识别方法及系统
CN111696143B (zh) * 2020-06-16 2022-11-04 清华大学 一种事件数据的配准方法与系统
CN111770290A (zh) * 2020-07-29 2020-10-13 中国科学院长春光学精密机械与物理研究所 一种动态视觉传感器输出事件流降噪方法
CN112581491B (zh) * 2020-12-17 2023-03-21 西安电子科技大学 基于地址事件连通域的运动目标定位方法
CN113093221A (zh) * 2021-03-31 2021-07-09 东软睿驰汽车技术（沈阳）有限公司 占据栅格地图的生成方法及装置
CN114285962B (zh) * 2021-12-14 2023-04-07 成都时识科技有限公司 噪声处理装置、方法、芯片、事件成像装置及电子设备
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
CN114418873B (zh) * 2021-12-29 2022-12-20 英特灵达信息技术(深圳)有限公司 一种暗光图像降噪方法及装置
CN114885074B (zh) * 2022-05-06 2023-07-04 中国科学院光电技术研究所 一种基于时空密度的事件相机去噪方法
CN114885099A (zh) * 2022-05-10 2022-08-09 深圳锐视智芯科技有限公司 一种事件图像输出方法及相关装置
CN116757968B (zh) * 2023-08-18 2023-11-24 深圳时识科技有限公司 降噪方法及装置、芯片、事件成像装置和电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1287697A1 (en) * 2000-05-18 2003-03-05 Koninklijke Philips Electronics N.V. Mpeg-4 binary shape transmission
US7542622B1 (en) 2003-06-02 2009-06-02 The Trustees Of Columbia University In The City Of New York Spatio-temporal treatment of noisy images using brushlets
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
US20060007200A1 (en) * 2004-07-08 2006-01-12 David Young Method and system for displaying a sequence of image frames
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
AT504582B1 (de) 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US20080316364A1 (en) * 2007-06-25 2008-12-25 The Hong Kong University Of Science And Technology Rate distortion optimization for video denoising
US8238639B2 (en) * 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
FR2978273B1 (fr) 2011-07-22 2013-08-09 Thales Sa Procede de reduction du bruit dans une sequence d'images fluoroscopiques par filtrage temporel et spatial
IN2014CN02708A (ko) * 2011-09-28 2015-08-07 Pelican Imaging Corp
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
EP2888720B1 (en) * 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9171355B2 (en) * 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
CN104112112A (zh) * 2013-04-19 2014-10-22 华为技术有限公司 识别动作的方法及其装置
KR102081087B1 (ko) 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US9767571B2 (en) 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
KR101534282B1 (ko) 2014-05-07 2015-07-03 삼성전자주식회사 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
US9361679B2 (en) * 2014-07-28 2016-06-07 Disney Enterprises, Inc. Temporally coherent local tone mapping of HDR video
CN104574387B (zh) * 2014-12-29 2017-11-21 张家港江苏科技大学产业技术研究院 水下视觉slam系统中的图像处理方法
CN105160703B (zh) * 2015-08-25 2018-10-19 天津师范大学 一种使用时域视觉传感器的光流计算方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410413B2 (en) 2018-09-10 2022-08-09 Samsung Electronics Co., Ltd. Electronic device for recognizing object and method for controlling electronic device
US11861814B2 (en) 2020-12-31 2024-01-02 Electronics And Telecommunications Research Institute Apparatus and method for sensing image based on event

Also Published As

Publication number Publication date
CN107220942B (zh) 2022-03-29
US20170278221A1 (en) 2017-09-28
CN107220942A (zh) 2017-09-29
US9934557B2 (en) 2018-04-03

Similar Documents

Publication Publication Date Title
KR20170110505A (ko) 다이나믹 비젼 센서의 이미지 표현 및 처리 방법과 장치
JP6886117B2 (ja) １つの表示装置に表示された画像の画質の制御方法
KR20170090347A (ko) 이미지 형성에 관한 동적 비전 센서의 이벤트 샘플링을 위한 장치 및 방법
US20150206354A1 (en) Image processing apparatus and image display apparatus
US20100302401A1 (en) Image Audio Processing Apparatus And Image Sensing Apparatus
US9390511B2 (en) Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
KR102512889B1 (ko) 이미지 융합 프로세싱 모듈
US8494217B2 (en) Image processing apparatus, image processing method, and program
US20150373235A1 (en) De-noising method and image system
US11034305B2 (en) Image processing device, image display system, and image processing method
TW201537981A (zh) 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體
JP2013125181A (ja) 投影装置
US20110311150A1 (en) Image processing apparatus
KR20150145725A (ko) Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치
EP3115967A1 (en) A method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device
US10373293B2 (en) Image processing apparatus, image processing method, and storage medium
JP6365355B2 (ja) 画像生成装置および画像生成方法
JP2008021163A (ja) 画像処理装置
US20190394377A1 (en) Information processing device, image capturing device, and electronic apparatus
CN105282419A (zh) 去噪声方法以及影像系统
JP6134267B2 (ja) 画像処理装置、画像処理方法、および記録媒体
WO2016158119A1 (ja) 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置
JP2015177528A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2014120139A (ja) 画像処理装置およびその制御方法、撮像装置、および表示装置
WO2018173445A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right