KR20190133465A - 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치 - Google Patents

다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치 Download PDF

Info

Publication number
KR20190133465A
KR20190133465A KR1020180058445A KR20180058445A KR20190133465A KR 20190133465 A KR20190133465 A KR 20190133465A KR 1020180058445 A KR1020180058445 A KR 1020180058445A KR 20180058445 A KR20180058445 A KR 20180058445A KR 20190133465 A KR20190133465 A KR 20190133465A
Authority
KR
South Korea
Prior art keywords
event
data
vision sensor
image frame
frames
Prior art date
Application number
KR1020180058445A
Other languages
English (en)
Inventor
여동희
류현석
박근주
이현구
정희재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180058445A priority Critical patent/KR20190133465A/ko
Priority to US16/241,113 priority patent/US20190364230A1/en
Priority to CN201910283259.4A priority patent/CN110536078A/zh
Publication of KR20190133465A publication Critical patent/KR20190133465A/ko

Links

Images

Classifications

    • H04N5/341—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

다이나믹 비전 센서(dynamic vision sensor)의 데이터 처리 방법에서, 다이나믹 비전 센서가 광의 변화를 감지하여 복수의 이벤트 프레임들을 출력한다. 복수의 이벤트 프레임들을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행한다. 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행한다.

Description

다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치{METHOD OF PROCESSING DATA FOR DYNAMIC IMAGE SENSOR, DYNAMIC IMAGE SENSOR PERFORMING THE SAME AND ELECTRONIC DEVICE INCLUDING THE SAME}
본 발명은 비전 센서에 관한 것으로서, 더욱 상세하게는 다이나믹 비전 센서의 데이터 처리 방법, 상기 데이터 처리 방법을 수행하는 다이나믹 비전 센서 및 상기 다이나믹 비전 센서를 포함하는 전자 장치에 관한 것이다.
종래의 비전 센서는 일정한 비율(예를 들어, 프레임 레이트(frame rate))에서 찍힌 사진들 또는 프레임들의 시퀀스(sequence)로서 장면을 수집(capture)한다. 여기서, 하나의 프레임의 경계 내에 모든 사진 요소(예를 들어, 픽셀)가 프레임에 수집된다. 하나의 프레임에서 다른 프레임으로 변하지 않는 픽셀 정보는 중복 정보이다. 중복 정보를 저장하고, 처리하는 것은 저장 공간, 처리 시간 및 배터리 전력을 낭비하는 것이다.
다이나믹 비전 센서(dynamic vision sensor; DVS)는 프레임들 안의 장면을 수집하지 않고, 인간의 망막과 유사하게 기능한다 즉, 다이나믹 비전 센서는 이벤트가 발생한 때의 장면 내의 특정 위치에서 화소의 휘도(예를 들어, 이벤트)의 변화만을 송신한다.
다이나믹 비전 센서의 출력은 각 이벤트가 특정 스테이트와 연관된 이벤트들의 스트림이다. 예를 들어, 특정 스테이트는 카메라 어레이 안의 이벤트의 위치 및 연관된 위치의 바로 이전의 스테이트에 비하여 연관된 이벤트의 휘도가 포지티브(positive) 또는 네거티브(negative)하게 변했는지 나타내는 이진 값이다.
본 발명의 일 목적은 다이나믹 비전 센서에서 출력되는 데이터를 효과적으로 저장하기 위한 데이터 처리 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 데이터 처리 방법을 수행하는 다이나믹 비전 센서를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 다이나믹 비전 센서를 포함하는 전자 장치를 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 다이나믹 비전 센서(dynamic vision sensor)의 데이터 처리 방법에서, 다이나믹 비전 센서가 광의 변화를 감지하여 복수의 이벤트 프레임들을 출력한다. 상기 복수의 이벤트 프레임들을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행한다. 상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 다이나믹 비전 센서(dynamic vision sensor)는 픽셀 어레이 및 영상 처리부를 포함한다. 상기 픽셀 어레이는 복수의 픽셀들을 포함하고, 광의 변화를 감지하여 복수의 이벤트 프레임들을 출력한다. 상기 영상 처리부는 상기 복수의 이벤트 프레임들을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행하고, 상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행한다.
상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 전자 장치는 프로세서 및 다이나믹 비전 센서(dynamic vision sensor)를 포함한다. 상기 다이나믹 비전 센서는 상기 프로세서에 의해 제어되고, 광의 변화를 감지하여 복수의 이벤트 프레임들을 출력한다. 상기 전자 장치는 상기 복수의 이벤트 프레임들을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행하고, 상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행한다.
상기와 같은 본 발명의 실시예들에 따른 데이터 처리 방법 및 이를 수행하는 다이나믹 비전 센서에서는, 다이나믹 비전 센서에서 출력되는 이벤트 프레임들을 일반적인 영상 프레임으로 포맷 변환하고, 영상 프레임을 압축하여 획득된 압축 영상 프레임을 저장할 수 있다. 다시 말하면, 복수의 이벤트 프레임들을 저장하는 대신에, 데이터의 양이 보다 적은 압축 영상 프레임을 저장함으로써, 이벤트 발생 횟수가 증가하더라도 한정된 데이터 저장 공간에 이벤트 프레임들에 대응하는 데이터를 효율적으로 저장할 수 있으며, 상대적으로 저속의 데이터 인터페이스를 채용하더라도 다이나믹 비전 센서의 성능이 확보될 수 있다.
이 때, 데이터 포맷 변환은 모든 이벤트 픽셀 데이터들이 영상 픽셀 데이터들의 모든 비트들과 일대일 대응되는 가능한 임의의 방식(예를 들어, 시간 순차적으로(time sequentially) 할당되는 방식 또는 픽셀 위치(pixel locations)에 따라 할당되는 방식 등)에 기초하여 수행될 수 있다.
도 1은 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예들에 따른 다이나믹 비전 센서를 나타내는 블록도이다.
도 4는 도 3의 다이나믹 비전 센서에 포함되는 픽셀의 일 예를 나타내는 회로도이다.
도 5는 본 발명의 실시예들에 따른 다이나믹 비전 센서를 포함하는 전자 장치를 나타내는 블록도이다.
도 6, 7 및 8은 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법을 설명하기 위한 도면들이다.
도 9 및 10은 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법을 나타내는 순서도들이다.
도 11은 본 발명의 실시예들에 따른 다이나믹 비전 센서를 포함하는 전자 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법을 나타내는 순서도이다. 도 2는 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법을 설명하기 위한 도면이다.
도 1 및 2를 참조하면, 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법에서, 다이나믹 비전 센서(dynamic vision sensor; DVS)가 광의 변화를 감지하여 복수의 이벤트 프레임들을 출력한다(단계 S100). 상기 복수의 이벤트 프레임들은 상기 다이나믹 비전 센서의 출력 데이터 포맷을 따를 수 있고, 각각 1비트인 복수의 이벤트 픽셀 데이터들을 포함할 수 있다.
예를 들어, 도 2에 도시된 것처럼, 상기 복수의 이벤트 프레임들은 제1 내지 제X(X는 2 이상의 자연수) 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)을 포함할 수 있다. 예를 들어, 제1 이벤트 프레임(EIMG1)은 1비트의 제1 이벤트 픽셀 데이터(E1)를 포함하고, 제2 이벤트 프레임(EIMG2)은 1비트의 제2 이벤트 픽셀 데이터(E2)를 포함하며, 제X 이벤트 프레임(EIMGX)은 1비트의 제X 이벤트 픽셀 데이터(EX)를 포함할 수 있다. 상세하게 도시하지는 않았지만, 각 이벤트 프레임은 Y(Y는 2 이상의 자연수)개의 이벤트 픽셀 데이터들을 포함할 수 있다.
일 실시예에서, 상기 복수의 이벤트 프레임들은 각각 이벤트 헤더 정보를 포함할 수 있다. 예를 들어, 제1 이벤트 프레임(EIMG1)은 제1 이벤트 프레임(EIMG1)과 관련된 제1 시간 정보(TINF1)를 포함하는 제1 이벤트 헤더 정보(EH1)를 포함하고, 제2 이벤트 프레임(EIMG2)은 제2 이벤트 프레임(EIMG2)과 관련된 제2 시간 정보(TINF2)를 포함하는 제2 이벤트 헤더 정보(EH2)를 포함하며, 제X 이벤트 프레임(EIMGX)은 제X 이벤트 프레임(EIMGX)과 관련된 제X 시간 정보(TINFX)를 포함하는 제X 이벤트 헤더 정보(EHX)를 포함할 수 있다. 예를 들어, 제1 시간 정보(TINF1)는 제1 이벤트 프레임(EIMG1)이 발생 및 출력된 시점을 나타낼 수 있다.
일반적인 비전 또는 이미지(image) 센서들은 일반적인 비디오 및 컴퓨터 비전 시스템들(video and computer vision systems)에서 일련의 정지 프레임들(frames)을 수집한다. 각각의 "프레임"은 픽셀 어레이의 미리 정의된 사이즈와 관련 있고, 일반적으로, 이미지 센서의 모든 픽셀들은 감지된 휘도에 노출된다. 이해를 돕기 위해, "픽셀"은 이미지 센서의 기본 유닛이고, 이미지 센서의 가장 작은 제어 가능한 요소로써 간주될 수 있다.
일반적인 이미지 센서들에서, 연속적인 프레임들은 수 많은 중복된 정보들을 포함하고, 메모리 공간, 에너지, 계산 능력 및 시간을 낭비한다. 게다가, 프레임 기반 감지 접근에서, 각각의 프레임은 프레임의 모든 픽셀에 대해 동일한 노출 시간을 부과하고, 그렇게 함으로써, 매우 어둡고 매우 밝은 영역을 포함하는 장면들을 처리하는데 어려움이 있다.
다이나믹 비전 센서는 장면 안의 픽셀 휘도의 변화(예를 들어, 이벤트)를 수집(capture)하고, 각 이벤트가 스테이트(state)를 갖는 이벤트들의 스트림을 출력한다. 이벤트의 스테이트는 카메라 어레이 안의 이벤트의 위치 및 연관된 위치의 바로 이전의 스테이트와 비교하여 연관된 이벤트의 휘도가 포지티브 또는 네거티브하게 변했는지 가리키는 이진 값(binary value)(즉, 1비트의 값)을 포함한다. 예를 들어, 이벤트의 스테이트는 연관된 위치의 직전 이벤트의 스테이트와 비교하여 이벤트의 휘도의 포지티브 변화를 나타내는 +1 값이거나 이벤트의 휘도의 네거티브 변화를 나타내는 -1 값일 수 있고, 또는 이벤트의 휘도에 변화가 없음을 나타내는 0 값을 더 포함할 수도 있다.
일반적으로, 다이나믹 비전 센서는 광 강도(light intensity) 변화를 센싱하여 이벤트를 출력하며 피사체 중에서 움직임이 발생한 부분을 센싱하여 타임 스탬프 단위의 이벤트들을 출력하기 때문에, 타임 스탬프 기반 센서(time-stamp based sensor) 또는 이벤트 기반 센서(event based sensor)로 명명될 수 있다.
상기 복수의 이벤트 프레임들을 획득한 이후에, 상기 복수의 이벤트 프레임들을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환(data format conversion)을 수행한다(단계 S200). 상기 적어도 하나의 영상 프레임은 일반적인 영상 포맷(예를 들어, RGB 포맷, CMY 포맷, YUV 포맷, YCbCr 포맷, YPbPr 포맷 등)을 따를 수 있고, 각각 N(N은 2 이상의 자연수)비트인 복수의 영상 픽셀 데이터들을 포함할 수 있다.
예를 들어, 도 2에 도시된 것처럼, 상기 적어도 하나의 영상 프레임은 제1 영상 프레임(IIMG1)을 포함할 수 있다. 예를 들어, 제1 영상 프레임(IIMG1)은 제1 영상 픽셀 데이터(P1)를 포함할 수 있다. 상세하게 도시하지는 않았지만, 각 영상 프레임은 Z(Z는 2 이상의 자연수)개의 영상 픽셀 데이터들을 포함할 수 있다.
일 실시예에서, 각각 1비트인 N개의 이벤트 픽셀 데이터들을 N비트인 1개의 영상 픽셀 데이터로 변환하는 방식으로 상기 데이터 포맷 변환이 수행될 수 있으며, 이에 대해서는 도 6 내지 8을 참조하여 상세하게 후술하도록 한다.
일 실시예에서, 상기 적어도 하나의 영상 프레임은 상기 복수의 이벤트 프레임들과 관련된 시간 정보 및 상기 데이터 포맷 변환과 관련된 변환 방식 정보를 포함하는 헤더 정보를 포함할 수 있다. 예를 들어, 제1 영상 프레임(IIMG1)은 제1 헤더 정보(IH1)를 포함할 수 있다. 제1 헤더 정보(IH1)는 제1 내지 제X 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)과 관련된 제1 내지 제X 시간 정보들(TINF1, TINF2, ..., TINFX), 및 제1 내지 제X 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)에 포함되는 이벤트 픽셀 데이터들(E1, E2, ..., EX)과 제1 영상 프레임(IIMG1)에 포함되는 영상 픽셀 데이터들(P1)의 대응 관계를 나타내는 변환 방식 정보(CINF)를 포함할 수 있다. 제1 헤더 정보(IH1)를 이용하여 제1 영상 프레임(IIMG1)으로부터 제1 내지 제X 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)을 복원할 수 있다.
상기 데이터 포맷 변환을 수행하여 상기 적어도 하나의 영상 프레임을 획득한 이후에, 상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행한다(단계 S300). 상기 영상 압축의 결과로서 압축 영상 프레임(CIMG)이 획득될 수 있다.
실시예에 따라서, 무손실 부호화 방식 또는 손실 부호화 방식을 이용하여 상기 영상 압축이 수행될 수 있다. 예를 들어, MPEG-1, MPEG-2, H.261, H.262/MPEG-2 파트 2, H.263, MPEG-4, H.264/MPEG-4 파트 10 AVC (Advanced Video Coding), HEVC (High Efficiency Video Coding)/H.265 등과 같은 다양한 국제 표준들 중 적어도 하나에 기초한 코덱(codec)을 이용하여 상기 영상 압축이 수행될 수 있다.
상기 영상 압축을 수행한 이후에, 상기 영상 압축의 결과로서 획득된 압축 영상 프레임(CIMG)을 저장할 수 있다(단계 S400). 예를 들어, 압축 영상 프레임(CIMG)은 외부의 메모리 장치 또는 저장 장치에 저장될 수 있다.
일 실시예에서, 다이나믹 비전 센서에서 출력되는 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)은 이를 요구하는 애플리케이션 또는 애플리케이션 유닛(예를 들어, 영상 인식, 동시적 위치추정 및 지도작성(simultaneous localization and mapping; SLAM), 패턴 인식, 장면 이해, 제스처 기반의 사용자-장치 상호 작용을 위한 제스처 인식(예를 들어, 텔레비전, 게임), 사용자 인식(예를 들어, 텔레비전, 모바일 장치를 위한), 및 로보틱스(robotics) 등)에서 사용될 수 있다. 예를 들어, 저장된 압축 영상 프레임(CIMG)을 로딩하고, 코덱을 이용하여 압축 영상 프레임(CIMG)을 영상 프레임(IIMG1)으로 복원하고, 헤더 정보(IH1)를 이용하여 영상 프레임(IIMG1)을 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)로 복원함으로써, 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)이 사용될 수 있다.
본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법에서는, 다이나믹 비전 센서에서 출력되는 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)을 일반적인 영상 프레임(IIMG1)으로 포맷 변환하고, 영상 프레임(IIMG1)을 압축하여 획득된 압축 영상 프레임(CIMG)을 저장할 수 있다. 다시 말하면, 복수의 이벤트 프레임들(EIMG1, EIMG2, ..., EIMGX)을 저장하는 대신에, 데이터의 양이 보다 적은 압축 영상 프레임(CIMG)을 저장함으로써, 이벤트 발생 횟수가 증가하더라도 한정된 데이터 저장 공간에 이벤트 프레임들에 대응하는 데이터를 효율적으로 저장할 수 있으며, 상대적으로 저속의 데이터 인터페이스를 채용하더라도 다이나믹 비전 센서의 성능이 확보될 수 있다.
도 3은 본 발명의 실시예들에 따른 다이나믹 비전 센서를 나타내는 블록도이다.
도 3을 참조하면, 다이나믹 비전 센서(100)는 픽셀 어레이(110) 및 영상 처리부(130)를 포함한다.
픽셀 어레이(110)는 복수의 센싱 픽셀들 또는 픽셀들(120)을 포함하고, 광의 변화를 감지하여 복수의 이벤트 프레임들(EIMG)을 출력한다. 다시 말하면, 픽셀 어레이(110)에 의해 도 1의 단계 S100이 수행될 수 있다.
예를 들어, 픽셀 어레이(110)는 64개의 픽셀들(120) 또는 픽셀 영역들을 포함할 수 있다. 픽셀 어레이(110)의 각각의 픽셀의 일반적으로 동일한 구조를 가지기 때문에, 픽셀 어레이(110)의 각각의 픽셀 또는 픽셀 영역은 설명의 편의를 위해, 동일한 참조 부호(120)를 이용하여 식별된다.
도 3에서는 8*8 크기의 픽셀 어레이(110)를 도시하였으나, 본 발명은 이에 한정되지 않으며, 픽셀 어레이(110)의 크기는 실시예에 따라서 다양하게 변경될 수 있다.
영상 처리부(130)는 복수의 이벤트 프레임들(EIMG)을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행하고, 상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행하여 압축 영상 프레임(CIMG)을 출력한다. 다시 말하면, 영상 처리부(130)에 의해 도 1의 단계 S200 및 S300이 수행될 수 있다.
한편, 도시하지는 않았으나, 다이나믹 비전 센서(100)는 픽셀 어레이(110)를 제어하는 제어부 또는 제어 모듈을 더 포함할 수 있다.
도 4는 도 3의 다이나믹 비전 센서에 포함되는 픽셀의 일 예를 나타내는 회로도이다.
도 3 및 4를 참조하면, 다이나믹 비전 센서(100)에 포함되는 픽셀(120)은 광 수용기(20), 미분기 유닛(21) 및 비교기 유닛(22)을 포함할 수 있다.
픽셀(120)은 잘 매치된 자체 타이밍(self-timed) 스위치드 커패시터(switched-capacitor) 미분 증폭기 유닛(21)과 연결되는 활성 연속 시간 로그 광 수용기(20)를 사용할 수 있다. 시간 대비 계산을 위하여, 다이나믹 비전 센서(100)의 각각의 픽셀(120)은 변화에 대한 광 전류를 연속적으로 모니터할 수 있다. 입사 광에 의한 휘도(24)는 포토다이오드(photodiode)(26)에 의해 수신되고, 대응하는 광 전류(Iph)를 차례로 생성할 수 있다. 샘플링(sampling) 주기 동안 생성된 모든 광 전류(ΣIph)는 인버터(inverter)(28)에 의해 광 수용기 출력 전압(Vph)으로 대수적으로(logarithmically) 부호화될 수 있다(logIph).
소스 팔로워 버퍼(source follower buffer)(30)는 광 수용기(20)를 다음 스테이지(stage)(21)로부터 격리시킬 수 있다. 이와 같이, 광 수용기(20)는 수신 휘도/광 신호를 대응하는 전기 전압(Vph)으로 변환하기 위한 변환기로써 기능할 수 있다. 자체 타이밍 스위치드 커패시터 미분 증폭기 유닛(21)은 미분기 유닛별 지난 리셋 레벨(level)로부터 광 전류의 로그 강도(logIph)의 편차를 증폭할 수 있다.
커패시터들(C1, C2)(각각 참조 부호 32 및 34로 식별된다)의 매칭(matching)은 로그 강도의 변화를 증폭하기 위해 정확하게 정의된 이득을 미분기 유닛(21)에 제공할 수 있다. 반전 증폭기(36)로부터 출력되는 차분 전압(Vdiff)은 Vdiff = A*d(logIph)와 같이 주어질 수 있다. 여기서, "A"는 미분기 유닛(21)의 증폭 이득을 나타내고, "d(logIph)"는 로그 강도의 편차이다.
비교기 유닛(22)은 양자화 및 비교를 통해 로그 강도의 양 및 음의 변화를 검출할 수 있다. 비교기 유닛(22)은 두 개의 비교기들(38, 40)을 포함하고, 각각의 비교기는 비교를 위해 두 개의 임계값들 중 하나를 제공할 수 있다. 두 비교기 임계치들이 교차 되자마자, 어드레스 이벤트(address event, AE)(또는, 간단하게 "이벤트")는 픽셀별 어드레스 이벤트 대표(address event representation, AER) 로직 유닛(42)과 통신되고, 다음 샘플링 간격까지 새로운 휘도 레벨을 저장하기 위해, 미분기 유닛(21)은 리셋 신호(RST)에 기초하여 리셋(스위치(43)로 도시된)될 수 있다. 이와 같이, 픽셀(120)은 데이터 중심의 아날로그-디지털(analog-to-digital, AD) 변환을 수행할 수 있다.
입사 광(24)의 강도의 증가는 "ON 이벤트(EON)"를 유도할 수 있다. 반면에 입사 광(24)의 강도의 감소는 "OFF 이벤트(EOFF)"를 유도할 수 있다. 도 4에 도시된 것처럼, 제1 비교기(38)는 비교기별 가변 임계값을 초과하는 수신 휘도의 증가할 때 "ON 이벤트" 신호(44)에 응답할 수 있다. 유사하게, 제2 비교기(40)는 비교기별 가변 임계값을 초과하는 수신 휘도가 감소할 때 "OFF 이벤트" 신호(45)에 응답할 수 있다. ON 및 OFF 이벤트들은 AER을 사용하는 다이나믹 비전 센서(100)의 디지털 제어 모듈(미도시)과 비동기적으로 전달될 수 있다. 변화를 감지하지 못한 픽셀들이 반응하지 않는 동안, 이벤트들(44, 45)은 즉시 전달되기 때문에, 이러한 접근은 AER 프로토콜(protocol)을 효율적으로 사용할 수 있다.
다이나믹 비전 센서(100)의 각각의 픽셀(120)에 대해, 디지털 제어 모듈(미도시)은 AER 로직 유닛(42)과 같은 유닛을 포함할 수 있다. 이벤트들(44, 45)과 통신하기 위해서, 다이나믹 비전 센서(100)는 디지털 제어 모듈로써 워드 시리얼 버스트 모드(word serial burst mode) AER 회로들을 사용할 수 있다. 만약 차분 전압(Vdiff)이 비교기들(38, 40) 중 하나의 임계값을 초과한다면, 픽셀(120)은 행 방향으로 제1 요청을 할 수 있다. 디지털 제어 모듈의 중재 회로(미도시)는 모든 행 요청 중에서 선택할 수 있고, 한번에 하나의 행을 인정할 수 있다. 이런 선택된 행에 있어서, 임계값(ON 이벤트 또는 OFF 이벤트에 대해)을 초과하는 모든 픽셀들은 열 방향의 대응하는 요청 신호를 주장할 수 있다. 열 각각에 있는 약간의 비동기 상태 머신은 요청 라인들(lines)의 상태를 래치(latch)할 수 있다.
단순화된 중재 회로는 제일 왼쪽의 열 및 순차적으로 독출되는 요청 열들의 모든 주소들을 선택할 수 있다. 이와 같이, 열 버스트의 모든 이벤트들은 마이크로 해상도에서 동일한 타임스탬프(timestamp)를 받는다. 다른 행들은 움직임 감지 수행하는 샘플링 간격 동안 순차적으로 선택될 수 있다. 주어진 특정 통합 시간에서, 다이나믹 비전 센서(100)의 출력은 감시/감지되는 장면의 반사율의 변화를 즉시 암호화하는 픽셀 어드레스 이벤트들의 비동기 스트림(stream)을 방지한다.
도 4를 참조하여 다이나믹 비전 센서(100)에 포함되는 픽셀(120)의 구조 및 동작의 일 예를 설명하였으나, 본 발명은 이에 한정되지 않으며, 픽셀(120)의 구조 및 동작은 실시예에 따라서 다양하게 변경될 수 있다.
도 5는 본 발명의 실시예들에 따른 다이나믹 비전 센서를 포함하는 전자 장치를 나타내는 블록도이다. 이하 도 3과 중복되는 설명은 생략하도록 한다.
도 5를 참조하면, 전자 장치(10)는 다이나믹 비전 센서(100a) 및 프로세서(200)를 포함한다.
다이나믹 비전 센서(100a)는 프로세서(200)에 의해 제어되고, 광의 변화를 감지하여 복수의 이벤트 프레임들(EIMG)을 출력한다. 다시 말하면, 다이나믹 비전 센서(100a)에 의해 도 1의 단계 S100이 수행될 수 있다.
프로세서(200)는 복수의 이벤트 프레임들(EIMG)을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행하고, 상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행하여 압축 영상 프레임(CIMG)을 출력한다. 다시 말하면, 다이나믹 비전 센서(100a)의 외부에 배치되는 프로세서(200)에 의해 도 1의 단계 S200 및 S300이 수행되며, 따라서 도 3의 다이나믹 비전 센서(100)와 다르게, 도 5의 다이나믹 비전 센서(100a)에서는 영상 처리부(130)가 생략될 수 있다.
일 실시예에서, 프로세서(200)는 CPU(central processing unit), 마이크로프로세서, AP(application processor) 등과 같은 임의의 프로세서일 수 있다. 구체적으로, 전자 장치(10)가 모바일 기기인 경우에, 프로세서(200)는 모바일 기기를 구동하기 위한 운영 체제(Operating System; OS)를 실행할 수 있고, 인터넷 브라우저, 게임, 동영상, 카메라 등을 제공하는 다양한 어플리케이션들을 실행할 수 있다.
도 6, 7 및 8은 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법을 설명하기 위한 도면들이다.
도 6을 참조하면, 24개의 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)을 하나의 영상 프레임(예를 들어, 도 2의 제1 영상 프레임(IIMG1))으로 변환하는 경우, 영상 프레임이 24비트의 제1 영상 픽셀 데이터(P1)를 포함하는 경우, 및 제1 영상 픽셀 데이터(P1)가 RGB 포맷의 데이터이고 각각 8(=24/3)비트인 제1 레드 데이터(R1), 제1 그린 데이터(G1) 및 제1 블루 데이터(B1)를 포함하는 경우를 예시하였다. 다시 말하면, 도 6은 도 2의 예에서 X=N=24인 경우를 나타낸다.
제1 내지 제24 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)은 시간의 흐름에 따라 순차적으로 발생 및 출력될 수 있다. 예를 들어, 제1 이벤트 프레임(EIMG1)이 가장 먼저 출력되고 제24 이벤트 프레임(EIMG24)이 가장 나중에 출력될 수 있다. 도 6에서 인접한 두 이벤트 프레임들 사이의 시간 간격이 동일한 것처럼 도시하였으나, 실제로 각 이벤트는 규칙적으로 발생하지 않으며 이에 따라 인접한 두 이벤트 프레임들 사이의 시간 간격은 서로 다를 수 있다.
제1 내지 제24 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)은 동일한 픽셀 위치에 대응하는 1비트의 제1 내지 제24 이벤트 픽셀 데이터들(E1, E2, E3, E4, E5, E6, E7, E8, E9, E10, E11, E12, E13, E14, E15, E16, E17, E18, E19, E20, E21, E22, E23, E24)을 각각 포함할 수 있다. 예를 들어, 제1 이벤트 프레임(EIMG1)은 제1 이벤트 픽셀 데이터(E1)를 포함하고, 제24 이벤트 프레임(EIMG24)은 제24 이벤트 픽셀 데이터(E24)를 포함할 수 있다. 예를 들어, 도 2에 도시된 것처럼, 이벤트 픽셀 데이터들(E1, E2, E3, E4, E5, E6, E7, E8, E9, E10, E11, E12, E13, E14, E15, E16, E17, E18, E19, E20, E21, E22, E23, E24)은 각각 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)의 좌측 최상단(예를 들어, 1행 1열)에 위치할 수 있다.
제1 내지 제24 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)을 제1 영상 프레임(IIMG1)으로 변환하는데 있어서, 동일한 픽셀 위치에 대응하는 1비트의 제1 내지 제24 이벤트 픽셀 데이터들(E1, E2, E3, E4, E5, E6, E7, E8, E9, E10, E11, E12, E13, E14, E15, E16, E17, E18, E19, E20, E21, E22, E23, E24)을 24비트의 제1 영상 픽셀 데이터(P1)의 제1 내지 제24 비트들에 할당할 수 있다. 이벤트 픽셀 데이터들(E1, E2, E3, E4, E5, E6, E7, E8, E9, E10, E11, E12, E13, E14, E15, E16, E17, E18, E19, E20, E21, E22, E23, E24)과 유사하게, 제1 영상 픽셀 데이터(P1)는 제1 영상 프레임(IIMG1)의 좌측 최상단(예를 들어, 1행 1열)에 위치할 수 있다.
구체적으로, 도 6에 도시된 것처럼, 제1 내지 제8 이벤트 픽셀 데이터들(E1, E2, E3, E4, E5, E6, E7, E8)을 제1 레드 데이터(R1)의 8개의 비트들에 순차적으로 할당시키고, 제9 내지 제16 이벤트 픽셀 데이터들(E9, E10, E11, E12, E13, E14, E15, E16)을 제1 그린 데이터(G1)의 8개의 비트들에 순차적으로 할당시키며, 제17 내지 제24 이벤트 픽셀 데이터들(E17, E18, E19, E20, E21, E22, E23, E24)을 제1 블루 데이터(B1)의 8개의 비트들에 순차적으로 할당시킬 수 있다. 예를 들어, 이벤트 픽셀 데이터들(E1, E9, E17)이 RGB 데이터들(R1, G1, B1)의 최상위 비트(most significant bit; MSB)에 대응하고, 이벤트 픽셀 데이터들(E8, E16, E24)이 RGB 데이터들(R1, G1, B1)의 최하위 비트(least significant bit; LSB)에 대응할 수 있다.
한편, 도시하지는 않았지만, 제1 내지 제24 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)은 동일한 다른 픽셀 위치(예를 들어, 1행 2열)에 대응하는 1비트의 제25 내지 제48 이벤트 픽셀 데이터들을 더 포함하고, 제1 영상 프레임(IIMG1)은 24비트의 제2 영상 픽셀 데이터를 더 포함할 수 있다. 제1 내지 제24 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)을 제1 영상 프레임(IIMG1)으로 변환하는데 있어서, 상술한 방식과 유사하게 제25 내지 제48 이벤트 픽셀 데이터들을 제2 영상 픽셀 데이터의 비트들에 할당할 수 있다. 이와 같이, 제1 내지 제24 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)의 모든 이벤트 픽셀 데이터들을 제1 영상 프레임(IIMG1)의 영상 픽셀 데이터들의 비트들에 할당함으로써, 데이터 포맷 변환이 완료될 수 있다.
도 7을 참조하면, 24개의 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)을 하나의 영상 프레임(예를 들어, 도 2의 제1 영상 프레임(IIMG1))으로 변환하는 경우, 영상 프레임이 24비트의 제1 영상 픽셀 데이터(P1')를 포함하는 경우, 및 제1 영상 픽셀 데이터(P1')가 RGB 포맷의 데이터이고 각각 8(=24/3)비트인 제1 레드 데이터(R1'), 제1 그린 데이터(G1') 및 제1 블루 데이터(B1')를 포함하는 경우를 예시하였으며, 이벤트 픽셀 데이터들(E1, E2, E3, E4, E5, E6, E7, E8, E9, E10, E11, E12, E13, E14, E15, E16, E17, E18, E19, E20, E21, E22, E23, E24)의 할당 위치가 변경되는 것을 제외하면 도 6의 실시예와 실질적으로 동일하므로, 중복되는 설명은 생략하도록 한다.
제1 내지 제24 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)을 제1 영상 프레임(IIMG1)으로 변환하는데 있어서, 동일한 픽셀 위치에 대응하는 1비트의 제1 내지 제24 이벤트 픽셀 데이터들(E1, E2, E3, E4, E5, E6, E7, E8, E9, E10, E11, E12, E13, E14, E15, E16, E17, E18, E19, E20, E21, E22, E23, E24)을 24비트의 제1 영상 픽셀 데이터(P1')의 제1 내지 제24 비트들에 할당할 수 있다.
구체적으로, 도 7에 도시된 것처럼, 제1, 제4, 제7, 제10, 제13, 제16, 제19 및 제22 이벤트 픽셀 데이터들(E1, E4, E7, E10, E13, E16, E19, E22)을 제1 레드 데이터(R1')의 8개의 비트들에 순차적으로 할당시키고, 제2, 제5, 제8, 제11, 제14, 제17, 제20 및 제23 이벤트 픽셀 데이터들(E2, E5, E8, E11, E14, E17, E20, E23)을 제1 그린 데이터(G1')의 8개의 비트들에 순차적으로 할당시키며, 제3, 제6, 제9, 제12, 제15, 제18, 제21 및 제24 이벤트 픽셀 데이터들(E3, E6, E9, E12, E15, E18, E21, E24)을 제1 블루 데이터(B1')의 8개의 비트들에 순차적으로 할당시킬 수 있다.
상술한 것처럼, 각각 1비트인 N개의 이벤트 픽셀 데이터들을 N비트인 1개의 영상 픽셀 데이터로 변환하는 방식으로 상기 데이터 포맷 변환이 수행될 수 있으며, 이 때 도 6 및 7에 도시된 것처럼 상기 N개의 이벤트 픽셀 데이터들은 상기 복수의 이벤트 프레임들 중 서로 다른 두 개 이상으로부터 획득될 수 있다. 또한, 동일한 픽셀 위치의 이벤트 픽셀 데이터들이 동일한 픽셀 위치의 영상 픽셀 데이터에 시간 순차적으로 할당될 수 있다.
한편, 도 6의 실시예는 상기 N개의 이벤트 픽셀 데이터들 중 제1 내지 제N/3 이벤트 픽셀 데이터들을 제1 레드 데이터의 비트들에 할당시키고, 제(N/3+1) 내지 제2N/3 이벤트 픽셀 데이터들을 제1 그린 데이터의 비트들에 할당시키며, 제(2N/3+1) 내지 제N 이벤트 픽셀 데이터들을 제1 블루 데이터의 비트들에 할당시키는 것으로 확대 적용될 수 있다. 도 7의 실시예는 제(3K-2)(K는 1 이상 N/3 이하의 자연수) 이벤트 픽셀 데이터들을 제1 레드 데이터의 비트들에 할당시키고, 제(3K-1) 이벤트 픽셀 데이터들을 제1 그린 데이터의 비트들에 할당시키며, 제3K 이벤트 픽셀 데이터들을 제1 블루 데이터의 비트들에 할당시키는 것으로 확대 적용될 수 있다.
도 8을 참조하면, 2개 이상의 이벤트 프레임들(EIMGA, EIMGB)을 하나의 영상 프레임(예를 들어, 도 2의 제1 영상 프레임(IIMG1))으로 변환하는 경우, 영상 프레임이 24비트의 제1 영상 픽셀 데이터(P1") 및 제2 영상 픽셀 데이터(P2")를 포함하는 경우, 및 제1 및 제2 영상 픽셀 데이터들(P1", P2")이 RGB 포맷의 데이터이고 각각 8(=24/3)비트인 제1 및 제2 레드 데이터들(R1", R2"), 제1 및 제2 그린 데이터들(G1", G2") 및 제1 및 제2 블루 데이터들(B1", B2")을 포함하는 경우를 예시하였다. 다시 말하면, 도 8은 도 2의 예에서 X>=2, N=24인 경우를 나타낸다.
제1 이벤트 프레임(EIMGA)은 서로 다른 픽셀 위치에 대응하는 1비트의 제1 내지 제24 이벤트 픽셀 데이터들(EA1, EA2, EA3, EA4, EA5, EA6, EA7, EA8, EA9, EA10, EA11, EA12, EA13, EA14, EA15, EA16, EA17, EA18, EA19, EA20, EA21, EA22, EA23, EA24)을 포함할 수 있다. 제2 이벤트 프레임(EIMGB)은 서로 다른 픽셀 위치에 대응하는 1비트의 제25 내지 제48 이벤트 픽셀 데이터들(EB1, EB2, EB3, EB4, EB5, EB6, EB7, EB8, EB9, EB10, EB11, EB12, EB13, EB14, EB15, EB16, EB17, EB18, EB19, EB20, EB21, EB22, EB23, EB24)을 포함할 수 있다.
제1 및 제2 이벤트 프레임들(EIMGA, EIMGB)을 제1 영상 프레임(IIMG1)으로 변환하는데 있어서, 도 8에 도시된 것처럼 제1 이벤트 프레임(EIMGA)의 제1 내지 제24 이벤트 픽셀 데이터들(EA1, EA2, EA3, EA4, EA5, EA6, EA7, EA8, EA9, EA10, EA11, EA12, EA13, EA14, EA15, EA16, EA17, EA18, EA19, EA20, EA21, EA22, EA23, EA24)을 24비트의 제1 영상 픽셀 데이터(P1")의 제1 내지 제24 비트들에 할당하고, 제2 이벤트 프레임(EIMGB)의 제25 내지 제48 이벤트 픽셀 데이터들(EB1, EB2, EB3, EB4, EB5, EB6, EB7, EB8, EB9, EB10, EB11, EB12, EB13, EB14, EB15, EB16, EB17, EB18, EB19, EB20, EB21, EB22, EB23, EB24)을 24비트의 제2 영상 픽셀 데이터(P2")의 제1 내지 제24 비트들에 할당할 수 있다.
상술한 것처럼, 각각 1비트인 N개의 이벤트 픽셀 데이터들을 N비트인 1개의 영상 픽셀 데이터로 변환하는 방식으로 상기 데이터 포맷 변환이 수행될 수 있으며, 이 때 도 8에 도시된 것처럼 상기 N개의 이벤트 픽셀 데이터들은 상기 복수의 이벤트 프레임들 중 하나로부터 획득될 수 있다. 또한, 이벤트 프레임의 순서 및 이벤트 픽셀 데이터들의 위치에 따라 할당되는 영상 픽셀 데이터의 위치가 결정될 수 있다.
도 6, 7 및 8을 참조하여 특정 개수의 이벤트 프레임들, 영상 픽셀 데이터의 특정 비트 수 등에 기초하여 본 발명의 실시예들을 설명하였으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 도 1을 참조하여 상술한 것처럼, 각각 1비트의 Y개의 이벤트 픽셀 데이터들을 포함하는 X개의 이벤트 프레임들을 N비트의 Z개의 영상 픽셀 데이터들을 포함하는 1개의 영상 프레임으로 변환하는 경우에, X*Y=N*Z일 수 있다.
또한, 도 6 및 7을 참조하여 두 개 이상의 이벤트 프레임들로부터 획득된 이벤트 픽셀 데이터들을 하나의 영상 픽셀 데이터로 변환하는 특정 변환 방식을 설명하였고, 도 8을 참조하여 하나의 이벤트 프레임으로부터 획득된 이벤트 픽셀 데이터들을 하나의 영상 픽셀 데이터로 변환하는 특정 변환 방식을 설명하였으나, 본 발명은 이에 한정되지 않으며, 모든 이벤트 픽셀 데이터들이 영상 픽셀 데이터들의 모든 비트들과 일대일 대응되는 가능한 임의의 방식(예를 들어, 시간 순차적으로(time sequentially) 할당되는 방식 또는 픽셀 위치(pixel locations)에 따라 할당되는 방식 등)으로 데이터 포맷 변환이 수행될 수 있다.
도 9 및 10은 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법을 나타내는 순서도들이다. 이하 도 1과 중복되는 설명은 생략하도록 한다.
도 9를 참조하면, 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법에서, 상기 복수의 이벤트 프레임들을 획득한 이후에, 그리고 상기 데이터 포맷 변환을 수행하기 이전에, 상기 다이나믹 비전 센서로부터 출력되는 상기 복수의 이벤트 프레임들의 개수가 미리 정해진 기준 개수보다 많거나 같은지 추가적으로 판단할 수 있다(단계 S500).
상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 많거나 같은 경우에(단계 S500: 예), 상기 데이터 포맷 변환이 수행될 수 있다(단계 S200). 상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 적은 경우에(단계 S500: 아니오), 상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 많거나 같아질 때까지 이벤트 프레임의 출력을 대기할 수 있다.
예를 들어, 도 6에 도시된 것처럼 24개의 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)을 하나의 영상 프레임(IIMG1)으로 변환하도록 설정된 경우에, 24개의 이벤트 프레임들이 발생 및 축적될 때까지 상기 데이터 포맷 변환이 수행되지 않으며, 24개의 이벤트 프레임들이 발생된 이후에 상기 데이터 포맷 변환 및 상기 영상 압축이 수행되어 압축 영상 프레임(CIMG)이 발생 및 저장될 수 있다.
도 9를 참조하면, 본 발명의 실시예들에 따른 다이나믹 비전 센서의 데이터 처리 방법에서, 상기 복수의 이벤트 프레임들을 획득한 이후에, 그리고 상기 데이터 포맷 변환을 수행하기 이전에, 미리 정해진 기준 시간이 경과하였는지 추가적으로 판단할 수 있다(단계 S600).
상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 많거나 같은 경우에(단계 S500: 예), 상기 데이터 포맷 변환이 수행될 수 있다(단계 S200). 또한, 상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 적은 경우라도(단계 S500: 아니오), 상기 기준 시간이 경과한 경우에(단계 S600: 예), 상기 데이터 포맷 변환이 수행될 수 있다(단계 S200). 상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 적은 경우(단계 S500: 아니오), 및 상기 기준 시간이 경과하지 않은 경우에(단계 S600: 아니오), 상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 많거나 같아질 때까지 이벤트 프레임의 출력을 대기하거나 상기 기준 시간이 경과할 때까지 대기할 수 있다.
예를 들어, 도 6에 도시된 것처럼 24개의 이벤트 프레임들(EIMG1, EIMG2, EIMG3, EIMG4, EIMG5, ..., EIMG24)을 하나의 영상 프레임(IIMG1)으로 변환하도록 설정된 경우에, 24개의 이벤트 프레임들이 발생된 이후에 상기 데이터 포맷 변환 및 상기 영상 압축이 수행되어 압축 영상 프레임(CIMG)이 발생 및 저장될 수 있다. 또한, 상술한 것처럼 이벤트는 규칙적으로 발생하지 않으며, 따라서 24개의 이벤트 프레임들이 발생될 때까지 무한정 대기하는 것을 자원 낭비일 수 있으므로, 상기 기준 시간 동안에 24개보다 작은 개수의(예를 들어, 20개의) 이벤트 프레임들만이 발생되었다고 하더라도 20개의 이벤트 프레임들만을 하나의 영상 프레임(IIMG1)으로 변환할 수 있다. 상술한 것처럼 20개의 이벤트 프레임들만을 하나의 영상 프레임(IIMG1)으로 변환하는 경우, 예를 들어 제1 내지 제20 이벤트 픽셀 데이터들(E1, E2, E3, E4, E5, E6, E7, E8, E9, E10, E11, E12, E13, E14, E15, E16, E17, E18, E19, E20)은 정상적인 값(예를 들어, 이벤트의 휘도가 포지티브 또는 네거티브하게 변했는지 가리키는 이진 값)을 포함할 수 있고, 제21 내지 제24 이벤트 픽셀 데이터들(E21, E22, E23, E24)은 디폴트(default) 또는 비어있음(empty)을 나타내는 값을 포함할 수 있다.
본 발명의 실시예들에 따른 데이터 처리 방법의 일부 또는 전부는 프로그램(즉, 소프트웨어) 또는 하드웨어의 형태로 구현될 수 있다.
한편, 본 발명의 실시예들에 따른 데이터 처리 방법은, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수도 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.
도 11은 본 발명의 실시예들에 따른 다이나믹 비전 센서를 포함하는 전자 시스템을 나타내는 블록도이다.
도 11을 참조하면, 전자 장치 또는 전자 시스템(900)은 프로세서(910), 메모리 장치(920), 저장 장치(930), 다이나믹 비전 센서(940), 입출력 장치(950) 및 전원 장치(960)를 포함한다.
프로세서(910)는 전자 시스템(900)의 동작에 필요한 특정 계산들 또는 태스크(task)들을 수행할 수 있고, 메모리 장치(920) 및 저장 장치(930)는 전자 시스템(900)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 프로세서(910)는 마이크로프로세서, CPU, AP 등을 포함하고, 메모리 장치(920)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함하며, 저장 장치(930)는 SSD(solid state drive), HDD(hard disk drive) 등을 포함할 수 있다. 입출력 장치(950)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치(960)는 전자 시스템(900)의 동작에 필요한 동작 전압을 공급할 수 있다.
다이나믹 비전 센서(940)는 본 발명의 실시예들에 따른 다이나믹 비전 센서일 수 있다. 예를 들어, 다이나믹 비전 센서(940)는 도 3의 다이나믹 비전 센서(100)이고, 이 때 도 1의 단계 S100, S200 및 S300이 모두 다이나믹 비전 센서(940)에 의해 수행될 수 있다. 다른 예에서, 다이나믹 비전 센서(940)는 도 5의 다이나믹 비전 센서(100a)이고, 이 때 도 1의 단계 S100만이 다이나믹 비전 센서(940)에 의해 수행되고 단계 S200 및 S300은 프로세서(910)에 의해 수행될 수 있다. 압축 영상 프레임(CIMG)은 메모리 장치(920) 및/또는 저장 장치(930)에 저장될 수 있다.
본 발명의 실시예들은 다이나믹 비전 센서를 포함하는 임의의 전자 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular), 스마트 폰(smart phone), MP3 플레이어, PDA(personal digital assistant), PMP(portable multimedia player), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things) 기기, IoE(internet of everything) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (10)

  1. 다이나믹 비전 센서(dynamic vision sensor)가 광의 변화를 감지하여 복수의 이벤트 프레임들을 출력하는 단계;
    상기 복수의 이벤트 프레임들을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행하는 단계; 및
    상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행하는 단계를 포함하는 다이나믹 비전 센서의 데이터 처리 방법.
  2. 제 1 항에 있어서,
    상기 복수의 이벤트 프레임들은, 각각 1비트인 복수의 이벤트 픽셀 데이터들을 포함하고,
    상기 적어도 하나의 영상 프레임은, 각각 N(N은 2 이상의 자연수)비트인 복수의 영상 픽셀 데이터들을 포함하는 것을 특징으로 하는 다이나믹 비전 센서의 데이터 처리 방법.
  3. 제 2 항에 있어서, 상기 데이터 포맷 변환을 수행하는 단계는,
    N개의 이벤트 픽셀 데이터들을 1개의 영상 픽셀 데이터로 변환하는 단계를 포함하는 것을 특징으로 하는 다이나믹 비전 센서의 데이터 처리 방법.
  4. 제 3 항에 있어서,
    상기 N개의 이벤트 픽셀 데이터들은 상기 복수의 이벤트 프레임들 중 서로 다른 두 개 이상으로부터 획득되는 것을 특징으로 하는 다이나믹 비전 센서의 데이터 처리 방법.
  5. 제 3 항에 있어서,
    상기 N개의 이벤트 픽셀 데이터들은 상기 복수의 이벤트 프레임들 중 하나로부터 획득되는 것을 특징으로 하는 다이나믹 비전 센서의 데이터 처리 방법.
  6. 제 1 항에 있어서, 상기 적어도 하나의 영상 프레임은,
    상기 복수의 이벤트 프레임들과 관련된 시간 정보, 및 상기 복수의 이벤트 프레임들에 포함되는 복수의 이벤트 픽셀 데이터들과 상기 적어도 하나의 영상 프레임에 포함되는 복수의 영상 픽셀 데이터들의 대응 관계를 나타내는 변환 방식 정보를 포함하는 헤더 정보를 포함하는 것을 특징으로 하는 다이나믹 비전 센서의 데이터 처리 방법.
  7. 제 1 항에 있어서,
    상기 다이나믹 비전 센서로부터 출력되는 상기 복수의 이벤트 프레임들의 개수가 미리 정해진 기준 개수보다 많거나 같은지 판단하는 단계를 더 포함하고,
    상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 많거나 같은 경우에 상기 데이터 포맷 변환이 수행되는 것을 특징으로 하는 다이나믹 비전 센서의 데이터 처리 방법.
  8. 제 7 항에 있어서,
    미리 정해진 기준 시간이 경과하였는지 판단하는 단계를 더 포함하고,
    상기 기준 시간이 경과한 경우에 상기 복수의 이벤트 프레임들의 개수가 상기 기준 개수보다 적더라도 상기 데이터 포맷 변환이 수행되는 것을 특징으로 하는 다이나믹 비전 센서의 데이터 처리 방법.
  9. 복수의 픽셀들을 포함하고, 광의 변화를 감지하여 복수의 이벤트 프레임들을 출력하는 픽셀 어레이; 및
    상기 복수의 이벤트 프레임들을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행하고, 상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행하는 영상 처리부를 포함하는 다이나믹 비전 센서(dynamic vision sensor).
  10. 프로세서; 및
    상기 프로세서에 의해 제어되고, 광의 변화를 감지하여 복수의 이벤트 프레임들을 출력하는 다이나믹 비전 센서(dynamic vision sensor)를 포함하고,
    상기 복수의 이벤트 프레임들을 적어도 하나의 영상 프레임으로 변환하는 데이터 포맷 변환을 수행하고, 상기 적어도 하나의 영상 프레임을 압축하는 영상 압축을 수행하는 전자 장치.
KR1020180058445A 2018-05-23 2018-05-23 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치 KR20190133465A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180058445A KR20190133465A (ko) 2018-05-23 2018-05-23 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치
US16/241,113 US20190364230A1 (en) 2018-05-23 2019-01-07 Method of processing data for dynamic vision sensor, dynamic vision sensor performing the same and electronic device including the same
CN201910283259.4A CN110536078A (zh) 2018-05-23 2019-04-10 处理动态视觉传感器的数据的方法和动态视觉传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180058445A KR20190133465A (ko) 2018-05-23 2018-05-23 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20190133465A true KR20190133465A (ko) 2019-12-03

Family

ID=68613578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180058445A KR20190133465A (ko) 2018-05-23 2018-05-23 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치

Country Status (3)

Country Link
US (1) US20190364230A1 (ko)
KR (1) KR20190133465A (ko)
CN (1) CN110536078A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972691B2 (en) 2018-05-24 2021-04-06 Samsung Electronics Co., Ltd. Dynamic vision sensor, electronic device and data transfer method thereof
US11558573B2 (en) 2019-02-11 2023-01-17 Samsung Electronics Co., Ltd. Sensor for accumulation signal

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023209B2 (ja) 2018-10-04 2022-02-21 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
JP7369517B2 (ja) * 2018-10-04 2023-10-26 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
US11606555B2 (en) * 2018-12-20 2023-03-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for video coding using uniform segment split in pictures
CN112019835B (zh) * 2020-08-08 2022-11-15 江西欧迈斯微电子有限公司 动态视觉传感器模组的帧率验证装置、方法及存储介质
CN112153301B (zh) * 2020-09-27 2021-07-27 维沃移动通信有限公司 拍摄方法和电子设备
CN112261297B (zh) * 2020-10-22 2022-07-01 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
TWI795870B (zh) * 2020-11-06 2023-03-11 大陸商廣州印芯半導體技術有限公司 影像感測器以及影像感測方法
KR20220108608A (ko) 2021-01-27 2022-08-03 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
CN113676657B (zh) * 2021-08-09 2023-04-07 维沃移动通信（杭州）有限公司 延时摄影方法、装置、电子设备及存储介质
CN114339089A (zh) * 2021-12-29 2022-04-12 深圳锐视智芯科技有限公司 一种事件图像输出方法、装置、设备及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI375207B (en) * 2007-01-10 2012-10-21 Qisda Corp A image display apparatus
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102331920B1 (ko) * 2014-12-26 2021-11-29 삼성전자주식회사 동작 정보, 조도 정보 및 근접 정보를 위한 센서 및 그 센서를 이용하는 프로세서의 동작 방법
KR102433931B1 (ko) * 2015-07-30 2022-08-19 삼성전자주식회사 움직임 인식 방법 및 움직임 인식 장치
KR102421141B1 (ko) * 2015-10-30 2022-07-14 삼성전자주식회사 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972691B2 (en) 2018-05-24 2021-04-06 Samsung Electronics Co., Ltd. Dynamic vision sensor, electronic device and data transfer method thereof
US11558573B2 (en) 2019-02-11 2023-01-17 Samsung Electronics Co., Ltd. Sensor for accumulation signal

Also Published As

Publication number Publication date
CN110536078A (zh) 2019-12-03
US20190364230A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
KR20190133465A (ko) 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치
US11190715B2 (en) System and method for event camera data processing
CN108833812B (zh) 一种图像传感器及图像动态信息处理方法
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
US10939049B2 (en) Sensor auto-configuration
JP2022075562A (ja) 集積高速映像センサ及びその作動方法
US8797424B2 (en) Image processing apparatus for reading compressed data from memory via data bus and image processing method performed in the image processing apparatus
WO2018037665A1 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
EP1182865A2 (en) Circuit and method for pixel rearrangement in a digital pixel sensor readout
KR102301940B1 (ko) 이미지 합성 방법 및 장치
KR102434417B1 (ko) 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
US8305460B2 (en) Detection device and image capture system using the same
US20210390671A1 (en) Image processing system for performing image quality tuning and method of performing image quality tuning
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
KR20220059904A (ko) 집적 고속 영상 센서 및 그 작동 방법
US10326950B1 (en) Image capture at multiple resolutions
JP2002083292A (ja) 画像信号処理装置
TWI463862B (zh) 寬動態範圍影像處理裝置及寬動態範圍影像處理方法
TW202032426A (zh) 移動偵測方法及其電路
US7130477B1 (en) Method and system for reducing noise in signal systems
WO2024001970A1 (zh) 一种事件数据处理方法及相关设备
US20220392207A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20230325995A1 (en) Method and apparatus for acquiring image using multispectral sensor
US20230231979A1 (en) Image signal processor processing image data having non-bayer pattern and image processing device including same
US20210152761A1 (en) Electronic device and method for controlling the same