KR102423565B1 - 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법 - Google Patents

이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102423565B1
KR102423565B1 KR1020227006559A KR20227006559A KR102423565B1 KR 102423565 B1 KR102423565 B1 KR 102423565B1 KR 1020227006559 A KR1020227006559 A KR 1020227006559A KR 20227006559 A KR20227006559 A KR 20227006559A KR 102423565 B1 KR102423565 B1 KR 102423565B1
Authority
KR
South Korea
Prior art keywords
pixel
event
period
sub
events
Prior art date
Application number
KR1020227006559A
Other languages
English (en)
Other versions
KR20220031750A (ko
Inventor
알렉산더 엠. 모브쇼비치
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20220031750A publication Critical patent/KR20220031750A/ko
Application granted granted Critical
Publication of KR102423565B1 publication Critical patent/KR102423565B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N5/3454—
    • H04N5/347—
    • H04N5/374—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

일부 실시예들에서, 방법은 프로세서, 비일시적 메모리, 및 제1 영역에 걸쳐 분포된 픽셀 센서들을 포함하는 이벤트 카메라를 갖는 디바이스에서 수행된다. 방법은, 제1 시간 기간을 서브-기간들로 분할함으로써 제1 시간 기간에 걸친 픽셀 센서로부터의 이벤트 스트림을 이벤트 프레임들로 변환하고, 이벤트 스트림의 픽셀 이벤트들을 비닝하는 단계를 포함하며, 여기서 서브-기간들 각각은 프레임 서브-기간 식별자와 연관된다. 방법은 영역을 타일들로 세분함으로써 픽셀 센서들을 어드레싱하는 단계를 더 포함하며, 여기서 타일들 각각은 픽셀 센서들의 그룹화를 포함하고, 특정 픽셀 센서의 타일 어드레스는 타일 식별자와 특정 픽셀 센서의 포지션 로케이터의 조합이다. 방법은 타일 어드레스, 프레임 서브-기간 식별자, 및 밝기 표시자 값의 함수로서 픽셀 이벤트들을 인코딩하는 단계를 더 포함한다.

Description

이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법 {SYSTEM AND METHOD FOR EVENT CAMERA DATA PROCESSING}
관련 출원에 대한 상호 참조
본 출원은 2017년 9월 28일자로 출원된 미국 가특허 출원 제62/564,818호에 대한 우선권을 주장하며, 그 가특허 출원은 이로써 그 전체가 참고로 포함된다.
기술분야
본 발명은 일반적으로 디지털 이미지 프로세싱 분야에 관한 것으로, 보다 구체적으로는 이벤트 카메라에 의해 캡처된 이벤트 데이터의 인코딩에 관한 것이다.
세기 프레임 카메라들은 장면으로부터 시각적 정보를 획득하기 위해 클록된 이미지 센서들을 사용한다. 모든 이미지 센서들을 사용하여, 세기 프레임 카메라들은, 마지막 이미지가 촬영됐던 이후로 특정 픽셀에서의 정보가 변화되었는지 여부에 관계없이 미리 설정된 프레임 레이트로 이미지를 촬영한다. 다양한 상황들에서, 이는 리던던시(redundancy)를 유발한다. 리던던시의 양은 이미지 센서들이 더 높은 공간 및 시간적 해상도들로 발전됨에 따라 증가한다. 결과적으로, 사후-프로세싱을 위해 요구되는 하드웨어는 용량, 복잡성 및 비용이 증가된다. 추가적인 전력 소비는 배터리-구동형 모바일 디바이스들에서 사용-금지될 수 있는 레벨들로 상승한다.
이벤트 카메라들은 센서 평면에서 직접 시각적 정보의 사전-프로세싱을 수행한다. 이벤트 카메라는 표준 세기 프레임들 대신에 픽셀-레벨 밝기 변화들을 출력하는 생체-모방형(bio-inspired) 비전 센서들을 포함한다. 출력 생성은 이벤트-제어되고, 장면의 변화(들)를 검출할 시에만 발생한다. 예를 들어, 이벤트 카메라 센서들을 사용하여, 기록된 관련 정보는 자율적으로 동작하는 개별 픽셀들에 의해 수신된 조명 세기의 변화들을 포함한다. 그들의 시야의 변화들을 감지하지 않는 픽셀들은 어떠한 출력도 생성하지 않는다. 그 결과, 가변 객체들에 관한 정보만이 픽셀 이벤트 센서에 의해 전달되는 데이터 스트림 내에 포함되며, 균질한 표면들 또는 모션없는 배경들에 관한 어떠한 정보도 존재하지 않는다(예를 들어, 그레이-레벨 정보의 형태의 세기 프레임 이미지 데이터가 없음).
이벤트 카메라들은 세기 프레임 카메라들에 비해 상당한 장점들, 즉 높은 동적 범위 및 낮은 레이턴시(예를 들어, 대략 마이크로초)를 제공한다. 그러나, 신속한 모션을 갖는 텍스처화된 장면들에서, 초당 수백만의 이벤트들이 생성된다. 그러한 비지(busy) 장면들을 프로세싱하기 위해, 기존의 이벤트 프로세스들은 대규모 병렬 계산들을 요구할 수 있다.
따라서, 이벤트 카메라에 의한 효율적인 데이터 프로세싱의 시스템들 및 방법들이 본 명세서에 설명된다. 그러한 시스템들 및 방법들은 이벤트 프레임들을 생성하기 위해 일정 시간 기간 내에 이벤트들을 축적한다. 세기 프레임 카메라들에 의해 생성된 프레임들과는 상이하게, 본 명세서에 개시된 각각의 이벤트 프레임은 2개의 정의된 타임스탬프들 사이의 이벤트들의 집계(aggregation)를 표현한다. 프레임들 내의 이벤트들을 집계하고 프레임 헤더들을 개개의 서브-기간 식별자와 연관시킴으로써, 개별 이벤트 내에 타임스탬프들을 갖는 오버헤드가 감소된다. 일부 실시예들에서, 이벤트 프레임들은 타일들로 분할된다. 각각의 타일 내의 이벤트들의 수에 의존하여, 임계 볼륨 초과의 이벤트들의 수를 포함하는 비지 타일들이 인코딩되어, 각각의 개별 픽셀을 어드레싱하는 오버헤드를 추가로 감소시킨다. 따라서, 그러한 시스템들 및 방법들은 이벤트 데이터의 감소를 유발하고, 낮은 레이턴시를 갖는 효율적인 이벤트 카메라 데이터 프로세싱을 가능하게 한다.
일부 실시예들에 따르면, 방법은 하나 이상의 프로세서들, 비일시적 메모리, 및 제1 영역에 걸쳐 분포된 복수의 픽셀 센서들을 포함하는 이벤트 카메라를 갖는 디바이스에서 수행된다. 방법은, 제1 시간 기간을 복수의 서브-기간들로 분할함으로써 제1 시간 기간에 걸친 픽셀 센서로부터의 이벤트 스트림을 이벤트 프레임들로 변환하고, 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 이벤트 스트림의 픽셀 이벤트들을 비닝(bin)하는 단계를 포함하며, 여기서 복수의 서브-기간들 각각은 대응하는 프레임 서브-기간 식별자와 연관된다. 방법은 제1 영역을 타일들로 세분함으로써 복수의 픽셀 센서들을 어드레싱하는 단계를 더 포함하며, 여기서 타일들 각각은 복수의 픽셀 센서들의 개개의 그룹화를 포함하고, 특정 픽셀 센서의 타일 어드레스는 개개의 타일 식별자와, 개개의 타일 식별자와 연관된 특정 픽셀 센서의 포지션 로케이터(position locator)의 조합이다. 방법은 부가적으로, 개개의 타일 어드레스, 프레임 서브-기간 식별자, 및 밝기 표시자 값의 함수로서 픽셀 이벤트들을 인코딩하는 단계를 포함한다.
일부 실시예들에 따르면, 디바이스는 이벤트 카메라, 이벤트 프레이머(framer), 타일러(tiler), 및 인코더를 포함한다. 이벤트 카메라는 제1 영역에 걸쳐 분포된 복수의 픽셀 센서들을 더 포함한다. 이벤트 프레이머는, 제1 시간 기간을 복수의 서브-기간들로 분할하고 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 개개의 이벤트 스트림의 픽셀 이벤트들을 비닝함으로써, 제1 시간 기간 동안 복수의 픽셀 센서들의 개개의 픽셀 센서로부터 출력된 개개의 이벤트 스트림을 이벤트 프레임들로 변환한다. 타일러는 제1 영역을 타일들로 세분함으로써 복수의 픽셀 센서들을 어드레싱하며, 여기서 타일들 각각은 복수의 픽셀 센서들의 그룹화를 포함하고, 특정 픽셀 센서의 타일 어드레스는 개개의 타일 식별자와, 개개의 타일 식별자와 연관된 특정 픽셀 센서의 포지션 로케이터의 조합이다. 인코더는, 개개의 타일 어드레스, 프레임 서브-기간 식별자, 및 밝기 표시자 값의 함수로서 픽셀 이벤트들을 인코딩한다.
일부 실시예들에 따르면, 방법은 하나 이상의 프로세서들, 비일시적 메모리, 및 제1 영역에 걸쳐 분포된 복수의 픽셀 센서들을 포함하는 이벤트 카메라를 갖는 디바이스에서 수행된다. 방법은, 제1 시간 기간을 복수의 서브-기간들로 분할함으로써 제1 시간 기간에 걸친 복수의 픽셀 센서들의 대응하는 하나 이상의 픽셀 센서들로부터의 하나 이상의 이벤트 스트림들을 이벤트 프레임들로 변환하고, 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 개개의 이벤트 스트림의 픽셀 이벤트들을 비닝하는 단계를 포함하며, 여기서 복수의 서브-기간들 각각은 대응하는 프레임 서브-기간 식별자와 연관된다. 방법은, 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계 볼륨을 위반(breach)한다는 결정에 응답하여, 제1 인코딩 프로세스에 따라, 제1 인코딩 프로세스를 사용하여 특정 서브-기간 동안 제1 영역에 대한 픽셀 이벤트들을 인코딩하는 단계를 더 포함한다. 방법은 부가적으로, 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계 볼륨을 위반하지 않는다는 결정에 응답하여, 제2 인코딩 프로세스(예를 들어, 비-비지(non-busy) 또는 캄 타일(calm tile)에 대한 개별 이벤트 인코딩)를 사용하여 특정 서브-기간 동안 제1 영역에 대한 픽셀 이벤트들을 인코딩하는 단계를 포함한다.
일부 실시예들에 따르면, 디바이스는 이벤트 카메라, 이벤트 프레이머, 및 인코딩 제어기를 포함한다. 이벤트 카메라는 제1 영역에 걸쳐 분포된 복수의 픽셀 센서들을 더 포함한다. 이벤트 프레이머는, 제1 시간 기간을 복수의 서브-기간들로 분할하고 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 개개의 이벤트 스트림의 픽셀 이벤트들을 비닝함으로써, 제1 시간 기간 동안 복수의 픽셀 센서들의 개개의 픽셀 센서로부터 출력된 개개의 이벤트 스트림을 이벤트 프레임들로 변환한다. 인코딩 제어기는, 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계 볼륨을 위반하는지 여부에 기초하여 인코더를 선택하고, 특정 서브-기간 동안 제1 영역에 대한 픽셀 이벤트들을 인코딩하도록 선택된 인코더를 트리거한다.
일부 실시예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 프로그램들을 포함하고; 하나 이상의 프로그램들은 비일시적 메모리에 저장되고, 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 하나 이상의 프로그램들은 본 명세서에 설명된 방법들 중 임의의 방법의 동작들을 수행하거나 또는 이들의 수행을 야기하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 디바이스로 하여금, 본 명세서에 설명되는 방법들 중 임의의 방법의 동작들을 수행하게 하거나 또는 이들의 수행을 야기하게 하는 명령어들을 내부에 저장하고 있다. 일부 구현예들에 따르면, 디바이스는 본 명세서에 설명되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 이들의 수행을 야기하기 위한 수단을 포함한다.
다양하게 설명된 실시예들의 보다 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 단순화된 전자 디바이스를 예시하는 블록 다이어그램이다.
도 2는 일부 실시예들에 따른 예시적인 이벤트 곡선들을 예시한다.
도 3은 일부 실시예들에 따른 이벤트 프레이밍 방법을 예시하는 흐름도이다.
도 4는 일부 실시예들에 따른 예시적인 이벤트 프레임들을 도시한다.
도 5는 일부 실시예들에 따른 이벤트 인코딩 방법을 예시하는 흐름도이다.
도 6은 일부 실시예들에 따른, 이벤트 인코딩을 위한 예시적인 데이터 구조들을 도시한다.
도 7은 일부 실시예들에 따른 단순화된 다기능 디바이스를 예시하는 블록 다이어그램이다.
이제, 실시예들이 상세하게 참조될 것이며, 그 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 세부사항들이 다양하게 설명된 실시예들의 완전한 이해를 제공하기 위해 기재된다. 그러나, 다양한 설명된 실시예들이 이들 구체적인 세부사항들 없이 실시될 수 있다는 것은 당업자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.
일부 예들에서, 용어들, 제1, 제2 등이 본 명세서에서 다양한 요소들을 설명하는 데 사용되지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 다양한 설명된 실시예들의 범주로부터 벗어남이 없이, 제1 접촉이 제2 접촉으로 지칭될 수 있고, 유사하게, 제2 접촉이 제1 접촉으로 지칭될 수 있다. 제1 접촉 및 제2 접촉은 둘 모두 접촉이지만, 문맥상 명백히 달리 표시하지 않는 한, 이들이 동일한 접촉인 것은 아니다.
본 명세서에서 다양하게 설명된 실시예들의 설명에 사용되는 용어는 특정 실시예들을 설명하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 다양한 설명된 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태("a", "an", 및 "the")는 문맥상 명백히 달리 나타내지 않는다면 복수의 형태도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, "~는 경우(if)"라는 용어는 선택적으로 문맥에 따라 "~할 때(when)" 또는 "~ 시(upon)" 또는 "결정한 것에 응답하여(in response to determining)" 또는 "검출한 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 구문 "결정된 경우" 또는 "[진술된 상태 또는 이벤트가] 검출된 경우"는, 선택적으로, 문맥에 따라 "결정 시" 또는 "결정하는 것에 응답하여" 또는 "[진술된 상태 또는 이벤트] 검출 시" 또는 "[진술된 상태 또는 이벤트를] 검출하는 것에 응답하여"를 의미하는 것으로 해석된다.
전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 설명된다. 일부 실시예들에서, 디바이스는 PDA 및/또는 음악 플레이어 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 통신 디바이스, 예를 들어 모바일 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 아이폰(iPhone)®, 아이팟 터치(iPod Touch)®, 및 아이패드(iPad)® 디바이스들을 제한 없이 포함한다. 터치 감응형 표면들(예를 들어, 터치 스크린 디스플레이들 및/또는 터치패드들)을 갖는 랩톱 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 선택적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라 터치 감응형 표면(예를 들어, 터치 스크린 디스플레이 및/또는 터치패드)을 갖는 데스크톱 컴퓨터임이 또한 이해되어야 한다.
(임의의 개발 프로젝트에서와 같이) 임의의 실제 구현예의 개발에서, 개발자들의 특정 목표들(예를 들어, 시스템 관련 및 사업 관련 제약들의 준수)을 달성하기 위해 수많은 결정들이 이루어져야 하며, 이들 목적들이 구현예마다 달라질 것임이 인식되어야 한다. 그러한 개발 노력들은 복잡하고 시간 소모적일 수 있지만, 그럼에도 불구하고 본 개시내용의 이득을 갖는 이미지 캡처의 당업자들을 위해 착수하는 루틴일 것임이 또한 인식될 것이다.
도 1을 참조하면, 일부 실시예들에 따른 전자 디바이스(100)의 단순화된 블록 다이어그램이 도시된다. 일부 실시예들에서, 전자 디바이스(100)는 모바일 폰, 태블릿 컴퓨터, 개인 휴대 정보 단말기, 휴대용 음악/비디오 플레이어, 웨어러블 디바이스, 또는 이미지 프로세싱 디바이스를 포함하는 임의의 다른 전자 디바이스와 같은 다기능 디바이스의 일부이다. 도 1에 도시되지는 않았지만, 일부 실시예들에서, 전자 디바이스(100)는 네트워크를 통해 다른 모바일 디바이스들, 태블릿 디바이스들, 데스크톱 디바이스들, 뿐만 아니라 서버들을 포함하는 네트워크 저장 디바이스들 등과 같은 다른 네트워크 디바이스들에 연결된다.
일부 실시예들에서, 전자 디바이스(100)는 중앙 프로세싱 유닛(CPU)(130) 및 디바이스 센서들(175)(예를 들어, 근접 센서/주변 광 센서, 가속도계 및/또는 자이로스코프 등)을 포함한다. 일부 실시예들에서, 프로세서(130)는 시스템-온-칩이고, 하나 이상의 전용 그래픽 프로세싱 유닛(GPU)들을 포함한다. 추가로, 일부 실시예들에서, 프로세서(130)는 동일한 유형 또는 상이한 유형들의 다수의 프로세서들을 포함한다.
일부 실시예들에서, 전자 디바이스(100)는, 이벤트 카메라(110)를 포함하고 복수의 이벤트 카메라 센서들(112)(픽셀 센서들 또는 픽셀 요소들로 또한 지칭됨)을 더 포함하는 하나 이상의 카메라들을 포함한다. 픽셀 센서들(112)은 광의 반사들을 수용하기 위해 이벤트 카메라(110)의 제1 영역에 걸쳐 (예를 들어, 2차원 어레이로서) 배열된다. 일부 실시예들에서, 제1 영역은 이벤트 카메라(110)의 동작가능한 영역이다. 일부 실시예들에서, 제1 영역은 이벤트 카메라(110)의 서브-부분이다.
일부 실시예들에서, 픽셀 센서들(112) 각각은 충돌 광 세기에 응답하여 포토다이오드에 의해 광전류를 생성하는 집적 회로이다. 그러한 집적 회로에서, 감광 포토다이오드는 전하를 축적하는 커패시터와 통합될 수 있다. 축적된 전하가 소정의 임계치를 교차할 때, 전기 전압은 커패시터로부터 판독되고, 전기 응답의 전압은 반사된 광의 밝기를 표시한다. 일부 실시예들에서, 밝기 표시자 값은 다수의 별개의 임계 레벨 값들 중 하나를 포함한다. 예를 들어, 일부 실시예들에서, 다수의 별개의 임계 레벨 값들은 개개의 픽셀이 더 밝거나 더 어둡다는 것을 각각 표시하는 포지티브 레벨 값 및 네거티브 레벨 값을 포함한다. 일부 실시예들에서, 별개의 임계 레벨 값들의 수는 전압 크기 범위에 각각 대응하는 복수의 레벨 값들을 포함한다.
예를 들어, 도 2에서, 스텝 함수(step function)로서의 플래시 이벤트에 응답하여, 이벤트 센서 회로들에 전하가 축적된다. 도 2에서 도트(dot)에 의해 표시된 바와 같이, 이벤트들(210, 220, 230)은 용량 전압들이 비교기 임계치 1을 위반할 때 생성된다. 이벤트(210)는 밝은 픽셀에 대응하는 위치(X1, Y1)의 픽셀 요소(이하, "밝은 픽셀 요소")에 의해 생성되고; 이벤트(220)는 어두운 픽셀에 대응하는 위치(X2, Y2)의 픽셀 요소(이하, "어두운 픽셀 요소")에 의해 생성되며; 이벤트(230)는 더 어두운 픽셀에 대응하는 위치(X3, Y3)의 픽셀 요소(이하, "더 어두운 픽셀 요소")에 의해 생성된다. 위반 시에, 예를 들어 t1, t1-Dark, 및 t1-Darker에서, 전기 임계치 값은 th1이며, 이는 개개의 위치에서 검출된 반사된 광의 밝기를 표시한다.
도 2에서, 이벤트 곡선들은 광에 응답하여 시간의 함수로서 픽셀 요소들에 의해 출력되는 전기 레벨들을 표현하며, 예를 들어 이상적인 이벤트 곡선은 이상적인 픽셀 요소 대 시간에 의해 출력되는 전기 레벨들을 표현하고, 밝은 픽셀 요소 곡선은 밝은 픽셀 요소 대 시간에 의해 출력되는 전기 레벨들을 표현하는 등이다. 이상적인 이벤트 곡선이 스텝 함수 플래시 이벤트에 응답하여 정상 상태에 도달할 때, 정상 상태 전압은 플래시 이벤트 전압과 대략 동일하며, 이는 이상적인 픽셀 요소가 플래시 이벤트로부터 최대량의 반사된 광 BM을 검출한다는 것을 표시한다. 밝은 픽셀 요소의 경우, Bbright는 BM보다 낮으며, 이는 위치(X1, Y1)에서 검출되는 반사된 광의 덜 이상적인 밝기를 표시한다. 마찬가지로, 위치(X3, Y3)의 Bdarker < 위치(X2, Y2)의 Bdark < 위치(X1, Y1)의 Bbright는 위치(X3, Y3)의 밝기가 위치(X2, Y2)보다 작고 위치(X1, Y1)보다 추가로 더 작다는 것을 표시한다.
도 1을 다시 참조하면, 일부 실시예들에서, 전자 디바이스(100)는 메모리(140)를 포함한다. 메모리(140)는 프로세서(130)와 함께 디바이스 기능들을 수행하기 위해 사용되는 하나 이상의 유형들의 메모리를 포함한다. 일부 실시예들에서, 메모리(140)는 캐시, ROM, 및/또는 RAM을 포함한다. 일부 실시예들에서, 메모리(140)는 실행 동안 다양한 프로그래밍 모듈들을 저장할 뿐만 아니라, 이벤트 카메라(110)에 의해 출력되는 이벤트들에 기초하여 생성된 하나 이상의 이미지들을 저장하기 위한 버퍼로서의 역할을 한다. 일부 실시예들에서, 다양한 프로그래밍 모듈들은 이벤트 프레이머(142), 이벤트 타일러(144), 인코딩 제어기(146), 및/또는 하나 이상의 인코더들(148)을 포함한다.
일부 실시예들에서, 이벤트 프레이머(142)는 제1 시간 기간 동안 픽셀 센서들(112)로부터 출력되는 하나 이상의 이벤트 스트림들을 수신한다. 이벤트 프레이머(142)는, 제1 시간 기간을 복수의 서브-기간들로 분할하고 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 개개의 이벤트 스트림의 픽셀 이벤트들을 비닝함으로써, 각각의 이벤트 스트림을 이벤트 프레임들로 변환한다. 이벤트들의 비닝 및 이벤트들의 프레이밍은 도 3 및 도 4와 관련하여 아래에서 추가로 설명된다.
일부 실시예들에서, 이벤트 타일러(144)는 제1 영역을 타일들로 세분하고 픽셀 센서들(112)의 타일 어드레스들을 할당함으로써 복수의 픽셀 센서들(112)을 어드레싱한다. 제1 영역의 분할은 복수의 픽셀 센서들(112)의 그룹화를 포함함으로써 수행된다. 일부 실시예들에서, 특정 픽셀 센서(112)의 타일 어드레스는 개개의 타일 식별자와, 개개의 타일 식별자와 연관된 특정 픽셀 센서(112)의 포지션 로케이터의 조합이다. 타일 어드레싱은 도 5 및 도 6과 관련하여 아래에서 추가로 설명된다.
일부 실시예들에서, 인코딩 제어기(146)는, 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계 볼륨을 위반하는지 여부에 기초하여 인코더(들)(148)로부터 인코더를 선택하고, 특정 서브-기간 동안 제1 영역에 대한 픽셀 이벤트들을 인코딩하도록 선택된 인코더(148)를 트리거한다. 인코더 선택 및 인코딩 프로세스는 도 5 및 도 6과 관련하여 아래에서 추가로 설명된다.
도 3은 일부 실시예들에 따른 이벤트 프레이밍 방법(300)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(300)은 프로세서(예를 들어, 도 1의 프로세서(130)) 및 비일시적 메모리(예를 들어, 도 1의 메모리(140))를 갖는 이미지 프로세싱 디바이스(예를 들어, 도 1의 전자 디바이스(100))에서 수행된다. 일부 실시예들에서, 이미지 프로세싱 디바이스는, 제1 시간 기간 동안 광의 반사들을 수신하고, 밝기의 변화들이 검출될 때 이벤트들을 출력하도록 배열되는 제1 영역에 걸쳐 분포된 복수의 픽셀 센서들(예를 들어, 도 1의 이벤트 카메라 센서들(112))을 갖는 이벤트 카메라(예를 들어, 도 1의 이벤트 카메라(110))를 더 포함한다. 일부 실시예들에서, 제1 영역은 이벤트 카메라의 동작가능한 영역이다. 일부 실시예들에서, 제1 영역은, 예를 들어 이벤트 카메라의 동작가능한 영역의 서브-부분에 걸쳐 분포된 이벤트 센서들로부터 이벤트들을 획득하는 동작가능한 영역의 서브-부분이다. 일부 실시예들에서, 이미지 프로세싱 디바이스는, 제1 시간 기간을 서브-기간들로 분할함으로써 이벤트 스트림들을 이벤트 프레임들로 변환하기 위한 이벤트 프레이머(예를 들어, 도 1의 이벤트 프레이머(142)), 이벤트 타일들을 어드레싱하기 위한 이벤트 타일러(예를 들어, 도 1의 이벤트 타일러(144)), 및 개개의 타일 어드레스, 프레임 서브-기간 식별자, 및 밝기 표시자 값의 함수로서 픽셀 이벤트들을 인코딩하기 위한 인코더(예를 들어, 인코더(148))를 포함한다.
일부 실시예들에서, 방법(300)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 실시예들에서, 방법(300)은 비일시적 컴퓨터 판독가능 매체(예를 들어, 메모리)에 저장된 코드를 실행하는 프로세서에 의해 수행된다.
방법(300)은 블록(310)에서, 디바이스(예를 들어, 도 1의 이벤트 프레이머(142))가 제1 시간 기간 동안 픽셀 센서로부터의 이벤트 스트림을 이벤트 프레임들로 변환하는 것으로 시작한다. 디바이스는, 블록(312)에서 제1 시간 기간을 복수의 서브-기간들로 분할함으로써, 그리고 블록(314)에서 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 이벤트 스트림의 픽셀 이벤트들을 비닝함으로써 변환을 수행하며, 여기서 복수의 서브-기간들 각각은 대응하는 프레임 서브-기간 식별자와 연관된다. 일부 실시예들에서, 블록(316)에서, 복수의 서브-기간들 중 일 서브-기간 내에서, 디바이스는 더 오래된 픽셀 이벤트들을 더 새로운 픽셀 이벤트들로 오버라이팅(overwrite)한다.
예를 들어, 도 4는 일부 실시예들에 따른, 이벤트 프레이머(142)에 의해 생성된 예시적인 이벤트 프레임들(402)을 도시한다. 위치(x, y)의 픽셀 센서로부터 출력되는 이벤트 스트림은 일정 시간 기간, 예를 들어 0 내지 T2 동안 복수의 픽셀 이벤트들을 포함한다. 이벤트 프레이머(142)는 시간 기간을 복수의 서브-기간들로 분할하고, 프레임 서브-기간 식별자를 대응하는 서브-기간과 연관시키며, 예를 들어 서브-기간(T1, T2)에 대응하는 타임스탬프를 이벤트 프레임(402-2)과 연관시키고, 이벤트 프레임(402-2)에 대한 프레임 서브-기간 식별자로서 타임스탬프를 사용한다. 일부 실시예들에서, 서브-기간들은 지속기간이 동일하다. 그러한 실시예들에서, 규칙적으로 이격된 타임스탬프들은 이벤트 프레임들의 시퀀스를 정의한다.
서브-기간(T1, T2)동안, 다수의 이벤트들, 예를 들어 밝기 표시자 B1을 갖는 시간 t1에서의 이벤트 1,
밝기 표시자 B2를 갖는 시간 t2에서의 이벤트 2, ...,
밝기 표시자 Bn을 갖는 시간 tn에서의 이벤트 n이 비닝된다. 이벤트들은 도 2와 관련하여 위에서 설명된 바와 같이, 특정한 시점에 픽셀 센서에 대응하는 위치(예를 들어, 2차원 픽셀 어레이 내의 x-좌표 및 y-좌표)에서 밝기의 표시(또는 밝기의 변화의 표시)로서 표현될 수 있으며, 예를 들어 도 4의 이벤트들 1...n은 다음의 데이터에 의해 표현될 수 있다:
([x, y], B1, t1), ([x, y], B2, t2)... ([x, y], Bn, tn).
일부 실시예들에서, 서브-기간 내의 더 오래된 이벤트들이 더 새로운 이벤트들로 오버라이팅되도록, 예를 들어 이벤트 1이 이벤트 2에 의해 오버라이팅되고 이벤트들 1 및 2가 이벤트 n에 의해 오버라이팅되는 등이 되도록 이벤트들이 비닝된다. 그 결과, 서브-기간(T1, T2)의 종료 시에, 위치(x, y)에 대한 tn에서의 이벤트 n으로부터의 이벤트 데이터, 예를 들어 ([x, y], Bn)을 포함하는 이벤트 프레임(402-2)이 생성된다. 다시 말하면, 일부 실시예들에 따른 이벤트 프레임(402-2)은 이벤트 프레임과 연관된 서브-기간을 표현하는 타임스탬프, 이어서 각각의 픽셀에 대한 ([x, y], B)의 포맷의 이벤트 데이터를 포함한다. 따라서, 서브-기간 동안 프레임 헤더를 도입하고 프레임 내의 각각의 픽셀 이벤트에서 타임스탬프를 갖지 않음으로써, 프레임당 비트들의 수가 감소된다.
도 3을 다시 참조하면, 블록(318)에서, 일부 실시예들에서, 변환은 제1 프로토콜에 따라 생성된 이벤트 스트림을 제1 프로토콜과 상이한 제2 프로토콜로 변환하는 것을 포함한다. 예를 들어, 상이한 벤더(vendor)들에 의해 제조된 이벤트 센서들은 상이한 프로토콜들에 따라 이벤트 스트림들을 출력할 수 있으며, 예를 들어 이벤트들은 상이한 데이터 포맷들에 의해 표현된다. 이벤트 프레임들로의 변환 이전에, 이벤트들이 그러한 이벤트 스트림들로부터 추출된다. 이어서, 일부 실시예들에 따르면, 추출된 이벤트들은 이벤트 프레임 생성을 위해 사용된다.
블록(320)에서, 디바이스(예를 들어, 도 1의 타일러(144))는 제1 영역을 타일들로 세분함으로써 복수의 픽셀 센서들을 어드레싱하여, 타일들 각각은 복수의 픽셀 센서들의 개개의 그룹화를 포함하고, 특정 픽셀 센서의 타일 어드레스는 개개의 타일 식별자와, 개개의 타일 식별자와 연관된 특정 픽셀 센서의 포지션 로케이터의 조합이다. 일부 실시예들에서, 특정 픽셀 센서의 포지션 로케이터는 특정 픽셀 센서의 2차원 좌표들(예를 들어, 도 4에 도시된 바와 같은 픽셀 센서의 x-좌표 및 y-좌표)을 포함한다. 일부 실시예들에서, 분할된 타일들은 블록(322)에서, 제1 영역에 걸쳐 균등하게 크기설정되고 균일하게 분포된다. 일부 다른 실시예들에서, 블록(324)에서, 타일들 중 하나 이상의 타일들의 제1 그룹의 각각의 타일은 하나 이상의 타일들의 제2 그룹의 각각의 타일보다 큰 영역을 갖는다. 예를 들어, 도 6에서, 에지 주위의 이벤트 타일(620-a)은 제1 그룹에 속하고, 중심 내의 이벤트 타일(620-m)은 제2 그룹에 속한다. 이벤트 타일(620-m)은 이벤트 타일(620-a)보다 더 작으므로, 더 작은 타일들에 대한 데이터에서 더 큰 입도들이 제시된다. 그러한 실시예들은, 예를 들어 이벤트 카메라의 중심에 가까운 활동들이 더 중요한 것으로 고려될 때, 예를 들어 눈 카메라가 홍채 활동들을 추적하는 것을 목표로 할 때 유용하다.
블록(326)에서, 일부 실시예들에서, 어드레싱은 개개의 프레임 서브-기간 식별자를 특정 이벤트 프레임과 연관시킴으로써 특정 이벤트 프레임에 대한 프레임 헤더를 생성하는 것을 포함한다. 예를 들어, 도 4에서, 이벤트 프레이머(142)는 서브-기간(T1, T2)에 대응하는 타임스탬프를 이벤트 프레임(402-2)과 연관시키고, 이벤트 프레임(402-2)에 대한 프레임 서브-기간 식별자로서 타임스탬프를 사용할 수 있다. 블록(328)에서, 일부 실시예들에서, 어드레싱은 개개의 타일 식별자를 특정 타일과 연관시킴으로써 특정 타일에 대한 타일 헤더를 생성하는 것을 포함한다. 예를 들어, 도 6에서, 타일러(144)는 이벤트 타일(620-a)에 대한 타일 인덱스 "a"를 포함하는 타일 헤더를 생성한다. 타일 인덱스를 사용하여, 이벤트 타일들(620)이 이벤트 프레임 내에 위치될 수 있다.
블록(330)에서, 디바이스는 개개의 타일 어드레스, 프레임 서브-기간 식별자, 및 밝기 표시자 값의 함수로서 픽셀 이벤트들을 인코딩한다. 일부 실시예들에서, 블록(332)에서, 비지 타일(예를 들어, 타일 내의 픽셀 이벤트들의 수가 서브-기간 내에서 임계 볼륨을 위반함)의 경우, 디바이스는 제1 인코딩 프로세스를 사용하여 픽셀 이벤트들을 인코딩한다. 일부 실시예들에서, 블록(334)에서, 캄 타일(예를 들어, 타일 내의 픽셀 이벤트들의 수가 서브-기간 내에서 임계 볼륨을 위반하지 않음)의 경우, 디바이스는 제1 인코딩 프로세스와 상이한 제2 인코딩 프로세스를 사용하여 픽셀 이벤트들을 인코딩한다. 제1 인코딩 프로세스 및 제2 인코딩 프로세스는 도 5 를 참조하여 아래에서 더 상세히 설명된다.
일부 실시예들에서, 위에서 설명된 단계들(310 내지 334)은 하나의 이벤트 스트림의 이벤트들을 프로세싱하기 위해 수행된다. 일부 실시예들에서, 이들 단계들(310 내지 334)은 각각의 이벤트 스트림 내의 이벤트들에 대해 수행되며, 예를 들어 위에서 설명된 바와 같이, 제1 시간 기간 동안 복수의 픽셀 센서들 각각으로부터 개개의 이벤트 스트림을 획득하고, 각각의 이벤트 스트림에 대한 픽셀 이벤트들을 비닝하며, 위에서 설명된 어드레싱 프로세스 및 인코딩 프로세스가 이어진다.
도 5를 참조하면, 도 5는 일부 실시예들에 따른 이벤트 인코딩 방법(500)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(500)은 프로세서(예를 들어, 도 1의 프로세서(130)) 및 비일시적 메모리(예를 들어, 도 1의 메모리(140))를 갖는 이미지 프로세싱 디바이스(예를 들어, 도 1의 전자 디바이스(100))에서 수행된다. 일부 실시예들에서, 이미지 프로세싱 디바이스는, 제1 시간 기간 동안 광의 반사들을 수신하고, 밝기의 변화들이 검출될 때 이벤트들을 출력하도록 배열되는 제1 영역에 걸쳐 분포된 복수의 픽셀 센서들(예를 들어, 도 1의 이벤트 카메라 센서들(112))을 갖는 이벤트 카메라(예를 들어, 도 1의 이벤트 카메라(110))를 더 포함한다. 일부 실시예들에서, 이미지 프로세싱 디바이스는, 제1 시간 기간을 서브-기간들로 분할함으로써 이벤트 스트림들을 이벤트 프레임들로 변환하기 위한 이벤트 프레이머(예를 들어, 도 1의 이벤트 프레이머(142)), 및 인코더(예를 들어, 인코더(148))를 선택하고, 특정 서브-기간 동안 제1 영역에 대한 픽셀 이벤트들을 인코딩하도록 선택된 인코더를 트리거하기 위한 인코딩 제어기(예를 들어, 도 1의 인코딩 제어기(146))를 포함한다. 일부 실시예들에서, 이미지 프로세싱 디바이스는, 제1 영역을 타일들로 분할하고 타일들을 어드레싱하기 위한 이벤트 타일러를 더 포함한다.
일부 실시예들에서, 방법(500)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 실시예들에서, 방법(500)은 비일시적 컴퓨터 판독가능 매체(예를 들어, 메모리)에 저장된 코드를 실행하는 프로세서에 의해 수행된다.
방법(500)은 블록(510)에서, 디바이스(예를 들어, 도 1의 이벤트 프레이머(142))가 제1 시간 기간 동안 픽셀 센서로부터의 이벤트 스트림을 이벤트 프레임들로 변환하는 것으로 시작한다. 블록(512)에서, 도 3과 관련하여 위에서 설명된 바와 같이, 일부 실시예들에서, 디바이스는 제1 시간 기간을 복수의 서브-기간들로 분할함으로써 그리고 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 이벤트 스트림의 픽셀 이벤트들을 비닝함으로써 변환을 수행하며, 여기서 복수의 서브-기간들 각각은 대응하는 프레임 서브-기간 식별자와 연관된다.
블록(514)에서, 일부 실시예들에서, 제1 영역은 이벤트 카메라의 동작가능한 영역이다. 그러한 실시예들에서, 이벤트 프레이머(예를 들어, 도 1의 이벤트 프레이머(142))는 제1 영역에서 복수의 픽셀 센서들을 이벤트 프레임으로서 함께 어드레싱한다. 이벤트 인코딩은, 프레임 헤더를 생성하는 것을 포함하여, 이벤트 프레임에서 이벤트들을 어드레싱함으로써 이벤트 프레임에 대해 수행된다. 예를 들어, 도 4에서, 이벤트 프레이머(142)는 서브-기간(T1, T2)에 대응하는 타임스탬프를 이벤트 프레임(402-2)과 연관시키고, 이벤트 프레임(402-2)에 대한 프레임 서브-기간 식별자로서 타임스탬프를 사용한다. 서브-기간 동안 프레임 헤더를 도입하고 프레임 내의 각각의 픽셀 이벤트에서 타임스탬프를 갖지 않음으로써, 프레임당 비트들의 수가 감소된다.
블록(516)에서, 일부 실시예들에서, 제1 영역은 이벤트 카메라의 동작가능한 영역의 서브-부분이다. 그러한 실시예들에서, 타일러는 제1 영역에서 복수의 픽셀 센서들을 타일로서 어드레싱한다. 예를 들어, 도 6에서, 이벤트 타일러(144)는 이벤트 카메라의 동작가능한 영역의 서브-부분에서 픽셀 센서들, 즉 타일에 어드레스들을 할당한다. 타일러(144)는 타일 식별자(예를 들어, 이벤트 프레임 내의 타일 인덱스)를 포함하는 타일 헤더를 생성한다. 각각의 타일 내에서, 일부 실시예들에서, 타일 내의 특정 픽셀 센서의 타일 어드레스는 개개의 타일 식별자(예를 들어, 타일 인덱스)와 특정 픽셀 센서의 포지션 로케이터의 조합이다. 예를 들어, 도 6에서, 이벤트 타일(620-k)은 타일 인덱스 k를 갖는 타일 헤더와 연관된다. 이벤트(610)를 생성하는 특정 픽셀 센서의 타일 어드레스는 타일 인덱스 k와 특정 픽셀 센서의 포지션 로케이터, 예를 들어 특정 픽셀 센서의 x-좌표 및 y-좌표의 조합이다. 이와 같이, 이벤트의 위치는 타일 인덱스와 픽셀 센서의 2차원 좌표들의 조합을 통해 식별될 수 있다.
블록(520)에서, 일부 실시예들에서, 디바이스(예를 들어, 도 1의 인코딩 제어기(146))는 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계 볼륨을 위반하는지 여부를 결정하고, 그에 따라 인코더(예를 들어, 인코더(148))를 선택한다. 일부 실시예들에서, 임계 볼륨은 타일과 연관된 영역에 걸친 픽셀 이벤트들의 수의 함수이다. 예를 들어, 타일러는 제1 영역을 다수의 타일들로 세분하고, 각각의 타일은 N개의 픽셀 센서들의 그룹화를 포함한다. 예를 들어, 타일은, 타일에 걸친 픽셀 이벤트들의 수가 N/8을 위반할 때 비지 타일로 간주될 수 있다. 반면에, 예를 들어, 타일은, 타일에 걸친 픽셀 이벤트들의 수가 N/8보다 적을 때 비-비지 또는 캄 타일로 간주될 수 있다.
블록(540)에서, 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계 볼륨을 위반한다는 결정에 응답하여, 선택된 인코더는 제1 인코딩 프로세스에 따라 특정 서브-기간 동안 제1 영역에 대한 픽셀 이벤트들을 인코딩한다. 반면에, 블록(550)에서, 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계 볼륨을 위반하지 않는다는 결정에 응답하여, 선택된 인코더는 제2 인코딩 프로세스에 따라 특정 서브-기간 동안 제1 영역에 대한 픽셀 이벤트들을 인코딩한다. 다시 말하면, 디바이스는 하나의 인코딩 프로세스에 따라 캄 타일들을 인코딩하고, 디바이스는 다른 인코딩 프로세스에 따라 비지 타일들을 인코딩하여, 각각의 비지 타일을 표현하는 비트들의 수를 추가로 감소시킨다.
비지 타일의 경우, 일부 실시예들에서, 블록(542)에서, 제1 인코딩 프로세스는 제1 영역 내의 개개의 픽셀 센서에 대응하는 픽셀의 개개의 밝기 표시자 값을 개별적으로 표현하는 코드 시퀀스를 생성하는 것을 포함한다. 그러한 실시예들에서, 각각의 픽셀은 일부 실시예들에 따라 코드 시퀀스에서 2개의 비트들에 의해 표현될 수 있다. 예를 들어, 도 6에서, 이벤트 타일(620-n)에 대해 코드 시퀀스가 생성된다. 각각의 픽셀의 인코딩을 위해 2개의 비트들이 사용되며, 예를 들어,
2b'00 - 이벤트 없음
2b'01 - 포지티브 이벤트, 예를 들어, 픽셀이 더 밝음
2b'10 - 네거티브 이벤트, 예를 들어, 픽셀이 더 어두움
2b'11 - 예비됨
코드 시퀀스는 픽셀들을 순서대로, 예를 들어 픽셀 0에 대한 2 비트 코드, 픽셀 1에 대한 2 비트 코드, 픽셀 2에 대한 2 비트 코드 ... 픽셀 N에 대한 2비트 코드를 배열함으로써 생성된다.
일부 실시예들에서, 블록(544)에서, 제1 인코딩 프로세스는, 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계 볼륨을 위반한다는 것을 표시하는 이벤트 볼륨 표시자를 생성하는 것, 및 특정 서브-기간 내에서 제1 영역 내의 픽셀 이벤트들의 수의 집계된 표현을 제공하는 것을 포함한다. 예를 들어, 도 6에서, 타일 헤더는 인코딩 필드를 포함하며, 예를 들어 0은 타일이 캄 타일이고 타일이 블록(552)과 관련하여 아래에서 설명되는 개별 이벤트 인코딩을 포함한다는 것을 의미하고; 1은 타일이 비지 타일이고 타일이 블록(542)에 대해 위에서 설명된 바와 같이 픽셀 인코딩을 포함한다는 것을 의미한다. 인코딩 필드는 이벤트 볼륨 표시자여서, 그것이 온(on)일 때, 그것은 타일 내의 픽셀 이벤트들의 수가 임계 체적을 초과했다는 것을 표시한다. 전체로서 타일은 집계된 표현, 예를 들어 2 비트 코드들의 시퀀스를 가질 수 있다.
일부 실시예들에서, 블록(552)에서, 제2 인코딩 프로세스는 특정 픽셀 이벤트에 대해, 특정 픽셀 이벤트에 대응하는 픽셀의 개개의 밝기 표시자 값; 및 특정 픽셀 이벤트를 캡처하는 픽셀 센서의 2차원 좌표들을 포함하는 튜플(tuple)을 합성하는 것을 포함한다. 예를 들어, 도 6에서, 타일(620-k)은 타일 헤더에서 0으로 값이 매겨진 이벤트 볼륨 표시자를 가지며, 이는 타일이 캄 타일이라는 것을 표시한다. 따라서, 디바이스는 튜플, 예를 들어 (온/오프, Y, X)를 합성함으로써 타일(620-k)을 인코딩한다.
본 명세서에 설명된 방법(500)은, 코드 시퀀스를 생성함으로써 그리고 비지 영역의 집계된 표현을 제공함으로써 조밀한 영역에 대해 요구되는 비트의 수를 감소시킨다. 반면에, 이벤트들이 제1 영역에서 희소할 때, 효율을 위해 개별 이벤트 인코딩이 수행된다. 이와 같이, 본 명세서에 설명된 실시예들에 따른 시스템들 및 방법들은 오버헤드를 감소시키고, 이벤트 카메라 데이터 프로세싱의 효율을 개선시킨다.
이제, 도 7을 참조하면, 예시적인 다기능 디바이스(700)의 단순화된 기능 블록 다이어그램이 일부 실시예들에 따라 도시된다. 일부 실시예들에서, 다기능 전자 디바이스(700)는 프로세서(705), 디스플레이(710), 사용자 인터페이스(715), 그래픽 하드웨어(720), 디바이스 센서들(725)(예를 들어, 근접 센서/주변 광 센서, 가속도계 및/또는 자이로스코프), 마이크로폰(730), 오디오 코덱(들)(735), 스피커(들)(740), 통신 회로부(745), (예를 들어, 카메라 시스템(100)을 포함하는) 디지털 이미지 캡처 회로부(750), (예를 들어, 디지털 이미지 캡처 유닛(750)을 지원하는) 비디오 코덱(들)(755), 메모리(760), 저장 디바이스(765), 및 통신 버스(770)를 포함한다. 일부 실시예들에서, 다기능 전자 디바이스(700)는 디지털 카메라 또는 개인 전자 디바이스, 이를테면 개인 휴대 정보 단말기(PDA), 개인 음악 플레이어, 모바일 텔레폰, 또는 태블릿 컴퓨터이다.
일부 실시예들에서, 프로세서(705)는 디바이스(700)에 의해 수행되는 많은 기능들의 동작(예를 들어, 본 명세서에 개시된 바와 같은 이미지들의 생성 및/또는 프로세싱)을 수행하거나 제어하는 데 필요한 명령어들을 실행한다. 예를 들어, 프로세서(705)는 디스플레이(710)를 구동시키고 사용자 인터페이스(715)로부터 사용자 입력을 수신한다. 일부 실시예들에서, 사용자 인터페이스(715)는 사용자가 디바이스(700)와 상호작용하게 허용한다. 예를 들어, 사용자 인터페이스(715)는 다양한 형태들, 이를테면 버튼, 키패드, 다이얼, 클릭 휠, 키보드, 디스플레이 스크린 및/또는 터치 스크린을 취할 수 있다. 프로세서(705)는 또한, 예를 들어 모바일 디바이스들에서 발견되는 것과 같은 시스템-온-칩이고, 전용 그래픽 프로세싱 유닛(GPU)을 포함할 수 있다. 일부 실시예들에서, 프로세서(705)는 감소된 명령어-세트 컴퓨터(RISC) 또는 복합 명령어-세트 컴퓨터(CISC) 아키텍처들 또는 임의의 다른 적합한 아키텍처에 기초하며, 하나 이상의 프로세싱 코어들을 포함할 수 있다. 일부 실시예들에서, 그래픽 하드웨어(720)는 그래픽을 프로세싱하기 위한 및/또는 그래픽 정보를 프로세싱하도록 프로세서(705)를 보조하기 위한 특수 목적 계산 하드웨어이다. 일부 실시예에서, 그래픽 하드웨어(720)는 프로그래밍가능 GPU를 포함한다.
일부 실시예들에서, 렌즈(754)를 통해, 이미지 캡처 회로부(750)는 이미지들 및/또는 이벤트들을 캡처하기 위해 센서들(또는 픽셀 센서들, 또는 센서 요소들, 또는 픽셀 요소들)(752)을 사용한다. 이미지 캡처 회로부(750)로부터의 출력은 비디오 코덱(들)(765) 및/또는 프로세서(705) 및/또는 그래픽 하드웨어(720), 및/또는 회로부(765) 내에 통합된 전용 이미지 프로세싱 유닛 또는 파이프라인에 의해, 적어도 부분적으로 프로세싱된다. 그렇게 캡처된 이미지들은 메모리(760) 및/또는 저장소(755)에 저장된다.
일부 실시예들에서, 센서들(752) 및 카메라 회로부(750)에 의해 캡처된 이미지들은 비디오 코덱(들)(755) 및/또는 프로세서(705) 및/또는 그래픽 하드웨어(720), 및/또는 회로부(750) 내에 통합된 전용 이미지 프로세싱 유닛에 의해 적어도 부분적으로, 본 명세서에 개시된 방법들에 따라 프로세싱된다. 그렇게 캡처된 및/또는 프로세싱된 이미지들은 메모리(760) 및/또는 저장소(765)에 저장된다. 메모리(760)는 디바이스 기능들을 수행하기 위해 프로세서(705) 및 그래픽 하드웨어(720)에 의해 사용되는 하나 이상의 상이한 유형들의 미디어를 포함한다. 예를 들어, 메모리(760)는 메모리 캐시, 판독 전용 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 저장소(765)는 미디어(예를 들어, 오디오, 이미지 및 비디오 파일들), 컴퓨터 프로그램 명령어들 또는 소프트웨어, 선호도 정보, 디바이스 프로파일 정보, 및 임의의 다른 적합한 데이터를 저장할 수 있다. 일부 실시예들에서, 저장소(765)는, 예를 들어 자기 디스크들(고정형, 플로피, 및 착탈가능) 및 테이프, 광학 미디어, 이를테면 CD-ROM들 및 디지털 비디오 디스크(DVD)들, 및 반도체 메모리 디바이스들, 이를테면 전기적으로 프로그래밍가능 판독 전용 메모리(EPROM), 및 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(EEPROM)를 포함하는 하나 이상의 비일시적 저장 매체들을 포함한다. 일부 실시예들에서, 메모리(760) 및 저장소(765)는 하나 이상의 모듈들로 조직화되고 임의의 원하는 컴퓨터 프로그래밍 언어로 쓰여지는 컴퓨터 프로그램 명령어들 또는 코드를 유형으로 보유하기 위해 사용된다. 예를 들어, 프로세서(705)에 의해 실행될 때, 그러한 컴퓨터 프로그램 코드는 본 명세서에 설명된 방법들 중 하나 이상을 구현한다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 설명되었다. 그러나, 위의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 위의 교시 내용들에 비추어 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 이용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.

Claims (20)

  1. 이벤트 카메라 데이터 프로세싱을 위한 방법으로서,
    하나 이상의 프로세서들, 비일시적 메모리, 및 제1 영역에 걸쳐 분포된 복수의 픽셀 센서들을 포함하는 이벤트 카메라를 갖는 디바이스에서:
    제1 시간 기간을 복수의 서브-기간들로 분할하고 상기 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 개개의 이벤트 스트림의 상기 픽셀 이벤트들을 비닝(bin)함으로써, 상기 제1 시간 기간에 걸친 상기 복수의 픽셀 센서 중 대응하는 하나 이상으로부터의 하나 이상의 이벤트 스트림을 이벤트 프레임들로 변환하는 단계;
    상기 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계치를 초과한다는 결정에 응답하여, 제1 인코딩 프로세스를 사용하여, 상기 특정 서브-기간에 대한 상기 제1 영역에 대한 상기 픽셀 이벤트들을 인코딩하는 단계; 및
    상기 제1 영역 내의 상기 픽셀 이벤트들의 수가 상기 특정 서브-기간 내에서 상기 임계치 이하라는 결정에 응답하여, 제2 인코딩 프로세스를 사용하여, 상기 특정 서브-기간에 대한 상기 제1 영역에 대한 상기 픽셀 이벤트들을 인코딩하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 인코딩 프로세스는:
    상기 제1 영역 내의 상기 픽셀 이벤트들의 수가 상기 특정 서브-기간 내에서 상기 임계치를 초과한다는 것을 표시하는 이벤트 볼륨 표시자를 생성하는 것; 및
    상기 특정 서브-기간 내에서 상기 제1 영역 내의 상기 픽셀 이벤트들의 수의 집계된 표현을 제공하는 것을 포함하는, 방법.
  3. 제1항에 있어서, 상기 제1 인코딩 프로세스는 상기 제1 영역 내의 개개의 픽셀 센서에 대응하는 픽셀의 개개의 밝기 표시자 값을 개별적으로 표현하는 코드 시퀀스를 생성하는 것을 포함하는, 방법.
  4. 제3항에 있어서, 각각의 픽셀은 상기 코드 시퀀스에서 2개의 비트들에 의해 표현되는, 방법.
  5. 제1항에 있어서, 상기 제2 인코딩 프로세스는, 특정 픽셀 이벤트에 대해, 튜플(tuple)을 합성하는 것을 포함하고, 상기 튜플은:
    상기 특정 픽셀 이벤트에 대응하는 픽셀의 개개의 밝기 표시자 값; 및
    상기 특정 픽셀 이벤트를 캡처하는 픽셀 센서의 2차원 좌표들을 포함하는, 방법.
  6. 제1항에 있어서, 상기 임계치는 상기 제1 영역에 걸친 픽셀 센서들의 수의 함수인, 방법.
  7. 제1항에 있어서, 상기 제1 영역은 상기 이벤트 카메라의 동작가능한 센서 영역인, 방법.
  8. 제7항에 있어서, 상기 제1 영역 내의 상기 복수의 픽셀 센서들을 이벤트 프레임으로 어드레싱하는 단계를 더 포함하고, 상기 이벤트 프레임의 프레임 헤더는 개개의 프레임 서브-기간 식별자와 연관되는, 방법.
  9. 제1항에 있어서, 상기 제1 영역은 상기 이벤트 카메라의 동작가능한 영역의 서브-부분인, 방법.
  10. 제9항에 있어서, 상기 제1 영역 내의 상기 복수의 픽셀 센서들을 타일로 어드레싱하는 단계를 더 포함하고, 특정 픽셀 센서의 타일 어드레스는 개개의 타일 식별자와, 상기 개개의 타일 식별자와 연관된 상기 특정 픽셀 센서의 포지션 로케이터(position locator)의 조합인, 방법.
  11. 제1항에 있어서,
    상기 제1 시간 기간에 걸쳐 상기 이벤트 카메라의 상기 복수의 픽셀 센서들 각각으로부터 개개의 이벤트 스트림을 획득하는 단계 - 각각의 이벤트 스트림은 개개의 밝기 표시자 값 및 타임스탬프에 의해 특징지어지는 하나 이상의 이벤트들을 포함함 -; 및
    각각의 이벤트 스트림에 대한 픽셀 이벤트들을 비닝하는 단계를 더 포함하는, 방법.
  12. 제11항에 있어서, 상기 개개의 밝기 표시자 값은 다수의 별개의 전기 임계 레벨 값들 중 하나를 포함하는, 방법.
  13. 이벤트 카메라 데이터 프로세싱을 위한 디바이스로서,
    제1 영역에 걸쳐 분포된 복수의 픽셀 센서들을 포함하는 이벤트 카메라;
    비일시적 메모리; 및
    하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는:
    제1 시간 기간을 복수의 서브-기간들로 분할하고 상기 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 개개의 이벤트 스트림의 상기 픽셀 이벤트들을 비닝(bin)함으로써, 상기 제1 시간 기간에 걸친 상기 복수의 픽셀 센서 중 대응하는 하나 이상으로부터의 하나 이상의 이벤트 스트림을 이벤트 프레임들로 변환하고;
    상기 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계치를 초과한다는 결정에 응답하여, 제1 인코딩 프로세스를 사용하여, 상기 특정 서브-기간에 대한 상기 제1 영역에 대한 상기 픽셀 이벤트들을 인코딩하고; 및
    상기 제1 영역 내의 상기 픽셀 이벤트들의 수가 상기 특정 서브-기간 내에서 상기 임계치 이하라는 결정에 응답하여, 제2 인코딩 프로세스를 사용하여, 상기 특정 서브-기간에 대한 상기 제1 영역에 대한 상기 픽셀 이벤트들을 인코딩하는, 디바이스.
  14. 제13항에 있어서, 상기 제1 인코딩 프로세스는:
    상기 제1 영역 내의 상기 픽셀 이벤트들의 수가 상기 특정 서브-기간 내에서 상기 임계치를 초과한다는 것을 표시하는 이벤트 볼륨 표시자를 생성하는 것; 및
    상기 특정 서브-기간 내에서 상기 제1 영역 내의 상기 픽셀 이벤트들의 수의 집계된 표현을 제공하는 것을 포함하는, 디바이스.
  15. 제13항에 있어서, 상기 제1 인코딩 프로세스는 상기 제1 영역 내의 개개의 픽셀 센서에 대응하는 픽셀의 개개의 밝기 표시자 값을 개별적으로 표현하는 코드 시퀀스를 생성하는 것을 포함하는, 디바이스.
  16. 제15항에 있어서, 각각의 픽셀은 상기 코드 시퀀스에서 2개의 비트들에 의해 표현되는, 디바이스.
  17. 제13항에 있어서, 상기 제2 인코딩 프로세스는, 특정 픽셀 이벤트에 대해, 튜플(tuple)을 합성하는 것을 포함하고, 상기 튜플은:
    상기 특정 픽셀 이벤트에 대응하는 픽셀의 개개의 밝기 표시자 값; 및
    상기 특정 픽셀 이벤트를 캡처하는 픽셀 센서의 2차원 좌표들을 포함하는, 디바이스.
  18. 제13항에 있어서, 상기 임계치는 상기 제1 영역에 걸친 픽셀 센서들의 수의 함수인, 디바이스.
  19. 명령어들이 저장된 이벤트 카메라 데이터 프로세싱을 위한 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은, 제1 영역에 걸쳐 분포된 복수의 픽셀 센서들을 포함하는 이벤트 카메라를 갖는 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 디바이스로 하여금,
    제1 시간 기간을 복수의 서브-기간들로 분할하고 상기 복수의 서브-기간들 및 픽셀 이벤트들의 개개의 타임스탬프들에 기초하여 개개의 이벤트 스트림의 상기 픽셀 이벤트들을 비닝(bin)함으로써, 상기 제1 시간 기간에 걸친 상기 복수의 픽셀 센서 중 대응하는 하나 이상으로부터의 하나 이상의 이벤트 스트림을 이벤트 프레임들로 변환하고;
    상기 제1 영역 내의 픽셀 이벤트들의 수가 특정 서브-기간 내에서 임계치를 초과한다는 결정에 응답하여, 제1 인코딩 프로세스를 사용하여, 상기 특정 서브-기간에 대한 상기 제1 영역에 대한 상기 픽셀 이벤트들을 인코딩하고;
    상기 제1 영역 내의 상기 픽셀 이벤트들의 수가 상기 특정 서브-기간 내에서 상기 임계치 이하라는 결정에 응답하여, 제2 인코딩 프로세스를 사용하여, 상기 특정 서브-기간에 대한 상기 제1 영역에 대한 상기 픽셀 이벤트들을 인코딩하게 하는, 비일시적 컴퓨터 판독가능 매체.
  20. 제19항에 있어서, 상기 임계치는 상기 제1 영역에 걸친 픽셀 센서들의 수의 함수인, 비일시적 컴퓨터 판독가능 매체.
KR1020227006559A 2017-09-28 2018-09-27 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법 KR102423565B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762564818P 2017-09-28 2017-09-28
US62/564,818 2017-09-28
PCT/US2018/053145 WO2019067732A1 (en) 2017-09-28 2018-09-27 SYSTEM AND METHOD FOR PROCESSING EVENT CAMERA DATA
KR1020207008897A KR102373261B1 (ko) 2017-09-28 2018-09-27 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008897A Division KR102373261B1 (ko) 2017-09-28 2018-09-27 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220031750A KR20220031750A (ko) 2022-03-11
KR102423565B1 true KR102423565B1 (ko) 2022-07-20

Family

ID=63915366

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207008897A KR102373261B1 (ko) 2017-09-28 2018-09-27 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법
KR1020227006559A KR102423565B1 (ko) 2017-09-28 2018-09-27 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207008897A KR102373261B1 (ko) 2017-09-28 2018-09-27 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법

Country Status (4)

Country Link
US (3) US10992887B2 (ko)
KR (2) KR102373261B1 (ko)
CN (2) CN115052141B (ko)
WO (1) WO2019067732A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018005712T5 (de) * 2017-10-30 2020-07-23 Sony Semiconductor Solutions Corporation Solid-state bildaufnahmeelement
US11818475B2 (en) * 2018-09-28 2023-11-14 Sony Corporation Data processing device, data processing method, and program
EP3690736A1 (en) * 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
CN111695681B (zh) * 2020-06-16 2022-10-11 清华大学 一种高分辨率动态视觉观测方法及装置
CN112131991B (zh) * 2020-09-15 2024-01-23 厦门大学 一种基于事件相机的数据关联方法
CN114519017B (zh) * 2020-11-18 2024-03-29 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
KR20220076944A (ko) * 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN112712170B (zh) * 2021-01-08 2023-06-20 西安交通大学 基于输入加权脉冲神经网络的神经形态视觉目标分类系统
CN113572998B (zh) * 2021-09-22 2021-12-28 中科南京智能技术研究院 一种基于事件相机的数据集采集方法及系统
CN114140656B (zh) * 2022-02-07 2022-07-12 中船（浙江）海洋科技有限公司 一种基于事件相机的海上船舶目标识别方法
CN117897956A (zh) * 2022-02-24 2024-04-16 华为技术有限公司 基于上下文的事件相机无损图像压缩
WO2024012685A1 (en) * 2022-07-14 2024-01-18 Huawei Technologies Co., Ltd. Event frame lossless compression frameworks, and memory-efficient representations for random access to event frame pixels

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997028641A1 (en) 1996-01-22 1997-08-07 California Institute Of Technology Active pixel sensor array with multiresolution readout
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313592B (zh) * 2005-09-27 2011-03-02 高通股份有限公司 用于与时域边界进行数据对准的方法和装置
KR100872878B1 (ko) * 2006-09-29 2008-12-10 (주)로그시스 감시 카메라의 이벤트 검출 촬영시스템
DE102009006560B4 (de) * 2009-01-27 2011-06-16 Freie Universität Berlin Verfahren und Sensornetz zur Merkmalsauswahl für eine Ereigniserkennung
US8718386B2 (en) * 2010-02-23 2014-05-06 Intellectual Ventures Fund 83 Llc Adaptive event timeline in consumer image collections
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
CN103824454B (zh) * 2014-02-21 2015-10-21 南京莱斯信息技术股份有限公司 基于视频事件检测的多区域违法自动抓拍方法
JP2015177481A (ja) * 2014-03-18 2015-10-05 株式会社 日立産業制御ソリューションズ 監視カメラ装置および監視カメラシステム
KR20150120124A (ko) * 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
US9883122B2 (en) * 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
US10147024B2 (en) * 2014-09-16 2018-12-04 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
CN108028908A (zh) * 2015-09-25 2018-05-11 高通股份有限公司 用于视频处理的系统和方法
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
US9934557B2 (en) * 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
WO2018152214A1 (en) * 2017-02-14 2018-08-23 The Trustees Of The University Of Pennsylvania Event-based feature tracking
US10348994B2 (en) * 2017-04-06 2019-07-09 Samsung Electronics Co., Ltd. Intensity image acquisition from dynamic vision sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997028641A1 (en) 1996-01-22 1997-08-07 California Institute Of Technology Active pixel sensor array with multiresolution readout
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data

Also Published As

Publication number Publication date
KR20220031750A (ko) 2022-03-11
US11190715B2 (en) 2021-11-30
CN115052141B (zh) 2023-10-03
US20210211592A1 (en) 2021-07-08
CN111247801B (zh) 2022-06-14
US20220046191A1 (en) 2022-02-10
KR20200068654A (ko) 2020-06-15
CN111247801A (zh) 2020-06-05
US11611715B2 (en) 2023-03-21
CN115052141A (zh) 2022-09-13
US10992887B2 (en) 2021-04-27
KR102373261B1 (ko) 2022-03-10
WO2019067732A1 (en) 2019-04-04
US20200260022A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
KR102423565B1 (ko) 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법
JP7383616B2 (ja) イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ
KR102523510B1 (ko) 이벤트 카메라를 이용한 정적 이미지들의 생성
US20200005468A1 (en) Method and system of event-driven object segmentation for image processing
TWI543610B (zh) 電子裝置及其影像選擇方法
US9864436B2 (en) Method for recognizing motion gesture commands
US20190364230A1 (en) Method of processing data for dynamic vision sensor, dynamic vision sensor performing the same and electronic device including the same
KR102188613B1 (ko) 컴퓨터―비전 애플리케이션들을 위한 적응형 데이터 경로
CN104349080A (zh) 一种图像处理方法及电子设备
CN104125419A (zh) 一种基于cmos图像传感器的自适应分辨率实现方法
KR20200011000A (ko) 증강 현실 프리뷰 및 위치 추적을 위한 장치 및 방법
US10769416B2 (en) Image processing method, electronic device and storage medium
CN106201712B (zh) 增强现实中目标识别频率的调整方法、装置及移动终端
KR20190087119A (ko) 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
US20100053326A1 (en) Image sensor, the operating method and usage thereof
US10237492B2 (en) Image sensor circuit removing flicker and camera device including the same
KR20240055736A (ko) 감소된 레이턴시를 위한 카메라 초기화
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
CN107852461B (zh) 用于执行图像捕获的方法和设备
TWI703512B (zh) 移動偵測方法及其電路

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant