KR20220039022A - 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법 - Google Patents

비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220039022A
KR20220039022A KR1020200121581A KR20200121581A KR20220039022A KR 20220039022 A KR20220039022 A KR 20220039022A KR 1020200121581 A KR1020200121581 A KR 1020200121581A KR 20200121581 A KR20200121581 A KR 20200121581A KR 20220039022 A KR20220039022 A KR 20220039022A
Authority
KR
South Korea
Prior art keywords
event
time
pixel
frame
response time
Prior art date
Application number
KR1020200121581A
Other languages
English (en)
Inventor
서종석
김정석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200121581A priority Critical patent/KR20220039022A/ko
Priority to US17/332,377 priority patent/US11418735B2/en
Priority to DE102021115966.0A priority patent/DE102021115966A1/de
Priority to CN202111105367.6A priority patent/CN114257767A/zh
Publication of KR20220039022A publication Critical patent/KR20220039022A/ko

Links

Images

Classifications

    • H04N5/3572—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H04N5/2351—
    • H04N5/355—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

비전 센서를 포함하는 이미지 처리 장치가 제공된다. 본 발명의 이미지 처리 장치는 복수의 픽셀을 포함하고, 각각의 픽셀은 빛의 세기 변화를 센싱하여 프레임 단위로 복수의 이벤트들을 생성하고, 복수의 이벤트가 발생한 시간에 관한 복수의 타임 스탬프가 생성되는 비전 센서와, 조도값 및 픽셀의 위치에 따른 응답 시간에 기초하여 이벤트 데이터 패킷을 보정하여 출력하는 프로세서를 포함한다.

Description

비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법{IMAGE PROCESSING DEVICE INCLUDING VISION SENSOR}
본 발명은 비전 센서(Vision sensor)를 포함하는 이미지 처리 장치에 관한 것이다.
일반적으로 이미지 센서는 크게 동기식으로 동작하는 이미지 센서와 비동기식으로 동작하는 이미지 센서로 구분될 수 있다. 동기식으로 동작하는 이미지 센서의 대표적인 예로써 CMOS (complementary metal-oxide semiconductor) 이미지 센서가 있다. 비동기식으로 동작하는 이미지 센서의 대표적인 예로써 DVS (dynamic vision sensor)와 같은 비전 센서가 있다.
다이나믹 비전 센서(dynamic vision sensor; DVS)는 프레임들 안의 장면을 수집하지 않고, 인간의 망막과 유사하게 기능한다 즉, 다이나믹 비전 센서는 이벤트가 발생한 때의 장면 내의 특정 위치에서 화소의 휘도(예를 들어, 이벤트)의 변화만을 송신한다.
다이나믹 비전 센서의 출력은 각 이벤트가 특정 스테이트와 연관된 이벤트들의 스트림이다. 예를 들어, 특정 스테이트는 카메라 어레이 안의 이벤트의 위치 및 연관된 위치의 바로 이전의 스테이트에 비하여 연관된 이벤트의 휘도가 포지티브(positive) 또는 네거티브(negative)하게 변했는지 나타내는 이진 값이다.
본 발명이 해결하고자 하는 기술적 과제는, 저조도에서 발생한 이벤트의 렌즈 쉐이딩을 개선하여 이미지 처리 장치의 성능을 향상시키는데 있다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 몇몇 실시예에 따른 이미지 처리 장치는 복수의 픽셀을 포함하고, 각각의 픽셀은 빛의 세기 변화를 센싱하여 프레임 단위로 복수의 이벤트들을 생성하고, 복수의 이벤트가 발생한 시간에 관한 복수의 타임 스탬프가 생성되는 비전 센서와, 조도값 및 픽셀의 위치에 따른 응답 시간에 기초하여 이벤트 데이터 패킷을 보정하여 출력하는 프로세서를 포함한다.
상기 기술적 과제를 달성하기 위한 몇몇 실시예에 따른 이미지 처리 장치는 각각이 빛의 세기 변화를 센싱하고, 움직이는 피사체에 의한 이벤트를 발생하는 복수의 픽셀을 포함하는 픽셀 어레이, 픽셀 어레이로부터 센싱된 상기 빛의 세기 변화를 조도값으로 출력하는 조도 검출부, 픽셀 어레이 중 적어도 하나의 픽셀을 인에이블하는 로우 AER, 이벤트가 발생하면 픽셀에서 이벤트값을 수신하는 컬럼 AER, 기설정된 주기로 타임 스탬프를 발행하는 타임 스탬퍼, 이벤트가 발생한 픽셀의 주소 및 조도값에 따른 응답 시간에 기초하여 이벤트 데이터 패킷을 보정하는 이벤트 보상부를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 몇몇 실시예에 따른 이미지 처리 장치의 동작방법은 피사체의 움직임에 따라 복수의 픽셀 어레이 중 적어도 하나는 이벤트가 발생하는 단계, 이벤트가 발생한 시간의 조도값 및 이벤트가 발생한 픽셀 어레이 내 픽셀 위치에 상응하는 렌즈 쉐이딩 정보에 기초하여, 이벤트가 발생한 시간을 보정하는 단계 및 보정된 시간에 기초하여 복수의 이벤트값들을 이벤트 데이터 패킷으로 출력하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 몇몇 실시예에 따른 이미지 처리 장치를 보여주는 블럭도이다.
도 2는 도 1에 도시된 이미지 처리 장치의 구성을 예시적으로 보여주는 블럭도이다.
도 3은 도 1에 도시된 비전 센서의 구성을 예시적으로 보여주는 블럭도이다.
도 4는 도 2에 도시된 픽셀 어레이의 예시적인 구성을 보여주는 블럭도이다.
도 5 및 도 6은 도 4에 도시된 픽셀의 구성을 예시적으로 보여주는 회로도이다.
도 7은 도 2에 도시된 픽셀 어레이의 렌즈 쉐이딩을 설명하기 위한 개념도이다.
도 8은 도 2에 도시된 이벤트 보상부의 구성을 예시적으로 보여주는 블럭도이다.
도 9는 도 8의 이벤트 보상부의 동작을 설명하기 위한 개념도이다.
도 10은 도 2에 도시된 이벤트 보상부의 구성을 예시적으로 보여주는 블럭도이다.
도 11는 도 10의 이벤트 보상부의 동작을 설명하기 위한 개념도이다.
도 12는 도 1의 이미지 처리 장치가 예시적으로 적용된 전자 장치를 보여주는 블럭도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 설명하도록 한다.
도 1은 몇몇 실시예에 따른 이미지 처리 장치를 보여주는 블럭도이다.
이미지 처리 장치(1)는 비동기식 이벤트뿐만 아니라, 동기식 이벤트를 처리하도록 구성될 수 있다. 예를 들어, 이미지 처리 장치(1)는 이벤트와 관련된 비동기식 패킷뿐만 아니라, 이벤트와 관련된 동기식 프레임들을 생성할 수 있다. 이미지 처리 장치(1)는 비전 센서(100) 및 프로세서(20)를 포함할 수 있다.
비전 센서(100)는 입사되는 빛의 세기의 변화를 감지하여 이벤트 신호를 출력할 수 있다. 예를 들어, 빛의 세기가 증가하는 이벤트가 발생하는 경우, 비전 센서(100)는 이에 대응하는 온-이벤트를 출력할 수 있다. 반대로, 빛의 세기가 감소하는 이벤트가 발생하는 경우, 비전 센서(100)는 오프-이벤트를 출력할 수 있다.
비전 센서(100)는 이벤트 기반(event-based)의 비전 센서일 수 있다. 예를 들어, 비전 센서(100)는 빛의 세기 변화가 감지되는 픽셀을 액세스하여 이벤트 신호를 출력할 수 있다. 예를 들어, 빛의 세기 변화는 비전 센서(100)에 의해 촬영되는 오브젝트의 움직임에 기인하거나, 비전 센서(100) 자체의 움직임에 기인할 수 있다. 이 경우, 비전 센서(100)에 의해 감지되거나 비전 센서(100)로부터 출력되는 이벤트 신호는 비동기식 이벤트(asynchronous event) 신호일 것이다.
또는, 비전 센서(100)는 프레임 기반(frame-based)의 비전 센서일 수 있다. 예를 들어, 비전 센서(100)는 기준 주기마다 비전 센서(100)를 구성하는 모든 픽셀들을 스캔하여 이벤트 신호들을 출력할 수 있다. 그러나 일반적인 CMOS 이미지 센서와는 달리, 비전 센서(100)는 모든 픽셀들에 대해 이벤트 신호들을 출력하지 않을 수 있으며, 빛의 세기가 감지되는 픽셀들에 대해서만 이벤트 신호들을 출력할 수 있다. 이 경우, 비전 센서(100)로부터 출력되는 이벤트 신호는 프로세서 등에 의해 동기식 이벤트(synchronous event) 신호로 변환될 수 있다.
프로세서(20)는 비전 센서(100)에 의해 감지된 신호들을 처리할 수 있다. 프로세서(20)는 ASIC (application specific integrated circuit), FPGA (field-programmable gate array), 전용 프로세서 (dedicated microprocessor), 마이크로프로세서 등을 포함할 수 있다. 또는, 프로세서(20)는 범용 프로세서 (general purpose processor)를 포함할 수 있다.
본 발명의 이미지 처리 장치(1)는 비전 센서(100)로부터 동시에 촬상된 픽셀들로부터 수신되는 이벤트가 렌즈 쉐이딩(Lens Shading)으로 인하여 응답 시간이 차이가 나는 경우 이미지 처리 장치(100)의 성능을 향상시킬 수 있다.
도 2는 도 1에 도시된 이미지 처리 장치의 구성을 예시적으로 보여주는 블럭도이다.
도 2를 참조하면, 이미지 처리 장치(1)는 픽셀 어레이(110), 로우 AER(121), 컬럼 AER(122), 조도 검출부(130), 타임스탬퍼(140), 제어부(150), 이벤트 보상부(200), 메모리(170) 및 입출력인터페이스(180)를 포함할 수 있다.
로우 AER(121)은 제어부(150)의 제어에 따라 픽셀 어레이(110)에 포함된 픽셀 중 적어도 하나를 인에이블하고, 컬럼 AER(122)는 인에이블된 픽셀로부터 센싱 값을 출력한다. 컬럼 AER(122)는 피사체의 움직임에 따라 이벤트가 발생하면, 이벤트가 발생한 픽셀의 주소(AER)를 이벤트 보상부(200)로 출력할 수 있다. 몇몇 실시예에 따라 컬럼 AER(122)은 이벤트 발생에 따라 픽셀로부터 이벤트값을 수신할 수 있고, 이벤트값은 빛의 세기 변화에 따라 온-이벤트일 수도 있고 오프-이벤트일 수도 있다.
조도 검출부(130)는 픽셀로부터 출력된 센싱 값으로부터 빛의 세기 변화에 대한 값, 즉, 조도값(L)을 검출하여 출력한다. 조도값(L)은 몇몇 실시예에 따라 픽셀 단위로 검출할 수도 있고, 패치 단위로 검출할 수도 있다.
타임 스탬퍼(140)는 기설정된 주기로 타임 스탬프를 발행할 수 있다. 타임스탬퍼(140)는 이벤트가 발생하면, 각 픽셀에서 출력되는 이벤트값에 상기 이벤트값이 생성되는 시점의 타임 스탬프를 발행할 수 있다. 이벤트 보상부(200)는 몇몇 실시예에 따라 이벤트값 생성 시점과 동시에 타임스탬프를 수신하여 두 정보를 연관시킬 수도 있고, 몇몇 실시예에 따라 이벤트값 수신 시점과 별개로 타임스탬프를 수신한 후, 두 정보를 이후에 연관시킬 수도 있다.
이벤트 보상부(200)는 이벤트가 발생한 픽셀의 주소 및 조도값(L)에 따른 응답 시간에 기초하여 이벤트 데이터 패킷을 보정할 수 있다. 구체적인 사항은 도 7 이하에서 설명하기로 한다.
제어부(150)는 각 구성요소(121, 122, 130, 140, 170, 180, 200)의 동작을 제어할 수 있다. 또는 메모리(170)로부터 데이터를 로딩하여 소정의 연산을 수행하여 출력할 수도 있다.
메모리(170)는 이벤트 보상 스킴에 관련된 정보를 저장할 수 있다. 일 실시예로 렌즈 쉐이딩 정보 및 프레임를 저장할 수 있다.
몇몇 실시예에 따라 메모리(170)는 OTP(One Time Programmable) 메모리(171)를 포함할 수 있다. 렌즈 쉐이딩 정보는 몇몇 실시예에 따라 조도값, 픽셀 위치, 패치 위치, 렌즈의 형태 등을 고려한 응답 시간에 대한 정보일 수 있다. 일 예로 응답 시간은 이벤트 발생된 시간(timing)에 대한 지연 시간을 포함할 수 있다.
이벤트 보상부(200)는 OTP(171)로부터 렌즈 쉐이딩 정보를 로딩하여, 조도 검출부(130)로부터 수신된 조도값(L, Lux Data)을 가중치로 반영할 수 있다. 예를 들어 조도값에 따라 도 7에 도시된 응답 시간 곡선을 선택할 수 있다.
렌즈 쉐이딩 정보에 조도값을 반영하는 스킴을 일 실시예로 곱셈기(251) 및 제1 가산기(252)를 포함하는 것으로 도시하였으나, 이는 다른 실시예에 따라 매핑 테이블 등 다양한 실시예로 구현할 수 있다고 할 것이다.
몇몇 실시예에 따라 메모리(170)는 프레임을 저장하는 지연이벤트 저장부(175)를 포함할 수 있다. 지연이벤트 저장부(175)는 일 실시예로 응답 시간이 가장 빠른 시점부터 가장 느린 시점까지에 생성된 복수의 프레임 각각에서, 지연대상이 되는 적어도 하나의 픽셀의 이벤트값을 저장할 수 있다.
메모리(170)는 몇몇 실시예에 따라 복수의 비휘발성 메모리 장치를 포함할 수 있고, 예시적으로 비휘발성 메모리 장치는 플래시(Flash) 메모리, 또는 ReRAM(resistive RAM), PRAM(phase change RAM), MRAM(magnetic RAM)과 같은 저항형 메모리를 포함할 수 있다. 메모리(170)는 몇몇 실시예에 따라 버퍼 메모리일 수 있으며, 몇몇 실시예에 따라 캐시(Cache), ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable PROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PRAM(Phase-change RAM), 플래시(Flash) 메모리, SRAM(Static RAM), 또는 DRAM(Dynamic RAM)을 포함할 수 있다.
입출력 인터페이스(180)는 제어부(150)와 연결되어 I2C방식으로 외부 장치와 연결되거나, 이벤트 보상부(200)와 연결되어 MIPI방식으로 외부 장치와 연결될 수 있다. 도시하지는 아니하였으나, 입출력 인터페이스(180)는 몇몇 실시예에 따라 이벤트값, 픽셀의 주소, 및 타임스탬프를 포함하는 패킷으로 생성하여 출력할 수도 있다.
이미지 처리 장치(1)는 몇몇 실시예에 따라 비전 센서(100)가 픽셀 어레이(110), 로우 AER(121), 컬럼 AER(122), 조도 검출부(130), 타임 스탬퍼(140), 제어부(150)를 포함하고, 프로세서(20)는 이벤트 보상부(200) 및 메모리(170)를 포함할 수 있다. 또는 이미지 처리 장치(1)는 몇몇 실시예에 따라 비전 센서(100)가 픽셀 어레이(110), 로우 AER(121), 컬럼 AER(122), 조도 검출부(130), 타임 스탬퍼(140), 제어부(150), 메모리(170) 및 이벤트 보상부(200)를 모두 포함할 수도 있다.
도 3은 도 1에 도시된 비전 센서의 구성을 예시적으로 보여주는 블럭도이다. 도 4는 도 2에 도시된 픽셀 어레이의 예시적인 구성을 보여주는 블럭도이고, 도 5 및 도 6은 도 4에 도시된 픽셀의 구성을 예시적으로 보여주는 회로도이다.
도 3을 참조하면, 비전 센서(100)는 픽셀 어레이(111), 및 이벤트 감지 회로(120)를 포함할 수 있다. 이벤트 감지 회로(120)는 픽셀 어레이(111)에 의해 감지되는, 빛의 세기가 증가하거나 감소하는 이벤트들을 처리하도록 구성될 수 있다. 예를 들어, 이벤트 감지 회로(120)는 AER (address event representation), 샘플러, 패킷타이저, 및 스캐너와 같은 다양한 구성 요소들 중 적어도 하나 이상을 포함할 수 있다.
픽셀 어레이(111)는 M개의 행들과 N개의 열들을 따라 매트릭스 형태로 배열된 복수의 DVS 픽셀(PX)들을 포함할 수 있다. 픽셀 어레이(111)는 빛의 세기가 증가하거나 감소하는 이벤트들을 감지하도록 구성된 복수의 픽셀들을 포함할 수 있다. 예를 들어, 각각의 픽셀은 열 방향으로 컬럼 라인과 그리고 행 방향으로 로우 라인을 통하여 이벤트 감지 회로(120)에 연결될 수 있다. 픽셀에서 이벤트가 발생하였음을 알리는 신호는, 예를 들어, 컬럼 라인을 통하여, 이벤트 감지 회로(120)에 전달될 수 있다. 각각의 픽셀에서 발생한 이벤트의 극성 정보(즉, 빛의 세기가 증가하는 온-이벤트 인지 또는 빛의 세기가 감소하는 오프-이벤트인지 여부)는, 예를 들어, 컬럼 라인을 통하여 이벤트 감지 회로(120)에 전달될 수 있다.
이벤트 감지 회로(120)는 발생한 이벤트들을 처리하도록 구성될 수 있다. 예를 들어, 이벤트 감지 회로(120)는 이벤트가 발생한 시간 정보를 포함하는 타임스탬프(timestamp)를 생성할 수 있다. 예를 들어, 이벤트 감지 회로(120)는 리셋 신호(RST)를 이벤트가 발생한 픽셀로 전달하여 픽셀을 리셋시킬 수 있다.
몇몇 실시예에 따라 픽셀 어레이(110)에 포함된 모든 픽셀들로부터 출력되는 복수의 이벤트값은 하나의 프레임을 구성할 수 있다. 즉, 프레임은 모든 픽셀들의 이벤트값을 포함할 수 있다. 또는 몇몇 실시예에 따라 프레임은 모든 픽셀이 아닌 일부 픽셀의 복수의 이벤트값을 포함할 수 있다.
이러한 예시적인 구성들에 의하면, 픽셀 어레이(111)에서 발생한 이벤트들이 픽셀 단위로 처리되거나, 복수의 픽셀들을 포함하는 픽셀 그룹 단위로 처리되거나, 컬럼 단위로 처리되거나, 또는 프레임 단위로 처리될 수 있다. 그러나, 이러한 실시 예들은 픽셀 어레이(111)를 통해 감지된 이벤트들이 다양한 방법으로 처리될 수 있다는 것을 의미할 뿐이며, 본 명세서를 통하여 설명되는 기술 사상이 이러한 구성들에 한정되지는 않는다.
도 4를 참고하면, 픽셀 어레이(110)는 픽셀 어레이(110)는 M x N의 어레이(M,N은 1이상의 자연수) 형태로 배열된 복수의 DVS 픽셀들(PX)을 포함하고, 빛의 세기 변화를 감지하여 복수의 이벤트 프레임들을 출력한다.
픽셀 어레이(110)는 몇몇 실시예에 따라 복수의 패치를 포함할 수 있다. 패치(C)는 몇몇 실시예에 따라 클러스터, 윈도우, 그룹 등 다른 호칭으로도 명명될 수도 있다고 할 것이다.
패치(C)는 복수의 DVS 픽셀을 포함할 수 있다. 패치(C)는 몇몇 실시예에 따라 K x L의 픽셀 어레이일 수 있고, 상기 K, L은 M, N보다 각각 작은, 0이상의 정수일 수 있다.
즉, 픽셀 어레이(110)는 복수의 패치로 구성되고, 각 패치는 복수의 픽셀을 포함할 수 있다. 이벤트 검출 회로(120)는 몇몇 실시예에 따라 픽셀 단위로 구동될 수도 있고, 몇몇 실시예에 따라 패치 단위로 구동될 수도 있다.
도 5는 DVS 픽셀의 예시적인 구성을 도시하는 회로도이다.
도 5를 참조하면, DVS 픽셀(300)은 광 수신단(photoreceptor)(310), 및 DVS 픽셀 백-엔드 회로(320)를 포함한다.
광 수신단(310)은 로그 증폭기(Logarithmic Amplifier; LA) 및 피드백 트랜지스터(FB)를 포함할 수 있다. 광 수신단(310)은 일 실시예로 광전 변환 소자(PSD)를 포함할 수도 있고, 다른 실시예로 광전 변환 소자(PSD)를 포함하지 않을 수도 있다. 로그 증폭기(LA)는 픽셀의 적어도 하나의 광전 변환 소자(PSD)에 의해 생성되는 포토 전류에 대응하는 전압을 증폭한다. 로그 스케일의 로그 전압(VLOG)을 출력할 수 있다. 피드백 트랜지스터(FB)는 광 수신단(310)을 DVS 픽셀 백-엔드 회로(320)와 고립시킬 수 있다.
DVS 픽셀 백-엔드 회로(320)는 로그 전압(VLOG)에 대한 다양한 처리를 수행할 수 있다. 몇몇 실시 예에 있어서, DVS 픽셀 백-엔드 회로(320)는 로그 전압(VLOG)를 증폭하고, 증폭된 전압과 기준 전압을 비교하여 광전 변환 소자(PSD)로 입사된 빛이 세기가 증가하거나 감소하는 빛인지 여부를 판별하고, 판별된 값에 대응하는 이벤트 신호(즉, 온-이벤트 또는 오프-이벤트)를 출력할 수 있다. DVS 픽셀 백-엔드 회로(320)가 온-이벤트 또는 오프-이벤트를 출력한 후, DVS 픽셀 백-엔드 회로(320)는 리셋 신호(RST)에 의해 리셋될 수 있다.
도 6은 도 5의 DVS 픽셀 백-엔드 회로의 예시적인 구성을 도시한다. DVS 픽셀 백-엔드 회로(320)는 미분기(differentiator)(321), 비교기(322), 및 읽기 회로(323)를 포함할 수 있다.
미분기(321)는 전압(VLOG)를 증폭하여 전압(VDIFF)을 생성하도록 구성될 수 있다. 몇몇 실시예에 따라, 미분기(321)는 커패시터들(C1, C2), 차동 증폭기(DA), 및 리셋 신호(RST)에 의해 동작하는 스위치(SW)를 포함할 수 있다. 예를 들어, 커패시터들(C1, C2)은 적어도 하나의 광전 변환 소자(PSD)에 의해 생성된 전기 에너지를 저장할 수 있다. 예를 들어, 커패시터들(C1, C2)의 정전 용량들은 하나의 픽셀에서 연속하여 발생할 수 있는 두 이벤트들 사이의 최단 시간(즉, 불응기(refractory period))를 고려하여 적절하게 선택될 수 있다. 스위치(SW)가 리셋 신호(RST)에 의해 스위칭-온 되면, 픽셀이 초기화될 수 있다. 리셋 신호(RST)는 로우 AER 회로(예컨대, 도 2, 121)로부터 수신될 수 있다.
비교기(322)는 차동 증폭기(DA)의 출력 전압(VDIFF)과 기준 전압(Vref)의 레벨을 비교하여, 픽셀에서 감지된 이벤트가 온-이벤트인지 또는 오프-이벤트인지 여부를 판별할 수 있다. 빛의 세기가 증가하는 이벤트가 감지되면, 비교기(322)는 온-이벤트임을 나타내는 신호(ON)를 출력할 수 있으며, 빛의 세기가 감소하는 이벤트가 감지되면, 비교기(322)는 오프-이벤트임을 나타내는 신호(OFF)를 출력할 수 있다.
읽기 회로(323)는 픽셀에서 발생한 이벤트에 관한 정보를 전송할 수 있다. 읽기 회로(323)로부터 출력되는 이벤트에 관한 정보는 발생한 이벤트가 온-이벤트 인지 또는 오프-이벤트인지 여부에 관한 정보(예컨대, 비트)를 포함할 수 있다. 읽기 회로(323)로부터 출력되는 이벤트에 관한 극성 정보(도 3, Pol)로 일컬어질 수 있다. 극성 정보는 로우 AER 회로(도 2, 121)로 전송될 수 있다.
한편, 본 실시 예에서 도시된 픽셀의 구성은 예시적인 것이며, 변화하는 빛의 세기를 감지하여 이벤트의 유형을 판별하도록 구성되는 다양한 구성의 DVS 픽셀에도 본 발명이 적용될 것이다.
도 7은 도 2에 도시된 픽셀 어레이의 렌즈 쉐이딩을 설명하기 위한 개념도이다.
도 7을 참조하면, 비전 센서(100)는 빛의 세기, 즉 조도에 따라 렌즈의 굴곡에 따른 센싱 민감도가 달라진다. 도 7에 도시된 곡선은 하나의 프레임에 포함된 복수의 이벤트값이 생성된 시간(timing)을 나타낸다.
프레임은 이벤트 감지 회로(120)에서 생성될 수 있고, 몇몇 실시예에 따라 이벤트의 극성정보(Pol), 이벤트가 발생한 픽셀의 위치(AER), 및 이벤트가 발생한 시간의 타임 스탬프를 포함할 수 있고, 몇몇 실시예에 따라 이벤트 데이터 패킷 형태일 수 있다.
고조도(Lux Bright)의 경우는 이벤트 발생시 픽셀 위치에 따른 센싱 민감도가 크지 않다. 즉, 렌즈 중앙과 렌즈 외곽 간의 응답 시간 차이(T11-T13)가 크지 않은 편이다. 이때 응답 시간은 하나의 프레임 내에 포함된 복수의 픽셀 각각에서, 이벤트가 발생한 시간들 간의 간격일 수 있다. 예를 들어, 제1 이벤트에 대한 하나의 프레임 내에서 제1 이벤트가 발생한 시간이 가장 빠른 제1 타임의 제1 픽셀과, 상기 프레임에 포함된 제1 픽셀과 다른 제2 픽셀에서의 제1 이벤트가 발생한 제2 타임 간의 시간 차이일 수 있다.
그러나, 고조도에서 저조도(Lux Dark)가 될수록 렌즈 굴곡, 즉 렌즈 쉐이딩에 따른 센싱 민감도가 점점 커진다. 구체적으로 저조도에서 이벤트가 발생하면, 렌즈의 중앙(Center)에 위치한 픽셀의 경우, T1 시점에 센싱되는데 비해, 렌즈 외곽(Edge1, Edge2)에 가까운 픽셀일수록 T2 시점, T3시점으로 이벤트 발생을 센싱하는데까지 걸리는 응답 시간이 점점 길어진다(T1-T3). 이를 렌즈 쉐이딩 현상이라 한다.
따라서, 프레임 내에서 빛의 세기, 즉 조도값과 픽셀의 위치를 고려한 렌즈 쉐이딩 효과를 보상해 줄 필요가 있다.
도 8은 도 2에 도시된 이벤트 보상부의 구성을 예시적으로 보여주는 블럭도이다. 도 9는 도 8의 이벤트 보상부의 동작을 설명하기 위한 개념도이다.
도 8을 참고하면, 이벤트 보상부(200)는 곱셈기(251), 제1 가산기(252), 위치 보정부(210), 제2 가산기(270)를 포함할 수 있다.
이벤트 보상부(200)는 제1 이벤트에 대한 하나의 프레임 내에서 제1 이벤트가 발생한 시간이 가장 빠른 제1 픽셀의 제1 타임을 기준으로, 제1 이벤트가 발생한 제2 픽셀의 제2 타임을 상기 제1 타임과의 차이만큼 보정할 수 있다.
메모리(170)는 이벤트 보상 스킴에 대한 정보를 저장할 수 있고, 일 실시예로 렌즈 쉐이딩 정보를 저장할 수 있다.
몇몇 실시예에 따라 메모리(170)는 OTP(One Time Programmable) 메모리(171)일 수 있다. 렌즈 쉐이딩 정보는 몇몇 실시예에 따라 조도값, 픽셀 위치, 패치 위치, 렌즈의 형태 등을 고려한 응답 시간에 대한 정보일 수 있다. 일 예로 응답 시간은 이벤트 발생된 시간(timing)에 대한 조정 시간을 포함할 수 있다.
이벤트 보상부(200)는 OTP(171)로부터 렌즈 쉐이딩 정보를 로딩하여, 조도 검출부(130)로부터 수신된 조도값(L, Lux Data)을 가중치로 반영할 수 있다. 예를 들어 조도값에 따라 도 7에 도시된 응답 시간 곡선을 선택할 수 있다.
렌즈 쉐이딩 정보에 조도값을 반영하는 스킴을 일 실시예로 곱셈기(251) 및 제1 가산기(252)를 포함하는 것으로 도시하였으나, 이는 다른 실시예에 따라 매핑 테이블 등 다양한 실시예로 구현할 수 있다고 할 것이다.
위치 보정부(210)는 조도값에 기초한 가중치를 적용한 렌즈쉐이딩 정보를 기초로 이벤트가 발생한 픽셀의 위치 및 이벤트값에 상응하는 적어도 하나의 조정 시간을 출력할 수 있다.
제2 가산기(270)는 해당 픽셀에서 이벤트가 발생한 시간의 타임 스탬프에 위치 보정부(210)에서 출력된 조정 시간을 적용하여 보정된 타임 스탬프(Corrected Time Stamp)를 출력할 수 있다.
도 9를 참조하면, 프레임 Frame 1에서, 응답 시간에 따라 동일한 타임스탬프가 찍히는 픽셀을 각각 다른 도형으로 도시하였다. 픽셀 어레이(110) 내 중앙의 픽셀(원형)은 이벤트가 발생한 T0시점 이후 응답 시간이 T1시간에 센싱되어 이벤트값이 생성될 수 있다. 픽셀 어레이(110)의 중간지점에 위치한 픽셀들(삼각형)는 이벤트가 발생한 T0시점 이후 응답 시간이 T2시간에 센싱되어 이벤트값이 생성될 수 있다. 픽셀 어레이(110)의 외곽에 위치한 픽셀들(사각형)은 이벤트가 발생한 T0시점 이후 응답 시간이 T3시간에 센싱되어 이벤트값이 생성될 수 있다. T0 시점을 기준으로 T1, T2, T3의 순서로 응답 시간이 길어진다. 즉, T0를 0이라고 가정하면, 응답 시간의 절대값이 T1보다 T2가 크고, T2보다 T3가 큰 값을 가질 수 있다.
이벤트 보상부(200)는 이벤트가 발생하고 가장 빠른 응답 시간을 가진 제1 타임, T1을 기준으로 T2 및 T3의 타임 스탬프 시간을 조정할 수 있다. 즉, T2를 T1시점으로 당기도록 제1 조정시간을 적용하고, T3를 T1시점으로 당기도록 제2 조정시간을 적용할 수 있다. 제1 조정시간 및 제2 조정시간 각각은 도 7 및 도 8에 도시된 바와 같이 렌즈 쉐이딩 정보로부터 픽셀의 위치 및 조도값에 기초하여 출력될 수 있다.
도 10은 도 2에 도시된 이벤트 보상부의 구성을 예시적으로 보여주는 블럭도이다. 도 11는 도 10의 이벤트 보상부의 동작을 설명하기 위한 개념도이다.
도 8을 참고하면, 이벤트 보상부(200)는 곱셈기(251), 제1 가산기(252), 지연시간 보정부(230)를 포함할 수 있다.
메모리(170)는 이벤트 보상 스킴에 대한 정보를 저장할 수 있고, 일 실시예로 렌즈 쉐이딩 정보 및 프레임를 저장할 수 있다.
몇몇 실시예에 따라 메모리(170)는 OTP(One Time Programmable) 메모리(171)를 포함할 수 있다. 렌즈 쉐이딩 정보는 몇몇 실시예에 따라 조도값, 픽셀 위치, 패치 위치, 렌즈의 형태 등을 고려한 응답 시간에 대한 정보일 수 있다. 일 예로 응답 시간은 이벤트 발생된 시간(timing)에 대한 지연 시간을 포함할 수 있다.
이벤트 보상부(200)는 OTP(171)로부터 렌즈 쉐이딩 정보를 로딩하여, 조도 검출부(130)로부터 수신된 조도값(L, Lux Data)을 가중치로 반영할 수 있다. 예를 들어 조도값에 따라 도 7에 도시된 응답 시간 곡선을 선택할 수 있다.
렌즈 쉐이딩 정보에 조도값을 반영하는 스킴을 일 실시예로 곱셈기(251) 및 제1 가산기(252)를 포함하는 것으로 도시하였으나, 이는 다른 실시예에 따라 매핑 테이블 등 다양한 실시예로 구현할 수 있다고 할 것이다.
몇몇 실시예에 따라 메모리(170)는 프레임을 저장하는 지연이벤트 저장부(175)를 포함할 수 있다. 지연이벤트 저장부(175)는 일 실시예로 응답 시간이 가장 빠른 시점부터 가장 느린 시점까지에 생성된 복수의 프레임 각각에서, 지연대상이 되는 적어도 하나의 픽셀의 이벤트값을 저장할 수 있다.
지연시간 보정부(230)는 조도값에 기초한 가중치를 적용한 렌즈쉐이딩 정보를 기초로 픽셀의 위치에 상응하는 적어도 하나의 지연 시간을 추출하고, 지연 시간 경과 후 지연이벤트 저장부(175)에 저장된 복수의 프레임들을 오버랩하여 보정된 이벤트 데이터 및 보정된 프레임 카운터를 출력할 수 있다.
도 11을 참조하면, T0시점에 이벤트가 발생하면, 응답 시간이 가장 빠른 T1시점의 프레임(Frame 1)은 픽셀 어레이(110)의 중앙에 위치한 픽셀(원형)에서만 이벤트값이 생성된다. 이후 T0시점의 이벤트에 대해, T2시점의 프레임(Frame Nth)은 픽셀 어레이(110)의 중앙과 외곽의 중간지점에 위치한 픽셀(삼각형)까지 이벤트값이 생성된다. 이어서 T0시점의 이벤트에 대해, T3시점의 프레임(Frame Mth)은 픽셀 어레이(110)의 외곽에 위치한 픽셀(사각형)까지 이벤트값이 생성된다.
다시 말하면, T3시점의 프레임(Frame Mth)에 포함된 원형의 이벤트값은 T1시점에 생성된 것이 아니라 T3시점에 생성된 새로운 이벤트값일 수 있다. 또한 T3시점의 프레임(Frame Mth)에 포함된 삼각형의 이벤트값은 T2시점에 생성된 것이 아니라 T3시점에 생성된 새로운 이벤트값일 수 있다.
즉, 이 경우 T0시점에 발생한 이벤트에 대해 픽셀 각각의 위치에 따라 이벤트값이 복수의 프레임에 각각에 분산되어 포함될 수 있다. 따라서 이벤트 보상부(200)는 응답 시간이 가장 긴 시점의 픽셀에서 이벤트값이 생성될 때까지 기다렸다가, 이미 생성된 이벤트값들을 모두 합쳐서 하나의 프레임으로 출력할 수 있다.
즉, 지연이벤트 저장부(175)는 T1시점부터 T3시점 사이에 생성된, 복수의 프레임에서 지연 대상이 되는 이벤트값들(도시된 예에서 원형, 삼각형)을 저장하였다가, T3시점에서 사각형의 픽셀에서 이벤트값이 생성되면, 이를 T3시점의 한 프레임으로 합쳐서 출력할 수 있다.
이를 위해 이벤트 보상부(200)는 원형의 이벤트값에 상응하는 시간정보에 제1 지연시간을 더하여, 보정된 시간정보로 원형 이벤트값을 출력할 수 있다. 이벤트 보상부(200)는 삼각형의 이벤트값에 상응하는 시간정보에 제2 지연시간을 더하여, 보정된 시간정보로 원형 이벤트값을 출력할 수 있다. 이때 시간 정보는 일 실시예에 따라 타임 스탬프일 수도 있고, 다른 실시예에 따라 프레임 카운트값일 수도 있다. 제1 지연시간 및 제2 지연시간 각각은 각각은 도 7 및 도 10에 도시된 바와 같이 렌즈 쉐이딩 정보로부터 픽셀의 위치 및 조도값에 기초하여 출력될 수 있다.
도 12는 도 1의 이미지 처리 장치가 예시적으로 적용된 전자 장치를 보여주는 블럭도이다.
예를 들어, 전자 기기(1000)는 스마트폰, 태블릿 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 웨어러블(Wearable) 기기로 구현될 수 있다. 나아가, 전자 기기(1000)는 무인 경비 시스템, 사물 인터넷, 자율 주행 자동차를 운영하는데 필요한 다양한 유형의 전자 기기들 중 하나로 구현될 수 있다
전자 기기(1000)는 이미지 처리 장치(1100), 메인 프로세서(1200), 워킹 메모리(1300), 스토리지(1400), 디스플레이(1500), 통신 블럭(1600), 및 유저 인터페이스(1700)를 포함할 수 있다.
이미지 처리 장치(1100)는 앞서 도 1 내지 도 11을 통하여 설명된 스킴을 실행하도록 구현된 이미지 처리 장치일 수 있다.
한편, 이벤트 보상 스킴은 프로세서(1120) 대신에, 메인 프로세서(1200)에 의해 소프트웨어 또는 펌웨어로서 수행될 수도 있다. 이 경우, 이벤트 발생 시간을 응답 시간으로 보상하는 스킴을 실현하는 펌웨어 또는 소프트웨어인 이벤트 보상부(200)는 워킹 메모리(1300)에 로딩될 수 있으며, 메인 프로세서(1200)는 이를 구동할 수 있다. 이 경우, 이벤트 보상 스킴은 메인 프로세서(1200)에 의해 구동/처리되기 때문에, 이 경우 프로세서(1120)는 생략될 수 있다.
워킹 메모리(1300)는 전자 기기(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 프로세서(1120)에 의해 처리된 패킷들 또는 프레임들을 일시적으로 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
스토리지(1400)는 이벤트 보상 스킴을 수행하기 위한 펌웨어 또는 소프트웨어를 저장할 수 있다. 이벤트 보상 스킴을 수행하기 위한 펌웨어 또는 소프트웨어는 메인 프로세서(1200)의 요청 또는 명령에 따라 스토리지(1400)로부터 읽힐 수 있으며, 워킹 메모리(1300)에 로딩될 수 있다. 스토리지(1400)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.
디스플레이(1500)는 디스플레이 패널 및 DSI (display serial interface) 주변 회로를 포함할 수 있다. 예를 들어, 디스플레이 패널은 LCD (Liquid Crystal Display) 장치, LED (Light Emitting Diode) 표시 장치, OLED (Organic LED) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치 등과 같은 다양한 장치로 구현될 수 있다. 메인 프로세서(1200)에 내장된 DSI 호스트는 DSI를 통하여 디스플레이 패널과 시리얼 통신을 수행할 수 있다. DSI 주변 회로는 디스플레이 패널을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다.
통신 블럭(1600)은 안테나를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 블럭(1600)의 송수신기(1610) 및 MODEM (Modulator/Demodulator, 1620)은 LTE (Long Term Evolution), WIMAX (Worldwide Interoperability for Microwave Access), GSM (Global System for Mobile communication), CDMA (Code Division Multiple Access), Bluetooth, NFC (Near Field Communication), Wi-Fi (Wireless Fidelity), RFID (Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.
유저 인터페이스(1700)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스들 중 적어도 하나를 포함할 수 있다.
전자 기기(1000)의 구성 요소들은 USB (Universal Serial Bus), SCSI (Small Computer System Interface), PCIe (Peripheral Component Interconnect Express), M-PCIe (Mobile PCIe), ATA (Advanced Technology Attachment), PATA (Parallel ATA), SATA (Serial ATA), SAS (Serial Attached SCSI), IDE (Integrated Drive Electronics), EIDE (Enhanced IDE), NVMe (Nonvolatile Memory Express), UFS (Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상에 의거하여 데이터를 교환할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1 : 이미지 처리 장치 100 : 비전 센서
20 : 프로세서
110 : 픽셀 어레이 120 : 이벤트 검출회로
121 : 로우 AER 122 : 컬럼 AER
130 : 조도 검출부 140 : 타임 스탬퍼
150 : 제어부 170 : 메모리
180 : I/F 200 : 이벤트 보상부

Claims (10)

  1. 복수의 픽셀을 포함하고, 각각의 픽셀은 빛의 세기 변화를 센싱하여 프레임 단위로 복수의 이벤트들을 생성하고, 상기 복수의 이벤트가 발생한 시간에 관한 복수의 타임 스탬프가 생성되는 비전 센서; 및
    조도값 및 상기 픽셀의 위치에 따른 응답 시간에 기초하여 이벤트 데이터 패킷을 보정하여 출력하는 프로세서를 포함하는 이미지 처리 장치.
  2. 제1항에 있어서, 상기 응답 시간은
    하나의 프레임 내에서 상기 복수의 픽셀 각각의 상기 이벤트가 발생한 상기 시간 간의 간격인, 이미지 처리 장치.
  3. 제1항에 있어서, 상기 프로세서는
    하나의 프레임 내에서 상기 이벤트가 발생한 시간이 가장 빠른 제1 픽셀의 제1 타임을 기준으로, 상기 이벤트가 발생한 제2 픽셀의 제2 타임을 상기 제1 타임과의 차이만큼 보정하는, 이미지 처리 장치.
  4. 제1항에 있어서, 상기 프로세서는
    상기 응답 시간이 가장 빠른 제1타임부터 가장 느린 제3타임 사이에 생성된 복수의 프레임에서의 각 픽셀을 상기 제3타임에 생성된 프레임에 오버랩하도록 보정하는, 이미지 처리 장치.
  5. 각각이 빛의 세기 변화를 센싱하고, 움직이는 피사체에 의한 이벤트를 발생하는 복수의 픽셀을 포함하는 픽셀 어레이;
    상기 픽셀 어레이로부터 센싱된 상기 빛의 세기 변화를 조도값으로 출력하는 조도 검출부;
    상기 픽셀 어레이 중 적어도 하나의 픽셀을 인에이블하는 로우 AER(Address Event Representation);
    상기 이벤트가 발생하면 상기 픽셀에서 이벤트값을 수신하는 컬럼 AER;
    기설정된 주기로 타임 스탬프를 발행하는 타임 스탬퍼;
    상기 이벤트가 발생한 상기 픽셀의 주소 및 조도값에 따른 응답 시간에 기초하여 이벤트 데이터 패킷을 보정하는 이벤트 보상부;
    상기 조도값 및 상기 픽셀의 위치에 따른 응답 시간을 포함하는 렌즈쉐이딩 정보를 저장하는 메모리를 포함하는, 이미지 처리 장치.
  6. 제5항에 있어서,
    상기 이벤트 보상부는
    상기 하나의 프레임 내에서 상기 이벤트가 발생한 시간이 가장 빠른 제1 픽셀의 제1 타임을 기준으로, 상기 이벤트가 발생한 제2 픽셀의 제2 타임을 상기 제1 타임과의 차이만큼 보정하는, 이미지 처리 장치.
  7. 제5항에 있어서, 상기 이벤트 보상부는
    상기 응답 시간이 가장 빠른 제1타임부터 가장 느린 제3타임 사이에 생성된 복수의 프레임에서의 각 픽셀을 상기 제3타임에 생성된 프레임에 오버랩하도록 보정하는, 이미지 처리 장치.
  8. 피사체의 움직임에 따라 복수의 픽셀 어레이 중 적어도 하나는 이벤트가 발생하는 단계;
    상기 이벤트가 발생한 시간의 조도값 및 상기 이벤트가 발생한 상기 픽셀 어레이 내 픽셀 위치에 상응하는 렌즈 쉐이딩 정보에 기초하여, 상기 이벤트가 발생한 시간을 보정하는 단계; 및
    상기 보정된 시간에 기초하여 복수의 이벤트값들을 이벤트 데이터 패킷으로 출력하는 단계를 포함하는 이미지 처리 장치의 동작 방법.
  9. 제8항에 있어서, 상기 보정하는 단계는
    상기 렌즈 쉐이딩 정보에서, 상기 픽셀 위치에 따른 응답 시간을 추출하고, 상기 추출된 응답 시간에 상기 조도값을 가중치로 반영하는 단계; 및
    상기 가중치가 반영된 응답 시간을 하나의 프레임 내에서 각각의 픽셀에서의 이벤트가 발생한 타임 스탬프에 적용하는 단계를 포함하는, 이미지 처리 장치의 동작 방법.
  10. 제8항에 있어서, 상기 보정하는 단계는
    상기 렌즈 쉐이딩 정보에서, 상기 픽셀 위치에 따른 지연시간을 추출하고, 상기 추출된 지연시간에 상기 조도값을 가중치로 반영하는 단계; 및
    복수의 이벤트값이 발생한 복수의 프레임 카운터에 상기 가중치가 반영된 지연시간을 적용하는 단계를 포함하는, 이미지 처리 장치의 동작 방법.
KR1020200121581A 2020-09-21 2020-09-21 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법 KR20220039022A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200121581A KR20220039022A (ko) 2020-09-21 2020-09-21 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
US17/332,377 US11418735B2 (en) 2020-09-21 2021-05-27 Image processing device including vision sensor and operating method thereof
DE102021115966.0A DE102021115966A1 (de) 2020-09-21 2021-06-21 Bildverarbeitungsvorrichtung mit einem vision-sensor und betriebsverfahren dafür
CN202111105367.6A CN114257767A (zh) 2020-09-21 2021-09-22 包括视觉传感器的图像处理装置及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200121581A KR20220039022A (ko) 2020-09-21 2020-09-21 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20220039022A true KR20220039022A (ko) 2022-03-29

Family

ID=80473983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200121581A KR20220039022A (ko) 2020-09-21 2020-09-21 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US11418735B2 (ko)
KR (1) KR20220039022A (ko)
CN (1) CN114257767A (ko)
DE (1) DE102021115966A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113728616B (zh) * 2019-04-26 2024-04-12 索尼半导体解决方案公司 事件检测装置、包括事件检测装置的系统和事件检测方法
US20230260282A1 (en) * 2022-02-15 2023-08-17 Sony Group Corporation Information processing devices, information processing methods and video streaming system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4682990B2 (ja) 2007-02-06 2011-05-11 日本ビクター株式会社 カメラ画像圧縮処理装置及び圧縮処理方法
JP5240703B2 (ja) 2007-07-18 2013-07-17 あや子 松嵜 シェーディング補正用均一光源の輝度ムラ計測法
KR102399017B1 (ko) * 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
KR20180025591A (ko) 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
CN115037896A (zh) 2016-12-30 2022-09-09 索尼先进视觉传感公司 动态视觉传感器结构
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
EP3615955A4 (en) 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
US10447920B2 (en) 2017-07-05 2019-10-15 Intel Corporation Micro-saccadic actuation for an event camera
KR102683294B1 (ko) 2018-09-10 2024-07-10 삼성전자주식회사 객체를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법

Also Published As

Publication number Publication date
DE102021115966A1 (de) 2022-03-24
US20220094865A1 (en) 2022-03-24
US11418735B2 (en) 2022-08-16
CN114257767A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
US20230156368A1 (en) Image processing device configured to regenerate timestamp and electronic device including the same
US20200410272A1 (en) Vision sensor, image processing device including the vision sensor, and operating method of the vision sensor
US11582410B2 (en) Dynamic vision sensor and image processing device including the same
US11418735B2 (en) Image processing device including vision sensor and operating method thereof
US12058454B2 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US20230300282A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US12069352B2 (en) Vision sensor and operating method thereof
US11765486B2 (en) Vision sensor and image processing device including the same
US11950003B2 (en) Vision sensor and operating method of the same
US10929994B2 (en) Image processing device configured to generate depth map and method of operating the same
US20240205561A1 (en) Readout circuit supporting binning mode and dynamic vision sensor including the same
EP4093021A1 (en) Vision sensor and operating method thereof
US20240107188A1 (en) Vision sensor and image processing device including the same
KR20240125172A (ko) 비전 센서, 이의 이벤트 신호 처리 방법 및 이를 포함하는 이미지 처리 장치
US20240276109A1 (en) Vision sensor, event signal processing method of the vision sensor, and imaging processing device including the vision sensor
EP4398595A1 (en) Vision sensor and image processing device including the same
US20240312026A1 (en) Vision sensor, operating method of vision sensor, and image processing device including the vision sensor
KR102422392B1 (ko) 깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 그 동작 방법
KR20240139495A (ko) 비전 센서, 상기 비전 센서의 동작 방법 및 상기 비전 센서를 포함하는 이미지 처리 장치

Legal Events

Date Code Title Description
A201 Request for examination