KR20230018044A - 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치 - Google Patents

다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치 Download PDF

Info

Publication number
KR20230018044A
KR20230018044A KR1020210099717A KR20210099717A KR20230018044A KR 20230018044 A KR20230018044 A KR 20230018044A KR 1020210099717 A KR1020210099717 A KR 1020210099717A KR 20210099717 A KR20210099717 A KR 20210099717A KR 20230018044 A KR20230018044 A KR 20230018044A
Authority
KR
South Korea
Prior art keywords
pixel
illuminance
change
light
time
Prior art date
Application number
KR1020210099717A
Other languages
English (en)
Inventor
서민원
김정석
류현석
서윤재
신창우
이운희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210099717A priority Critical patent/KR20230018044A/ko
Priority to US17/719,647 priority patent/US11902673B2/en
Priority to CN202210588072.7A priority patent/CN115701130A/zh
Publication of KR20230018044A publication Critical patent/KR20230018044A/ko
Priority to US18/417,673 priority patent/US20240155252A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 다이나믹 비전 센서의 시간 지연 보상기 및 이를 포함하는 전자 장치에 관한 것이다. 본 개시의 실시 예에 따른 전자 장치는, 빛의 세기 변화를 감지하는 제1 복수의 픽셀들을 포함하고, 감지된 빛의 세기 변화에 기반하여 이벤트 신호를 생성하는 다이나믹 비전 센서, 빛의 조도를 추정하는 조도 추정기, 및 빛의 조도에 기반하여 이벤트 신호의 지연 시간을 계산하고, 시간 지연을 보상하는 시간 지연 보상기를 포함한다. 본 개시에 따르면, 외부의 조도 또는 조도 변화량과 관계 없이 다이나믹 비전 센서의 일관된 성능을 제공할 수 있다.

Description

다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치{ELECTRONIC DEVICE FOR COMPENSATING TIME DELAY OF DYNAMIC VISION SENSOR}
본 개시는 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치에 관한 것으로, 좀 더 상세하게는, 다이나믹 비전 센서의 이벤트 발생 시간 지연을 보상하기 위한 전자 장치에 관한 것이다.
반도체 기술이 발전함에 따라, 센서가 다양해지고 있다. 센서는 CCD 이미지 센서(Charge Coupled Device Image Sensor), 다이나믹 비전 센서(Dynamic Vision Sensor, DVS), 조도 센서(Ambient Light Sensor, ALS), 근접 센서(Proximity Sensor, PS) 등이 있다.
전자 장치는 센서를 이용하여 외부로부터의 자극에 응답할 수 있다. 외부로부터의 자극은 빛의 세기의 변화, 사용자의 터치 등일 수 있다. 센서는 외부로부터의 자극이 오면, 전기적인 신호를 출력할 수 있다. 전자 장치는 전기적인 신호에 기초하여 외부에 있는 객체의 움직임 또는 주변 환경의 변화를 인지할 수 있다.
예로서, 다이나믹 비전 센서가 빛의 세기 변화를 감지하는 경우, 다이나믹 비전 센서는 조도 환경에 따라 빛의 세기 변화를 감지하는 시점에 차이를 가질 수 있다. 따라서 다이나믹 비전 센서의 이벤트 신호에 포함된 시간 데이터가 실제 이벤트 발생 시점과 다를 수 있다. 이로써 다이나믹 비전 센서를 이용하는 전자 장치의 성능이 저하되는 문제가 있다. 또한, 다이나믹 비전 센서와 이종의 센서(예컨대, CMOS 이미지 센서)가 함께 구현되는 전자 장치의 경우 다이나믹 비전 센서와 이종의 센서간 동기화가 되지 않는 문제가 있다.
본 개시의 목적은, 조도 또는 조도 변화량에 의한 다이나믹 비전 센서의 반응 시간 지연을 보상하기 위한 전자 장치를 제공하는 데 있다.
본 개시의 실시 예에 따른 전자 장치는, 빛의 세기 변화를 감지하는 제1 복수의 픽셀들을 포함하고, 상기 감지된 빛의 세기 변화에 기반하여 이벤트 신호를 생성하는 다이나믹 비전 센서, 빛의 조도를 추정하는 조도 추정기, 및 상기 빛의 조도에 기반하여 상기 이벤트 신호의 지연 시간을 계산하고, 시간 지연을 보상하는 시간 지연 보상기를 포함한다.
본 개시의 실시 예에 따른 전자 장치는, 빛의 세기 변화를 감지하는 제1 픽셀을 포함하고, 상기 감지된 빛의 세기 변화에 기반하여 제1 이벤트 신호를 생성하는 다이나믹 비전 센서, 빛의 세기에 대응하여 제1 이미지 데이터를 생성하는 CMOS(complementary metal-oxide-semiconductor) 이미지 센서를 포함하는 이미지 처리 장치, 상기 제1 이미지 데이터에 기반하여 빛의 조도 및 빛의 조도 변화량 중 적어도 어느 하나를 계산하는 조도 계산기, 및 상기 빛의 조도 및 상기 빛의 조도 변화량 중 적어도 어느 하나에 기반하여 상기 제1 이벤트 신호의 지연 시간을 계산하고, 시간 지연을 보상한 제2 이벤트 신호를 생성하는 시간 지연 보상기를 포함하되, 상기 CMOS 이미지 센서는 제2 픽셀을 포함한다.
본 개시의 실시 예에 따른 전자 장치는, 객체에 반사된 빛에 기반하여 전기 신호를 생성하는 복수의 카메라 모듈들을 포함하는 카메라 모듈 그룹, 상기 전기 신호를 처리하는 애플리케이션 프로세서를 포함하되, 상기 복수의 카메라 모듈들 중 제1 카메라 모듈은 다이나믹 비전 센서로 구현되고, 상기 복수의 카메라 모듈들 중 제2 카메라 모듈은 이미지 센서로 구현되고, 상기 제1 카메라 모듈은 빛의 세기 변화에 기반하여 이벤트 신호를 생성하고, 상기 제2 카메라 모듈은 프레임 단위로 이미지 데이터를 생성하고, 상기 애플리케이션 프로세서는 상기 이미지 데이터에 기반하여 빛의 조도 및 빛의 조도 변화량 중 적어도 어느 하나를 추정하고, 상기 빛의 조도 및 상기 빛의 조도 변화량 중 적어도 어느 하나에 기반하여 상기 이벤트 신호의 지연 시간만큼 시간 지연을 보상한다.
본 개시의 실시 예에 따른 전자 장치의 동작 방법은, 빛의 세기 변화를 감지하여 이벤트 신호를 생성하는 단계, 조도 또는 조도 변화량을 추정하는 단계, 그리고 상기 추정된 조도 또는 조도 변화량에 기반하여 상기 이벤트 신호의 시간 지연을 보상하는 단계를 포함한다.
본 개시에 의하면, 외부의 조도 또는 조도 변화량과 관계 없이 다이나믹 비전 센서의 일관된 성능을 제공할 수 있다.
본 개시의 일 실시 예에 따르면, 다이나믹 비전 센서를 활용한 모션 디블러 성능이 높아질 수 있다.
도 1은 본 개시의 실시 예에 따른 전자 장치(10)의 구성을 개략적으로 보여주는 구성도이다.
도 2a는 픽셀 조도에 따라 다이나믹 비전 센서에서 발생하는 시간 지연을 예시적으로 보여주는 그래프이다.
도 2b는 픽셀 조도 변화량에 따라 다이나믹 비전 센서에서 발생하는 시간 지연을 예시적으로 보여주는 그래프이다.
도 3은 본 개시의 실시 예에 따라 다이나믹 비전 센서에서 발생한 시간 지연을 보상하는 방법을 설명하기 위한 개념도이다.
도 4는 도 1의 다이나믹 비전 센서(100)의 예시적인 구성을 좀 더 상세하게 보여주는 구성도이다.
도 5는 도 2의 픽셀(PX)의 예시적인 구성을 보여주는 회로도이다.
도 6은 도 2의 픽셀(PX)의 예시적인 구성을 좀 더 상세하게 보여주는 회로도이다.
도 7은 도 1의 조도 추정기(200)의 예시적인 구성을 좀 더 상세하게 보여주는 구성도이다.
도 8은 본 개시의 실시 예에 따른 조도 추정기의 조도 추정 방법을 설명하기 위한 구성도이다.
도 9는 본 개시의 실시 예에 따른 모션 디블러를 수행하는 전자 장치(20)를 보여주는 구성도이다.
도 10은 본 개시의 다른 실시 예에 따른 모션 디블러를 수행하는 전자 장치(20)를 보여주는 구성도이다.
도 11은 본 개시의 실시 예에 따른 원본 이미지 데이터를 도시한다.
도 12a는 본 개시의 실시 예에 따른 원본 이벤트 신호를 이용하여 모션 디블러를 수행한 이미지 데이터를 도시한다.
도 12b는 본 개시의 실시 예에 따른 보상된 이벤트 신호를 이용하여 모션 디블러를 수행한 이미지 데이터를 도시한다.
도 13은 본 개시의 실시 예에 따른 SLAM을 수행하는 전자 장치(30)를 보여주는 구성도이다.
도 14는 본 개시의 다이나믹 비전 센서가 구현된 카메라 모듈을 포함하는 전자 장치의 예시적인 구성을 도시한다.
도 15는 본 개시의 예시적인 실시 예에 따른 전자 장치의 동작 방법을 보여주는 흐름도이다.
도 16은 본 개시의 예시적인 실시 예에 따른 모션 디블러를 수행하는 전자 장치의 동작 방법을 보여주는 흐름도이다.
아래에서는, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 쉽게 실시할 수 있을 정도로, 본 개시의 실시 예들이 명확하고 상세하게 기재될 것이다.
상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 블록(block), ~기(~or, ~er) 등의 용어들을 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈 (microelectromechanical system; MEMS), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.
도 1은 본 개시의 실시 예에 따른 전자 장치(10)의 구성을 개략적으로 보여주는 구성도이다. 전자 장치(10)는 다이나믹 비전 센서(dynamic vision sensor)(100), 조도 추정기(200), 및 시간 지연 보상기(300)를 포함할 수 있다. 전자 장치(10)는 데스크톱(Desktop) 컴퓨터, 랩톱(Laptop) 컴퓨터, 태블릿(Tablet), 스마트폰, 웨어러블(Wearable) 장치, 스마트 스피커, 가정 보안 사물 인터넷(Home Security IOT), 비디오 게임기(Video Game Console), 워크스테이션(Workstation), 서버(Server), 자율 주행 자동차 등과 같은 다양한 전자 장치의 일부로서 구현될 수 있다. 전자 장치(10)는 조도 또는 조도 변화량에 따른 다이나믹 비전 센서(100)의 이벤트 발생 시간 데이터의 시간 지연을 보상할 수 있다.
다이나믹 비전 센서(100)는 빛의 세기 변화를 감지할 수 있다. 예를 들어, 다이나믹 비전 센서(100)는 빛의 세기가 증가하는 이벤트(이하, 온-이벤트(on-envet)) 및/또는 빛의 세기가 감소하는 이벤트(이하, 오프-이벤트(off-event))를 감지할 수 있다. 다이나믹 비전 센서(100)는 이벤트 임계 값(event threshold)을 초과하는 빛의 세기 변화를 감지하면 신호를 생성할 수 있다. 다이나믹 비전 센서(100)는 생성된 신호를 처리한 이벤트 신호(ES)를 생성할 수 있다. 본 개시의 예시적인 실시 예에 따르면, 다이나믹 비전 센서(100)는 복수의 픽셀들을 포함할 수 있다. 예를 들어, 이벤트 신호(ES)는 이벤트가 발생한 픽셀의 위치 값, 온-이벤트 또는 오프-이벤트에 대한 정보를 포함하는 극성(polarity) 값, 및 다이나믹 비전 센서(100)가 빛의 세기 변화를 감지한 시점을 지시하는 타임스탬프 값(즉, 시간 데이터) 등을 포함할 수 있다. 다이나믹 비전 센서(100)의 구체적인 구성 및 동작은 도 4에서 설명한다.
조도 추정기(200)는 입사되는 빛의 조도(illuminance)를 추정할 수 있다. 예를 들어, 조도 추정기(200)는 외부의 광원으로부터 입사되는 빛을 픽셀 단위로 감지하고, 감지된 빛의 조도를 추정할 수 있다. 나아가, 조도 추정기(200)는 복수의 시점들에서의 빛의 조도에 기반하여 빛의 조도 변화량을 계산할 수 있다. 조도 추정기(200)는 추정된 빛의 조도 값에 기반하여 조도 정보(ID)를 생성할 수 있다. 예를 들어, 조도 정보(ID)는 다이나믹 비전 센서(100)가 생성한 이벤트 신호(ES)에 대응하는 빛에 대한 조도 값 또는 빛의 조도 변화량 값을 포함할 수 있다. 예를 들어, 조도 추정기(200)는 조도를 측정하는 센서(예컨대, 포토 레지스터(photo-resistor))로 구현될 수 있다. 그러나, 이에 한정되지 않고, 조도 추정기(200)는 조도를 직접 측정하거나 간접적으로 추정할 수 있는 어떠한 장치로도 구현될 수 있다.
본 개시의 예시적인 실시 예에 따르면, 조도 추정기(200)는 CMOS(complementary metal-oxide-semiconductor) 이미지 센서(이하, CIS)로 구현될 수 있다. CIS는 복수의 픽셀들을 포함할 수 있다. CIS의 픽셀들은 다이나믹 비전 센서(100)의 픽셀들에 대응할 수 있다. 예를 들어, CIS의 픽셀들과 다이나믹 비전 센서(100)의 픽셀들의 종횡비, 및 CIS와 다이나믹 비전 센서(100)의 해상도가 동일한 경우, CIS의 픽셀들과 다이나믹 비전 센서(100)의 픽셀들은 1 대 1로 대응할 수 있다. 반면, CIS의 픽셀들과 다이나믹 비전 센서(100)의 픽셀들의는 종횡비, 및/또는 CIS와 다이나믹 비전 센서(100)의 해상도가 상이한 경우, CIS의 픽셀들과 다이나믹 비전 센서(100)의 픽셀들은 1 대 다 또는 다 대 1로 대응할 수 있다. 예를 들어, 다이나믹 비전 센서(100)는 제1 픽셀 및 제2 픽셀을 포함할 수 있고, CIS는 제3 픽셀 및 제4 픽셀을 포함할 수 있다. 이 경우, 제1 픽셀은 제3 픽셀에 대응할 수 있고, 제2 픽셀은 제4 픽셀에 대응할 수 있다. 결과적으로, 조도 추정기(200)는 다이나믹 비전 센서(100)의 픽셀에 대응하는 CIS의 픽셀에 대한 조도 값에 기반하여, 다이나믹 비전 센서(100)의 픽셀별로 대응하는 조도 정보(ID)를 생성할 수 있다. 조도 추정기(200)가 CIS로 구현되는 실시 예에 대한 구체적인 구성 및 동작은 도 7에서 설명한다.
시간 지연 보상기(300)는 조도 정보(ID)에 기반하여 이벤트 신호(ES) 중 시간 데이터(예컨대, 타임스탬프 값)에 대한 시간 지연(time delay)을 계산하고, 시간 지연을 보상할 수 있다. 예를 들어, 이벤트 신호(ES)는 픽셀 위치 값, 극성 값, 및 타임스탬프 값 등을 포함할 수 있다. 여기서, 타임스탬프 값에 대응하는 시점은 다이나믹 비전 센서(100)가 빛의 세기 변화를 감지한 시점일 수 있다. 다이나믹 비전 센서(100)가 빛의 세기 변화를 감지한 시점은 실제 빛의 세기 변화가 발생한 시점(즉, 실제 이벤트 발생 시점)과 다를 수 있다. 따라서, 다이나믹 비전 센서(100)가 빛의 세기 변화를 감지한 시점과 실제 빛의 세기 변화가 발생한 시점 사이의 시간 지연이 발생할 수 있다.
다이나믹 비전 센서(100)에 입사되는 빛의 조도가 낮을수록 지연 시간(delay time)(즉, 시간 지연 정도)은 증가할 수 있다. 다이나믹 비전 센서(100)에 고조도의 빛이 입사된 경우, 다이나믹 비전 센서(100)는 빛의 세기 변화에 즉각적으로 반응할 수 있다. 따라서 시간 지연이 미미할 수 있다. 반면, 다이나믹 비전 센서(100)에 저조도의 빛(예컨대, 5 lux 미만)이 입사된 경우, 다이나믹 비전 센서(100)는 빛의 세기 변화에 즉각적으로 반응하지 못할 수 있다. 결과적으로, 지연 시간(예컨대, 10ms 이상)에 따른 다이나믹 비전 센서(100)의 성능 저하가 발생할 수 있다. 또한, 다이나믹 비전 센서(100)에 입사되는 빛의 조도 변화량이 작을수록 지연 시간이 증가할 수 있다. 빛의 조도 또는 조도 변화량에 따른 지연 시간은 도 2a 내지 2b에서 상세하게 설명한다.
따라서, 시간 지연 보상기(300)는 조도 정보(ID)에 기반하여 이벤트 신호(ES)에 포함되는 시간 데이터의 시간 지연을 계산하고, 계산된 시간 지연에 대응하여 수신된 이벤트 신호(ES)에 포함된 타임스탬프 값을 조정할 수 있다. 시간 지연 보상기(300)는 조정된 타임스탬프 값을 반영한 보상된 이벤트 신호(ES')를 생성할 수 있다. 시간 지연 보상기(300)의 타임스탬프 값 조정 방법은 도 3에서 상세하게 설명한다.
본 개시의 예시적인 실시 예에 따르면, 계산된 시간 지연이 임의의 또는 미리 설정된 기준 레벨 미만인 경우 시간 지연 보상기(300)는 타임스탬프 값을 조정하지 않을 수 있다. 예시적으로, 지연 시간이 10ms 미만인 경우 다이나믹 비전 센서(100)의 성능 저하는 미미하므로, 시간 지연 보상기(300)는 타임스탬프 값을 조정하지 않을 수 있다. 이 경우, 시간 지연 보상기(300)가 생성한 보상된 이벤트 신호(ES')는 이벤트 신호(ES)와 동일할 수 있다.
본 개시의 예시적인 실시 예에 따르면, 도 1에 도시된 바와 달리, 조도 추정기(200) 및 시간 지연 보상기(300)의 기능의 적어도 일부는 다이나믹 비전 센서(100)에 구현될 수 있다. 예를 들어, 다이나믹 비전 센서(100) 내부에 포함되는 하드웨어, 소프트웨어, 및/또는 이들의 조합으로 조도 추정기(200) 및 시간 지연 보상기(300)의 기능이 구현될 수 있다. 이 경우, 다이나믹 비전 센서(100)는 이벤트 신호에 포함되는 시간 데이터(예컨대, 타임스탬프 값)를 실제 이벤트 발생 시점에 동기화하여 이벤트 신호(ES)를 생성할 수 있다.
도 2a는 픽셀 조도에 따라 다이나믹 비전 센서에서 발생하는 지연 시간을 예시적으로 보여주는 그래프이다. 도 2a와 함께, 도 1을 참조하면, 다이나믹 비전 센서(100)의 픽셀에 입사되는 빛의 조도(이하, 픽셀 조도)에 따라, 타임스탬프 값에 대응하는 시점과 실제 이벤트 발생 시점 간의 차이 즉, 시간 지연이 발생할 수 있다. 픽셀 조도에 따른 시간 지연은 다이나믹 비전 센서(100)의 특성, 빛의 조도 변화량, 및/또는 이벤트 임계 값에 따라 달라질 수 있다. 도 2a에 도시된 그래프는 특정 다이나믹 비전 센서(100)의 시간 지연을 예시적으로 보여주는 것이므로 이에 한정되지 않는다.
도 2a를 참조하면, x축은 픽셀 조도에 대응할 수 있고, y축은 지연 시간에 대응할 수 있다. 픽셀 조도 변화량에 따른 지연 시간 변화를 차단하기 위하여, 픽셀 조도 변화량은 이벤트 임계 값의 두 배로 고정되는 것으로 가정한다. 여기서, 픽셀 조도 변화량은 다이나믹 비전 센서(100)의 단위 이벤트 감지 주기 동안 감지된 픽셀 조도 변화량을 로그 값으로 계산한 값이며, 후술하는 수학식 1의 관계를 따를 수 있다. 이벤트는 온-이벤트와 오프-이벤트로 구분될 수 있다. 온-이벤트와 오프-이벤트의 그래프 추이는 유사하므로, 설명의 편의를 위해 온-이벤트를 기준으로 이하 설명한다. 픽셀 조도가 일정 레벨(약 500 lux)을 초과하면, 픽셀 조도가 다이나믹 비전 센서(100)의 입력 상한을 초과하므로 시간 지연이 일정할 수 있다. 픽셀 조도가 다이나믹 비전 센서(100)의 입력 상한 이하인 경우에는, 픽셀 조도가 증가할수록 시간 지연은 감소할 수 있다.
도 2b는 픽셀 조도 변화량에 따라 다이나믹 비전 센서에서 발생하는 시간 지연을 예시적으로 보여주는 그래프이다. 도 2a에서 설명한 내용과 중복되는 내용은 생략한다. 픽셀 조도가 3 lux이고, 이벤트 임계 값이 15%일 때를 예시적으로 가정한다. 도 2b와 함께 도 1을 참조하면, x축은 픽셀 조도 변화량*100에 대응할 수 있고, y축은 지연 시간에 대응할 수 있다. 픽셀 조도 변화량이 감소하면 지연 시간이 증가하고, 픽셀 조도 변화량이 증가하면 지연 시간이 감소할 수 있다. 픽셀 조도 변화량에 따른 지연 시간은 다이나믹 비전 센서(100)의 특성, 픽셀 조도, 및/또는 이벤트 임계 값에 따라 달라질 수 있다. 픽셀 조도 변화량은 다음과 같은 수학식 1의 관계를 따를 수 있다.
Figure pat00001
수학식 1을 참조하면, t는 다이나믹 비전 센서(100)의 이벤트 감지 시점으로 정의된다. 따라서, t1이 현재 시점이면 t2는 다음 시점으로 정의되고, t2-t1은 다이나믹 비전 센서(100)의 임의의 또는 미리 설정된 단위 이벤트 감지 주기일 수 있다. I는 이벤트 감지 시점에서 감지된 픽셀 조도로 정의된다. 따라서, I(t1)은 현재 시점에서 감지된 픽셀 조도이고, I(t2)는 다음 시점에서 감지된 픽셀 조도로 정의된다. 따라서, 픽셀 조도 변화량은 단위 이벤트 감지 주기 동안 감지된 픽셀 조도를 로그 값으로 계산한 값이다.
도 3은 본 개시의 실시 예에 따라 다이나믹 비전 센서에서 발생한 시간 지연을 보상하는 방법을 설명하기 위한 개념도이다. 도 3과 함께, 도 1을 참조하면, x축 및 y축은 다이나믹 비전 센서(100)에서 이벤트가 발생한 픽셀의 위치 값에 대응할 수 있다. t축은 이벤트가 발생한 시점에 대응할 수 있다. p 값은 다이나믹 비전 센서의 극성 값에 대응할 수 있다. 예를 들어, 이벤트가 발생한 픽셀의 위치 값이 (x1, y1)인 경우, 실제 이벤트 발생 시점은 t0일 수 있다. 그러나, 픽셀 조도 및/또는 픽셀 조도 변화량에 의하여, 이벤트 신호(ES)가 포함하는 타임스탬프 값에 대응하는 시점(즉, t1)은 실제 이벤트 발생 시점인 t0 대비 지연될 수 있다. 다이나믹 비전 센서(100)에서 t1-t0 만큼의 시간 지연이 발생할 수 있다. 따라서, 시간 지연 보상기(300)는 t1에서 t1-t0 만큼의 시간 지연을 보상시켜 타임스탬프 값을 t0에 대응하는 값으로 조정할 수 있다.
도 4는 도 1의 다이나믹 비전 센서(100)의 예시적인 구성을 좀 더 상세하게 보여주는 구성도이다. 다이나믹 비전 센서(100)는 DVS 픽셀 어레이(110), AER(address event representation) 컨트롤러(120), 및 입출력 회로(130)를 포함할 수 있다.
DVS 픽셀 어레이(110)는 복수의 행들과 복수의 열들을 따라 매트릭스 형태로 배열된 복수의 픽셀들을 포함할 수 있다. DVS 픽셀 어레이(110)를 구성하는 복수의 픽셀들 중 이벤트를 감지한 픽셀(PX)은, 빛의 세기가 증가하거나 감소하는 이벤트가 발생하였음을 알리는 컬럼 리퀘스트(column request)(ReqX)를 생성할 수 있다. 픽셀(PX)의 구체적인 구성 및 동작은 도 5 내지 도 6에서 설명한다.
AER 컨트롤러(120)는 컬럼 AER 회로(121), 로우 AER 회로(122), 및 타임 스탬퍼(123)를 포함할 수 있다. AER 컨트롤러(120)는 이벤트를 감지한 픽셀(PX)을 제어할 수 있다. AER 컨트롤러(120)는 픽셀(PX)로부터 수신한 복수의 신호들(ReqX, ReqON, ReqOFF)에 기반하여 타임 스탬프(TS), 극성(polarity) 정보(PI), 픽셀 어드레스(ADDR)를 생성할 수 있다. AER 컨트롤러(120)는 타임스탬프(TS), 온-이벤트 리퀘스트(ReqON) 및/또는 오프-이벤트 리퀘스트(ReqOFF)에 대응하는 극성 값을 포함하는 극성 정보(PI), 그리고 픽셀 위치 값에 대응하는 컬럼 어드레스 및 로우 어드레스를 포함하는 픽셀 어드레스(ADDR)를 디지털 신호의 형태로 생성할 수 있다.
컬럼 AER 회로(121)는 픽셀(PX)로부터 컬럼 리퀘스트(ReqX)를 수신할 수 있다. 컬럼 AER 회로(121)는 수신된 컬럼 리퀘스트(ReqX)에 응답하여 컬럼 응답 신호(AckX)를 픽셀(PX)로 전송할 수 있다. 컬럼 응답 신호(AckX)를 수신한 픽셀(PX)은, 온-이벤트 리퀘스트(ReqON) 및/또는 오프-이벤트 리퀘스트(ReqOFF)를 로우 AER 회로(122)로 전송할 수 있다. 컬럼 AER 회로(121)는 이벤트를 감지한 픽셀(PX)로부터 수신된 컬럼 리퀘스트(ReqX)에 기초하여 이벤트를 감지한 픽셀(PX)의 컬럼 어드레스를 생성할 수 있으며, 컬럼 어드레스는 어드레스(ADDR)의 일부를 구성할 수 있다.
로우 AER 회로(122)는 픽셀(PX)로부터 온-이벤트 리퀘스트(ReqON) 및/또는 오프-이벤트 리퀘스트(ReqOFF)를 수신할 수 있다. 로우 AER 회로(122)는 온-이벤트 리퀘스트(ReqON) 및/또는 오프-이벤트 리퀘스트(ReqOFF)에 응답하여 로우 응답 신호(AckY)를 픽셀(PX)로 전송할 수 있다. 픽셀(PX)은 컬럼 응답 신호(AckX)와 로우 응답 신호(AckY)에 기초하여 리셋 신호를 생성할 수 있다. 리셋 신호는 이벤트가 발생한 픽셀(PX)을 리셋시킬 수 있다. 로우 AER 회로(122)는 픽셀(PX)로부터 수신된 온-이벤트 리퀘스트(ReqON) 및/또는 오프-이벤트 리퀘스트(ReqOFF)에 기초하여 픽셀(PX)의 로우 어드레스를 생성할 수 있으며, 로우 어드레스는 어드레스(ADDR)의 일부를 구성할 수 있다.
컬럼 AER 회로(121) 및 로우 AER 회로(122)의 동작은 상술된 바에 한정되지 않는다. 도시된 바와 달리, 상술한 컬럼 AER 회로(121) 및 로우 AER 회로(122)의 동작이 서로 바뀔 수 있다. 따라서, 이 경우 컬럼 AER 회로(121)가 픽셀(PX)로부터 온-이벤트 리퀘스트(ReqON) 및/또는 오프-이벤트 리퀘스트(ReqOFF)를 수신할 수 있다.
타임 스탬퍼(123)는 이벤트가 발생한 시점에 관한 정보를 포함하는 타임스탬프(TS)를 생성할 수 있다. 예를 들어, 타임 스탬퍼(123)는 수 내지 수십 마이크로 초 단위로 생성되는 타임틱(timetick)을 이용하여 구현될 수 있다. 그러나, 타임틱 생성 단위는 예시적이며 제조사의 설정 내지 사용자의 요청에 따라 달라질 수 있다. 본 개시의 예시적인 실시 예에 따르면, 픽셀(PX)은 이벤트 발생으로부터 즉각적으로 반응하지 못하고 시간 지연이 발생할 수 있다. 따라서, 실제 이벤트 발생 시점과 타임스탬프(TS) 값에 대응되는 이벤트 발생 시점 사이의 시간 지연이 발생할 수 있다.
입출력 회로(130)는 타임스탬프(TS), 픽셀 어드레스(ADDR), 극성 정보(TI)에 기초하여 이벤트 신호(ES)를 생성할 수 있다. 입출력 회로(130)는 이벤트 신호(ES)의 앞단에 신호의 전송의 시작을 알리는 헤더, 뒷단에 신호의 전송의 끝을 알리는 테일을 부가할 수 있다.
도 5는 도 4의 픽셀(PX)의 예시적인 구성을 보여주는 회로도이다. 설명의 편의를 위해 하나의 픽셀(PX)이 설명되나, 이에 한정되는 것은 아니며, 픽셀 어레이(도4, 110)에 포함된 다른 픽셀들 각각은 도 5의 픽셀(PX)과 유사한 구조를 가질 수 있다. 픽셀(PX)은 포토리셉터(phtoreceptor)(111), 미분기(differentiator)(112), 비교기(113), 핸드-쉐이킹 로직(hand-shaking logic)(114)를 포함할 수 있다. 설명의 편의를 위해, 도 4를 참조하여 도 5를 설명한다.
포토리셉터(111)는 빛 에너지를 전기 에너지를 변환시키는 포토 다이오드(PD), 포토 전류(IPD)에 대응하는 전압을 증폭하여 로그 스케일의 로그 전압(VLOG)을 출력하는 로그 증폭기(LA), 및 포토리셉터(111)를 미분기(112)와 고립시키는 피드백 트랜지스터(FB)를 포함할 수 있다.
미분기(112)는 전압(VLOG)을 증폭하여 전압(Vdiff)을 생성하도록 구성될 수 있다. 예를 들어, 미분기(112)는 커패시터들(C1, C2), 차동 증폭기(DA), 및 리셋 신호(RST)에 의해 동작하는 스위치(SW)를 포함할 수 있다. 예를 들어, 커패시터들(C1, C2)은 포토 다이오드(PD)에 의해 생성된 전기 에너지를 저장할 수 있다. 예를 들어, 커패시터들(C1, C2)의 정전 용량들은 하나의 픽셀에서 연속하여 발생할 수 있는 두 이벤트들 사이의 최단 시간(즉, 불응기)를 고려하여 적절하게 선택될 수 있다. 스위치(SW)가 리셋 신호(RST)에 의해 스위칭-온 되면, 픽셀이 초기화될 수 있다.
비교기(113)는 차동 증폭기(DA)의 출력 전압(Vdiff)과 기준 전압(Vref)의 레벨을 비교하여, 픽셀에서 감지된 이벤트가 온-이벤트인지 또는 오프-이벤트인지 여부를 판단할 수 있다. 빛의 세기가 증가하는 이벤트가 감지되면, 비교기(113)는 온-이벤트임을 나타내는 신호(VON)를 출력할 수 있으며, 빛의 세기가 감소하는 이벤트가 감지되면, 비교기(113)는 오프-이벤트임을 나타내는 신호(VOFF)를 출력할 수 있다.
핸드-쉐이킹 로직(114)은 온-이벤트임을 나타내는 신호(VON) 또는 오프-이벤트임을 나타내는 신호(VOFF)에 응답하여 컬럼 리퀘스트(ReqX)를 컬럼 AER 회로(121)로 전송할 수 있다. 컬럼 AER 회로(131)가 컬럼 응답 신호(AckX)를 전송하면, 핸드-쉐이킹 로직(114)은 온-이벤트임을 나타내는 신호(VON)에 대응하는 온-이벤트 리퀘스트(ReqON), 또는 오프-이벤트임을 나타내는 신호(VOFF)에 대응하는 오프-이벤트 리퀘스트(ReqOFF)를 로우 AER 회로(122)로 전송할 수 있다. 로우 AER 회로(122)가 로우 응답 신호(AckY)를 전송하면, 핸드-쉐이킹 로직(114)은 컬럼 응답 신호(AckX) 및 로우 응답 신호(AckY)에 기초하여 리셋 신호(RST)를 생성할 수 있다. 리셋 신호(RST)가 생성되는 주기는, 너무 많은 이벤트들이 발생하여 워크로드가 증가하는 것을 방지하기 위해 특정한 주기 동안 이벤트가 발생하지 않도록 제어될 수 있다.
도 6은 도 5의 픽셀(PX)의 예시적인 구성을 좀 더 상세하게 보여주는 회로도이다. 도 6의 픽셀(PX)은 도 5의 픽셀(PX)을 구성하는 회로를 트랜지스터 단위로 상세하게 보여주나, 이에 한정되는 것은 아니다. 도 6과 함께, 도 4 및 도 5를 참조하면, 픽셀(PX)은 포토리셉터(phtoreceptor)(111), 미분기(differentiator)(112), 비교기(113), 핸드-쉐이킹 로직(hand-shaking logic)(114)를 포함할 수 있다. 포토리셉터(phtoreceptor)(111), 미분기(differentiator)(112), 비교기(113), 핸드-쉐이킹 로직(hand-shaking logic)(114) 각각의 동작 또는 기능은 도 5에서 설명되었으므로, 이와 중복되는 내용은 생략한다.
포토리셉터(111)는 포토 다이오드(PD), 제1 내지 제5 NMOS 트랜지스터들(MN1~MN5), 로그 전류 바이어스(ILOG), 및 소스 팔로워 전류 바이어스(ISF)를 포함할 수 있다. 제1 내지 제4 NMOS 트랜지스터들(MN1~MN4)는 로그 증폭기를 구성할 수 있다. 제1 NMOS 트랜지스터(MN1)는 전원 전압(VDD) 및 제3 노드(N3) 사이에 연결되고, 제1 노드(N1)의 전압(즉, 로그 증폭 전압(VLOG))에 응답하여 동작할 수 있다. 제2 NMOS 트랜지스터(MN2)는 제3 노드(N3) 및 제4 노드(N4) 사이에 연결되고, 제2 노드(N2)의 전압에 응답하여 동작할 수 있다. 제3 NMOS 트랜지스터는 제1 노드(N1) 및 제2 노드(N2) 사이에 연결되고, 제3 노드(N3)의 전압에 응답하여 동작할 수 있다. 제4 NMOS 트랜지스터(MN4)는 제2 노드(N2) 및 접지 전압 사이에 연결되고, 제4 노드(N4)의 전압에 응답하여 동작할 수 있다. 제5 NMOS 트랜지스터(MN5)는 소스 팔로워(source-follower)로 동작할 수 있다. 제5 NMOS 트랜지스터(MN5)는 전원 전압(VDD) 및 제5 노드(N5) 사이에 연결되고, 로그 증폭 전압(VLOG)에 응답하여 동작할 수 있다. 로그 전류 바이어스(ILOG)는 전원 전압(VDD) 및 제1 노드(N1) 사이에 연결될 수 있다. 소스 팔로워 전류 바이어스(ISF)는 제5 노드(N5)와 접지 전압 사이에 연결될 수 있다.
미분기(112)는 소스 팔로워 전압(VSF)을 갖는 제5 노드(N5) 및 출력 전압(VOUT)을 갖는 제8 노드(N8) 사이에 연결될 수 있다. 미분기(112)는 제1 커패시터(C1), 제2 커패시터(C2), 제1 PMOS 트랜지스터(MP1), 리셋 트랜지스터(MRS), 및 증폭기 전류 바이어스(IA)를 포함할 수 있다. 제1 PMOS 트랜지스터(MP1)는 증폭기로 동작할 수 있다. 제1 PMOS 트랜지스터(MP1)는 전원 전압(VDD) 및 제8 노드(N8) 사이에 연결되고, 입력 전압(VIN)에 응답하여 동작할 수 있다. 리셋 트랜지스터(MRS)는 픽셀의 리셋 여부를 결정하는 스위치로 동작할 수 있다. 리셋 트랜지스터(MRS)는 제6 노드(N6) 및 제7 노드(N7) 사이에 연결되고, 리셋 신호(RST)에 응답하여 동작할 수 있다. 증폭기 전류 바이어스(IA)는 제7 노드(N7) 및 접지 전압 사이에 연결될 수 있다.
비교기(113)는 제2 및 제3 PMOS 트랜지스터(MP2, MP3), 온-이벤트 전류 바이어스(ION), 및 오프-이벤트 전류 바이어스(IOFF)를 포함할 수 있다. 제2 PMOS 트랜지스터(MP2)는 전원 전압(VDD) 및 온-이벤트 노드(NON) 사이에 연결될 수 있고, 출력 전압(VOUT)에 응답하여 동작할 수 있다. 제3 PMOS 트랜지스터(MP3)는 전원 전압(VDD) 및 오프-이벤트 노드(NOFF) 사이에 연결될 수 있고, 출력 전압(VOUT)에 응답하여 동작할 수 있다. 온-이벤트 전류 바이어스(ION)는 온-이벤트 노드(NON) 및 접지 전압 사이에 연결될 수 있다. 오프-이벤트 전류 바이어스(IOFF)는 오프-이벤트 노드(NOFF) 및 접지 전압 사이에 연결될 수 있다.
온-이벤트 노드(NON)를 통해 온-이벤트에 대응하는 온-이벤트 신호(VON)가 핸드-쉐이킹 로직(114)에 제공될 수 있고, 오프-이벤트 노드(NOFF)를 통해 오프-이벤트에 대응하는 오프-이벤트 신호(VOFF)가 핸드-쉐이킹 로직(114)에 제공될 수 있다.
도 7은 도 1의 조도 추정기(200)의 예시적인 구성을 좀 더 상세하게 보여주는 구성도이다. 본 개시의 예시적인 실시 예에 따르면, 조도 추정기(200)는 이미지 처리 장치(210) 및 조도 계산기(220)를 포함 할 수 있다.
이미지 처리 장치(210)는 스마트폰, 디지털 카메라, 랩톱, 데스크톱과 같은 다양한 전자 장치의 일부로서 구현될 수 있다. 이미지 처리 장치(210)는 렌즈(211), 이미지 센서(212), ISP 프론트엔드 블록(213), 및 이미지 신호 프로세서(214)를 포함할 수 있다.
렌즈(211)는 촬영의 대상이 되는 객체, 풍경 등에 의해 반사된 빛을 수신할 수 있다. 렌즈(211)는, 예컨대, 액츄에이터(미도시)에 의해 이동할 수 있다. 렌즈(211)의 이동에 따라 렌즈(211)의 위치가 변함으로써, 렌즈(211)의 초점 거리가 변할 수 있다. 그 결과, 객체에 대한 초점이 조절될 수 있다. 렌즈(211)는 동적 비전 센서(도 1, 100)에 포함되는 렌즈와 동일한 방향 및 초점으로 제공될 수 있다.
이미지 센서(212)는 객체에 대한 컬러 정보를 획득하기 위한 노멀 픽셀들을 포함할 수 있다. 이미지 센서(212)의 노멀 픽셀들은 렌즈(211)를 통해 수신되는 빛에 기초하여 전기 신호를 생성할 수 있다. 뿐만 아니라, 이미지 센서(212)는 객체에 대한 위상 정보를 획득하기 위한 위상 검출 픽셀들을 포함할 수 있다. 이미지 센서(212)는 초점 거리를 조절하기 위한 위상 검출 픽셀들을 포함할 수 있다. 이미지 센서(212)의 위상 검출 픽셀들은 렌즈(211)를 통해 수신되는 빛에 기초하여 위상 검출 자동 초점(phase detection auto-focus; PDAF)를 수행하는데 이용하는 전기 신호를 생성할 수 있다. 이미지 센서(212)는 객체에 대한 컬러 정보 및 위상 정보를 포함하는 이미지 데이터(IDAT1)를 출력할 수 있다.
도 7은 하나의 렌즈(211) 및 하나의 이미지 센서(212)를 보여준다. 그러나, 다른 예에서, 이미지 처리 장치(210)는 복수의 렌즈들, 복수의 ISP 프론트 엔드 블록들 및 복수의 이미지 센서들을 포함할 수 있다. 복수의 이미지 센서들은 상이한 기능들, 상이한 성능들, 및/또는 상이한 특성들을 갖도록 제공될 수 있다. 이 경우, 복수의 이미지 센서들은 서로 다른 화각(field of view; FOV)를 갖는 복수의 렌즈들을 각각 포함할 수 있다.
ISP 프론트 엔드 블록(213)은 이미지 센서(212)로부터 출력되는 이미지 데이터(IDAT1)에 대한 다양한 전처리들을 수행할 수 있다. 예를 들어, ISP 프론트 엔드 블록(213)은 이미지 센서(212)로부터 출력된 신호에 대한 크로스토크(crosstalk) 보상, 고정 패턴 노이즈(fixed pattern noise; FPN)를 제거하기 위한 오토 다크 레벨 보상(auto dark level compensation; ADLC) 등을 수행할 수 있다. ISP 프론트 엔드 블록(213)은 전처리를 수행한 이미지 데이터(IDAT2)를 생성할 수 있다.
이미지 신호 프로세서(214)는 ISP 프론트 엔드 블록(213)에 의해 처리된 이미지 데이터(IDAT2)에 대한 다양한 처리들을 수행할 수 있다. 예를 들어, 이미지 신호 프로세서(214)는 색 보간(Color interpolation), 자동 백색 보정(Auto white balance), 감마 보정(Gamma correction), 색 포화 보정(Color saturation correction), 포맷 변환(Formatting), 불량 픽셀 보정(Bad Pixel Correction), 색도 보정(Hue correction) 등과 같은 다양한 처리를 수행할 수 있다. 이미지 신호 프로세서(214)는 다양한 처리를 수행한 최종 이미지 데이터(IDAT)를 생성할 수 있다.
조도 계산기(220)는 이미지 데이터(IDAT2)에 기반하여 조도 정보(ID)를 생성할 수 있다. 예를 들어, 조도 계산기(220)는 이미지 데이터(IDAT2)에 포함되는 픽셀 값에 기반하여 각 픽셀에 입사된 빛의 조도(즉, 픽셀 조도)를 계산할 수 있다. 본 개시의 예시적인 실시 예에 따른 조도 계산기(220)가 조도를 계산하는 방법은 도 8에서 구체적으로 설명한다. 도시되지 않았지만, 다른 실시 예에서, 조도 계산기(220)는 이미지 데이터(IDAT1) 또는 최종 이미지 데이터(IDAT) 기반하여 조도 정보(ID)를 생성할 수 있다. 일 실시 예에서, 조도 계산기(220)의 기능의 적어도 일부는 ISP 프론트 엔드 블록(213)에 구현될 수 있다. 다른 실시 예에서, 조도 계산기(220)의 기능의 적어도 일부는 이미지 데이터(IDAT)를 수신하여 처리하는 메인 프로세서(예컨대, 애플리케이션 프로세서)에 구현될 수 있다. 조도 계산기(220)의 기능은 하드웨어, 소프트웨어, 및/또는 펌웨어 등으로 구현 가능할 수 있다.
도 8은 본 개시의 실시 예에 따른 조도 계산기의 조도 계산 방법을 설명하기 위한 구성도이다. 도 8과 함께, 도 7을 참조하면, 객체에 반사된 반사광이 이미지 처리 장치(210)에 입력될 수 있다. 이미지 처리 장치(210)에 입력된 반사광은, 렌즈(211), 이미지 센서(212), 및 ISP 프론트 엔드 블록(213)을 통과하여 이미지 데이터(IDAT2)로 변환될 수 있다. 조도 계산기(220)는 이미지 데이터(IDAT2)에 기반하여 픽셀 조도를 계산할 수 있다. 픽셀 조도를 계산하는 수식은 다음과 같은 수학식 2를 따를 수 있다.
Figure pat00002
수학식 2를 참조하면, p는 픽셀 값으로 정의된다. 이미지 센서(212)의 픽셀들 각각은 수신되는 빛에 기반하여 전기 신호를 출력할 수 있고, 픽셀 값은 픽셀들 각각이 출력하는 전기 신호의 레벨에 대응할 수 있다. Av는 이미지 센서(212) 및 ISP 프론트 엔드 블록(213)에 의한 이득(gain)으로 정의된다. 여기서, 이득은 아날로그 이득(analog gain) 및 디지털 이득(digital gain)에 기반할 수 있다. texposure은 이미지 센서(212)의 픽셀들이 빛에 노출되는 시간(이하, 노출 시간)으로 정의된다. Av 및/또는 texposure은 제조사의 설정 또는 사용자의 요청에 의해 달라질 수 있다. α 및 β는 이미지 센서 상수 값으로 정의된다. α 및 β는 이미지 센서 내지 이미지 처리 장치들의 종류, 특성, 및 기능에 따라 달라지므로, 전자 장치(도 1, 10)의 제품 출하 전에 미리 정해질 수 있다.
실시 예에 있어서, 이미지 처리 장치(210) 및/또는 전자 장치(도 1, 10)의 제품 출하 전에 이미지 처리 장치(210)를 테스트함으로써 α 및 β가 계산될 수 있다. 예를 들어, 별도의 테스트 장치(미도시)를 이용하여 α 및 β가 계산될 수 있다. 다시 도 8을 참조하면, 객체에 반사된 광이 픽셀들에 입사되는 것이므로, 기준 픽셀 값(예컨대, 밝은 부분에 대응하는 픽셀 값 및 어두운 부분에 대응하는 픽셀 값)을 설정하기 위해, 차트(chart)(12)가 이미지 처리 장치(210)에 대한 테스트용 객체로서 사용될 수 있다. 예를 들어, 차트(12)는 체커 보드(checker board)일 수 있다. 광원(11)으로부터의 직접 광(DL)이 차트(12)의 특정 부분(13)에 반사될 수 있고, 반사된 반사 광(RL)이 이미지 센서(212)를 포함하는 이미지 처리 장치(210)에 입사될 수 있다.
예를 들어, 차트(12)의 검은색 부분의 반사도(reflectance)는 3%이고, 흰색 부분의 반사도는 97%라고 가정한다. 차트의 반사도는 이에 한정되지 않고, 차트의 특성에 따라 달라질 수 있다. 또한, 직접 광(DL)의 조도가 100lux인 환경인 경우를 가정한다. 따라서, 검은색 부분에 반사되어 픽셀에 입사하는 반사 광(RL)의 조도, 즉 픽셀 조도(이하, I1)는 100*0.03이고, 흰색 부분에 대응하는 픽셀 조도(이하, I2)는 100*0.97이다. 본 개시의 예시적인 실시 예에 따른 이미지 처리 장치(210)는 이미지 데이터(IDAT2)를 출력할 수 있고, 이미지 데이터(IDAT2)는 픽셀 값들을 포함할 수 있다. 검은색 부분에 대응하는 픽셀 값(이하, p1)은 0이고, 흰색 부분에 대응하는 픽셀 값(이하, p2)은 1023일 수 있다. 또한, 이미지 센서(212)의 Av은 30이고, texposure은 40ms라 가정한다. 수학식 2 및 상술한 가정에 기반하여, α 및 β를 구하기 위한 수학식 3 및 수학식 4가 도출될 수 있다.
Figure pat00003
Figure pat00004
수학식 3 및 수학식 4를 연립하면, α는 110.264 및 β는 32.649이다. 이와 같이 테스트 과정에서 구해진 α 및 β에 대응하는 값은 조도 추정기(200)의 내부 또는 외부에 제공되는 메모리(미도시)에 저장될 수 있다. 조도 계산기(220)는 메모리(미도시)로부터 α 및 β에 대응하는 값을 로딩할 수 있다. 조도 계산기(220)는 α 및 β에 기초하여 픽셀 값에 따른 픽셀 조도를 계산할 수 있다. 다만, 구해진 α 및 β는 예시적인 것에 불과하고, 직접 광(DL)의 조도, 및 이미지 센서 내지 이미지 처리 장치의 특성에 따라 달라질 수 있다. 따라서, 조도 환경, 이미지 센서의 설정, 또는 이미지 센서의 모델 변경 등에 따라, 새로운 연립 방정식에 의한 새로운 α 및 β가 계산될 수 있으며, 이는 전자 장치(도 1, 10)의 제품 출하 전 테스트 과정에서 계산되어 α 및 β에 대응하는 값이 메모리(미도시)에 저장될 수 있다.
도 9는 본 개시의 실시 예에 따른 모션 디블러를 수행하는 전자 장치(20)를 보여주는 구성도이다. 도 1에서 설명한 내용과 중복되는 내용은 생략한다. 전자 장치(20)는 다이나믹 비전 센서(100), 조도 추정기(200), 시간 지연 보상기(300), 이미지 처리 블록(400), 및 모션 디블러링(motion deblurring) 블록(500)을 포함할 수 있다. 시간 지연 보상기(300)는 조도 또는 조도 변화량에 따른 다이나믹 비전 센서(100)의 시간 데이터의 시간 지연을 보상할 수 있다. 시간 지연 보상기(300)는 보상된 이벤트 신호(ES')를 모션 디블러링 블록(500)에 제공할 수 있다.
이미지 처리 블록(400)은 이미지 데이터(IDAT)를 생성할 수 있다. 이미지 처리 블록(400)은 이미지 데이터(IDAT)를 처리 및 가공하기 위한 다양한 작업들을 수행할 수 있다. 이미지 처리 블록(400)은 이미지 센서를 포함할 수 있다. 예를 들어, 이미지 센서는 CIS 또는 CCD 이미지 센서 등으로 구현될 수 있다. 이미지 센서는 복수의 픽셀들을 포함할 수 있다. 이미지 센서의 픽셀들은 다이나믹 비전 센서(100)의 픽셀들과 동일한 방향을 향할 수 있다. 따라서, 이미지 센서의 픽셀들과 다이나믹 비전 센서(100)의 픽셀들은 동일한 객체로부터 반사된 빛을 수신할 수 있다. 이미지 센서는 일정 노출 시간 동안 획득된 전하들에 기반하여 프레임 단위의 이미지 데이터(IDAT)를 생성할 수 있다. 한편 노출 시간 동안 객체에 움직임이 있는 경우, 이미지 데이터(IDAT)는 모션 블러(motion blur)가 발생한 블러 이미지(blurred image)일 수 있다. 연속적인 노출 시간과 프레임 단위의 블러 이미지와의 관계는 다음과 같은 수학식 5를 따를 수 있다.
Figure pat00005
수학식 5를 참조하면, B는 블러 이미지로 정의되고, T는 이미지 처리 블록(400)에 포함되는 이미지 센서의 노출 시간으로 정의된다. L(t)는 노출 시점 t에의 픽셀 출력 데이터로 정의되고, f는 기준 시점으로 정의된다. 즉, 연속적인 시간에 대해 노출 시간 동안의 픽셀 출력 데이터를 적분하여 노출 시간으로 나눈 값으로 프레임 단위의 블러 이미지가 생성될 수 있다.
모션 디블러링 블록(500)은 보상된 이벤트 신호(ES') 및 이미지 데이터(IDAT) 에 기반하여 디블러 이미지 데이터(IDAT')를 생성할 수 있다. 예를 들어, 이미지 데이터(IDAT)에 모션 블러가 발생한 경우, 모션 디블러링 블록(500)은 보상된 이벤트 신호(ES')에 기반하여 이미지 데이터(IDAT)의 모션 블러를 제거할 수 있다. 도시되지 않았지만, 모션 디블러링 블록(500)은 이벤트 신호(ES)에 기반하여 디블러 이미지 데이터(IDAT')를 생성할 수 있다. 그러나, 이벤트 신호(ES)는 다이나믹 비전 센서(100)에서 발생하는 조도 또는 조도 변화량에 따른 시간 지연이 보상되지 않았기 때문에, 이미지 데이터(IDAT)와 동기화되지 않을 수 있다. 따라서, 이벤트 신호(ES)에 기반한 디블러 이미지 데이터(IDAT')의 모션 블러 제거 효과는, 보상된 이벤트 신호(ES')에 기반한 디블러 이미지 데이터(IDAT')보다 떨어질 수 있다. 모션 디블러링 블록(500)은 별도의 블록으로 도시되었으나, 디블러링 블록(500)의 적어도 일부의 기능은 이미지 처리 블록(400)에 구현될 수 있다.
보상된 이벤트 신호(ES')는 이미지 데이터(IDAT)의 프레임 생성 주기보다 짧은 시간 단위로 샘플링된 비연속적인 데이터들의 집합일 수 있다. 비연속적인 이벤트 신호에 기반하여 특정 시점까지의 빛의 세기 변화를 구하는 방법은 다음과 같은 수학식 6을 따를 수 있다.
Figure pat00006
수학식 6과 함께 수학식 5를 참조하면, s는 이벤트 발생 시점으로 정의된다. 이벤트 발생 시점 s는 보상된 이벤트 신호(ES')에 포함되는 타임스탬프 값에 대응할 수 있다. e(s)는 이벤트 발생 시점 s에서의 극성 정보일 수 있다. 여기서, 극성 정보는 빛의 세기가 증가하면 1이고, 감소하면 -1일 수 있다. 따라서 특정 시점 t에서의 누적된 빛의 세기 변화에 대응하는 E(t)는, 특정 시점 t부터 기준 시점 f까지의 극성 정보의 합일 수 있다.
모션 디블러링 블록(500)은 보상된 이벤트 신호(ES')에 기반하여 이미지 데이터(IDAT)의 1 프레임에 대응하는 노출 시간 중 특정 시점에서의 스틸 이미지(still image)를 추출할 수 있다. 스틸 이미지를 구하는 방법은 다음과 같은 수학식 7을 따를 수 있다.
Figure pat00007
수학식 7과 함께 수학식 5 및 6을 참조하면, 특정 시점 t에서의 픽셀 출력 데이터 L(t)(즉, 스틸 이미지 데이터)는 기준 시점 f에서의 픽셀 출력 데이터 L(f)에 t에서의 빛의 세기 변화에 대응하는 E(t)를 지수 형태로 곱하여 구할 수 있다. 수학식 5 내지 7을 이용하여, 기준 시점 f에서의 픽셀 출력 데이터 L(f)에 대한 수식을 다시 정리하면 수학식 8과 같은 관계를 따를 수 있다.
Figure pat00008
Figure pat00009
,
Figure pat00010
]
수학식 8과 함께, 수학식 5 내지 7을 참조하면, 기준 시점 f에서의 픽셀 출력 데이터 L(f)를 수학식 7에 대입함으로써 특정 시점 t에서의 픽셀 출력 데이터 L(t), 즉 스틸 이미지에 대응하는 디블러 이미지 데이터(IDAT')가 생성될 수 있다. 본 개시의 실시 예에 따른 전자 장치(20)와 관련하여, 이미지 데이터(IDAT) 및 디블러 이미지 데이터(IDAT')에 대한 구체적인 시각화 자료는 도 10 내지 11b에서 구체적으로 설명한다.
본 개시의 예시적인 실시 예에 따르면, 전자 장치(20)에서 다이나믹 비전 센서(100)를 제외한 조도 추정기(200), 시간 지연 보상기(300), 이미지 처리 블록(400), 및 모션 디블러링 블록(500)의 기능의 적어도 일부는 애플리케이션 프로세서에 구현될 수 있다.
도 10은 본 개시의 다른 실시 예에 따른 모션 디블러를 수행하는 전자 장치(20)를 보여주는 구성도이다. 도 1 및 도 9에서 설명한 내용과 중복되는 내용은 생략한다. 전자 장치(20)는 다이나믹 비전 센서(100), 조도 추정기(200), 시간 지연 보상기(300), 및 모션 디블러링 블록(500)을 포함할 수 있다. 조도 추정기(200)는 이미지 처리 장치(210) 및 조도 계산기(220)를 포함할 수 있다. 이미지 처리 장치(210)는 이미지 데이터(IDAT)를 생성하고, 모션 디블러링 블록(500)에 이미지 데이터(IDAT)를 제공할 수 있다. 도 9에서 설명한 본 개시의 일 실시 예에 따른 전자 장치(도 9, 20)에서는, 별도의 이미지 처리 블록(도 9, 400)에 의해 이미지 데이터(도 9, IDAT)가 모션 디블러링 블록(도 9, 500)에 제공될 수 있다. 반면, 도 10의 본 개시의 다른 실시 예에 따른 전자 장치(20)에서는, 조도 추정기(200)가 포함하는 이미지 처리 장치(210)에 의해 이미지 데이터(IDAT)가 모션 디블러링 블록(500)에 제공될 수 있다.
도 11은 본 개시의 실시 예에 따른 모션 블러가 발생한 이미지 데이터를 도시한다. 도 11과 함께, 도 9를 참조하면, 예시적으로, 객체는 이미지 처리 블록(400)과 1m의 거리에서 0.5m/s 속력으로 움직일 수 있다. 예시적으로, 이미지 처리 블록(400)은 5 lux의 저조도 환경에서 100ms의 노출 시간 동안 객체를 촬영할 수 있다. 노출 시간 동안 객체는 계속해서 움직이므로, 이미지 처리 블록(400)은 도 11과 같이 모션 블러가 발생한 이미지 데이터(IDAT), 즉 블러 이미지를 생성할 수 있다.
도 12a는 본 개시의 실시 예에 따른 원본 이벤트 신호를 이용하여 모션 디블러를 수행한 스틸 이미지를 도시한다. 도 11과 함께, 도 9를 참조하면, 도 9에서 설명한 것과 같이 다이나믹 비전 센서(100)가 생성한 이벤트 신호(ES)가 직접 모션 디블러링 블록(500)에 제공되는 경우를 가정한다. 이 경우, 모션 디블러링 블록(500)은 도 12a와 같이 이벤트 신호(ES)에 기반하여 이미지 데이터(IDAT) 중 특정 시점에서의 스틸 이미지를 추출할 수 있다. 도 11과 대비하여, 도 12a에서, 모션 블러가 일부 제거된 것을 확인할 수 있다.
도 12b는 본 개시의 실시 예에 따른 보상된 이벤트 신호를 이용하여 모션 디블러를 수행한 스틸 이미지를 도시한다. 도 11과 함께, 도 9를 참조하면, 시간 지연 보상기(300)가 생성한 보상된 이벤트 신호(ES')가 모션 디블러링 블록(500)에 제공될 수 있다. 보상된 이벤트 신호(ES')에서, 극성 정보는 시간 지연이 없는 타임스탬프 값과 함께 제공되므로, 모션 디블러링 블록(500)은 특정 시점에서의 스틸 이미지를 적은 오차로 추출할 수 있다. 따라서, 도 12b에 도시된 바와 같이, 도 12a 대비 모션 블러가 더 제거된 것을 확인할 수 있다.
도 13은 본 개시의 실시 예에 따른 SLAM을 수행하는 전자 장치(30)를 보여주는 구성도이다. 도 1에서 설명한 내용과 중복되는 내용은 생략한다. 전자 장치(30)는 다이나믹 비전 센서(100), 조도 추정기(200), 시간 지연 보상기(300), IMU(inertial measurement unit) 센서(600), 및 SLAM(simultaneous localization and mapping) 블록(700)을 포함할 수 있다.
IMU 센서(600)는 전자 장치(30)가 기울어진 각도를 측정함으로써 관성 데이터(IMD)를 생성할 수 있다. 예를 들어, IMU 센서(600)는 자이로스코프(gyroscope), 가속도계, 지자기 센서 중 적어도 어느 하나를 포함할 수 있다. 따라서, 관성 데이터(IMD)는 전자 장치(30)의 각속도, 가속도, 및 지자기력 정보 중 적어도 어느 하나를 포함할 수 있다.
SLAM 블록(700)은 전자 장치(30)의 주변 환경을 감지하여 지도를 작성하고, 전자 장치(30)의 현재 위치를 추정할 수 있다. SLAM 블록(700)은 지도 및 위치 정보를 포함하는 SLAM 데이터(DSLAM)를 생성할 수 있다. 예를 들어, SLAM 블록(700)은 보상된 이벤트 신호(ES')에 기반하여 주변 환경을 감지하고, 관성 데이터(IMD)를 활용하여 감지 오차를 줄일 수 있다. 여기서, 보상된 이벤트 신호(ES')는 시간 지연이 보상된 상태이므로, 관성 데이터(IMD)와 동기화될 수 있다.
도 14는 본 개시의 다이나믹 비전 센서가 구현된 카메라 모듈을 포함하는 전자 장치의 예시적인 구성을 도시한다. 도 15는 도 14의 카메라 모듈의 예시적인 구성을 도시한다.
도 14를 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 스토리지(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈들(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈들(1100a, 1100b, 1100c)을 포함하는 전자 장치가 예시적으로 도시되어 있으나, 이에 한정되지 않는다. 복수의 카메라 모듈들(1100a, 1100b, 1100c)은 객체, 풍경 등에 반사된 빛에 기반하여 전기 신호를 생성할 수 있다. 몇몇 실시 예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈들만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시 예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다. 도시되지 않았지만, 카메라 모듈(1100a, 1100b, 1100c)은 프리즘, 광학 경로 폴딩 요소, 액츄에이터, 이미지 센서, 스토리지 등을 포함할 수 있다.
몇몇 실시 예에서, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 중 적어도 어느 하나는 다이나믹 비전 센서로 구현될 수 있다. 예를 들어, 카메라 모듈(1100a)은 다이나믹 비전 센서로 구현되고, 카메라 모듈(1100b)은 이미지 센서(예컨대, CIS)로 구현될 수 있다. 이 경우, 카메라 모듈(1100a)는 빛의 세기 변화에 기반하여 이벤트 신호를 생성하고, 카메라 모듈(1100b)은 이미지 데이터를 생성할 수 있다. 본 개시의 예시적인 실시 예에 따르면, 카메라 모듈들(1100a, 1100b)은 같은 화각을 가질 수 있다.
몇몇 실시 예에서, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈들(예를 들어, 1100a, 1100b)은 서로 다른 관측 화각을 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈들(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시 예에서, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각의 화각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시 예에서, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서의 센싱 영역을 복수의 카메라 모듈들(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서가 배치될 수 있다.
애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈들(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈들(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서들(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다. 이미지 처리 장치(1210)는 복수의 카메라 모듈들(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서들(1212a, 1212b, 1212c)를 포함할 수 있다.
카메라 모듈들(1100a, 1100b, 1100c)의 각각으로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서들(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI (Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(Camera Serial Interface; CSI)를 이용하여 수행될 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.
몇몇 실시 예에서, 카메라 모듈(1100a)이 다이나믹 비전 센서로 구현될 수 있다. 이 경우, 카메라 모듈(1100a)로부터 생성된 이벤트 신호는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공될 수 있다. 또한, 카메라 모듈(1100b)이 이미지 센서(예컨대, CIS)로 구현될 수 있다. 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공될 수 있다. 서브 이미지 프로세서(1212b)는 카메라 모듈(1100b)로부터 생성된 이미지 데이터에 기반하여 픽셀 조도를 추정할 수 있다. 도시되지 않았지만, 서브 이미지 프로세서(1212b)는 추정된 픽셀 조도에 대한 정보를 서브 이미지 프로세서(1212a)에 제공할 수 있다. 서브 이미지 프로세서(1212a)는 추정된 픽셀 조도에 대한 정보에 기반하여 다이나믹 비전 센서의 이벤트 발생 시간 지연을 보상할 수 있다.
한편, 몇몇 실시 예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서들(1212a, 1212b, 1212c)에 제공된 이미지 데이터 또는 이벤트 신호는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서들(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 화각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 화각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시 예에서, 이미지 생성기(1214)는 카메라 모듈(1100a)(예컨대, 다이나믹 비전 센서)이 출력하는 이벤트 신호에 기반하여 카메라 모듈(1100b)(예컨대, CIS)이 출력하는 이미지 데이터에 발생한 모션 블러를 제거할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈들(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인들(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 즉, 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 읽어내어 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩 되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제 1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제 2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제 3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈들(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
도 15는 본 개시의 예시적인 실시 예에 따른 전자 장치의 동작 방법을 보여주는 흐름도이다. 설명의 편의를 위해, 도 1을 참조하여 도 15를 설명한다.
S110 단계에서, 다이나믹 비전 센서(100)는 빛의 세기 변화(즉, 이벤트)를 감지하여 이벤트 신호(ES)를 생성할 수 있다. 이벤트 신호(ES)에 포함되는 타임스탬프 값에 대응하는 시점은, 실제 이벤트 발생 시점과 차이가 있을 수 있다.
S120 단계에서, 조도 추정기(200)는 조도 또는 조도 변화량을 추정할 수 있다. 예를 들어, 조도 추정기(200)는 다이나믹 비전 센서(100)의 픽셀들 각각에 입사되는 빛에 대한 조도(즉, 픽셀 조도)를 추정할 수 있다. 본 개시의 예시적인 실시 예에 따르면, 조도 추정기(200)는 이미지 센서(예컨대, CIS)를 포함하는 장치로 구현될 수 있다. 이 경우, 조도 추정기(200)는 이미지 센서가 출력하는 이미지 데이터에 기반하여 픽셀 조도를 추정하고, 픽셀 조도에 기반하여 조도 또는 조도 변화량에 대한 정보를 포함하는 조도 정보(ID)를 생성할 수 있다.
S130 단계에서, 시간 지연 보상기(300)는 추정된 조도 또는 조도 변화량에 기반하여 이벤트 신호(ES)의 시간 지연을 보상할 수 있다. 즉, 시간 지연 보상기(300)는 빛의 세기 변화가 발생한 시점과 빛의 세기 변화를 감지한 시점 사이의 시연 지연을 보상할 수 있다. 예를 들어, 시간 지연 보상기(300)는 타임스탬프 값을 빛의 세기 변화가 발생한 시점에 대응하도록 조정할 수 있다. 결과적으로, 시간 지연 보상기(300)는 보상된 이벤트 신호(ES')를 생성할 수 있다.
도 16은 본 개시의 예시적인 실시 예에 따른 모션 디블러를 수행하는 전자 장치의 동작 방법을 보여주는 흐름도이다. S210 내지 S230 단계는 도 15의 S110 내지 S130과 중복되므로 설명을 생략한다. 설명의 편의를 위해, 도 9를 참조하여 도 16을 설명한다.
S240 단계에서, 이미지 처리 블록(400)은 이미지 데이터(IDAT)를 생성할 수 있다. 본 개시의 예시적인 실시 예에 따르면, 이미지 처리 블록(400)은 도 10에 도시된 바와 같이 조도 추정기(200)에 포함되는 이미지 처리 장치(도 10, 210)일 수 있다.
S250 단계에서, 모션 디블러링 블록(500)은 보상된 이벤트 신호(ES')에 기반하여 이미지 데이터(IDAT)의 모션 블러를 제거할 수 있다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
10, 20, 30: 전자 장치 100: 다이나믹 비전 센서
11: 광원 110: 픽셀 어레이
111: 포토리셉터 112: 미분기
113: 비교기 114: 핸드-쉐이킹 로직
12: 차트 120: AER 컨트롤러
121: 컬럼 AER 회로 122: 로우 AER 회로
123: 타임 스탬퍼 13: 차트의 특정 부분
130: 입출력 회로 200: 조도 추정기
210: 이미지 처리 장치 211: 렌즈
212: 이미지 센서 213: ISP 프론트 엔드 블록
214: 이미지 신호 프로세서 220: 조도 계산기
300: 시간 지연 보상기 400: 이미지 처리 블록
500: 모션 디블러링 블록 600: IMU 센서
700: SLAM 블록

Claims (10)

  1. 빛의 세기 변화를 감지하도록 구성된 제1 픽셀을 포함하고, 상기 감지된 빛의 세기 변화에 기반하여 이벤트 신호를 생성하는 다이나믹 비전 센서;
    빛의 조도를 추정하는 조도 추정기; 및
    상기 빛의 조도에 기반하여, 상기 빛의 세기 변화가 발생한 제1 시점과 상기 제1 픽셀이 상기 빛의 세기 변화를 감지한 제2 시점 사이의 시간 지연을 계산하고, 상기 시간 지연을 보상하는 시간 지연 보상기를 포함하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 이벤트 신호는 상기 제1 픽셀의 위치 값, 상기 빛의 세기 변화에 대한 정보를 포함하는 극성 값, 및 상기 제1 픽셀이 상기 빛의 세기 변화를 감지한 시점을 지시하는 타임스탬프 값을 포함하는 전자 장치.
  3. 제 2 항에 있어서,
    상기 시간 지연 보상기는 상기 시간 지연에 대응하여 상기 타임스탬프 값을 조정하는 전자 장치.
  4. 제 1 항에 있어서,
    상기 조도 추정기는,
    빛을 수신하여 전기 신호를 생성하는 이미지 센서를 포함하고, 상기 전기 신호에 기반하여 이미지 데이터를 생성하는 이미지 처리 장치; 및
    상기 이미지 데이터에 기반하여 픽셀 조도를 계산하는 조도 계산기를 포함하는 전자 장치.
  5. 빛의 세기 변화를 감지하도록 구성된 제1 픽셀을 포함하고, 상기 감지된 빛의 세기 변화에 기반하여 제1 이벤트 신호를 생성하는 다이나믹 비전 센서;
    빛의 세기에 대응하여 제1 이미지 데이터를 생성하는 CMOS(complementary metal-oxide-semiconductor) 이미지 센서를 포함하는 이미지 처리 장치;
    상기 제1 이미지 데이터에 기반하여 빛의 조도 및 빛의 조도 변화량 중 적어도 어느 하나를 계산하는 조도 계산기; 및
    상기 빛의 조도 및 상기 빛의 조도 변화량 중 적어도 어느 하나에 기반하여 상기 빛의 세기 변화가 발생한 제1 시점과 상기 제1 픽셀이 상기 빛의 세기 변화를 감지한 제2 시점 사이의 시간 지연을 계산하고, 상기 시간 지연을 보상한 제2 이벤트 신호를 생성하는 시간 지연 보상기를 포함하되,
    상기 CMOS 이미지 센서는 제2 픽셀 포함하는 전자 장치.
  6. 제 5 항에 있어서,
    상기 제1 픽셀은 상기 제2 픽셀과 대응하는 전자 장치.
  7. 제 6 항에 있어서,
    상기 다이나믹 비전 센서는 빛의 세기 변화를 감지하는 제3 픽셀을 더 포함하고, 상기 제3 픽셀이 감지한 빛의 세기 변화에 기반하여 제3 이벤트 신호를 생성하고,
    상기 CMOS 이미지 센서는 제4 픽셀을 더 포함하고,
    상기 제3 픽셀은 상기 제4 픽셀에 대응하는 전자 장치.
  8. 제 7 항에 있어서,
    상기 제1 이벤트 신호는 제1 시간 데이터를 포함하고,
    상기 제3 이벤트 신호는 제2 시간 데이터를 포함하고,
    상기 제1 이미지 데이터는 상기 제2 픽셀이 생성하는 제1 전기 신호에 대응하는 제1 픽셀 값 및 상기 제4 픽셀이 생성하는 제2 전기 신호에 대응하는 제2 픽셀 값을 포함하고,
    조도 계산기는, 상기 제1 픽셀 값에 기반하여 제1 픽셀 조도 및 제1 픽셀 조도 변화량 중 적어도 어느 하나를 계산하고, 상기 제2 픽셀 값에 기반하여 제2 픽셀 조도 및 제2 픽셀 조도 변화량 중 적어도 어느 하나를 계산하고,
    상기 시간 지연 보상기는, 상기 제1 픽셀 조도 및 상기 제1 픽셀 조도 변화량 중 적어도 어느 하나에 기반하여 상기 제1 시간 데이터에 대한 제1 시간 지연을 보상한 상기 제3 이벤트 신호를 생성하고, 상기 제2 픽셀 조도 및 상기 제2 픽셀 조도 변화량 중 적어도 어느 하나에 기반하여 제2 시간 데이터에 대한 제2 시간 지연을 보상한 제4 이벤트 신호를 생성하는 전자 장치.
  9. 제 5 항에 있어서,
    제2 이미지 데이터를 생성하는 이미지 처리 블록; 및
    상기 제2 이미지 데이터에 발생한 모션 블러(motion blur)를 제거하는 모션 디블러링 블록을 더 포함하는 전자 장치.
  10. 객체에 반사된 빛에 기반하여 전기 신호를 생성하는 복수의 카메라 모듈들을 포함하는 카메라 모듈 그룹;
    상기 전기 신호를 처리하는 애플리케이션 프로세서를 포함하되,
    상기 복수의 카메라 모듈들 중 제1 카메라 모듈은 다이나믹 비전 센서로 구현되고, 상기 복수의 카메라 모듈들 중 제2 카메라 모듈은 이미지 센서로 구현되고,
    상기 제1 카메라 모듈은 빛의 세기 변화에 기반하여 이벤트 신호를 생성하고,
    상기 제2 카메라 모듈은 프레임 단위로 이미지 데이터를 생성하고,
    상기 애플리케이션 프로세서는 상기 이미지 데이터에 기반하여 빛의 조도 및 빛의 조도 변화량 중 적어도 어느 하나를 추정하고, 상기 빛의 조도 및 상기 빛의 조도 변화량 중 적어도 어느 하나에 기반하여 상기 빛의 세기 변화가 발생한 제1 시점과 상기 제1 카메라 모듈이 상기 빛의 세기 변화를 감지한 제2 시점 사이의 시간 지연을 보상하는 전자 장치.
KR1020210099717A 2021-07-29 2021-07-29 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치 KR20230018044A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210099717A KR20230018044A (ko) 2021-07-29 2021-07-29 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치
US17/719,647 US11902673B2 (en) 2021-07-29 2022-04-13 Electronic device for compensating for time delay of dynamic vision sensor
CN202210588072.7A CN115701130A (zh) 2021-07-29 2022-05-26 补偿动态视觉传感器的时间延迟的电子装置
US18/417,673 US20240155252A1 (en) 2021-07-29 2024-01-19 Electronic device for compensating for time delay of dynamic vision sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210099717A KR20230018044A (ko) 2021-07-29 2021-07-29 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치

Publications (1)

Publication Number Publication Date
KR20230018044A true KR20230018044A (ko) 2023-02-07

Family

ID=85039314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210099717A KR20230018044A (ko) 2021-07-29 2021-07-29 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치

Country Status (3)

Country Link
US (2) US11902673B2 (ko)
KR (1) KR20230018044A (ko)
CN (1) CN115701130A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230042364A1 (en) * 2021-08-05 2023-02-09 Omnivision Technologies, Inc. Image processing method and apparatus implementing the same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054774B1 (ko) 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
KR20180024299A (ko) * 2016-08-29 2018-03-08 삼성전자주식회사 조도를 측정하는 방법 및 그 전자 장치
KR102467771B1 (ko) * 2016-12-30 2022-11-16 소니 어드밴스드 비주얼 센싱 아게 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
US10771669B1 (en) 2017-09-26 2020-09-08 Apple Inc. Time synchronization of sensor data
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
KR102640236B1 (ko) 2018-07-06 2024-02-26 삼성전자주식회사 동적 이미지 캡처 방법 및 장치
US11140349B2 (en) * 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
US11455793B2 (en) 2020-03-25 2022-09-27 Intel Corporation Robust object detection and classification using static-based cameras and events-based cameras
CN111770290A (zh) 2020-07-29 2020-10-13 中国科学院长春光学精密机械与物理研究所 一种动态视觉传感器输出事件流降噪方法
CN112422798A (zh) 2020-11-18 2021-02-26 维沃移动通信有限公司 拍照方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US11902673B2 (en) 2024-02-13
CN115701130A (zh) 2023-02-07
US20230030562A1 (en) 2023-02-02
US20240155252A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
KR102467771B1 (ko) 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR102531128B1 (ko) 카메라를 이용하여 복수의 프레임 레이트에 따라 영상을 촬영하는 전자 장치 및 그 작동 방법
KR101724513B1 (ko) 포토어레이, 특히 시간 의존성 이미지 데이터의 비동기성 검출과 샘플링된 밝기의 감지를 동시 실시하기 위한 포토어레이
CN101459762B (zh) 摄像设备及其控制方法
CN109903324B (zh) 一种深度图像获取方法及装置
US20240155252A1 (en) Electronic device for compensating for time delay of dynamic vision sensor
US11032477B2 (en) Motion stabilized image sensor, camera module and apparatus comprising same
CN111491109B (zh) 光检测芯片、图像处理装置及其运作方法
KR102349433B1 (ko) 자이로스코프 센서를 제어할 수 있는 이미지 센서와 이를 포함하는 장치들
US20100110209A1 (en) Fast motion measurement device for gaming
US9699381B2 (en) Digital photographing motion compensation system and method
US20240107194A1 (en) Delay Equalization in Event-Based Vision Sensors
KR20150068740A (ko) 오버샘플링 회수를 조절할 수 있는 이미지 센서와 이를 포함하는 이미지 데이터 처리 시스템
KR20190031064A (ko) 제 1 이미지 센서에서 제공된 신호를 이용하여 제 2 이미지 센서에서 데이터를 획득하는 방법 및 전자 장치
CN109547671B (zh) 图像传感器、相机模块以及成像设备
US11032476B2 (en) Image sensor and electronic device comprising the same
KR102530761B1 (ko) 이미지 센서, 카메라 모듈 및 이를 포함하는 기기
JP4329677B2 (ja) 動き検出装置
CN110024378B (zh) 摄像装置以及摄像机
WO2020152997A1 (ja) 画像処理システムおよびカメラシステム
WO2022122156A1 (en) Method and system for reducing blur
KR20220074854A (ko) 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램
JP6066942B2 (ja) 画像処理装置
KR20140124431A (ko) 촬영 장치의 제어 방법
JP4285573B2 (ja) 動き検出装置