KR20220076943A - 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 - Google Patents

비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 Download PDF

Info

Publication number
KR20220076943A
KR20220076943A KR1020200165942A KR20200165942A KR20220076943A KR 20220076943 A KR20220076943 A KR 20220076943A KR 1020200165942 A KR1020200165942 A KR 1020200165942A KR 20200165942 A KR20200165942 A KR 20200165942A KR 20220076943 A KR20220076943 A KR 20220076943A
Authority
KR
South Korea
Prior art keywords
signal
event
vision sensor
timestamp
generated
Prior art date
Application number
KR1020200165942A
Other languages
English (en)
Inventor
서종석
백재호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200165942A priority Critical patent/KR20220076943A/ko
Priority to US17/525,390 priority patent/US11695895B2/en
Priority to CN202111438520.7A priority patent/CN114584726A/zh
Publication of KR20220076943A publication Critical patent/KR20220076943A/ko
Priority to US18/321,070 priority patent/US20230300282A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H04N5/374—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/3765—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법이 개시된다. 본 개시의 예시적 실시예에 따른 비전 센서는 매트릭스 형태로 배치되는 복수의 픽셀을 포함하는 픽셀 어레이, 이미지 센서로부터 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성하는 동기화 제어 모듈, 복수의 픽셀 각각의 이벤트 발생 유무를 검출하고, 이벤트가 발생한 픽셀들에 대응하는 이벤트 신호들을 생성하고, 상기 내부 트리거 신호에 기초하여 타임스탬프를 생성하는 이벤트 검출 회로 및 외부 프로세서와 통신하며, 상기 이벤트 신호 및 상기 타임스탬프 중 적어도 하나를 포함하는 비전 센서 데이터를 상기 외부 프로세서로 전송하는 인터페이스 회로를 포함한다. 상기 타임스탬프는 이미지 센서에서 생성된 이미지 프레임과 비전 센서에서 생성된 이벤트 신호의 매칭 정보를 포함하는 것이다.

Description

비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 {VISION SENSOR, IMAGE PROCESSING DEVICE COMPRISING THEREOF AND OPERATING METHOD OF VISION SENSOR}
본 개시의 기술적 사상은 비전 센서에 관한 것으로서, 타임스탬프를 이용하여 이미지 센서(CMOS Image Sensor, CIS) 및 타 기기와 동기화 가능한 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법에 관한 것이다.
비전 센서, 예컨대 동적 비전 센서는 이벤트(예컨대, 빛의 세기 변화)가 발생하면, 이벤트에 관한 정보, 즉 이벤트 신호를 생성하고, 이벤트 신호를 프로세서에 전달한다. 이러한 비전 센서의 이벤트 신호들을 이미지 센서와 연동하면 De-blur 또는 super slow와 같은 다양한 기능들을 지원하는 것이 가능하다.
한편 기존의 비전 센서는 호스트로부터 신호를 수신하여 슬레이브 모드로만 동기화가 가능하였으나, 비전 센서의 활용도가 높아지면서 CIS 및 다른 외부장치들과 좀 더 손쉬운 동기화 방법이 필요한 실정이다.
본 개시의 기술적 사상이 해결하려는 과제는, 이미지 센서, 자이로센서, 및 적외선 LED를 포함하는 카메라 내부/외부 디바이스 동기화 시키기 위해 타임스탬프를 활용하는 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위한 비전 센서는 매트릭스 형태로 배치되는 복수의 픽셀을 포함하는 픽셀 어레이, 이미지 센서로부터 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성하는 동기화 제어 모듈, 복수의 픽셀 각각의 이벤트 발생 유무를 검출하고, 이벤트가 발생한 픽셀들에 대응하는 이벤트 신호들을 생성하고, 상기 내부 트리거 신호에 기초하여 타임스탬프를 생성하는 이벤트 검출 회로 및 외부 프로세서와 통신하며, 상기 이벤트 신호 및 상기 타임스탬프 중 적어도 하나를 포함하는 비전 센서 데이터를 상기 외부 프로세서로 전송하는 인터페이스 회로를 포함한다. 상기 타임스탬프는 이미지 센서에서 생성된 이미지 프레임과 비전 센서에서 생성된 이벤트 신호의 매칭 정보를 포함하는 것이다.
상기 기술적 과제를 해결하기 위한 이미지 처리 장치는 상기 이미지 센서의 어레이의 픽셀의 노출을 시작하는 시점 또는 중지하는 시점의 정보를 포함하는 셔터신호 정보, 상기 어레이의 픽셀의 전압을 검출하는 동작 시점의 정보를 포함하는 독출신호 정보 또는 이미지 센서에서 이미지 프레임이 생성되는 시점에 대한 정보를 포함하는 이미지 프레임 정보 중 적어도 하나의 정보에 기초하여 동기화 입력 신호를 생성하는 이미지 센서, 상기 이미지 센서로부터 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성하고, 픽셀 어레이 포함되는 복수의 픽셀 중 오브젝트의 움직임에 기인하여 이벤트가 발생한 복수의 픽셀들에 대응하는 복수의 이벤트 신호들을 생성하고, 상기 내부 트리거 신호에 기초하여 타임스탬프를 생성하고, 상기 이벤트 신호 및 상기 타임스탬프 중 적어도 하나를 포함하는 비전 센서 데이터를 출력하는 비전 센서 및 상기 이미지 센서로부터 수신된 이미지 센서 데이터 및 상기 비전 센서로부터 수신된 상기 비전 센서 데이터를 매칭시키는 프로세서를 포함한다.
상기 기술적 과제를 해결하기 위한 비전 센서의 동작 방법은 이미지 센서로부터 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성하는 단계, 복수의 픽셀 각각의 이벤트 발생 유무를 검출하고, 이벤트가 발생한 픽셀들에 대응하는 이벤트 신호들을 생성하고, 상기 내부 트리거 신호에 기초하여 타임스탬프를 생성하는 단계 및 외부 프로세서와 통신하며, 상기 이벤트 신호 및 상기 타임스탬프 중 적어도 하나를 포함하는 비전 센서 데이터를 상기 외부 프로세서로 전송하는 단계를 포함한다. 상기 타임스탬프는 이미지 센서에서 생성된 이미지 프레임과 비전 센서에서 생성된 이벤트 신호의 매칭 정보를 포함하는 것이다.
본 개시의 실시예들에 따른 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법에 따르면, 이미지 센서 및 비전 센서의 동기화 방법을 제공하여 이미지 센서의 프레임과 비전 센서의 프레임을 호스트에서 빠르게 매칭시킬 수 있다.
또한, 비전 센서는 이미지 센서에서 전달된 동기화 신호를 이용하여 적외선 LED, 자이로 센서 등의 외부 장치를 제어 및 관리하는 것이 가능하다.
도 1a 및 1b는 본 개시의 예시적 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 2a 및 2b는 본 개시의 예시적 실시예에 따른 비전 센서를 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 이벤트 검출부를 나타내는 블록도이다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 동기화 제어 모듈을 나타내는 블록도이다.
도 5a 내지 5c는 본 개시의 예시적 실시예에 따른 내부 트리거 생성기의 동작 모드를 설명하는 도면이다.
도 6은 본 개시의 예시적 실시예에 따른 동기화 신호 생성기의 동작 방법을 설명하는 도면이다.
도 7a 내지 도 7c는 본 개시의 실시예에 따른 비전 센서에서 동기화 입력 신호에 따라 타임 스탬프를 생성하는 방법을 설명하는 도면이다.
도 8은 본 개시의 예시적 실시예에 따른 비전 센서에서 외부 장치를 동기화하는 방법을 나타내는 도면이다.
도 9는 픽셀의 일 구현예를 나타내는 회로도이다.
도 10은 본 개시의 예시적 실시예에 따른 비전 센서의 동기화 방법을 설명하는 순서도이다.
도 11은 본 개시의 예시적 실시예에 따른 비전 센서가 적용된 전자 기기를 예시적으로 보여주는 블록도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다.
도 1a 및 1b는 본 개시의 예시적 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
본 개시의 예시적 실시예에 따른 이미지 처리 장치(10)는 이미지 또는 광 센싱 기능을 갖는 전자 기기에 탑재될 수 있다. 예를 들어, 이미지 처리 장치(10)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation), 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 처리 장치(10)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비될 수 있다.
도 1a를 참조하면 이미지 처리 장치(10)는 비전 센서(100), 이미지 센서(200) 및 프로세서(300)를 포함할 수 있다.
비전 센서(100)는 입사되는 빛의 세기의 변화를 감지하여 이벤트 신호를 출력할 수 있다. 비전 센서(100)는 빛의 변화가 감지되는 픽셀들, 다시 말해서 이벤트가 발생한 픽셀들에 대해서 이벤트 신호들을 출력하는 동적 비전 센서일 수 있다. 빛의 세기 변화는 비전 센서(100)에 의해 촬영되는 오브젝트의 움직임에 기인하거나, 비전 센서(100) 또는 이미지 처리 장치(10) 자체의 움직임에 기인할 수 있다. 비전 센서(100)는 이벤트 신호들을 포함하는 비전 센서 데이터(VDT)들을 주기적 또는 비주기적으로 프로세서(300)로 전송할 수 있다.
비전 센서(100)는 이미지 센서(200)로부터 수신된 동기화 신호(SYNC)에 기초하여 이미지 센서(200)에서 생성된 이미지 프레임과 비전 센서(100)에서 생성된 이벤트 신호를 매칭 시킬 수 있는 타임스탬프를 생성하고, 생성된 타임스탬프를 포함하는 비전 센서 데이터(VDT)를 프로세서(300)로 전송할 수 있다. 타임스탬프는 이미지 센서가 노출된 시점, 이미지 프레임이 생성된 시점 또는 비전 센서의 이벤트 신호가 발생된 시점에 대한 정보를 포함할 수 있다. 타임스탬프는 내부 트리거 신호 발생시 기설정된 값을 증가시키는 레퍼런스 타임스탬프 및 이벤트 신호 발생시 기설정된 값을 증가시키는 서브 타임스탬프를 포함하는 것일 수 있다.
또한 비전 센서(100)는 이미지 센서(200)로부터 수신된 동기화 신호(SYNC)또는 비전 센서(100)의 내부 신호를 이용하여, 이미지 센서(200)를 포함하는 외부 디바이스들을 비전 센서(100)와 동기화 시키기 위한 디바이스 동기화 신호(예를 들어, 도 2a의 ESO)를 출력할 수 있다. 비전 센서(100)는 복수개의 디바이스 동기화 신호를 출력할 수 있고, 디바이스 동기화 신호를 개별적으로 제어할 수 있다.
이미지 센서(200)는 광학 렌즈를 통하여 입사된 피사체(Object)의 광학적 신호를 전기적 신호로 변환하고, 전기적 신호들을 기초로 이미지 데이터(IDT)를 생성하여 출력할 수 있다. 이미지 센서(200)는 예를 들어, 2차원적으로 배열된 복수의 픽셀들을 포함하는 픽셀 어레이 및 리드아웃 회로를 포함할 수 있으며, 픽셀 어레이는 수신되는 광 신호들을 전기적 신호들로 변환할 수 있다. 픽셀 어레이는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전 변환 소자로 구현될 수 있으며 이외에도 다양한 종류의 광전 변환 소자로 구현될 수 있다. 리드아웃 회로는 픽셀 어레이로부터 제공되는 전기적 신호를 기초로 로우 데이터(Raw data)를 생성하고, 로우 데이터 또는 배드 픽셀 제거 등의 전처리가 수행된 로우 데이터를 이미지 데이터(IDT)로서 출력할 수 있다. 이미지 센서(200)는 픽셀 어레이 및 리드아웃 회로를 포함하는 반도체 칩 또는 패키지로서 구현될 수 있다.
이미지 센서(200)는 비전 센서(100)와 이미지 센서(200)를 서로 동기화하기위해 비전 센서(100)에 전달할 동기화 입력 신호를 생성할 수 있다. 동기화 입력 신호는 이미지 센서의 셔터신호 정보, 독출(Readout)신호 정보 또는 이미지 프레임 정보 등을 고려하여 생성될 수 있다.
프로세서(300)는 이미지 센서(200)로부터 제공되는 이미지데이터(IDT)에 대하여 이미지 처리(image processing)를 수행할 수 있다. 예를 들어, 이미지 신호 프로세서(100)는 이미지 데이터(IDT)에 대하여 데이터 형식을 변경하는 이미지 처리(예컨대 베이어 패턴의 이미지 데이터를 YUV 또는 RGB 형식으로 변경), 노이즈 제거, 밝기 조정, 선명도(sharpness) 조정 등의 화질 향상을 위한 이미지 처리 등을 포함할 수 있다. 프로세서(300)는 비전 센서(100)로부터 수신되는 이벤트 신호(EVS)들을 처리할 수 있으며, 오브젝트의 움직임(또는 이미지 처리 장치(10)가 인지하는 이미지 상에서의 오브젝트의 움직임)을 검출할 수 있다.
또한 프로세서(300)는 이미지 센서(200)로부터 제공되는 이미지 데이터(IDT)에 포함된 이미지 프레임과, 비전 센서(100)로부터 수신되는 비전 센서 데이터(VDT)들을 타임스탬프 및 동기화 신호 정보들을 이용하여 매칭시킬 수 있다. 프로세서(300)는 ASIC (application specific integrated circuit), FPGA (field-programmable gate array), 전용 프로세서 (dedicated microprocessor), 마이크로프로세서, 범용 프로세서 (general purpose processor)등을 포함할 수 있다. 실시예에 있어서, 프로세서(300)는 어플리케이션 프로세서 또는 이미지 처리 프로세서일 수 있다.
한편, 비전 센서(100), 이미지 센서(200) 및 프로세서(300)는 각각 집적 회로(integrated circuit(IC)로 구현될 수 있다. 예컨대 비전 센서(100), 이미지 센서(200) 및 프로세서(300)는 별개의 반도체 칩으로 구현될 수 있다. 또는, 비전 센서(100), 이미지 센서(200) 및 프로세서(300)는 단일 칩으로 구현될 수 있다. 예컨대, 비전 센서(100), 이미지 센서(200) 및 프로세서(300)는 SoC(system on chip)로 구현될 수 있다.
도 1b를 참조하면 이미지 처리 장치(10)는 외부 디바이스(400)를 제어하고 데이터를 수집할 수 있다. 외부 디바이스(400)는 가속도 센서, 관성 측정 장치(IMU, Inertial Measurement Unit), 자이로(Gyro) 센서, 적외선(IR) LED, 및 플래시라이트 등을 포함할 수 있다.
가속도　센서는 이동하는 물체의 가속도나 충격의 세기를 측정하는　센서로 출력신호를 처리하여 물체의 가속도, 진동, 충격 등 동적 힘을 측정할 수 있다.
자이로　센서는 회전하는 물체의 역학운동을 이용하여 위치측정과 방향설정 등에 활용되는　센서이다.
적외선(IR) LED는 빛이 없는 곳에서 이미지를 촬영하기 위한 것으로 CCTV 등에 활용되는 장치이다.
관성 측정 장치(IMU, Inertial Measurement Unit)는, 가속도계와 회전 속도계, 때로는 자력계의 조합을 사용하며, 최근에는 휴대폰, 카메라와 같은 많은 소비자 제품에서 방향　센서　역할을 한다. 관성 측정 장치는 하나 이상의 가속도계(Accelerator)를 사용하여 선형 가속도를 감지하고, 하나 이상의　자이로스코프(Gyroscope)를 사용하여 회전 속도를 감지함으로써 작동하며, 경우에 따라 자기 측정기(Magnetometer)를 포함할 수 있다. 일반적인 구성에는 피치(Pitch), 롤(Roll) 및 요(Yaw) 세 가지 축에 대해 축 하나당 가속도계,　자이로스코프 및 자기 측정기가 하나씩 포함될 수 있다.
도 2a 및 2b는 본 개시의 예시적 실시예에 따른 비전 센서를 나타내는 블록도이다.
도 2a를 참조하면, 비전 센서(100)는 픽셀 어레이(110), 이벤트 검출 회로(120), 동기화 제어 모듈(130), 인터페이스 회로(140)를 포함할 수 있다.
픽셀 어레이(110)는 매트릭스 형태로 배열된 복수의 픽셀(PX)을 포함할 수 있다. 복수의 픽셀(PX) 각각은 수신되는 빛의 세기가 증가하거나 감소하는 이벤트들을 감지할 수 있다. 예를 들어, 복수의 픽셀(PX) 각각은 열 방향으로 연장된 컬럼 라인과 그리고 행 방향으로 연장된 로우 라인을 통하여 이벤트 검출 회로(120)에 연결될 수 있다. 이벤트가 발생하였음을 알리는 신호 및 이벤트의 극성 정보(즉, 빛의 세기가 증가하는 온-이벤트인지 또는 빛의 세기가 감소하는 오프-이벤트인지 여부)가 이벤트가 발생한 픽셀(PX)로부터 이벤트 검출 회로(120)로 출력될 수 있다.
이벤트 검출 회로(120)는 픽셀 어레이(110)로부터 이벤트들을 독출하고, 이벤트들을 처리할 수 있다. 이벤트 검출 회로(120)는 발생한 이벤트의 극성 정보, 이벤트가 발생한 픽셀의 어드레스, 및 타임 스탬프(TS)를 포함하는 이벤트 신호(EVS)를 생성할 수 있다. 이벤트 검출 회로(120)는 동기화 제어 모듈(130)에서 생성된 내부 트리거 신호(ITS)를 수신하여 동기화 정보를 포함하는 타임스탬프(TS)를 생성할 수 있다.
이벤트 검출 회로(120)는 픽셀 어레이(110)에서 발생한 이벤트들을 픽셀 단위, 복수의 픽셀들을 포함하는 픽셀 그룹 단위, 컬럼 단위 또는 프레임 단위로 처리할 수 있다.
동기화 제어 모듈(130)은 이미지 센서(200)로부터 수신된 동기화 입력 신호(ESI)에 기초하여 내부 트리거 신호(ITS)를 생성할 수 있다. 동기화 제어 모듈(130)은 수신된 동기화 입력 신호(ESI)에 포함된 딜레이 값을 이용하여, 내부 트리거 신호(IST)를 생성할 수 있다. 상기 딜레이 값은 미리 설정된 값일 수 있다. 딜레이 값이 적용된 실시 예는 도 5b, 도 5c 및 도 6에서 함께 설명한다.
예시적인 실시 예에서, 동기화 제어 모듈(130)은 이미지 센서(200)로부터 수신된 동기화 입력 신호(ESI)에 기초하여 디바이스 동기화 신호(ESO)를 생성할 수 있다. 또는, 예시적인 실시 예에서, 동기화 제어 모듈(130)은 동기화 입력 신호(ESI) 대신 비전 센서(100) 내부 신호를 사용하여 디바이스 동기화 신호(ESO)를 생성할 수도 있다. 동기화 제어 모듈(130)은 복수개의 디바이스 동기화 신호(ESO)를 생성할 수 있고, 복수개의 디바이스 동기화 신호(ESO) 각각을 독립적으로 제어할 수 있다.
인터페이스 회로(140)는 이벤트 신호(EVS) 및 타임스탬프(TS) 수신하고, 설정된 프로토콜에 따라 프로세서(도 1의 300)에 비전 센서 데이터(VDT)를 전송할 수 있다. 인터페이스 회로(140)는 설정된 프로토콜에 따라 이벤트 신호(EVS)들 및 타임스탬프(TS)를 개별 신호 단위, 패킷 단위 또는 프레임 단위로 패킹하여 비전 센서 데이터(VDT)를 생성하고, 비전 센서 데이터(VSD)를 프로세서(300)로 전송할 수 있다. 예를 들어, 인터페이스 회로(140)는 MIPI (Mobile Industry Processor Interface) 인터페이스를 포함할 수 있고, MIPI 인터페이스 중 카메라와 디스플레이간 인터페이스인 D-PHY를 사용할 수 있다.
인터페이스 회로(140)에서는 적어도 하나의 이벤트 신호(EVS) 및 타임스탬프(TS)를 포함하는 패킷이 비전 센서 데이터(VDT)로서 출력될 수 있다. 패킷은, 이벤트 신호(EVS)의 타임 스탬프(TS), 어드레스(ADDR), 및 극성 정보(Pol)를 포함할 수 있으며, 그 배치 순서가 한정되는 것은 아니다. 패킷의 앞단에 패킷의 시작을 알리는 헤더가 뒷단에 패킷의 끝을 알리는 테일이 부가될 수 있다. 패킷은 적어도 하나의 이벤트 신호들을 포함할 수 있다.
타임 스탬프(TS)는 이벤트가 발생한 시간에 관한 정보를 포함할 수 있다. 예를 들어, 타임 스탬프(TS)는 32비트로 구성될 수 있으나, 이에 한정되지 않는다.
어드레스(ADDR)는 복수의 비트로 구성될 수 있으며, 예컨대 각각 8비트로 구성될 수 있다. 이 경우, 최대 8개의 행들과 8개의 열들로 배치되는 복수의 픽셀들을 포함하는 비전 센서를 지원할 수 있다. 그러나, 이는 예시적인 것이며, 픽셀들의 개수에 따라 어드레스(ADDR)비트 수들은 다양해질 수 있다.
극성 정보(Pol)는 온-이벤트와 오프-이벤트에 관한 정보를 포함할 수 있다. 예를 들어, 극성 정보(Pol)는 온-이벤트의 발생 여부에 관한 정보를 포함하는 1 비트와, 오프-이벤트의 발생 여부에 관한 정보를 포함하는 1 비트로 구성될 수 있다. 예를 들어, 온-이벤트를 나타내는 비트와 오프-이벤트를 나타내는 비트는 모두 '1'일 수는 없으나, 모두 '0'일 수는 있다.
도 2b를 참조하면, 비전 센서(100)는 픽셀 어레이(110), 이벤트 검출 회로(120), 동기화 제어 모듈(130), 인터페이스 회로(140) 및 디바이스 제어 모듈(150)을 포함할 수 있다.
디바이스 제어 모듈(150)은 이벤트 검출 회로(120)에서 생성된 타임스탬프(TS)를 수신하여 관성 측정 장치, 자이로센서, 적외선 LED, 플래시라이트를 포함하는 외부 디바이스(400)에서 수신된 데이터와 동기화 시킬 수 있다. 디바이스 제어 모듈(150)은 타임스탬프(TS) 정보를 포함하는 디바이스 데이터(DDT)를 인터페이스 회로(140)에 전송할 수 있다. 예를 들어, 디바이스 데이터(DDT)는 자이로 센서에서 수신된 데이터와 비전 센서의 이벤트 신호(EVS)의 매칭 정보를 포함할 수 있고, 인터페이스 회로(140)는 이벤트 신호(EVS), 자이로 센서 데이터 및 타임스탬프(TS)를 동기화 시켜 비전 센서 데이터(VSD)를 생성하고, 비전 센서 데이터(VSD)를 프로세서(300)로 전송할 수 있다.
이하, 본 개시에서, 이벤트 신호(EVS)들, 타임스탬프(TS) 또는 디바이스 데이터(DDT)들이 출력된다는 표현은 이벤트 신호(EVS)들, 타임스탬프(TS) 또는 디바이스 데이터(DDT)들이 인터페이스 회로(140)를 통해 비전 센서 데이터(VDT)로 변환되고, 비전 센서 데이터(VDT)가 프로세서(300)로 전송되는 것을 의미한다.
도 3은 본 개시의 예시적 실시예에 따른 이벤트 검출부를 나타내는 블록도이다.
도 3을 참조하면, 이벤트 검출부(120)는 전압 생성기(121), 디지털 타이밍/AER(Address Event Representation) 생성기(이하 DTAG, 122) 및 이벤트 신호 처리부(123)(이하 ESP라고 함)를 포함할 수 있다. DTAG는 컬럼 AER, 로우 AER 및 타임스탬프 생성기(Time stamp generator)를 포함할 수 있다.
전압 생성기(121)는 픽셀 어레이(110)에 제공되는 전압을 생성할 수 있다. 예컨대 전압 생성기(121)는 픽셀(PX)에서 온-이벤트 및 오프-이벤트를 검출하기 위해 사용되는 임계 전압들, 또는 바이어스 전압들을 생성할 수 있다. 전압 생성기(121)는 관심 영역의 픽셀들에 제공되는 임계 전압들의 전압 레벨을 변경할 수 있으며, 복수의 관심 영역들 각각에 대하여 임계 전압들의 전압 레벨을 상이하게 변경할 수 있다.
DTAG(122)는 이벤트가 발생한 픽셀(PX)로부터 이벤트가 발생을 알리는 신호를 수신하고, 이벤트가 발생한 픽셀(PX)의 이벤트가 발생한 픽셀(PX)의 이벤트 발생 시간(TS), 극성 정보(Pol), 컬럼 어드레스, 로우 어드레스 또는 그룹 어드레스를 포함하는 어드레스(ADDR)를 생성할 수 있다.
예를 들어 컬럼 AER은 이벤트가 발생한 픽셀(PX)로부터 이벤트가 발생을 알리는 신호, 예컨대 컬럼 리퀘스트를 수신하고, 이벤트가 발생한 픽셀(PX)의 컬럼 어드레스를 생성할 수 있다.
로우 AER은 이벤트가 발생한 픽셀(PX)로부터 이벤트가 발생을 알리는 신호, 예컨대 로우 리퀘스트를 수신하고, 이벤트가 발생한 픽셀(PX)의 로우 어드레스를 생성할 수 있다. 로우 AER에서 로우 어드레스를 생성하는 대신, 기설정된 그룹 단위로 그룹 어드레스를 생성하는 것도 가능하다.
예시적인 실시예에 있어서, 픽셀 어레이(110)는 컬럼 단위로 스캔될 수 있으며, 컬럼 AER은 특정 컬럼, 예컨대 제1 컬럼으로부터 리퀘스트가 수신되면, 응답 신호를 제1 컬럼으로 전송할 수 있다. 응답 신호를 수신한 이벤트가 발생한 픽셀(PX)은 극성 정보(Pol)(예컨대 온-이벤트 또는 오프-이벤트 발생을 나타내는 신호)를 로우 AER로 전송할 수 있다. 로우 AER은 극성 정보(Pol)가 수신되면, 이벤트가 발생한 픽셀(PX)에 리셋 신호를 전송할 수 있다. 리셋 신호에 응답하여, 이벤트가 발생한 픽셀(PX)이 리셋될 수 있다. 로우 AER은 리셋 신호가 발생되는 주기를 제어할 수 있다. 로우 AER은 이벤트가 발생한 시간에 대한 정보, 즉 타임 스탬프(TS)를 생성할 수 있다.
픽셀 어레이(110)가 컬럼 단위로 스캔되는 경우를 가정하여 로우 AER 및 컬럼 AER의 동작을 설명하였다. 그러나, 로우 AER 및 컬럼 AER의 동작은 이에 제한되는 것은 아니며, 로우 AER 및 컬럼 AER은 다양한 방식으로 이벤트가 발생한 픽셀(PX)로부터 이벤트 발생 여부 및 극성 정보(Pol)를 독출할 수 있다. 예를 들어, 픽셀 어레이(110)가 로우 단위로 스캔될 수 있으며, 로우 AER 및 컬럼 AER의 동작이 교체되어, 즉 컬럼 AER이 극성 신호(Pol)를 수신하고 리셋 신호를 픽셀 어레이(110)에 전송할 수 있다. 또한, 로우 AER 및 컬럼 AER는 이벤트가 발생한 픽셀(PX)을 개별적으로 엑세스할 수도 있다.
DTAG(122)는 내부 트리거 신호(ITS)에 기초하여 타임스탬프(TS)를 생성할 수 있다. 생성된 타임스탬프(TS)를 통해 비전 센서(100)에서 생성된 이벤트 신호(EVS)와 이미지 센서(200)에서 생성된 이미지 프레임을 매칭시킬 수 있다. 매칭을 위한 타임스탬프(TS)를 생성하는 방법은 추후 도 7a 내지 도 7c에서 상세히 설명한다.
ESP(123)는 DTAG(122)로부터 수신되는 어드레스(ADDR), 극성 신호(Pol) 및 타임 스탬프(TS)를 기초로 이벤트 신호(EVS)를 생성할 수 있다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 동기화 제어 모듈을 나타내는 블록도이다.
도 4a를 참조하면 동기화 제어 모듈(130)은 딜레이 제어 유닛(131), 동기화 신호 생성기(132) 및 내부 트리거 생성기(133)를 포함할 수 있다.
딜레이 제어 유닛(131)은 동기화 입력 신호(ESI)를 포함하는 동기화를 위한 외부 신호에 사용자가 설정한 딜레이 값을 적용하여 비전 센서(100) 내부에서 사용하기 위한 딜레이된 동기화 입력 신호를 생성할 수 있다. 동기화 신호 생성기(132)는 동기화 입력 신호(ESI) 또는 딜레이된 동기화 입력 신호를 이용하여 디바이스 동기화 신호(ESO)를 생성할 수 있다. 내부 트리거 생성기(133)는 동기화 입력 신호(ESI) 또는 딜레이된 동기화 입력 신호를 이용하여 타임스탬프(TS) 생성 또는 DTAG(122) 제어에 사용되는 내부 트리거 신호(ITS)를 생성할 수 있다.
도 4b를 참조하면 동기화 신호 생성기(132)는 동기화 입력 신호(ESI) 대신 비전 센서(100) 내부 신호(DIS)를 이용하여 디바이스 동기화 신호(ESO)를 생성할 수 있다. 또한 동기화 신호 생성기(132)는 복수의 디바이스 동기화 신호(ESO1~ESOn)를 생성할 수 있으며 각각을 독립적으로 제어할 수 있다.
도 5a 내지 5c는 본 개시의 예시적 실시예에 따른 내부 트리거 생성기의 동작 모드를 설명하는 도면이다.
내부 트리거 생성기(133)는 동기화 입력 신호(ESI) 또는 딜레이 값이 적용된 신호를 이용하여 타임스탬프(TS) 생성 또는 DTAG(122) 제어에 사용되는 내부 트리거 신호(ITS)를 생성할 수 있다.
예를 들어 내부 트리거 생성기(133)는 3가지 출력 모드를 지원할 수 있다. 도 5a를 참조하면, 내부 트리거 생성기(133)는 동기화 입력 신호(ESI)가 발생할 때마다 하나의 트리거 신호(ITS)를 생성하는 싱글 모드(Single in trigger mode)로 동작할 수 있다. 도 5b를 참조하면, 내부 트리거 생성기(133)는 동기화 입력 신호(ESI)가 발생할 때마다 기설정된 N개의 트리거 신호(ITS)를 생성하는 단일 버스트 모드(Burst single in trigger mode)로 동작할 수 있다. 이때, 트리거 신호(ITS)는 설정된 딜레이 값(d1) 이후부터 설정된 주기(t1)로 N번 발생할 수 있다. 도 5c를 참조하면, 내부 트리거 생성기(133)는 동기화 입력 신호(ESI)가 발생하면 기설정된 복수개 또는 무한대의 트리거 신호(ITS)를 생성하는 연속 버스트 모드(Burst mode)로 동작할 수 있다. 이때, 트리거 신호(ITS)는 설정된 딜레이 값(d2) 이후부터 설정된 주기(t2)로 계속 발생할 수 있다. 이 때 내부 트리거 생성기(133)는 생성하는 트리거 신호(ITS)의 펄스폭을 제어하거나 외부 클럭에 동기화 할 수 있다.
도 6은 본 개시의 예시적 실시예에 따른 동기화 신호 생성기의 동작 방법을 설명하는 도면이다.
도 6을 참조하면, 동기화 신호 생성기(132)는 동기화 입력 신호(ESI) 또는 딜레이 값이 적용된 신호를 이용하여 제1 및 제2 디바이스 동기화 신호(ESO1, ESO2)를 생성할 수 있다. 제1 및 제2 디바이스 동기화 신호(ESO1, ESO2)는 도 4b의 복수의 디바이스 동기화 신호(ESO1~ESOn) 중 적어도 일부일 수 있다.
동기화 신호 생성기(132)는 도 5a 내지 도 5c에서 설명한 내부 트리거 생성기(133)와 동일하게 3가지 출력 모드를 지원할 수 있다. 동기화 신호 생성기(132)는 동기화 입력 신호(ESI)가 발생할 때마다 하나의 디바이스 동기화 신호(ESO)를 생성하는 싱글 모드(Single in trigger mode), 동기화 입력 신호(ESI)가 발생할 때마다 기설정된 N개의 디바이스 동기화 신호(ESO)를 생성하는 단일 버스트 모드(Burst single in trigger mode) 또는 동기화 입력 신호(ESI)가 발생하면 기설정된 복수개 또는 무한대의 디바이스 동기화 신호(ESO)를 생성하는 연속 버스트 모드(Burst mode)로 동작할 수 있다.
예를 들어, 동기화 신호 생성기(132)는 제1 디바이스 동기화 신호(ESO 1)에서는 딜레이 값(d3)을 가지는 싱글 모드의 신호를 발생시키고, 제2 디바이스 동기화 신호(ESO 2)에서는 딜레이 값(d4)을 가지고 단일 버스트 모드에서 일정 주기(t3)로 신호를 발생시킬 수 있다.
동기화 신호 생성기(132)는 복수개의 디바이스 동기화 신호(ESO)를 생성할 수 있으며, 생성된 디바이스 동기화 신호(ESO)마다 다른 출력 모드를 적용할 수 있다. 예를 들어, 동기화 신호 생성기(132)는 제1 디바이스 동기화 신호(ESO 1)은 싱글 모드로 동작시키고, 제2 디바이스 동기화 신호(ESO 2)는 단일 버스트 모드로 동작시킬 수 있다.
도 7a 내지 도 7c는 본 개시의 실시예에 따른 비전 센서에서 동기화 입력 신호에 따라 타임 스탬프를 생성하는 방법을 설명하는 도면이다.
동기화 제어 모듈(130)은 동기화 입력 신호(ESI)를 입력으로 내부 트리거 신호(ITS)를 발생시킬 수 있다. DTAG(122)는 내부 트리거 신호(ITS)에 기초하여 레퍼런스 타임스탬프(DVS reference time stamp) 및 서브 타임스탬프(DVS sub time stamp)를 포함하는 타임스탬프(TS)를 생성할 수 있다.
예를 들어, 동기화 입력 신호(ESI)는 CMOS 이미지센서(CIS)에서 비전 센서(DVS)로 전달되는 트리거 신호(CIS to DVS Trig signal)일 수 있다. 동기화 입력 신호(ESI)는 이미지 센서의 셔터정보인 CIS 셔터 스타트(CIS shutter start) 신호, 독출(Readout) 시점을 나타내는 CIS 수직 유효(CIS vertical valid) 신호에 기초하여 생성될 수 있다. 내부 트리거 신호(ITS)는 동기화 입력 신호(ESI)와 동일하게 발생할 수 있다. CIS 프레임 카운터(CIS frame counter)는 이미지 센서에서 생성된 이미지 프레임의 생성 순서를 표시할 수 있다. 예를 들어, CIS 프레임 카운터는 이미지 센서(200)에서 CIS 수직 유효 신호가 하이(High) 에서 로우(Low)로 변할 때마다 증가될 수 있다. 예를 들어, DVS 스캔 스타트(DVS scan start)는 비전 센서(100)에서 이벤트 프레임이 생성될 때마다 발생하고, 서브 타임스탬프(DVS sub time stamp)는 DVS 스캔 스타트 신호가 발생할 때마다 하나씩 증가될 수 있다.
도 7a를 참조하면, 이미지 센서(200)는 CIS 셔터 스타트 시점(c)에 동기화 입력 신호(ESI)를 생성할 수 있다. 비전 센서(100)는 내부 트리거 신호(ITS)가 발생할 때마다 레퍼런스 타임스탬프를 하나씩 증가시킬 수 있다. 서브 타임스탬프는 DVS 스캔 스타트 신호가 발생할 때마다 하나씩 증가되고, 레퍼런스 타임스탬프가 증가될 때 초기화될 수 있다. 프로세서(300)는 비전 센서(100)에서 생성된 레퍼런스 타임스탬프의 값과 이미지 센서(200)에서 생성된 CIS 프레임 카운터 값을 이용하여 비전 센서 데이터(VDT)와 이미지 센서 데이터(IDT)를 매칭시킬 수 있다.
도 7b를 참조하면, 이미지 센서(200)는 CIS 셔터 스타트 시점(s)과 독출(Readout)이 끝나는 시점(e)에 동기화 입력 신호(ESI)를 전송할 수 있다. CIS 셔터 스타트 시점(s)에 동기화된 제1 레퍼런스 타임스탬프(DVS reference time stamp 1)과 독출(Readout)이 끝나는 시점(e)에 동기화 된 제2 레퍼런스 타임스탬프(DVS reference time stamp 2)를 이용하면, CIS 프레임 카운터 값과 더 정확한 매칭이 가능하고, 따라서 비전 센서 데이터(VDT)와 이미지 센서 데이터(IDT)를 더 정확하게 매칭시킬 수 있다.
도 7c를 참조하면, 이미지 센서(200)는 독출(Readout)이 시작되는 시점(r)에 동기화 입력 신호(ESI)를 전송할 수 있다. 비전 센서(100)는 내부 트리거 신호(ITS)가 발생할 때마다 레퍼런스 타임스탬프를 하나씩 증가시킬 수 있다. 프로세서(300)는 비전 센서(100)에서 생성된 레퍼런스 타임스탬프 및 서브 타임스탬프의 값과 이미지센서(200)에서 생성된 CIS 프레임 카운터 값을 이용하여 비전 센서 데이터(VDT)와 이미지 센서 데이터(IDT)를 매칭시킬 수 있다.
도 8은 본 개시의 예시적 실시예에 따른 비전 센서에서 외부 장치를 동기화하는 방법을 나타내는 도면이다.
디바이스 제어 모듈(150)은 디바이스 데이터 핸들러(151)와 디바이스 인터페이스(152)를 포함할 수 있다.
디바이스 데이터 핸들러(151)는 이벤트 검출 회로(예를 들어, 도 2b의 120)에서 생성된 타임스탬프(TS)를 수신하여 관성 측정 장치, 자이로, 적외선 LED, 플래시를 포함하는 외부 디바이스(400)에서 수신된 데이터와 동기화 시킬 수 있다. 디바이스 데이터 핸들러(151)는 타임스탬프(TS) 정보를 포함하는 디바이스 데이터(DDT)를 인터페이스 회로(140)에 전송할 수 있다.
디바이스 인터페이스(152)는 다양한 통신 인터페이스들을 사용할 수 있으며, 예를 들어, 직렬 주변기기 인터페이스(SPI, Serial Peripheral Interface)를 사용하여 외부 디바이스(400)들과 통신할 수 있다.
외부 디바이스(400)는 자이로센서, IMU, 적외선 LED 또는 다양한 카메라 센서들을 포함할 수 있다.
도 9는 픽셀의 일 구현예를 나타내는 회로도이다.
도 9를 참조하면, 픽셀(PX)은 광전 변환 소자(PD), 증폭기(111), 제1 비교기(112), 제2 비교기(113), 온-이벤트 홀더(114), 오프-이벤트 홀더(115) 및 리셋 스위치(SW)를 포함할 수 있다. 픽셀(PX)은 이 외에도, 픽셀(PX) 내부에서 발생하거나 또는 외부로부터 유입되는 노이즈를 제거하기 위한 커패시터, 각종 스위치들을 더 포함할 수 있다.
광전 변환 소자(PD)는 입사되는 빛, 즉 광신호를 전기적 신호, 예컨대 전류로 변환할 수 있다. 광전 변환 소자(PD)는 예컨대, 포토(photo) 다이오드, 포토 트랜지스터, 포트 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 광전 변환 소자(PD)는 입사되는 빛의 세기가 증가할수록 높은 레벨을 갖는 전기적 신호를 생성할 수 있다.
증폭기(111)는 수신되는 전류를 전압으로 변환하고, 전압 레벨을 증폭할 수있다. 증폭기(111)의 출력 전압은 제1 비교기(112) 및 제2 비교기(112)로 제공될 수 있다.
제1 비교기(112)는 증폭기(111)의 출력 전압(Vout)을 온-임계 전압(TH1)과 비교하고, 비교 결과에 따라 온 신호(E_ON)를 생성할 수 있다. 제2 비교기(112)는 증폭기(111)의 출력 전압(Vout)을 오프-임계 전압(TH2)과 비교하고, 비교 결과에 따라 오프 신호(E_OFF)를 생성할 있다. 제1 비교기(112) 및 제2 비교기(113)는 광전 변환 소자(PD)에 수신되는 빛의 변화량이 일정 변화 수준 이상일 경우 온 신호(E_ON) 또는 오프 신호(E_OFF)를 생성할 수 있다.
예컨대, 온 신호(E_ON)는 광전 변환 소자(PD)에 수신되는 광량이 일정 수준이상 증가되는 경우에 하이 레벨이 되고, 오프 신호(E_OFF)는 광전 변환 소자(PD)에 수신되는 광량이 일정 수준 이상 감소되는 경우에 하이 레벨이 될 수 있다. 온-이벤트 홀더(114) 및 오프-이벤트 홀더(115)는 각각 온 신호(E_ON) 및 오프 신호(E_OFF)를 홀딩한 후, 출력할 수 있다. 픽셀(PX)이 스캐닝될 때, 온 신호(E_ON) 및 오프 신호(E_OFF)를 출력할 수 있다. 한편, 전술한 바와 같이, 감광도가 조정될 경우, 온-임계 전압(TH1) 및 오프-임계 전압(TH2)의 레벨들이 변경될 수 있다. 예컨대, 감광도가 낮아질 수 있다. 이에 따라, 온-임계 전압(TH1)의 레벨이 증가되고 오프-임계 전압(TH2)의 레벨이 감소될 수 있다. 따라서, 제1 비교기(111) 및 제2 비교기(112)는 광전 변환 소자(PD)에 수신되는 빛의 변화량이 이전(즉, 온-임계 전압(TH1) 및 오프-임계 전압(TH2)의 레벨들이 변경되기 전)보다 더 클 경우에 온 신호(E_ON) 또는 오프 신호(E_OFF)를 생성할 수 있다.
도 10은 본 개시의 예시적 실시예에 따른 비전 센서의 동기화 방법을 설명하는 순서도이다.
비전 센서(100)는 동기화 입력 신호를 수신한다(S110). 비전 센서(100)는 이미지 센서에서 동기화 입력 신호를 수신할 수도 있으나, 이미지 센서가 아닌 다른 장치에서 발생시킨 신호를 수신하는 것도 가능하다. 동기화 입력 신호는 이미지 센서의 셔터 신호 정보, 독출 신호 정보 또는 이미지 프레임 정보 중 적어도 하나의 정보에 기초하여 생성되는 것일 수 있다. 셔터 신호 정보는 셔터링 방식에서 어레이의 픽셀의 노출을 시작하는 시점 또는 중지하는 시점의 정보를 포함할 수 있다. 독출 신호 정보는 어레이의 픽셀들로부터 리셋 전압 및 픽셀 전압을 검출하는 독출 동작의 시작 시점 또는 종료 시점의 정보를 포함할 수 있다. 이미지 프레임 정보는 이미지 센서에서 이미지 프레임이 생성이 시작되는 시점 또는 종료되는 시점의 정보를 포함할 수 있다.
비전 센서(100)는 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성할 수 있다(S120). 이 때 비전 센서(100)는 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호 외에도 외부 디바이스를 제어하기 위한 적어도 하나의 디바이스 동기화 신호를 생성할 수 있다. 내부 트리거 신호 또는 디바이스 동기화 신호는 동기화 입력 신호로부터 딜레이 값 또는 펄스폭을 설정하는 것도 가능하다. 또한, 내부 트리거 신호 또는 디바이스 동기화 신호는 동기화 입력 신호 발생시 하나의 신호를 발생시키는 싱글 모드, 상기 동기화 입력 신호 발생시 기설정된 N개의 신호를 발생시키는 단일 버스트(burst) 모드 또는 상기 동기화 입력 신호에 기초하여 기설정된 복수의 신호를 발생시키는 연속 버스트(burst) 모드로 동작하도록 설정할 수 있다. 디바이스 동기화 신호는 동기화 입력 신호 대신 비전 센서(100) 내부 신호를 이용하여 생성할 수도 있다.
비전 센서(100)는 이벤트 신호들을 생성하면서, 내부 트리거 신호에 기초하여 타임스탬프를 생성할 수 있다(S130). 타임스탬프는 이미지 센서에서 생성된 이미지 프레임과 비전 센서에서 생성된 이벤트 신호의 매칭 정보를 포함하는 것일 수 있다. 타임스탬프는 내부 트리거 신호 발생시 기설정된 값을 증가시키는 레퍼런스 타임스탬프 및 이벤트 신호 발생시 기설정된 값을 증가시키는 서브 타임스탬프를 포함할 수 있다. 예를 들어, 도7a 내지 도 7c를 참고하면 이미지 센서에서 생성된 이미지 프레임에 대한 프레임 카운터 값이 비전 센서에서 동기화 입력 신호를 이용하여 생성한 레퍼런스 타임스탬프 및 이벤트 신호에 따라 생성한 서브 타임스탬프와 대응되므로, 이미지 프레임이 어느 이벤트 신호와 매칭되는지 알 수 있다.
비전 센서(100)는 이벤트 신호 및 타임스탬프를 포함하는 비전 센서 데이터를 외부 프로세서로 전송할 수 있다(S140).
도 11은 본 개시의 예시적 실시예에 따른 비전 센서가 적용된 전자 기기를 예시적으로 보여주는 블록도이다.
도 11을 참조하면, 전자 기기(1000)는 비전 센서(1100), 메인 프로세서(1200), 워킹 메모리(1300), 스토리지(1400), 디스플레이 장치(1500), 통신부(1600) 및 유저 인터페이스(1700)를 포함할 수 있다.
도 1 내지 도 10을 참조하여 설명한 비전 센서(100)가 비전 센서(1100)로서 적용될 수 있다. 비전 센서(1100)는 이미지 센서로부터 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성하고, 복수의 픽셀 각각의 이벤트 발생 유무를 검출하고, 이벤트가 발생한 픽셀들에 대응하는 이벤트 신호들을 생성하고, 내부 트리거 신호에 기초하여 타임스탬프를 생성하고, 외부 프로세서와 통신하며, 이벤트 신호 및 타임스탬프 중 적어도 하나를 포함하는 비전 센서 데이터를 메인 프로세서(1200)로 전송할 수 있다.
이미지 센서(1200)는 수신되는 광 신호를 기초로 이미지 데이터, 예컨대 원시 이미지 데이터를 생성하고 이지 데이터를 프로세서(1300)에 제공할 수 있다.
메인 프로세서(1300)는 전자 기기(1000)의 전반적인 동작을 제어할 수 있으며, 비전 센서(1100)로부터 수신되는 이벤트 데이터, 즉 이벤트 신호들을 처리하여 오브젝트의 움직임을 검출할 수 있다. 또한 이미지 센서(1200)로부터 이미지 프레임을 수신하고, 기설정된 정보를 기초로 이미지 처리를 수행할 수 있다.
워킹 메모리(1400)는 전자 기기(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예를 들어, 워킹 메모리(1400)는 프로세서(1120)에 의해 처리된 패킷들 또는 프레임들을 일시적으로 저장할 수 있다. 예를 들어, 워킹 메모리(1400)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
스토리지(1500)는 메인 프로세서(1300) 또는 다른 구성들로부터 저장이 요청된 데이터를 저장할 수 있다. 스토리지(1500)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.
디스플레이 장치(1600)는 디스플레이 패널, 디스플레이 구동 회로, 및 DSI (display serial interface)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 LCD (Liquid Crystal Display) 장치, LED (Light Emitting Diode) 표시 장치, OLED(Organic LED) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치 등과 같은 다양한 장치로 구현될 수 있다. 디스플레이 구동 회로는 디스플레이 패널을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다. 메인 프로세서(1300)에 내장된 DSI 호스트는 DSI를 통하여 디스플레이 패널과 시리얼 통신을 수행할 수 있다.
유저 인터페이스(1700)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스들 중 적어도 하나를 포함할 수 있다.
통신부(1800)는 안테나(1830)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신부(1800)의 송수신기(1810) 및 MODEM (Modulator/Demodulator, 1820)은 LTE (Long Term Evolution), WIMAX (Worldwide Interoperability for Microwave Access), GSM (Global System for Mobile communication), CDMA (Code Division Multiple Access), Bluetooth, NFC (Near Field Communication), Wi-Fi (Wireless Fidelity), RFID(Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.
전자 기기(1000)의 구성 요소들, 예를 들어 비전 센서(1100), 이미지 센서(1200), 메인 프로세서(1300), 워킹 메모리(1400), 스토리지(1500), 디스플레이 장치(1600), 유저 인터페이스(1700) 및 통신부(1800)는 USB (Universal Serial Bus), SCSI (Small Computer System Interface), MIPI, I2C, PCIe (Peripheral Component Interconnect Express), M-PCIe (Mobile PCIe), ATA (Advanced Technology Attachment), PATA (Parallel ATA), SATA (Serial ATA), SAS (Serial Attached SCSI), IDE (Integrated Drive Electronics), EIDE (Enhanced IDE), NVMe (Nonvolatile Memory Express), UFS (Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상에 의거하여 데이터를 교환할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 매트릭스 형태로 배치되는 복수의 픽셀을 포함하는 픽셀 어레이;
    이미지 센서로부터 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성하는 동기화 제어 모듈;
    복수의 픽셀 각각의 이벤트 발생 유무를 검출하고, 이벤트가 발생한 픽셀들에 대응하는 이벤트 신호들을 생성하고, 상기 내부 트리거 신호에 기초하여 타임스탬프를 생성하는 이벤트 검출 회로; 및
    외부 프로세서와 통신하며, 상기 이벤트 신호 및 상기 타임스탬프 중 적어도 하나를 포함하는 비전 센서 데이터를 상기 외부 프로세서로 전송하는 인터페이스 회로를 포함하고,
    상기 타임스탬프는 이미지 센서에서 생성된 이미지 프레임과 비전 센서에서 생성된 이벤트 신호의 매칭 정보를 포함하는 것인 비전 센서.
  2. 제1 항에 있어서,
    상기 동기화 제어 모듈은 상기 동기화 입력 신호에 기초하여 외부 디바이스를 제어하기 위한 디바이스 동기화 신호를 생성하는 동기화 신호 생성기를 포함하는 것인 비전 센서.
  3. 제1 항에 있어서,
    상기 내부 트리거 신호는 상기 동기화 입력 신호 발생시 하나의 신호를 발생시키는 싱글 모드, 상기 동기화 입력 신호 발생시 기설정된 N개의 신호를 발생시키는 단일 버스트(burst) 모드 또는 상기 동기화 입력 신호에 기초하여 기설정된 복수의 신호를 발생시키는 연속 버스트(burst) 모드 중 적어도 하나의 모드에서 생성되는 것을 특징으로 하는 비전 센서.
  4. 제1 항에 있어서,
    상기 타임스탬프는 상기 내부 트리거 신호 발생시 기설정된 값을 증가시키는 레퍼런스 타임스탬프 및 상기 이벤트 신호 발생시 기설정된 값을 증가시키는 서브 타임스탬프를 포함하는 것인 비전 센서.
  5. 제4 항에 있어서,
    상기 동기화 입력 신호는 상기 이미지 센서의 어레이의 픽셀의 노출을 시작하는 시점 또는 중지하는 시점의 정보를 포함하는 셔터신호 정보, 상기 어레이의 픽셀의 전압을 검출하는 동작 시점의 정보를 포함하는 독출신호 정보 또는 이미지 센서에서 이미지 프레임이 생성되는 시점에 대한 정보를 포함하는 이미지 프레임 정보 중 적어도 하나의 정보에 기초하여 생성되는 것인 비전 센서.
  6. 제1 항에 있어서,
    상기 비전 센서는 외부 디바이스를 제어하는 디바이스 제어 모듈을 포함하고, 상기 외부 디바이스는 자이로 센서, 적외선 LED 또는 카메라 센서들 중 적어도 하나를 포함하는 것을 특징으로 하는 비전 센서.
  7. 제6 항에 있어서,
    상기 디바이스 제어 모듈은 외부 디바이스의 데이터를 수신하고, 상기 수신된 데이터와 상기 타임스탬프를 매칭시킨 디바이스 매칭 데이터를 생성하는 것을 특징으로 하는 비전 센서.
  8. 어레이의 픽셀의 노출을 시작하는 시점 또는 중지하는 시점의 정보를 포함하는 셔터신호 정보, 상기 어레이의 픽셀의 전압을 검출하는 동작 시점의 정보를 포함하는 독출신호 정보 또는 이미지 프레임이 생성되는 시점에 대한 정보를 포함하는 이미지 프레임 정보 중 적어도 하나의 정보에 기초하여 동기화 입력 신호를 생성하는 이미지 센서;
    상기 이미지 센서로부터 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성하고, 픽셀 어레이 포함되는 복수의 픽셀 중 오브젝트의 움직임에 기인하여 이벤트가 발생한 복수의 픽셀들에 대응하는 복수의 이벤트 신호들을 생성하고, 상기 내부 트리거 신호에 기초하여 타임스탬프를 생성하고, 상기 이벤트 신호 및 상기 타임스탬프 중 적어도 하나를 포함하는 비전 센서 데이터를 출력하는 비전 센서; 및
    상기 이미지 센서로부터 수신된 이미지 센서 데이터 및 상기 비전 센서로부터 수신된 상기 비전 센서 데이터를 매칭시키는 프로세서를 포함하는 이미지 처리 장치.
  9. 제 8 항에 있어서,
    상기 비전 센서는 상기 동기화 입력 신호에 기초하여 외부 디바이스를 제어하기 위한 디바이스 동기화 신호를 생성하고, 상기 동기화 입력 신호를 기설정된 딜레이 값만큼 딜레이시켜 딜레이된 동기화 입력 신호를 생성하는 것을 특징으로 하는 이미지 처리 장치.
  10. 이미지 센서로부터 수신된 동기화 입력 신호에 기초하여 내부 트리거 신호를 생성하는 단계;
    복수의 픽셀 각각의 이벤트 발생 유무를 검출하고, 이벤트가 발생한 픽셀들에 대응하는 이벤트 신호들을 생성하고, 상기 내부 트리거 신호에 기초하여 타임스탬프를 생성하는 단계; 및
    외부 프로세서와 통신하며, 상기 이벤트 신호 및 상기 타임스탬프 중 적어도 하나를 포함하는 비전 센서 데이터를 상기 외부 프로세서로 전송하는 단계;를 포함하고,
    상기 타임스탬프는 이미지 센서에서 생성된 이미지 프레임과 비전 센서에서 생성된 이벤트 신호의 매칭 정보를 포함하는 것인 비전 센서의 동작 방법.

KR1020200165942A 2020-12-01 2020-12-01 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 KR20220076943A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200165942A KR20220076943A (ko) 2020-12-01 2020-12-01 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US17/525,390 US11695895B2 (en) 2020-12-01 2021-11-12 Vision sensor, image processing device including the same, and operating method of the vision sensor
CN202111438520.7A CN114584726A (zh) 2020-12-01 2021-11-29 视觉传感器及其操作方法以及包括其的图像处理设备
US18/321,070 US20230300282A1 (en) 2020-12-01 2023-05-22 Vision sensor, image processing device including the same, and operating method of the vision sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200165942A KR20220076943A (ko) 2020-12-01 2020-12-01 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220076943A true KR20220076943A (ko) 2022-06-08

Family

ID=81751676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200165942A KR20220076943A (ko) 2020-12-01 2020-12-01 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법

Country Status (3)

Country Link
US (2) US11695895B2 (ko)
KR (1) KR20220076943A (ko)
CN (1) CN114584726A (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7697749B2 (en) * 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
JP2006203448A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 車載ステレオカメラ装置
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US20140043434A1 (en) * 2011-05-09 2014-02-13 Konica Minolta, Inc. Image processing apparatus
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US11025882B2 (en) * 2016-04-25 2021-06-01 HypeVR Live action volumetric video compression/decompression and playback
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
KR20230087615A (ko) 2016-12-30 2023-06-16 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
CN110692083B (zh) 2017-05-29 2024-01-05 苏黎世大学 用于动态视觉传感器的块匹配光流和立体视觉
US10516876B2 (en) 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging
US10812711B2 (en) 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor

Also Published As

Publication number Publication date
US11695895B2 (en) 2023-07-04
US20230300282A1 (en) 2023-09-21
CN114584726A (zh) 2022-06-03
US20220174187A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US11532143B2 (en) Vision sensor, image processing device including the vision sensor, and operating method of the vision sensor
US8957973B2 (en) Shutter release using secondary camera
US11539887B2 (en) Video image anti-shake method and terminal
US20220172375A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US11032477B2 (en) Motion stabilized image sensor, camera module and apparatus comprising same
WO2018173597A1 (ja) 撮像装置、撮像方法、及び撮像プログラム
US11582410B2 (en) Dynamic vision sensor and image processing device including the same
JP6839768B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US11950003B2 (en) Vision sensor and operating method of the same
US11695895B2 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US11765486B2 (en) Vision sensor and image processing device including the same
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US11418735B2 (en) Image processing device including vision sensor and operating method thereof
US20240107188A1 (en) Vision sensor and image processing device including the same
US20200260008A1 (en) Image sensor and electronic device comprising the same
KR102422392B1 (ko) 깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 그 동작 방법
US12002247B2 (en) Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors
EP4093021A1 (en) Vision sensor and operating method thereof
KR20230078373A (ko) 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치
WO2021096744A1 (en) Sensor data encoding with synchronous readout