KR102671403B1 - LED(light emitting diode) 플리커(flicker) 완화 및 감소된 모션 블러(motion blur)를 갖는 이미지 센서 및 이의 동작 방법 - Google Patents

LED(light emitting diode) 플리커(flicker) 완화 및 감소된 모션 블러(motion blur)를 갖는 이미지 센서 및 이의 동작 방법 Download PDF

Info

Publication number
KR102671403B1
KR102671403B1 KR1020190115482A KR20190115482A KR102671403B1 KR 102671403 B1 KR102671403 B1 KR 102671403B1 KR 1020190115482 A KR1020190115482 A KR 1020190115482A KR 20190115482 A KR20190115482 A KR 20190115482A KR 102671403 B1 KR102671403 B1 KR 102671403B1
Authority
KR
South Korea
Prior art keywords
photodiode
exposure
exposure period
continuous
fragmented
Prior art date
Application number
KR1020190115482A
Other languages
English (en)
Other versions
KR20200033756A (ko
Inventor
셰이 하마미
갈 비탄
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200033756A publication Critical patent/KR20200033756A/ko
Application granted granted Critical
Publication of KR102671403B1 publication Critical patent/KR102671403B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 개시의 기술적 사상에 따른 이미지 센서 내 LED(Light emitting diode) 플리커(flicker) 완화 장치는, 이미지 센서의 동작을 제어하는 적어도 하나의 제어 신호를 생성하는 타이밍 컨트롤러 회로 및 광원으로부터 적어도 하나의 광 버스트에 각각 독립적으로 노출되거나, 블랭크(blanked) 되는 제1 포토다이오드 및 제2 포토다이오드가 구비된 스플릿 포토다이오드를 포함하는 적어도 하나의 픽셀을 포함하고, 타이밍 컨트롤러는, 제1 포토다이오드에 대하여 연속적인(continuos) 긴(long) 노출 기간 동안 광 버스트에 노출되도록 제어하고, 제2 포토다이오드에 대하여 단편화된(fragmented) 중간(medium) 노출 기간, 연속적인 중간 노출 기간, 단편화된 짧은(short) 노출 기간 및 연속적인 짧은 노출 기간 중 어느 하나 동안 광 버스트에 노출되도록 제어하고, 연속적인 긴 노출 기간은, 제2 포토다이오드의 모든 노출 기간들 각각보다 길고, 단편화된 중간 노출 기간은, 단편화된 짧은 노출 기간보다 길고, 연속적인 중간 노출 기간은, 연속적인 짧은 노출 기간보다 긴 것을 특징으로 할 수 있다.

Description

LED(light emitting diode) 플리커(flicker) 완화 및 감소된 모션 블러(motion blur)를 갖는 이미지 센서 및 이의 동작 방법{IMAGE SENSOR WITH LFM AND REDUCED MOTION BLUR}
본 개시의 기술적 사상은 이미지 센서 및 이의 동작 방법에 관한 것으로서, 구체적으로 다양한 노출 기간을 이용하여 LED 플리커 및 모션 블러를 감소시키는 이미지 센서 및 이의 동작 방법에 관한 것이다.
HDR(High Dynamic Range) 이미징은 표준 디지털 이미징 등을 이용하여 보다 넓은 동적 범위의 휘도를 재현하는 기술이다. HDR 센서는 극한의 동적 범위의 애플리케이션에서 사용될 수 있는 이미지 센서이다. HDR 센서는 리어 뷰(rear view) 및 사이드 미러(side mirror)를 대체 또는 보완할 수 있는 사이드 및 리어 뷰 카메라 모니터링 시스템(Camera Monitoring System, CMS)과 같은 자동차 애플리케이션을 포함한 수많은 애플리케이션에서 사용되고 있으며, 이에 따라, 사각 지대를 제거하고, 눈부심 문제를 줄일 수 있다.
종래의 조명의 픽셀은, 긴 노출, 중간 노출 및 짧은 노출과 같은 3개의 연속적인 노출들을 포함할 수 있고, 이러한 배열은 플리커(flicker)와 관련된 문제를 발생시킬 수 있다. HDR 센서의 경우, 긴 노출, 중간 노출 및 짧은 노출의 3개의 연속적인 노출들을 포함하는 픽셀이 구성될 수 있으며, 상기 연속적인 노출들은 순서대로 실행될 수 있다. 이러한 구조는 특히 HDR 센서가 가령 특정 비전(vision) 시스템에서 구현될 때, 제조업체와 사용자 모두에게 도전이 되고 있다.
구체적으로, LED 사용은 종래의 조명에 비해 에너지의 효율적인 사용과 뛰어난 밝기 때문에 더욱 널리 보급되었고, 이에 따라 LED 조명들은 조명 교통 표지판, 투광등, 자동차와 자전거의 전조등 및 후미등 등과 같은 실외 조명의 사용에 널리 보급되고 있다. 그러나 LED 조명은 이미지 센서들, 특히 HDR 센서의 작동에 부정적인 영향을 미칠 수 있다.
예를 들어, LED는 때때로 HDR 센서의 프레임 레이트(frame rate)보다 작은 “온(on)” 시간(또는, 점등 시간)을 갖도록 변조될 수 있다. 이 경우, HDR 센서의 짧은 노출은 LED의 “온” 시간과 겹치지 않을 수 있으며, 이에 따라, 짧은 노출의 이미지는 LED가 “오프(Off)”인 것으로 인식하게 할 수 있다. 그 결과, HDR 센서에서 중간 노출의 이미지는 LED가 “온”인 것으로 인식할 수 있으나, 짧은 노출의 이미지는 LED가 “오프(Off)”인 것으로 인식할 수 있다. LED의 “온”시간과 HDR 센서의 노출 간의 우연의 일치로 인해, 일부 프레임들은 LED 가 “온”인 것으로 인식할 수 있으나, 다른 프레임들은 LED가 “오프”인 것으로 인식할 수 있다. 이와 같이, 캡쳐한 이미지 시퀀스에서의 LED의 상태 변화는 LED 플리커로 간주될 수 있다.
상기와 같은 LED의 플리커를 완화하려는 일부 시도들(예를 들어, LED 플리커 완화)은 흐린(blur) 이미지로 귀결되었다. 예를 들어, 노출 시간을 증가시켜 HDR 이미지 센서를 작동시키고, 센서 감응성(responsivity)을 줄이거나 노출들을 단편화함으로써 노출 시간을 보상하여 LED 플리커를 완화할 수 있다. 그러나 LED 플리커를 완화시키려는 상기의 시도는 허용할 수 없는 수준의 이미지 블러(blur)를 생성하는 문제점이 있다.
본 개시의 기술적 사상은 연속적인(continuous) 노출 및 단편화된(fragmented) 노출을 기초로 광 버스트를 인식함으로써 LED 플리커를 완화하고, 모션 블러(motion blur)를 감소하는 이미지 센서 및 이의 동작 방법을 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미지 센서 내 LED(Light emitting diode) 플리커(flicker) 완화 장치는, 이미지 센서의 동작을 제어하는 적어도 하나의 제어 신호를 생성하는 타이밍 컨트롤러 회로 및 광원으로부터 적어도 하나의 광 버스트에 각각 독립적으로 노출되거나, 블랭크(blanked) 되는 제1 포토다이오드 및 제2 포토다이오드가 구비된 스플릿 포토다이오드를 포함하는 적어도 하나의 픽셀을 포함하고, 타이밍 컨트롤러는, 제1 포토다이오드에 대하여 연속적인(continuous) 긴(long) 노출 기간 동안 광 버스트에 노출되도록 제어하고, 제2 포토다이오드에 대하여 단편화된(fragmented) 중간(medium) 노출 기간, 연속적인 중간 노출 기간, 단편화된 짧은(short) 노출 기간 및 연속적인 짧은 노출 기간 중 어느 하나 동안 광 버스트에 노출되도록 제어하고, 연속적인 긴 노출 기간은, 제2 포토다이오드의 모든 노출 기간들 각각보다 길고, 단편화된 중간 노출 기간은, 단편화된 짧은 노출 기간보다 길고, 연속적인 중간 노출 기간은, 연속적인 짧은 노출 기간보다 긴 것을 특징으로 할 수 있다.
본 개시의 기술적 사상의 일측면에 따른 이미지 센서 내 LED(Light emitting diode) 플리커(flicker) 완화 장치의 동작 방법은, 타이밍 컨트롤러 회로에 의해, 광원으로부터 적어도 하나의 광 버스트에 각각 독립적으로 노출되거나, 블랭크(blanked) 되는 제1 포토다이오드 및 제2 포토다이오드가 구비된 스플릿 포토다이오드를 포함하는 적어도 하나의 픽셀을 제어하는 적어도 하나의 제어 신호를 생성하는 단계, 타이밍 컨트롤러 회로에 의해, 제1 포토다이오드에 대하여 연속적인(continuous) 긴 노출 기간 동안 광 버스트에 노출되도록 제어하는 단계, 타이밍 컨트롤러 회로에 의해, 제2 포토다이오드에 대하여 단편화된(fragmented) 중간(medium) 노출 기간, 연속적인 중간 노출 기간, 단편화된 짧은(short) 노출 기간 및 연속적인 짧은 노출 기간 중 어느 하나 동안 광 버스트에 노출되도록 제어하는 단계 및 제1 포토다이오드 및 제2 포토다이오드에 의해, 픽셀 값을 출력하는 단계를 포함하고, 연속적인 긴 노출 기간은, 제2 포토다이오드의 모든 노출 기간들 각각보다 길고, 단편화된 중간 노출 기간은, 단편화된 짧은 노출 기간보다 길고, 연속적인 중간 노출 기간은, 연속적인 짧은 노출 기간보다 긴 것을 특징으로 할 수 있다.
본 개시의 예시적 실시예에 따른 컴퓨팅 시스템 및 이미지 백업 방법에 의하면, 연속적인(continuous) 노출 및 단편화된(fragmented) 노출을 기초로 광 버스트를 인식할 수 있으므로, LED 플리커를 완화하고, 모션 블러(motion blur)를 감소할 수 있다.
도 1은 미리 결정된 지속 시간을 갖는 프레임의 일 예를 나타내는 도면이다.
도 2는 고스팅의 이미지의 일 예를 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 이미지 센서의 개략도이다.
도 4는 스플릿 포토다이오드(Split PD) 픽셀의 동작 및 단편화된 노출의 시각적 일 예를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 발명의 개념의 시각적 일 예를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 극도로 조명된 조건에서 LED(light emitting diode) 플리커를 완화시키기 위해 추가적인 단편화된 노출이 수행되는 시각적 일 예를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 LED 플리커를 완화시키기 위한 프로세스를 나타내는 도면이다.
도 1은 미리 결정된 지속 시간의 프레임(100)의 일 예를 나타내는 도면이다.
도시된 예는, 프레임(100), 긴 노출 기간(TL)(105), 중간 노출 기간(TM)(110), 짧은 노출 기간(TS)(115), 점등(light on) 기간(120) 및 소등(light off) 기간(125)을 포함할 수 있다.
일부 예에서, 프레임(100)의 지속 시간(TFrame)은 주파수의 역수일 수 있다. 도시된 예는 이미지 센서의 노출 기간에 대한 비제한적인 예이다. 예를 들어, 이미지 센서는, 도 1에 도시된 바와 같이, 긴 노출 시간(105), 중간 노출 기간(110) 및 짧은 노출 기간(115)을 각각 지칭하는 노출 기간들 TL, TM, TS와, 축적된 전하가 비워지는 블랭크(blank) 기간을 지칭하는 Blank를 가질 수 있다. 이미지 센서는 프레임(100)의 중간 노출 기간(TM)(110) 및 짧은 노출 기간(TS)(115)에서, 깜빡이는 광원의 상대적으로 짧은 버스트(burst)(예를 들어, 도 1은 약 10%의 듀티 사이클을 갖는 버스트를 나타냄)를 누락할 수 있다. 예를 들어, 도 1을 참조하면, 프레임(100)과 관련하여, 중간 노출 기간(TM)(110) 및 짧은 노출 기간(TS)(115)에서 광 버스트가 완전히 누락됨을 확인할 수 있다. 다시 말해서, 상기 광원(이 경우, 상대적으로 낮은 듀티 사이클로 깜빡이는 광원)은 중간 노출 기간 및 짧은 노출 기간에서 소등 상태인 것으로 인식될 수 있다.
한편, 도 1은 중간 노출 기간(TM) 또는 짧은 노출 기간(TS)동안 여러 프레임들에 걸쳐 광 버스트가 누락된 경우를 도시하지만, 이미지 센서가 항상 광 버스트를 놓치는 것은 아니다. 따라서, LED의 광 버스트가 하나의 프레임(100)에서는 보여질 수 있지만, 다음 또는 미래의 프레임에서는 보여지지 않을 수(예를 들어, 누락될 수) 있다. 이와 같이, 프레임(100)에서 LED의 광 버스트가 간헐적으로 누락되는 것은 이미지 시퀀스의 깜빡임(flickering)으로 나타날 수 있다. 자율 주행 자동차와 같은 응용 분야에서, 깜빡임은 이미지 센서의 품질에 영향을 줄 수 있다. 예를 들어, 노출 시간과 광 변조 사이의 비동기성으로 인해, 신호등의 상태(예를 들어, 적색광 또는 녹색광)가 누락되는 결과가 자율 주행 차량에서 발생할 수 있다. 또한, 차량의 다른 부분들(예를 들어, LED 전조등 및 LED 후미등)은 깜빡임을 출력할 수 있으며, 이는 현재의 차량에 근접한 다른 자율 주행 차량의 현재 차량에 대한 감지에도 영향을 줄 수 있다.
프레임(100), 긴 노출 시간(TL)(105), 중간 노출 기간(TM)(110), 짧은 노출 기간(TS)(115), 점등 기간(120) 및 소등 기간(125)은 도 4 내지 도 6을 참조하여 설명하는 구성의 예시 또는 양상을 포함할 수 있다.
도 2는 객체의 고스팅(210)의 이미지(200)의 일 예를 나타내는 도면이다.
도 2를 참조하면, 도시된 예는 이미지(200)를 포함할 수 있다. 이미지(200)는 사람(205) 및 고스팅(210)을 포함할 수 있다.
HDR(High Dynamic Range) 이미징에서, 이미지(200)를 획득하기 위해 다양한 노출들을 이용하는 방법은, 동일한 장면의 상이한 노출들 사이에 고유한 동기성을 생성할 수 있다. 정적인 장면에서, 상기 고유한 동기성은 무시될 수 있다. 그러나 움직임이 존재하는 경우, 상이한 노출들을 갖는 동적인 장면은 움직이는 물체의 고스팅(210)을 초래할 수 있다. 예를 들어, 도 2에서 사람(205)은 팔을 움직였고, 다양한 노출들의 사용은 움직이는 팔의 고스팅(210)을 초래할 수 있다.
도 3은 본 개시의 일 실시예에 따른 이미지 센서(300)의 개략도이다.
도 3을 참조하면, 이미지 센서(300)는 픽셀들(305)의 어레이, (하나 이상의 프로세서를 포함하거나 작동시킬 수 있는) 타이밍 컨트롤러 회로(315) 및 메모리(320)를 포함할 수 있다. 각 픽셀(305)은 하나 이상의 포토다이오드(310)를 포함할 수 있다.
이미지 센서(300)는 픽셀들(305)의 어레이를 포함하는 CMOS(Complementary metal-oxide-semiconductor) 이미지 센서(300)일 수 있다. 이미지 센서(300)는 HDR 센서로 구성될 수 있다. 예를 들어, HDR 센서는 단편화된(fragmented) 노출들(예를 들어, 도 1의 중간 노출 기간(TM) 및 짧은 노출 기간(TS)을 단편화한 노출들)과 함께 하나 이상의 스플릿 포토다이오드(Split Photodiode, Split PD) 픽셀들(305)(예를 들어, 서로 독립적으로 노출 또는 공백이 될 수 있는 2개 이상의 포토다이오드들(310)을 포함하는 특수화된 픽셀(305))로 구성될 수 있다.
스플릿 포토다이오드 픽셀들(305)의 노출 기간(예를 들어, 도 1의 중간 노출 기간(TM), 짧은 노출 기간(TS))은 n개(n은 자연수)의 파트로 단편화되어, 긴 노출 기간(예를 들어, 도 1의 긴 노출 기간(TL))에 걸쳐서 고르게 분포될 수 있으며, LED 깜빡임과 고스팅에 관련된 일부 문제들을 해결할 수 있다. 한편, 상기 단편화된 노출들과 함께 하나 이상의 스플릿 포토다이오드 픽셀들(305)을 사용하는 방법은, 스플릿 포토다이오드 픽셀(305) 중 연속적인(continuous) 긴 노출을 위한 첫 번째 포토다이오드(310)를 선택하고, 두 번째 포토다이오드(310)의 중간 노출 기간 및 짧은 노출 기간을 단편화함으로써 수행될 수 있다. 이하에서 자세히 설명되는 바와 같이, 상이한 노출 시간들을 위해 선택된 스플릿 포토다이오드 픽셀(305)의 사용에 의해, LED 변조와 중간 노출 및 짧은 노출은 동기화될 수 있다. 예를 들어, 스플릿 포토다이오드 픽셀(305) 중 제1 포토다이오드(310)는 연속적인 긴 노출을 위해 선택될 수 있고, 스플릿 포토다이오드 픽셀(305)의 제2 포토다이오드(310)는 중간 노출 기간(TM) 및 짧은 노출 기간(TS)을 단편화하기 위해 선택될 수 있다.
타이밍 컨트롤러 회로(315)는 입력에 응답하여 이미지 센서(300)를 동작시키는데 사용되는 제어 신호를 생성할 수 있다. 예를 들어, 타이밍 컨트롤러 회로(315)는 픽셀들(305)의 동작을 제어하는 제어 신호를 생성하여, 미리 결정된 지속 시간에서의 블랭크 기간 및 노출 기간들을 제공하도록 제어된다. 스플릿 포토다이오드 픽셀들(305)은 노출 기간 동안 광원에 의해 출력된 광 버스트를 감지할 수 있다. 한편, 타이밍 컨트롤러 회로(315)는 단일 입력만을 도시하고 있으나, 추가적인 입력, 예를 들어, 외부 소스로부터의 클럭 신호가 존재할 수 있다.
픽셀(305)은 광원으로부터 하나 이상의 광 버스트에 노출되도록 구성된 적어도 둘 이상의 포토다이오드들(310)을 포함하는 스플릿 포토다이오드 픽셀일 수 있으며, 여기서 둘 이상의 포토다이오드들(310)은 서로 독립적으로 노출 또는 공백이 될 수 있다.
포토다이오드(310)는, 제2 포토다이오드(310)의 복수의 노출 기간들이 제1 포토다이오드(310)의 제1 노출 기간보다 짧은 특징과 제2 포토다이오드(310)의 복수의 노출 기간들이 하나 이상의 광 버스트를 포착하기 위해 연속적인 노출 기간과 단편화된 노출 기간을 모두 포함하는 특징을 갖는 노출 동작을 수행할 수 있다. 포토다이오드(310)는, 단편화된 중간 노출 및 단편화된 짧은 노출을 포함하는 단편화된 노출들을 위해 구성된 제2 포토다이오드(310)를 포함하고, 연속적인 긴 노출을 위해 구성된 스플릿 포토다이오드 픽셀들의 어레이 중 하나일 수 있다.
일부 실시예에서, 둘 이상의 포토다이오드들(310)은 제2 포토다이오드(310)의 제2 노출 기간보다 지속 시간이 더 긴 제1 노출 기간을 갖는 제1 포토다이오드(310)를 포함할 수 있다. 상기 제2 포토다이오드(310)의 제2 노출 기간은 복수의 노출 기간들을 포함할 수 있다.
타이밍 컨트롤러 회로(315)는 이미지 센서(300)의 동작을 제어하는 적어도 하나의 제어 신호를 생성할 수 있으며, 이미지 센서(300)는 타이밍 컨트롤러 회로(315)의 제어 신호에 의해 광원으로부터의 하나 이상의 광 버스트에 노출되도록 구성된 적어도 둘 이상의 포토다이오드들(310)을 포함하는 스플릿 포토다이오드 픽셀을 포함하는 적어도 하나의 픽셀(305)을 포함할 수 있으며, 상기 적어도 둘 이상의 포토다이오들(310)은 서로 독립적으로 노출 또는 공백이 될 수 있다. 또한, 타이밍 컨트롤러 회로(315)는 둘 이상의 포토다이오드들(310) 내 제1 포토다이오드(310)의 제1 노출 기간이 제2 포토다이오드(310)의 제2 노출 기간보다 길게 지속되도록 제어할 수 있다. 또한, 타이밍 컨트롤러 회로(315)는 LED 변조를 평균화하고, 중간 노출과 짧은 노출을 동기화하기 위한 제어 신호를 출력할 수 있다.
일부 예에서, 타이밍 컨트롤러 회로(315)는 적어도 하나의 픽셀(305)의 제2 포토다이오드(310)에 의해 수행되는 복수의 노출들이 단편화된 중간 노출, 연속적인 중간 노출, 단편화된 짧은 노출 및 연속적인 짧은 노출을 포함하도록 제어할 수 있다. 그리고 단편화된 중간 노출 및 연속적인 중간 노출 각각은, 단편화된 짧은 노출 및 연속적인 짧은 노출의 총 노출 시간보다 길 수 있다. 그리고 제1 포토다이오드(310)의 제1 노출 기간은 제2 포토다이오드(310)의 복수의 노출 기간들 중 어떤 것보다 지속 기간이 길고 연속적인 노출일 수 있다.
일부 예에서, 타이밍 컨트롤러 회로(315)는 제2 포토다이오드(310)의 복수의 노출 기간들이 제1 포토다이오드(310)의 제1 노출 기간보다 짧은 특징과 제2 포토다이오드(310)의 복수의 노출 기간들은 하나 이상의 광 버스트를 포착하기 위해 연속적인 노출 기간 및 단편화된 노출 기간을 모두 포함하는 특징을 갖는 노출 동작을 수행하도록 제2 포토다이오드(310)를 제어할 수 있다.
일부 예에서, 제1 포토다이오드(310)의 제1 노출 기간은 연속적인 노출을 포함하고, 타이밍 제어 회로(315)는 제2 포토다이오드(310)에 수행되는 단편화된 노출 동작이 복수의 노출 기간들을 제2 포토다이오드(310)의 동작에 걸쳐 고르게 분배되는 n개의 파트들로 나누는 것을 포함하도록 제어할 수 있게 구성될 수 있다. 일부 예에서, 제2 포토다이오드(310)에 의해 수행되는 단편화된 노출 동작은 제1 포토다이오드(310)의 제1 노출 기간 동안 발생할 수 있다. 일부 예에서, 타이밍 컨트롤러 회로(315)는 이미지 센서(300)를 활성화 시키고 광원으로부터 광 버스트를 캡쳐하기 위한 입력 신호를 수신할 수 있다. 일부 예에서, 광원은 LED 광원을 포함할 수 있다.
일부 예에서, 이미지 센서(300)의 적어도 하나의 픽셀(305)의 제2 포토다이오드(310)의 복수의 노출 기간들은 단편화된 중간 노출, 연속적인 중간 노출, 단편화된 짧은 노출 및 연속적인 짧은 노출을 포함할 수 있다. 그리고 단편화된 중간 노출 및 연속적인 중간 노출 각각은, 단편화된 짧은 노출 및 연속적인 짧은 노출의 총 노출 시간보다 길 수 있다. 그리고 제1 포토다이오드(310)의 제1 노출 기간은 제2 포토다이오드(310)의 복수의 노출 기간들 중 어떤 것보다 지속 기간이 길고 연속적인 노출일 수 있다.
일부 예에서, 제1 포토다이오드(310)의 제1 노출 기간은 연속적인 노출을 포함할 수 있고, 제2 포토다이오드(310)의 복수의 노출 기간들을 n개의 파트들로 단편화하는 단계와 제2 포토다이오드(310)의 동작에 걸쳐 균등하게 상기 n개의 파트들을 분배하는 단계를 포함하며, 제2 포토다이오드(310)에 의해 수행되는 단편화된 노출 동작을 타이밍 제어 회로(315)가 제어할 수 있다. 일부 예에서, 제2 포토다이오드(310)에 의한 단편화된 노출 동작은 제1 포토다이오드(310)의 제1 노출 기간 동안에 수행될 수 있다.
도 4는 스플릿 포토다이오드(Split PD) 픽셀의 동작 및 단편화된 노출의 시각적 일 예를 나타내는 도면이다. 도시된 예는 프레임(400), 긴 노출 기간(405), 단편화된 중간 노출 기간(410), 단편화된 짧은 노출 기간(415), 점등 기간(420) 및 소등 기간(425)을 포함할 수 있다.
도 4는 지속 기간(TFrame)은 동일하지만 긴 축적 시간을 갖는 노출들을 갖는 프레임(400)을 나타낸다. 도 4에 도시된 바와 같이, 슬라이스된(또는, 단편화된) TM/n /TS/n 노출은 중간 노출(TM)과 짧은 노출(TS)을 포함할 수 있다. 스플릿 포토다이오드 픽셀은 긴 노출(TL)을 갖는 제1 포토다이오드와 단편화된 노출들(TM/n, TS/n)을 갖는 제2 포토다이오드를 포함할 수 있다. 그리고 제2 포토다이오드의 단편화된 노출들(TM/n, TS/n)은 제1 포토다이오드의 긴 노출(TL) 동안에 수행될 수 있다. 한편, 스플릿 포토다이오드 및 단편화된 노출들을 사용하는 것은 LED 플리커 및 고스팅 문제를 해결할 수 있지만, 모션 블러(motion blur)가 도입될 수 있으며, 이러한 모션 블러는 전체적으로 흐릿한 이미지를 초래할 수 있다.
프레임(400), 긴 노출 기간(405), 중간 노출 기간(410), 짧은 노출 기간(415), 점등 기간(420) 및 소등 기간(425)은 도 1, 도 5 및 도 6을 참조하여 설명하는 구성의 예시 또는 양상을 포함할 수 있다.
도 5는 본 개시의 일 실시예에 따른 발명의 개념의 시각적 일 예를 나타내는 도면이다. 도시된 예는 프레임(500), 긴 노출 기간(505), 단편화된 중간 노출 기간(510), 연속적인 중간 노출 기간(512), 단편화된 짧은 노출 기간(515), 연속적인 짧은 노출 기간(517), 점등 기간(520) 및 소등 기간(525)을 포함할 수 있다.
일 실시예에서, 단편화된 노출을 갖는 스플릿 포토다이오드는 전술한 단편화된 노출에 의해 야기되는 모션 블러를 줄이기 위해 2개의 연속적인 짧은 노출(TS-MB)과 연속적인 중간 노출(TM-MB)을 추가적으로 포함할 수 있다. 연속적인 짧은 노출(TS-MB)과 연속적인 중간 노출(TM-MB)은 TM 또는 TS와 같거나 다를 수 있다. 그리고 연속적인 중간 노출(TM-MB)은 연속적인 짧은 노출(TS-MB) 보다 길 수 있다. 또한, 본 발명의 실시예는 LED 플리커의 완화 및 고스팅 방지에 관한 성능을 희생시키지 않는다.
도 5를 참조하면, 프레임(TFrame)(500)은 슬라이스된(또는, 단편화된) 노출(TM/n, TS/n 및 공백(Blank))과 두 개의 연속적인 노출들(TM-MB, TS-SB)이 있다. 그리고 두 개의 연속적인 노출들(TM-MB, TS-SB)은 긴 노출 기간(TL) 외의 기간 동안(예컨대, 긴 노출(505)에 후속하는 블랭크 기간(Blank))에 수행될 수 있다. 예를 들어, 스플릿 포토다이오드 픽셀은 긴 노출(TL) 및 블랭크 기간(Blank)을 갖는 제1 포토다이오드와 단편화된 노출들(TM/n, TS/n) 및 연속적인 노출들(TM-MB, TS-SB)을 갖는 제2 포토다이오드를 포함할 수 있다.
그리고 제2 포토다이오드의 단편화된 노출들(TM/n, TS/n)은 제1 포토다이오드의 긴 노출(TL) 동안에 수행될 수 있다. 예컨대, 제2 포토다이오드는 제1 포토다이오드의 긴 노출(TL) 동안에 단편화된 중간 노출(TM/n), 단편화된 짧은 노출(TS/n) 및 블랭크 기간(Blank) 순으로 반복적으로 노출되거나 블랭크 될 수 있다.
또한, 제2 포토다이오드의 연속적인 노출들(TM-MB, TS-SB)은 제1 포토다이오드의 긴 노출(TL) 외의 기간, 즉 Blank 기간 동안에 수행될 수 있다. 예컨대, 제2 포토다이오드는 제1 포토다이오드의 블랭크 기간(Blank) 동안에 연속적인 중간 노출(TM-MB), 연속적인 짧은 노출(TS-SB) 및 블랭크 기간(Blank) 순으로 노출되거나 블랭크 될 수 있다.
추가된 정보의 사용, 예를 들어, 단편화된 짧은 노출(TS/n)과 연속적인 짧은 노출(TS-MB)의 사용은, 상이한 노출들 사이의 모순을 식별하는 것을 용이하게 할 수 있다. 예를 들어, 깜빡거리는 LED가 단편화된 짧은 노출(TS/n)에서는 명확하게 보이지만 연속적인 짧은 노출(TS-MB)에서는 보이지 않는 경우(또는, 대안적으로 포화되는 경우), 모순이 존재할 수 있다. 이러한 모순(노이즈/포화 vs. 허용 가능한 값)은 픽셀이 깜빡이는 광원인 것으로 결정하고, 각 노출들에 대한 병합 가중치를 재분배함으로써 병합을 조정할 수 있다. 또한, 이미지 센서는 연속적인 노출들(TM-MB, TS-SB)을 이용하여 모션 블러가 적은 선명한 이미지를 획득할 수 있다.
한편, 본 개시의 일 실시예에 따르면, 매우 밝게 빛나는 장면과 같은 극단적인 경우에서, 긴 노출(TL)은 LED의 깜빡임을 무효화하기에는 충분히 길지 않을 수 있다. 이에 따라, 본 개시의 일 실시예에서, LED의 캡쳐 및 평균화를 향상시키기 위해 노출들이 추가적으로 단편화될 수 있다. 이에 대한 구체적인 동작은 도 6에서 서술한다.
프레임(500), 긴 노출 기간(505), 단편화된 중간 노출 기간(510), 단편화된 짧은 노출 기간(515), 점등 기간(520) 및 소등 기간(525)은 도 1, 도 4 및 도 6을 참조하여 설명하는 구성의 예시 또는 양상을 포함할 수 있다.
도 6은 본 개시의 일 실시예에 따른 극도로 조명된 조건에서 LED(light emitting diode) 플리커를 완화시키기 위해 추가적인 단편화된 노출이 수행되는 시각적 일 예를 나타내는 도면이다. 도시된 예는 프레임(600), 긴 노출 기간(605), 단편화된 중간 노출 기간(610), 연속적인 중간 노출 기간(615), 단편화된 짧은 노출 기간(620), 연속적인 짧은 노출 기간(625), 점등 기간(630) 및 소등 기간(635)을 포함할 수 있다.
도 5를 참조하여 설명하면, 예를 들어, 도 6은 추가적으로 단편화된 노출들(TM-MB/m, TS-MB/m)을 나타내는 것을 알 수 있다. 즉, 본 개시의 일 실시예에 따르면, 스플릿 포토다이오드 픽셀은 5개의 노출들(긴 노출(TL), 단편화된 중간 노출(TM/n), 연속적인 중간 노출(TM-MB/m), 단편화된 짧은 노출(TS/n), 연속적인 짧은 노출(TS-MB/m)을 포함할 수 있다.
제2 포토다이오드의 연속적인 노출들(TM-MB, TS-SB)은 m개(m은 자연수)로 단편화되어, 제1 포토다이오드의 긴 노출(TL) 외의 기간, 즉 Blank 기간 동안에 수행될 수 있다. 예컨대, 제2 포토다이오드는 제1 포토다이오드의 블랭크 기간(Blank) 동안에 연속적인 중간 노출(TM-MB/m), 연속적인 짧은 노출(TS-SB/m) 및 블랭크 기간(Blank) 순으로 반복적으로 노출되거나 블랭크 될 수 있다.
이에 따라, 스플릿 포토다이오드 픽셀은 TL이 충분히 길지 않은 경우에도 추가적으로 단편화된 노출들(TM-MB/m, TS-MB/m)을 이용하여 LED의 플리커를 감지할 수 있다. 즉, 스플릿 포토다이오드 픽셀은 모션 블러를 제거하고, 모든 깜빡거리는 LED 정보가 이미지에 캡쳐되도록 장면에 대한 정보를 제공할 수 있다. 본 개시의 일 실시예에 따르면, LED 플리커 완화(LED flicker mitigation, LFM)에 의해 도입될 수 있는 모션 블러는, 이미지 센서에 대한 연속적인 중간 노출 및 연속적인 짧은 노출을 포함하는 하나 이상의 스플릿 픽셀 포토다이오드를 포함하는 이미지 센서로 수정함으로써 해결될 수 있다.
프레임(600), 긴 노출 기간(605), 점등 기간(630) 및 소등 기간(635)은 도 1, 도 4 및 도 5를 참조하여 설명하는 구성의 예시 또는 양상을 포함할 수 있다.
도 7은 본 개시의 일 실시예에 따른 LED 플리커를 완화시키기 위한 프로세스를 나타내는 도면이다. 일부 예에서, 이러한 동작들은 이미지 센서 내 장치의 기능적 요소들을 제어하기 위해 코드 세트를 실행하는 프로세서에 의해 수행될 수 있다. 추가적으로 또는 대안적으로, 프로세스들은 특수 목적의 하드웨어를 사용하여 수행될 수 있다. 일반적으로, 이러한 동작들은 본 개시의 실시예에 따라 설명된 방법 및 프로세스에 따라 수행될 수 있다. 예를 들어, 동작들은 다양한 하위 단계들로 구성되거나, 본 명세서에서 설명된 다른 동작들과 함께 수행될 수 있다.
단계 700에서, 시스템은 이미지 센서의 동작을 제어하는 적어도 하나의 제어 신호를 생성할 수 있고, 이미지 센서는 타이밍 컨트롤러 회로로부터의 제어 신호에 의해 광원으로부터의 하나 이상의 광 버스트에 노출되도록 구성된 둘 이상의 포토다이오드를 포함하는 스플릿 포토다이오드 픽셀을 포함하는 적어도 하나의 픽셀을 포함할 수 있고, 적어도 둘 이상의 포토다이오드들은 서로 독립적으로 노출 또는 공백이 될 수 있다. 일부 예에서, 이 단계의 동작은 도 3을 참조하며 설명된 바와 같이 타이밍 컨트롤러 회로에 의해 수행될 수 있다.
단계 705에서, 시스템은 둘 이상의 포토다이오드의 제1 포토다이오드의 제1노출 기간이 제2 포토다이오드의 제2 노출 기간보다 더 길게 지속되도록 제어할 수 있다. 그리고 제2 포토다이오드(310)의 제2 노출 기간은 복수의 노출 기간들을 포함할 수 있다. 일부 예에서, 이 단계의 동작은 도 3을 참조하여 설명된 바와 같이 타이밍 컨트롤러 회로에 의해 수행될 수 있다.
단계 710에서, 시스템은 제2 포토다이오드의 복수의 노출 기간들이 제1 포토다이오드의 제1 노출 기간보다 짧고, 하나 이상의 광 버스트를 캡쳐하기 위해 제2 포토다이오드의 복수의 노출 기간들이 연속적인 노출 기간과 단편화된 노출 기간 모두를 포함하도록 노출 동작을 수행할 수 있다. 일부 예에서, 이 단계의 동작은 도 3을 참조하여 설명된 바와 같이 포토다이오드에 의해 수행될 수 있다.
단계 715에서, 시스템은 스플릿 포토다이오드 픽셀에 의해 메모리 또는 타이밍 컨트롤러 회로 중 적어도 하나에 출력할 수 있다. 일부 예에서, 이 단계의 동작은 도 3을 참조하여 설명된 바와 같이 픽셀에 의해 수행될 수 있다.
일부 예에서, 이미지 센서의 적어도 하나의 픽셀의 제2 포토다이오드의 복수의 노출 기간들은 단편화된 중간 노출, 연속적인 중간 노출, 단편화된 짧은 노출 및 연속적인 짧은 노출을 포함할 수 있고, 단편화된 중간 노출 및 연속적인 중간 노출 각각 단편화된 짧은 노출 및 연속적인 짧은 노출의 총 노출 시간보다 길 수 있고, 제1 포토다이오드의 제1 노출 기간은 제2 포토다이오드의 복수의 노출 기간들 중 어떤 것보다 지속 기간이 길고 연속적일 수 있다.
일부 예에서, 이미지 센서의 적어도 하나의 픽셀의 제2 포토다이오드의 복수의 노출 기간 중 단편화된 중간 노출 및 단편화된 짧은 노출은 n개의 파트로 단편화된 기간이다. 그리고 상기 단편화된 노출들을 이용한 단편화된 노출 동작은 상기 픽셀의 제1 포토다이오드의 제1 노출 기간 동안 발생할 수 있다. 또한, 상기 제2 포토다이오드의 연속적인 중간 노출 및 연속적인 짧은 노출은 상기 제1 포토다이오드의 제1 노출 기간 외의 기간(예컨대, 블랭크 기간) 동안 발생할 수 있다.
일부 예에서, 이미지 센서는 상기 제2 포토다이오드의 단편화된 노출들을 통해 광 버스트가 인식되었으나, 연속적인 노출들을 통해 광 버스트가 인식되지 않은 경우, 광원이 깜빡이는(flickering) 것으로 판단할 수 있다. 그리고 이미지 센서는 광원이 깜빡이는 것으로 판단하면, 상기 제1 포토다이오드 및 상기 제2 포토다이오드의 노출 동작들에 대한 병합 가중치를 조정할 수 있다.
본 명세서에서 기술된 설명 및 도면은 예시적인 구성을 나타내고, 청구범위의 범주 내의 모든 구현을 나타내는 것은 아니다. 예를 들어, 동작 및 단계는 재배열되거나, 결합되거나, 수정될 수 있다. 또한, 구조 및 장치는 구성 요소들 간의 관계를 나타내고 설명된 개념을 모호하지 않게 하기 위해 블록도의 형태로 표현될 수 있다. 유사한 구성 요소 또는 특징은 동일한 명칭을 가질 수 있지만, 상이한 도면에 대응하는 상이한 참조 번호를 가질 수 있다.
본 개시의 일부 변형은 당업자에게 명백할 수 있고, 본 명세서에서 정의된 원리는 본 개시의 범위를 벗어나지 않고 다른 변형에 적용될 수 있다. 따라서, 본 개시는 여기에 설명된 예시 및 설계에 제한되지 않고, 여기에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범위에 따라야 한다.
설명된 방법들은 범용 프로세서, DSP, ASIC, FPGA 또는 다른 프로그램 가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 이들의 임의의 조합을 포함하는 디바이스에 의해 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로 프로세서, 종래의 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 장치의 조합(예를 들어, DSP (digital signal processor), 마이크로 프로세서, 다중 마이크로 프로세서, DSP 코어와 연계된 하나 이상의 마이크로 프로세서, 또는 임의의 다른 구성)의 조합으로서 구현될 수 있다. 따라서, 여기에 설명된 기능들은 하드웨어 또는 소프트웨어로 구현될 수 있고, 프로세서, 펌웨어 또는 이들의 임의의 조합에 의해 실행될 수 있다. 프로세서에 의해 실행되는 소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독 가능 매체에 명령 또는 코드 형태로 저장될 수 있다.
컴퓨터 판독 가능 매체는 비 일시적 컴퓨터 저장 매체, 코드나 데이터의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함할 수 있다. 비 일시적 저장 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 이용 가능한 매체일 수 있다. 예를 들어, 비 일시적 컴퓨터 판독 가능 매체는 RAM, ROM, 전기 소거 가능 프로그램 가능 판독 전용 메모리 (EEPROM), 콤팩트 디스크 (CD) ROM 또는 다른 광 디스크 저장 장치, 자기 디스크 저장 장치, 또는 데이터나 코드를 전송하거나 저장하기 위한 임의의 다른 비 일시적 매체를 포함할 수 있다.
또한, 연결 구성들은 컴퓨터 판독 가능 매체로 적절히 지칭될 수 있다. 예를 들어, 동축 케이블, 광섬유 케이블, 트위스트 페어, 디지털 가입자 회선(DSL) 또는 적외선, 라디오 또는 마이크로파 신호와 같은 무선 기술을 사용하여 웹 사이트, 서버 또는 기타 원격 소스에서 코드 또는 데이터를 전송하는 경우, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선(DSL) 또는 무선 기술이 매체 정의에 포함될 수 있다.
본 개시 및 하기의 청구범위에서, 단어 "또는"은, 예를 들어, X, Y 또는 Z의 목록이 X 또는 Y 또는 Z 또는 XY 또는 XZ 또는 YZ 또는 XYZ를 의미하는 포괄적인 목록임을 나타낸다. 또한, “기초로”로 기술된 단계는 조건의 닫힌 세트를 나타내는데 사용되지 않는다. 예를 들어, “조건 A를 기초로”로 기술된 단계는 조건 A 및 조건 B에 기초할 수 있다. 다시 말해서, “기초로”라는 문구는 “적어도 일부를 기초로”를 의미하는 것으로 해석되어야 한다.

Claims (10)

  1. 이미지 센서 내 LED(Light emitting diode) 플리커(flicker) 완화 장치에 있어서,
    상기 이미지 센서의 동작을 제어하는 적어도 하나의 제어 신호를 생성하는 타이밍 컨트롤러 회로; 및
    광원으로부터 적어도 하나의 광 버스트에 각각 독립적으로 노출되거나, 블랭크(blanked) 되는 제1 포토다이오드 및 제2 포토다이오드가 구비된 스플릿 포토다이오드를 포함하는 적어도 하나의 픽셀을 포함하고,
    상기 타이밍 컨트롤러는,
    상기 제1 포토다이오드에 대하여 연속적인(continuous) 긴(long) 노출 기간 동안 상기 광 버스트에 노출되도록 제어하고, 상기 제2 포토다이오드에 대하여 단편화된(fragmented) 중간(medium) 노출 기간, 연속적인 중간 노출 기간, 단편화된 짧은(short) 노출 기간 및 연속적인 짧은 노출 기간 중 어느 하나 동안 상기 광 버스트에 노출되도록 제어하고,
    상기 연속적인 긴 노출 기간은, 상기 제2 포토다이오드의 모든 노출 기간들 각각보다 길고,
    상기 단편화된 중간 노출 기간은, 상기 단편화된 짧은 노출 기간보다 길고,
    상기 연속적인 중간 노출 기간은, 상기 연속적인 짧은 노출 기간보다 긴 것을 특징으로 하는 LED 플리커 완화 장치.
  2. 제1항에 있어서,
    상기 연속적인 중간 노출 기간 또는 상기 단편화된 중간 노출 기간 각각은,
    상기 연속적인 짧은 노출 기간 및 상기 단편화된 짧은 노출 기간의 총 노출 시간보다 긴 것을 특징으로 하는 LED 플리커 완화 장치.
  3. 제1항에 있어서,
    상기 타이밍 컨트롤러는,
    상기 제1 포토다이오드에 대하여 연속적인 노출 동작을 제어하고,
    상기 제2 포토다이오드에 대하여 단편화된 노출 동작 및 연속적인 노출 동작 중 적어도 하나를 선택적으로 제어하는 것을 특징으로 하는 LED 플리커 완화 장치.
  4. 제3항에 있어서,
    상기 타이밍 컨트롤러는,
    상기 제1 포토다이오드가 상기 연속적인 긴 노출 기간 및 블랭크(blank) 기간 순으로 노출되거나 블랭크 되도록 상기 연속적인 노출 동작을 제어하는 것을 특징으로 하는 LED 플리커 완화 장치.
  5. 제4항에 있어서,
    상기 타이밍 컨트롤러는,
    상기 제1 포토다이오드의 상기 연속적인 긴 노출 기간에 대응하여, 상기 제2 포토다이오드의 단편화된 노출 동작을 제어하는 것을 특징으로 하는 LED 플리커 완화 장치.
  6. 제5항에 있어서,
    상기 타이밍 컨트롤러는,
    상기 제2 포토다이오드가 상기 단편화된 중간 노출 기간, 상기 단편화된 짧은 노출 기간 및 블랭크 기간 순으로 반복적으로 노출되거나 블랭크 되도록 상기 단편화된 노출 동작을 제어하는 것을 특징으로 하는 LED 플리커 완화 장치.
  7. 제4항에 있어서,
    상기 타이밍 컨트롤러는,
    상기 제1 포토다이오드의 상기 블랭크 기간에 대응하여, 상기 제2 포토다이오드의 연속적인 노출 동작을 제어하는 것을 특징으로 하는 LED 플리커 완화 장치.
  8. 제7항에 있어서,
    상기 타이밍 컨트롤러는,
    상기 제2 포토다이오드가 상기 연속적인 중간 노출 기간, 상기 연속적인 짧은 노출 기간 및 블랭크 기간 순으로 노출되거나 블랭크 되도록 상기 연속적인 노출 동작을 제어하는 것을 특징으로 하는 LED 플리커 완화 장치.
  9. 제1항에 있어서,
    상기 단편화된 중간 노출 기간은, 상기 연속적인 중간 노출 기간으로부터 균등하게 분할된 것이고,
    상기 단편화된 중간 노출 기간은, 상기 연속적인 단편 노출 기간으로부터 균등하게 분할된 것을 특징으로 하는 LED 플리커 완화 장치.
  10. 이미지 센서 내 LED(Light emitting diode) 플리커(flicker) 완화 장치의 동작 방법에 있어서,
    타이밍 컨트롤러 회로에 의해, 광원으로부터 적어도 하나의 광 버스트에 각각 독립적으로 노출되거나, 블랭크(blanked) 되는 제1 포토다이오드 및 제2 포토다이오드가 구비된 스플릿 포토다이오드를 포함하는 적어도 하나의 픽셀을 제어하는 적어도 하나의 제어 신호를 생성하는 단계;
    상기 타이밍 컨트롤러 회로에 의해, 상기 제1 포토다이오드에 대하여 연속적인(continuous) 긴 노출 기간 동안 상기 광 버스트에 노출되도록 제어하는 단계;
    상기 타이밍 컨트롤러 회로에 의해, 상기 제2 포토다이오드에 대하여 단편화된(fragmented) 중간(medium) 노출 기간, 연속적인 중간 노출 기간, 단편화된 짧은(short) 노출 기간 및 연속적인 짧은 노출 기간 중 어느 하나 동안 상기 광 버스트에 노출되도록 제어하는 단계; 및
    상기 제1 포토다이오드 및 상기 제2 포토다이오드에 의해, 픽셀 값을 출력하는 단계;를 포함하고,
    상기 연속적인 긴 노출 기간은, 상기 제2 포토다이오드의 모든 노출 기간들 각각보다 길고,
    상기 단편화된 중간 노출 기간은, 상기 단편화된 짧은 노출 기간보다 길고,
    상기 연속적인 중간 노출 기간은, 상기 연속적인 짧은 노출 기간보다 긴 것을 특징으로 하는 LED 플리커 완화 장치의 동작 방법.
KR1020190115482A 2018-09-19 2019-09-19 LED(light emitting diode) 플리커(flicker) 완화 및 감소된 모션 블러(motion blur)를 갖는 이미지 센서 및 이의 동작 방법 KR102671403B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/135,647 2018-09-19
US16/135,647 US10652479B2 (en) 2018-09-19 2018-09-19 HDR image sensor with LFM and reduced Motion Blur

Publications (2)

Publication Number Publication Date
KR20200033756A KR20200033756A (ko) 2020-03-30
KR102671403B1 true KR102671403B1 (ko) 2024-05-31

Family

ID=69773503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190115482A KR102671403B1 (ko) 2018-09-19 2019-09-19 LED(light emitting diode) 플리커(flicker) 완화 및 감소된 모션 블러(motion blur)를 갖는 이미지 센서 및 이의 동작 방법

Country Status (3)

Country Link
US (2) US10652479B2 (ko)
KR (1) KR102671403B1 (ko)
CN (1) CN110933337B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652479B2 (en) * 2018-09-19 2020-05-12 Samsung Electronics Co., Ltd. HDR image sensor with LFM and reduced Motion Blur
US11039082B2 (en) * 2018-11-27 2021-06-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
DE102020204108A1 (de) 2020-03-30 2021-09-30 Airbus Operations Gmbh Videoüberwachungssystem für eine Kabine eines Luftfahrzeugs, Verfahren zum Überwachen einer Kabine eines Luftfahrzeugs und Luftfahrzeug
CN116114261B (zh) * 2020-12-28 2024-09-17 深圳元戎启行科技有限公司 图像生成方法、装置、计算机设备和存储介质
KR20230060975A (ko) 2021-10-28 2023-05-08 삼성전자주식회사 단위 픽셀 및 이미지 센서

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235197A (ja) 2011-04-28 2012-11-29 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140109668A (ko) * 2013-03-06 2014-09-16 삼성전자주식회사 플리커를 검출하기 위한 방법 및 시스템
KR101536323B1 (ko) * 2013-09-30 2015-07-14 클레어픽셀 주식회사 플리커 노이즈 방지를 위한 씨모스 이미지 센서
KR102191245B1 (ko) * 2014-06-20 2020-12-15 삼성전자주식회사 이미지 센서 구동 방법, 이를 채용한 이미지 센서 및 이를 포함하는 휴대용 전자 기기
KR102286111B1 (ko) * 2014-08-21 2021-08-04 삼성전자주식회사 단위 픽셀, 상기 단위 픽셀을 포함하는 이미지 센서, 및 상기 단위 픽셀을 포함하는 이미지 처리 시스템
US10113910B2 (en) * 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9912886B2 (en) * 2014-12-17 2018-03-06 Canon Kabushiki Kaisha Image capturing apparatus and driving method of image sensor
US9686488B2 (en) * 2015-09-30 2017-06-20 Semiconductor Components Industries, Llc Imaging systems with flicker mitigation and high dynamic range
KR102515664B1 (ko) * 2016-03-08 2023-03-29 삼성전자주식회사 Led 플리커 완화 기능을 가지는 이미지 센서 및 상기 이미지 센서를 포함하는 이미지 처리 시스템
US9942492B2 (en) * 2016-06-16 2018-04-10 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US20170366766A1 (en) * 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
JP6661506B2 (ja) * 2016-09-23 2020-03-11 サムスン エレクトロニクス カンパニー リミテッド 固体撮像装置
US10992876B2 (en) * 2016-10-18 2021-04-27 Texas Instruments Incorporated WDR imaging with LED flicker mitigation
US10110840B2 (en) * 2016-10-25 2018-10-23 Semiconductor Components Industries, Llc Image sensor pixels with overflow capabilities
US10136084B1 (en) * 2017-10-06 2018-11-20 Omnivision Technologies, Inc. HDR skimming photodiode with true LED flicker mitigation
US10313613B2 (en) * 2017-10-24 2019-06-04 Semiconductor Components Industries, Llc High dynamic range image sensors with flicker and fixed pattern noise mitigation
US10560649B2 (en) * 2018-02-20 2020-02-11 Semiconductor Components Industries, Llc Imaging systems having dual storage gate overflow capabilities
CN108419030B (zh) * 2018-03-01 2021-04-20 思特威(上海)电子科技股份有限公司 具有led闪烁衰减的hdr图像传感器像素结构及成像系统
US10652479B2 (en) * 2018-09-19 2020-05-12 Samsung Electronics Co., Ltd. HDR image sensor with LFM and reduced Motion Blur

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235197A (ja) 2011-04-28 2012-11-29 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム

Also Published As

Publication number Publication date
KR20200033756A (ko) 2020-03-30
CN110933337B (zh) 2024-04-23
US11044417B2 (en) 2021-06-22
US10652479B2 (en) 2020-05-12
CN110933337A (zh) 2020-03-27
US20200092459A1 (en) 2020-03-19
US20200228737A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
KR102671403B1 (ko) LED(light emitting diode) 플리커(flicker) 완화 및 감소된 모션 블러(motion blur)를 갖는 이미지 센서 및 이의 동작 방법
JP6328060B2 (ja) 表示方法
WO2022253010A1 (zh) 一种同步曝光处理方法、装置、系统及设备
CN109076171B (zh) 用于闪光灯亮度补偿的方法、无人机及存储介质
US20220105862A1 (en) Light function control redundancy when changing the light intensity of pixelated vehicle headlamps
WO2022188558A1 (zh) 一种图像处理方法、装置及摄像机
CN107431759B (zh) 摄像装置、摄像方法、电子设备以及车载电子设备
CN110557576B (zh) 一种基于视频的频闪灯同步控制方法
CN111131718B (zh) 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统
WO2017059577A1 (zh) 眼球跟踪装置及其辅助光源控制方法及相关装置
JP2012023459A (ja) 車載用監視カメラおよびその撮像方法
US11012632B2 (en) Vehicular image pickup device and method of configuring same
CN101404727A (zh) 高清数码摄像机驱动led发光的方法
JP7136055B2 (ja) 露光制御装置
EP3820144B1 (en) Method for displaying a video stream of a scene
CN111601417A (zh) 一种光影效果还原方法
CN114500861B (zh) 光源的控制方法、装置、电子设备及计算机可读存储介质
CN110418066A (zh) 图像处理方法、装置、设备及存储介质
WO2023067671A1 (ja) 車両用点灯制御装置、及び車両用点灯制御方法
CN112312107B (zh) 光路控制方法、装置、设备及存储介质
Mangla et al. Optimal CMS System on TDA3 Processor
KR102110314B1 (ko) 다중 노출 촬영 시스템 및 제어 방법
CN113572969B (zh) 频闪补光方法、计算机设备、图像采集装置及存储介质
CN116828317A (zh) 多路光源驱动电路、摄像机及多路光源驱动方法
WO2019003361A1 (ja) 撮像システム及び撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant