KR20210009255A - 이미지 센서 및 이를 포함하는 이미지 처리 시스템 - Google Patents

이미지 센서 및 이를 포함하는 이미지 처리 시스템 Download PDF

Info

Publication number
KR20210009255A
KR20210009255A KR1020190148086A KR20190148086A KR20210009255A KR 20210009255 A KR20210009255 A KR 20210009255A KR 1020190148086 A KR1020190148086 A KR 1020190148086A KR 20190148086 A KR20190148086 A KR 20190148086A KR 20210009255 A KR20210009255 A KR 20210009255A
Authority
KR
South Korea
Prior art keywords
image
images
exposure
processing
hdr
Prior art date
Application number
KR1020190148086A
Other languages
English (en)
Inventor
이정국
최윤석
안도창
임성혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/923,569 priority Critical patent/US11637963B2/en
Priority to CN202010668078.6A priority patent/CN112243090A/zh
Publication of KR20210009255A publication Critical patent/KR20210009255A/ko
Priority to US18/138,231 priority patent/US20230262344A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/35536—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/378—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

이미지 센서 및 이를 포함하는 이미지 처리 시스템이 개시된다. 본 개시의 실시예에 따른 이미지 센서는, 동일한 피사체에 대하여 휘도가 상이한 복수의 이미지를 생성하는 센싱부, 상기 복수의 이미지 중 적어도 하나의 이미지를 제외한 n개의 이미지들(n은 2 이상의 자연수)을 병합하여 병합된 이미지를 생성하는 선-처리부, 및 상기 적어도 하나의 이미지 및 상기 병합된 이미지를 외부 프로세서로 출력하는 인터페이스 회로를 포함할 수 있다.

Description

이미지 센서 및 이를 포함하는 이미지 처리 시스템{Image sensor and image processing system comprising thereof}
본 개시의 기술적 사상은 이미지 처리에 관한 것으로서, 더욱 상세하게는 출력 이미지의 다이나믹 레인지 확장을 위하여 입력 이미지를 선-처리(pre-processing)하는 이미지 센서 및 이를 포함하는 이미지 처리 시스템에 관한 것이다.
카메라와 같은 이미지 처리 시스템은 광학 렌즈를 통하여 입사된 피사체의 광학적 신호를 전기적 신호로 이미지로 변환하는 이미지 센서 및 생성된 이미지에 대하여 이미지 처리를 수행하는 프로세서를 포함할 수 있다. 이미지 센서가 수용할 수 있는 밝기의 범위는 사람의 눈이 수용할 수 있는 밝기의 범위보다 좁다. 따라서, 역광이 비추는 상황에서 촬상된 이미지는 배경은 밝고 피사체가 지나치게 어둡게 나타나는 등 사람의 눈이 보는 실제 이미지와 상이할 수 있다. 이에, 동일한 피사체를 노출 시간을 달리하여 촬상함으로써, 노출 시간이 상이한 복수의 이미지를 생성하고, 복수의 이미지를 이미지 처리하여 이미지의 다이나믹 레인지(Dynamic Range)를 넓히는 HDR(High Dynamic Range) 기법이 이용된다.
본 개시의 기술적 사상은, 이미지들의 선 처리(pre-processing)를 통해 이미지 처리 시스템의 출력 이미지의 다이나믹 레인지를 증가시키는 이미지 센서 및 이를 포함하는 이미지 처리 시스템을 제공한다.
상기 기술적 과제를 달성하기 위한 본 개시의 실시예에 따른 이미지 센서는, 동일한 피사체에 대하여 휘도가 상이한 복수의 이미지를 생성하는 센싱부, 상기 복수의 이미지 중 적어도 하나의 이미지를 제외한 n개의 이미지들(n은 2 이상의 자연수)을 병합하여 병합된 이미지를 생성하는 선-처리부, 및 상기 적어도 하나의 이미지 및 상기 병합된 이미지를 외부 프로세서로 출력하는 인터페이스 회로를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 개시의 실시예에 따른 이미지 처리 시스템은, 상이한 노출 시간을 기초로 k개의 이미지(k는 3 이상의 자연수)를 생성하고, 상기 k개의 이미지 중 n개의 이미지들(n은 2 이상 k 이하의 자연수)을 병합하여 병합된 이미지에 기초한 제1 이미지 데이터를 출력하고, 상기 k개의 이미지 중 상기 n개의 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 데이터를 출력하는 이미지 센서, 및 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 수신하고, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터에 포함된 복수의 이미지들을 기초로 다이나믹 레인지가 증가된 HDR(high dynamic range) 이미지를 생성하는 이미지 프로세서를 포함한다.
상기 기술적 과제를 달성하기 위한 본 개시의 실시예에 따른 이미지 처리 시스템은, 상이한 노출 시간을 기초로, 수신되는 광 신호를 전기적 신호들로 변환하는 픽셀 어레이, 상기 픽셀 어레이로부터 수신되는 전기적 신호들을 기초로 제1 노출 시간을갖는 제1 노출 이미지, 제2 노출 시간을 갖는 제2 노출 이미지 및 제3 노출 시간을 갖는 제3 이미지를 생성하며, 상기 제1 내지 제3 노출 시간 중 상기 제1 노출 시간이 가장 길고 상기 제3 노출 시간이 가장 짧은, 독출 회로, 및
상기 제2 노출 이미지 및 상기 제3 노출 이미지를 기초로 병합된 이미지를 생성하는 선-처리부, 및 상기 제1 노출 이미지 및 상기 병합된 이미지를 외부 프로세서로 출력하는 인터페이스 회로를 포함한다.
본 개시의 기술적 사상에 따른 이미지 센서 및 이를 포함하는 이미지 처리 시스템에 따르면, 이미지 센서가 휘도가 상이한 복수의 이미지들 중 일부 이미지들에 대하여 선-처리를 수행하고, 이미지 프로세서는 선-처리에 의하여 병합된 이미지 및 나머지 이미지들에 대하여 HDR 처리를 수행함으로써, HDR 이미지의 다이나믹 레인지 및 SNR이 향상될 수 있다. 또한, HDR 처리를 위한 이미지 프로세서의 부하가 감소될 수 있으며, 이미지 처리 시스템의 HDR 처리 속도가 향상될 수 있다.
본 개시의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템의 이미지 센서및 이미지 프로세서의 동작을 설명하는 도면이다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템의 이미지 센서및 이미지 프로세서의 동작을 예를 들어 설명하는 도면이다.
도 5a 및 도 5b는 본 개시의 예시적 실시예에 따른 픽셀의 구현예들을 나타내는 회로도이다.
도 6a 및 도 6b는 본 개시의 예시적 실시예에 따른 픽셀의 구현예들을 나타내는 회로도이다.
도 7a, 도 7b 및 도 7c는 본 개시의 예시적 실시예에 따른 선-처리부를 개략적으로 나타내는 블록도이다.
도 8a 및 도 8b는 본 개시의 실시예들에 따른 복수의 노출 이미지의 생성 및 출력 방식을 나타내는 도면이다.
도 9는 본 개시의 예시적 실시예에 따른 신호 처리부를 개략적으로 나타내는 블록도이다.
도 10은 본 개시의 예시적 실시예에 따른 선형화부에서 수행되는 선형화 처리를 설명하는 그래프이다.
도 11은 본 개시의 예시적 실시예에 따른 본 개시의 예시적 실시예에 따른 선-처리부를 개략적으로 나타내는 블록도이다.
도 12는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템의 이미지 센서 및 이미지 프로세서의 동작을 설명하는 도면이다.
도 13은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
이미지 처리 시스템(10)은 전자 장치에 내장(embedded)되거나 또는 전자 장치로 구현될 수 있다. 전자 장치는 이미지를 촬영하고, 촬영된 이미지를 디스플레이하거나 또는 촬영된 이미지에 기반한 동작을 수행하는 장치로서, 예를 들어, 디지털 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, PC(Personal Computer), 태블릿 PC, PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation) 장치, 드론 등과 같은 전자 기기를 포함하거나 또는 차량, 의료 기기, 가구, 제조 설비, 보안 장치, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.
도 1을 참조하면, 이미지 처리 시스템(10)은 이미지 센서(100) 및 이미지 프로세서(200)를 포함할 수 있다. 이미지 처리 시스템(10)은 디스플레이, 유저 인터페이스 등의 다른 구성들을 더 포함할 수 있다. 이미지 센서(110)는 선-처리부(110)(Pre-processor)를 포함하고, 이미지 프로세서(200)는 HDR(high dynamic range) 처리를 수행하는 HDR 모듈을 포함할 수 있다.
이미지 센서(100)는 광학 렌즈(LS)를 통하여 입사된 피사체(Object)의 광학적 신호를 전기적 신호로 변환하고, 전기적 신호들을 기초로 이미지를 생성할 수 있다. 이미지 센서(100)는 동일한 피사체에 대하여 휘도가 상이한 복수의 이미지를 생성할 수 있다. 예를 들어, 이미지 센서(100)는 서로 다른 노출 시간을 기초로 동일한 피사체를 촬상함으로써 다중 노출 이미지들을 생성할 수 있다. 또는, 이미지 센서(100)는 픽셀 어레이(도 2의 120)의 픽셀들 각각에 복수의 광전 변환 소자가 구비될 경우, 이미지 센싱에 이용되는 광전 변환 소자의 개수를 조정함으로써, 휘도가 상이한 복수의 이미지를 생성할 수 있다.
선-처리부(110)(pre-processor)는 휘도가 상이한 복수의 이미지 중 두 개 이상의 일부 이미지들을 병합하여 병합된 이미지를 생성할 수 있다. 실시예에 있어서, 선-처리부(110)는 일부 이미지들에 대하여 선형화 처리를 수행하여, 상기 일부 이미지들 각각보다 다이나믹 레인지가 증가된 병합된 이미지를 생성할 수 있다. 선형화 처리란 서로 다른 밝기 범위를 가지는 적어도 두 개의 이미지들의 밝기를 매칭시키고, 비선형적으로 밝기가 증가(또는 감소)하는 특정 영역에 대하여 더 적절한 이미지의 픽셀 값을 선택하거나 적어도 두 이미지의 픽셀 값에 대한 연산을 수행하여, 선형적으로 밝기가 증가(또는 감소)하도록 처리하는 처리 방식을 의미한다. 선형화 처리에 의하여 이미지의 다이나믹 레인지가 증가될 수 있으며, 이미지의 각 픽셀 값의 비트수가 증가될 수 있다.
이미지 센서(100)는 병합된 이미지를 제1 이미지 데이터(IDT1)로서 이미지 프로세서(200)로 전송하고, 복수의 이미지 중 선형화 처리가 수행된 일부 이미지를 제외한 적어도 하나의 이미지를 제2 이미지 데이터(IDT2)로서 이미지 프로세서(200)로 전송할 수 있다. 실시예에 있어서, 이미지 센서(100)는 병합된 이미지를 압축하고, 압축된 이미지를 제2 이미지 데이터(IDT2)로서 이미지 프로세서(200)로 전송할 수 있다.
이미지 프로세서(200)는 수신되는 이미지에 대하여 이미지 처리를 수행할 수 있다. 이때, 이미지 처리란, 노이즈 제거, 밝기 조정, 선명도(sharpness) 조정 등의 화질 향상을 위한 처리, 이미지 사이즈 변경, 데이터 형식을 변경하는 이미지 처리(예컨대 베이어 패턴의 이미지 데이터를 YUV 또는 RGB 형식으로 변경) 등의 다양한 처리들을 포함할 수 있다.
HDR 모듈(210)은 이미지 센서(100)로부터 수신된 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2), 예컨대, 병합된 이미지 및 선형화 처리가 수행되지 않은 적어도 하나의 이미지에 대하여 HDR(high dynamic range) 처리를 수행할 수 있다. 실시예에 있어서, 이미지 센서(100)로부터 압축된 이미지가 제1 이미지 데이터(IDT2)로서 수신될 경우, 이미지 프로세서(200)는 압축된 이미지를 압축 해제하고, HDR 모듈(210)은 압축 해제에 의하여 복원된 병합된 이미지 및 적어도 하나의 이미지에 대하여 HDR 처리를 수행할 수 있다.
HDR 처리는 선형화 처리 및 DRC(Dynamic Range Compression) 처리를 포함할 수 있다. DRC 처리는 톤 맵핑(예컨대 감마 보정)을 포함할 수 있다. 톤 맵핑에 따라 이미지에서 상대적으로 밝은 영역은 어둡게, 어두운 영역은 밝게 보정될 수 있다. 병합된 이미지 및 적어도 하나의 이미지에 대하여 HDR 처리가 수행됨에 따라 다이나믹 레인지가 증가되고 SNR(signal to noise ratio)이 향상된 HDR 이미지(HDRI)가 생성될 수 있다. HDR 이미지(HDRI)에 대하여 전술한 다양한 이미지 처리들이 수행될 수 있다. 그러나, 이에 제한되는 것은 아니며, 상기 다양한 이미지 처리들 중 적어도 하나의 처리는 HDR 처리 과정에서 수행될 수도 있다.
실시예에 있어서, HDR 모듈(210)이 HDR 처리할 수 있는 이미지들의 개수는 이미지 센서(100)에서 생성되는 복수의 이미지의 개수보다 적을 수 있다. 예컨대 HDR 모듈(210)은 m 개(2 이상의 자연수)의 노출 이미지들에 대하여 HDR 처리를 수행할 수 있고, 이미지 센서(100)는 k개(m보다 큰 자연수)의 노출 이미지들을 생성할 수 있다. 이미지 센서(100)로부터 k개의 노출 이미지가 수신되더라도, HDR 모듈(210)은 k개의 노출 이미지들 중 m 개의 노출 이미지들에 대하여 HDR 처리를 수행할 수 있다. 그러나, 본 개시의 실시예에 따른 이미지 센서(100)는 k개의 노출 이미지들 중 일부 노출 이미지들을 병합하고, 병합된 이미지(merged IMG) 및 m-1개(또는 m-1개 이하)의 나머지 노출 이미지들(m-1 IMGs)을 이미지 프로세서(200)로 전송할 수 있다. HDR 모듈(210)은 수신된 m개의 이미지들에 대하여 HDR 처리를 수행할 수 있다 HDR 모듈(210)에서 HDR 처리되는 한 개의 이미지, 즉 병합된 이미지는 이미지 센서(100)에서 이미지 선형화 처리가 수행된 이미지이다. 따라서, HDR 모듈(210)에서 생성되는 HDR 이미지(HDRI)는 k개의 노출 이미지들에 대하여 HDR 처리가 수행됐을 때와 동일 또는 유사한 다이나믹 레인지 및 SNR을 가질 수 있다.
실시예에 있어서, HDR 모듈(210)은 실시간 HDR 처리를 수행할 수 있다. HDR 모듈(210)은 라인 단위로 스태거드 방식으로 수신되는 병합된 이미지 및 선형화 처리가 수행되지 않은 적어도 하나의 이미지에 대하여 실시간 HDR(high dynamic range) 처리를 수행할 수 있다. 이에 따라 생성되는 HDR 이미지(HDRI)는 프리뷰 이미지 및 비디오의 한 프레임으로서 출력될 수 있다.
이미지 프로세서(200)는 하드웨어, 소프트웨어(또는 펌웨어) 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 이미지 프로세서(200)는 GPU, DSP(Digital Signal Processor), ISP(Image Signal Processor) 등 이미지 처리를 수행할 수 있는 다양한 종류의 프로세서 중 하나로 구현될 수 있다. 이미지 프로세서(200)는 단일 칩으로 구현되거나, 또는 AP(Application Processor)에 내장될 수 있다.
HDR 처리를 구성하는 선형화 처리 및 DRC 처리를 이미지 센서(100) 및 이미지 프로세서(200) 중 어느 하나에서 수행할 경우, 처리를 담당하는 구성이 처리 가능한 사양에 따라, HDR 이미지(HDRI)의 다이나믹 레인지가 결정될 수 있다. 예를 들어, 이미지 프로세서(200)의 HDR 모듈(210)에서 선형화 및 DRC 처리가 수행될 경우, 이미지 프로세서(200)에 구비되는 HDR 모듈(210)의 처리사양에 따라 HDR 이미지(HDRI)의 다이나믹 레인지가 결정될 수 있다. 다른 예로서, 이미지 센서(100)에서 복수의 이미지들에 대하여 선형화 처리를 수행하고 이미지 프로세서(200)에서 DRC 처리를 수행하는 경우, 또는 이미지 센서(100)에서 선형화 및 DRC 처리를 모두 수행하는 경우가 있을 수 있으며, 이때, HDR 이미지(HDRI)는 이미지 센서(100)의 처리사양 또는 이미지 센서(100) 및 이미지 프로세서(200) 간의 통신 채널의 대역폭(bandwidth)에 따라 HDR 이미지(HDRI)의 다이나믹 레인지가 결정될 수 있다.
그러나, 본 개시의 실시예에 따른 이미지 처리 시스템(10)은 전술한 바와 같이, 이미지 센서(100)의 선-처리부(110)가 복수의 이미지들 중 일부 이미지들에 대하여 선-처리, 예컨대 선형화 처리를 수행하고, 이미지 프로세서(200)의 HDR IP(210)가 이미지 센서(100)로부터 수신된 선-처리된 이미지(즉 병합된 이미지) 및 선-처리되지 않은 적어도 하나의 이미지에 대하여 HDR 처리, 예컨대 선형화 처리 및 DRC 처리를 수행할 수 있으며, 이에 따라서, HDR 모듈(210)에서 처리 가능한 다이나믹 레인지보다 넓은 다이나믹 레인지를 갖는 HDR 이미지(HDRI)가 생성될 수 있다. 또한, 이미지 센서(100)의 선-처리부(110)가 일부 이미지에 대하여 선형화 처리를 수행하는 바, HDR 처리를 위한 이미지 프로세서(200)의 업무량(load)이 감소될 수 있고, 이미지 처리 시스템(10)의 HDR 처리 속도가 향상될 수 있다. 특히, 이미지 처리 시스템(10)에서 프리뷰 이미지, 비디오 이미지가 생성될 때의 HDR 처리, 즉 실시간 HDR 처리를 수행함에 있어서, 이미지 처리 시스템(10)의 퍼포먼스가 향상될 수 있다.
도 2는 본개시의 예시적 실시예에 따른 이미지 센서를 개략적으로 나타내는 블록도이다. 도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(120), 독출 회로(130)(readout circuit), 선-처리부(110) 및 인터페이스 회로(140)를 포함할 수 있다. 픽셀 어레이(120) 및 독출 회로(130)는 센싱부로 지칭될 수 있다. 이미지 센서(100)는 픽셀 어레이(120)를 구동하기 위한 다른 구성들, 예컨대 로우 디코더, 타이밍 컨트롤러 및 램프 신호 생성기 등을 더 포함할 수 있다.
픽셀 어레이(120)는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 전송 소자로 구현될 수 있으며 이외에도 다양한 종류의 전송 소자로 구현될 수 있다. 픽셀 어레이(120)는 수신되는 광 신호(빛)를 전기적 신호로 변환하는 복수의 픽셀(PX)을 포함하고, 복수의 픽셀은 행열로 배열될 수 있다. 복수의 픽셀(PX) 각각은 광 감지 소자(또는 광전 변환 소자라고 함)를 포함한다. 예컨대, 광 감지 소자는 포토(photo) 다이오드, 포토 트랜지스터, 포트 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 복수의 픽셀(PX)은 라인 단위(또는 로우 단위라고 함)로 구동되고, 컬럼 단위로 센싱 신호를 출력할 수 있다. 복수의 픽셀(PX)은 복수의 컬럼 라인에 연결되고, 복수의 컬럼 라인틀 통해 전기적 신호들을 독출 회로(130)로 출력할 수 있다.
독출 회로(130)는 픽셀 어레이(110)로부터 수신되는 전기적 신호들을 이미지로 변환하여 출력할 수 있다. 독출 회로(130)는 전기적 신호들을 증폭하고, 증폭된 전기적 신호들을 아날로그-디지털 변환할 수 있다. 독출 회로(130)에서 생성되는 이미지는 픽셀 어레이(120)의 픽셀들 각각에 대응하는 픽셀 값을 포함할 수 있다.
독출 회로(130)는 휘도가 상이한 복수의 이미지(IMGs)를 생성하고, 복수의 이미지(IMGs)를 로우 단위로 출력할 수 있다. 도 1을 참조하여 설명한 바와 같이, 복수의 이미지(IMGs)는 픽셀 어레이(110)에서, 서로 다른 노출 시간을 기초로 획득된 신호들을 기초로 생성되는 다중 노출 이미지들이거나 또는 복수의 이미지는 픽셀(PX)에 구비되는 광전 변환 소자의 개수가 조정됨으로써 생성될 수 있다. 그러나, 이에 제한되는 것은 아니며, 휘도가 상이한 복수의 이미지(IMGs)는 픽셀 어레이(110)에 대한 다양한 구동 방식 및 독출 회로(130)의 독출 동작에 의하여 생성될 수 있다. 이하, 설명의 편의를 위하여 복수의 이미지(IMGs)는 다중 노출 이미지들인 것을 가정하여 설명하기로 한다.
실시예에 있어서, 독출 회로(130)는 복수의 이미지(IMGs)를 시분할 방식(또는 스태거드(staggered) 방식 이라고 함)으로 동시에 선-처리부(110)로 출력하거나, 또는 복수의 이미지(IMGs)를 차례로 선-처리부(110)로 출력할 수 있다.
도 1을 참조하여 설명한 바와 같이, 선-처리부(110)는 복수의 이미지(IMGs) 중 일부 이미지들에 대하여 선-처리, 예컨대 선형화 처리를 수행하여 하나의 병합된 이미지를 생성할 수 있다. 또한, 선-처리부(110)는 복수의 이미지(IMGs) 각각에 대하여, 픽셀 값을 조정하는 신호 처리를 수행할 수 있다. 예를 들어, 신호 처리는 블랙 레벨 보상, 렌즈 쉐이딩 보상, 크로스 토크 보상 및 배드 픽셀 수정 중 적어도 하나를 포함할 수 있다.
선-처리부(110)는 선형화부(LU)를 포함할 수 있으며, 선형화부(LU)는 수신되는 k개의 이미지들(k는 3 이상의 양의 정수) 중 n개의 이미지(n은 2 이상, k보다 작은 양의 정수)에 대하여 선형화 처리를 수행하여, 하나의 병합된 이미지를 생성할 수 있다. 선-처리부(110)는 병합된 이미지를 제1 이미지 데이터(IDT1)로서, 선형화 처리가 수행되지 않은 k-n개의 나머지 이미지들을 제2 이미지 데이터(IDT2)로서 인터페이스 회로(140)로 출력할 수 있다. k-n개의 나머지 이미지들은 전술한 신호 처리가 수행되어 인터페이스 회로(140)로 출력될 수 있다.
인터페이스 회로(140)는 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)를 이미지 프로세서(200)로 전송할 수 있다. 인터페이스 회로(140)는 MIPI(Mobile industry processor interface), eDP(embedded display port) 인터페이스, UART(Universal Asynchronous Receiver Transmitter) 인터페이스, I2C(inter integrated circuit) 인터페이스, SPI(serial peripheral interface) 등과 같은 다양한 인터페이스 방식들 중 하나에 따라 이미지 프로세서(200)와 통신할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템의 이미지 센서및 이미지 프로세서의 동작을 설명하는 도면이다. 도 3은 휘도가 상이한 복수의 이미지에 대하여 이미지 센서(100)의 선-처리부(110) 및 이미지 프로세서(200)의 HDR 모듈(210)이 HDR 처리를 수행하는 방법을 예시적으로 나타낸다. 이하, 본 개시에서 사용되는, “제 1,”“제 2,”등의 표현들이 구성 요소를 수식하기 위하여 사용되는데, 상기 표현들은 해당 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐, 해당 구성 요소들의 순서 및/또는 중요도 등을 한정하는 것은 아니다.
도 3을 참조하면, 이미지 프로세서(200)에 구비되는 HDR 모듈(210)은 m개의 이미지들에 대하여 HDR 처리를 수행할 수 있고, m 개의 이미지들에 기초하여 HDR 이미지(HDRI)를 생성할 수 있다.
이미지 센서(100)는 m 개보다 많은 k개의 이미지, 예컨대, 휘도가 상이한 제1 내지 제k 노출 이미지(EI1~EIk)를 생성할 수 있다. 선-처리부(110)는 제1 내지 제k 노출 이미지(EI1~EIk)를 수신할 수 있다. 선-처리부(110)는 제1 내지 제k 노출 이미지(EI1~EIk)에 대하여 신호 처리, 예컨대 블랙 레벨 보상, 렌즈 쉐이딩 보상, 크로스 토크 보상 및 배드 픽셀 수정 등을 수행할 수 있다. 선-처리부(110)의 선형화부(LU)는 제1 내지 제k 노출 이미지(EI1~EIk) 중 m-1개의 노출 이미지(예컨대, 제1 내지 제m-1 노출 이미지(EI1~EIm-1))를 제외한 제m 내지 제k 노출 이미지(EIm~EIk)에 대하여 선형화 처리를 수행할 수 있다. 선-처리부(110)는 선형화 처리 결과로서 병합된 이미지(MI)를 생성할 수 있다.
병합된 이미지(MI) 및 제1 내지 제m-1 노출 이미지(EI1~EIm-1)가 각각 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)로서 이미지 프로세서(200)로 전송될 수 있다. 도 2를 참조하여 설명한 바와 같이, 인터페이스 회로(도 2의 140)이 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)를 이미지 프로세서(200)로 전송할 수 있다.
이미지 프로세서(200)의 HDR 모듈(210)은 m개의 이미지들, 즉 제1 이미지 데이터(IDT1) 및 제2 이미지 데이터(IDT2)에 포함된 병합된 이미지(MI) 및 제1 내지 제m-1 노출 이미지(EI1~EIm-1)에 대하여 HDR 처리를 수행할 수 있다. HDR 모듈(210)은 m개의 이미지들에 대하여 선형화 처리를 수행하고, 선형화 처리에 따라 생성되는 병합된 이미지에 대하여 DRC 처리를 수행할 수 있다. 이에 따라서, HDR 이미지(HDRI)가 생성될 수 있다. HDR 모듈(210)에서는 m개의 이미지들에 대하여 HDR 처리가 수행하였으나, 이미지 센서(100)의 선-처리부(110)에서 n개의 이미지, 즉 제m 내지 제k 노출 이미지(EIm~EIk)에 대하여 미리 선형화 처리가 수행된 바, HDR 이미지(HDRI)는 k개의 노출 이미지들, 즉 제1 내지 제m-1 노출 이미지(EI1~EIm-1)에 대하여 HDR 처리가 수행된 것과 동일 또는 유사한 다이나믹 레인지 및 SNR을 가질 수 있다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템의 이미지 센서및 이미지 프로세서의 동작을 예를 들어 설명하는 도면이다.
도 4a를 참조하면, 이미지 센서(100)는 세 개의 노출 이미지, 예컨대 장(long) 노출 이미지(LEI), 중(medium) 노출 이미지(MEI) 및 단(short) 노출 이미지(SEI)를 생성할 수 있다. 장 노출 이미지(LEI), 중 노출 이미지(MEI) 및 단 노출 이미지(SEI) 중 장 노출 이미지(LEI)는 가장 긴 노출 시간에 기초하여 생성되고, 단 노출 이미지(SEI)는 가장 짧은 노출 시간에 기초하여 생성될 수 있다.
선-처리부(110)는 장 노출 이미지(LEI), 중 노출 이미지(MEI) 및 단 노출 이미지(SEI)를 수신하고, 이들에 대하여 신호 처리를 수행할 수 있다. 선-처리부(110)에 구비되는 선형화부(LU)는 중 노출 이미지(MEI) 및 단 노출 이미지(SEI)에 대하여 선형화 처리를 수행하여 병합된 이미지(MI)를 생성할 수 있다. 이미지 센서(100)는 병합된 이미지(MI)를 제1 데이터(IDT1)로서, 장 노출 이미지(LEI)를 제2 데이터(IDT2)로서 이미지 프로세서(200)로 전송할 수 있다.
이미지 프로세서(200)의 HDR 모듈(210)은 두 개의 이미지들에 대하여 HDR 처리를 수행하도록 구성될 수 있다. HDR 모듈(210)은 제1 데이터(IDT1) 및 제2 데이터(IDT2)로서 각각 수신되는 병합된 이미지(MI) 및 장 노출 이미지(LEI)에 대하여 HDR 처리, 예컨대 선형화 처리 및 DRC 처리를 수행할 수 있다. HDR 모듈(210)의 HDR 처리에 따라 생성되는 HDR 이미지(HDRI)는 세 개의 노출 이미지에 대하여 HDR 처리가 수행된 것에 따른 다이나믹 레인지 및 SNR을 가질 수 있다.
도 4b를 참조하면, 이미지 센서(100)는 네 개의 노출 이미지, 예컨대 장 노출 이미지(LEI), 제1 중 노출 이미지(MEI1), 제2 중 노출 이미지(MEI2) 및 단 노출 이미지(SEI)를 생성할 수 있다. 장 노출 이미지(LEI), 제1 중 노출 이미지(MEI1), 제2 중 노출 이미지(MEI2) 및 단 노출 이미지(SEI) 중 장 노출 이미지(LEI)가 가장 긴 노출 시간을 기초로 생성되고, 단 노출 이미지(SEI)가 가장 짧은 노출 시간에 기초하여 생성되며, 제1 중 노출 이미지(MEI1)가 제2 중 노출 이미지(MEI2)보다 상대적으로 긴 노출 시간을 기초로 생성될 수 있다.
선-처리부(110)는 장 노출 이미지(LEI), 제1 중 노출 이미지(MEI1), 제2 중 노출 이미지(MEI2) 및 단 노출 이미지(SEI)를 수신하고, 이들에 대하여 신호 처리를 수행할 수 있다. 선-처리부(110)에 구비되는 선형화부(LU)는 제2 중 노출 이미지(MEI2) 및 단 노출 이미지(SEI)에 대하여 선형화 처리를 수행하여 병합된 이미지(MI)를 생성할 수 있다. 이미지 센서(100)는 병합된 이미지(MI)를 제1 데이터(IDT1)로서, 장 노출 이미지(LEI) 및 제1 중 노출 이미지(MEI1)를 제2 데이터(IDT2)로서 이미지 프로세서(200)로 전송할 수 있다.
이미지 프로세서(200)의 HDR 모듈(210)은 세 개의 이미지들에 대하여 HDR 처리를 수행하도록 구성될 수 있다. HDR 모듈(210)은 제1 데이터(IDT1) 및 제2 데이터(IDT2)로서 각각 수신되는 병합된 이미지(MI), 장 노출 이미지(LEI) 및 제1 중 노출 이미지(MEI1)에 대하여 HDR 처리, 예컨대 선형화 처리 및 DRC 처리를 수행할 수 있다. HDR 모듈(210)의 HDR 처리에 따라 생성되는 HDR 이미지(HDRI)는 네 개의 노출 이미지에 대하여 HDR 처리가 수행된 것에 따른 다이나믹 레인지 및 SNR을 가질 수 있다.
도 5a 및 도 5b는 본 개시의 예시적 실시예에 따른 픽셀의 구현예들을 나타내는 회로도이다.
도 5a를 참조하면, 픽셀(PXa)은 포토 다이오드(PD) 및 전송 회로(TCa)를 포함할 수 있다. 포토 다이오드(PD)는 다른 광 감지 소자로 대체될 수 있다. 전송 회로(TCa)는 리셋 트랜지스터(RX), 전송 트랜지스터(TX), 구동 트랜지스터(DX), 및 선택 트랜지스터(SX)를 포함할 수 있다. 그러나, 전송 회로(TCa)의 구조는 이에 제한되는 것은 아니며, 전송 회로(TCa)의 구조는 가변될 수 있다.
포토 다이오드(PD)는 입사되는 광의 세기에 따라 가변되는 광전하를 생성할 수 있다. 전송 회로(TCa)는 포토 다이오드(PD) 또는 내부 리셋 노이즈에 대응하는 아날로그 픽셀 신호(APS)를 생성할 수 있다.
전송 회로(TCa)는 수신되는 제어 신호들(SEL, RS, TS)을 기초로 동작할 수 있다. 전송 트랜지스터(TX)는 전송 제어 신호(TS)에 따라 포토 다이오드(PD)로부터 광전하를 플로팅 디퓨젼 노드(FD)로 전송할 수 있다. 플로팅 디퓨젼 노드(FD)에 축적된 광전하에 의한 전위에 따라 구동 트랜지스터(DX)는 광전하를 증폭하여 선택 트랜지스터(SX)를 통해 출력할 수 있다. 선택 제어 신호(SEL)에 응답하여 선택 트랜지스터(SX)가 턴-온되면, 플로팅 디퓨젼 노드(FD)의 전압 레벨에 상응하는 센싱 신호, 즉 광 센싱 신호가 아날로그 픽셀 신호(APS), 예컨대 픽셀 전압으로서 출력될 수 있다.
한편, 리셋 트랜지스터(RX)는 리셋 제어 신호(RS)에 따라 플로팅 디퓨젼 노드(FD)를 전원 전압(VDD)을 기초로 리셋할 수 있다. 이때 플로팅 디퓨젼 노드(FD)의 전압 레벨에 상응하는 리셋 신호, 예컨대 노이즈 신호가 아날로그 픽셀 신호(APS)로서 출력될 수 있다.
아날로그 픽셀 신호(APS)는 컬럼 라인(CL)을 통해 독출 회로(도 2의 130)으로 출력될 수 있다.
도 5b를 참조하면, 픽셀(PXb)은 복수의 포토 다이오드, 예컨대 제1 내지 제4 포토 다이오드(PD1~PD4) 및 전송 회로(TCb)를 포함할 수 있다. 전송 회로(TCb)는 리셋 트랜지스터(RX), 구동 트랜지스터(DX), 선택 트랜지스터(SX) 및 복수의 포토 다이오드 각각에 대응하는 복수의 전송 트랜지스터(TX), 예컨대 제1 내지 제4 전송 트랜지스터(TX1~TX4)를 포함할 수 있다. 도 5b의 전송 회로(TCb)의 동작은 도 5a의 전송 회로(TCa)의 동작과 유사하다. 다만 도 5b에서, 제1 내지 제4 전송 트랜지스터(TX1~TX4) 각각은 대응하는 전송 제어 신호, 예컨대, 제1 내지 제4 전송 제어 신호(TS1~TS4) 중 하나에 응답하여, 대응하는 포토 다이오드로부터 광전하를 플로팅 디퓨젼 노드(FD)로 전송할 수 있다.
실시예에 있어서, 센싱 신호를 생성함에 있어서 이용되는 포트 다이오드의 개수에 따라 픽셀 어레이(도 2의 110)로부터 상이한 휘도의 이미지가 생성될 수 있다. 예를 들어, 제1 센싱 기간에는 제1 전송 트랜지스터(TX1)가 턴-온되어, 제1 포토 다이오드(PD1)의 광전하에 따른 센싱 신호가 생성되고, 제2 센싱 기간에는 제1 및 제2 전송 트랜지스터(TX1, TX2)가 턴-온되어, 제1 포토 다이오드(PD1) 및 제2 포토 다이오드(PD2)의 광전하에 따른 센싱 신호가 생성되고, 제3 센싱 기간에는 제1 내지 제3 전송 트랜지스터(TX1, TX2, TX3)가 턴-온되어, 제1 내지 제3 포토 다이오드(PD1, PD2, PD3)에 따른 센싱 신호가 생성될 수 있다. 따라서, 상기 제1 센싱 기간, 제2 센싱 기간 및 제3 센싱 기간 각각에서 상이한 휘도의 이미지가 생성될 수 있다.
도 6a 및 도 6b는 본 개시의 예시적 실시예에 따른 픽셀의 구현예들을 나타내는 회로도이다. 도 6a 및 도 6b는 디지털 픽셀을 나타낸다.
도 6a를 참조하면, 픽셀(PXc)은 포토 다이오드(PD), 전송 회로(TC) 및 아날로그-디지털 변환기(ADC)를 포함할 수 있다. 도 6a에는 하나의 포토 다이오드(PD)가 도시되었으나, 이에 제한되는 것은 아니며, 도 5b에 도시된 바와 같이, 픽셀(PXc)은 복수의 포토 다이오드를 포함할 수 있다.
전송 회로(TC)는 포토 다이오드(PD)의 광전하에 따른 아날로그 픽셀 신호(APS)를 출력할 수 있으며, 도 5a 및 도 5b를 참조하여 설명한 전송 회로(TCa, TCb)가 적용될 수 있다.
아날로그-디지털 변환기(ADC)는 아날로그 픽셀 신호(APS)를 디지털 신호인 픽셀 값(PV)으로 변환할 수 있다. 픽셀 값(PV)은 컬럼 라인(CL)을 통해 독출 회로(도 2의 130)로 출력될 수 있다. 도 6b에 도시된 바와 같이, 픽셀(PXd)은 픽셀 값(PV)을 저장하는 메모리(MEM)를 더 포함하고, 픽셀 값(PV)은 메모리(MEM)에 임시 저장된 후, 컬럼 라인(CL)을 통해 독출 회로로 출력될 수 있다.
도 7a, 도 7b 및 도 7c는 본 개시의 예시적 실시예에 따른 선-처리부를 개략적으로 나타내는 블록도이다. 설명의 편의를 위하여, 서로 다른 휘도를 가지는 복수의 이미지, 예컨대 제1 내지 제3 노출 이미지(EI1~EI3)가 수신되며, 제1 노출 이미지(EI1)에 대응하는 노출 시간이 상대적으로 가장 길고, 제3 노출 이미지(EI3)에 대응하는 노출 시간이 상대적으로 가장 짧은 것으로 가정하기로 한다. 예컨대, 제1 노출 이미지(EI1), 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)은 각각 장 노출 이미지, 중 노출 이미지 및 단 노출 이미지로 구분될 수 있다. 제1 노출 이미지(EI1), 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)의 순서로 수신될 수 있다.
도 7a를 참조하면, 선-처리부(110a)는 신호 처리부(SP), 버퍼(BUF) 및 선형화부(LU)를 포함할 수 있다.
신호 처리부(SP)는 수신되는 이미지들, 예컨대 제1 내지 제3 노출 이미지(EI1~EI3) 각각에 대하여 픽셀 값을 조정하는 신호 처리를 수행할 수 있다. 신호 처리부(SP)의 구성 및 동작에 대해서는 도 8을 참조하여 후술하기로 한다.
신호 처리된 제1 노출 이미지(EI1)는 제2 데이터(IDT2)로서 출력될 수 있다. 신호 처리된 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)에 대하여 선형화 처리가 수행될 수 있다.
버퍼(BUF)는 신호 처리된 제1 내지 제3 노출 이미지(EI1~EI3) 중 제2 노출 이미지(EI2)를 임시 저장할 수 있다. 실시예에 있어서 버퍼(BUF)는 라인 버퍼로 구성될 수 있으며, 수신되는 이미지의 소정의 라인들(구체적으로 소정의 라인들에 해당하는 픽셀 값)을 저장할 수 있다. 실시예에 있어서 버퍼(BUF)는 프레임 버퍼로 구성될 수 있으며, 수신되는 이미지의 모든 라인들, 즉 수신되는 한 프레임의 이미지를 저장할 수 있다.
예를 들어, 픽셀부(예컨대, 픽셀 어레이(도 2의 120) 및 독출 회로(도 2의 130))는 도 8a에 도시된 바와 같이, 스테거드 방식에 따라서 제1 내지 제3 노출 이미지들(EI1~EI3)을 출력하며, 선-처리부(110a)는 수신되는 노출 이미지들을 수신할 수 있다. 제2 노출 이미지(EI2)의 소정의 라인들이 수신된 후, 제3 노출 이미지(EI3)의 첫번째 라인이 수신될 수 있다. 이후, 제2 노출 이미지(EI2)의 라인들과 제3 노출 이미지(EI3)의 라인들이 교번적으로 수신될 수 있다. 이때, 버퍼(BUF)는 라인 버퍼로 구성되며, 제2 노출 이미지(EI2)의 소정의 라인들을 저장할 수 있다.
다른 예로서, 픽셀부는 도 8b에 도시된 바와 같이, 프레임 단위로 제1 내지 제3 노출 이미지들(EI1~EI3)을 출력하며, 선-처리부(110a)는 제1 내지 제3 노출 이미지들(EI1~EI3)을 차례로 수신할 수 있다. 예컨대, 제1 노출 이미지(EI1)가 라인 단위로 모두 수신된 후, 제2 노출 이미지(EI2)가 라인 단위로 모두 수신되고, 제2 노출 이미지(EI2)가 모두 수신된 후, 제3 노출 이미지(EI3)가 라인 단위로 수신될 수 있다. 이때, 버퍼(BUF)는 프레임 버퍼로 구성되며, 제2 노출 이미지(EI2)를 저장할 수 있다.
선형화부(LU)는 신호 처리된 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)에 대하여 선형화 처리를 수행할 수 있다. 예컨대, 선형화부(LU)는 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)의 라인 단위로 선형화 처리를 수행할 수 있으며, 제2 노출 이미지(EI2) 및 제3 노출 이미지의 동일한 픽셀에 해당하는 픽셀 값들을 기초로 다이나믹 레인지가 증가된 픽셀 값을 생성할 수 있다. 이에 따라서, 합된 이미지(MI)가 생성될 수 있으며, 병합된 이미지(MI)는 제1 데이터(IDT1)으로서 출력될 수 있다.
도 7b 및 도 7c의 선-처리부(100b, 100c)의 구성 요소 및 그 동작들은 도 7a의 신호 처리부(100a)의 구성 요소 및 동작들과 유사하다. 다만, 도 7b를 참조하면, 버퍼(BUF)가 신호 처리부(SP)의 전단에 배치될 수 있다. 수신되는 제2 노출 이미지(EI2)가 버퍼(BUF)에서 버퍼링된 후, 신호 처리가 수행될 수 있다.
또한, 도 7c를 참조하면, 선-처리부(100c)는 제1 신호 처리부(SP1) 및 제2 신호 처리부(SP2)를 포함할 수 있다. 제1 신호 처리부(SP1)는 제1 노출 이미지(EI1)에 대하여 신호 처리를 수행하고, 제2 신호 처리부(SP2)는 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3) 각각에 대하여 신호 처리를 수행할 수 있다. 제1 신호 처리부(SP1)에서 출력되는 신호 처리된 제1 노출 이미지(EI1)는 제2 데이터(IDT2)로서 출력될 수 있다. 제2 신호 처리부(SP2)에서 출력되는 신호 처리된 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)에 대하여 선형화 처리가 수행될 수 있다.
도 8a및 도 8b는 본 개시의 실시예들에 따른 복수의 노출 이미지의 생성 및 출력 방식을 나타내는 도면이다. 도 8a 및 도 8b에서 가로축은 시간을 나타내고 세로축은 픽셀 어레이(도 2의 120)의 라인들(또는 로우들이라고 함)을 나타낸다.
픽셀 어레이의 첫번째 로우부터 마지막 로우까지 각각의 노출 시간(Te)동안 픽셀의 광 감지 소자가 광 신호를 수신하고, 광 신호에 따른 센싱 신호(전기적 신호)가 전송 시간(Tt) 동안 독출 회로(130)로 수신될 수 있다. 독출 회로(130)는 수신되는 라인 단위로 센싱 신호를 픽셀 값으로 변환하여 출력할 수 있다. 제1 노출 시간(Te1)을 기초로 제1 노출 이미지(EI1)(예컨대 장 노출 이미지)가 생성 및 출력되고, 제2 노출 시간(Te2)을 기초로 제2 노출 이미지(EI2)(예컨대 중 노출 이미지)가 생성 및 출력되며, 제3 노출 시간(Te3)을 기초로 제3 노출 이미지(EI3)(예컨대 단 노출 이미지)가 생성 및 출력될 수 있다.
도 8a를 참조하면, 제1 노출 이미지(EI1)가 생성 및 출력될 때, 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3) 또한 생성 및 출력될 수 있다. T1 구간에는 제1 노출 이미지(EI1)가 라인 단위로 생성 및 출력되고, T2 구간에는 제1 노출 이미지(EI1) 및 제2 노출 이미지(EI2)가 라인 단위로 생성 및 출력될 수 있다. 이 때, 제1 노출 이미지(EI1) 및 제2 노출 이미지(EI2)의 각 라인은 교번적으로 출력될 수 있다. T3 구간에는 제1 노출 이미지(EI1), 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)가 생성 및 출력될 수 있다. 제1 노출 이미지(EI1), 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)의 각 라인은 교번적으로 출력될 수 있다. T4 구간에는 제2 노출 이미지(EI2) 및 제3 노출 이미지(EI3)가 생성 및 출력되고, T5 구간에는 제3 노출 이미지(EI3)가 생성 및 출력될 수 있다. 이와 같이, 복수의 노출 이미지가 동시에 생성 및 출력되는 방식은 스태거드 방식으로 지칭될 수 있다.
반면, 도 8b를 참조하면, 제1 노출 시간(Te1)을 기초로 제1 노출 이미지(EI1)가 생성 및 출력되고, 그 이후 제2 노출 시간(Te2)을 기초로 제2 노출 이미지(EI2)가 생성 및 출력되며, 마지막으로 제3 노출 시간(Te3)을 기초로 제3 노출 이미지(EI3)가 생성 및 출력될 수 있다. 제1 전송 구간(Tt1)에는 제1 노출 이미지(EI1)가 출력되고, 제2 전송 구간(Tt2)에는 제2 노출 이미지(EI2)가 전송되며, 제3 전송 구간(Tt3)에는 제3 노출 이미지(EI3)가 전송될 수 있다. 이와 같이, 복수의 노출 이미지가 프레임 단위로 생성 및 출력될 수 있다.
도 9는 본 개시의 예시적 실시예에 따른 신호 처리부를 개략적으로 나타내는 블록도이다.
신호 처리부(SP)는 블랙 레벨 보상부(BLCU), 렌즈 쉐이딩 보상부(LSCU), 크로스 토크 보상부(XTCU) 및 배드 픽셀 보정부(BPCU)를 포함할 수 있다. 신호 처리부(SP)는 도시되지 않은 다른 처리 유닛을 더 포함할 수 있다.
블랙 레벨 보상부(BLCU)는 수신되는 이미지, 예컨대 노출 이미지(EI)에 대하여 블랙 레벨 보상을 수행할 수 있다. 이미지 센서(도 1의 100)의 제조공정 또는 외부환경에 의해 불필요하게 발생하는 전류 성분인 암전류에 기인하여 일정치의 신호 레벨이 검출될 수 있다. 이러한 신호 레벨을 열 잡음 및 시스템 잡음에 해당하는 블랙 레벨이라고 지칭할 수 있다. 블랙 레벨 보상부(BLCU)는 픽셀 값으로부터 상기 블랙 레벨해 해당하는 오프셋을 제거함으로서, 블랙 레벨 보상을 수행할 수 있다.
렌즈 쉐이딩 보상부(LSCU)는 수신되는 이미지에 포함된 픽셀 값들에 대하여대응하는 픽셀 위치에 따른 휘도 차이를 보상하여 렌즈 쉐이딩으로 인한 비네팅(vignetting)을 제거할 수 있다.
크로스 토크 보상부(XTCU)는 수신되는 이미지에 대하여 크로스 토크를 제거하기 위한 처리를 수행할 수 있다.
배드 픽셀 보정부(BPCU)는 제조 공정으로 인해 존재하는 데드 픽셀이나 핫픽셀과 같은 결함 픽셀을 보정한다. 배드 픽셀 보정부(BPCU)는 배드 픽셀에 대한 정보를 기초로, 배드 픽셀에 해당하는 픽셀 값을 배드 픽셀에 인접한 픽셀들의 픽셀 값들을 기초로 보정할 수 있다.
도 9에서는, 블랙 레벨 보상, 렌즈 쉐이딩 보상, 크로스 토크 보상, 배드 필셀 보정 순으로 신호 처리가 수행되는 것으로 도시되었으나, 이에 제한되는 것은 아니며, 블랙 레벨 보상부(BLCU), 렌즈 쉐이딩 보상부(LSCU), 크로스 토크 보상부(XTCU) 및 배드 픽셀 보정부(BPCU)의 배치 순서는 변경될 수 있다.
도 10은 본 개시의 예시적 실시예에 따른 선형화부에서 수행되는 선형화 처리를 설명하는 그래프이다.
도 10을 참조하면, 제1 픽셀 값(PV1) 및 제2 픽셀 값(PV2)은 동일한 휘도가상이한 이미지들(예컨대 고휘도 이미지 및 저휘도 이미지, 또는 장 노출 이미지 및 단 노출 이미지) 간에 동일한 위치 또는 유사한 위치의 픽셀 값들을 나타낸다. 제1 픽셀 값(PV1)은 고휘도 이미지의 픽셀 값을 나타내고, 제2 픽셀 값(PV2)은 저휘도 이미지의 픽셀 값을 나타낸다. 예를 들어, 제1 픽셀 값(PV1)은 장 노출 이미지(또는 중 노출 이미지)의 픽셀 값을 나타내고 제2 픽셀 값(PV2)은 단 노출 이미지의 픽셀 값을 나타낼 수 있다. 제1 픽셀 값(PV1) 및 제2 픽셀 값(PV2)에 대한 선형화 처리를 통하여 다이나믹 레인지가 증가될 수 있다.
고휘도 이미지의 픽셀 값에 해당하는 제1 픽셀 값(PV1)은 저휘도 이미지의픽셀 값에 해당하는 제2 픽셀 값(PV2)보다 상대적으로 높을 수 있다. 제2 픽셀 값(PV2)은 제1 휘도 영역(LR1)(예컨대 저휘도 영역)에서 낮은 값을 가지며, SNR(Signal to Noise Ratio) 특성이 나쁠 수 있다. 제1 픽셀 값(PV1)은 제1 휘도 영역(LR1)에서 상대 적으로 높은 값을 가지며 SNR 특성이 양호할 수 있다. 따라서, 제1 휘도 영역(LR1)에서는 제1 픽셀 값(PV1)이 병합된 이미지의 각 픽셀의 픽셀 값으로서 선택될 수 있다.
한편 제2 휘도 영역(LR2)(예컨대 고휘도 영역)에서, 제1 픽셀 값(PV1)은 포화될 수 있다. 예컨대, 픽셀 값이 10비트 데이터(0 계조부터 1023 계조까지 표현)로 표현될 경우, 제1 픽셀 값(PV1)은 제2 휘도 영역(LR2)에서 포화되어, 1023 값을 가질 수 있다. 반면, 제2 픽셀 값(PV2)는 제2 휘도 영역(LR2)에서 선형적으로 증가될 수 있다.
따라서, 제2 휘도 영역(LR2)에서, 병합된 이미지의 픽셀 값을 정확히 나타내기 위하여, 제2 픽셀 값(PV2)이 증폭되고, 증폭된 제2 픽셀 값(PV2a)이 병합된 이미지의 각 픽셀의 픽셀 값으로서 선택될 수 있다. 예를 들어, 중 노출 이미지의 노출 시간과 단 노출 이미지의 노출 시간의 비가 16: 1이라면, 제2 픽셀 값(PV2)이 16배 증폭되고, 증폭된 제2 픽셀 값(PV2a)이 병합된 이미지의 픽셀 값으로 결정될 수 있다.
한편, 제1 픽셀 값(PV1)이 병합된 이미지의 픽셀 값으로서 선택되는 제1 휘도 영역(LR1)과 증폭된 제2 픽셀 값(PV2a)이 병합된 이미지의 픽셀 값으로서 선택되는 제2 휘도 영역(LR2) 간에 픽셀 값이 연속적으로 증가하지 못하는 비선형 구간(NLA)이 존재할 수 있다. 비선형 구간(LNA)에는 제1 픽셀 값(PV1) 및 증폭된 제2 픽셀 값(PV2a) 중 더 적절한 픽셀 값이 선택되거나 또는 제1 픽셀 값(PV1) 및 증폭된 제2 픽셀 값(PV2a)에 대하여 연산처리가 수행되고 연산 처리에 따른 값이 픽셀 값으로서 출력될 수 있다.
이와 같이 선형화 처리에 의하여, 픽셀 값의 다이나믹 레인지가 증가될 수 있으며, 한편, 증폭된 제2 픽셀 값(PV2a)을 나타내기 위하여 비트 수가 증가될 수 있다. 예를 들어, 선형화 처리가 수행되기 전에 픽셀 값은 10비트 데이터를 포함하고, 선형화 처리가 수행된 후, 픽셀 값은 14비트 데이터를 포함하며, 최대 16383 계조를 나타낼 수 있다.
도 11은 본 개시의 예시적 실시예에 따른 본 개시의 예시적 실시예에 따른 선-처리부를 개략적으로 나타내는 블록도이다.
도 11의 선-처리부(110d)는 도 7a를 참조하여 설명한 바와 같이, 신호 처리부(SP), 버퍼(BUF) 및 선형화부(LU)를 포함하며, 또한 선-처리부(110d)는 압축기(CMPR)를 더 포함할 수 있다. 도 10을 참조하여 설명한 바와 같이, 선형화 처리에 의하여 생성되는 병합된 이미지(MI)는 픽셀 값의 비트수가 증가될 수 있다. 압축기(CMPR)는 병합된 이미지(MI)를 압축하여 압축된 이미지(CI)를 생성할 수 있다. 압축기(CMPR)는 이미지 센서(도 1의 100)와 프로세서(도 2의 200) 간 이미지의 전송 대역폭에 부합하도록 병합된 이미지(MI)를 압축할 수 있으며, 이미지 센서(100)는 압축된 이미지(CI)와 나머지 M-1개의 이미지들을 프로세서(200)에 전송할 수 있다. 예컨대, 압축기(CMPR)는 픽셀 값의 비트 수를 감소시키는 이미지 압축을 수행할 수 있다. 압축된 이미지(CI) 는 제1 이미지 데이터(IDT1)로서 출력될 수 있다.
도 12는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템의 이미지 센서 및 이미지 프로세서의 동작을 설명하는 도면이다.
도 12의 이미지 센서(100d) 및 이미지 프로세서(200d)의 동작은 도 3을 참조하여 설명한 이미지 센서(100) 및 이미지 프로세서(200)의 동작과 유사하다.
다만, 본 실시예에서, 선-처리부(110d)는 압축기(CMPR)를 더 포함하고, 병합된 이미지(MI)를 압축하여 압축된 이미지(CI)를 생성할 수 있다. 압축된 이미지(CI)는 제1 이미지 데이터(IDT1)으로서 이미지 프로세서(200d)로 전송될 수 있다.
예를 들어, 이미지 센서(100d)와 이미지 프로세서(200d) 간 이미지의 전송 대역폭이 10비트 이하의 픽셀 값을 포함하는 이미지의 전송에 적합하고, 병합된 이미지 픽셀 값이 10비트를 초과하는 비트 수를 가질 때, 압축기(140)는 픽셀 값이 10비트를 초과하지 않도록 병합된 이미지(MI)를 압축함으로써, 압축된 이미지(CI)를 생성할 수 있다.
이미지 프로세서(200d)는 압축 해제기(220d)를 더 포함할 수 있으며, 압축 해제기(220d)는 압축된 이미지(CI)를 압축 해제하여 병합된 이미지(MI)를 복원할 수 있다. HDR 모듈(210d)은 병합된 이미지(MI) 및 제2 이미지 데이터(IDT2)에 포함된 제1 내지 제m-1 노출 이미지(EI1~EIm-1)에 대하여 HDR 처리를 수행할 수 있다. HDR 모듈(210d)은 m개의 이미지들에 대하여 선형화 처리를 수행하고, 선형화 처리에 따라 생성되는 병합된 이미지에 대하여 DRC 처리를 수행할 수 있다. 이에 따라서, HDR 이미지(HDRI)가 생성될 수 있다.
도 13은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다. 도 13의 이미지 처리 시스템(2000)은 휴대용 단말기일 수 있다.
도 13을 참조하면, 이미지 처리 시스템(2000)는 어플리케이션 프로세서(2100), 이미지 센서(2200), 워킹 메모리(2300), 스토리지(2400), 디스플레이 장치(2600), 유저 인터페이스(2700) 및 무선 송수신부(2500)를 포함할 수 있다.
어플리케이션 프로세서(2100)는 이미지 처리 시스템(2000)의 전반적인 동작을 제어하며 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(SoC)으로 구현될 수 있다. 어플리케이션 프로세서(2100)는 이미지 센서(2200)로부터 제공되는 이미지 데이터를 디스플레이 장치(2600)에 제공하거나 또는 스토리지(2400)에 저장할 수 있다. 어플리케이션 프로세서(2100)는 이미지프로세서(2110)를 포함할 수 있다. 이미지프로세서(2110)는 이미지 센서(2200)로부터 수신되는 이미지 데이터에 대하여, 화질 조정, 데이터 포맷 변경 등의 이미지 처리를 수행할 수 있다.
도 1 내지 도 12를 참조하여 설명한 이미지 센서가 이미지 센서(2200)로서 적용될 수 있다. 이미지 센서(2200)는 선-처리부(2210)를 포함할 수 있으며, 선-처리부(2210)는 휘도가 상이한 복수의 이미지 중 일부 이미지에 대하여 HDR 처리의 일부 처리 단계를 포함하는 선-처리를 수행하고, 선-처리에 의한 병합된 이미지 및 나머지 다른 이미지를 이미지 프로세서(2110)로 전송할 수 있다. 어플리케이션 프로세서(2100)의 이미지 프로세서(2110)는 이미지 센서(2200)로부터 수신된 병합된 이미지 및 다른 이미지에 대하여 HDR 처리를 수행함으로써, HDR 이미지를 생성할 수 있다.
워킹 메모리(2300)는 DRAM, SRMA 등의 휘발성 메모리 또는 FeRAM, RRAM PRAM 등의 비휘발성의 저항성 메모리로 구현될 수 있다. 워킹 메모리(200)는 어플리케이션 프로세서(2100)가 처리 또는 실행하는 프로그램들 및/또는 데이터를 저장할 수 있다.
스토리지(2400)는 NADN 플래시, 저항성 메모리 등의 비휘발성 메모리 장치로 구현될 수 있으며, 예컨대 스토리지(2400)는 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 제공될 수 있다. 스토리지(2400)는 이미지 센서(2200)로부터 제공되는 이미지 데이터를 저장할 수 있다.
유저 인터페이스(2700)는 키보드, 커튼 키 패널, 터치 패널, 지문 센서, 마이크 등 사용자 입력을 수신할 수 있는 다양한 장치들로 구현될 수 있다. 유저 인터페이스(2700)는 사용자 입력을 수신하고, 수신된 사용자 입력에 대응하는 신호를 어플리케이션 프로세서(2100)에 제공할 수 있다.
무선 송수신부(2500)는 트랜시버(2510), 모뎀(2520) 및 안테나(2530)를 포함할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
10: 이미지 처리 시스템 100, 100d: 이미지 센서
110, 110a, 110b, 110c, 110d: 선-처리부 200,200d: 이미지 프로세서
210, 210d: HDR 모듈

Claims (10)

  1. 동일한 피사체에 대하여 휘도가 상이한 복수의 이미지를 생성하는 센싱부;
    상기 복수의 이미지 중 적어도 하나의 이미지를 제외한 n개의 이미지들(n은 2 이상의 자연수)을 병합하여 병합된 이미지를 생성하는 선-처리부; 및
    상기 적어도 하나의 이미지 및 상기 병합된 이미지를 외부 프로세서로 출력하는 인터페이스 회로를 포함하는 이미지 센서.
  2. 제1 항에 있어서, 상기 선-처리부는,
    상기 n개의 이미지들에 대하여 선형화 처리를 수행하여 상기 병합된 이미지를 생성하는 것을 특징으로 하는 이미지 센서.
  3. 제1 항에 있어서, 상기 픽셀부는,
    다중 노출 시간을 기초로 상기 복수의 이미지를 생성하며,
    상기 n개의 이미지 각각에 대응하는 노출 시간은 상기 적어도 하나의 이미지에 대응하는 노출 시간보다 짧은 것을 특징으로 하는 이미지 센서.
  4. 제1 항에 있어서, 상기 선-처리부는,
    상기 복수의 이미지에 대하여 상기 이미지 처리를 수행하는 신호 프로세서;및
    상기 n개의 이미지들에 대하여 선형화 처리를 수행하여 병합된 이미지를 생성하는 선형화 모듈을 포함하는 것을 특징으로 하는 이미지 센서.
  5. 제4 항에 있어서, 상기 선-처리부는,
    상기 n개의 이미지들의 일부 라인들에 해당하는 복수의 픽셀 값을 저장하는 라인 버퍼를 더 포함하는 것을 특징으로 하는 이미지 센서.
  6. 제5 항에 있어서, 상기 센싱부는,
    라인 단위로 시분할 방식에 따라 상기 복수의 이미지를 상기 선-처리부로 출력하는 것을 특징으로 하는 이미지 센서.
  7. 제4 항에 있어서, 상기 선-처리부는,
    상기 n개의 이미지들 중 n-1개의 이미지를 저장하는 프레임 버퍼를 더 포함하는 것을 특징으로 하는 이미지 센서.
  8. 제1 항에 있어서,
    상기 병합된 이미지에 포함된 픽셀 값의 비트 수는 상기 적어도 하나의 이미지에 포함되는 픽셀 값의 비트 수보다 많은 것을 특징으로 하는 이미지 센서.
  9. 제1 항에 있어서,
    상기 병합된 이미지를 압축하여 압축된 이미지를 생성하는 압축기를 더 포함하고,
    상기 인터페이스 회로는, 상기 적어도 하나의 이미지 및 상기 압축된 이미지를 상기 외부 프로세서로 출력하는 것을 특징으로 하는 이미지 센서.
  10. 제1 항에 있어서, 상기 외부 프로세서는,
    상기 적어도 하나의 이미지 및 상기 병합된 이미지에 대하여 선형화 처리 및 DRC 처리(Dynamic Range Compression)를 수행하는 것을 특징으로 하는 이미지 센서.
KR1020190148086A 2019-07-16 2019-11-18 이미지 센서 및 이를 포함하는 이미지 처리 시스템 KR20210009255A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/923,569 US11637963B2 (en) 2019-07-16 2020-07-08 Image sensor and image processing system comprising the same
CN202010668078.6A CN112243090A (zh) 2019-07-16 2020-07-13 图像传感器和图像处理系统
US18/138,231 US20230262344A1 (en) 2019-07-16 2023-04-24 Image sensor and image processing system comprising the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190085823 2019-07-16
KR1020190085823 2019-07-16

Publications (1)

Publication Number Publication Date
KR20210009255A true KR20210009255A (ko) 2021-01-26

Family

ID=74310323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148086A KR20210009255A (ko) 2019-07-16 2019-11-18 이미지 센서 및 이를 포함하는 이미지 처리 시스템

Country Status (2)

Country Link
US (1) US11637963B2 (ko)
KR (1) KR20210009255A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596357B (zh) * 2021-07-29 2023-04-18 北京紫光展锐通信技术有限公司 图像信号处理器、图像信号处理装置及方法、芯片、终端设备
US11961206B2 (en) 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves
US11843871B1 (en) * 2022-05-25 2023-12-12 Qualcomm Incorporated Smart high dynamic range image clamping

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040135903A1 (en) 2002-10-11 2004-07-15 Brooks Lane C. In-stream lossless compression of digital image sensor data
KR100763656B1 (ko) 2006-06-02 2007-10-11 엠텍비젼 주식회사 이미지 센서 및 이미지 처리 방법
US8687087B2 (en) 2006-08-29 2014-04-01 Csr Technology Inc. Digital camera with selectively increased dynamic range by control of parameters during image acquisition
JP5005731B2 (ja) 2009-05-25 2012-08-22 パナソニック株式会社 カメラ装置および露光制御方法
TWI690211B (zh) 2011-04-15 2020-04-01 美商杜比實驗室特許公司 高動態範圍影像的解碼方法、其處理器非暫態可讀取媒體及電腦程式產品
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US9275445B2 (en) 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US9538092B2 (en) 2014-01-17 2017-01-03 Texas Instruments Incorporated Methods and apparatus to generate wide dynamic range images
KR102149187B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
JP6606504B2 (ja) 2014-09-17 2019-11-13 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像素子および撮像装置の制御方法
JP6740866B2 (ja) 2016-11-07 2020-08-19 株式会社デンソー 画像出力装置
KR20180067052A (ko) * 2016-12-12 2018-06-20 삼성전자주식회사 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템
JP6824084B2 (ja) 2017-03-22 2021-02-03 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20210021751A1 (en) 2021-01-21
US11637963B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
US9344649B2 (en) Floating point image sensors with different integration times
US11165982B1 (en) Spatial derivative pixel array with adaptive quantization
JP7018293B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US20190052788A1 (en) Varying exposure time of pixels in photo sensor using motion prediction
US7297917B2 (en) Readout technique for increasing or maintaining dynamic range in image sensors
US7619674B2 (en) CMOS image sensor with wide dynamic range
US11637963B2 (en) Image sensor and image processing system comprising the same
KR20200145654A (ko) 이미지 센서, 픽셀 어레이 및 그 동작 방법
KR102191245B1 (ko) 이미지 센서 구동 방법, 이를 채용한 이미지 센서 및 이를 포함하는 휴대용 전자 기기
TWI511557B (zh) 固態成像器件及其驅動方法，以及使用該固態成像器件之電子裝置
KR102292136B1 (ko) 광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치
JP2008263546A (ja) 固体撮像装置、固体撮像装置の駆動方法、及びこれを用いた撮像システム
KR20170104824A (ko) Led 플리커 완화 기능을 가지는 이미지 센서 및 상기 이미지 센서를 포함하는 이미지 처리 시스템
US9854186B2 (en) Methods and apparatus for an images sensor with row-level gain control
CN113382187A (zh) 图像传感器及包括其的拍摄设备
KR20070091104A (ko) 고체 촬상 장치
US10735676B2 (en) Solid-state imaging device, method for driving solid-state imaging device and electronic apparatus for extending a dynamic range
KR20160015712A (ko) 이미지 촬상 장치 및 방법
KR20160012802A (ko) 이미지 처리 장치와 이를 포함하는 이미지 처리 시스템
US10051216B2 (en) Imaging apparatus and imaging method thereof using correlated double sampling
US11503229B2 (en) Image sensor and imaging device including the same
US20230262344A1 (en) Image sensor and image processing system comprising the same
US20190014277A1 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法