KR20230036282A - 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이미지 처리 방법 - Google Patents

이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이미지 처리 방법 Download PDF

Info

Publication number
KR20230036282A
KR20230036282A KR1020210118959A KR20210118959A KR20230036282A KR 20230036282 A KR20230036282 A KR 20230036282A KR 1020210118959 A KR1020210118959 A KR 1020210118959A KR 20210118959 A KR20210118959 A KR 20210118959A KR 20230036282 A KR20230036282 A KR 20230036282A
Authority
KR
South Korea
Prior art keywords
image
images
exposure
processing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020210118959A
Other languages
English (en)
Inventor
박철희
이대호
김민오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210118959A priority Critical patent/KR20230036282A/ko
Priority to CN202211045403.9A priority patent/CN115776616A/zh
Priority to TW111133691A priority patent/TW202320537A/zh
Priority to US17/929,937 priority patent/US12444164B2/en
Publication of KR20230036282A publication Critical patent/KR20230036282A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

이미지 센서 및 이를 포함하는 이미지 처리 시스템이 개시된다. 본 개시의 실시예에 따른 이미지 센서는, 동일한 피사체에 대하여 노출 시간이 상이한 복수의 이미지들을 생성하는 센싱부, 상기 복수의 이미지들을 병합하여 병합 이미지를 생성하는 전처리부, 상기 복수의 이미지들 및 상기 병합 이미지 중 적어도 하나를 외부 프로세서로 출력하는 인터페이스 회로 및 상기 복수의 이미지들의 정보에 기초하여 상기 병합 이미지가 선택적으로 생성되도록 상기 전처리부를 제어하는 컨트롤러를 포함할 수 있다.

Description

이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이미지 처리 방법{Image sensor, image processing system comprising thereof and image processing method}
본 개시의 기술적 사상은 이미지 처리에 관한 것으로서, 더욱 상세하게는 출력 이미지의 다이나믹 레인지 확장을 위하여 입력 이미지를 전처리하는 이미지 센서 및 이를 포함하는 이미지 처리 시스템에 관한 것이다.
카메라와 같은 이미지 처리 시스템은 광학 렌즈를 통하여 입사된 피사체의 광학적 신호를 전기적 신호로 이미지로 변환하는 이미지 센서 및 생성된 이미지에 대하여 이미지 처리를 수행하는 프로세서를 포함할 수 있다. 이미지 센서가 수용할 수 있는 밝기의 범위는 사람의 눈이 수용할 수 있는 밝기의 범위보다 좁다. 따라서, 역광이 비추는 상황에서 촬상된 이미지는 배경은 밝고 피사체가 지나치게 어둡게 나타나는 등 사람의 눈이 보는 실제 이미지와 상이할 수 있다. 이에, 동일한 피사체를 노출 시간을 달리하여 촬상함으로써, 노출 시간이 상이한 복수의 이미지를 생성하고, 복수의 이미지를 이미지 처리하여 이미지의 다이나믹 레인지(Dynamic Range)를 넓히는 HDR(High Dynamic Range) 기법이 이용된다.
본 개시의 기술적 사상은, 이미지들의 정보에 기초하여 HDR 처리를 포함하는 전처리(pre-processing)를 통해 이미지 처리 시스템의 출력 이미지의 다이나믹 레인지를 증가시키는 이미지 센서 및 이를 포함하는 이미지 처리 시스템을 제공한다.
상기 기술적 과제를 달성하기 위한 본 개시의 실시예에 따른 이미지 센서는, 동일한 피사체에 대하여 노출 시간이 상이한 복수의 이미지들을 생성하는 센싱부, 상기 복수의 이미지들을 병합하여 병합 이미지를 생성하는 전처리부, 상기 복수의 이미지들 및 상기 병합 이미지 중 적어도 하나를 외부 프로세서로 출력하는 인터페이스 회로 및 상기 복수의 이미지들의 정보에 기초하여 상기 병합 이미지가 선택적으로 생성되도록 상기 전처리부를 제어하는 컨트롤러를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 개시의 실시예에 따른 이미지 처리 시스템은, 동일한 피사체에 대하여 노출 시간이 상이한 복수의 이미지들을 생성하고, 상기 복수의 이미지들을 출력하는 이미지 센서, 상기 복수의 이미지들의 정보에 기초하여 병합 이미지 생성 여부를 판단하고, 상기 복수의 이미지들을 병합하여 다이나믹 레인지가 증가된 병합 이미지를 생성하는 제1 HDR 모듈 및 상기 복수의 이미지들 또는 상기 병합 이미지를 수신하는 이미지 프로세서를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 개시의 실시예에 따른 이미지 처리 방법은, 동일한 피사체에 대하여 노출 시간이 상이한 복수의 이미지들을 생성하는 단계, 상기 복수의 이미지들의 정보에 기초하여 모션 보상 처리를 수행하기 전 상기 복수의 이미지들을 병합하는 제1 모드 또는 상기 모션 보상 처리를 수행하고 상기 복수의 이미지들을 병합하는 제2 모드를 판단하는 단계 및 상기 제1 모드에서 상기 복수의 이미지들을 병합하여 다이나믹 레인지가 증가된 병합 이미지를 생성하는 단계를 포함한다.
본 개시의 기술적 사상에 따른 이미지 센서 및 이를 포함하는 이미지 처리 시스템에 따르면, 촬영된 복수의 이미지들의 정보에 기초하여 HDR 처리된 데이터가 이미지 프로세서에 제공됨으로써 파워를 절감하고 이미지의 품질을 개선할 수 있다.
본 개시에 따르면, 서로 다른 패턴의 이미지를 처리하는데 HDR 처리 하드웨어를 공유할 수 있다.
또한, HDR 처리를 위한 이미지 프로세서의 부하가 감소될 수 있으며, 이미지 처리 시스템의 HDR 처리 속도가 향상될 수 있다.
본 개시의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 설명하는 도면이다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템에서 2개의 노출 이미지에 대한 HDR 처리 동작을 설명하는 도면이다.
도 5a 및 도 5b는 비교예에 따른 이미지 처리 시스템의 동작을 설명하는 도면이다.
도 6a은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템에서 3개의 노출 이미지에 대한 HDR 처리 동작을 설명하는 도면이고, 도 6b는 비교예에 따른 이미지 처리 시스템에서 3개의 노출 이미지에 대한 HDR 처리 동작을 설명하는 도면이다.
도 7a 및 도 7b는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템에서 혼합된 방식으로 HDR 처리를 수행하는 방법을 설명하는 도면이다.
도 8은 본 개시의 예시적 실시예에 따른 이미지 처리 방법을 설명하는 도면이다.
도 9는 본 개시의 예시적 실시예에 따른 이미지 처리 방법 중 RGB-W 이미지에 대한 HDR 처리 방법을 설명하는 도면이다.
도 10은 본 개시의 예시적 실시예에 따른 이미지 처리 방법을 설명하는 순서도이다.
도 11a는 이미지 센서의 분리 사시도이고, 도 11b는 이미지 센서의 평면도이다.
도 12는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 13은 도 12의 카메라 모듈의 상세 블록도이다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
이미지 처리 시스템(10)은 전자 장치에 내장(embedded)되거나 또는 전자 장치로 구현될 수 있다. 전자 장치는 이미지를 촬영하고, 촬영된 이미지를 디스플레이하거나 또는 촬영된 이미지에 기반한 동작을 수행하는 장치로서, 예를 들어, 디지털 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, PC(Personal Computer), 태블릿 PC, PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation) 장치, 드론 등과 같은 전자 기기를 포함하거나 또는 차량, 의료 기기, 가구, 제조 설비, 보안 장치, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.
도 1을 참조하면, 이미지 처리 시스템(10)은 이미지 센서(100), 이미지 프로세서(200) 및 컨트롤러(190)를 포함할 수 있다. 이미지 처리 시스템(10)은 디스플레이, 유저 인터페이스 등의 다른 구성들을 더 포함할 수 있다. 이미지 센서(110)는 전처리부(110)(Pre-processor)를 포함할 수 있다. 전처리부(110)는 HDR(high dynamic range) 처리를 수행하는 제1 HDR 모듈을 포함할 수 있고, 이미지 프로세서(200)는 HDR 처리를 수행하는 제2 HDR 모듈을 포함할 수 있다.
이미지 센서(100)는 광학 렌즈(LS)를 통하여 입사된 피사체(Object)의 광학적 신호를 전기적 신호로 변환하고, 전기적 신호들을 기초로 이미지를 생성할 수 있다. 이미지 센서(100)는 동일한 피사체에 대하여 휘도가 상이한 복수의 이미지를 생성할 수 있다. 예를 들어, 이미지 센서(100)는 서로 다른 노출 시간을 기초로 동일한 피사체를 촬상함으로써 다중 노출 이미지들을 생성할 수 있다. 또는, 이미지 센서(100)는 픽셀 어레이(도 2의 120)의 픽셀들 각각에 복수의 광전 변환 소자가 구비될 경우, 이미지 센싱에 이용되는 광전 변환 소자의 개수를 조정함으로써, 휘도가 상이한 복수의 이미지를 생성할 수 있다.
전처리부(110)(pre-processor)는 휘도가 상이한 복수의 이미지 중 두 개 이상의 일부 이미지들을 병합하여 병합된 이미지를 생성할 수 있다. 실시예에 있어서, 전처리부(110)는 일부 이미지들에 대하여 선형화 처리를 수행하여, 상기 일부 이미지들 각각보다 다이나믹 레인지가 증가된 병합된 이미지를 생성할 수 있다. 선형화 처리란 서로 다른 밝기 범위를 가지는 적어도 두 개의 이미지들의 밝기를 매칭시키고, 비선형적으로 밝기가 증가(또는 감소)하는 특정 영역에 대하여 더 적절한 이미지의 픽셀 값을 선택하거나 적어도 두 이미지의 픽셀 값에 대한 연산을 수행하여, 선형적으로 밝기가 증가(또는 감소)하도록 처리하는 처리 방식을 의미한다. 선형화 처리에 의하여 이미지의 다이나믹 레인지가 증가될 수 있으며, 이미지의 각 픽셀 값의 비트수가 증가될 수 있다. HDR 처리는 선형화 처리를 포함할 수 있다.
이미지 센서(100)는 촬영된 이미지, 선형화 처리가 수행된 이미지 또는 병합된 이미지 중 적어도 하나를 이미지 데이터(IDT)로서 이미지 프로세서(200)로 전송할 수 있다. 실시예에 있어서, 이미지 센서(100)는 병합된 이미지를 압축하고, 압축된 이미지를 포함하는 이미지 데이터(IDT)를 이미지 프로세서(200)로 전송할 수 있다.
이미지 프로세서(200)는 수신되는 이미지에 대하여 이미지 처리를 수행할 수 있다. 이 때, 이미지 처리란, 노이즈 제거, 밝기 조정, 선명도(sharpness) 조정 등의 화질 향상을 위한 처리, 이미지 사이즈 변경, 데이터 형식을 변경하는 이미지 처리(예컨대 베이어 패턴의 이미지 데이터를 YUV 또는 RGB 형식으로 변경) 등의 다양한 처리들을 포함할 수 있다.
HDR 모듈은 이미지 센서(100)의 전처리부(110) 또는 이미지 프로세서(200)에 포함될 수 있다. HDR 모듈은 이미지 데이터, 예컨대, 병합된 이미지 및 선형화 처리가 수행되지 않은 적어도 하나의 이미지에 대하여 HDR 처리를 수행할 수 있다. 실시예에 있어서, 이미지 센서(100)에 HDR 모듈이 포함되는 경우, 이미지 프로세서(200)는 압축된 이미지를 압축 해제하고, HDR 모듈은 압축 해제에 의하여 복원된 병합된 이미지 및 적어도 하나의 이미지에 대하여 HDR 처리를 수행할 수 있다.
HDR 처리는 선형화 처리 및 DRC(Dynamic Range Compression) 처리를 포함할 수 있다. DRC 처리는 톤 맵핑(예컨대 감마 보정)을 포함할 수 있다. 톤 맵핑에 따라 이미지에서 상대적으로 밝은 영역은 어둡게, 어두운 영역은 밝게 보정될 수 있다. 병합된 이미지 및 적어도 하나의 이미지에 대하여 HDR 처리가 수행됨에 따라 다이나믹 레인지가 증가되고 SNR(signal to noise ratio)이 향상된 HDR 이미지가 생성될 수 있다. HDR 이미지에 대하여 전술한 다양한 이미지 처리들이 수행될 수 있다. 그러나, 이에 제한되는 것은 아니며, 상기 다양한 이미지 처리들 중 적어도 하나의 처리는 HDR 처리 과정에서 수행될 수도 있다.
본 개시의 실시예에 따른 이미지 센서(100)는 복수개의 노출 이미지들 중 일부 노출 이미지들을 병합하고, 병합된 이미지 및 나머지 노출 이미지들을 이미지 프로세서(200)로 전송할 수 있다. 예를 들어, 전처리부(110)에 포함된 HDR 모듈이 단노출 및 중노출 이미지들에 대해 HDR 처리를 먼저 수행하고, 이미지 프로세서(200)에 포함된 HDR 모듈은 장노출 이미지에 대하여 HDR 처리를 수행할 수 있다.
실시예에 있어서, HDR 모듈은 실시간 HDR 처리를 수행할 수 있다. HDR 모듈은 라인 단위로 스태거드 방식으로 수신되는 병합된 이미지 및 선형화 처리가 수행되지 않은 적어도 하나의 이미지에 대하여 실시간 HDR 처리를 수행할 수 있다. 이에 따라 생성되는 HDR 이미지는 프리뷰 이미지 및 비디오의 한 프레임으로서 출력될 수 있다.
이미지 프로세서(200)는 하드웨어, 소프트웨어(또는 펌웨어) 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 이미지 프로세서(200)는 GPU, DSP(Digital Signal Processor), ISP(Image Signal Processor) 등 이미지 처리를 수행할 수 있는 다양한 종류의 프로세서 중 하나로 구현될 수 있다. 이미지 프로세서(200)는 단일 칩으로 구현되거나, 또는 AP(Application Processor)에 내장될 수 있다.
컨트롤러(190)는 이미지 센서(100)에서 촬영된 복수의 이미지들의 촬영 시간 간격이나 모션 정보에 기초하여, 촬영된 복수의 이미지들을 전처리부(110)의 HDR 모듈 또는 이미지 프로세서(200)의 HDR 모듈 중 어느 하나에서 처리할지 결정할 수 있다.
본 개시의 실시예에 따른 이미지 처리 시스템(10)은 전술한 바와 같이, 촬영된 이미지 데이터의 정보에 기초하여, 전처리부(110)의 HDR 모듈이 복수의 이미지들 중 일부 이미지들에 대하여 HDR 처리를 수행하고, 이미지 프로세서(200)의 HDR 모듈이 나머지 이미지에 대하여 HDR 처리, 예컨대 선형화 처리 및 DRC 처리를 수행할 수 있으며, 이에 따라서, 효과적으로 HDR 처리된 이미지 데이터가 생성될 수 있다. 또한, 이미지 센서(100)의 전처리부(110)가 일부 이미지에 대하여 HDR 처리를 수행하는 경우, 이미지 프로세서(200)는 복수의 이미지들 대신 병합된 이미지에만 이미지 처리를 수행할 수 있고, 따라서 HDR 처리를 위한 이미지 프로세서(200)의 처리량이 감소되고, 이미지 처리 시스템(10)의 HDR 처리 속도가 향상될 수 있다. 특히, 이미지 처리 시스템(10)에서 프리뷰 이미지, 비디오 이미지가 생성될 때의 HDR 처리, 즉 실시간 HDR 처리를 수행함에 있어서, 이미지 처리 시스템(10)의 퍼포먼스가 향상될 수 있다. 본 개시의 실시예에 따른 이미지 처리 방법은 촬영된 복수의 이미지들의 촬영 시간 간격이 짧거나 모션이 적은 경우에 더 효과적으로 활용될 수 있다.
도 2는 본개시의 예시적 실시예에 따른 이미지 센서를 개략적으로 나타내는 블록도이다.
도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(120), 독출 회로(130)(readout circuit), 전처리부(110) 및 인터페이스 회로(140)를 포함할 수 있다. 픽셀 어레이(120) 및 독출 회로(130)는 센싱부로 지칭될 수 있다. 이미지 센서(100)는 픽셀 어레이(120)를 구동하기 위한 다른 구성들, 예컨대 로우 디코더, 타이밍 컨트롤러 및 램프 신호 생성기 등을 더 포함할 수 있다.
픽셀 어레이(120)는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 전송 소자로 구현될 수 있으며 이외에도 다양한 종류의 전송 소자로 구현될 수 있다. 픽셀 어레이(120)는 수신되는 광 신호(빛)를 전기적 신호로 변환하는 복수의 픽셀(PX)을 포함하고, 복수의 픽셀은 행열로 배열될 수 있다. 복수의 픽셀(PX) 각각은 광 감지 소자(또는 광전 변환 소자라고 함)를 포함한다. 예컨대, 광 감지 소자는 포토(photo) 다이오드, 포토 트랜지스터, 포트 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 복수의 픽셀(PX)은 라인 단위(또는 로우 단위라고 함)로 구동되고, 컬럼 단위로 센싱 신호를 출력할 수 있다. 복수의 픽셀(PX)은 복수의 컬럼 라인에 연결되고, 복수의 컬럼 라인을 통해 전기적 신호들을 독출 회로(130)로 출력할 수 있다.
독출 회로(130)는 픽셀 어레이(110)로부터 수신되는 전기적 신호들을 이미지로 변환하여 출력할 수 있다. 독출 회로(130)는 전기적 신호들을 증폭하고, 증폭된 전기적 신호들을 아날로그-디지털 변환할 수 있다. 독출 회로(130)에서 생성되는 이미지는 픽셀 어레이(120)의 픽셀들 각각에 대응하는 픽셀 값을 포함할 수 있다.
독출 회로(130)는 휘도가 상이한 복수의 이미지(IMGs)를 생성하고, 복수의 이미지(IMGs)를 로우 단위로 출력할 수 있다. 도 1을 참조하여 설명한 바와 같이, 복수의 이미지(IMGs)는 픽셀 어레이(110)에서, 서로 다른 노출 시간을 기초로 획득된 신호들을 기초로 생성되는 다중 노출 이미지들이거나 또는 복수의 이미지는 픽셀(PX)에 구비되는 광전 변환 소자의 개수가 조정됨으로써 생성될 수 있다. 그러나, 이에 제한되는 것은 아니며, 휘도가 상이한 복수의 이미지(IMGs)는 픽셀 어레이(110)에 대한 다양한 구동 방식 및 독출 회로(130)의 독출 동작에 의하여 생성될 수 있다. 이하, 설명의 편의를 위하여 복수의 이미지(IMGs)는 다중 노출 이미지들인 것을 가정하여 설명하기로 한다.
실시예에 있어서, 독출 회로(130)는 복수의 이미지(IMGs)를 시분할 방식(또는 스태거드(staggered) 방식)으로 동시에 전처리부(110)로 출력하거나, 또는 복수의 이미지(IMGs)를 차례로 전처리부(110)로 출력할 수 있다.
도 1을 참조하여 설명한 바와 같이, 전처리부(110)는 복수의 이미지(IMGs) 중 일부 이미지들에 대하여 전처리, 예컨대 선형화 처리를 수행하여 하나의 병합된 이미지를 생성할 수 있다. 또한, 전처리부(110)는 복수의 이미지(IMGs) 각각에 대하여, 픽셀 값을 조정하는 신호 처리를 수행할 수 있다. 예를 들어, 신호 처리는 블랙 레벨 보상, 렌즈 쉐이딩 보상, 크로스 토크 보상 및 배드 픽셀 수정 중 적어도 하나를 포함할 수 있다.
전처리부(110)는 제1 HDR 모듈(HM1)을 포함할 수 있으며, 제1 HDR 모듈(HM1)은 수신되는 복수개의 이미지들에 대하여 선형화 처리를 수행하고, 하나의 병합된 이미지를 생성할 수 있다. 제1 HDR 모듈(HM1)은 촬영 간격이 짧거나 모션이 작은 복수의 촬영 이미지들에 대해 HDR 처리를 수행할 수 있다.
전처리부(110)는 전처리가 수행된 이미지 또는 병합된 이미지를 이미지 데이터(IDT)로서 인터페이스 회로(140)로 출력할 수 있다. 전처리부(110)는 병합된 이미지를 압축하여 압축된 이미지를 생성하는 압축기를 더 포함할 수 있다.
인터페이스 회로(140)는 이미지 데이터(IDT)를 이미지 프로세서(200)로 전송할 수 있다. 인터페이스 회로(140)는 MIPI(Mobile industry processor interface), eDP(embedded display port) 인터페이스, UART(Universal Asynchronous Receiver Transmitter) 인터페이스, I2C(inter integrated circuit) 인터페이스, SPI(serial peripheral interface) 등과 같은 다양한 인터페이스 방식들 중 하나에 따라 이미지 프로세서(200)와 통신할 수 있다.
이미지 프로세서(200)는 제2 HDR 모듈(HM2)을 포함할 수 있으며, 제1 HDR 모듈(HM1)과 동일한 동작을 수행할 수 있다. 제2 HDR 모듈(HM2)은 촬영 간격이 길거나 모션이 큰 복수의 촬영 이미지들에 대해 HDR 처리를 수행할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 설명하는 도면이다.
도 3을 참조하면, 이미지 처리 시스템(300)은 제1 HDR 모듈(310), 제2 HDR 모듈(320), 이미지 센서(330), 자이로 센서(332), 프리-디노이즈 모듈(340), 제1 이미지 신호 프로세스 모듈(350), 모션 보상 모듈(360), 제2 이미지 신호 프로세스 모듈(370), 제1 버퍼(380) 및 제2 버퍼(390)를 포함할 수 있다. 도 3의 이미지 센서(330), 자이로 센서(332), 프리-디노이즈 모듈(340), 제1 HDR 모듈(310)이 도 1의 이미지 센서(100)에 포함되고, 도 3의 제1 이미지 신호 프로세스 모듈(350), 모션 보상 모듈(360), 제2 이미지 신호 프로세스 모듈(370), 제2 HDR 모듈(320)이 도 1의 이미지 프로세서(200)에 포함되는 구성일 수 있다. 각 구성에 대해 도 1 및 도 2에서 설명된 내용과 중복되는 내용들은 생략될 수 있다.
제1 HDR 모듈(310) 또는 제2 HDR 모듈(320)은 이미지 데이터, 예컨대, 병합된 이미지 및 선형화 처리가 수행되지 않은 적어도 하나의 이미지에 대하여 HDR 처리를 수행할 수 있다. 제1 HDR 모듈(310) 또는 제2 HDR 모듈(320)은 실시간 HDR 처리를 수행할 수 있다. 제1 HDR 모듈(310) 또는 제2 HDR 모듈(320)은 라인 단위로 스태거드 방식으로 수신되는 병합된 이미지 및 선형화 처리가 수행되지 않은 적어도 하나의 이미지에 대하여 실시간 HDR 처리를 수행할 수 있다.
제1 HDR 모듈(310)은 단노출 및 중노출 이미지들에 대해 HDR 처리를 먼저 수행하고, 제2 HDR 모듈(320)은 장노출 이미지에 대하여 HDR 처리를 수행할 수 있다.
제1 HDR 모듈(310)은 촬영 간격이 짧거나 모션이 작은 복수의 촬영 이미지들에 대해 HDR 처리를 수행할 수 있다. 제2 HDR 모듈(320)은 촬영 간격이 길거나 모션이 큰 복수의 촬영 이미지들에 대해 HDR 처리를 수행할 수 있다.
제1 HDR 모듈(310)은 베이어 패턴 이미지에 대한 HDR 처리가 가능하며, RGB-W 패턴 이미지와 같은 멀티 스펙트럴 이미지(multi spectral image)에 대해서도 하드웨어 공유를 통해 HDR 처리가 가능하다.
자이로 센서(332)는 각속도를 측정하는 센서로, 이미지 센서 또는 카메라 모듈의 위치 또는 움직임을 측정할 수 있다. 이미지 처리 시스템(300)은 자이로 센서(332)에서 측정된 데이터에 기초하여 촬영된 이미지의 모션 데이터를 생성하고, 촬영된 이미지에 대해 모션 보상을 수행할 수 있다.
프리-디노이즈 모듈(340)은 이미지 센서(330)에서 촬영된 이미지에 대해 노이즈 제거를 수행할 수 있다. 프리-디노이즈 모듈(340)은 도 1에서 설명한 선형화 처리를 수행할 수 있다.
제1 이미지 신호 프로세스 모듈(350) 또는 제2 이미지 신호 프로세스 모듈(370)은 수신되는 이미지에 대하여 다양한 이미지 처리를 수행할 수 있다. 이 때, 이미지 처리란, 노이즈 제거, 밝기 조정, 선명도(sharpness) 조정 등의 화질 향상을 위한 처리, 이미지 사이즈 변경, 데이터 형식을 변경하는 이미지 처리(예컨대 베이어 패턴의 이미지 데이터를 YUV 또는 RGB 형식으로 변경) 등의 다양한 처리들을 포함할 수 있다.
제1 버퍼(380) 또는 제2 버퍼(390) 복수의 촬영된 이미지들을 임시적으로 저장하고, 선/후 이미지들을 비교 분석하기 위해 활용될 수 있다.
모션 보상 모듈(360)은 프리-디노이즈 모듈(340)에서 수행한 선형화 처리 외에 각 픽셀의 값이 선/후 이미지의 어떤 픽셀에서 이동한 값인지 추정하는 모션 추정을 수행하거나, 이미지를 x축 이동, y축 이동, 회전, 스케일 동작을 통해 왜곡된 이미지를 정규화하고 선/후 이미지에서 추정된 모션의 부정확성을 보상하기 위한 모션 보상을 수행할 수 있다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템에서 2개의 노출 이미지에 대한 HDR 처리 동작을 설명하는 도면이다.
도 4a를 참조하면, 이미지 처리 시스템(400)은 이미지 센서(410), 제1 HDR 모듈(420), 제1 이미지 신호 프로세스 모듈(430), 모션 보상 모듈(440), 제2 이미지 신호 프로세스 모듈(450) 및 버퍼(460)를 포함할 수 있다. 이미지 처리 시스템(400)에 포함된 각 구성에 대해 도 1 내지 도 3과 중복되는 설명은 생략한다. 도 4a 및 도 4b는 제1 HDR 모듈(420)에서 HDR 처리를 수행하며, 도 3의 제2 HDR 모듈(320)에 대응되는 구성은 생략한다.
이미지 처리 시스템(400)은 촬영 간격이 짧거나 모션이 작은 복수의 촬영 이미지들에 대해 제1 HDR 모듈(420)에서 HDR 처리를 수행할 수 있다. 예를 들어, 이미지 처리 시스템(400)에서 두가지 노출 이미지에 대해 HDR 처리를 수행하는 경우, 이미지 센서(410)에서 촬영된 두가지 노출 이미지를 수신하여 제1 HDR 모듈(420)에서 병합할 수 있다. 이미지 처리 시스템(400)은 병합된 이미지를 제1 이미지 신호 프로세스 모듈(430)에 전달하고, 이후 모션 보상을 포함하는 이미지 처리들을 수행할 수 있다. HDR 처리 및 병합이 수행되는데 걸리는 제1 기간(t1)에 기초하여 HDR 처리된 병합 이미지에 대해 이미지 처리를 수행하는 제2 기간(t2)이 결정될 수 있다. 이 경우, 제1 이미지 신호 프로세스 모듈(430)는 병합된 이미지에 대해서만 베이어 처리, RGB 처리, 모션 보상을 포함하는 이미지 처리를 수행하며, 병합되기 전 두가지 노출 이미지에 대해 각각 이미지 처리를 수행하고 HDR 처리 및 병합을 수행하는 경우보다 더 빠르게 이미지 처리를 수행할 수 있다.
버퍼(460)는 이미지 데이터를 임시적으로 저장하기 위한 프레임 버퍼 또는 스태거드 이미지 처리를 위한 라인 버퍼를 포함할 수 있다.
도 4b를 참조하면, 이미지 센서(410)는 장노출 이미지(LDT)를 생성하고(S410), 생성된 장노출 이미지(LDT)를 제1 HDR 모듈(420)에 전달할 수 있다(S412). 이후, 이미지 센서(410)는 단노출 이미지(SDT)를 생성하고(S414), 생성된 단노출 이미지(SDT)를 제1 HDR 모듈(420)에 전달할 수 있다(S416).
제1 HDR 모듈(420)은 장노출 이미지(LDT)와 단노출 이미지(SDT)가 수신되면 HDR 처리 및 병합을 수행하고, 병합 이미지(HDT)를 생성할 수 있다(S420). 제1 HDR 모듈(420)은 생성된 병합 이미지(HDT)를 제1 이미지 신호 프로세스 모듈(430)에 전달할 수 있다. 제1 이미지 신호 프로세스 모듈(430)은 수신된 병합 이미지(HDT)에 제1 이미지 처리를 수행하고(S430), 제1 병합 이미지(HDT1)를 모션 보상 모듈(440)에 전달할 수 있다(S432). 모션 보상 모듈(440)은 제1 병합 이미지(HDT1)에 모션 보상을 수행하고(S440), 제2 병합 이미지(HDT2)를 제2 이미지 신호 프로세스 모듈(450)에 전달할 수 있다(S442). 제2 이미지 신호 프로세스 모듈(450)은 제2 이미지 처리를 수행하고(S450), 제3 병합 이미지(HDT3)을 출력할 수 있다. 이 경우, 제1 이미지 신호 프로세스 모듈(430) 및 모션 보상 모듈(440)은 병합 이미지(HDT)에 대해서만 이미지 처리를 수행하므로, 병합 전 장노출 이미지(LDT)와 단노출 이미지(SDT) 각각에 이미지 처리를 수행하는 경우보다 빠르게 이미지 처리가 가능하다.
도 5a 및 도 5b는 비교예에 따른 이미지 처리 시스템의 동작을 설명하는 도면이다.
도 5a를 참조하면, 이미지 처리 시스템(500)은 이미지 센서(510), 제1 이미지 신호 프로세스 모듈(520), 모션 보상 모듈(530), 제2 HDR 모듈(540), 제2 이미지 신호 프로세스 모듈(550) 및 버퍼(570)를 포함할 수 있다. 이미지 처리 시스템(500)에 포함된 각 구성에 대해 도 1 내지 도 3과 중복되는 설명은 생략한다. 도 5a 및 도 5b는 제2 HDR 모듈(540)에서 HDR 처리를 수행하며, 도 3의 제1 HDR 모듈(310)에 대응되는 구성은 생략한다.
이미지 처리 시스템(500)은 촬영 간격이 길거나 모션이 큰 복수의 촬영 이미지들에 대해 HDR 처리를 수행할 수 있다. 예를 들어, 이미지 처리 시스템(500)이 두가지 노출 이미지에 대해 HDR 처리를 수행하는 경우, 이미지 센서(510)에서 촬영된 두가지 노출 이미지를 수신하여 제1 이미지 신호 프로세스 모듈(520)에 전달하고, 이미지 처리들을 수행할 수 있다. 이미지 처리 시스템(500)은 제1 이미지 처리 및 모션 보상이 수행된 두가지 노출 이미지를 제2 HDR 모듈(540)에 전달하고, 제2 HDR 모듈(540)은 두가지 노출 이미지를 병합할 수 있다.
도 5b를 참조하면, 이미지 센서(510)는 장노출 이미지(LDT)를 생성하고(S510), 생성된 장노출 이미지(LDT)를 제1 이미지 신호 프로세스 모듈(520)에 전달할 수 있다(S512). 제1 이미지 신호 프로세스 모듈(520)은 제1 이미지 처리를 수행하고(S514), 생성된 제1 장노출 이미지(LDT1)를 모션 보상 모듈(530)에 전달할 수 있다(S516). 모션 보상 모듈(530)은 모션 보상을 수행하고(S518), 제2 장노출 이미지(LDT2)를 제2 HDR 모듈(540)에 전달할 수 있다(S520).
이미지 센서(510)는 단노출 이미지(SDT)를 생성하고(S530), 생성된 단노출 이미지(SDT)를 제1 이미지 신호 프로세스 모듈(520)에 전달할 수 있다(S532). 제1 이미지 신호 프로세스 모듈(520)은 제1 이미지 처리를 수행하고(S534), 생성된 제1 단노출 이미지(SDT1)를 모션 보상 모듈(530)에 전달할 수 있다(S536). 모션 보상 모듈(530)은 모션 보상을 수행하고(S538) 제2 단노출 이미지(SDT2)를 제2 HDR 모듈(540)에 전달할 수 있다(S540).
제2 HDR 모듈(540)은 제2 장노출 이미지(LDT2) 및 제2 단노출 이미지(SDT2)가 수신되면 HDR 처리 및 병합을 수행할 수 있고(S550), 병합 이미지(HDT)를 제2 이미지 신호 프로세스 모듈(550)에 전달할 수 있다(S552). 제2 이미지 신호 프로세스 모듈(550)은 제2 이미지 처리를 수행하고(S560), 제3 병합 이미지(HDT3)을 출력할 수 있다(S562).
도 6a은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템에서 3개의 노출 이미지에 대한 HDR 처리 동작을 설명하는 도면이고, 도 6b는 비교예에 따른 이미지 처리 시스템에서 3개의 노출 이미지에 대한 HDR 처리 동작을 설명하는 도면이다.
도 6a는 도 4a 및 도 4b에서 설명한 이미지 처리 시스템에서 3가지 노출 이미지에 대해HDR 처리 동작을 설명하는 도면이다.
도 6a를 참조하면, 이미지 센서(410)는 단노출 이미지(SDT)를 생성하고(S610), 생성된 단노출 이미지(SDT)를 제1 HDR 모듈(420)에 전달할 수 있다(S612). 이미지 센서(410)는 중노출 이미지(MDT)를 생성하고(S614), 생성된 중노출 이미지(MDT)를 제1 HDR 모듈(420)에 전달할 수 있다(S616). 이미지 센서(410)는 장노출 이미지(LDT)를 생성하고(S618), 생성된 장노출 이미지(LDT)를 제1 HDR 모듈(420)에 전달할 수 있다(S620).
제1 HDR 모듈(420)은 단노출 이미지(SDT), 중노출 이미지(MDT) 및 장노출 이미지(LDT)가 수신되면 HDR 처리 및 병합을 수행하고, 병합 이미지(HDT)를 생성할 수 있다(S630). 제1 HDR 모듈(420)은 생성된 병합 이미지(HDT)를 제1 이미지 신호 프로세스 모듈(430)에 전달할 수 있다(S632). 제1 이미지 신호 프로세스 모듈(430)은 수신된 병합 이미지(HDT)에 제1 이미지 처리를 수행하고(S634), 제1 병합 이미지(HDT1)를 모션 보상 모듈(440)에 전달할 수 있다(S636). 모션 보상 모듈(440)은 제1 병합 이미지(HDT1)에 모션 보상을 수행하고(S638), 제2 병합 이미지(HDT2)를 제2 이미지 신호 프로세스 모듈(450)에 전달할 수 있다(S640). 제2 이미지 신호 프로세스 모듈(450)은 제2 이미지 처리를 수행하고(S642), 제3 병합 이미지(HDT3)을 출력할 수 있다(S644). 이 경우, 제1 이미지 신호 프로세스 모듈(430) 및 모션 보상 모듈(440)은 병합 이미지(HDT)에 대해서만 이미지 처리를 수행하므로, 병합 전 장노출 이미지(LDT), 중노출 이미지(MDT) 및 단노출 이미지(SDT) 각각에 이미지 처리를 수행하는 경우보다 빠르게 이미지 처리가 가능하다.
도 6b는 도 5a 및 도 5b에서 설명한 이미지 처리 시스템에서 3가지 노출 이미지에 대해HDR 처리 동작을 설명하는 도면이다.
이미지 센서(510)는 단노출 이미지(SDT)를 생성하고(S650), 생성된 단노출 이미지(SDT)를 제1 이미지 신호 프로세스 모듈(520)에 전달할 수 있다(S652). 제1 이미지 신호 프로세스 모듈(520)은 제1 이미지 처리를 수행하고(S654), 생성된 제1 단노출 이미지(SDT1)를 모션 보상 모듈(530)에 전달할 수 있다(S656). 모션 보상 모듈(530)은 모션 보상을 수행하고(S658) 제2 단노출 이미지(SDT2)를 제2 HDR 모듈(540)에 전달할 수 있다(S660).
이미지 센서(510)는 중노출 이미지(MDT)를 생성하고(S662), 생성된 중노출 이미지(MDT)를 제1 이미지 신호 프로세스 모듈(520)에 전달할 수 있다(S664). 제1 이미지 신호 프로세스 모듈(520)은 제1 이미지 처리를 수행하고(S666), 생성된 제1 중노출 이미지(MDT1)를 모션 보상 모듈(530)에 전달할 수 있다(S668). 모션 보상 모듈(530)은 모션 보상을 수행하고(S670) 제2 중노출 이미지(MDT2)를 제2 HDR 모듈(540)에 전달할 수 있다(S672).
이미지 센서(510)는 장노출 이미지(LDT)를 생성하고(S674), 생성된 장노출 이미지(LDT)를 제1 이미지 신호 프로세스 모듈(520)에 전달할 수 있다(S676). 제1 이미지 신호 프로세스 모듈(520)은 제1 이미지 처리를 수행하고(S678), 생성된 제1 장노출 이미지(LDT1)를 모션 보상 모듈(530)에 전달할 수 있다(S680). 모션 보상 모듈(530)은 모션 보상을 수행하고(S682), 제2 장노출 이미지(LDT2)를 제2 HDR 모듈(540)에 전달할 수 있다(S684).
제2 HDR 모듈(540)은 제2 단노출 이미지(SDT2), 제2 중노출 이미지(MDT2) 및 제2 장노출 이미지(LDT2)가 수신되면 HDR 처리 및 병합을 수행할 수 있고(S686), 병합 이미지(HDT)를 제2 이미지 신호 프로세스 모듈(550)에 전달할 수 있다(S688). 제2 이미지 신호 프로세스 모듈(550)은 제2 이미지 처리를 수행하고(S690), 제3 병합 이미지(HDT3)을 출력할 수 있다(S692).
도 6a에서 설명하는 방법에 따라 3가지 노출 이미지에 대해 HDR 처리하는 경우에도 제1 HDR 모듈(420)을 활용하는 경우, 도 6b에서 설명하는 방법보다 더 빠르게 이미지 처리가 가능하며, 이미지 처리 시스템의 파워 소모를 절감할 수 있다.
도 7a 및 도 7b는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템에서 혼합된 방식으로 HDR 처리를 수행하는 방법을 설명하는 도면이다.
세가지 이상의 노출 이미지에 대해 HDR 처리를 수행하는 경우, 단노출 이미지와 중노출 이미지는 상대적으로 움직임의 차이가 적고 촬영된 이미지간의 촬영 시간 간격이 짧으므로 제1 HDR 처리 모듈에서 먼저 HDR 처리 및 병합을 수행하고, 장노출 이미지의 경우 촬영 시간 간격이 상대적으로 길 것으로 예상되므로, 모션 보상을 수행하고 제2 HDR 처리 모듈에서 HDR 처리 및 병합을 수행할 수 있다.
도 7a를 참조하면, 이미지 처리 시스템(700)은 이미지 센서(710), 제1 HDR 모듈(720), 제1 이미지 신호 프로세스 모듈(730), 모션 보상 모듈(740), 제1 HDR 모듈(750), 제2 이미지 신호 프로세스 모듈(760) 및 버퍼(770)를 포함할 수 있다.
도 7b를 참조하면, 이미지 센서(710)는 단노출 이미지(SDT)를 생성하고(S700), 생성된 단노출 이미지(SDT)를 제1 HDR 모듈(720)에 전달할 수 있다(S702). 이미지 센서(710)는 중노출 이미지(MDT)를 생성하고(S704), 생성된 중노출 이미지(MDT)를 제1 HDR 모듈(720)에 전달할 수 있다(S706). 이미지 센서(710)는 장노출 이미지(LDT)를 생성하고(S708), 생성된 장노출 이미지(LDT)를 제1 HDR 모듈(720)에 전달할 수 있다(S710). 장노출 이미지(LDT)는 별도의 처리 없이 제1 HDR 모듈(720)을 거치거나, 직접 제1 이미지 신호 프로세스 모듈(730)에 전달될 수 있다.
제1 HDR 모듈(720)은 단노출 이미지(SDT) 및 중노출 이미지(MDT)에 대해서만 먼저 HDR 처리 및 병합을 수행하고, 병합 이미지(HDT)를 생성할 수 있다(S720). 제1 HDR 모듈(720)은 생성된 병합 이미지(HDT) 및 장노출 이미지를 제1 이미지 신호 프로세스 모듈(730)에 전달할 수 있다(S722). 제1 이미지 신호 프로세스 모듈(730)은 수신된 병합 이미지(HDT) 및 장노출 이미지(LDT)에 제1 이미지 처리를 수행하고(S730), 제1 병합 이미지 및 제1 장노출 이미지를 포함하는 제1 처리 데이터(HDTP1)를 모션 보상 모듈(740)에 전달할 수 있다(S732).
모션 보상 모듈(740)은 제1 병합 이미지 및 제1 장노출 이미지에 모션 보상을 수행하고 모션 보상된 병합 이미지 및 모션 보상된 장노출 이미지를 생성하고(S74), 모션 보상된 병합 이미지 및 모션 보상된 장노출 이미지를 포함하는 제2 처리 데이터(HDTP2)를 제2 HDR 모듈(750)에 전달할 수 있다(S742)
제2 HDR 모듈(750)은 모션 보상된 병합 이미지 및 모션 보상된 장노출 이미지에 대해 HDR 처리 및 병합을 수행하고, 제2 병합 데이터(HDT2)를 생성할 수 있다(S750). 제2 HDR 모듈(750)은 제2 병합 데이터(HDT2)를 제2 이미지 신호 프로세스 모듈(750)에 전달할 수 있다(S752). 제2 이미지 신호 프로세스 모듈(750)은 제2 이미지 처리를 수행하고(S760), 제3 병합 이미지(HDT2P3)을 출력할 수 있다(762).
이미지 처리 시스템(700)은 단노출 이미지 및 중노출 이미지에 대해서는 우선적으로 모션 보상 전에 HDR 처리를 수행하고, 촬영 간격이 길고 모션이 큰 장노출 이미지에 대해서는 모션 보상 후 HDR 처리를 수행하므로, 효과적으로 HDR 처리를 수행할 수 있다.
도 8은 본 개시의 예시적 실시예에 따른 이미지 처리 방법을 설명하는 도면이다.
도 8은 도 2에 도시된 HDR 모듈을 포함하는 전처리부(110)의 구체적인 동작을 설명하기 위한 다른 실시예이다. 도 8을 참조하면, 이미지 처리 시스템(800)은 복수의 프리-디노이즈 모듈(810, 812, 814), 선-이미지 신호 프로세스 모듈(820) 및 HDR 모듈(830)을 포함할 수 있다. HDR 모듈(830)은 가중치 유닛(832) 및 병합 유닛(834)를 포함할 수 있다.
제1 프리-디노이즈 모듈(810)은 단노출 이미지(SDT)를 수신하여 노이즈가 제거된 클린 단노출 이미지(CSDT)를 생성하고, 제2 프리-디노이즈 모듈(820)은 중노출 이미지(MDT)를 수신하여 클린 중노출 이미지(CMDT)를 생성하고, 제3 프리-디노이즈 모듈(830)은 장노출 이미지(LDT)를 수신하여 클린 장노출 이미지(CLDT)를 생성할 수 있다. 예를 들어, 수신되는 노출 이미지들은 베이어 패턴 이미지일 수 있다.
선-이미지 신호 프로세스 모듈(820)은 단노출 이미지(SDT), 클린 단노출 이미지(CSDT), 중노출 이미지(MDT), 클린 중노출 이미지(CMDT), 장노출 이미지(LDT) 및 클린 장노출 이미지(CLDT)를 수신하여, 노출 레벨에 따라 정규화를 수행할 수 있다. 선-이미지 신호 프로세스 모듈(820)은 글로벌 모션 벡터 정보(GMV)에 기초하여 카메라 모듈의 이동에 따른 모션 보상을 수행할 수 있다. 선-이미지 신호 프로세스 모듈(820)은 정규화 수행을 위한 정규화 모듈 및 모션 보상 수행을 위한 모션 보상 모듈을 더 포함할 수 있다.
가중치 유닛(832)은 정규화 단노출 이미지(NSDT), 정규화 중노출 이미지(NMDT) 및 정규화 장노출 이미지(NLDT)의 정보에 기초하여 각 이미지의 가중치(WT)를 계산할 수 있다. 가중치(WT)를 계산하기 위한 정보는 이미지의 모션 미스매치 정보, 레디얼 모션 그레이드(radial motion grade), 인텐시티 스코어(Intensity score)를 포함할 수 있다.
병합 유닛(834)은 가중치 유닛(832)에서 계산된 각 이미지의 가중치(WT)에 기초하여, 정규화 클린 단노출 이미지(NCSDT), 정규화 클린 중노출 이미지(NCMDT) 및 정규화 클린 장노출 이미지(NCLDT)를 병합하여 병합 이미지(HDT)를 생성할 수 있다.
수신되는 노출 이미지가 베이어 패턴 이미지가 아닌 RGB-W 패턴 이미지인 경우에도 하드웨어를 공유하여 이미지를 처리할 수 있다. 예를 들어, 단노출 이미지(SDT) 대신 RGB 데이터를 수신하고, 장노출 이미지(LDT) 대신 W 데이터를 수신하여 처리할 수 있다. 상세한 내용은 도 9에서 설명한다.
도 9는 본 개시의 예시적 실시예에 따른 이미지 처리 방법 중 RGB-W 이미지에 대한 HDR 처리 방법을 설명하는 도면이다.
도 9는 도 8에서 설명한 이미지 처리 시스템(800)을 RGB-W 패턴 이미지를 포함하는 다른 패턴 이미지에 활용하는 과정을 설명하는 도면이다. 도 9를 참조하면, 이미지 처리 시스템(900)은 복수의 프리-디노이즈 모듈(910, 912), 선-이미지 신호 프로세스 모듈(930) 및 HDR 모듈(940)을 포함할 수 있고, HDR 모듈(940)은 가중치 유닛(942) 및 병합 유닛(944)를 포함할 수 있으며, 각 구성에 대해 도 8에서 설명된 내용과 중복되는 내용은 생략한다.
이미지 처리 시스템(900)은 디모자이싱 모듈(920)을 더 포함할 수 있다.
디모자이싱 모듈(920)은 수신된 이미지 데이터가 RGB-W 패턴 이미지인 경우 디모자이싱을 수행하고, YUV 데이터(YUV_DT)를 생성할 수 있다.
제1 프리-디노이즈 모듈(910)은 RGB 데이터(RGB_DT)를 수신하여 노이즈 처리 후 클린 RGB 데이터(CRGB_DT)를 생성할 수 있다.
제2 프리-디노이즈 모듈(912)은 W 데이터(W_DT)를 수신하여 노이즈 처리 후 클린 W 데이터(CW_DT)를 생성할 수 있다.
가중치 유닛(942)은 정규화 Y 데이터(NY_DT) 및 정규화 W 데이터(NW_DT)를 수신하여 각 이미지의 가중치(WT)를 계산할 수 있다.
병합 유닛(944)은 정규화 클린 YUV 데이터(NYUV_DT) 및 정규화 클린 W 데이터(NCW_DT)에 기초하여 병합 이미지(HDT)를 생성할 수 있다.
이미지 처리 시스템(900)은 입력 이미지가 베이어 패턴이 아닌 경우에도 HDR 처리를 위한 하드웨어를 공유하여 이미지 데이터를 처리할 수 있다.
도 10은 본 개시의 예시적 실시예에 따른 이미지 처리 방법을 설명하는 순서도이다.
이미지 처리 시스템은 이미지 센서를 통해 복수의 이미지들을 생성할 수 있다(S1010). 이미지 센서는 스태거드 방식 또는 자동 노출 브라케팅(auto exposure bracketing) 방식을 통해 이미지를 촬영할 수 있으며, 이에 한정되지 않고 다양한 방식을 사용할 수 있다. 이미지 처리 시스템은 베이어 패턴 이미지, RGB-W 패턴 이미지를 생성할 수 있으며, 이에 한정되지 않고 다양한 패턴 이미지들을 처리할 수 있다.
이미지 처리 시스템은 수신된 이미지 정보에 기초하여 다이나믹 레인지 처리 모드를 결정할 수 있다(S1020). 다이나믹 레인지 처리 모드는 모션 보상 처리를 수행하기 전 복수의 이미지들을 병합하는 제1 모드 및 모션 보상 처리를 수행하고 복수의 이미지들을 병합하는 제2 모드를 포함할 수 있다. 이미지 처리 시스템은 복수의 이미지들간에 촬영 시간 간격이 짧거나 모션이 적은 경우 제1 모드로 처리하고, 촬영 시간 간격이 길거나 모션이 큰 경우 제2 모드로 처리할 수 있다.
이미지 처리 시스템은 제1 모드에서 복수의 이미지들에 대해 먼저 HDR 처리를 수행할 수 있다(S1030). 이미지 처리 시스템은 제1 모드에서 간단한 노이즈 처리나 모션 보상을 HDR 처리 전에 수행할 수 있다.
이미지 처리 시스템은 HDR 처리 수행 후 모션 보상 및 나머지 이미지 프로세싱을 수행할 수 있다(S1040). 이 때, 이미지 처리란, 노이즈 제거, 밝기 조정, 선명도 조정 등의 화질 향상을 위한 처리, 이미지 사이즈 변경, 데이터 형식을 변경하는 이미지 처리(예컨대 베이어 패턴의 이미지 데이터를 YUV 또는 RGB 형식으로 변경) 등의 다양한 처리들을 포함할 수 있다.
이미지 처리 시스템은 제2 모드에서 먼저 모션 보상을 포함하는 이미지 처리를 수행할 수 있다(S1050). 이미지 처리 시스템은 모션 보상 및 이미지 처리를 수행하고 복수의 이미지들에 대해 HDR 처리 및 병합을 수행할 수 있다(S1060).
도 11a는 이미지 센서의 분리 사시도이고, 도 11b는 이미지 센서의 평면도이다.
도 11a 및 도 11b를 참조하면, 이미지 센서(100a)는 제1 칩(CH1) 및 제2칩(CH2)이 적층된 구조를 가질 수 있다. 제1 칩(CH1)에는 픽셀 어레이(도 1의 110)가 형성되고, 제2 칩(CH2)에는 로직 회로, 예컨대, 로우 드라이버(120), 리드아웃 회로(130), 램프 신호 생성기(140) 및 타이밍 컨트롤러(150)가 형성될 수 있다.
도 11b에 도시된 바와 같이, 제1 칩(CH1) 및 제2 칩(CH1)은 중심부에 배치되는 엑티브 영역(AA) 및 로직 영역(LA)을 각각 포함하고, 또한, 칩의 외곽에 배치되는 주변 영역(PERR, PEI)을 포함할 수 있다. 제1 칩(CH1)의 엑티브 영역(AA)에는 복수의 픽셀(PX)이 2차원 어레이 구조로 배치될 수 있다. 제2 칩(CH2)의 로직 영역(LA)에는 로직 회로가 배치될 수 있다.
제1 칩(CH1) 및 제2 칩(CH2)의 주변 영역(PERR, PEI)에는 제3 방향(Z 방향)으로 연장된 관통 비아들(through vias)이 배치될 수 있다. 제1 칩(CH1) 및 제2 칩(CH1)은 관통 비아들(TV)을 통해 서로 전기적으로 결합될 수 있다. 제1 칩(CH1)의 주변 영역(PERR)에는 제1 방향(X 방향) 또는 제2 방향(Y 방향)으로 연장된 배선들, 수직 콘택들이 더 형성될 수 있다. 제2 칩(CH2)의 배선층에도 제1 방향(X 방향)과 제2 방향(Y 방향)으로 연장하는 다수의 배선 라인들이 배치될 수 있고, 이러한 배선 라인들은 로직 회로로 연결될 수 있다.
한편, 제1 칩(CH1)과 제2 칩(CH2)은 관통 비아(TV)를 통해 전기적으로 결합되는 구조에 대하여 설명하였으나, 이에 한정되는 것은 아니며, 예컨대, 제1 칩(CH1)과 제2 칩(CH2)은 Cu-Cu 본딩, 관통 비아와 Cu 패드의 결합, 관통 비아와 외부 접속 단자의 결합, 또는 일체형의 관통 비아를 통한 결합 등 다양한 결합 구조로 구현될 수 있다.
도 12는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 13은 도 12의 카메라 모듈의 상세 블록도이다.
도 12를 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 k개(k는 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
이하, 도 13을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.
도 13을 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 이미지 센서(1142)는 HCG 이미지 데이터 및 LCG 이미지 데이터를 병합하여, 높은 동작 범위를 갖는 이미지 데이터를 생성할 수 있다.
제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 12와 도 13을 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 12를 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)는 도 1 내지 도 10에서 설명한 HDR 모듈 또는 제1 HDR 모듈을 포함할 수 있다. 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 HDR 처리된 이미지 데이터를 수신하고, 다른 이미지 처리를 수행할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 리드아웃하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다. 도 14의 이미지 처리 시스템(2000)은 휴대용 단말기일 수 있다.
도 14를 참조하면, 이미지 처리 시스템(2000)는 어플리케이션 프로세서(2100), 이미지 센서(2200), 디스플레이 장치(2600), 워킹 메모리(2300), 스토리지(2400), 유저 인터페이스(2700) 및 무선 송수신부(2500)를 포함할 수 있다.
어플리케이션 프로세서(2100)는 이미지 처리 시스템(2000)의 전반적인 동작을 제어하며 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(SoC)으로 구현될 수 있다. 어플리케이션 프로세서(2100)는 이미지 센서(2200)로부터 제공되는 이미지 데이터를 디스플레이 장치(2600)에 제공하거나 또는 스토리지(2400)에 저장할 수 있다. 어플리케이션 프로세서(2100)는 이미지프로세서(2110)를 포함할 수 있다. 이미지프로세서(2110)는 이미지 센서(2200)로부터 수신되는 이미지 데이터에 대하여, 화질 조정, 데이터 포맷 변경 등의 이미지 처리를 수행할 수 있다.
도 1 내지 도 10을 참조하여 설명한 이미지 센서가 이미지 센서(2200)로서 적용될 수 있다. 이미지 센서(2200)는 전처리부(2210)를 포함할 수 있으며, 전처리부(2210)는 도 1 내지 도 10에서 설명한 HDR 모듈 또는 제1 HDR 모듈을 포함할 수 있다.
전처리부(2210)는 휘도가 상이한 복수의 이미지 중 일부 이미지에 대하여 전처리를 수행하고, 전처리에 의한 병합된 이미지 및 나머지 이미지를 이미지 프로세서(2110)로 전송할 수 있다.
워킹 메모리(2300)는 DRAM, SRMA 등의 휘발성 메모리 또는 FeRAM, RRAM PRAM 등의 비휘발성의 저항성 메모리로 구현될 수 있다. 워킹 메모리(200)는 어플리케이션 프로세서(2100)가 처리 또는 실행하는 프로그램들 및/또는 데이터를 저장할 수 있다.
스토리지(2400)는 NADN 플래시, 저항성 메모리 등의 비휘발성 메모리 장치로 구현될 수 있으며, 예컨대 스토리지(2400)는 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 제공될 수 있다. 스토리지(2400)는 이미지 센서(2200)로부터 제공되는 이미지 데이터를 저장할 수 있다.
유저 인터페이스(2700)는 키보드, 커튼 키 패널, 터치 패널, 지문 센서, 마이크 등 사용자 입력을 수신할 수 있는 다양한 장치들로 구현될 수 있다. 유저 인터페이스(2700)는 사용자 입력을 수신하고, 수신된 사용자 입력에 대응하는 신호를 어플리케이션 프로세서(2100)에 제공할 수 있다.
무선 송수신부(2500)는 트랜시버(2510), 모뎀(2520) 및 안테나(2530)를 포함할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 동일한 피사체에 대하여 노출 시간이 상이한 복수의 이미지들을 생성하는 센싱부;
    상기 복수의 이미지들을 병합하여 병합 이미지를 생성하는 전처리부;
    상기 복수의 이미지들 및 상기 병합 이미지 중 적어도 하나를 외부 프로세서로 출력하는 인터페이스 회로; 및
    상기 복수의 이미지들의 정보에 기초하여 상기 병합 이미지가 선택적으로 생성되도록 상기 전처리부를 제어하는 컨트롤러;를 포함하는 이미지 센서.
  2. 제1 항에 있어서,
    상기 컨트롤러는 상기 복수의 이미지들의 촬영 기법 정보, 촬영 시간 간격 정보, 움직임 정보 중 적어도 하나에 기초하여 상기 전처리부에서 상기 병합 이미지 생성 여부를 판단하는 것을 특징으로 하는 이미지 센서.
  3. 제1 항에 있어서,
    상기 전처리부는 병합 이미지를 생성하기 전 상기 복수의 이미지들에 대해 사전 노이즈 처리를 수행하는 노이즈 처리 모듈을 포함하는 것을 특징으로 하는 이미지 센서.
  4. 제3 항에 있어서,
    상기 사전 노이즈 처리는 자이로 센서 데이터에 기초한 모션 보상을 포함하는 것을 특징으로 하는 이미지 센서
  5. 제1 항에 있어서,
    상기 복수의 이미지들은 제1 노출 시간에 대응되는 장노출 이미지, 제2 노출 시간에 대응되는 중노출 이미지 및 제3 노출 시간에 대응되는 단노출 이미지를 포함하고,
    상기 제1 노출 시간은 상기 제2 노출 시간보다 길고, 상기 제2 노출 시간은 상기 제3 노출 시간보다 긴 것을 특징으로 하는 이미지 센서.
  6. 제5 항에 있어서,
    상기 전처리부는 상기 중노출 이미지 및 상기 단노출 이미지에 기초하여 병합 이미지를 생성하고,
    상기 인터페이스 회로는 상기 장노출 이미지 및 상기 병합 이미지를 외부 프로세서로 출력하는 것을 특징으로 하는 이미지 센서.
  7. 제5 항에 있어서,
    상기 전처리부는 상기 복수의 이미지들에 대하여 다이나믹 레인지를 증가시키는 HDR(High Dynamic Range)처리를 수행하는 제1 HDR 모듈을 포함하는 것을 특징으로 하는 이미지 센서.
  8. 제7 항에 있어서,
    상기 제1 HDR 모듈은 상기 장노출 이미지, 중노출 이미지 및 단노출 이미지의 이미지 정보에 기초하여 각각의 가중치를 결정하고, 상기 가중치에 따라 상기 장노출 이미지, 중노출 이미지 및 단노출 이미지를 병합하는 것을 특징으로 하는 이미지 센서.
  9. 제1 항에 있어서,
    상기 복수의 이미지들은 베이어 패턴 이미지, RGB-W 패턴 이미지를 포함하고,
    상기 전처리부는 RGB-W 패턴 이미지를 처리하기 위한 RGB-W 패턴 처리 모듈을 더 포함하는 것을 특징으로 하는 이미지 센서.
  10. 제1 항에 있어서,
    상기 전처리부는 상기 복수의 이미지들의 일부 라인들에 해당하는 복수의 픽셀 값을 저장하는 라인 버퍼를 더 포함하고,
    상기 센싱부는 라인 단위로 시분할 방식에 따라 상기 복수의 이미지를 상기 전처리부로 출력하는 것을 특징으로 하는 이미지 센서.
  11. 동일한 피사체에 대하여 노출 시간이 상이한 복수의 이미지들을 생성하고, 상기 복수의 이미지들을 출력하는 이미지 센서;
    상기 복수의 이미지들의 정보에 기초하여 병합 이미지 생성 여부를 판단하고, 상기 복수의 이미지들을 병합하여 다이나믹 레인지가 증가된 병합 이미지를 생성하는 제1 HDR 모듈; 및
    상기 복수의 이미지들 또는 상기 병합 이미지를 수신하는 이미지 프로세서를 포하는 이미지 처리 시스템.
  12. 제11 항에 있어서,
    상기 제1 HDR 모듈은 상기 복수의 이미지들의 촬영 기법 정보, 촬영 시간 간격 정보, 움직임 정보 중 적어도 하나에 기초하여 병합 이미지 생성 여부를 판단하는 것을 특징으로 하는 이미지 처리 시스템.
  13. 제11 항에 있어서,
    상기 복수의 이미지들은 제1 노출 시간에 대응되는 장노출 이미지, 제2 노출 시간에 대응되는 중노출 이미지 및 제3 노출 시간에 대응되는 단노출 이미지를 포함하고,
    상기 제1 노출 시간은 상기 제2 노출 시간보다 길고, 상기 제2 노출 시간은 상기 제3 노출 시간보다 긴 것을 특징으로 하는 이미지 처리 시스템.
  14. 제13 항에 있어서,
    상기 제1 HDR 모듈은 상기 중노출 이미지 및 상기 단노출 이미지에 기초하여 병합 이미지를 생성하고,
    상기 이미지 프로세서는 상기 장노출 이미지 및 상기 병합 이미지를 수신하여 다이나믹 레인지 확장을 위한 영상 처리를 수행하는 것을 특징으로 하는 이미지 처리 시스템.
  15. 제11 항에 있어서,
    상기 복수의 이미지들은 베이어 패턴 이미지, RGB-W 패턴 이미지를 포함하고,
    상기 RGB-W 패턴 이미지를 처리하기 위한 RGB-W 패턴 처리 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 시스템.
  16. 동일한 피사체에 대하여 노출 시간이 상이한 복수의 이미지들을 생성하는 단계;
    상기 복수의 이미지들의 정보에 기초하여 모션 보상 처리를 수행하기 전 상기 복수의 이미지들을 병합하는 제1 모드 또는 상기 모션 보상 처리를 수행하고 상기 복수의 이미지들을 병합하는 제2 모드를 판단하는 단계; 및
    상기 제1 모드에서 상기 복수의 이미지들을 병합하여 다이나믹 레인지가 증가된 병합 이미지를 생성하는 단계;를 포함하는 이미지 처리 방법.
  17. 제16 항에 있어서,
    상기 판단하는 단계는 상기 복수의 이미지들의 촬영 기법 정보, 촬영 시간 간격 정보, 움직임 정보 중 적어도 하나에 기초하여 모드를 판단하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  18. 제16 항에 있어서,
    상기 복수의 이미지들은 제1 노출 시간에 대응되는 장노출 이미지, 제2 노출 시간에 대응되는 중노출 이미지 및 제3 노출 시간에 대응되는 단노출 이미지를 포함하고,
    상기 제1 노출 시간은 상기 제2 노출 시간보다 길고, 상기 제2 노출 시간은 상기 제3 노출 시간보다 긴 것을 특징으로 하는 이미지 처리 방법.
  19. 제18 항에 있어서,
    다이나믹 레인지 처리 모드는 상기 제1 모드 및 상기 제2 모드를 모두 수행하는 제3 모드를 포함하고,
    상기 제1 모드는 상기 중노출 이미지 및 상기 단노출 이미지에 기초하여 병합 이미지를 생성하고,
    상기 제2 모드는 상기 장노출 이미지 및 상기 병합 이미지를 수신하여 다이나믹 레인지 확장을 위한 영상 처리를 수행하는 것을 특징으로 하는 이미지 처리 방법.
  20. 제16 항에 있어서,
    상기 복수의 이미지들은 베이어 패턴 이미지, RGB-W 패턴 이미지를 포함하고,
    상기 판단하는 단계는 상기 복수의 이미지들의 패턴 정보를 판단하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
KR1020210118959A 2021-09-07 2021-09-07 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이미지 처리 방법 Pending KR20230036282A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210118959A KR20230036282A (ko) 2021-09-07 2021-09-07 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이미지 처리 방법
CN202211045403.9A CN115776616A (zh) 2021-09-07 2022-08-30 图像传感器、包括其的图像处理系统和图像处理方法
TW111133691A TW202320537A (zh) 2021-09-07 2022-09-06 影像感測器、包括影像感測器的影像處理系統以及影像處理方法
US17/929,937 US12444164B2 (en) 2021-09-07 2022-09-06 Image sensor including internal pre-processor configured to generate a merged image, image processing system including the same, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210118959A KR20230036282A (ko) 2021-09-07 2021-09-07 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20230036282A true KR20230036282A (ko) 2023-03-14

Family

ID=85385640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210118959A Pending KR20230036282A (ko) 2021-09-07 2021-09-07 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이미지 처리 방법

Country Status (4)

Country Link
US (1) US12444164B2 (ko)
KR (1) KR20230036282A (ko)
CN (1) CN115776616A (ko)
TW (1) TW202320537A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025089666A1 (ko) * 2023-10-26 2025-05-01 삼성전자 주식회사 Hdr 이미지를 생성하는 전자 장치 및 이의 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI849844B (zh) * 2023-04-13 2024-07-21 大陸商北京集創北方科技股份有限公司 控制電路、光學式指紋採集裝置以及資訊處理裝置
WO2024216573A1 (en) * 2023-04-20 2024-10-24 Qualcomm Incorporated Composite image generation using motion information
TWI871707B (zh) * 2023-07-21 2025-02-01 宏碁股份有限公司 影像感測裝置與其高動態範圍影像產生方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011010108A (ja) * 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
US8704943B2 (en) * 2011-01-21 2014-04-22 Aptina Imaging Corporation Systems for multi-exposure imaging
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
JP6172967B2 (ja) 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
JP6184290B2 (ja) 2013-10-21 2017-08-23 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
GB201509384D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Reducing bandwidth for HDR storage
KR102469426B1 (ko) * 2015-10-27 2022-11-22 삼성전자주식회사 이미지 처리 장치 및 이의 동작 방법
JP6052379B2 (ja) 2015-12-17 2016-12-27 株式会社ニコン 撮像装置
JP6740866B2 (ja) * 2016-11-07 2020-08-19 株式会社デンソー 画像出力装置
KR102684223B1 (ko) * 2016-12-12 2024-07-11 삼성전자주식회사 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템
WO2019157427A1 (en) * 2018-02-12 2019-08-15 Gopro, Inc. Image processing
US20200211166A1 (en) 2018-12-28 2020-07-02 Qualcomm Incorporated Methods and apparatus for motion compensation in high dynamic range processing
KR20210009255A (ko) * 2019-07-16 2021-01-26 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
KR102818268B1 (ko) * 2019-11-01 2025-06-11 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025089666A1 (ko) * 2023-10-26 2025-05-01 삼성전자 주식회사 Hdr 이미지를 생성하는 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
US12444164B2 (en) 2025-10-14
CN115776616A (zh) 2023-03-10
US20230073138A1 (en) 2023-03-09
TW202320537A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
KR20230036282A (ko) 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이미지 처리 방법
JP6711612B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US11178372B1 (en) Image signal processor, image signal processing method and electronic device thereof
US11412197B2 (en) Electronic device including image sensor
US12028637B2 (en) Image sensing system for converting an image signal to have a specific pattern
CN111432112A (zh) 处理图像信号的方法、图像信号处理器和图像传感器芯片
KR102518373B1 (ko) 이미지 센서 및 이를 포함하는 전자 기기
KR20220079123A (ko) 이미지 장치 및 이미지 장치의 동작 방법
CN112243090B (zh) 图像传感器和图像处理系统
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
TWI894469B (zh) 畫素陣列以及包括其的影像感測器
US20220417457A1 (en) Image processing device for noise reduction using dual conversion gain and operation method thereof
US11616921B2 (en) Image sensor and operating method thereof
US11948316B2 (en) Camera module, imaging device, and image processing method using fixed geometric characteristics
US20220360712A1 (en) Camera module and imaging device including the same
TW202437772A (zh) 影像感應器
US12219271B2 (en) Image sensor, application processor and image sensing device
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
US20220329768A1 (en) Image sensing device and operating method thereof
US12118696B2 (en) Image signal processor, method for operating image signal processor and image sensing device
US20060044393A1 (en) Camera system
KR20240120481A (ko) 이미지 프로세서 및 이를 포함하는 이미지 처리 시스템
KR20240082675A (ko) 이미지 신호 프로세서 및 그 이미지 센싱 장치
EP4513887A1 (en) Image sensors and image processing devices that support rolling and global shutter modes of operation
KR20230135389A (ko) 이미지 센싱 장치 및 그 이미지 신호 프로세싱 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902