KR20200090291A - Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법 - Google Patents

Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법 Download PDF

Info

Publication number
KR20200090291A
KR20200090291A KR1020190006857A KR20190006857A KR20200090291A KR 20200090291 A KR20200090291 A KR 20200090291A KR 1020190006857 A KR1020190006857 A KR 1020190006857A KR 20190006857 A KR20190006857 A KR 20190006857A KR 20200090291 A KR20200090291 A KR 20200090291A
Authority
KR
South Korea
Prior art keywords
pixel values
image
pixels
bayer
bayer image
Prior art date
Application number
KR1020190006857A
Other languages
English (en)
Other versions
KR102648747B1 (ko
Inventor
강희
송용준
장찬영
선민규
정정훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190006857A priority Critical patent/KR102648747B1/ko
Priority to US16/547,786 priority patent/US11082625B2/en
Priority to CN201910977457.0A priority patent/CN111464754B/zh
Publication of KR20200090291A publication Critical patent/KR20200090291A/ko
Priority to US17/362,380 priority patent/US11622081B2/en
Application granted granted Critical
Publication of KR102648747B1 publication Critical patent/KR102648747B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N5/35536—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N9/04515—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 HDR 이미지를 생성하기 위한 이미징 시스템을 제공한다. 본 발명의 하나의 실시 예에 따른 이미징 시스템은 제1 픽셀들 및 제2 픽셀들을 포함하는 픽셀 어레이, 제1 노출 시간에 따라 제1 픽셀들을 제어하고, 제2 노출 시간에 따라 제2 픽셀들을 제어하도록 구성된 구동 회로, 픽셀 어레이로부터 제1 픽셀들의 제1 픽셀 값들 및 제2 픽셀들의 제2 픽셀 값들을 출력하도록 구성된 출력 회로 및 제1 픽셀 값들을 기반으로 생성된 제1 베이어 이미지, 및 제2 픽셀 값들과 제1 베이어 이미지의 제3 픽셀 값들을 기반으로 생성된 제2 베이어 이미지를 기반으로 HDR(high dynamic range) 이미지를 생성하도록 구성된 프로세싱 장치를 포함하고, 제1 픽셀들의 수는 제2 픽셀들의 수보다 크다.

Description

HDR 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법{IMAGING SYSTEM FOR GENERATING HDR IMAGE AND OPERATING METHOD THEREOF}
본 발명은 이미징 시스템에 관한 것으로, 좀 더 상세하게는 HDR 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법에 관한 것이다.
이미징 시스템은 카메라로부터 촬영된 이미지를 사용자에게 제공하기 위한 시스템이다. 이미징 시스템은 스마트폰과 같은 다양한 형태의 전자 장치로 구현될 수 있다. 사용자에게 고화질의 이미지를 제공하기 위해, 이미징 시스템은 이미지의 다이내믹 레인지(dynamic range)를 향상시킬 수 있다. 다이내믹 레인지는 이미지에서 어두운 부분에서 밝은 부분까지의 휘도를 표현할 수 있는 범위를 의미한다. 다이내믹 레인지가 향상된 이미지는 HDR(high dynamic range) 이미지라 일컬어진다.
이미징 시스템은 서로 다른 노출 시간에 대응하는 이미지를 획득하고 합성하여 HDR 이미지를 생성할 수 있다. 그러나, 서로 다른 노출 시간에 대응하는 이미지가 여러 장 획득되는 동안 피사체가 움직이는 경우, 생성된 HDR 이미지에 결함(artifact)이 발생될 수 있다. 또는, HDR 이미지를 생성하는 과정에서 해상도가 낮아질 수 있다.
본 발명의 목적은 피사체가 움직이더라도 결함이 최소화되는 HDR 이미지를 생성할 수 있는 이미징 시스템 및 그것의 동작 방법을 제공하는데 있다.
또한, 본 발명의 목적은 고해상도의 HDR 이미지를 생성할 수 있는 이미징 시스템 및 그것의 동작 방법을 제공하는데 있다.
본 발명의 하나의 실시 예에 따른 이미징 시스템은 제1 픽셀들 및 제2 픽셀들을 포함하는 픽셀 어레이, 제1 노출 시간에 따라 상기 제1 픽셀들을 제어하고, 제2 노출 시간에 따라 상기 제2 픽셀들을 제어하도록 구성된 구동 회로, 상기 픽셀 어레이로부터 상기 제1 픽셀들의 제1 픽셀 값들 및 상기 제2 픽셀들의 제2 픽셀 값들을 출력하도록 구성된 출력 회로 및 상기 제1 픽셀 값들을 기반으로 생성된 제1 베이어 이미지, 및 상기 제2 픽셀 값들과 상기 제1 베이어 이미지의 제3 픽셀 값들을 기반으로 생성된 제2 베이어 이미지를 기반으로 HDR(high dynamic range) 이미지를 생성하도록 구성된 프로세싱 장치를 포함하고, 상기 제1 픽셀들의 수는 상기 제2 픽셀들의 수보다 크다.
본 발명의 하나의 실시 예에 따른 이미징 시스템은 제1 노출 시간으로 제어되는 제1 픽셀들 및 제2 노출 시간으로 제어되는 제2 픽셀들을 기반으로 하나의 프레임에 대한 이미지 데이터를 획득하도록 구성된 이미지 센서 및 상기 제1 픽셀들의 제1 픽셀 값들을 기반으로 생성된 제1 베이어 이미지, 및 상기 제2 픽셀들의 제2 픽셀 값들과 상기 제1 베이어 이미지의 제3 픽셀 값들을 기반으로 생성된 제2 베이어 이미지에 기초하여 HDR 이미지를 생성하도록 구성된 이미지 신호 프로세서를 포함하고, 상기 제1 픽셀들의 수는 상기 제2 픽셀들의 수보다 크다.
본 발명의 하나의 실시 예에 따른 이미징 시스템의 동작 방법은 제1 노출 시간으로 제어되는 제1 픽셀들 및 제2 노출 시간으로 제어되는 제2 픽셀들을 기반으로 하나의 프레임에 대한 이미지 데이터를 획득하는 단계, 상기 이미지 데이터 중 상기 제1 픽셀들의 제1 픽셀 값들을 기반으로 제1 베이어 이미지를 생성하는 단계, 상기 이미지 데이터 중 상기 제2 픽셀들의 제2 픽셀 값들 및 상기 제1 베이어 이미지의 제3 픽셀 값들을 기반으로 제2 베이어 이미지를 생성하는 단계 및 상기 제1 베이어 이미지 및 상기 제2 베이어 이미지에 기초하여 HDR 이미지를 생성하는 단계를 포함하고, 상기 제1 픽셀들의 수는 상기 제2 픽셀들의 수보다 크다.
본 발명에 따른 이미징 시스템은 피사체의 움직임이 있더라도 결함이 최소화되는 HDR 이미지를 생성할 수 있다.
또한, 본 발명에 따른 이미징 시스템은 해상도가 감소되지 않는 고해상도 및 고화질의 HDR 이미지를 생성할 수 있다.
도 1은 본 발명의 하나의 실시 예에 따른 이미징 시스템을 보여주는 블록도이다.
도 2는 도 1의 이미징 시스템을 상세하게 보여주는 블록도이다.
도 3a 내지 도 3c는 본 발명의 실시 예들에 따른 CFA 패턴의 예시들을 보여주는 도면이다.
도 4a 내지 도 4c는 본 발명의 실시 예들에 따른 노출 패턴의 예시들을 보여준다.
도 5a 및 도 5b는 본 발명의 실시 예들에 따른 노출 시간에 따라 도 2의 이미징 시스템이 픽셀들을 제어하는 예시들을 보여준다.
도 6은 도 2의 프로세싱 장치의 하나의 예시를 보여주는 블록도이다.
도 7은 도 6의 프로세싱 장치의 동작에 따라 생성되는 이미지들의 예시를 보여주는 도면이다.
도 8은 도 2의 프로세싱 장치의 하나의 예시를 보여주는 블록도이다.
도 9는 도 8의 프로세싱 장치의 동작에 따라 생성되는 이미지들의 예시를 보여주는 도면이다.
도 10은 도 6의 프로세싱 장치가 HDR 이미지를 생성하는 동작을 예시적으로 보여주는 순서도이다.
도 11은 도 6의 제2 베이어 이미지 생성 모듈의 추가적인 동작의 예시를 보여주는 블록도이다.
도 12는 도 6의 프로세싱 장치가 제2 베이어 이미지를 생성하는 동작을 예시적으로 보여주는 순서도이다.
도 13은 도 2의 이미징 시스템의 예시적인 동작을 보여주는 순서도이다.
도 14는 본 발명의 실시 예에 따른 이미징 시스템이 적용되는 하나의 예시를 나타내는 블록도이다.
도 15는 본 발명의 실시 예들에 따른 이미징 시스템이 적용되는 하나의 예시를 나타내는 블록도이다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
도 1은 본 발명의 하나의 실시 예에 따른 이미징 시스템(1000)을 보여주는 블록도이다. 이미징 시스템(1000)은 다양한 형태의 전자 장치 또는 전자 회로로 구현될 수 있다. 예를 들어, 이미징 시스템(1000)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블(wearable) 장치, 전기 자동차, 직접 회로(IC; Integrated Circuit), 시스템 온 칩(SoC; System On Chip), 디지털 신호 처리 장치(DSP; digital signal processor) 등으로 구현될 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 이미징 시스템(1000)은 이미지를 획득하고 처리하는 어떠한 종류의 장치 또는 회로로 구현될 수 있다.
도 1을 참조하면, 이미징 시스템(1000)은 이미지 센싱 장치(100), 프로세싱 장치(200) 및 컨트롤러(300)를 포함할 수 있다. 이미지 센싱 장치(100), 프로세싱 장치(200) 및 컨트롤러(300)는 하나의 칩에 집적되거나, 각각 별개의 칩으로 구현될 수 있다.
이미지 센싱 장치(100)는 렌즈(110) 및 이미지 센서(120)를 포함할 수 있다. 렌즈(110)는 특정 프레임(frame) 상에 위치하는 피사체로부터 반사된 광 신호(LS)를 수신할 수 있다. 렌즈(110)는 수신된 광 신호(LS)를 이미지 센서(120)로 제공할 수 있다.
이미지 센서(120)는 광 신호(LS)에 기초하여 이미지 데이터(IDAT)를 출력할 수 있다. 이미지 센서(120)는 복수의 픽셀들을 포함할 수 있다. 픽셀들을 통해 광 신호(LS)가 전기적인 신호로 변환될 수 있다. 이미지 데이터(IDAT)는 광 신호(LS)로부터 변환된 전기적인 신호에 기초하는 디지털 신호일 수 있다. 이미지 데이터(IDAT)는 특정 프레임의 밝기 정보, 컬러 정보 등을 포함하는 이미지 정보를 포함할 수 있다. 출력된 이미지 데이터(IDAT)는 프로세싱 장치(200)로 제공될 수 있다. 또한, 이미지 데이터(IDAT)는 컨트롤러(300)로 제공될 수 있다.
프로세싱 장치(200)는 이미지 데이터(IDAT)를 처리하여 HDR 이미지(HDAT)를 생성할 수 있다. HDR 이미지(HDAT)의 해상도는 이미지 센서(120)의 해상도와 동일할 수 있다. 이에 따라, 프로세싱 장치(200)는 고해상도의 HDR 이미지를 생성할 수 있다. 이후, HDR 이미지(HDAT)는 후처리된 후, 표시 장치를 통해 사용자에게 제공될 수 있다. 예를 들어, HDR 이미지(HDAT)에 대하여 렌즈 음영 보정(lens shading correction), 화이트 밸런스(white balance) 보정, 노이즈 제거(noise reduction), 샤프닝(sharpening), 감마 보정(gamma correction), 색 변환(color conversion) 등이 수행될 수 있다. 이러한 후처리는 프로세싱 장치(200)에 의해 수행되거나 별도의 프로세싱 장치에 의해 수행될 수 있다.
컨트롤러(300)는 이미지 센싱 장치(100) 및 프로세싱 장치(200)의 동작들을 제어할 수 있다. 예시적으로, 컨트롤러(300)는 이미지 센서(120)에 포함된 픽셀들의 노출 시간을 제어할 수 있다. 컨트롤러(300)는 복수의 노출 시간을 기반으로 픽셀들 각각의 노출 시간을 결정할 수 있다. 이미지 센서(120)는 결정된 노출 시간에 따라 픽셀들을 동작시킬 수 있다. 예를 들어, 픽셀들 중 일부는 긴 노출 시간에 따라 구동되고, 일부는 짧은 노출 시간에 따라 구동될 수 있다. 이 경우, 이미지 센서(120)로부터 생성되는 이미지 데이터(IDAT)는 상대적으로 휘도가 높은 픽셀 값과 휘도가 낮은 픽셀 값을 모두 포함할 수 있다. 프로세싱 장치(200)는 복수의 노출 시간을 기반으로 생성된 이미지 데이터(IDAT)로부터 다이내믹 레인지가 향상된 HDR 이미지(HDAT)를 생성할 수 있다.
상술한 바와 같이, 본 발명의 하나의 실시 예에 따른 이미징 시스템(1000)은 복수의 노출 시간을 기반으로 하나의 프레임에 대한 이미지 데이터(IDAT)를 획득하고, 이미지 데이터(IDAT)를 처리하여 HDR 이미지(HDAT)를 생성할 수 있다. 하나의 프레임이 캡쳐되는 동안 피사체가 움직일 가능성은 복수의 프레임이 캡쳐되는 동안 피사체가 움직일 가능성보다 작을 수 있다. 이에 따라, 복수의 프레임에 대한 이미지 데이터(IDAT)를 획득하여 HDR 이미지(HDAT)를 생성하는 경우, 피사체의 움직임에 따른 결함(artifact) 발생 가능성이 클 수 있다. 본 발명의 하나의 실시 예에 따른 이미징 시스템(1000)은 하나의 프레임을 기반으로 HDR 이미지(HDAT)를 생성하므로, 복수의 프레임을 기반으로 HDR 이미지(HDAT)를 생성하는 경우보다 피사체의 움직임에 따른 결함 발생 가능성이 감소될 수 있다.
도 2는 도 1의 이미징 시스템(1000)을 상세하게 보여주는 블록도이다. 도 2를 참조하면, 이미징 시스템(1000)은 픽셀 어레이(121), 구동 회로(122), 출력 회로(123), 프로세싱 장치(200) 및 컨트롤러(300)를 포함할 수 있다. 픽셀 어레이(121), 구동 회로(122) 및 출력 회로(123)는 도 1의 이미지 센서(120)에 포함될 수 있다.
픽셀 어레이(121)는 복수의 행들과 복수의 열들로 이루어진 매트릭스 형태로 배열된 복수의 픽셀들을 포함할 수 있다. 각각의 픽셀들은 광 신호(LS)에 기초하여 전기적인 신호(예를 들어, 아날로그 신호)를 생성할 수 있다. 컬러 이미지를 생성하기 위해, 각각의 픽셀은 R(red) 필터, G(green) 필터 및 B(blue) 필터 중 하나와 결합될 수 있다. R, G, B 컬러 필터들은 특정 패턴(즉, 컬러 필터 배열(CFA; color filter array)의 패턴)에 따라 픽셀 어레이(121)에 배치될 수 있다. 이에 따라, 각각의 픽셀로부터 생성된 전기적인 신호는 각각의 컬러 필터에 대응하는 컬러 값을 포함할 수 있다.
픽셀 어레이(121)는 복수의 픽셀 블록(PB)들을 포함할 수 있다. 각각의 픽셀 블록(PB)은 복수의 픽셀들을 포함할 수 있다. 예를 들어, 픽셀 블록(PB)은 제1 픽셀(P1) 및 제2 픽셀(P2)을 포함할 수 있다. 각각의 픽셀 블록(PB)은 특정 CFA 패턴을 가질 수 있다. 각각의 픽셀 블록(PB)이 특정 CFA 패턴을 가지므로, 복수의 픽셀 블록(PB)들을 포함하는 픽셀 어레이(121)는 반복되는 CFA 패턴을 가질 수 있다. 픽셀 블록(PB)의 CFA 패턴들의 예시는 도 3a 내지 도 3c를 참조하여 설명될 것이다.
픽셀 블록(PB)은 하나 이상의 픽셀을 포함하는 서브 블록(SB)을 포함할 수 있다. 서브 블록(SB)은 R, G, B 중 동일한 컬러에 대응하는 픽셀들을 포함할 수 있다. 즉, 서브 블록(SB)의 픽셀들에는 동일한 컬러를 가지는 컬러 필터들이 배치될 수 있다.
구동 회로(122)는 픽셀 어레이(121)의 픽셀들을 제어할 수 있다. 픽셀들을 제어하기 위해, 구동 회로(122)는 제어 신호를 생성할 수 있다. 예를 들어, 구동 회로(122)는 픽셀 어레이(121)에 포함되는 픽셀들을 행 단위로 제어할 수 있다. 제어 신호에 응답하여 픽셀들이 동작할 수 있다.
출력 회로(123)는 픽셀 어레이(121)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 아날로그 신호는 픽셀 어레이(121)로부터 컬럼 단위로 출력될 수 있다. 출력 회로(123)는 유효 신호 성분을 추출하기 위해 상관 이중 샘플링(CDS; correlated double sampling)을 수행할 수 있다. 출력 회로(123)는 CDS가 수행된 아날로그 신호를 디지털 신호로 변환할 수 있다. 또는, 출력 회로(123)는 디지털 신호에 대하여 CDS를 수행할 수 있다. 이에 따라, 출력 회로(123)는 디지털 신호의 이미지 데이터(IDAT)를 출력할 수 있다. 이미지 데이터(IDAT)는 프로세싱 장치(200) 및 컨트롤러(300)로 제공될 수 있다.
컨트롤러(300)는 픽셀 어레이(121)의 픽셀들 각각에 대한 노출 시간 정보(ETI)를 결정할 수 있다. 컨트롤러(300)는 복수의 노출 시간을 기준으로 노출 시간 정보(ETI)를 결정할 수 있다. 복수의 노출 시간은 서로 다른 2개 이상의 노출 시간일 수 있다. 예를 들어, 컨트롤러(300)는 제1 픽셀(P1)의 노출 시간 정보(ETI)를 제1 노출 시간으로 결정하고, 제2 픽셀(P2)의 노출 시간 정보(ETI)를 제2 노출 시간으로 결정할 수 있다. 이 경우, 제1 노출 시간은 제2 노출 시간보다 길 수 있다. 또는, 제1 노출 시간은 제2 노출 시간보다 짧을 수 있다.
컨트롤러(300)는 서로 다른 노출 시간에 대응하는 픽셀들의 개수가 다르게 노출 시간 정보(ETI)를 결정할 수 있다. 예를 들어, 컨트롤러(300)는 제1 노출 시간에 대응하는 픽셀들의 수가 제2 노출 시간에 대응하는 픽셀들의 수보다 크도록 노출 시간 정보(ETI)를 결정할 수 있다.
컨트롤러(300)는 픽셀 블록(PB) 또는 서브 블록(SB)이 일정한 노출 패턴을 가지도록 노출 시간 정보(ETI)를 결정할 수 있다. 여기서, 노출 패턴은 픽셀들 각각에 대응하는 노출 시간에 따라 형성되는 패턴을 의미한다. 픽셀 블록(PB) 단위로 일정한 노출 패턴이 형성되는 경우, 픽셀 어레이(121)는 픽셀 블록(PB)의 노출 패턴에 따라 반복되는 노출 패턴을 가질 수 있다. 서브 블록(SB) 단위로 일정한 노출 패턴이 형성되는 경우, 픽셀 어레이(121)는 서브 블록(SB)의 노출 패턴에 따라 반복되는 노출 패턴을 가질 수 있다. 예를 들어, 픽셀 블록(PB) 단위로 노출 패턴이 형성되는 경우, 제1 픽셀(P1)은 제1 노출 시간에 대응할 수 있고, 제2 픽셀(P2)은 제2 노출 시간에 대응할 수 있다. 노출 패턴들의 예시는 도 4a 내지 도 4c를 참조하여 설명될 것이다.
컨트롤러(300)는 HDR 이미지(HDAT)의 다이내믹 레인지를 조절하기 위해 노출 시간 정보(ETI)를 결정할 수 있다. 예를 들어, 컨트롤러(300)는 다이내믹 레인지를 증가시키기 위해 상대적으로 긴 노출 시간을 더 증가시키거나 상대적으로 짧은 노출 시간을 더 감소시킬 수 있다. 예시적으로, 컨트롤러(300)는 이미지 데이터(IDAT)에 기초하여 노출 시간 정보(ETI)를 결정할 수 있다. 예를 들어, 컨트롤러(300)는 이미지 데이터(IDAT)로부터 산출된 다이내믹 레인지에 따라 노출 시간 정보(ETI)를 결정할 수 있다. 노출 시간 정보(ETI)는 구동 회로(122) 및 프로세싱 장치(200)로 제공될 수 있다.
구동 회로(122)는 노출 시간 정보(ETI)에 따라 픽셀 어레이(121)의 픽셀들 각각을 제어할 수 있다. 예를 들어, 제1 픽셀(P1)의 노출 시간 정보(ETI)가 제1 노출 시간인 경우, 구동 회로(122)는 제1 픽셀(P1)이 제1 노출 시간 동안 동작하도록 제1 픽셀(P1)을 제어할 수 있다. 제2 픽셀(P2)의 노출 시간 정보(ETI)가 제2 노출 시간인 경우, 구동 회로(122)는 제2 픽셀(P2)이 제2 노출 시간 동안 동작하도록 제2 픽셀(P2)을 제어할 수 있다. 예를 들어, 구동 회로(122)는 노출 시간 정보(ETI)에 따라 픽셀들 각각에 포함된 트랜지스터들을 제어할 수 있다. 좀 더 상세한 예로서, 구동 회로(122)는 노출 시간 정보(ETI)에 따라 픽셀들 각각의 트랜스퍼 게이트(transfer gate)의 온(on)/오프(off) 시간을 조절할 수 있다. 이에 따라, 픽셀들 각각은 노출 시간 정보(ETI)에 따라 동작할 수 있다.
출력 회로(123)로부터 출력되는 이미지 데이터(IDAT)는 복수의 노출 시간에 따라 획득될 수 있다. 예를 들어, 이미지 데이터(IDAT) 중 일부는 제1 노출 시간에 대응하는 픽셀들로부터 획득될 수 있고, 일부는 제2 노출 시간에 대응하는 픽셀들로부터 획득될 수 있다. 이 경우, 제1 노출 시간에 대응하는 픽셀들의 개수와 제2 노출 시간에 대응하는 픽셀들의 개수는 다를 수 있다.
프로세싱 장치(200)는 노출 시간 정보(ETI)를 기반으로 이미지 데이터(IDAT)를 처리하여 HDR 이미지(HDAT)를 생성할 수 있다. 예시적으로, 프로세싱 장치(200)는 이미지 데이터(IDAT)를 노출 시간에 따라 분리할 수 있다. 예를 들어, 이미지 데이터(IDAT)는 제1 노출 시간에 대응하는 픽셀 값들과 제2 노출 시간에 대응하는 픽셀 값들을 포함할 수 있다. 프로세싱 장치(200)는 제1 노출 시간으로 획득된 픽셀 값들과 제2 노출 시간으로 획득된 픽셀 값들을 분리할 수 있다. 프로세싱 장치(200)는 분리된 픽셀 값들을 이용하여 HDR 이미지(HDAT)를 생성할 수 있다. HDR 이미지(HDAT)의 생성과 관련된 자세한 내용은 도 6 내지 도 12를 참조하여 후술될 것이다.
도 3a 내지 도 3c는 본 발명의 실시 예들에 따른 CFA 패턴의 예시들을 보여주는 도면이다. 도 3a를 참조하면, 픽셀 블록(PB)은 제1 내지 제4 서브 블록들(SB1-SB4)을 포함할 수 있다. 각각의 서브 블록(SB)은 4 개의 픽셀들을 포함할 수 있다. 예를 들어, 제1 서브 블록(SB1)은 제1 내지 제4 픽셀들(P1-P4)을 포함할 수 있다. 픽셀 블록(PB)은 특정 CFA 패턴을 가질 수 있다. 제1 서브 블록(SB1) 및 제4 서브 블록(SB4)은 그린 컬러에 대응하고, 제2 서브 블록(SB2)은 레드 컬러에 대응하고, 제3 서브 블록(SB3)은 블루 컬러에 대응할 수 있다.
도 3b를 참조하면, 픽셀 블록(PB)은 제1 내지 제4 서브 블록들(SB1-SB4)을 포함할 수 있다. 각각의 서브 블록(SB)은 9 개의 픽셀들을 포함할 수 있다. 예를 들어, 제1 서브 블록(SB1)은 제1 내지 제9 픽셀들(P1-P9)을 포함할 수 있다. 픽셀 블록(PB)은 특정 CFA 패턴을 가질 수 있다. 제1 서브 블록(SB1) 및 제4 서브 블록(SB4)은 그린 컬러에 대응하고, 제2 서브 블록(SB2)은 레드 컬러에 대응하고, 제3 서브 블록(SB3)은 블루 컬러에 대응할 수 있다.
도 3c를 참조하면, 픽셀 블록(PB)은 제1 내지 제4 서브 블록들(SB1-SB4)을 포함할 수 있다. 각각의 서브 블록(SB)은 하나의 픽셀을 포함할 수 있다. 예를 들어, 제1 서브 블록(SB1)은 제1 픽셀(P1)을 포함할 수 있다. 픽셀 블록(PB)은 특정 CFA 패턴을 가질 수 있다. 제1 서브 블록(SB1) 및 제4 서브 블록(SB4)은 그린 컬러에 대응하고, 제2 서브 블록(SB2)은 레드 컬러에 대응하고, 제3 서브 블록(SB3)은 블루 컬러에 대응할 수 있다. 도 3c의 CFA 패턴은 베이어 패턴(Bayer pattern)일 수 있다.
도 3a 내지 도 3c의 CFA 패턴들에 따르면, 그린 컬러에 대응하는 픽셀들의 개수, 레드 컬러에 대응하는 픽셀들의 개수, 블루 컬러에 대응하는 픽셀들의 개수는 각각 전체 픽셀들 중 50%, 25%, 25%일 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 그린 컬러, 레드 컬러 및 블루 컬러에 대응하는 픽셀들의 비율은 달라질 수 있다.
도 3a는 4 개의 픽셀들이 동일한 컬러에 대응하고, 도 3b는 9 개의 픽셀들이 동일한 컬러에 대응하는 것으로 도시되었지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 픽셀 블록(PB)은 다양한 개수의 픽셀들을 포함할 수 있고, 동일한 컬러에 대응하는 서브 블록(SB)은 다양한 개수의 픽셀들을 포함할 수 있다.
상술한 바와 같이, 본 발명의 실시 예들에 따른 CFA 패턴은, 도 3a 내지 도 3b에 도시된 바와 같이, 동일한 컬러에 대응하는 복수의 픽셀들이 인접하도록 형성될 수 있거나, 도 3c에 도시된 바와 같이, 서로 다른 컬러에 대응하는 픽셀들이 교차되도록 형성될 수 있다.
도 4a 내지 도 4c는 본 발명의 실시 예들에 따른 노출 패턴의 예시들을 보여준다. 도 4a 내지 도 4c에 도시된 노출 패턴들은 예시들일 뿐이며, 본 발명이 이에 한정되는 것은 아니다. 즉, 픽셀 어레이(121)는 도 4a 내지 도 4c에 도시되지 않은 다양한 노출 패턴들을 가질 수 있다.
도 4a를 참조하면, 4 개의 픽셀들(P1-P4)이 하나의 노출 패턴을 형성할 수 있다. 제1 내지 제3 픽셀들(P1-P3)은 제1 노출 시간에 대응하고, 제4 픽셀(P4)은 제2 노출 시간에 대응할 수 있다. 즉, 2 개의 노출 시간을 기반으로 노출 패턴이 형성될 수 있다. 예를 들어, 제1 노출 시간은 제2 노출 시간보다 길 수 있다. 제1 노출 시간에 대응하는 픽셀들(P1-P3)의 개수는 제2 노출 시간에 대응하는 픽셀(P4)의 개수보다 클 수 있다. 예를 들어, 도 3a의 서브 블록(SB) 또는 도 3c의 픽셀 블록(PB)은 도 4a의 노출 패턴을 가질 수 있다.
도 4b를 참조하면, 9개의 픽셀들(P1-P9)이 하나의 노출 패턴을 형성할 수 있다. 제1 픽셀(P1), 제3 픽셀(P3), 제5 픽셀(P5), 제7 픽셀(P7) 및 제9 픽셀(P9)은 제1 노출 시간에 대응하고, 제2 픽셀(P2), 제4 픽셀(P4), 제6 픽셀(P6) 및 제8 픽셀(P8)은 제2 노출 시간에 대응할 수 있다. 제1 노출 시간에 대응하는 픽셀들의 개수는 제2 노출 시간에 대응하는 픽셀들의 개수보다 클 수 있다. 예를 들어, 도 3b의 서브 블록(SB)은 도 4b의 노출 패턴을 가질 수 있다.
도 4c를 참조하면, 9개의 픽셀들(P1-P9)이 하나의 노출 패턴을 형성할 수 있다. 제1 픽셀(P1), 제3 픽셀(P3), 제7 픽셀(P7) 및 제9 픽셀(P9)은 제1 노출 시간에 대응하고, 제2 픽셀(P2), 제4 픽셀(P4), 제6 픽셀(P6) 및 제8 픽셀(P8)은 제2 노출 시간에 대응하고, 제5 픽셀(P5)은 제3 노출 시간에 대응할 수 있다. 즉, 3 개의 노출 시간을 기반으로 노출 패턴이 형성될 수 있다. 예를 들어, 제1 노출 시간, 제2 노출 시간 및 제3 노출 시간의 순서로 노출 시간이 짧아질 수 있다. 제1 노출 시간에 대응하는 픽셀들의 수 및 제2 노출 시간에 대응하는 픽셀들의 수는 제3 노출 시간에 대응하는 픽셀의 수보다 클 수 있다. 예를 들어, 도 3b의 서브 블록(SB)은 도 4c의 노출 패턴을 가질 수 있다.
상술한 바와 같이, 본 발명의 실시 예들에 따른 노출 패턴에 따르면, 서로 다른 노출 시간에 대응하는 픽셀들의 수는 다를 수 있다. 즉, 각각의 노출 시간에 대응하는 픽셀들의 개수는 동일하지 않을 수 있다.
도 4a 내지 도 4c에는 2 개의 노출 시간 또는 3 개의 노출 시간에 따른 노출 패턴들이 도시되었지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 4 개 이상의 노출 시간을 기반으로 노출 패턴이 형성될 수 있다. 이 경우, 서로 다른 노출 시간에 대응하는 픽셀들의 수가 달라지도록 노출 패턴이 형성될 수 있다.
도 5a 및 도 5b는 본 발명의 실시 예들에 따른 노출 시간에 따라 도 2의 이미징 시스템(1000)이 픽셀들을 제어하는 예시들을 보여준다. 도 2 및 도 5a를 참조하면, 구동 회로(122)는 제1 노출 시간 및 제1 노출 시간보다 짧은 제2 노출 시간에 따라 픽셀들을 제어할 수 있다. 구동 회로(122)는 제1 시간(t1)부터 제3 시간(t3)까지 제1 노출 시간에 대응하는 픽셀들을 제어할 수 있고, 제2 시간(t2)부터 제3 시간(t3)까지 제2 노출 시간에 대응하는 픽셀들을 제어할 수 있다. 예를 들어, 구동 회로(122)는 제1 시간(t1) 및 제3 시간(t3)에 따라 제1 노출 시간에 대응하는 픽셀들 각각의 트랜스퍼 게이트의 온/오프 시간을 제어할 수 있다.
도 2 및 도 5b를 참조하면, 구동 회로(122)는 제1 노출 시간, 제1 노출 시간보다 짧은 제2 노출 시간 및 제2 노출 시간보다 짧은 제3 노출 시간에 따라 픽셀들을 제어할 수 있다. 구동 회로(122)는 제1 시간(t1)부터 제4 시간(t4)까지 제1 노출 시간에 대응하는 픽셀들을 제어할 수 있고, 제2 시간(t2)부터 제4 시간(t4)까지 제2 노출 시간에 대응하는 픽셀들을 제어할 수 있고, 제3 시간(t3)부터 제4 시간(t4)까지 제3 노출 시간에 대응하는 픽셀들을 제어할 수 있다. 예를 들어, 구동 회로(122)는 제1 시간(t1) 및 제4 시간(t4)에 따라 제1 노출 시간에 대응하는 픽셀들 각각의 트랜스퍼 게이트의 온/오프 시간을 제어할 수 있다.
도 5a 및 도 5b에 도시된 바와 같이, 구동 회로(122)는 픽셀들 각각의 트랜스퍼 게이트의 온/오프 시간을 제어하여 픽셀들의 노출 시간을 다르게 할 수 있다. 이 경우, 구동 회로(122)는 픽셀들 각각의 트랜스퍼 게이트의 오프 시간이 동일하도록 픽셀들을 제어할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 구동 회로(122)는 픽셀들 각각의 트랜스퍼 게이트의 온/오프 시간을 다르게 제어하여 픽셀들의 노출 시간을 다르게 할 수 있다.
이하에서는 도 6 내지 도 12를 참조하여 도 2의 프로세싱 장치(200)가 HDR 이미지(HDAT)를 생성하는 동작을 설명할 것이다. 설명의 편의를 위해, 도 4a 또는 도 4b에 도시된 바와 같이, 2 개의 노출 시간 또는 3 개의 노출 시간에 따라 획득된 이미지 데이터(IDAT)를 기반으로 프로세싱 장치(200)가 HDR 이미지(HDAT)를 생성하는 것으로 가정한다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 프로세싱 장치(200)는 4 개 이상의 노출 시간에 따라 획득된 이미지 데이터(IDAT)를 기반으로 HDR 이미지(HDAT)를 생성할 수 있다.
도 6은 도 2의 프로세싱 장치(200)의 하나의 예시를 보여주는 블록도이다. 구체적으로, 도 6은 2 개의 노출 시간에 따라 획득된 이미지 데이터(IDAT)를 기반으로 HDR 이미지(HDAT)를 생성하는 프로세싱 장치(200)를 나타낸다. 도 6을 참조하면, 프로세싱 장치(200)는 패턴 분리 모듈(210), 모션 추정 모듈(220), 베이어 이미지 생성 블록(230) 및 이미지 재구성 모듈(240)을 포함할 수 있다. 베이어 이미지 생성 블록(230)은 제1 베이어 이미지 생성 모듈(231) 및 제2 베이어 이미지 생성 모듈(232)을 포함할 수 있다.
프로세싱 장치(200)의 각각의 모듈들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예를 들어, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 집적 회로, 집적 회로 코어들, 멤즈(Micro Electro Mechanical System; MEMS) 또는 그것들의 조합일 수 있다.
패턴 분리 모듈(210)은 픽셀들 각각에 대한 노출 시간 정보(ETI)를 기반으로 이미지 데이터(IDAT)를 분리할 수 있다. 패턴 분리 모듈(210)은 이미지 데이터(IDAT)에서 동일한 노출 시간에 대응하는 픽셀 값들을 분리할 수 있다. 예를 들어, 패턴 분리 모듈(210)은 제1 노출 시간에 대응하는 제1 픽셀 값들(PX1) 및 제2 노출 시간에 대응하는 제2 픽셀 값들(PX2)을 분리할 수 있다. 이 경우, 제1 픽셀 값들(PX1)에 대응하는 픽셀들의 수는 제2 픽셀 값들(PX2)에 대응하는 픽셀들의 수보다 클 수 있다. 분리된 픽셀 값들(PX)은 베이어 이미지 생성 블록(230)으로 제공될 수 있다.
모션 추정 모듈(220)은 이미지 데이터(IDAT)를 기반으로 모션 정보(MI)를 추정할 수 있다. 모션 정보(MI)는 하나의 프레임에 대한 이미지 데이터(IDAT)가 획득되는 동안 프레임 상의 피사체의 움직임의 크기를 나타낼 수 있다. 예를 들어, 피사체의 움직임이 큰 경우의 모션 정보(MI)는 피사체의 움직임이 작은 경우의 모션 정보(MI)보다 클 수 있다. 피사체의 움직임의 크기는 영역(또는, 픽셀) 별로 다를 수 있다. 예를 들어, 모션 추정 모듈(220)은 특정 영역에서 이미지 데이터(IDAT)의 제1 픽셀 값들(PX1)과 제2 픽셀 값들(PX2)을 비교하여 특정 영역에서의 모션 정보(MI)를 추정할 수 있다. 모션 추정 모듈(220)은 제1 픽셀 값들(PX1)과 제2 픽셀 값들(PX2)이 동일한 휘도를 갖도록 픽셀 값들을 보정할 수 있다. 보정 후, 모션 추정 모듈(220)은 제1 픽셀 값들(PX1)과 제2 픽셀 값들(PX2)의 차이를 기반으로 모션 정보(MI)를 추정할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 모션 추정 모듈(220)은 다양한 방법에 기초하여 모션 정보(MI)를 추정할 수 있다.
예시적으로, 피사체의 움직임을 감지하는 모션 감지 센서가 존재하는 경우, 모션 추정 모듈(220)은 모션 감지 센서로부터 출력된 센싱 정보를 추가적으로 반영하여 모션 정보(MI)를 추정할 수 있다. 모션 정보(MI)는 베이어 이미지 생성 블록(230) 및 이미지 재구성 모듈(240)로 제공될 수 있다.
베이어 이미지 생성 블록(230)은 픽셀 값들(PX)을 기반으로 베이어 이미지(BI)를 생성할 수 있다. 베이어 이미지(BI)는 도 3c에 도시된 바와 같이, 베이어 패턴을 가지는 이미지일 수 있다.
제1 베이어 이미지 생성 모듈(231)은 제1 픽셀 값들(PX1)을 기반으로 제1 베이어 이미지(BI1)를 생성할 수 있다. 예를 들어, 제1 베이어 이미지 생성 모듈(231)은 제1 픽셀 값들(PX1)을 이용하여 보간 이미지를 생성하고, 보간 이미지를 베이어 패턴으로 변환하여 제1 베이어 이미지(BI1)를 생성할 수 있다. 제1 베이어 이미지(BI1)는 제1 노출 시간에 대응하는 픽셀 값들만을 포함할 수 있다.
예시적으로, 제1 베이어 이미지 생성 모듈(231)은 제1 베이어 이미지(BI1)를 생성하기 위해 제2 픽셀 값들(PX2) 및 모션 정보(MI)를 추가로 이용할 수 있다. 이 경우, 제1 베이어 이미지 생성 모듈(231)은 모션 정보(MI)에 따라 제1 픽셀 값들(PX1)의 가중치와 제2 픽셀 값들(PX2)의 가중치를 결정할 수 있다. 제1 베이어 이미지 생성 모듈(231)은 가중치들에 따라 제1 픽셀 값들(PX1) 및 제2 픽셀 값들(PX2)을 이용하여 제1 베이어 이미지(BI1)를 생성할 수 있다.
제2 베이어 이미지 생성 모듈(232)은 제2 픽셀 값들(PX2) 및 제1 베이어 이미지(BI1)를 기반으로 제2 베이어 이미지(BI2)를 생성할 수 있다. 예를 들어, 제2 베이어 이미지 생성 모듈(232)은 제2 픽셀 값들(PX2)과 제1 베이어 이미지(BI1)의 픽셀 값들을 이용하여 제2 베이어 이미지(BI2)의 픽셀 값들을 보간할 수 있다. 제2 베이어 이미지 생성 모듈(232)은 제2 픽셀 값들(PX2)의 가중치와 제1 베이어 이미지(BI1)의 픽셀 값들의 가중치에 따라 제2 베이어 이미지(BI2)의 픽셀 값들을 보간할 수 있다. 제2 픽셀 값들(PX2)의 가중치와 제1 베이어 이미지(BI1)의 픽셀 값들의 가중치는 모션 정보(MI)에 따라 결정될 수 있다. 예를 들어, 모션 정보(MI)가 큰 영역에서, 제2 픽셀 값들(PX2)의 가중치는 제1 베이어 이미지(BI1)의 픽셀 값들의 가중치보다 크게 결정될 수 있다. 제2 베이어 이미지(BI2)는 제2 노출 시간에 대응하는 픽셀 값들만을 포함할 수 있다. 예시적으로, 제2 베이어 이미지 생성 모듈(232)은 제2 베이어 이미지(BI2)를 생성하기 위해 제1 픽셀 값들(PX1)을 추가로 이용할 수 있다.
이미지 재구성 모듈(240)은 제1 및 제2 베이어 이미지들(BI1, BI2)에 기초하여 HDR 이미지(HDAT)를 생성할 수 있다. 예를 들어, 이미지 재구성 모듈(240)은 제1 베이어 이미지(BI1)의 가중치 및 제2 베이어 이미지(BI2)의 가중치에 따라 제1 베이어 이미지(BI1) 및 제2 베이어 이미지(BI2)를 합성할 수 있다. 각각의 가중치는 모션 정보(MI)에 따라 결정될 수 있다. 예를 들어, 모션 정보(MI)가 큰 영역에서, 제1 베이어 이미지(BI1)의 가중치는 제2 베이어 이미지(BI2)의 가중치보다 작게 결정될 수 있다.
상술한 바와 같이, 본 발명의 하나의 실시 예에 따른 프로세싱 장치(200)는 제1 노출 시간에 대응하는 제1 픽셀 값들(PX1)을 기반으로 제1 베이어 이미지(BI1)를 생성할 수 있다. 제1 픽셀 값들(PX1)에 대응하는 픽셀들의 수는 제2 픽셀 값들(PX2)에 대응하는 픽셀들의 수보다 크므로, 제1 픽셀 값들(PX1)을 기반으로 생성된 제1 베이어 이미지(BI1)는 선명도가 상대적으로 높을 수 있다. 제1 베이어 이미지(BI1)를 기반으로 생성된 제2 베이어 이미지(BI2)의 선명도 또한 상대적으로 높을 수 있다. 이에 따라, 제1 베이어 이미지(BI1) 및 제2 베이어 이미지(BI2)를 기반으로 생성된 HDR 이미지(HDAT)의 선명도는 상대적으로 높을 수 있다. 즉, HDR 이미지(HDAT)의 화질이 향상될 수 있다. 또한, 프로세싱 장치(200)는 피사체의 모션 정보(MI)를 반영하여 베이어 이미지들(BI1, BI2) 및 HDR 이미지(HDAT)를 생성할 수 있다. 따라서, HDR 이미지(HDAT)에 피사체의 움직임에 따른 결함 발생 가능성이 감소될 수 있다.
도 7은 도 6의 프로세싱 장치(200)의 동작에 따라 생성되는 이미지들의 예시를 보여주는 도면이다. 도 6 및 도 7을 참조하면, 프로세싱 장치(200)는 시간에 따라 이미지 데이터(IDAT)를 기반으로 다양한 이미지 데이터를 생성할 수 있다.
패턴 분리 모듈(210)은 이미지 데이터(IDAT)를 수신할 수 있다. 이미지 데이터(IDAT)는 도 3a의 CFA 패턴을 가지는 픽셀들(P1-P16)로부터 획득된 픽셀 값들(V1-V16)을 포함할 수 있다. 픽셀 값들(V1-V16)은 도 4a의 노출 패턴에 기초하여 획득될 수 있다. 여기서, 픽셀 값들(V1-V36)은 픽셀들(P1-P36)의 픽셀 값일 수 있다.
패턴 분리 모듈(210)은 이미지 데이터(IDAT)에서 제1 픽셀 값들(PX1)과 제2 픽셀 값들(PX2)을 분리할 수 있다. 제1 픽셀 값들(PX1)은 제1 노출 시간에 대응하는 12 개의 픽셀 값들을 포함하고, 제2 픽셀 값들(PX2)은 제2 노출 시간에 대응하는 4 개의 픽셀 값들을 포함할 수 있다.
제1 베이어 이미지 생성 모듈(231)은 제1 픽셀 값들(PX1)을 기반으로 보간 이미지(ITI)를 생성할 수 있다. 제1 베이어 이미지 생성 모듈(231)은 제1 픽셀 값들(PX1)을 이용하여 보간 이미지(ITI)의 픽셀 값들(T1-T16)을 보간할 수 있다. 여기서, 픽셀 값들(T1-T16)은 픽셀들(P1-P16)에 대응하는 위치의 픽셀 값일 수 있다.
제1 베이어 이미지 생성 모듈(231)은 보간 이미지(ITI)를 변환하여 베이어 패턴을 가지는 제1 베이어 이미지(BI1)를 생성할 수 있다. 이 경우, 제1 베이어 이미지(BI1)의 픽셀 값들(M1-M16)은 제1 노출 시간에 대응할 수 있다. 여기서, 픽셀 값들(M1-M16)은 픽셀들(P1-P16)에 대응하는 위치의 픽셀 값일 수 있다.
제2 베이어 이미지 생성 모듈(232)은 제2 픽셀 값들(PX2)과 제1 베이어 이미지(BI1)의 픽셀 값들(M1-M16)을 기반으로 제2 베이어 이미지(BI2)를 생성할 수 있다. 제2 베이어 이미지 생성 모듈(232)은 제2 베이어 이미지(BI2)가 베이어 패턴을 가지도록 제2 베이어 이미지(BI2)의 픽셀 값들(N1-N16)을 보간할 수 있다. 여기서, 픽셀 값들(N1-N16)은 픽셀들(P1-P16)에 대응하는 위치의 픽셀 값일 수 있다. 이 경우, 제2 베이어 이미지(BI2)의 픽셀 값들(N1-N16)은 제2 노출 시간에 대응할 수 있다.
도 7에는 제2 베이어 이미지(BI2)가 보간을 통해 바로 생성되는 것으로 도시되었지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 제1 베이어 이미지(BI1)와 같이, 보간을 통해 보간 이미지가 생성되고, 보간 이미지가 베이어 패턴으로 변환되어 제2 베이어 이미지(BI2)가 생성될 수 있다.
이미지 재구성 모듈(240)은 제1 베이어 이미지(BI1) 및 제2 베이어 이미지(BI2)를 합성하여 HDR 이미지(HDAT)의 픽셀 값들(H1-H16)을 생성할 수 있다. 이에 따라, 베이어 패턴의 HDR 이미지(HDAT)가 생성될 수 있다.
도 7에 도시된 바와 같이, 제1 베이어 이미지(BI1) 및 제2 베이어 이미지(BI2)의 해상도는 이미지 데이터(IDAT)의 해상도와 동일할 수 있다. 이미지 데이터(IDAT)의 해상도는 픽셀 어레이(121)의 픽셀들의 수와 동일할 수 있다. 즉, 제1 베이어 이미지(BI1)의 해상도 및 제2 베이어 이미지(BI2)의 해상도는 이미지 센서(120)의 해상도와 동일할 수 있다. 또한, 제1 베이어 이미지(BI1) 및 제2 베이어 이미지(BI2)로부터 생성되는 HDR 이미지(HDAT)의 해상도는 이미지 센서(120)의 해상도와 동일할 수 있다. 따라서, 프로세싱 장치(200)는 해상도가 감소되지 않는 고해상도의 HDR 이미지(HDAT)를 생성할 수 있다.
도 8은 도 2의 프로세싱 장치(200)의 하나의 예시를 보여주는 블록도이다. 구체적으로, 도 8은 3 개의 노출 시간에 따라 획득된 이미지 데이터(IDAT)를 기반으로 HDR 이미지(HDAT)를 생성하는 프로세싱 장치(200)를 나타낸다. 도 8을 참조하면, 프로세싱 장치(200)는 패턴 분리 모듈(210), 모션 추정 모듈(220), 베이어 이미지 생성 블록(230) 및 이미지 재구성 모듈(240)을 포함할 수 있다. 베이어 이미지 생성 블록(230)은 제1 베이어 이미지 생성 모듈(233), 제2 베이어 이미지 생성 모듈(234) 및 제3 베이어 이미지 생성 모듈(235)을 포함할 수 있다.
도 8의 패턴 분리 모듈(210), 모션 추정 모듈(220), 베이어 이미지 생성 블록(230) 및 이미지 재구성 모듈(240)은 도 6의 패턴 분리 모듈(210), 모션 추정 모듈(220), 베이어 이미지 생성 블록(230) 및 이미지 재구성 모듈(240)과 실질적으로 동일 또는 유사하게 동작할 수 있으므로, 중복되는 설명은 생략될 수 있다.
패턴 분리 모듈(210)은 노출 시간 정보(ETI)를 기반으로 이미지 데이터(IDAT)에서 제1 노출 시간에 대응하는 제1 픽셀 값들(PX1), 제2 노출 시간에 대응하는 제2 픽셀 값들(PX2) 및 제3 노출 시간에 대응하는 제3 픽셀 값들(PX3)을 분리할 수 있다. 제1 픽셀 값들(PX1)에 대응하는 픽셀들의 수는 제3 픽셀 값들(PX3)에 대응하는 픽셀들의 수보다 클 수 있다. 제2 픽셀 값들(PX2)에 대응하는 픽셀들의 수는 제1 픽셀 값들(PX1)에 대응하는 픽셀들의 수 이하이고, 제3 픽셀 값들(PX3)에 대응하는 픽셀들의 수 이상일 수 있다. 즉, 각각의 픽셀 값들(PX)에 대응하는 픽셀들의 수는 모두 다르거나, 두 픽셀 값들(PX)(예를 들어, 제1 픽셀 값들(PX1) 및 제2 픽셀 값들(PX2))에 대응하는 픽셀들의 수는 동일하고 나머지 픽셀 값들(PX)(예를 들어, 제3 픽셀 값들(PX3))에 대응하는 픽셀들의 수는 다를 수 있다. 분리된 픽셀 값들(PX)은 베이어 이미지 생성 블록(230)으로 제공될 수 있다.
모션 추정 모듈(220)은 이미지 데이터(IDAT)를 기반으로 모션 정보(MI)를 추정할 수 있다. 모션 정보(MI)는 제1 모션 정보(MI1)와 제2 모션 정보(MI2)를 포함할 수 있다. 제1 모션 정보(MI1)는 이미지 데이터(IDAT) 중 제1 픽셀 값들(PX1)과 제2 픽셀 값들(PX2)을 기반으로 추정되고, 제2 모션 정보(MI2)는 이미지 데이터(IDAT) 중 제2 픽셀 값들(PX2)과 제3 픽셀 값들(PX3)을 기반으로 추정될 수 있다. 모션 추정 모듈(220)은 모션 정보(MI)를 베이어 이미지 생성 블록(230) 및 이미지 재구성 모듈(240)로 제공할 수 있다.
제1 베이어 이미지 생성 모듈(233)은 제1 픽셀 값들(PX1)을 기반으로 제1 베이어 이미지(BI1)를 생성할 수 있다. 예를 들어, 제1 베이어 이미지 생성 모듈(233)은 제1 픽셀 값들(PX1)을 이용하여 보간 이미지를 생성하고, 보간 이미지를 베이어 패턴으로 변환하여 제1 베이어 이미지(BI1)를 생성할 수 있다. 제1 베이어 이미지(BI1)는 제1 노출 시간에 대응하는 픽셀 값들만을 포함할 수 있다.
예시적으로, 제1 베이어 이미지 생성 모듈(233)은 제1 베이어 이미지(BI1)를 생성하기 위해 제2 픽셀 값들(PX2) 및 제1 모션 정보(MI1)를 추가로 이용할 수 있다. 이 경우, 제1 베이어 이미지 생성 모듈(233)은 제1 모션 정보(MI1)에 따라 제1 픽셀 값들(PX1)의 가중치와 제2 픽셀 값들(PX2)의 가중치를 결정할 수 있다. 제1 베이어 이미지 생성 모듈(233)은 가중치들에 따라 제1 픽셀 값들(PX1) 및 제2 픽셀 값들(PX2)을 이용하여 제1 베이어 이미지(BI1)를 생성할 수 있다.
제2 베이어 이미지 생성 모듈(234)은 제2 픽셀 값들(PX2) 및 제1 베이어 이미지(BI1)를 기반으로 제2 베이어 이미지(BI2)를 생성할 수 있다. 예를 들어, 제2 베이어 이미지 생성 모듈(234)은 제2 픽셀 값들(PX2)과 제1 베이어 이미지(BI1)의 픽셀 값들을 이용하여 제2 베이어 이미지(BI2)의 픽셀 값들을 보간할 수 있다. 제2 베이어 이미지 생성 모듈(234)은 제2 픽셀 값들(PX2)의 가중치와 제1 베이어 이미지(BI1)의 픽셀 값들의 가중치에 따라 제2 베이어 이미지(BI2)의 픽셀 값들을 보간할 수 있다. 제2 픽셀 값들(PX2)의 가중치와 제1 베이어 이미지(BI1)의 픽셀 값들의 가중치는 제1 모션 정보(MI1)에 따라 결정될 수 있다. 예를 들어, 제1 모션 정보(MI1)가 큰 영역에서, 제2 픽셀 값들(PX2)의 가중치는 제1 베이어 이미지(BI1)의 픽셀들의 가중치보다 크게 결정될 수 있다. 제2 베이어 이미지(BI2)는 제2 노출 시간에 대응하는 픽셀 값들만을 포함할 수 있다. 예시적으로, 제2 베이어 이미지 생성 모듈(234)은 제2 베이어 이미지(BI2)를 생성하기 위해 제1 픽셀 값들(PX1)을 추가로 이용할 수 있다.
제3 베이어 이미지 생성 모듈(235)은 제3 픽셀 값들(PX3) 및 제2 베이어 이미지(BI2)를 기반으로 제3 베이어 이미지(BI3)를 생성할 수 있다. 예를 들어, 제3 베이어 이미지 생성 모듈(235)은 제3 픽셀 값들(PX3)과 제2 베이어 이미지(BI2)의 픽셀 값들을 이용하여 제3 베이어 이미지(BI3)의 픽셀 값들을 보간할 수 있다. 제3 베이어 이미지 생성 모듈(235)은 제3 픽셀 값들(PX3)의 가중치와 제2 베이어 이미지(BI2)의 픽셀 값들의 가중치에 따라 제3 베이어 이미지(BI3)의 픽셀 값들을 보간할 수 있다. 제3 픽셀 값들(PX3)의 가중치와 제2 베이어 이미지(BI2)의 픽셀 값들의 가중치는 제2 모션 정보(MI2)에 따라 결정될 수 있다. 예를 들어, 제2 모션 정보(MI2)가 큰 영역에서, 제3 픽셀 값들(PX3)의 가중치는 제2 베이어 이미지(BI2)의 가중치보다 크게 결정될 수 있다. 제3 베이어 이미지(BI3)는 제3 노출 시간에 대응하는 픽셀 값들만을 포함할 수 있다. 예시적으로, 제3 베이어 이미지 생성 모듈(235)은 제3 베이어 이미지(BI3)를 생성하기 위해 제2 픽셀 값들(PX2)을 추가로 이용할 수 있다.
이미지 재구성 모듈(240)은 제1 내지 제3 베이어 이미지들(BI1, BI2, BI3)에 기초하여 HDR 이미지(HDAT)를 생성할 수 있다. 예를 들어, 이미지 재구성 모듈(240)은 제1 베이어 이미지(BI1)의 가중치, 제2 베이어 이미지(BI2)의 가중치 및 제3 베이어 이미지(BI3)의 가중치에 따라 제1 내지 제3 베이어 이미지들(BI1-BI3)을 합성할 수 있다. 각각의 가중치는 제1 모션 정보(MI1) 및 제2 모션 정보(MI2)에 따라 결정될 수 있다.
상술한 바와 같이, 본 발명의 하나의 실시 예에 따른 프로세싱 장치(200)는 이전에 생성된 베이어 이미지를 이용하여 각각의 노출 시간에 대응하는 베이어 이미지를 순차적으로 생성할 수 있다. 프로세싱 장치(200)는 다양한 노출 시간에 대응하는 베이어 이미지들을 기반으로 HDR 이미지(HDAT)를 생성할 수 있다. 이에 따라, 프로세싱 장치(200)는 밝기가 세밀하게 조절된 HDR 이미지(HDAT)를 생성할 수 있다.
도 9는 도 8의 프로세싱 장치(200)의 동작에 따라 생성되는 이미지들의 예시를 보여주는 도면이다. 도 8 및 도 9를 참조하면, 프로세싱 장치(200)는 시간에 따라 이미지 데이터(IDAT)를 기반으로 다양한 이미지 데이터를 생성할 수 있다.
패턴 분리 모듈(210)은 이미지 데이터(IDAT)를 수신할 수 있다. 이미지 데이터(IDAT)는 도 3b의 CFA 패턴을 가지는 픽셀들(P1-P36)로부터 획득된 픽셀 값들(V1-V36)을 포함할 수 있다. 픽셀 값들(V1-V36)은 도 4c의 노출 패턴에 기초하여 획득될 수 있다. 여기서, 픽셀 값들(V1-V36)은 픽셀들(P1-P36)의 픽셀 값일 수 있다.
패턴 분리 모듈(210)은 이미지 데이터(IDAT)에서 제1 픽셀 값들(PX1), 제2 픽셀 값들(PX2) 및 제3 픽셀 값들(PX3)을 분리할 수 있다. 제1 픽셀 값들(PX1)은 제1 노출 시간에 대응하는 16 개의 픽셀 값들을 포함하고, 제2 픽셀 값들(PX2)은 제2 노출 시간에 대응하는 16 개의 픽셀 값들을 포함하고, 제3 픽셀 값들(PX3)은 제3 노출 시간에 대응하는 4 개의 픽셀 값들 포함할 수 있다.
제1 베이어 이미지 생성 모듈(233)은 제1 픽셀 값들(PX1)을 기반으로 보간 이미지(ITI)를 생성할 수 있다. 제1 베이어 이미지 생성 모듈(233)은 제1 픽셀 값들(PX1)을 이용하여 보간 이미지(ITI)의 픽셀 값들(T1-T36)을 보간할 수 있다. 여기서, 픽셀 값들(T1-T36)은 픽셀들(P1-P36)에 대응하는 위치의 픽셀 값일 수 있다.
제1 베이어 이미지 생성 모듈(233)은 보간 이미지(ITI)를 변환하여 베이어 패턴을 가지는 제1 베이어 이미지(BI1)를 생성할 수 있다. 이 경우, 제1 베이어 이미지(BI1)의 픽셀 값들(M1-M36)은 제1 노출 시간에 대응할 수 있다. 여기서, 픽셀 값들(M1-M36)은 픽셀들(P1-P36)에 대응하는 위치의 픽셀 값일 수 있다.
제2 베이어 이미지 생성 모듈(234)은 제2 픽셀 값들(PX2)과 제1 베이어 이미지(BI1)의 픽셀 값들(M1-M36)을 기반으로 제2 베이어 이미지(BI2)를 생성할 수 있다. 제2 베이어 이미지 생성 모듈(234)은 제2 베이어 이미지(BI2)가 베이어 패턴을 가지도록 제2 베이어 이미지(BI2)의 픽셀 값들(N1-N36)을 보간할 수 있다. 여기서, 픽셀 값들(N1-N36)은 픽셀들(P1-P36)에 대응하는 위치의 픽셀 값일 수 있다. 이 경우, 제2 베이어 이미지(BI2)의 픽셀 값들(N1-N36)은 제2 노출 시간에 대응할 수 있다.
제3 베이어 이미지 생성 모듈(235)은 제3 픽셀 값들(PX3)과 제2 베이어 이미지(BI2)의 픽셀 값들(N1-N36)을 기반으로 제3 베이어 이미지(BI3)를 생성할 수 있다. 제3 베이어 이미지 생성 모듈(235)은 제3 베이어 이미지(BI3)가 베이어 패턴을 가지도록 제3 베이어 이미지(BI3)의 픽셀 값들(L1-L36)을 보간할 수 있다. 여기서, 픽셀 값들(L1-L36)은 픽셀들(P1-P36)에 대응하는 위치의 픽셀 값일 수 있다. 이 경우, 제3 베이어 이미지(BI3)의 픽셀 값들(L1-L36)은 제3 노출 시간에 대응할 수 있다.
도 9에는 제2 베이어 이미지(BI2) 및 제3 베이어 이미지(BI3)가 보간을 통해 바로 생성되는 것으로 도시되었지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 제1 베이어 이미지(BI1)와 같이, 보간을 통해 보간 이미지가 생성되고, 보간 이미지가 베이어 패턴으로 변환되어 제2 베이어 이미지(BI2) 및 제3 베이어 이미지(BI3)가 생성될 수 있다.
이미지 재구성 모듈(240)은 제1 베이어 이미지(BI1), 제2 베이어 이미지(BI2) 및 제3 베이어 이미지(BI3)를 합성하여 HDR 이미지(HDAT)의 픽셀 값들(H1-H36)을 생성할 수 있다. 이에 따라, 베이어 패턴의 HDR 이미지(HDAT)가 생성될 수 있다.
도 9에 도시된 바와 같이, 제1 베이어 이미지(BI1), 제2 베이어 이미지(BI2) 및 제3 베이어 이미지(BI3)의 해상도는 이미지 데이터(IDAT)의 해상도와 동일할 수 있다. 이미지 데이터(IDAT)의 해상도는 픽셀 어레이(121)의 픽셀들의 수와 동일할 수 있다. 즉, 제1 내지 제3 베이어 이미지들(BI1-BI3)의 해상도는 이미지 센서(120)의 해상도와 동일할 수 있다. 제1 내지 제3 베이어 이미지들(BI1-BI3)로부터 생성되는 HDR 이미지(HDAT)의 해상도는 이미지 센서(120)의 해상도와 동일할 수 있다. 따라서, 프로세싱 장치(200)는 해상도가 감소되지 않는 고해상도의 HDR 이미지(HDAT)를 생성할 수 있다.
이하에서는, 설명의 편의를 위해, 도 6의 프로세싱 장치(200)를 기준으로 본 발명의 실시 예들에 따른 프로세싱 장치(200)의 동작들을 설명할 것이다.
도 10은 도 6의 프로세싱 장치(200)가 HDR 이미지를 생성하는 동작을 예시적으로 보여주는 순서도이다. 도 6 및 도 10을 참조하면, S201 단계에서, 프로세싱 장치(200)는 하나의 프레임에 대한 이미지 데이터(IDAT)를 수신할 수 있다. 이미지 데이터(IDAT)는 이미지 센서(120)로부터 획득될 수 있다. S202 단계에서, 프로세싱 장치(200)는 노출 시간에 따라 이미지 데이터(IDAT)의 픽셀 값들을 분리할 수 있다. 프로세싱 장치(200)는 제1 픽셀 값들(PX1) 및 제2 픽셀 값들(PX2)을 분리할 수 있다.
S203 단계에서, 프로세싱 장치(200)는 제1 픽셀 값들(PX1)을 기반으로 제1 베이어 이미지(BI1)를 생성할 수 있다. S204 단계에서, 프로세싱 장치(200)는 제1 베이어 이미지(BI1)를 기반으로 제2 베이어 이미지(BI2)를 생성할 수 있다. 프로세싱 장치(200)는 제2 베이어 이미지(BI2)를 생성하기 위해 제2 픽셀 값들(PX2)을 추가로 이용할 수 있다. S205 단계에서, 프로세싱 장치(200)는 제1 및 제2 베이어 이미지들(BI1, BI2)을 기반으로 HDR 이미지(HDAT)를 생성할 수 있다.
도 11은 도 6의 제2 베이어 이미지 생성 모듈(232)의 추가적인 동작의 예시를 보여주는 블록도이다. 도 11을 참조하면, 제2 베이어 이미지 생성 모듈(232)은 제2 픽셀 값들(PX2) 및 제1 베이어 이미지(BI1)의 픽셀 값들(BPX)을 수신할 수 있다.
제2 베이어 이미지 생성 모듈(232)은 포화 검출 모듈(236)을 포함할 수 있다. 포화 검출 모듈(236)은 제1 베이어 이미지(BI1)의 포화 영역을 검출할 수 있다. 포화 영역은 포화된 픽셀들을 포함할 수 있다. 포화된 픽셀은 왜곡된 컬러 값을 가지는 픽셀일 수 있다. 예를 들어, 포화 검출 모듈(236)은 픽셀 값들(BPX) 각각의 컬러 값이 임계값을 초과하는지 여부에 따라 포화된 픽셀을 판별할 수 있다. 여기서, 임계값은 포화된 픽셀을 판별하기 위해 기준이 되는 값일 수 있다. 포화 검출 모듈(236)은 포화된 픽셀을 기반으로 포화 영역을 검출하고, 포화 정보를 생성할 수 있다.
제2 베이어 이미지 생성 모듈(232)은 제1 베이어 이미지(BI1)의 포화 정보를 이용하여 제2 베이어 이미지(BI2)를 생성하기 위한 픽셀들(BPX)의 가중치를 결정할 수 있다. 예를 들어, 제2 베이어 이미지 생성 모듈(232)은 포화 영역의 픽셀 값들(BPX)의 가중치를 0 으로 결정할 수 있다. 이 경우, 제2 베이어 이미지 생성 모듈(232)은 포화 영역의 픽셀 값들(BPX)을 이용하지 않고 제2 베이어 이미지(BI2)의 픽셀 값들을 생성할 수 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 프로세싱 장치(200)는 제2 베이어 이미지(BI2)를 생성하기 위해 모션 정보(MI)뿐만 아니라 제1 베이어 이미지(BI1)의 포화 정보를 이용할 수 있다. 포화 정보가 이용되는 경우, 프로세싱 장치(200)는 포화된 픽셀 값을 제외하고 HDR 이미지(HDAT)를 생성할 수 있다. 이에 따라, HDR 이미지(HDAT)의 화질이 향상될 수 있다.
도 12는 도 6의 프로세싱 장치(200)가 제2 베이어 이미지(BI2)를 생성하는 동작을 예시적으로 보여주는 순서도이다. 도 6, 도 11 및 도 12를 참조하면, S211 단계에서, 프로세싱 장치(200)는 포화 정보 및 모션 정보(MI)를 획득할 수 있다. 프로세싱 장치(200)는 포화 검출 모듈(236)을 통해 제1 베이어 이미지(BI1)의 포화 영역을 검출하고, 포화 정보를 획득할 수 있다. 프로세싱 장치(200)는 모션 추정 모듈(220)을 통해 피사체의 모션 정보(MI)를 획득할 수 있다.
S212 단계에서, 프로세싱 장치(200)는 제1 베이어 이미지(BI1)의 픽셀 값들(BPX)에 대한 가중치를 결정할 수 있다. 프로세싱 장치(200)는 포화 정보 및 모션 정보(MI) 중 적어도 하나에 기초하여 픽셀 값들(BPX)에 대한 가중치를 결정할 수 있다. 예를 들어, 프로세싱 장치(200)는 모션 정보(MI)와 관계없이 포화 영역의 픽셀들(BPX)의 가중치를 0 으로 결정할 수 있다.
S213 단계에서, 프로세싱 장치(200)는 결정된 가중치에 따라 제2 베이어 이미지(BI2)를 생성할 수 있다. 프로세싱 장치(200)는 제2 픽셀 값들(PX2)의 가중치 및 제1 베이어 이미지(BI1)의 픽셀 값들(BPX)의 가중치에 따라 제2 베이어 이미지(BI2)를 생성할 수 있다. 제2 픽셀 값들(PX2)의 가중치는 픽셀 값들(BPX)의 가중치에 의존할 수 있다. 예를 들어, 픽셀 값들(BPX)의 가중치가 감소되면, 제2 픽셀 값들(PX2)의 가중치가 증가될 수 있다. 이에 따라, 프로세싱 장치(200)는 각각의 가중치를 반영하여 제2 베이어 이미지(BI2)를 생성할 수 있다.
도 13은 도 2의 이미징 시스템(1000)의 예시적인 동작을 보여주는 순서도이다. 도 2 및 도 13을 참조하면, S1100 단계에서, 이미징 시스템(1000)은 피사 환경의 다이내믹 레인지를 판별할 수 있다. 이미징 시스템(1000)은 컨트롤러(300)를 통해 이미지 데이터(IDAT)를 기반으로 다이내믹 레인지를 판별할 수 있다. 예를 들어, 컨트롤러(300)는 이미지 데이터(IDAT)의 통계 정보를 기반으로 다이내믹 레인지를 판별할 수 있다. S1200 단계에서, 이미징 시스템(1000)은 다이내믹 레인지가 기준 값 이하인지 여부를 판별할 수 있다. 예를 들어, 기준 값은 84dB 일 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
다이내믹 레인지가 기준 값 이하인 경우, S1300 단계에서, 이미징 시스템(1000)은 본 발명에 따라 HDR 이미지(HDAT)를 생성할 수 있다. 즉, 도 1 내지 도 12를 참조하여 설명된 바에 따라, HDR 이미지(HDAT)가 생성될 수 있다. 예를 들어, 이미징 시스템(1000)은 픽셀 별 노출 시간을 조절하여 도 4a 내지 도 4c의 노출 패턴을 형성할 수 있다. 이미징 시스템(1000)은 노출 패턴에 따라 하나의 프레임에 대한 이미지 데이터(IDAT)를 획득할 수 있다. 이미징 시스템(1000)은 이미지 데이터(IDAT)를 기반으로 각각의 노출 시간에 대응하는 베이어 이미지들을 순차적으로 생성할 수 있다. 이 경우, 이미징 시스템(1000)은 이전에 생성된 베이어 이미지를 이용하여 다음 베이어 이미지를 생성할 수 있다. 이미징 시스템(1000)은 베이어 이미지들을 기반으로 HDR 이미지(HDAT)를 생성할 수 있다.
다이내믹 레인지가 기준 값보다 큰 경우, 이미징 시스템(1000)은 본 발명과 다른 방법을 이용하여 HDR 이미지(HDAT)를 생성할 수 있다. 예를 들어, 이미징 시스템(1000)은 본 발명과 다른 방식으로 노출 패턴을 형성하거나 이미지 데이터(IDAT)를 처리할 수 있다.
상술한 바와 같이, 이미징 시스템(1000)은 피사 환경의 다이내믹 레인지에 따라 HDR 이미지(HDAT)를 생성하기 위한 이미지 데이터(IDAT)의 처리 방식을 선택할 수 있다.
도 14는 본 발명의 실시 예에 따른 이미징 시스템이 적용되는 하나의 예시를 나타내는 블록도이다. 도 14를 참조하면, 이미징 시스템(2000)은 이미징 센싱 장치(2100) 및 이미지 신호 프로세서(2200)를 포함할 수 있다. 이미징 센싱 장치(2100)는 이미지 데이터를 획득하고, 획득된 이미지 데이터를 이미지 신호 프로세서(2200)로 제공할 수 있다. 이미지 신호 프로세서(2200)는 HDR 모듈(2210), 노이즈 감소 모듈(2220), 화이트 밸런스 모듈(2230), 디모자이킹 모듈(2240), 감마 보정 모듈(2250), 컬러 변환 모듈(2260)을 포함할 수 있다.
HDR 모듈(2210)은 이미징 센싱 장치(2100)로부터의 이미지 데이터로부터 HDR 이미지를 생성할 수 있다. HDR 모듈(2210)은 도 1 내지 도 13을 참조하여 설명된 프로세싱 장치(200)의 기능을 포함할 수 있다. 예를 들어, HDR 모듈(2210)은 이미지 데이터를 기반으로 각각의 노출 시간에 대응하는 베이어 이미지들을 순차적으로 생성하고, 베이어 이미지들을 기반으로 HDR 이미지를 생성할 수 있다. 이에 따라, 해상도가 감소되지 않은 고해상도 및 고화질의 HDR 이미지가 생성될 수 있다.
노이즈 감소 모듈(2220)은 HDR 모듈(2210)로부터의 로우 데이터의 잡음을 제거하도록 구성될 수 있다. 화이트 밸런스 모듈(2230)은 잡음이 제거된 데이터에 대하여, 화이트 밸런스 게인을 조절할 수 있다.
디모자이킹 모듈(2240)은 화이트 밸런스 모듈(2230)의 출력을 풀-컬러 데이터로 변환하도록 구성될 수 있다. 예를 들어, 화이트 밸런스 모듈(2230)의 출력은 베이어 패턴을 가질 수 있다. 디모자이킹 모듈(2240)은 베이어 패턴을 RGB 포맷으로 변환하도록 구성될 수 있다.
감마 보정 모듈(2250)은 디모자이킹 모듈(2240)로부터의 출력을 기반으로 이미지에 대한 감마 값을 보정하도록 구성될 수 있다. 컬러 변환 모듈(2260)은 감마 보정 모듈(2250)로부터의 출력을 특정 포맷으로 변환하도록 구성될 수 있다. 예를 들어, 감마 보정 모듈(2250)로부터의 출력은 RGB 포맷을 가질 수 있다. 컬러 변환 모듈(2260)은 RGB 포맷을 갖는 감마 보정 모듈(2250)로부터의 출력을 YUV 포맷으로 변환할 수 있다.
상술된 바와 같이, HDR 모듈(2210)을 통해 생성된 HDR 이미지는 다양한 모듈들을 통해 후처리될 수 있다. 도 14에서는 HDR 모듈(2210)로부터 생성된 HDR 이미지가 노이즈 감소 모듈(2220)로 제공되는 것으로 도시되었으나, 본 발명은 이에 한정되지 않는다. 예를 들어, HDR 모듈(2210)은 노이즈 감소 모듈(2220)을 통해 잡음이 제거된 이미지 데이터로부터 HDR 이미지를 생성할 수 있다.
도 15는 본 발명의 실시 예들에 따른 이미징 시스템이 적용되는 하나의 예시를 나타내는 블록도이다. 도 15를 참조하면, 이미징 시스템(3000)은 다양한 형태의 전자 장치로 구현될 수 있다. 예를 들어, 이미징 시스템(3000)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블(wearable) 장치, 전기 자동차 등으로 구현될 수 있다. 이미징 시스템(3000)은 이미지 처리 블록(3100), 통신 블록(3200), 오디오 처리 블록(3300), 디스플레이 장치(3400), 버퍼 메모리(3500), 불휘발성 메모리(3600), 유저 인터페이스(3700) 및 메인 프로세서(3800)를 포함할 수 있다.
이미지 처리 블록(3100)은 렌즈(3110)를 통해 광 신호를 수신할 수 있다. 이미지 처리 블록(3100)에 포함되는 이미지 센서(3120) 및 이미지 신호 프로세서(3130)는 수신되는 광 신호에 기초하여 이미지 데이터를 생성할 수 있다. 예를 들어, 이미지 센서(3120)는 도 1 내지 도 13을 참조하여 설명된 이미지 센서(120)의 기능을 포함할 수 있다. 예를 들어, 이미지 센서(3120)는 도 4a 내지 도 4c에서 설명된 노출 패턴에 따라 이미지 데이터를 획득할 수 있다. 이미지 신호 프로세서(3130)는 도 1 내지 도 13을 참조하여 설명된 프로세싱 장치(200)의 기능을 포함할 수 있다. 예를 들어, 이미지 신호 프로세서(3130)는 이미지 데이터를 기반으로 각각의 노출 시간에 대응하는 베이어 이미지들을 순차적으로 생성하고, 베이어 이미지들을 기반으로 HDR 이미지를 생성할 수 있다. 이에 따라, 해상도가 감소되지 않은 고해상도 및 고화질의 HDR 이미지가 생성될 수 있다.
통신 블록(3200)은 안테나(3210)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 블록(3200)의 송수신기(3220) 및 MODEM(Modulator/Demodulator, 3230)은 다양한 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.
오디오 처리 블록(3300)은 오디오 신호 프로세서(3310)를 이용하여 소리 정보를 처리할 수 있고, 오디오를 재생하고 출력할 수 있다. 오디오 처리 블록(3300)은 마이크(3320)를 통해 오디오 입력을 수신할 수 있다. 오디오 처리 블록(3300)은 스피커(3330)를 통해, 재생되는 오디오를 출력할 수 있다.
디스플레이 장치(3400)는 외부 장치(예를 들어, 메인 프로세서(3800))로부터 데이터를 수신하고, 수신된 데이터에 기초하여 디스플레이 패널을 통해 영상을 표시할 수 있다. 예를 들어, 디스플레이 장치(3400)는 이미지 신호 프로세서(3130)로부터 생성된 HDR 이미지를 표시할 수 있다.
버퍼 메모리(3500)는 이미징 시스템(3000)의 동작에 이용되는 데이터를 저장할 수 있다. 예시적으로, 버퍼 메모리(3500)는 메인 프로세서(3800)에 의해 처리된 또는 처리될 데이터를 일시적으로 저장할 수 있다. 예시적으로, 버퍼 메모리(3500)는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, 및/또는 PRAM(Phase-change RAM), MRAM(Magneto-resistive RAM), ReRAM(Resistive RAM), FRAM(Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
불휘발성 메모리(3600)는 전력 공급과 무관하게 데이터를 저장할 수 있다. 예시적으로, 불휘발성 메모리(3600)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 다양한 불휘발성 메모리 중 적어도 하나를 포함할 수 있다. 예시적으로, 불휘발성 메모리(3600)는 SD(Secure Digital) 카드와 같은 착탈식 메모리, 및/또는 eMMC(Embedded Multimedia Card)와 같은 내장(Embedded) 메모리를 포함할 수 있다.
유저 인터페이스(3700)는 사용자와 이미징 시스템(3000) 사이의 통신을 중재할 수 있다. 예시적으로, 유저 인터페이스(3700)는 키패드, 버튼, 터치 스크린, 터치 패드, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스를 포함할 수 있다. 예시적으로, 유저 인터페이스(3700)는 모터, LED 램프 등과 같은 출력 인터페이스를 포함할 수 있다.
메인 프로세서(3800)는 이미징 시스템(3000)의 구성 요소들의 전반적인 동작들을 제어할 수 있다. 메인 프로세서(3800)는 이미징 시스템(3000)을 동작시키기 위해 다양한 연산을 처리할 수 있다. 예시적으로, 메인 프로세서(3800)는 범용(General-purpose) 프로세서, 전용(Special-purpose) 프로세서, 애플리케이션(Application) 프로세서, 마이크로프로세서 등과 같이, 하나 이상의 프로세서 코어를 포함하는 연산 처리 장치/회로로 구현될 수 있다. 예를 들어, 메인 프로세서(3800)는 도 1 내지 도 13을 참조하여 설명된 컨트롤러(300)의 기능을 포함할 수 있다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
100: 이미지 센싱 장치 110: 렌즈
120: 이미지 센서 121: 픽셀 어레이
122: 구동 회로 123: 출력 회로
200: 프로세싱 장치 210: 패턴 분리 모듈
220: 모션 추정 모듈 230: 베이어 이미지 생성 블록
231: 제1 베이어 이미지 생성 모듈 232: 제2 베이어 이미지 생성 모듈
240: 이미지 재구성 모듈 1000: 이미징 시스템

Claims (20)

  1. 제1 픽셀들 및 제2 픽셀들을 포함하는 픽셀 어레이;
    제1 노출 시간에 따라 상기 제1 픽셀들을 제어하고, 제2 노출 시간에 따라 상기 제2 픽셀들을 제어하도록 구성된 구동 회로;
    상기 픽셀 어레이로부터 상기 제1 픽셀들의 제1 픽셀 값들 및 상기 제2 픽셀들의 제2 픽셀 값들을 출력하도록 구성된 출력 회로; 및
    상기 제1 픽셀 값들을 기반으로 생성된 제1 베이어 이미지, 및 상기 제2 픽셀 값들과 상기 제1 베이어 이미지의 제3 픽셀 값들을 기반으로 생성된 제2 베이어 이미지를 기반으로 HDR(high dynamic range) 이미지를 생성하도록 구성된 프로세싱 장치를 포함하고,
    상기 제1 픽셀들의 수는 상기 제2 픽셀들의 수보다 큰 이미징 시스템.
  2. 제 1 항에 있어서,
    상기 프로세싱 장치는,
    상기 픽셀 어레이에 대한 노출 시간 정보에 기초하여 상기 제1 픽셀 값들 및 상기 제2 픽셀 값들을 분리하도록 구성된 패턴 분리 모듈;
    상기 분리된 제1 픽셀 값들을 기반으로 상기 제1 베이어 이미지를 생성하도록 구성된 제1 베이어 이미지 생성 모듈;
    상기 분리된 제2 픽셀 값들 및 상기 제1 베이어 이미지의 상기 제3 픽셀 값들을 기반으로 상기 제2 베이어 이미지를 생성하도록 구성된 제2 베이어 이미지 생성 모듈; 및
    상기 제1 베이어 이미지 및 상기 제2 베이어 이미지에 기초하여 상기 HDR 이미지를 생성하도록 구성된 이미지 재구성 모듈을 포함하는 이미징 시스템.
  3. 제 2 항에 있어서,
    상기 제1 베이어 이미지 생성 모듈은 상기 분리된 제1 픽셀 값들을 기반으로 픽셀 값들을 보간하여 보간 이미지를 생성하고, 상기 보간 이미지를 베이어 패턴으로 변환하는 이미징 시스템.
  4. 제 2 항에 있어서,
    상기 프로세싱 장치는 상기 제1 픽셀 값들 및 상기 제2 픽셀 값들을 기반으로 피사체의 모션 정보를 추정하는 모션 추정 모듈을 더 포함하고,
    상기 제2 베이어 이미지 생성 모듈은 상기 추정된 모션 정보에 따라 상기 제2 베이어 이미지를 생성하기 위한 상기 제3 픽셀 값들의 가중치를 결정하는 이미징 시스템.
  5. 제 2 항에 있어서,
    상기 제1 베이어 이미지 중 포화(saturation)된 픽셀들을 포함하는 포화 영역이 존재하는 경우, 상기 제2 베이어 이미지 생성 모듈은 상기 제3 픽셀 값들 중 상기 포화된 픽셀들의 픽셀 값들을 제외한 나머지 픽셀 값들을 기반으로 제2 베이어 이미지의 픽셀 값들을 생성하는 이미징 시스템.
  6. 제 1 항에 있어서,
    상기 제1 픽셀들의 노출 시간을 상기 제1 노출 시간으로 결정하고, 상기 제2 픽셀들의 노출 시간을 상기 제2 노출 시간으로 결정하도록 구성된 컨트롤러를 더 포함하는 이미징 시스템.
  7. 제 6 항에 있어서,
    상기 컨트롤러는 상기 출력 회로로부터 출력되는 픽셀 값들에 기초하여 상기 제1 픽셀들의 상기 노출 시간 및 상기 제2 픽셀들의 상기 노출 시간을 결정하는 이미징 시스템.
  8. 제 1 항에 있어서,
    상기 픽셀 어레이 상부에 위치한 복수의 컬러 필터들을 포함하는 컬러 필터 배열(CFA; color filter array)를 더 포함하고,
    상기 복수의 컬러 필터들 중 적어도 인접한 2 개의 컬러 필터들은 R, G, B 중 동일한 컬러를 가지는 이미징 시스템.
  9. 제 1 항에 있어서,
    상기 제1 픽셀 값들 및 상기 제2 픽셀 값들은 하나의 프레임으로부터 획득되는 이미징 시스템.
  10. 제 1 항에 있어서,
    상기 제1 베이어 이미지의 해상도와 상기 제2 베이어 이미지의 해상도는 상기 픽셀 어레이의 픽셀들의 수와 동일한 이미징 시스템.
  11. 제 1 항에 있어서,
    상기 제1 노출 시간은 상기 제2 노출 시간보다 긴 이미징 시스템.
  12. 제1 노출 시간으로 제어되는 제1 픽셀들 및 제2 노출 시간으로 제어되는 제2 픽셀들을 기반으로 하나의 프레임에 대한 이미지 데이터를 획득하도록 구성된 이미지 센서; 및
    상기 제1 픽셀들의 제1 픽셀 값들을 기반으로 생성된 제1 베이어 이미지, 및 상기 제2 픽셀들의 제2 픽셀 값들과 상기 제1 베이어 이미지의 제3 픽셀 값들을 기반으로 생성된 제2 베이어 이미지에 기초하여 HDR 이미지를 생성하도록 구성된 이미지 신호 프로세서를 포함하고,
    상기 제1 픽셀들의 수는 상기 제2 픽셀들의 수보다 큰 이미징 시스템.
  13. 제 12 항에 있어서,
    상기 이미지 신호 프로세서는 상기 제1 베이어 이미지의 포화 정보 및 상기 하나의 프레임 상의 피사체의 모션 정보 중 적어도 하나에 따라 상기 제2 베이어 이미지를 생성하기 위한 상기 제3 픽셀 값들의 가중치를 결정하는 이미징 시스템.
  14. 제 13 항에 있어서,
    상기 이미지 신호 프로세서는 상기 모션 정보를 기반으로 상기 제1 베이어 이미지와 상기 제2 베이어 이미지를 합성하여 상기 HDR 이미지를 생성하는 이미징 시스템.
  15. 이미징 시스템의 동작 방법에 있어서,
    제1 노출 시간으로 제어되는 제1 픽셀들 및 제2 노출 시간으로 제어되는 제2 픽셀들을 기반으로 하나의 프레임에 대한 이미지 데이터를 획득하는 단계;
    상기 이미지 데이터 중 상기 제1 픽셀들의 제1 픽셀 값들을 기반으로 제1 베이어 이미지를 생성하는 단계;
    상기 이미지 데이터 중 상기 제2 픽셀들의 제2 픽셀 값들 및 상기 제1 베이어 이미지의 제3 픽셀 값들을 기반으로 제2 베이어 이미지를 생성하는 단계; 및
    상기 제1 베이어 이미지 및 상기 제2 베이어 이미지에 기초하여 HDR 이미지를 생성하는 단계를 포함하고,
    상기 제1 픽셀들의 수는 상기 제2 픽셀들의 수보다 큰 동작 방법.
  16. 제 15 항에 있어서,
    상기 제1 베이어 이미지를 생성하는 단계는,
    상기 제1 픽셀 값들을 기반으로 픽셀 값들을 보간하여 보간 이미지를 생성하는 단계; 및
    상기 보간 이미지를 베이어 패턴으로 변환하는 단계를 포함하는 동작 방법.
  17. 제 15 항에 있어서,
    상기 이미지 데이터를 기반으로 상기 하나의 프레임 상의 피사체의 모션 정보를 추정하는 단계를 더 포함하고,
    상기 제2 베이어 이미지를 생성하는 단계는,
    상기 추정된 모션 정보에 따라 상기 제2 픽셀 값들의 제1 가중치와 상기 제3 픽셀 값들의 제2 가중치를 결정하는 단계; 및
    상기 제1 가중치 및 상기 제2 가중치에 따라 상기 제2 베이어 이미지의 픽셀 값들을 생성하는 단계를 포함하는 동작 방법.
  18. 제 17 항에 있어서,
    상기 HDR 이미지를 생성하는 단계는 상기 모션 정보를 기반으로 상기 제1 베이어 이미지와 상기 제2 베이어 이미지를 합성하는 단계를 포함하는 동작 방법.
  19. 제 17 항에 있어서,
    모션 감지 센서에 의해 상기 피사체에 대한 센싱 정보를 획득하는 단계를 더 포함하고,
    상기 모션 정보는 상기 이미지 데이터 및 상기 센싱 정보를 기반으로 추정되는 동작 방법.
  20. 제 15 항에 있어서,
    상기 제1 베이어 이미지 중 포화된 픽셀들을 포함하는 포화 영역을 검출하는 단계를 더 포함하고,
    상기 제2 베이어 이미지를 생성하는 단계는 상기 제3 픽셀 값들 중 상기 포화된 픽셀들의 픽셀 값들을 제외한 나머지 픽셀 값들을 기반으로 상기 제2 베이어 이미지의 픽셀 값들을 생성하는 단계를 포함하는 동작 방법.
KR1020190006857A 2019-01-18 2019-01-18 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법 KR102648747B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190006857A KR102648747B1 (ko) 2019-01-18 2019-01-18 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US16/547,786 US11082625B2 (en) 2019-01-18 2019-08-22 Imaging systems for generating HDR images and operating methods thereof
CN201910977457.0A CN111464754B (zh) 2019-01-18 2019-10-14 用于生成hdr图像的成像系统及其操作方法
US17/362,380 US11622081B2 (en) 2019-01-18 2021-06-29 Imaging systems for generating HDR images and operating methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190006857A KR102648747B1 (ko) 2019-01-18 2019-01-18 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법

Publications (2)

Publication Number Publication Date
KR20200090291A true KR20200090291A (ko) 2020-07-29
KR102648747B1 KR102648747B1 (ko) 2024-03-20

Family

ID=71609276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190006857A KR102648747B1 (ko) 2019-01-18 2019-01-18 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법

Country Status (3)

Country Link
US (2) US11082625B2 (ko)
KR (1) KR102648747B1 (ko)
CN (1) CN111464754B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11843868B2 (en) 2021-07-13 2023-12-12 SK Hynix Inc. Electronic apparatus based on multiple exposure image and operating method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11064134B2 (en) * 2019-06-05 2021-07-13 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11102422B2 (en) 2019-06-05 2021-08-24 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
CN113676636B (zh) * 2021-08-16 2023-05-05 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110082421A (ko) * 2010-01-11 2011-07-19 삼성전자주식회사 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
KR20140099625A (ko) * 2013-02-04 2014-08-13 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
KR20160061612A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
KR20160108928A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
KR20160111836A (ko) * 2015-03-17 2016-09-27 비아 얼라이언스 세미컨덕터 씨오., 엘티디. Hdr(하이 다이나믹 레인지) 이미지를 생성하기 위한 방법 및 그 사용 장치

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP4131192B2 (ja) 2003-04-25 2008-08-13 コニカミノルタオプト株式会社 撮像装置、画像処理装置及び画像記録装置
US7825969B2 (en) 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
KR100835894B1 (ko) 2007-06-18 2008-06-09 (주)실리콘화일 다이내믹 레인지가 넓고, 색재현성과 해상능력이 우수한픽셀어레이 및 이미지센서
US8022994B2 (en) 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US7777804B2 (en) 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP4877359B2 (ja) * 2009-02-10 2012-02-15 ソニー株式会社 固体撮像装置及び撮像装置
JP5411786B2 (ja) 2010-04-08 2014-02-12 日本放送協会 撮影装置および画像統合プログラム
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
EP2442556A1 (en) 2010-10-15 2012-04-18 ST-Ericsson SA Apparatus and method for capturing images with high dynamic range
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101699919B1 (ko) 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
EP2688288B1 (en) 2011-10-14 2018-05-16 Morpho, Inc. Image compositing device, image compositing method, image compositing program, and recording medium
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
US9040892B2 (en) 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
JP6335423B2 (ja) 2012-08-31 2018-05-30 キヤノン株式会社 情報処理装置および情報処理方法
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
JP2014086889A (ja) * 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
US9071765B2 (en) * 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9413992B2 (en) * 2013-05-20 2016-08-09 Omnivision Technologies, Inc. High dynamic range image sensor with full resolution recovery
EP3018893A4 (en) * 2013-07-04 2016-11-30 Nikon Corp ELECTRONIC APPARATUS, CONTROL METHOD, AND CONTROL PROGRAM FOR ELECTRONIC APPARATUS
EP3079353B1 (en) * 2013-12-04 2021-03-03 Sony Semiconductor Solutions Corporation Image processing device, image processing method, electronic apparatus, and program
KR101477505B1 (ko) 2013-12-23 2015-01-07 이동현 하이 다이나믹 레인지 영상 형성 방법
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
JP6417809B2 (ja) * 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
US10298843B2 (en) * 2014-04-22 2019-05-21 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and electronic apparatus for motion detection in image
KR20150128168A (ko) 2014-05-08 2015-11-18 삼성전자주식회사 화이트 밸런싱 장치 및 이의 구동 방법
JP2015231118A (ja) * 2014-06-04 2015-12-21 キヤノン株式会社 画像合成装置、画像合成システム及び画像合成方法
WO2015196456A1 (zh) * 2014-06-27 2015-12-30 深圳市大疆创新科技有限公司 基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置
US9282256B1 (en) 2014-12-22 2016-03-08 Omnivision Technologies, Inc. System and method for HDR imaging
US9467633B2 (en) 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
KR102356706B1 (ko) * 2015-07-07 2022-01-27 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US10313600B2 (en) 2015-10-13 2019-06-04 Canon Kabushiki Kaisha Imaging device capable of simultaneously capturing of a motion image and a static image and imaging method
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110082421A (ko) * 2010-01-11 2011-07-19 삼성전자주식회사 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
KR20140099625A (ko) * 2013-02-04 2014-08-13 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
KR20160061612A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
KR20160108928A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
KR20160111836A (ko) * 2015-03-17 2016-09-27 비아 얼라이언스 세미컨덕터 씨오., 엘티디. Hdr(하이 다이나믹 레인지) 이미지를 생성하기 위한 방법 및 그 사용 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11843868B2 (en) 2021-07-13 2023-12-12 SK Hynix Inc. Electronic apparatus based on multiple exposure image and operating method thereof

Also Published As

Publication number Publication date
US11622081B2 (en) 2023-04-04
CN111464754A (zh) 2020-07-28
US20210329160A1 (en) 2021-10-21
CN111464754B (zh) 2021-11-16
US20200236273A1 (en) 2020-07-23
KR102648747B1 (ko) 2024-03-20
US11082625B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
KR102648747B1 (ko) Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
JP6705065B1 (ja) インターリーブチャネルデータ用の構成可能な畳み込みエンジン
US9210391B1 (en) Sensor data rescaler with chroma reduction
KR101965123B1 (ko) 병렬 컴퓨터 비전 및 이미지 스케일링 아키텍처
KR102291790B1 (ko) 이미지 프로세싱 파이프라인 내의 이미지 데이터의 다중 레이트 프로세싱
US9219870B1 (en) Sensor data rescaler for image signal processing
US9538092B2 (en) Methods and apparatus to generate wide dynamic range images
US9787922B2 (en) Pixel defect preprocessing in an image signal processor
US20170070689A1 (en) Automatic compensation of lens flare
JP2012175600A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
US9462189B2 (en) Piecewise perspective transform engine
US11350063B2 (en) Circuit for correcting lateral chromatic abberation
WO2020027902A1 (en) Combined monochrome and chromatic camera sensor
US11240442B2 (en) Signal processing apparatus and signal processing method
US10375368B2 (en) Image data conversion
US11617026B1 (en) Lens shading correction for quadra image sensors
CN115170554A (zh) 图像检测方法和电子设备
JP2015095890A (ja) 画像処理装置およびその制御方法
JP2014207503A5 (ko)
JP7094454B2 (ja) 撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラム
US20230230200A1 (en) Front-end scaler circuit for processing demosaiced image data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant