KR20210053377A - 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법 - Google Patents

이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법 Download PDF

Info

Publication number
KR20210053377A
KR20210053377A KR1020190138562A KR20190138562A KR20210053377A KR 20210053377 A KR20210053377 A KR 20210053377A KR 1020190138562 A KR1020190138562 A KR 1020190138562A KR 20190138562 A KR20190138562 A KR 20190138562A KR 20210053377 A KR20210053377 A KR 20210053377A
Authority
KR
South Korea
Prior art keywords
image
exposure
channel data
img
color channel
Prior art date
Application number
KR1020190138562A
Other languages
English (en)
Inventor
이한솔
슈사쿠 이시카와
이정국
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190138562A priority Critical patent/KR20210053377A/ko
Priority to US16/992,792 priority patent/US11379997B2/en
Publication of KR20210053377A publication Critical patent/KR20210053377A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N5/359—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H04N5/35581—
    • H04N9/0451—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명에 따른 이미지 센서의 동작 방법은 제1 노출 시간에 대응하는 제1 이미지 및 제1 노출 시간보다 짧은 제2 노출 시간에 대응하는 제2 이미지를 획득하는 단계, 제1 이미지 및 제2 이미지를 기반으로, 움직임 영역을 검출하는 단계, 움직임 영역에 적용될 가중치를 결정하는 단계, 제1 이미지에 대한 신호 선-처리를 수행하여 선-처리 이미지를 생성하는 단계, 및 선-처리 이미지 및 가중치를 기반으로 고품질 이미지를 출력하는 단계를 포함한다.

Description

이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법{IMAGE DEVICE INCLUDING IMAGE SENSOR AND IMAGE SIGNAL PROCESSOR, AND OPERATION METHOD OF IMAGE SENSOR}
본 발명은 이미지 장치와 관한 것으로, 좀 더 상세하게는 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법에 관한 것이다.
스마트 폰, 태블릿 PC, 디지털 카메라 등에 포함된 이미지 센서는 외부 객체로부터 반사된 광을 전기적인 신호로 변환함으로써, 외부 객체에 대한 이미지 정보를 획득한다. 이미지 센서로부터 획득된 전기적인 신호를 사람에게 실제로 인식되는 이미지 정보로 변환하거나 또는 이미지 품질을 향상시키기 위하여 다양한 이미지 신호 처리 동작들이 수행된다.
일 예로서, 사용자에게 고화질의 이미지를 제공하기 위해, 이미지 장치는 이미지의 다이내믹 레인지(dynamic range)를 향상시킬 수 있다. 다이내믹 레인지는 이미지에서 어두운 부분에서 밝은 부분까지의 상대적으로 넓은 휘도를 표현할 수 있는 범위를 의미한다. 다이내믹 레인지가 향상된 이미지는 HDR(high dynamic range) 이미지라 일컬어진다. 이미지 장치는 서로 다른 노출 시간에 대응하는 이미지를 획득하고 합성하여 HDR 이미지를 생성할 수 있다. 그러나, 서로 다른 노출 시간에 대응하는 이미지를 조합하는 과정에서, 색상 열화와 같은 다양한 문제점이 발생할 수 있다.
본 발명의 목적은 장-노출 선호 방식에 따른 움직임 보상에서, 색상 열화를 방지할 수 있는 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법을 제공하는데 있다.
본 발명의 실시 예에 따른 이미지 센서의 동작 방법은 제1 노출 시간에 대응하는 제1 이미지 및 상기 제1 노출 시간보다 짧은 제2 노출 시간에 대응하는 제2 이미지를 획득하는 단계, 상기 제1 이미지 및 상기 제2 이미지를 기반으로, 움직임 영역을 검출하는 단계, 상기 움직임 영역에 적용될 가중치를 결정하는 단계, 상기 제1 이미지에 대한 신호 선-처리를 수행하여 선-처리 이미지를 생성하는 단계, 및 상기 선-처리 이미지 및 상기 가중치를 기반으로 고품질 이미지를 출력하는 단계를 포함한다.
본 발명의 실시 예에 따른 이미지 장치는 고품질 이미지를 출력하도록 구성된 이미지 센서, 및 상기 이미지 센서로부터의 고품질 이미지에 대한 신호 처리를 수행하여 최종 고품질 이미지를 출력하도록 구성된 이미지 신호 처리기를 포함한다. 상기 이미지 신호 처리기는 화이트 밸런스 이득을 기반으로 상기 고품질 이미지에 대한 화이트 밸런싱을 수행하도록 구성된 화이트 밸런스 모듈을 포함한다. 상기 이미지 센서는 제1 노출 시간에 대응하는 제1 이미지에 대응하는 제1 아날로그 신호들 및 상기 제1 노출 시간보다 짧은 제2 노출 시간에 대응하는 제2 이미지에 대응하는 제2 아날로그 신호들을 출력하도록 구성된 복수의 픽셀들, 상기 복수의 픽셀들로부터 출력된 상기 제1 및 제2 아날로그 신호들을 디지털 신호로 변환하여 상기 제1 이미지 및 상기 제2 이미지를 포함하는 데이터를 출력하도록 구성된 아날로그 디지털 변환기, 및 상기 이미지 신호 처리기로부터 상기 화이트 밸런스 이득에 대한 정보를 수신하고, 상기 화이트 밸런스 이득에 대한 상기 정보를 기반으로 상기 데이터의 제1 이미지에 대한 선-처리를 수행하여 선-처리 이미지를 생성하고, 상기 선-처리 이미지를 기반으로 움직임 보상을 수행하여 상기 고품질 이미지를 생성하도록 구성된 상기 HDR 모듈을 포함한다.
본 발명의 실시 예에 따른 이미지 센서의 동작 방법은 제1 노출 시간에 대응하는 제1 이미지 및 상기 제1 노출 시간보다 짧은 제2 노출 시간에 대응하는 제2 이미지를 획득하는 단계, 상기 제1 이미지 및 상기 제2 이미지를 기반으로, 움직임 영역을 검출하는 단계, 상기 움직임 영역에 적용될 가중치를 결정하는 단계, 외부 이미지 신호 처리기로부터의 화이트 밸런스 이득에 대한 정보를 획득하고, 상기 화이트 밸런스 이득에 대한 상기 정보를 기반으로 상기 제1 이미지에 대한 신호 선-처리를 수행하여 선-처리 이미지를 생성하는 단계, 및 상기 선-처리 이미지 및 상기 가중치를 기반으로 고품질 이미지를 출력하는 단계를 포함한다.
본 발명에 따르면, 이미지 센서는 장-노출 선호 방식에 따라 움직임 보상을 수행할 수 있다. 이 때, 이미지 센서 또는 이미지 신호 처리기는 장-노출 이미지에 대한 신호 선-처리를 수행하기 때문에, 장-노출 이미지의 모든 채널이 포화 상태이더라도, 화이트 밸런싱 적용 이후에 색상 열화가 발생하지 않는다. 따라서, 향상된 품질의 고품질 이미지를 제공하는 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법이 제공된다.
도 1은 본 발명의 실시 예에 따른 이미지 장치를 예시적으로 보여주는 블록도이다.
도 2는 도 1의 이미지 센서를 예시적으로 보여주는 블록도이다.
도 3a 및 도 3b는 도 2의 이미지 센서의 복수의 픽셀들을 설명하기 위한 도면들이다.
도 4a 및 도 4b는 도 3a 및 도 3b의 이미지들을 기반으로 생성된 고품질 이미지를 설명하기 위한 그래프들이다.
도 5a 및 도 5b는 장-노출 선호 방식의 움직임 보상을 설명하기 위한 도면들이다.
도 6은 본 발명의 실시 예에 따른 HDR 모듈을 예시적으로 보여주는 블록도이다.
도 7은 도 6의 HDR 모듈의 동작을 예시적으로 보여주는 순서도이다.
도 8은 도 7의 S140 단계의 동작의 실시 예를 예시적으로 보여주는 순서도이다.
도 9는 도 8의 순서도에 따른 동작을 수행하는 신호 선-처리부를 예시적으로 보여주는 블록도이다.
도 10은 도 9의 신호 선-처리부의 예시적인 실시 예를 보여주는 블록도이다.
도 11은 도 7의 S140 단계의 동작의 실시 예를 예시적으로 보여주는 순서도이다.
도 12는 도 10의 순서도에 따른 동작을 수행하는 신호 선-처리부를 예시적으로 보여주는 블록도이다.
도 13a 내지 도 13c는 본 발명의 실시 예에 따른 색상 열화 방지의 효과를 설명하기 위한 도면들이다.
도 14a는 본 발명의 실시 예에 따른 HDR 모듈을 예시적으로 보여주는 블록도이다.
도 14b는 도 14a의 후-처리 과정의 반복 수행의 효과를 설명하기 위한 도면이다.
도 15는 도 1의 이미지 장치의 이미지 신호 처리기를 상세하게 보여주는 블록도이다.
도 16은 본 발명의 실시 예에 따른 이미지 장치를 예시적으로 보여주는 블록도이다.
도 17은 본 발명의 실시 예에 따른 이미지 장치를 예시적으로 보여주는 블록도이다.
도 18은 본 발명에 따른 전자 장치를 예시적으로 보여주는 블록도이다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다. 이하에서 사용되는 "블록(block)", "유닛 또는 부(unit)", "모듈(module)" 등과 같은 용어들 또는 그것들과 대응되는 구성들은 소프트웨어, 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다.
도 1은 본 발명의 실시 예에 따른 이미지 장치를 예시적으로 보여주는 블록도이다. 도 1을 참조하면, 이미지 장치(100)는 이미지 센서(110) 및 이미지 신호 처리기(120)를 포함할 수 있다. 이미지 장치(100)는 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블(wearable) 장치, 블랙박스, 디지털 카메라 등과 같이 다양한 컴퓨팅 시스템들에 포함될 수 있다.
이미지 센서(110)는 외부로부터 입사된 광을 기반으로 이미지 데이터를 출력할 수 있다. 예를 들어, 이미지 센서(110)는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들 각각은 외부로부터 입사된 광에 대응하는 전기적인 신호를 출력하도록 구성될 수 있다. 이미지 센서(110)는 전기적인 신호를 기반으로 이미지 데이터를 출력할 수 있다. 예시적인 실시 예에서, 이미지 센서(110)로부터 출력되는 이미지 데이터는 특정 프레임에 대한 밝기 정보, 컬러 정보 등을 포함할 수 있다.
이미지 신호 처리기(120)는 이미지 센서(110)로부터 이미지 데이터를 수신하고, 수신된 이미지 데이터에 대한 다양한 신호 처리 동작을 수행할 수 있다. 예를 들어, 이미지 신호 처리기(120)는 수신된 이미지 데이터에 대한 잡음 제거, 화이트 밸런싱, 감마 보정, 색 보정, 색 변환 등과 같은 다양한 신호 처리를 수행할 수 있다. 신호 처리된 이미지 데이터는 외부 장치(예를 들어, 디스플레이 장치)로 전송되거나 또는 별도의 저장 장치에 저장될 수 있다.
예시적인 실시 예에서, 이미지 센서(110)는 고품질 이미지(예를 들어, HDR; high dynamic range)를 출력할 수 있다. 고품질 이미지(HDR)는 서로 다른 이미지 데이터를 조합함으로써, 높은 다이내믹 레인지를 구현한 고품질의 이미지 데이터를 가리킬 수 있다. 예를 들어, 이미지 센서(110)는 고품질 이미지(HDR)를 생성하도록 구성된 HDR 모듈(111)을 포함할 수 있다. HDR 모듈(111)은 서로 다른 노출 시간을 갖는 적어도 2개의 이미지 데이터를 조합함으로써, 향상된 다이내믹 레인지가 구현된 고품질 이미지(HDR)를 생성할 수 있다.
예시적인 실시 예에서, 본 발명의 실시 예에 따른 HDR 모듈(111)은 장-노출(long exposure) 이미지 데이터를 기반으로 고품질 이미지(HDR)를 생성할 수 있다. 본 발명의 실시 예에 따른 HDR 모듈(111)의 구조 및 동작 방법은 이하의 도면들을 참조하여 더욱 상세하게 설명된다.
도 2는 도 1의 이미지 센서를 예시적으로 보여주는 블록도이다. 도 1 및 도 2를 참조하면, 이미지 센서(110)는 HDR 모듈(111), 픽셀 어레이(112), 행 드라이버(113), 아날로그 디지털 변환기(114)(ADC; analog to digital converter), 출력 회로(115), 및 제어 로직 회로(116)를 포함할 수 있다.
픽셀 어레이(112)는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들 각각은 외부로부터 입사된 광을 기반으로 입사된 광의 크기에 비례하는 전기적인 신호, 즉 아날로그 신호를 출력하도록 구성될 수 있다. 예시적인 실시 예에서, 복수의 픽셀들 각각은 서로 다른 파장의 광을 수신하기 위하여, 서로 다른 컬러 필터들(예를 들어, R, G, B 등)과 결합될 수 있다. 예시적인 실시 예에서, 복수의 픽셀들 각각과 결합된 컬러 필터들은 특정한 패턴의 컬러 필터 어레이(CFA; Color Filter Array)를 형성할 수 있다. 컬러 필터 어레이는 베이어 패턴(Bayer pattern), 테트라 패턴(Tetra Pattern)과 같은 다양한 패턴들 중 적어도 하나의 패턴을 기반으로 형성될 수 있다.
행 드라이버(113)는 픽셀 어레이(112)에 포함된 복수의 픽셀들을 제어하도록 구성될 수 있다. 예를 들어, 행 드라이버(113)는 복수의 픽셀들을 제어하기 위한 다양한 제어 신호들(예를 들어, 셔터 신호, 전송 신호, 리셋 신호, 선택 신호 등)을 생성할 수 있다. 예시적인 실시 예에서, 행 드라이버(113)는 복수의 픽셀들을 행 단위로 제어할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
ADC(114)는 복수의 픽셀들 각각으로부터 형성된 아날로그 신호를 디지털 신호로 변환하여, 변환된 디지털 신호를 데이터(DATA)로서 출력할 수 있다. 예시적인 실시 예에서, ADC(114)는 상관 이중 샘플링(CDS; correlated double sampling)을 기반으로 데이터(DATA)를 생성할 수 있다. 비록 도면에 도시되지는 않았으나, 이미지 센서(110)는 ADC(114)로부터 출력된 데이터(DATA)를 저장하도록 구성된 저장 회로 또는 메모리, 또는 ADC(114)의 동작에 사용되는 램프 신호를 생성하도록 구성된 램프 신호 발생기를 더 포함할 수 있다.
HDR 모듈(111)은 ADC(114)로부터 제공된 데이터(DATA)를 기반으로 고품질 이미지(HDR)를 생성할 수 있다. 예를 들어, HDR 모듈(111)은 데이터(DATA)를 복수의 이미지들로 구분할 수 있다. 복수의 이미지들 각각은 서로 다른 노출 시간을 갖는 이미지 데이터일 수 있다. HDR 모듈(111)은 복수의 이미지들을 조합함으로써, 고품질 이미지(HDR)를 출력할 수 있다.
출력 회로(115)는 HDR 모듈(111)로부터 출력된 고품질 이미지(HDR)를 외부 장치(예를 들어, 디스플레이 또는 저장 장치)로 전달할 수 있다. 제어 로직 회로(116)는 외부 제어 장치(예를 들어, 이미지 센서 장치 제어기)의 제어에 따라 이미지 센서(110) 내의 다양한 구성 요소들을 제어하도록 구성될 수 있다.
도 3a 및 도 3b는 도 2의 이미지 센서의 복수의 픽셀들을 설명하기 위한 도면들이다. 도 2 내지 도 3b를 참조하면, 이미지 센서(110)의 픽셀 어레이(112)는 복수의 픽셀들(PX)을 포함할 수 있다. 복수의 픽셀들(PX)은 행 방향 및 열 방향을 따라 배열될 수 있다. 복수의 픽셀들(PX) 각각은 특정 파장의 광을 수신하기 위한 컬러 필터들(R, G, B)과 대응될 수 있다. 즉 제1 컬러 필터(예를 들어, G)와 대응되는 픽셀들(PX)은 그린 색의 광을 수신할 수 있고, 제2 컬러 필터(예를 들어, R)와 대응되는 픽셀들(PX)은 레드 색의 광을 수신할 수 있고, 제3 컬러 필터(예를 들어, B)와 대응되는 픽셀들(PX)은 블루 색의 광을 수신할 수 있다. 컬러 필터의 종류 및 배열은 예시적인 것이며, 본 발명의 범위가 이에 한정되는 것은 아니다.
복수의 픽셀들(PX) 각각은 복수의 서브 픽셀들(sPX)을 포함할 수 있다. 복수의 서브 픽셀들(sPX) 각각은 행 드라이버(113)의 제어에 따라, 입사된 광에 대응하는 전기적인 신호를 출력하도록 구성될 수 있다. 이 때, 복수의 서브 픽셀들(sPX) 각각에 대하여 서로 다른 노출 시간이 적용될 수 있다. 예를 들어, 복수의 서브 픽셀들(sPX) 중 일부 픽셀에 장-노출(long-exposure)이 적용될 수 있고, 복수의 서브 픽셀들(sPX) 중 중 다른 일부 픽셀에 중간-노출(medium-exposure)이 적용될 수 있고, 복수의 서브 픽셀들(sPX) 중 나머지 픽셀에 단-노출(short-exposure)이 적용될 수 있다.
좀 더 상세한 예로서, 하나의 픽셀(PX)은 4개의 서브 픽셀들(sPX)을 포함할 수 있다. 이 때, 1개의 서브 픽셀(예를 들어, L)에 장-노출이 적용될 수 있고, 2개의 서브 픽셀들(예를 들어, M)에 중간-노출이 적용될 수 있고, 나머지 1개의 서브 픽셀(예를 들어, S)에 단-노출이 적용될 수 있다.
장-노출은 도 3b에 도시된 바와 같이, 제1 시점(t1)으로부터 제4 시점(t4)까지의 시간동안 수신된 제1 광에 대응하는 전기적 신호를 생성하는 것을 의미하고, 중간-노출은 제2 시점(21)으로부터 제4 시점(t4)까지의 시간동안 수신된 제2 광에 대응하는 전기적 신호를 생성하는 것을 의미하고, 단-노출은 제3 시점(t3)으로부터 제4 시점(t4)까지의 시간동안 수신된 제3 광에 대응하는 전기적 신호를 생성하는 것을 의미할 수 있다.
즉, 동일한 저-휘도 환경에서, 장-노출이 반영된 서브 픽셀(L)로부터 출력되는 전기적 신호의 크기는 중간-노출 또는 단-노출이 반영된 서브 픽셀(M 또는 S)로부터 출력되는 전기적 신호보다 클 것이다. 또는, 동일한 고-휘도 환경에서, 단-노출이 반영된 서브 픽셀(S)로부터 출력되는 전기적 신호의 크기는 입사된 광에 대응하는 크기일 수 있으나, 장-노출이 반영된 서브 픽셀(L)로부터 출력되는 전기적 신호의 크기는 입사관 광과 무관하게 포화 상태일 수 있다.
상술된 바와 같이, 복수의 서브 픽셀들(sPX)의 노출 시간을 다르게 적용함으로써, 서로 다른 노출 시간이 반영된 서로 다른 이미지들(예를 들어, IMG_L, IMG_M, IMG_S)이 획득되거나 또는 추출될 수 있다.
설명의 편의 및 도면의 간결성을 위하여, 픽셀들(PX)은 4×4로 배열되고, 하나의 픽셀(PX)은 2×2의 서브 픽셀들(sPX)을 포함하는 것으로 설명되었으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 픽셀 어레이(110)는 복수의 픽셀들을 더 포함할 수 있고, 하나의 픽셀은 복수의 서브 픽셀들을 더 포함할 수 있다.
설명의 편의 및 도면의 간결성을 위하여, 하나의 픽셀(PX)에 포함된 복수의 서브 픽셀들(sPX)에 각각 장-노출, 중간-노출, 및 단-노출이 반영된 것이 설명되었으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 복수의 서브 픽셀들(sPX) 각각에 대한 노출 시간은 다양하게 가변될 수 있다.
도 4a 및 도 4b는 도 3a 및 도 3b의 이미지들을 기반으로 생성된 고품질 이미지를 설명하기 위한 그래프들이다. 도 4a 및 도 4b의 그래프들의 가로축들은 외부 광의 휘도(Luminance)를 가리키고, 세로축들은 이미지의 출력 크기를 가리킨다. 이하에서, 설명의 편의를 위하여, 장-노출이 반영된 서브 픽셀들(예를 들어, L)로부터 추출된 데이터 또는 그것들의 집합은 장-노출 이미지(IMG_L)라 칭하고, 중간-노출이 반영된 서브 픽셀들(예를 들어, M)로부터 추출된 데이터 또는 그것들의 집합은 중간-노출 이미지(IMG_M)라 칭하고, 단-노출이 반영된 서브 픽셀들(예를 들어, S)로부터 추출된 데이터 또는 그것들의 집합은 단-노출 이미지(IMG_S)라 칭한다.
설명의 편의를 위하여, "이미지의 크기"의 용어가 사용되는 이는 이미지에 포함된 픽셀 값들 또는 픽셀 코드들 또는 데이터의 값들을 지칭할 수 있다.
도 2, 도 3a, 도 4a, 및 도 4b를 참조하면, 외부 광의 휘도가 증가함에 따라 장-노출 이미지(IMG_L), 중간-노출 이미지(IMG_M), 및 단-노출 이미지(IMG_S) 각각의 크기가 증가할 수 있다. 이 때, 장-노출 이미지(IMG_L)의 크기는 제0 휘도(LM0) 및 제1 휘도(LM1) 구간에서 선형적으로 증가하나, 제1 휘도(LM1)보다 큰 구간에서, 장-노출 이미지(IMG_L)의 크기는 특정 값으로 포화될 수 있다. 중간-노출 이미지(IMG_M)의 크기는 제0 휘도(LM0) 및 제2 휘도(LM2) 구간에서 선형적으로 증가하나, 제2 휘도(LM2)보다 큰 구간에서, 중간-노출 이미지(IMG_M)의 크기는 특정 값으로 포화될 수 있다. 단-노출 이미지(IMG_S)의 크기는 전체 휘도 구간에서 선형적으로 증가할 수 있다.
도 4a에 도시된 바와 같이, 저휘도 구간(예를 들어, LM0~LM1)에서, 단-노출 이미지(IMG_S) 및 중간-노출 이미지(IMG_M)는 상대적으로 작은 크기를 갖고, 장-노출 이미지(IMG_L)는 상대적으로 큰 크기를 갖는다. 이는 저휘도 구간(예를 들어, LM0~LM1)에서, 장-노출 이미지(IMG_L)가 단-노출 이미지(IMG_S) 및 중간-노출 이미지(IMG_M)보다 상대적으로 정확한 이미지 정보를 포함함을 의미할 수 있다.
예를 들어, 저휘도 구간(예를 들어, LM0~LM1)에서, 단-노출 이미지(IMG_S) 및 중간-노출 이미지(IMG_M)는 상대적으로 작은 크기를 갖기 때문에, 단-노출 이미지(IMG_S) 및 중간-노출 이미지(IMG_M)로부터 획득된 이미지는 상대적으로 어두운 영상을 제공할 것이다. 반대로, 저휘도 구간(예를 들어, LM0~LM1)에서, 장-노출 이미지(IMG_L)는 상대적으로 큰 크기를 갖기 때문에, 장-노출 이미지(IMG_L)로부터 상대적으로 밝은 영상이 획득될 것이다. 즉, 저휘도 구간(예를 들어, LM0~LM1)에서, 장-노출 이미지(IMG_L)를 통해 상대적으로 정확한 또는 밝은 또는 향상된 품질을 갖는 영상이 획득될 수 있다.
중간 휘도 구간(예를 들어, LM1~LM2)에서, 단-노출 이미지(IMG_S)는 상대적으로 작은 크기를 갖고, 중간-노출 이미지(IMG_M)는 상대적으로 큰 크기를 갖고, 장-노출 이미지(IMG_L)는 포화된 상태이다. 이는 중간 휘도 구간(LM1~LM2)에서, 중간-노출 이미지(IMG_M)가 단-노출 이미지(IMG_S) 및 장-노출 이미지(IMG_L)보다 상대적으로 정확한 이미지 정보를 포함함을 의미할 수 있다.
예를 들어, 중간 휘도 구간(LM1~LM2)에서, 장-노출 이미지(IMG_L)는 포화 상태이므로, 장-노출 이미지(IMG_L)는 영상 정보를 포함하지 않을 것이다. 따라서, 중간 휘도 구간(LM1~LM2)에서, 중간-노출 이미지(IMG_M)를 통해 상대적으로 정확한 영상이 획득될 수 있다.
고 휘도 구간(예를 들어, 휘도가 LM2보다 큰 구간)에서, 중간-노출 이미지(IMG_M) 및 장-노출 이미지(IMG_L)는 포화된 상태일 것이다. 따라서, 고 휘도 구간에서, 단-노출 이미지(IMG_S)를 통해 상대적으로 정확한 영상이 획득될 수 있다.
상술된 바와 같이, 특정 휘도 영역에 대하여, 상대적으로 큰 크기를 갖는 데이터(단, 포화되지 않은 데이터)를 사용하여 상대적으로 정확한 영상을 획득하고, 이를 조합함으로써, 고품질 이미지(HDR)가 획득될 수 있다.
예시적인 실시 예에서, 도 4a에 도시된 바와 같이, 데이터(IMG_L, IMG_M, IMG_S) 각각의 상대적인 크기가 상이하기 때문에, 각 구간에서, 데이터(IMG_L, IMG_M, IMG_S)를 조합하기 위해서는, 정규화 과정(normalization)이 필요할 수 있다.
도 4b는 정규화가 수행된 이미지들의 크기를 예시적으로 보여준다. 예시적인 실시 예에서, 정규화는 정규화 인자(normalization factor)를 기반으로 서로 다른 노출이 적용된 이미지에 대응하는 데이터의 크기가 균일해지도록 하는 일련의 연산 과정을 가리킬 수 있다. 정규화가 수행된 장-노출 이미지(IMG_L')를 사용하여 저휘도 구간(LM0~LM1)의 영상이 획득되고, 정규화가 수행된 중간-노출 이미지(IMG_M')를 사용하여 중간 휘도 구간(LM1~LM2)의 영상이 획득되고, 단-노출 이미지(IMG_S)를 사용하여 고휘도 구간(LM1~)의 영상이 획득될 수 있다. 획득된 영상이 조합됨으로써, 전체 휘도 구간에서 정확한 영상(즉, HDR 데이터)이 획득될 수 있다.
예시적인 실시 예에서, 휘도 구간이 변경되는 지점에서, 정규화 과정 이후에 데이터의 차이가 발생할 수 있다. 이러한 데이터의 차이를 기반으로 영상에 대한 움직임(motion)이 검출될 수 있다. 예를 들어, 제1 휘도(LM1)의 지점에서, 정규화된 장-노출 이미지(IMG_L')의 크기 및 정규화된 중간-노출 이미지(IMG_M')의 크기가 서로 다를 수 있다. 이러한 크기의 차이를 기반으로 제1 휘도(LM1)에 대응하는 영역에 대하여, 움직임(motion)의 발생이 검출될 수 있다. 일반적으로 움직임이 발생한 영역(이하에서, "움직임 영역(motion region)"이라 칭함.)에 대해서는, 움직임 보상(motion compensation)과 같은 별도의 영상 처리가 요구된다.
예시적인 실시 예에서, 움직임 보상(motion compensation) 방식은 단-노출 선호 방식(shorter preferred compensation) 및 장-노출 선호 방식(longer preferred compensation)을 포함할 수 있다. 단-노출 선호 방식은 움직임이 발생한 영역에서 상대적으로 노출이 짧은 데이터(즉, 단-노출 이미지)를 기반으로 움직임을 보상하는 방식을 가리키고, 장-노출 선호 방식은 움직임이 발생한 영역에서 상대적으로 노출이 긴 데이터(즉, 장-노출 이미지)를 기반으로 움직임을 보상하는 방식을 가리킬 수 있다.
단-노출 선호 방식은 노출 시간이 짧은 단-노출 이미지를 기반으로 수행되기 때문에, 움직임이 발생한 영역에서의 끌림의 정도가 적으나, 상대적으로 신호 대 잡음비(SNR; signal to noise ratio)가 나쁜 단점이 있다. 반면에, 장-노출 선호 방식은 노출 시간이 긴 장-노출 이미지를 기반으로 수행되기 때문에, 단-노출 선호 방식과 비교하여, 상대적으로 끌림의 정도는 크나, 노출 시간이 길기 때문에, 상대적으로 SNR 특성이 좋은 장점이 있다. 그러나, 장-노출 선호 방식은 특정 조건(예를 들어, 모든 색상 채널들이 포화된 경우)에서, 움직임 영역에서 색상 열화(color artifact)가 발생할 수 있다.
본 발명의 실시 예에 따른, 이미지 센서(110)는 장-노출 선호 방식을 기반으로 고품질 이미지(HDR)에 대한 움직임 보상을 수행할 수 있다. 이 때, 본 발명의 실시 예에 따른 이미지 센서(110)는 장-노출 이미지에 대한 신호 선-처리를 수행하여, 이후의 ISP(120)에서 수행되는 다양한 신호 처리 후에 발생하는 색상 열화를 방지할 수 있다.
도 5a 및 도 5b는 장-노출 선호 방식의 움직임 보상을 설명하기 위한 도면들이다. 도 5a 및 도 5b를 참조하여, 종래의 장-노출 선호 방식에 따른 움직임 보상이 예시적으로 설명된다. 도 5a 및 도 5b를 참조하면, HDR 모듈(HDR module)은 패턴 분리부(11), 움직임 검출부(12), 가중치 결정부(13), 및 이미지 조합부(14)를 포함할 수 있다. 패턴 분리부(11)는 이미지 센서의 픽셀 어레이로부터의 데이터를 단-노출 이미지(img_s)및 장-노출 이미지(img_l)로 분리할 수 있다.
움직임 검출부(12)는 단-노출 이미지(img_s)및 장-노출 이미지(img_l)를 기반으로 움직임(motion)을 검출할 수 있다. 예를 들어, 앞서 설명된 바와 같이, 특정 휘도에서, 단-노출 이미지(img_s)및 장-노출 이미지(img_l)의 크기가 서로 다를 수 있다. 이 경우, 움직임 검출부(12)는 단-노출 이미지(img_s)및 장-노출 이미지(img_l)의 크기가 서로 다른 영역을 움직임이 있는 영역(즉, 움직임 영역)으로 결정할 수 있다.
가중치 결정부(13)는 움직임 검출부(12)에 의해 검출된 움직임 영역(mt_d)을 기반으로, 검출된 움직임 영역(mt_d)에 적용될 가중치(wt)를 결정하고, 결정된 가중치(wt)를 출력할 수 있다. 이미지 조합부(14)는 가중치 결정부(13)로부터 결정된 가중치(wt)를 장-노출 이미지(img_l)에 적용하여, 움직임이 보상된 고품질 이미지(hdr)를 출력할 수 있다.
예시적인 실시 예에서, 장-노출 선호 방식을 기반으로 움직임 보상을 수행하는 종래의 HDR 모듈(HDR module)은 장-노출 이미지(img_l)에 대한 별도의 신호 처리 없이 장-노출 이미지(img_l) 자체에 가중치(wt)를 적용함으로써, 고품질 이미지(hdr)를 생성한다. 이 경우, 이후의 ISP에 의한 신호 처리 동작(특히, 화이트 밸런싱)에 의해 움직임 영역에서 색상 열화가 발생할 수 있다.
예를 들어, 도 5b에 도시된 이미지(image)는 종래의 HDR 모듈에 의해 생성된 고품질 이미지(hdr)에 대한 화이트 밸런싱이 적용된 이미지이다. 도 5b의 이미지(image)에서 도시된 바와 같이, 움직임 영역(mt_d)에서, 붉은 색의 색상 열화가 나타날 수 있다. 이는 장-노출 이미지(img_l)가 포화된 상태에서, 장-노출 선호 방식에 의해 움직임이 보상된 경우, 이후의 화이트 밸런싱 동작을 통해 레드 채널의 값이 다른 채널의 값보다 증가하기 때문에 발생된다.
좀 더 상세한 예로서, 표 1은 장-노출 선호 방식에 따라 움직임 보상을 수행하는 종래의 HDR 모듈에 의해 생성된 영상에 대한 화이트 밸런싱 적용 전후의 각 채널의 크기(또는 최대 값)를 보여준다.
Before White Balancing After White Balancing
Red Channel 1468 2304
Green Channel 1468 1468
Blue Channel 1468 1688
표 1의 예시에서, 각 채널의 데이터는 12bit로 표현되고, 장-노출 이미지(img_l) 및 단-노출 이미지(img_s)의 밝기 비가 2.79:1이고, 화이트 밸런스(WB) 이득은 "R:G:B=1.57:1:1.16"을 만족한다. 이 때, 장-노출 이미지(img_l) 및 단-노출 이미지(img_s)의 밝기 비에 따라 장-노출 이미지에 대한 정규화 이후의 최대 값은 1468(≒4096/2.79)이나, 화이트 밸런스(WB)가 반영된 이후에, 레드 채널(Red Channel)의 최대 값이 "2304"이다. 즉, 레드 채널의 최대 값이 다른 채널들(Green Channel, Blue Channel)의 최대 값들보다 상대적으로 커짐으로써, 붉은 색의 색상 열화가 발생한다. 이러한 색상 열화는 최종 이미지의 전체적인 품질을 저하시키는 요인이 된다.도 6은 본 발명의 실시 예에 따른 HDR 모듈을 예시적으로 보여주는 블록도이다. 이하에서, 설명의 편의를 위하여, 픽셀 어레이(110)로부터 획득된 이미지 데이터는 장-노출 이미지 및 단-노출 이미지인 것으로 가정한다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 이하에서 설명되는 장-노출 이미지 및 단-노출 이미지는 움직임이 검출된 영역에 대응하는 휘도에 따라 장-노출 이미지 및 중간-노출 이미지, 또는 중간-노출 이미지 및 단-노출 이미지로 이해될 수 있다. 즉, 이하에서, 사용되는 장-노출 이미지 및 단-노출 이미지의 용어들은 대응하는 노출 시간에 대한 상대적인 의미이며, 도 3a를 참조하여 설명된 장-노출, 중간-노출, 또는 단-노출과 구분되어 이해되어야 할 것이다.
이하에서, 본 발명의 기술적 사상을 명확하게 설명하기 위하여, HDR 모듈(111)의 움직임 보상(motion compensation)이 중점적으로 설명된다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니며, HDR 모듈(111)은 움직임 보상 이외에 다른 영상 조합 또는 영상 정합을 수행하기 위한 다양한 영상 처리들을 수행하거나 또는 다양한 영상 처리를 위한 다른 기능 블록들 기능 모듈들을 더 포함할 수 있다.
도 1, 도 2, 및 도 6을 참조하면, HDR 모듈(111)은 패턴 분리부(111a), 움직임 검출부(111b), 가중치 결정부(111c), 신호 선-처리부(111d), 및 이미지 조합부(111e)를 포함할 수 있다.
패턴 분리부(111a)는 ADC(114)로부터의 데이터(DATA)를 기반으로, 단-노출 이미지(IMG_S) 및 장-노출 이미지(IMG_L)를 분리할 수 있다. 예를 들어, 도 3a를 참조하여 설명된 바와 같이, 픽셀 어레이(112)로부터 출력된 전기적 신호들은 ADC(114)에 의해 디지털 신호로 변환되고, 변환된 디지털 신호는 데이터(DATA)로 출력될 수 있다. 이 때, 패턴 분리부(111a)는 데이터(DATA)로부터 장-노출이 적용된 서브 픽셀들(sPX)에 대응하는 데이터를 추출하고, 추출된 데이터를 기반으로 장-노출 이미지(IMG_L)를 생성할 수 있다. 마찬가지로, 패턴 분리부(111a)는 데이터(DATA)로부터 단-노출이 적용된 서브 픽셀들(sPX)에 대응하는 데이터를 추출하고, 추출된 데이터를 기반으로 단-노출 이미지(IMG_S)를 생성할 수 있다.
비록 도면에 도시되지는 않았으나, 패턴 분리부(111a)에 의해 생성된 장-노출 이미지(IMG_L) 및 단-노출 이미지(IMG_S)는 정규화될 수 있다. 즉, 이후의 블록들에서 사용되는 장-노출 이미지(IMG_L) 및 단-노출 이미지(IMG_S)는 정규화된 데이터일 수 있다.
움직임 검출부(111b)는 장-노출 이미지(IMG_L) 및 단-노출 이미지(IMG_S)를 기반으로 이미지에 대한 움직임 영역(MT_D)을 검출할 수 있다. 예를 들어, 움직임 검출부(111b)는 장-노출 이미지(IMG_L) 및 단-노출 이미지(IMG_S)의 크기 차이가 발생하는 영역에서 움직임이 발생했음을 검출할 수 있다.
가중치 결정부(111c)는 움직임 검출부(111b)에 의해 검출된 움직임 영역(MT_D)을 기반으로, 움직임 영역(MT_D)에 적용될 가중치(WT)를 결정할 수 있다. 예를 들어, 움직임 영역(MT_D)에서, 장-노출 이미지(IMG_L)의 크기가 상대적으로 큰 경우, 움직임 영역(MT_D)에서, 장-노출 이미지(IMG_L)의 크기가 상대적으로 작아지도록, 상대적으로 작은 가중치가 결정될 수 있다.
신호 선-처리부(111d)는 장-노출 이미지(IMG_L)에 대한 신호 선-처리를 수행하여, 선-처리 이미지(IMG_P)(pre-processed image)를 출력할 수 있다. 예를 들어, 신호 선-처리부(111d)는 장-노출 이미지(IMG_L)에 대한 다양한 신호 처리를 수행하여, 선-처리 이미지(IMG_P)를 생성할 수 있다. 예시적인 실시 예에서, 장-노출 이미지(IMG_L)에 대한 신호 선-처리가 수행됨으로써, 이후의 고품질 이미지(HDR)에 대한 신호 처리(예를 들어, 화이트 밸런싱)에서 발생할 수 있는 색상 열화가 방지될 수 있다. 신호 선-처리부(111d)의 동작 및 구성은 이하의 도면들을 참조하여 더욱 상세하게 설명된다.
이미지 조합부(111e)는 가중치 결정부(111c)에 의해 결정된 가중치(WT)를 선-처리 이미지(IMG_P)에 적용함으로써, 고품질 이미지(HDR)를 생성할 수 있다. 예시적인 실시 예에서, 이미지 조합부(111e)는 가중치(WT)가 적용된 선-처리 이미지 및 다른 이미지(예를 들어, 단-노출 이미지(IMG_S))를 조합함으로써, 고품질 이미지(HDR)를 생성할 수 있다.
상술된 바와 같이, 본 발명의 실시 예에 따른 이미지 센서(110)는 고품질 이미지(HDR)을 생성함에 있어서, 장-노출 선호 방식에 따라 움직임 보상을 수행할 수 있다. 또한, 종래의 단-노출 선호 방식과 비교하여, 고품질 이미지(HDR)의 SNR 특성이 향상될 수 있다. 또한 이미지 센서(110)는 장-노출 이미지(IMG_L)에 대한 선-처리를 수행함으로써, 이후의 이미지 신호 처리기(120)에서의 신호 처리 동작 후에 발생할 수 있는 색상 열화가 방지될 수 있다.
도 7은 도 6의 HDR 모듈의 동작을 예시적으로 보여주는 순서도이다. 도 7을 참조하여, HDR 모듈(111)의 장-노출 선호 방식에 따른 움직임 보상 동작이 설명된다. 설명의 편의를 위하여, 도 7의 순서도는 이미지 센서(110)를 기준으로 설명된다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니며, 도 7의 순서도는 이미지 센서(110)의 특정 구성 요소(예를 들어, HDR 모듈(111))에 의해 수행될 수 있다.
도 1, 도 2, 도 6, 및 도 7을 참조하면, S110 단계에서, 이미지 센서(110)는 다중-노출 이미지들을 획득할 수 있다. 예를 들어, 이미지 센서(110)는 도 3a 및 도 3b를 참조하여 설명된 바와 같이, 복수의 서브 픽셀들(sPX)로부터 서로 다른 노출 시간이 적용된 다양한 이미지들을 획득할 수 있다. 예시적인 실시 예에서, HDR 모듈(111)의 패턴 분리부(111a)는 픽셀 어레이(112)로부터 획득된 데이터로부터 다중 노출 이미지들(예를 들어, IMG_L, IMG_S 등)을 추출할 수 있다.
S120 단계에서, 이미지 센서(110)는 다중-노출 이미지들을 기반으로 움직임 영역을 검출할 수 있다. 예를 들어, HDR 모듈(111)의 움직임 검출부(111b)는 특정 휘도에서의 다중-노출 이미지들의 크기의 차이를 기반으로 움직임 영역을 검출할 수 있다. 예시적인 실시 예에서, 특정 휘도는 다중-노출 이미지들 각각에 대응하는 휘도 구간을 구분하는 값과 대응될 수 있다. 또는 특정 휘도는 장-노출 이미지(IMG_L)의 복수의 채널 데이터가 모두 포화되는 최소 휘도 값을 가리킬 수 있다. 예시적인 실시 예에서, HDR 모듈(111)의 움직임 검출부(111b)는 정규화된 다중-노출 이미지들의 크기의 차이를 기반으로 움직임을 검출할 수 있다.
S130 단계에서, 이미지 센서(110)는 검출된 움직임을 기반으로 가중치를 결정할 수 있다. 예를 들어, HDR 모듈(111)의 가중치 결정부(111c)는 검출된 움직임에 대응하는 영역에 적용될 가중치(WT)를 결정할 수 있다. 예시적인 실시 예에서, 가중치(WT)는 정규화된 다중-노출 이미지들의 크기의 차이를 기반으로 결정될 수 있다.
S140 단계에서, 이미지 센서(110)는 다중-노출 이미지들에 대한 신호 선-처리를 수행하여 선-처리 이미지(IMG_P)를 생성할 수 있다. 예를 들어, HDR 모듈(111)의 신호 선-처리부(111d)는 다중-노출 이미지들에 대한 신호 선-처리를 수행하여 선-처리 이미지(IMG_P)를 생성할 수 있다. 예시적인 실시 예에서, 신호 선-처리는 색상 전달 방식 기반의 신호 선-처리; 또는 최대 값 제한 방식의 신호 선-처리 등과 같은 다양한 방식들을 포함할 수 있다. 신호 선-처리부(111d)의 동작 및 구성은 이하의 도면들을 참조하여 더욱 상세하게 설명된다.
S150 단계에서, 이미지 센서(110)는 선-처리된 이미지(IMG_P) 및 가중치(WT)를 기반으로 고품질 이미지(HDR)를 생성할 수 있다. 예를 들어, HDR 모듈(111)의 이미지 조합부(111e)는 선-처리된 이미지(IMG_P)에 가중치(WT)를 적용함으로써, 고품질 이미지(HDR)를 생성할 수 있다. 예시적인 실시 예에서, 선-처리된 이미지(IMG_P)에 가중치(WT)가 적용된 결과 및 다른 다중-노출 이미지들이 조합됨으로써, 고품질 이미지(HDR)가 생성될 수 있다.
도 8은 도 7의 S140 단계의 동작의 실시 예를 예시적으로 보여주는 순서도이다. 도 9는 도 8의 순서도에 따른 동작을 수행하는 신호 선-처리부를 예시적으로 보여주는 블록도이다. 설명의 편의를 위하여, 장-노출 이미지(IMG_L) 및 단-노출 이미지(IMG_S), 즉, 2개의 다중-노출 이미지를 기준으로 도 8의 순서도에 따른 동작 및 도 9의 신호 선-처리부의 구성이 설명된다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다.
도 8 및 도 9를 참조하면, 신호 선-처리부(111d-A)는 제1 채널 데이터 추출기(EXT1), 제2 채널 데이터 추출기(EXT2), 채널 데이터 연산기(CAL), 및 선-처리 이미지 생성기(GER)를 포함할 수 있다. 신호 선처리부(111d-A)는 S140-A 단계의 동작을 수행할 수 있다. 예시적인 실시 예에서, 신호 선처리부(111d-A)는 도 6의 신호 선-처리부(111d)의 일 실시 예일 수 있으며, S140-A 단계의 동작은 도 7의 S140 단계의 일 실시 예일 수 있다. S140-A 단계의 동작은 S141-A 단계 내지 S144-A 단계의 동작을 포함할 수 있다.
S141-A 단계에서, 신호 선-처리부(111d-A)는 단-노출 이미지(IMG_S) 및 장-노출 이미지(IMG_L)에 화이트 밸런스 이득(WB_g)을 적용할 수 있다. 예시적인 실시 예에서, 화이트 밸런스 이득(WB_g)은 이미지 신호 처리기(120, 도 1 참조)로부터 제공될 수 있다.
S142-A 단계에서, 신호 선-처리부(111d-A)는 단-노출 이미지(IMG_S)로부터 색상에 대한 정보를 연산할 수 있다. S143-A 단계에서, 신호 선-처리부(111d-A)는 장-노출 이미지(IMG_L)로부터 밝기에 대한 정보를 연산할 수 있다.
예를 들어, 도 9에 도시된 바와 같이, 제1 채널 데이터 추출기(EXT1)는 단-노출 이미지(IMG_S)로부터 복수의 컬러 채널들에 대한 정보(R_short, G_short, B_short)를 추출할 수 있다. 제2 채널 데이터 추출기(EXT2)는 장-노출 이미지(IMG_L)로부터 복수의 컬러 채널들에 대한 정보(R_long, G_long, B_long)를 추출할 수 있다. 예시적인 실시 예에서, 제1 및 제2 채널 데이터 추출기들(EXT1, EXT2)로 제공되는 단-노출 이미지(IMG_S) 및 장-노출 이미지(IMG_L)는 화이트 밸런스 이득(WB_g)이 적용된 이미지 데이터일 수 있다.
채널 데이터 연산기(CAL)는 복수의 컬러 채널들에 대한 정보(R_short, G_short, B_short, R_long, G_long, B_long)를 기반으로 선-처리 이미지(IMG_P)에 반영될 밝기 정보 및 색상 정보를 연산할 수 있다. 좀 더 상세한 예로서, RGB의 컬러 채널들 중 "G"에 대응하는 컬러 채널은 영상의 밝기에 대한 정보를 포함할 수 있다. 즉, 채널 데이터 연산기(CAL)는 복수의 컬러 채널들에 대한 정보(R_short, G_short, B_short, R_long, G_long, B_long) 중 장-노출 이미지(IMG_L)의 "G" 컬러 채널에 대응하는 정보(즉, G_long)을 기반으로 선-처리 이미지(IMG_P)에 반영될 밝기 정보(예를 들어, G_pre)가 연산될 수 있다.
반면에, 복수의 컬러 채널들 중 "R" 및 "B"에 대응하는 컬러 채널은 색상에 대한 정보를 포함할 수 있다. 이 때, 색상에 대한 정보는 포화되지 않은 단-노출 이미지(IMG_S)로부터 연산될 수 있다. 즉, 채널 데이터 연산기(CAL)는 복수의 컬러 채널들에 대한 정보(R_short, G_short, B_short, R_long, G_long, B_long) 중 단-노출 이미지(IMG_S)의 "R" 및 "B" 컬러 채널들에 대응하는 정보(즉, R_short, B_short)를 기반으로 선-처리 이미지(IMG_P)에 반영될 색상 정보(즉, R_pre, B_pre)를 연산할 수 있다.
예시적인 실시 예에서, 선-처리 이미지(IMG_P)에 반영될 밝기 정보(G_pre) 및 색상 정보(R_pre, B_pre)는 수학식 1을 기반으로 연산될 수 있다.
Figure pat00001
수학식 1에 기재된 참조 기호들은 앞서 설명되었으므로, 이에 대한 상세한 설명은 생략된다.
선-처리 이미지 생성기(GER)는 채널 데이터 연산기(CAL)에 의해 연산된 밝기 정보(G_pre) 및 색상 정보(R_pre, B_pre)를 조합하여 선-처리 이미지(IMG_P)를 생성할 수 있다. 생성된 선-처리 이미지(IMG_P)는 이미지 조합기(111e)(도 6 참조)로 제공될 수 있다.
상술된 바와 같이, 본 발명의 실시 예에 따른, 이미지 센서(110)는 장-노출 선호 방식을 기반으로 움직임 보상을 수행할 수 있다. 이 때, 이미지 센서(110)는 움직임 보상에 사용되는 다중-노출 이미지에 대한 신호 선-처리 동작을 수행할 수 있다. 예를 들어, 이미지 센서(110)는 선-처리 이미지(IMG_P)에 적용될 색상 정보에 대해서는 포화되지 않은 상태인 단-노출 이미지(IMG_S)를 기반으로 연산하고, 선-처리 이미지(IMG_P)에 적용될 밝기 정보에 대해서는 포화된 상태의 장-노출 이미지(IMG_L)를 기반으로 연산할 수 있다. 즉, 선-처리 이미지(IMG_P)에 적용될 색상 정보에 대해서는 포화되지 않은 상태인 단-노출 이미지(IMG_S)를 기반으로 연산되기 때문에, 종래의 장-노출 선호 방식에 따른 움직임 보상에서, 장-노출 이미지의 포화에 의해 발생하는 색상 열화가 방지될 수 있다. 따라서, 이후의 고품질 이미지(HDR)에 화이트 밸런싱이 적용되더라도, 색상 열화가 방지될 수 있다.
도 10은 도 9의 신호 선-처리부의 예시적인 실시 예를 보여주는 블록도이다. 설명의 편의를 위하여, 앞서 설명된 구성 요소들에 대한 상세한 설명은 생략된다. 도 10을 참조하면, 신호 선-처리부(111d-A')는 제1 채널 데이터 추출기(EXT1), 제2 채널 데이터 추출기(EXT2), 채널 데이터 연산기(CAL), 선-처리 이미지 생성기(GER), 및 로우 패스 필터(LPF)를 포함할 수 있다. 제1 채널 데이터 추출기(EXT1), 제2 채널 데이터 추출기(EXT2), 채널 데이터 연산기(CAL), 선-처리 이미지 생성기(GER)는 앞서 설명되었으므로, 이에 대한 상세한 설명은 생략된다.
선-처리 이미지(IMG_P)에 적용될 색상 정보(R_pre, B_pre)는 단-노출 이미지(IMG_S)를 기반으로 연산 될 수 있다. 그러나, 앞서 설명된 바와 같이, 단-노출 이미지(IMG_S)는 노출 시간이 짧기 때문에, 상대적으로 많은 노이즈를 포함할 수 있다. 즉, 선-처리 이미지(IMG_P)에 적용될 색상 정보(R_pre, B_pre)가 단-노출 이미지(IMG_S)를 기반으로 연산 될 경우, 단-노출 이미지(IMG_S)에 포함된 노이즈가 이후의 연산 과정으로 전달되거나 또는 증폭될 수 있다. 이를 방지하기 위하여, 단-노출 이미지(IMG_S)에 대한 로우 패스 필터링이 수행될 수 있다. 로우 패스 필터(LPF)는 단-노출 이미지(IMG_S)에 대한 로우 패스 필터링을 수행하여, 단-노출 이미지(IMG_S)에 포함된 노이즈를 제거할 수 있다. 제1 채널 데이터 추출기(EXT1)는 로우 패스 필터링된 단-노출 이미지(IMG_S)로부터 채널 정보(R_short, G_short, B_short)를 추출할 수 있다. 이후의 동작은 앞서 설명된 바와 유사하므로, 이에 대한 상세한 설명은 생략된다.
도 11은 도 7의 S140 단계의 동작의 실시 예를 예시적으로 보여주는 순서도이다. 도 12는 도 10의 순서도에 따른 동작을 수행하는 신호 선-처리부를 예시적으로 보여주는 블록도이다. 설명의 편의를 위하여, 장-노출 이미지(IMG_L) 및 단-노출 이미지(IMG_S), 즉, 2개의 다중-노출 이미지를 기준으로 도 10의 순서도에 따른 동작 및 도 11의 신호 선-처리부의 구성이 설명된다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다.
도 11 및 도 12를 참조하면, 신호 선-처리부(111d-B)는 임계치 연산기(THC) 및 채널 최대 값 제한기(CLP)를 포함할 수 있다. 신호 선처리부(111d-A)는 도 10의 S140-B 단계의 동작을 수행할 수 있다. 예시적인 실시 예에서, 신호 선처리부(111d-B)는 도 6의 신호 선-처리부(111d)의 일 실시 예일 수 있으며, S140-B 단계의 동작은 도 7의 S140 단계의 일 실시 예일 수 있다. S140-B 단계의 동작은 S141-B 단계 내지 S143-B 단계의 동작을 포함할 수 있다.
S141-B 단계에서, 신호 선-처리부(111d-B)는 화이트 밸런스 이득에 대한 정보를 획득할 수 있다. 예를 들어, 화이트 밸런싱은 이미지 신호 처리기(120)(도 1 참조)에 의해 수행될 수 있다. 신호 선-처리부(111d-B)는 이미지 신호 처리기(120)로부터 화이트 밸런스 이득에 대한 정보를 수신할 수 있다.
S142-B 단계에서, 신호 선-처리부(111d-B)는 화이트 밸런스 이득에 대한 정보를 기반으로, 각 채널에 대한 임계 값을 연산할 수 있다. S143-B 단계에서, 신호 선-처리부(111d-B)는 각 채널에 임계 값을 적용하여 선-처리 이미지(IMG_P)를 생성할 수 있다.
예를 들어, 앞서 설명된 바와 같이, 장-노출 선호 방식에 따라 움직임 보상이 수행되고, 장-노출 이미지(IMG_L)의 모든 채널이 포화된 경우, 이후의 화이트 밸런싱 동작에서, 특정 색상에 대한 색상 열화가 발생할 수 있다. 이를 방지하기 위하여, 특정 채널에 대한 최대 값을 연산된 임계 값으로 제한시킬 수 있다.
좀 더 상세한 예로서, 도 12에 도시된 바와 같이, 신호 선-처리부(111d-B)의 임계치 연산기(THC)는 화이트 밸런스 이득에 대한 정보(WB_r, WB_g, WB_b) 및 장-노출 이미지(IMG_L)의 각 채널에 대한 최대 값에 대한 정보(MAX_r, MAX_g, MAX_b)를 수신할 수 있다. 임계치 연산기(THC)는 수신된 정보를 기반으로, 장-노출 이미지(IMG_L)의 각 채널의 최대 값을 제한시키는데 사용되는 임계 값들(TH_r, TH_g, TH_b)를 연산할 수 있다. 예시적인 실시 예에서, 임계 값들(TH_r, TH_g, TH_b)은 수학식 2를 기반으로 연산될 수 있다.
Figure pat00002
수학식 2를 참조하면, 'LE/SE'는 정규화 과정에서 사용되는 정규화 인수(normalization factor)이고, 나머지 변수들은 앞서 설명되었으므로, 이에 대한 상세한 설명은 생략된다.
예시적인 실시 예에서, 각 채널의 데이터가 12비트이고, 각 채널의 화이트 밸런스 이득의 비율이 "WB_r:WB_g:WB_b = 1.57:1:1.16"인 것으로 가정한다. 이 때, 각 채널의 최대 값(MAX_r, MAX_g, MAX_b)은 각각 "4095"일 것이다. 따라서, 상술된 값 및 수학식 2를 기반으로 연산된 각 채널에 대한 임계값들(TH_r, TH_g, TH_b)은 [935, 1468, 1265]일 것이다. 표 2는 종래의 장-노출 선호 방식에 따라 움직임 보상된 고품질 이미지(hdr)에 대한 화이트 밸런싱 적용 전후의 각 채널의 최대 값들, 및 도 11 및 도 12의 실시 예에 따라 움직임 보상된 고품질 이미지(HDR)에 대한 화이트 밸런싱 적용 전후의 각 채널의 최대 값들을 예시적으로 보여준다.
종래 기술(hdr) 본 발명(HDR)
Before WB After WB Before WB After WB
Red Channel 1468 2304 935 1468
Green Channel 1468 1468 1468 1468
Blue Channel 1468 1688 1265 1467
표 2에 기재된 바와 같이, 종래 기술에 따르면, 화이트 밸런싱 적용 이후에, 레드 채널의 최대 값이 다른 채널들의 최대 값과 비교하여 상대적으로 매우 크다. 이는, 움직임 보상된 영역에서 붉은 색의 색상 열화가 발생함을 의미한다. 반면에, 도 11 및 도 12의 실시 예에 따르면, 움직임 보상 과정에서, 화이트 밸런스 이득에 대한 정보를 기반으로 특정 채널에 대한 최대 값을 제한시킴으로써, 화이트 밸런싱 적용 이후에도 각 채널의 최대 값들의 차이가 거의 없을 수 있다. 이는 화이트 밸런싱 적용 이후에 색상 열화가 발생하지 않음을 의미한다.상술된 바와 같이, 본 발명의 실시 예들에 따르면, 이미지 센서는 장-노출 선호 방식에 따라 움직임 보상을 수행할 수 있다. 이 때, 종래의 장-노출 선호 방식에 따른 움직임 보상의 경우, 움직임 보상된 영역에서 색상 열화가 발생하는 반면에, 본 발명의 실시 예에 따른 이미지 센서는 장-노출 이미지(IMG_L)에 대한 신호 선-처리를 수행함으로써, 움직임 보상된 영역에 대한 색상 열화를 방지할 수 있다. 따라서, 이미지 센서(110)로부터 생성된 고품질 이미지(HDR)의 품질이 더욱 향상될 수 있다.
도 13a 내지 도 13c는 본 발명의 실시 예에 따른 색상 열화 방지의 효과를 설명하기 위한 도면들이다. 도 13a의 도면은 종래의 장-노출 선호 방식에 따라 움직임 보상된 고품질 이미지(hdr)의 화이트 밸런싱 적용 이후의 사진이다. 도 13b의 도면은 도 8 및 도 9의 실시 예에 따라, 움직임 보상된 고품질 이미지(HDR1)의 화이트 밸런싱 적용 이후의 사진이다. 도 13c의 도면은 도 11 및 도 12의 실시 예에 따라, 움직임 보상된 고품질 이미지(HDR1)의 화이트 밸런싱 적용 이후의 사진이다.
도 13a의 종래의 고품질 이미지(hdr)에 도시된 바와 같이, 움직임 보상이 적용된 영역(MT)에서, 붉은 색의 색상 열화가 발생한다. 반면에, 도 13b 및 도 13c의 본 발명에 따른 이미지 센서(110)로부터 생성된 고품질 이미지들(HDR1, HDR2)의 움직임 보상된 영역(MT)에서는, 종래의 고품질 이미지(hdr)와 같은 색상 열화가 발생하지 않는다. 즉, 장-노출 선호 방식에 따른 움직임 보상 과정 중, 장-노출 이미지(IMG_L)에 대한 신호 선-처리가 수행됨으로써, 이후의 화이트 밸런싱 과정에서 발생할 수 있는 색상 열화가 방지될 수 있다.
예시적인 실시 예에서, 도 13b에 도시된 바와 같이, 도 8 내지 도 10을 참조하여 설명된 움직임 보상 방식에 따르면, 움직임 영역(MT_D)의 색상이 움직이는 물체와 유사한 색상을 갖기 때문에, 자연스러운 고품질 이미지(HDR1)가 생성될 수 있다. 예시적인 실시 예에서, 도 13c에 도시된 바와 같이, 도 11 및 도 12를 참조하여 설명된 움직임 보상 방식에 따르면, 장-노출 이미지(IMG_L)에 대한 신호 선-처리에서의 연산량이 상대적으로 감소하는 장점이 있다.
도 14a는 본 발명의 실시 예에 따른 HDR 모듈을 예시적으로 보여주는 블록도이다. 도 14b는 도 14a의 후-처리 과정의 반복 수행의 효과를 설명하기 위한 도면이다. 설명의 편의를 위하여, 앞서 설명된 구성 요소들에 대한 상세한 설명은 생략된다.
도 1, 도 14a, 및 도 14b를 참조하면, HDR 모듈(111')은 패턴 분리부(111a), 움직임 검출부(111b), 가중치 결정부(111c), 신호 선-처리부(111d), 이미지 조합부(111e), 움직임 영역 확장부(111f), 및 인-페인팅 필터(111g)를 포함할 수 있다. 패턴 분리부(111a), 움직임 검출부(111b), 가중치 결정부(111c), 신호 선-처리부(111d), 및 이미지 조합부(111e)는 앞서 설명되었으므로, 이에 대한 상세한 설명은 생략된다.
움직임 영역 확장부(111f)는 움직임 검출부(111b)로부터 검출된 움직임 영역(MT_D)을 확장하도록 구성될 수 있다. 예를 들어, 이미지의 일부 영역에서, 움직임이 존재함에도 불구하고, 움직임 영역으로 검출되지 않는 영역이 경계 영역이 존재할 수 있다. 이러한 경계 영역은 강한 에지의 형태로 나타날 수 있다. 경계 영역의 강한 에지를 상대적으로 감소시킴으로써, 영상의 품질이 향상될 수 있다. 이에 따라서, 움직임 영역 확장부(111f)는 검출된 움직임 영역(MT_D)을 확장시켜, 확장된 움직임 영역(MT_R)을 결정할 수 있다.
인-페인팅 필터(111g)는 확장된 움직임 영역(MT_R)에 대하여, 인-페인팅 필터링을 수행할 수 있다. 인-페인팅 필터링은 확장된 움직임 영역(MT_R)의 중심 픽셀을 제외한 나머지 픽셀들에 가중치를 적용함으로써, 로우 패스 필터링을 수행하는 필터링 기법을 가리킬 수 있다.
예시적인 실시 예에서, 움직임 영역 확장부(111f) 및 인-페인팅 필터(111g)는 HDR 모듈(111')의 후-처리 과정에 포함될 수 있다. 예시적인 실시 예에서, 상술된 후-처리 과정이 반복 수행됨에 따라, 고품질 이미지(HDR)의 에지 영역이 상대적으로 부드러워질 수 있다. 예를 들어, 도 14b에 도시된 바와 같이, 고품질 이미지(HDR)에 대한 후-처리 과정이 반복 수행됨에 따라, 에지 영역의 강도가 상대적으로 약해질 수 있다.(즉, 에지 영역이 상대적으로 부드러워짐.)
도 15는 도 1의 이미지 장치의 이미지 신호 처리기를 상세하게 보여주는 블록도이다. 도 1 및 도 15를 참조하면, 이미지 장치(100)는 이미지 센서(110) 및 이미지 신호 처리기(120)를 포함할 수 있다. 이미지 센서(110)는 도 1 내지 도 14b를 참조하여 설명된 바와 같이, 고품질 이미지(HDR)를 출력할 수 있다.
이미지 신호 처리기(120)는 이미지 센서(110)로부터 수신된 고품질 이미지(HDR)에 대한 신호 처리 또는 영상 처리를 수행할 수 있다. 이미지 신호 처리기(120)는 선-처리 모듈(121), 잡음 제거 모듈(122), 화이트 밸런스 모듈(123), 디모자이크 모듈(124), 색상 보정 모듈(125), 감마 보정 모듈(126), 색상 변환 모듈(127), 및 선명화 모듈(128)을 포함할 수 있다.
선-처리 모듈(121)은 이미지 센서(110)로부터 수신된 고품질 이미지(HDR)에 대한 신호 처리를 수행할 수 있다. 예를 들어, 선-처리 모듈(121)은 고품질 이미지(HDR)에 대한 데이터를 이후의 기능 블록들에서 사용 가능한 형태로 변환시킬 수 있다.
잡음 감소 모듈(122)은 이미지 센서(110)로부터 수신된 고품질 이미지(HDR)에 대한 잡음을 제거하도록 구성될 수 있다. 예를 들어, 잡음 감소 모듈(122)은 이미지 센서(110)의 컬러 필터 어레이(CFA)에 따른 고정된 패턴 잡음(fixed-pattern noise) 또는 임시 랜덤 잡음(temporal random noise) 등을 제거하도록 구성될 수 있다.
화이트 밸런스 모듈(123)은 잡음이 제거된 고품질 이미지(HDR)에 대한 화이트 밸런스를 적용시킬 수 있다. 예를 들어, 화이트 밸런스 모듈(123)은 잡음이 제거된 고품질 이미지(HDR)에 대한 화이트 밸런스 이득을 조절하고, 조절된 화이트 밸런스 이득을 기반으로 화이트 밸런싱 동작을 수행할 수 있다. 예시적인 실시 예에서, 화이트 밸런스 모듈(123)에서 사용되는 화이트 밸런스 이득에 대한 정보(WB_r, WB_g, WB_b)는 이미지 센서(110)로 제공될 수 있다.
디모자이크 모듈(124)은 화이트 밸런스 모듈(123)의 출력을 풀-컬러 데이터로 변환하도록 구성될 수 있다. 예를 들어, 화이트 밸런스 모듈(123)의 출력은 이미지 센서(110)의 CFA의 패턴에 따른 데이터 포맷(예를 들어, 베이어 포맷, 테트라 포맷 등)을 가질 수 있다. 디모자이킹 모듈(124)은 이미지 센서(110)의 CFA의 패턴에 따른 데이터 포맷을 RGB 포맷으로 변환하도록 구성될 수 있다.
색상 보정 모듈(125)은 RGB 포맷으로 변환된 고품질 이미지의 색상을 보정하도록 구성될 수 있다. 감마 보정 모듈(126)은 색상 보정 모듈(125)로부터의 출력에 대한 감마 값을 보정하도록 구성될 수 있다.
색상 변환 모듈(127)은 감마 보정 모듈(126)로부터의 출력을 특정 포맷으로 변환하도록 구성될 수 있다. 예를 들어, 감마 보정 모듈(126)로부터의 출력은 RGB 포맷을 가질 수 있다. 색상 변환 모듈(127)은 RGB 포맷을 YUV 포맷으로 변환할 수 있다. 선명화 모듈(128)은 색상 변환 모듈(127)로부터의 출력을 기반으로, 이미지에 대한 선명도를 조절하여, 최종 고품질 이미지를 출력할 수 있다.
이미지 신호 처리기(120)로부터 생성된 최종 고품질 이미지는 외부 디스플레이 장치 또는 저장 장치로 제공될 수 있다.
예시적인 실시 예에서, 도 15에 도시된 이미지 신호 처리기(120)의 구성은 예시적인 것이며, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 이미지 신호 처리기(120)는 상술된 구성 요소들 이외의 다른 신호 처리 동작을 수행하도록 구성된 추가 구성 요소들을 더 포함할 수 있다.
도 16은 본 발명의 실시 예에 따른 이미지 장치를 예시적으로 보여주는 블록도이다. 도 16을 참조하면, 이미지 장치(200)는 이미지 센서(210) 및 이미지 신호 처리기(220)를 포함할 수 있다. 이미지 센서(210)는 앞서 설명된 이미지 센서(210)와 달리 이미지에 대한 로우 데이터(RAW)를 출력하도록 구성될 수 있다. 로우 데이터(RAW)는 장-노출 이미지(IMG_L) 및 단-노출 이미지(IMG_S)를 포함할 수 있다. 즉, 도 16의 이미지 센서(210)는 고품질 이미지(HDR)를 생성하도록 구성된 HDR 모듈을 포함하지 않을 수 있다.
이미지 신호 처리기(220)는 선-처리 모듈(221), 잡음 제거 모듈(222), 화이트 밸런스 모듈(223), 디모자이킹 모듈(224), 색상 보정 모듈(225), 감마 보정 모듈(226), 색상 변환 모듈(227), 선명화 모듈(228), 및 HDR 모듈(229)을 포함할 수 있다. 선-처리 모듈(221), 잡음 제거 모듈(222), 화이트 밸런스 모듈(223), 디모자이킹 모듈(224), 색상 보정 모듈(225), 감마 보정 모듈(226), 색상 변환 모듈(227), 및 선명화 모듈(228)은 앞서 설명되었으므로, 이에 대한 상세한 설명은 생략된다.
이미지 신호 처리기(220)의 HDR 모듈(229)은 이미지 센서(210)로부터의 로우 데이터(RAW)를 기반으로 고품질 이미지(HDR)를 생성할 수 있다. 예를 들어, HDR 모듈(229)은 도 1 내지 도 14b를 참조하여 설명된 방식을 기반으로, 움직임 보상을 수행할 수 있다. 예시적인 실시 예에서, 이미지 신호 처리기(220)의 HDR 모듈(229)은 이미지 신호 처리기(220)의 화이트 밸런스 모듈(223)로부터 화이트 밸런스 이득에 대한 정보(WB_r, WB_g, WB_b)를 수신하도록 구성될 수 있다.
도 17은 본 발명의 실시 예에 따른 이미지 장치를 예시적으로 보여주는 블록도이다. 도 17을 참조하여, 이미지 장치(300)는 복수의 이미지 센서들(311~31n) 및 이미지 신호 처리기(320)를 포함할 수 있다.
복수의 이미지 센서들(311~31n)은 각각 복수의 이미지들(IMG1~IMGn)을 출력하도록 구성될 수 있다. 복수의 이미지들(IMG1~IMGn)은 서로 다른 특성을 가질 수 있다. 예를 들어, 복수의 이미지들(IMG1~IMGn)은 서로 다른 배율로 촬상된 이미지일 수 있다. 복수의 이미지들(IMG1~IMGn)은 서로 다른 노출 시간으로 촬상된 이미지일 수 있다. 복수의 이미지들(IMG1~IMGn)은 서로 다른 해상도를 갖는 이미지일 수 있다. 상술된 구성은 예시적인 것이며, 본 발명의 범위가 이에 한정되는 것은 아니다.
이미지 신호 처리기(320)는 복수의 이미지 센서들(311~31n)로부터 복수의 미지들(IMG1~IMGn)을 수신할 수 있다. 이미지 신호 처리기(320)는 복수의 미지들(IMG1~IMGn)에 대한 신호 처리 또는 영상 처리를 수행할 수 있다. 예시적인 실시 예에서, 이미지 신호 처리기(320)는 도 1 내지 도 14b를 참조하여 설명된 방법 또는 구성에 따라 복수의 이미지들(IMG1~IMGn)을 기반으로 고품질 이미지(HDR)를 생성할 수 있다.
상술된 바와 같이, 본 발명의 실시 예에 따른 이미지 센서는 장-노출 선호 방식에 따라 움직임 보상을 수행할 수 있다. 이 때, 이미지 센서 또는 이미지 신호 처리기는 장-노출 이미지에 대한 신호 선-처리를 수행하기 때문에, 장-노출 이미지의 모든 채널이 포화 상태이더라도, 화이트 밸런싱 적용 이후에 색상 열화가 발생하지 않는다. 따라서, 향상된 품질의 고품질 이미지를 제공하는 이미지 센서 및 그것의 동작 방법이 제공된다.
도 18은 본 발명에 따른 전자 장치를 예시적으로 보여주는 블록도이다. 도 18을 참조하면, 전자 장치(1000)는 메인 프로세서(1100), 터치 패널(1200), 터치 구동 회로(1202), 디스플레이 패널(1300), 디스플레이 구동 회로(1302), 시스템 메모리(1400), 스토리지 장치(1500), 이미지 처리기(1600), 통신 블록(1700), 오디오 처리기(1800), 및 보안 칩(1900)을 포함할 수 있다. 예시적인 실시 예에서, 전자 장치(1000)는 이동식 통신 단말기, PDA(Personal Digital Assistant), PMP(Portable Media Player), 디지털 카메라, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 웨어러블(Wearable) 장치 등과 같은 다양한 전자 장치 중 하나일 수 있다.
메인 프로세서(1100)는 전자 장치(1000)의 전반적인 동작들을 제어할 수 있다. 메인 프로세서(1100)는 전자 장치(1000)의 구성 요소들의 동작들을 제어/관리할 수 있다. 메인 프로세서(1100)는 전자 장치(1000)를 동작시키기 위해 다양한 연산을 처리할 수 있다.
터치 패널(1200)은 터치 구동 회로(1202)의 제어에 따라 사용자로부터의 터치 입력을 감지하도록 구성될 수 있다. 디스플레이 패널(1300)은 디스플레이 구동 회로(1302)의 제어에 따라 영상 정보를 표시하도록 구성될 수 있다.
시스템 메모리(1400)는 전자 장치(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예로서, 시스템 메모리(1400)는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, 및/또는 PRAM(Phase-change RAM), MRAM(Magneto-resistive RAM), ReRAM(Resistive RAM), FRAM(Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
스토리지 장치(1500)는 전원 공급에 관계없이 데이터를 저장할 수 있다. 예로서, 스토리지 장치(1500)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 다양한 불휘발성 메모리 중 적어도 하나를 포함할 수 있다. 예로서, 스토리지 장치(1500)는 전자 장치(1000)의 내장 메모리 및/또는 착탈식 메모리를 포함할 수 있다.
오디오 처리기(1600)는 오디오 신호 처리기(1610)를 이용하여 오디오 신호를 처리할 수 있다. 오디오 처리기(1600)는 마이크(1620)를 통해 오디오 입력을 수신하거나, 스피커(1630)를 통해 오디오 출력을 제공할 수 있다.
통신 블록(1700)은 안테나(1710)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 블록(1700)의 송수신기(1720) 및 MODEM(Modulator/Demodulator, 2730)은 LTE(Long Term Evolution), WiMax(Worldwide Interoperability for Microwave Access), GSM(Global System for Mobile communication), CDMA(Code Division Multiple Access), Bluetooth, NFC(Near Field Communication), Wi-Fi(Wireless Fidelity), RFID(Radio Frequency Identification) 등과 같은 다양한 무선 통신 규약 중 적어도 하나에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.
이미지 처리기(1800)는 렌즈(1810)를 통해 광을 수신할 수 있다. 이미지 처리기(1800)에 포함되는 이미지 장치(1820) 및 이미지 신호 처리기(1830)는 수신된 광에 기초하여, 외부 객체에 관한 이미지 정보를 생성할 수 있다. 예시적인 실시 예에서, 이미지 장치(1820)는 도 1 내지 도 17을 참조하여 설명된 이미지 센서일 수 있거나 또는 도 1 내지 도 17을 참조하여 설명된 동작을 기반으로 고품질 이미지(HDR)를 생성할 수 있다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위 뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims (10)

  1. 이미지 센서의 동작 방법에 있어서,
    제1 노출 시간에 대응하는 제1 이미지 및 상기 제1 노출 시간보다 짧은 제2 노출 시간에 대응하는 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지를 기반으로, 움직임 영역을 검출하는 단계;
    상기 움직임 영역에 적용될 가중치를 결정하는 단계;
    상기 제1 이미지에 대한 신호 선-처리를 수행하여 선-처리 이미지를 생성하는 단계; 및
    상기 선-처리 이미지 및 상기 가중치를 기반으로 고품질 이미지를 출력하는 단계를 포함하는 동작 방법.
  2. 제 1 항에 있어서,
    상기 움직임 영역을 검출하는 단계는:
    상기 제1 이미지 및 상기 제2 이미지를 정규화하는 단계; 및
    제1 휘도를 갖는 제1 영역에 대응하는 상기 정규화된 제1 이미지의 크기 및 상기 제1 영역에 대응하는 상기 제2 이미지의 크기를 비교하는 단계; 및
    상기 비교 결과를 기반으로, 상기 제1 영역을 상기 움직임 영역으로 검출하는 단계를 포함하는 동작 방법.
  3. 제 2 항에 있어서,
    상기 제1 휘도는 상기 제1 이미지에 포함된 복수의 컬러 채널 데이터가 포화되는 최소 휘도와 대응되는 동작 방법.
  4. 제 1 항에 있어서,
    상기 제1 이미지에 대한 신호 선-처리를 수행하여 선-처리 이미지를 생성하는 단계는:
    상기 제1 이미지의 복수의 컬러 채널 데이터 중 제1 컬러 채널 데이터를 기반으로 상기 선-처리 이미지에 대응하는 밝기 정보를 연산하는 단계;
    상기 제2 이미지의 복수의 컬러 채널 데이터 중 제2 및 제3 컬러 채널 데이터를 기반으로 상기 선-처리 이미지에 대응하는 컬러 정보를 연산하는 단계; 및
    상기 밝기 정보 및 상기 컬러 정보를 기반으로 상기 선-처리 이미지를 생성하는 단계를 포함하는 동작 방법.
  5. 제 4 항에 있어서,
    상기 컬러 정보를 연산하는 단계는:
    상기 제2 이미지의 상기 복수의 컬러 채널 데이터 중 제1 컬러 채널 데이터에 대한 상기 제1 이미지의 상기 복수의 컬러 채널 채널 데이터 중 상기 제1 컬러 채널 데이터의 제1 비율 및 상기 제2 이미지의 상기 복수의 컬러 채널 데이터 중 상기 제2 컬러 채널 데이터의 곱을 기반으로 제1 컬러 정보를 연산하는 단계; 및
    상기 제1 비율 및 상기 제2 이미지의 상기 복수의 컬러 채널 데이터 중 상기 제3 컬러 채널 데이터의 곱을 기반으로 상기 제2 컬러 정보를 연산하는 단계를 포함하는 동작 방법.
  6. 제 1 항에 있어서,
    상기 제1 이미지에 대한 신호 선-처리를 수행하여 선-처리 이미지를 생성하는 단계는:
    상기 제2 이미지에 대한 로우 패스 필터링을 수행하는 단계;
    상기 제1 이미지의 복수의 컬러 채널 데이터 중 제1 컬러 채널 데이터를 기반으로 상기 선-처리 이미지에 대응하는 밝기 정보를 연산하는 단계;
    상기 로우 패스 필터링된 제2 이미지의 복수의 컬러 채널 데이터 중 제2 및 제3 컬러 채널 데이터를 기반으로 상기 선-처리 이미지에 대응하는 컬러 정보를 연산하는 단계; 및
    상기 밝기 정보 및 상기 컬러 정보를 기반으로 상기 선-처리 이미지를 생성하는 단계를 포함하는 동작 방법.
  7. 제 1 항에 있어서,
    상기 제1 이미지에 대한 신호 선-처리를 수행하여 선-처리 이미지를 생성하는 단계는:
    외부 이미지 신호 처리기로부터 화이트 밸런스 이득에 대한 정보를 수신하는 단계;
    상기 화이트 밸런스 이득에 대한 정보, 상기 제1 이미지의 복수의 컬러 채널 데이터의 최대 값들, 및 정규화 인자를 기반으로, 복수의 임계 값들을 연산하는 단계; 및
    상기 복수의 임계 값들을 기반으로 상기 제1 이미지의 상기 복수의 컬러 채널 데이터의 상기 최대 값들 각각을 제한하여 상기 선-처리 이미지를 생성하는 단계를 포함하는 동작 방법.
  8. 제 1 항에 있어서,
    상기 검출된 움직임 영역을 확장하는 단계; 및
    상기 고품질 이미지에서 상기 확장된 움직임 영역에 대한 인-페인팅 필터링을 수행하는 단계를 포함하는 동작 방법.
  9. 제 8 항에 있어서,
    상기 인-페인팅 필터링은 미리 정해진 횟수만큼 반복 수행되는 동작 방법.
  10. 고품질 이미지를 출력하도록 구성된 이미지 센서; 및
    상기 이미지 센서로부터의 고품질 이미지에 대한 신호 처리를 수행하여 최종 고품질 이미지를 출력하도록 구성된 이미지 신호 처리기를 포함하고,
    상기 이미지 신호 처리기는 화이트 밸런스 이득을 기반으로 상기 고품질 이미지에 대한 화이트 밸런싱을 수행하도록 구성된 화이트 밸런스 모듈을 포함하고,
    상기 이미지 센서는:
    제1 노출 시간에 대응하는 제1 이미지에 대응하는 제1 아날로그 신호들 및 상기 제1 노출 시간보다 짧은 제2 노출 시간에 대응하는 제2 이미지에 대응하는 제2 아날로그 신호들을 출력하도록 구성된 복수의 픽셀들;
    상기 복수의 픽셀들로부터 출력된 상기 제1 및 제2 아날로그 신호들을 디지털 신호로 변환하여 상기 제1 이미지 및 상기 제2 이미지를 포함하는 데이터를 출력하도록 구성된 아날로그 디지털 변환기;
    상기 이미지 신호 처리기로부터 상기 화이트 밸런스 이득에 대한 정보를 수신하고, 상기 화이트 밸런스 이득에 대한 상기 정보를 기반으로 상기 데이터의 제1 이미지에 대한 선-처리를 수행하여 선-처리 이미지를 생성하고, 상기 선-처리 이미지를 기반으로 움직임 보상을 수행하여 상기 고품질 이미지를 생성하도록 구성된 상기 HDR(high dynamic range) 모듈을 포함하는 이미지 장치.

KR1020190138562A 2019-11-01 2019-11-01 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법 KR20210053377A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190138562A KR20210053377A (ko) 2019-11-01 2019-11-01 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
US16/992,792 US11379997B2 (en) 2019-11-01 2020-08-13 Image devices including image sensors and image signal processors, and operation methods of image sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190138562A KR20210053377A (ko) 2019-11-01 2019-11-01 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법

Publications (1)

Publication Number Publication Date
KR20210053377A true KR20210053377A (ko) 2021-05-12

Family

ID=75687365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190138562A KR20210053377A (ko) 2019-11-01 2019-11-01 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법

Country Status (2)

Country Link
US (1) US11379997B2 (ko)
KR (1) KR20210053377A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118104246A (zh) * 2021-10-21 2024-05-28 华为技术有限公司 运动目标检测方法、装置以及检测设备
US20230252604A1 (en) * 2022-02-04 2023-08-10 Samsung Electronics Co., Ltd. Learning based discrete cosine noise filter
US11978143B2 (en) * 2022-05-23 2024-05-07 Lemon Inc. Creation of videos using virtual characters
CN117061878B (zh) * 2023-10-11 2024-01-23 北方夜视技术股份有限公司 基于ebaps传感器相机自动曝光控制方法及存储介质
CN117278864B (zh) * 2023-11-15 2024-04-05 荣耀终端有限公司 图像拍摄方法、电子设备及存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714890B2 (en) * 2005-04-26 2010-05-11 Olympus Imaging Corp. Image pickup apparatus and method for controlling pixel reading using a shake determination
US20070237514A1 (en) * 2006-04-06 2007-10-11 Eastman Kodak Company Varying camera self-determination based on subject motion
KR101614914B1 (ko) 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
KR101604068B1 (ko) 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
KR101661215B1 (ko) 2010-08-16 2016-09-30 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
JP2012084983A (ja) 2010-10-07 2012-04-26 Mitsubishi Electric Corp 撮像装置及び画像撮像方法
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP5682434B2 (ja) 2011-04-26 2015-03-11 株式会社ニコン 撮像装置
JP6148497B2 (ja) 2013-02-27 2017-06-14 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
CN104125408B (zh) 2013-04-28 2018-06-12 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
EP3588940B1 (en) * 2013-07-04 2023-03-22 Nikon Corporation Electronic apparatus, method for controlling electronic apparatus, and control program
JP6184290B2 (ja) 2013-10-21 2017-08-23 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
KR102149187B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
EP3046319A1 (en) 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
KR20160149842A (ko) 2015-06-19 2016-12-28 삼성전자주식회사 영상 처리 방법 및 그 장치
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
JP6495126B2 (ja) * 2015-07-13 2019-04-03 オリンパス株式会社 撮像装置、画像処理方法
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
KR20170139408A (ko) * 2016-06-09 2017-12-19 엘지전자 주식회사 듀얼 카메라가 장착된 동영상 촬영 장치
US11190703B2 (en) * 2016-09-30 2021-11-30 Nikon Corporation Image-capturing apparatus, program, and electronic device that controls image sensor based on moving velocity
US10771712B2 (en) * 2017-09-25 2020-09-08 Gopro, Inc. Optimized exposure temporal smoothing for time-lapse mode
CN110891140B (zh) * 2018-08-16 2021-07-20 佳能株式会社 摄像装置、图像处理装置及其控制方法和存储介质

Also Published As

Publication number Publication date
US20210133986A1 (en) 2021-05-06
US11379997B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
US11849224B2 (en) Global tone mapping
KR20210053377A (ko) 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
US10007967B2 (en) Temporal and spatial video noise reduction
US9210391B1 (en) Sensor data rescaler with chroma reduction
US9756266B2 (en) Sensor data rescaler for image signal processing
US8169500B2 (en) Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus
US9641820B2 (en) Advanced multi-band noise reduction
US10484653B2 (en) Imaging device, imaging method, and image processing device
US11010873B2 (en) Per-pixel photometric contrast enhancement with noise control
KR102592605B1 (ko) 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 전자 장치
WO2019104047A1 (en) Global tone mapping
US9955083B2 (en) Image processing apparatus, image processing method, and program
KR102406215B1 (ko) 컬러 프린지 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
CN113473099A (zh) 图像系统、图像信号处理器的操作方法和对比度增强方法
US9860456B1 (en) Bayer-clear image fusion for dual camera
US9179080B2 (en) System and method to capture images with reduced blurriness in low light conditions
AU2018341840B2 (en) Generating a monochrome image
US11100620B2 (en) Hue preservation post processing for highlight recovery
US9635331B2 (en) Image processing apparatus that performs tone correction and edge enhancement, control method therefor, and storage medium
JP2015139082A (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
KR102282464B1 (ko) 영상 처리 장치 및 영상 처리 방법
US11200641B1 (en) Noise reduction with classification-based contrast preservation
US20230230200A1 (en) Front-end scaler circuit for processing demosaiced image data
US11825210B2 (en) Apparatus, control method, and storage medium
JP2024065067A (ja) 飽和ピクセルに対する復元動作を支援するイメージ信号プロセッサ及びその動作方法