KR20220036630A - 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템 - Google Patents

컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템 Download PDF

Info

Publication number
KR20220036630A
KR20220036630A KR1020200119077A KR20200119077A KR20220036630A KR 20220036630 A KR20220036630 A KR 20220036630A KR 1020200119077 A KR1020200119077 A KR 1020200119077A KR 20200119077 A KR20200119077 A KR 20200119077A KR 20220036630 A KR20220036630 A KR 20220036630A
Authority
KR
South Korea
Prior art keywords
frame data
color
correction information
image frame
pixel values
Prior art date
Application number
KR1020200119077A
Other languages
English (en)
Inventor
정은지
신덕하
최영준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200119077A priority Critical patent/KR20220036630A/ko
Priority to US17/318,645 priority patent/US11470236B2/en
Priority to TW110118748A priority patent/TW202213989A/zh
Priority to CN202110927282.XA priority patent/CN114268710A/zh
Priority to JP2021136129A priority patent/JP2022049671A/ja
Publication of KR20220036630A publication Critical patent/KR20220036630A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H04N5/36961—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H04N5/357—
    • H04N5/378—
    • H04N9/0451—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

영상 처리 장치는 메모리 및 컬러 보정부를 포함한다. 메모리는 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함하는 자동 초점 이미지 센서로부터 수신되는 복수의 픽셀 값들 중에서, 제1 픽셀들로부터 획득되고 제1 컬러에 대응하는 제1 픽셀 값들을 제1 컬러와 다른 제2 컬러에 대응하도록 보정(correction)하는데 이용되는 제1 보정 정보를 저장한다. 컬러 보정부는 자동 초점 이미지 센서로부터 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터를 수신하고, 메모리로부터 제1 보정 정보를 로딩하며, 제1 보정 정보를 기초로 제1 영상 프레임 데이터에 포함되는 제1 픽셀 값들을 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터를 생성한다.

Description

컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD FOR COLOR CORRECTION, AND IMAGE PROCESSING SYSTEM INCLUDING THE SAME}
본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 컬러 보정을 위한 영상 처리 장치 및 영상 처리 방법과, 상기 영상 처리 장치를 포함하는 영상 처리 시스템에 관한 것이다.
CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서는 CMOS 공정을 이용하여 제조되는 이미지 촬상 소자이다. 상기 CMOS 이미지 센서는 고전압 아날로그 회로를 포함하는 CCD(charge-coupled device) 이미지 센서와 비교하여 제조 단가가 낮고 픽셀(pixel)의 크기가 작아 전력 소모가 적다는 장점이 있다. 또한, CMOS 이미지 센서의 성능이 향상되면서, CMOS 이미지 센서는 스마트폰, 태블릿 PC, 또는 디지털 카메라 등과 같은 모바일 전자 장치에서 널리 사용되고 있다.
최근에는 카메라와 같은 디지털 영상 촬상 장치에서 자동 초점 조절 기능이 제공되고 있으며, 이를 실현하기 위해 촬영 렌즈의 초점 조절 상태를 검출할 필요가 있다. 자동 초점 조절 기능을 위해 이미지 센서와 별개로 초점 검출을 위한 소자를 포함하는 경우에는, 디지털 영상 촬상 장치를 제조하기 위해 비용이 추가로 증대되거나 전체 장치 크기가 커지는 문제가 발생할 수 있으며, 따라서 영상 촬상 기능과 자동 초점 조절 기능을 함께 수행할 수 있는 자동 초점 이미지 센서가 연구되고 있다. 또한, 자동 초점 이미지 센서로부터 출력되는 영상 신호를 처리하는 다양한 방식들이 연구되고 있다.
본 발명의 일 목적은 자동 초점 이미지 센서 또는 이미지 센서로부터 출력되는 특정 컬러의 픽셀 값을 효과적으로 보정할 수 있는 영상 처리 장치를 제공하는 것이다.
본 발명의 다른 목적은 자동 초점 이미지 센서 또는 이미지 센서로부터 출력되는 특정 컬러의 픽셀 값을 효과적으로 보정할 수 있는 영상 처리 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 영상 처리 장치를 포함하는 영상 처리 시스템을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 처리 장치는 메모리 및 컬러 보정부를 포함한다. 상기 메모리는 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함하는 자동 초점 이미지 센서로부터 수신되는 복수의 픽셀 값들 중에서, 상기 제1 픽셀들로부터 획득되고 제1 컬러에 대응하는 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정(correction)하는데 이용되는 제1 보정 정보를 저장한다. 상기 컬러 보정부는 상기 자동 초점 이미지 센서로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터를 수신하고, 상기 메모리로부터 상기 제1 보정 정보를 로딩하며, 상기 제1 보정 정보를 기초로 상기 제1 영상 프레임 데이터에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터를 생성한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 처리 방법에서, 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함하는 자동 초점 이미지 센서로부터 수신되는 복수의 픽셀 값들 중에서, 상기 제1 픽셀들로부터 획득되고 제1 컬러에 대응하는 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정(correction)하는데 이용되는 제1 보정 정보를 생성한다. 상기 제1 보정 정보를 메모리에 저장한다. 상기 자동 초점 이미지 센서로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터를 수신한다. 상기 메모리로부터 상기 제1 보정 정보를 로딩한다. 상기 제1 보정 정보를 기초로 상기 제1 영상 프레임 데이터에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터를 생성한다.
상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 처리 시스템은 자동 초점 이미지 센서 및 영상 처리 장치를 포함한다. 상기 자동 초점 이미지 센서는 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함한다. 상기 영상 처리 장치는 상기 자동 초점 이미지 센서로부터 제공되는 영상 프레임 데이터에 대한 영상 처리를 수행한다. 상기 영상 처리 장치는 캘리브레이션(calibration)부, 메모리 및 컬러 보정부를 포함한다. 상기 캘리브레이션부는 상기 자동 초점 이미지 센서가 기준 패턴을 촬상하여 획득된 기준 영상 프레임 데이터를 수신하고, 상기 기준 패턴에 대응하는 원본 영상 데이터와 상기 기준 영상 프레임 데이터를 비교하며, 상기 원본 영상 데이터와 상기 기준 영상 프레임 데이터의 비교 결과에 기초하여 제1 보정 정보를 연산하여, 상기 자동 초점 이미지 센서로부터 수신되는 복수의 픽셀 값들 중에서 상기 제1 픽셀들로부터 획득되고 제1 컬러에 대응하는 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정(correction)하는데 이용되는 상기 제1 보정 정보를 생성한다. 상기 메모리는 상기 캘리브레이션부로부터 상기 제1 보정 정보를 수신하여 저장한다. 상기 컬러 보정부는 상기 자동 초점 이미지 센서로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터를 수신하고, 상기 메모리로부터 상기 제1 보정 정보를 로딩하며, 상기 제1 보정 정보를 기초로 상기 제1 영상 프레임 데이터에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터를 생성한다. 상기 제1 보정 정보는 상기 제1 컬러에 대응하는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하는 제1 보정 픽셀 값들로 변환하는데 이용되는 복수의 이득 값(gain)들, 복수의 오프셋 값(offset)들, 및 상기 제1 픽셀들의 위치를 나타내는 복수의 위치 데이터들을 포함한다. 상기 캘리브레이션부 및 상기 메모리는 상기 자동 초점 이미지 센서가 정상 동작하기 이전에 상기 제1 보정 정보를 미리 생성하여 미리 저장한다.
상기와 같은 본 발명의 실시예들에 따른 영상 처리 장치, 영상 처리 방법 및 영상 처리 시스템에서는, 자동 초점 이미지 센서에 포함되는 위상 검출 픽셀들의 픽셀 값들을 이종 컬러로 보정할 수 있다. 이 때, 매 영상 프레임마다 보정 동작을 수행하기 위한 보정 정보를 생성/연산하는 대신에, 보정 동작을 수행하는데 이용되는 보정 정보를 미리 획득하여 메모리에 저장해놓고 매 영상 프레임마다 보정 정보를 로딩하고 이에 기초하여 보정 동작을 수행할 수 있다. 또한, 자동 초점 이미지 센서가 아닌 이미지 센서로부터 수신되는 픽셀 값들 또한 미리 획득/저장된 보정 정보에 기초하여 이종 컬러로 보정할 수 있다. 따라서, 보정 동작에 대한 연산량, 연산 시간, 전력 소모량 등이 감소되며, 이에 따라 영상 처리 장치의 동작 성능이 향상될 수 있다.
도 1은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 영상 처리 시스템을 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 영상 처리 시스템에 포함되는 자동 초점 이미지 센서의 일 예를 나타내는 블록도이다.
도 4는 도 3의 자동 초점 이미지 센서의 픽셀 어레이에 포함되는 픽셀의 일 예를 나타내는 회로도이다.
도 5a, 5b 및 5c는 도 3의 자동 초점 이미지 센서의 픽셀 어레이의 일 예를 나타내는 도면들이다.
도 6a, 6b 및 6c는 도 3의 자동 초점 이미지 센서를 이용하여 자동 초점 조절을 수행하는 동작을 설명하기 위한 도면들이다.
도 7a, 7b, 7c, 8a, 8b 및 9는 본 발명의 실시예들에 따른 영상 처리 장치의 동작을 설명하기 위한 도면들이다.
도 10은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 11은 도 10의 영상 처리 장치에 포함되는 캘리브레이션부의 일 예를 나타내는 블록도이다.
도 12 및 13은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도들이다.
도 14는 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 15는 본 발명의 실시예들에 따른 영상 처리 시스템을 나타내는 블록도이다.
도 16은 도 15의 영상 처리 시스템에 포함되는 이미지 센서의 픽셀 어레이의 일 예를 나타내는 도면들이다.
도 17a, 17b, 17c, 17d, 18a, 18b, 18c 및 18d는 본 발명의 실시예들에 따른 영상 처리 장치의 동작을 설명하기 위한 도면들이다.
도 19는 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 20은 도 19의 제1 보정 정보를 생성하는 단계의 일 예를 나타내는 순서도이다.
도 21 및 22는 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도들이다.
도 23은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 24는 본 발명의 실시예들에 따른 영상 처리 장치를 포함하는 전자 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 1을 참조하면, 영상 처리 장치(100)는 메모리(120) 및 컬러 보정(correction)부(140)를 포함한다.
메모리(120)는 제1 보정 정보(CINF1)를 저장 및 출력한다. 제1 보정 정보(CINF1)는 외부의 자동 초점 이미지 센서(예를 들어, 도 2의 220)로부터 수신되는 복수의 픽셀 값들 중에서 제1 픽셀 값들을 보정하는데 이용된다. 도 5 등을 참조하여 후술하는 것처럼, 상기 자동 초점 이미지 센서는 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함하고, 상기 제1 픽셀 값들은 상기 제1 픽셀들로부터 획득되고 제1 컬러에 대응하며, 제1 보정 정보(CINF1)는 상기 제1 컬러에 대응하는 상기 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정하는데 이용된다. 다시 말하면, 제1 보정 정보(CINF1)는 위상 검출 픽셀들의 픽셀 값들을 이종(heterogeneous) 컬러로 보정하기 위한 데이터들을 포함할 수 있다. 예를 들어, 상기 복수의 픽셀 값들 각각은 상기 복수의 픽셀들 중 하나의 계조 값, 휘도 값 및/또는 밝기 값 등을 포함할 수 있다.
일 실시예에서, 메모리(120)는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리(flash memory), PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), NFGM(Nano Floating Gate Memory), PoRAM(Polymer Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 비휘발성 메모리 및/또는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory) 등과 같은 휘발성 메모리를 포함할 수 있다.
일 실시예에서, 제1 보정 정보(CINF1)는 영상 처리 장치(100)가 정상 동작하기 이전에 및/또는 상기 자동 초점 이미지 센서가 정상 동작하기 이전에 미리 획득되어 메모리(120)에 미리 저장될 수 있다.
실시예에 따라서, 제1 보정 정보(CINF1)는 영상 처리 장치(100)의 내부 또는 외부에 배치되는 캘리브레이션(calibration)부(예를 들어, 도 10의 110)에 의해 생성될 수 있다. 제1 보정 정보(CINF1)의 생성 동작은 도 10 및 11을 참조하여 후술하도록 한다.
컬러 보정부(140)는 상기 자동 초점 이미지 센서로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터(FDAT1)를 수신하고, 메모리(120)로부터 제1 보정 정보(CINF1)를 로딩하며, 제1 보정 정보(CINF1) 및 제1 영상 프레임 데이터(FDAT1)에 기초하여 제1 보정 영상 프레임 데이터(CFDAT1)를 생성한다. 예를 들어, 컬러 보정부(140)는 제1 보정 정보(CINF1)를 기초로 제1 영상 프레임 데이터(FDAT1)에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터(CFDAT1)를 생성한다. 예를 들어, 제1 영상 프레임 데이터(FDAT1) 및 제1 보정 영상 프레임 데이터(CFDAT1)는 상기 자동 초점 이미지 센서로부터 제공되는 하나의 영상 프레임에 대응할 수 있다. 컬러 보정부(140)의 동작은 도 7 내지 9를 참조하여 상세하게 후술하도록 한다.
본 발명의 실시예들에 따른 영상 처리 장치(100)는, 상기 자동 초점 이미지 센서에 포함되는 위상 검출 픽셀들의 픽셀 값들을 이종 컬러로 보정할 수 있다. 이 때, 매 영상 프레임마다 상기 보정 동작을 수행하기 위한 보정 정보를 생성/연산하는 대신에, 상기 보정 동작을 수행하는데 이용되는 보정 정보(CINF1)를 미리 획득하여 메모리(120)에 저장해놓고 매 영상 프레임마다 보정 정보(CINF1)를 로딩하고 이에 기초하여 상기 보정 동작을 수행할 수 있다. 따라서, 상기 보정 동작에 대한 연산량, 연산 시간, 전력 소모량 등이 감소되며, 이에 따라 영상 처리 장치(100)의 동작 성능이 향상될 수 있다.
도 2는 본 발명의 실시예들에 따른 영상 처리 시스템을 나타내는 블록도이다.
도 2를 참조하면, 영상 처리 시스템(200)은 자동 초점 이미지 센서(220) 및 영상 처리 장치(240)를 포함한다.
자동 초점 이미지 센서(220)는 입사광에 기초하여 피사체의 영상에 관한 정보를 포함하는 복수의 영상 프레임 데이터들(FDAT)을 순차적으로 출력한다. 복수의 영상 프레임 데이터들(FDAT) 각각은 자동 초점 이미지 센서(220)에 포함되는 복수의 픽셀들로부터 획득되는 복수의 픽셀 값들을 포함할 수 있다. 예를 들어, 도 1의 제1 영상 프레임 데이터(FDAT1)는 복수의 영상 프레임 데이터들(FDAT)에 포함될 수 있다. 자동 초점 이미지 센서(220)의 구조 및 동작은 도 3 내지 6을 참조하여 상세하게 후술하도록 한다.
영상 처리 장치(240)는 복수의 영상 프레임 데이터들(FDAT)을 순차적으로 수신하고, 복수의 영상 프레임 데이터들(FDAT)을 순차적으로 보정하여 복수의 보정 영상 프레임 데이터들(CFDAT)을 순차적으로 생성할 수 있다. 영상 처리 장치(240)는 본 발명의 실시예들에 따라 구현되며, 보정 동작을 수행하는데 이용되는 보정 정보(예들 들어, 도 1의 CINF1)를 미리 획득하여 저장해놓고 매 영상 프레임마다 미리 저장된 상기 보정 정보에 기초하여 상기 보정 동작을 수행할 수 있다.
일 실시예에서, 영상 처리 장치(240)는 도 1의 영상 처리 장치(100)일 수 있다. 다른 실시예에서, 영상 처리 장치(240)는 도 10, 12 및 13의 영상 처리 장치들(100a, 100b, 100c) 중 하나일 수 있다. 영상 처리 장치(240)는 영상 신호 프로세서(Image Signal Processor; ISP)라고 부를 수 있다.
실시예에 따라서, 영상 처리 장치(240)는 영상 보간(image interpolation), 디모자이크(demosaic), 화이트 밸런스(white balance), 감마 보정(gamma correction), 색 변환(color conversion) 등과 같은 적어도 하나의 영상 처리 동작을 추가적으로 수행할 수도 있다.
도 3은 본 발명의 실시예들에 따른 영상 처리 시스템에 포함되는 자동 초점 이미지 센서의 일 예를 나타내는 블록도이다.
도 3을 참조하면, 자동 초점 이미지 센서(500)는 픽셀 어레이(510), 상관 이중 샘플링(Correlated Double Sampling; CDS) 블록(530) 및 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC) 블록(540)을 포함한다. 자동 초점 이미지 센서(500)는 로우 드라이버(520), 디지털 신호 처리(Digital Signal Processing; DSP)부(550), 램프 신호 생성기(560) 및 타이밍 컨트롤러(580)를 더 포함할 수 있다.
픽셀 어레이(510)는 매트릭스 형태로 배열된 복수의 픽셀들(또는 단위 픽셀들)(PX)을 포함한다. 복수의 픽셀들(PX) 각각은 복수의 로우(row)들(RW1, RW2, ..., RWX; X는 2 이상의 자연수) 중 하나 및 복수의 컬럼(column)들(CL1, CL2, ..., CLY; Y는 2 이상의 자연수) 중 하나와 연결될 수 있다. 픽셀 어레이(510)는 입사광을 감지하여 상기 입사광에 상응하는 복수의 아날로그 픽셀 신호들(VP1, VP2, ..., VPY)을 생성한다.
복수의 픽셀들(PX)은 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함할 수 있다. 복수의 픽셀들(PX) 각각의 구조 및 픽셀 어레이(510)의 구조는 도 4 내지 5를 참조하여 상세하게 후술하도록 한다.
로우 드라이버(520)는 픽셀 어레이(510)의 복수의 로우들(RW1~RWX)과 연결되고, 복수의 로우들(RW1~RWX)을 구동하는 구동 신호를 생성할 수 있다. 예를 들어, 로우 드라이버(520)는 픽셀 어레이(510)에 포함되는 복수의 픽셀들(PX)을 로우 단위로 구동할 수 있다.
상관 이중 샘플링 블록(530)은 복수의 상관 이중 샘플링 회로들(530a, 530b, ..., 530c)을 포함할 수 있다. 복수의 상관 이중 샘플링 회로들(530a~530c)은 픽셀 어레이(510)의 복수의 컬럼들(CL1~CLY)과 연결되고, 픽셀 어레이(510)로부터 출력되는 복수의 아날로그 픽셀 신호들(VP1~VPY)에 대해 CDS 동작을 수행할 수 있다.
아날로그-디지털 변환 블록(540)은 복수의 아날로그-디지털 변환기들(540a, 540b, ..., 540c)을 포함한다. 복수의 아날로그-디지털 변환기들(540a~540c)은 복수의 상관 이중 샘플링 회로들(530a~530c)을 통해 픽셀 어레이(510)의 복수의 컬럼들(CL1~CLY)과 연결되고, 픽셀 어레이(510)로부터 출력되는 복수의 아날로그 픽셀 신호들(VP1~VPY)(즉, 복수의 상관 이중 샘플링 회로들(530a~530c)로부터 출력되는 CDS된 아날로그 픽셀 신호들)을 병렬로(즉, 동시에) 복수의 디지털 신호들(CNT1, CNT2, ..., CNTY)로 변환하는 컬럼 ADC를 수행한다.
복수의 아날로그-디지털 변환기들(540a~540c) 각각은 복수의 비교기들(542a, 542b, ..., 542c) 중 하나 및 복수의 카운터(counter, CNT)들(544a, 544b, ..., 544c) 중 하나를 포함할 수 있다. 예를 들어, 제1 아날로그-디지털 변환기(540a)는 제1 아날로그 픽셀 신호(VP1)와 램프 신호(VRAMP)를 비교하여 제1 비교 신호(CS1)를 생성하는 제1 비교기(542a), 및 제1 비교 신호(CS1)의 레벨 천이 시간을 카운트하여 제1 디지털 신호(CNT1)를 생성하는 제1 카운터(544a)를 포함할 수 있다.
상술한 상관 이중 샘플링 블록(530) 및 아날로그-디지털 변환 블록(540)의 동작은 픽셀 어레이(510)의 로우 단위로 수행될 수 있다.
복수의 상관 이중 샘플링 회로들(530a~530c) 및 복수의 아날로그-디지털 변환기들(540a~540c)은 복수의 컬럼 구동 회로들을 형성할 수 있다. 예를 들어, 제1 상관 이중 샘플링 회로(530a) 및 제1 아날로그-디지털 변환기(540a)는 제1 컬럼 구동 회로를 형성할 수 있다.
디지털 신호 처리부(550)는 복수의 디지털 신호들(CNT1~CNTY)에 기초하여 디지털 신호 처리를 수행할 수 있다. 예를 들어, 상기 제1 픽셀들을 이용한 자동 초점 조절 정보 취득 동작 및 상기 제2 픽셀들을 이용한 영상 프레임 획득 동작이 디지털 신호 처리부(550)에 의해 수행될 수 있다. 디지털 신호 처리부(550)는 상기 디지털 신호 처리에 의해 생성되는 복수의 영상 프레임 데이터들(FDAT)을 순차적으로 출력할 수 있다.
실시예에 따라서, 디지털 신호 처리부(550)는 생략될 수 있으며, 이 경우 상술한 디지털 신호 처리는 외부의 신호 처리 장치(예를 들어, 도 2의 영상 처리 장치(240))에 의해 수행될 수 있다.
램프 신호 생성기(560)는 램프 신호(VRAMP)를 생성할 수 있다. 타이밍 컨트롤러(580)는 자동 초점 이미지 센서(500)의 전반적인 동작 타이밍을 제어하고, 카운트 인에이블 신호(CNT_EN), 클럭 신호(미도시) 등의 제어 신호들을 생성할 수 있다.
도 4는 도 3의 자동 초점 이미지 센서의 픽셀 어레이에 포함되는 픽셀의 일 예를 나타내는 회로도이다.
도 4를 참조하면, 픽셀(또는 단위 픽셀)(600)은 광전 변환부(610) 및 신호 생성부(612)를 포함한다. 도 3의 픽셀 어레이(510)에 포함되는 복수의 픽셀들(PX) 중 위상차를 검출하는데 사용되는 상기 제1 픽셀들 및 영상을 검출하는데 사용되는 상기 제2 픽셀들은, 도 5를 참조하여 후술하는 것처럼 마이크로 렌즈 및 컬러 필터의 구성이 다른 점을 제외하면 동일한 픽셀 구조 및 회로 구조를 가질 수 있다.
광전 변환부(610)는 광전 변환을 수행한다. 즉, 광전 변환부(610)는 광 집적 모드(integration mode)에서 입사광을 변환하여 광전하들을 생성한다. 픽셀(600)을 포함하는 이미지 센서가 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서인 경우에, 상기 광 집적 모드에서 CMOS 이미지 센서의 셔터가 개방되어 입사광에 의해 전자-정공 쌍과 같은 전하 캐리어가 광전 변환부(610)에 생성되어 피사체의 영상에 관한 정보가 수집된다.
신호 생성부(612)는 독출 모드(readout mode)에서 상기 광전 변환에 의해 생성된 광전하들에 기초하여 아날로그 픽셀 신호(VP)를 생성한다. 픽셀(600)을 포함하는 이미지 센서가 CMOS 이미지 센서인 경우에, 상기 광 집적 모드 후의 상기 독출 모드에서 상기 셔터가 폐쇄되고, 전하 캐리어의 형태로 수집된 상기 피사체의 영상에 관한 정보에 기초하여 아날로그 픽셀 신호(VP)가 생성된다. 도 4에서는 4-트랜지스터 구조의 신호 생성부(612)를 예시하였다.
구체적으로, 신호 생성부(612)는 전송 트랜지스터(620), 리셋 트랜지스터(640), 드라이브 트랜지스터(650) 및 선택 트랜지스터(660)를 포함할 수 있으며, 플로팅 확산 노드(630)를 포함할 수 있다. 전송 트랜지스터(620)는 광전 변환부(610)와 플로팅 확산 노드(630) 사이에 연결되고, 전송 신호(TX)가 인가되는 게이트를 포함할 수 있다. 리셋 트랜지스터(640)는 전원 전압(VDD)과 플로팅 확산 노드(630) 사이에 연결되고, 리셋 신호(RX)가 인가되는 게이트를 포함할 수 있다. 드라이브 트랜지스터(650)는 전원 전압(VDD)과 선택 트랜지스터(660) 사이에 연결되고, 플로팅 확산 노드(630)와 연결된 게이트를 포함할 수 있다. 선택 트랜지스터(660)는 드라이브 트랜지스터(650)와 아날로그 픽셀 신호(VP)를 출력하는 출력 단자 사이에 연결되고, 선택 신호(SEL)가 인가되는 게이트를 포함할 수 있다.
실시예에 따라서, 복수의 광전 변환부들이 하나의 신호 생성부를 공유하는 구조로 구현될 수도 있다.
도 5a, 5b 및 5c는 도 3의 자동 초점 이미지 센서의 픽셀 어레이의 일 예를 나타내는 도면들이다.
도 5a는 자동 초점 이미지 센서의 픽셀 어레이의 일 예를 나타내는 평면도이다. 도 5b는 자동 초점 이미지 센서의 픽셀 어레이에 포함되는 픽셀들의 일 예를 나타내는 단면도이다. 도 5c는 도 5a의 자동 초점 이미지 센서의 픽셀 어레이에 포함되는 컬러 필터 어레이의 일 예를 나타내는 평면도이다.
도 5a를 참조하면, 자동 초점 이미지 센서의 픽셀 어레이(512)는 복수의 픽셀들(PX11, PX12, PX13, PX14, PX15, PX16, PX21, PX22, PX23, PX24, PX25, PX26, PX31, PX32, PX33, PX35, PX36, PX41, PX42, PX43, PX44, PX45, PX46, PX51, PX52, PX53, PX54, PX55, PX56, PX61, PX62, PX63, PX64, PX65, PX66)을 포함할 수 있다.
상술한 것처럼, 복수의 픽셀들(PX11~PX16, PX21~PX26, PX31~PX33, PX35, PX36, PX41~PX46, PX51~PX56, PX61~PX66)은 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함할 수 있다. 상기 제1 픽셀들은 자동 초점 조절(Auto-Focus; AF) 픽셀이라 부를 수 있고, 상기 제2 픽셀들은 일반(normal) 픽셀이라 부를 수 있다. 다시 말하면, 본 발명의 실시예들에 따른 자동 초점 이미지 센서에서, AF 정보 취득을 위한 픽셀들과 일반 픽셀들이 하나의 픽셀 어레이 내에 배치될 수 있다. 도 5a의 예에서, 픽셀(PX33)이 AF 픽셀이고, 나머지 픽셀들(PX11~PX16, PX21~PX26, PX31, PX32, PX35, PX36, PX41~PX46, PX51~PX56, PX61~PX66)이 일반 픽셀일 수 있다.
복수의 픽셀들(PX11~PX16, PX21~PX26, PX31~PX33, PX35, PX36, PX41~PX46, PX51~PX56, PX61~PX66) 상에는 마이크로 렌즈(ML)가 배치될 수 있다. AF 픽셀(예를 들어, 픽셀(PX33))의 마이크로 렌즈는 일반 픽셀(예를 들어, 픽셀(PX35))의 마이크로 렌즈보다 크기가 클 수 있다.
도 5a에서는 픽셀 어레이(512) 내에 서로 교차(예를 들어, 직교)하는 제1 방향(DR1) 및 제2 방향(DR2)으로 각각 6개의 픽셀들이 배치되고 픽셀 어레이(512)가 1개의 AF 픽셀 및 34개의 일반 픽셀들을 포함하는 것으로 도시하였으나, 본 발명은 이에 한정되지 않으며, 픽셀 어레이의 크기 및 픽셀들의 개수는 실시예에 따라 변경될 수 있다.
도 5b를 참조하면, 제1 픽셀(또는 AF 픽셀)(AFPX)은 제1 광전 변환 영역(PD1), 제2 광전 변환 영역(PD2), 제1 컬러 필터(CF1) 및 제1 마이크로 렌즈(ML1)를 포함할 수 있다. 예를 들어, 제1 픽셀(AFPX)은 도 5a의 픽셀(PX33)에 대응할 수 있다.
제1 및 제2 광전 변환 영역들(PD1, PD2)은 기판(511) 내에 형성될 수 있다. 제1 컬러 필터(CF1)는 제1 및 제2 광전 변환 영역들(PD1, PD2) 상에(즉, 제1 및 제2 방향들(DR1, DR2)과 교차(예를 들어, 직교)하는 제3 방향(DR3)을 따라) 형성되고, 제1 및 제2 광전 변환 영역들(PD1, PD2)에 의해 공유될 수 있다. 실시예에 따라서, 제1 컬러 필터(CF1)는 제1 및 제2 광전 변환 영역들(PD1, PD2) 상에 형성되는 동일한 컬러의 2개의 컬러 필터들을 포함할 수 있다. 제1 마이크로 렌즈(ML1)는 제1 컬러 필터(CF1) 상에 형성되고, 제1 및 제2 광전 변환 영역들(PD1, PD2)에 의해 공유될 수 있다.
제2 픽셀(또는 일반 픽셀)(NPX)은 제3 광전 변환 영역(PD3), 제2 컬러 필터(CF2) 및 제2 마이크로 렌즈(ML2)를 포함할 수 있다. 예를 들어, 제2 픽셀(NPX)은 도 5a의 픽셀(PX35)에 대응할 수 있다.
제3 광전 변환 영역(PD3)은 기판(511) 내에 형성될 수 있다. 제2 컬러 필터(CF2)는 제3 광전 변환 영역(PD3) 상에 형성될 수 있다. 제2 마이크로 렌즈(ML2)는 제2 컬러 필터(CF2) 상에 형성될 수 있다.
일 실시예에서, 제1, 제2 및 제3 광전 변환 영역들(PD1, PD2, PD3)의 크기(즉, 평면 상에서의 면적)는 모두 실질적으로 동일할 수 있다. 이에 따라, 제1 및 제2 광전 변환 영역들(PD1, PD2)에 의해 공유되는 제1 마이크로 렌즈(ML1)의 크기(즉, 평면 상에서의 면적)는 제2 마이크로 렌즈(ML2)의 크기보다 클 수 있다. 예를 들어, 제1 마이크로 렌즈(ML1)의 크기는 제2 마이크로 렌즈(ML2)의 크기의 약 2배일 수 있다.
광전 변환 영역들(PD1, PD2, PD3)은 도 4의 광전 변환부(610)에 대응하고, 입사광에 기초하여 광전 변환을 수행하여 광전하를 발생할 수 있다. 예를 들어, 광전 변환 영역들(PD1, PD2, PD3)에는 입사광에 상응하는 전자-정공 쌍(electron-hole pair)이 생성되며, 광전 변환 영역들(PD1, PD2, PD3)은 이러한 전자 또는 정공을 각각 수집할 수 있다. 편의상, 광전 변환 영역들(PD1, PD2, PD3)을 포토 다이오드(photo diode)로 설명하였으나, 광전 변환 영역들(PD1, PD2, PD3)은 포토 다이오드, 포토 트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토 다이오드(pinned photo diode; PPD), 또는 이들의 조합을 포함할 수 있다.
실시예에 따라서, 컬러 필터들(CF1, CF2)은 레드 필터, 그린 필터 및 블루 필터를 포함할 수도 있고, 옐로우 필터, 마젠타 필터 및 시안 필터를 포함할 수도 있으며, 화이트 필터(또는 투명 필터)를 추가적으로 구비할 수도 있다.
마이크로 렌즈들(ML1, ML2)은 마이크로 렌즈들(ML1, ML2)에 입사되는 입사광이 광전 변환 영역들(PD1, PD2, PD3)에 집광될 수 있도록 상기 입사광의 경로를 조절할 수 있다.
일 실시예에서, 마이크로 렌즈들(ML1, ML2)은 마이크로 렌즈 어레이를 형성하고, 컬러 필터들(CF1, CF2)은 컬러 필터 어레이를 형성할 수 있다.
일 실시예에서, 광전 변환 영역들(PD1, PD2, PD3) 사이에 형성되는 소자 분리부(513)를 더 포함할 수 있다. 소자 분리부(513)는 기판(511)을 관통하도록 제3 방향(DR3)으로 연장되어 광전 변환 영역들(PD1, PD2, PD3)을 서로 분리시키며, 평면 상에서 메쉬(mesh) 구조를 가질 수 있다.
실시예에 따라서, 자동 초점 이미지 센서는 기판(511)의 전면을 통해 입사되는 입사광에 응답하여 동작하는 전면 수광 방식의 이미지 센서(frontside illuminated image sensor; BIS) 또는 후면을 통해 입사되는 입사광에 응답하여 동작하는 후면 수광 방식의 이미지 센서(backside illuminated image sensor; BIS)일 수 있다. 상세하게 도시하지는 않았으나, 기판(511)의 전면 또는 후면 상에는 도 4의 신호 생성부(612)를 형성하기 위한 게이트 전극들 및 배선들이 배치될 수 있다.
도 5c를 참조하면, 픽셀 어레이(512)에 포함되는 컬러 필터 어레이(CFA1)는 레드 필터(R), 그린 필터(G), 블루 필터(B) 및 화이트 필터(W)를 포함할 수 있다. 다시 말하면, 컬러 필터 어레이(CFA1)는 RGBW 패턴을 가질 수 있다.
픽셀들(PX32, PX36, PX41, PX45)은 레드 필터(R)를 포함할 수 있다. 픽셀들(PX12, PX16, PX21, PX25, PX33, PX43, PX52, PX56, PX61, PX65)은 그린 필터(G)를 포함할 수 있다. 픽셀들(PX14, PX23, PX54, PX63)은 블루 필터(B)를 포함할 수 있다. 픽셀들(PX11, PX13, PX15, PX22, PX24, PX26, PX31, PX35, PX42, PX44, PX46, PX51, PX53, PX55, PX62, PX64, PX66)은 화이트 필터(W)를 포함할 수 있다. 다시 말하면, 픽셀 어레이(512)에 포함되는 AF 픽셀 및 일반 픽셀은 동일한 컬러 필터 배치 구조를 가질 수 있다.
도 6a, 6b 및 6c는 도 3의 자동 초점 이미지 센서를 이용하여 자동 초점 조절을 수행하는 동작을 설명하기 위한 도면들이다.
도 6a, 6b 및 6c를 참조하면, 자동 초점 이미지 센서를 포함하는 영상 촬상 장치(예를 들어, 카메라)의 렌즈(51)를 통과한 입사광은 복수의 마이크로 렌즈들(예를 들어, 도 5b의 마이크로 렌즈(ML1))을 포함하는 마이크로 렌즈 어레이(54)를 통과하여 제1 AF 픽셀(R)(57)과 제2 AF 픽셀(L)(58)로 유도된다. 그리고 렌즈(51)의 동공 중에서, 렌즈(51)의 광 축(50)보다 제1 측(예를 들어, 위)에 있는 동공(52)으로부터의 빛은 제2 AF 픽셀(L)로 유도되고, 렌즈(51)의 광 축(50)보다 제2 측(예를 들어, 아래)에 있는 동공(53)으로부터의 빛은 제1 AF 픽셀(R)로 유도된다.
제1 AF 픽셀(R)과 제2 AF 픽셀(L)의 어레이가 연속한 출력을 그리면 도 6b 및 6c와 같이 된다. 도 6b 및 6c에서 가로축은 제1 AF 픽셀(R)과 제2 AF 픽셀(L)의 위치이며, 세로축은 제1 AF 픽셀(R)과 제2 AF 픽셀(L)의 출력 값이다. 제1 AF 픽셀(R)과 제2 AF 픽셀(L)의 출력 값을 보면, 서로 같은 형상인 것을 알 수 있다. 그러나 위치 즉 위상은 서로 다르다. 이것은 렌즈(51)의 편심된 동공(52, 53)으로부터의 광의 결상 위치가 다르기 때문에다. 따라서 초점이 맞지 않은 경우는 도 6b와 같이 위상이 어긋나 있고, 초점이 맞은 경우는 도 6c와 같이 같은 위치에 결상된다. 또한 이로부터 초점 차이의 방향도 판정할 수 있다. 피사체(object) 앞에 초점이 맞은 경우는 전 핀(front-focusing)이라고 하며, 전 핀인 경우 제1 AF 픽셀(R)의 출력값의 위상은 합초(focused state) 위상보다 왼쪽으로 시프트 하고, 제2 AF 픽셀(L)의 출력값의 위상은 합초 위상 보다 오른쪽으로 시프트 한다. 반대로, 피사체 뒤에 초점이 맞은 경우는 후 핀(back-focusing)이라고 하며, 후 핀인 경우 제1 AF 픽셀(R)의 출력값의 위상은 합초 위상보다 오른쪽으로 시프트 하고, 제2 AF 픽셀(L)의 출력값의 위상은 합초 위상보다 왼쪽으로 시프트 한다. 제1 AF 픽셀(R)과 제2 AF 픽셀(L)의 출력값의 위상들 간의 쉬프트 양(shift amount)은 초점들 간의 편차량으로 환산할 수 있다.
도 7a, 7b, 7c, 8a, 8b 및 9는 본 발명의 실시예들에 따른 영상 처리 장치의 동작을 설명하기 위한 도면들이다. 도 7a, 7b, 7c, 8a, 8b 및 9는 자동 초점 이미지 센서의 픽셀 어레이가 도 5a, 5b 및 5c를 참조하여 상술한 구조를 가지는 경우의 동작을 나타낸다.
도 7a를 참조하면, 자동 초점 이미지 센서(500)로부터 제공되고 하나의 영상 프레임에 대응하는 제1 영상 프레임 데이터(FDAT11)는 복수의 픽셀들(PX11~PX16, PX21~PX26, PX31~PX33, PX35, PX36, PX41~PX46, PX51~PX56, PX61~PX66)로부터 획득되는 복수의 픽셀 값들(PV11W, PV12G, PV13W, PV14B, PV15W, PV16G, PV21G, PV22W, PV23B, PV24W, PV25G, PV26W, PV31W, PV32R, PV33G, PV34G, PV35W, PV36R, PV41R, PV42W, PV43G, PV44W, PV45R, PV46W, PV51W, PV52G, PV53W, PV54B, PV55W, PV56G, PV61G, PV62W, PV63B, PV64W, PV65G, PV66W)을 포함할 수 있다.
레드 필터(R)를 포함하는 픽셀들(PX32, PX36, PX41, PX45)로부터 획득되는 픽셀 값들(PV32R, PV36R, PV41R, PV45R)은 적색에 대응할 수 있다. 그린 필터(G)를 포함하는 픽셀들(PX12, PX16, PX21, PX25, PX33, PX43, PX52, PX56, PX61, PX65)로부터 획득되는 픽셀 값들(PV12G, PV16G, PV21G, PV25G, PV33G, PV34G, PV43G, PV52G, PV56G, PV61G, PV65G)은 녹색에 대응할 수 있다. 블루 필터(B)를 포함하는 픽셀들(PX14, PX23, PX54, PX63)로부터 획득되는 픽셀 값들(PV14B, PV23B, PV54B, PV63B)은 청색에 대응할 수 있다. 화이트 필터(W)를 포함하는 픽셀들(PX11, PX13, PX15, PX22, PX24, PX26, PX31, PX35, PX42, PX44, PX46, PX51, PX53, PX55, PX62, PX64, PX66)로부터 획득되는 픽셀 값들(PV11W, PV13W, PV15W, PV22W, PV24W, PV26W, PV31W, PV35W, PV42W, PV44W, PV46W, PV51W, PV53W, PV55W, PV62W, PV64W, PV66W)은 백색에 대응할 수 있다. 하나의 광전 변환 영역으로부터 하나의 픽셀 값이 생성되며, 따라서 AF 픽셀인 픽셀(PX33)로부터 2개의 픽셀 값들(PV33G, PV34G)이 획득될 수 있다.
AF 픽셀들 상에 배치되는 컬러 필터들은 색을 구현하기 위해 사용되는 것이 아니며, 단지 컬러 필터 어레이 제조 공정의 편의상 AF 픽셀들 상에 컬러 필터들이 배치될 수 있다. 이 때, AF 정보의 정확성을 위해서 하나의 AF 픽셀 상에는 동일한 색상의 컬러 필터가 배치될 수 있다. 다만, 영상 정보의 정확성을 위해서는 컬러 필터 어레이가 동일한 컬러 필터 배치 구조를 가지는 것이 효과적이며, 따라서 픽셀 값들(PV33G, PV34G, PV43G, PV44W)이 WGGW 구조에 대응하도록, 즉 녹색에 대응하는 픽셀 값(PV33G)을 백색에 대응하도록 보정할 필요가 있다.
도 7b를 참조하면, 메모리(120)에 저장되고 제1 영상 프레임 데이터(FDAT11)를 보정하는데 이용되는 제1 보정 정보(CINF11)는 픽셀 값(PV33G)을 보정하는데 이용되는 보정 데이터(CI33)를 포함할 수 있다.
일 실시예에서, 보정 데이터(CI33)는 녹색에 대응하는 픽셀 값(PV33G)을 백색에 대응하는 보정 픽셀 값(예를 들어, 도 7c의 PV33Wc)으로 변환하는데 이용되는 이득 값(gain), 및 픽셀(PX33)의 위치를 나타내는 위치 데이터를 포함할 수 있다.
예를 들어, 녹색에 대응하는 픽셀 값(PV33G)을 백색에 대응하는 보정 픽셀 값(PV33Wc)으로 변환하는데 하기의 [수학식 1]이 이용될 수 있다.
[수학식 1]
WV=α1*GV+β1*RV+γ1*BV
상기의 [수학식 1]에서, WV는 보정 결과인 백색에 대응하는 보정 픽셀 값(PV33Wc)을 나타내고, GV는 보정 대상인 녹색에 대응하는 픽셀 값(PV33G)을 나타내고, RV는 보정 동작 시에 이용되고 픽셀(PX33)과 인접하며 적색에 대응하는 픽셀 값을 나타내며, BV는 보정 동작 시에 이용되고 픽셀(PX33)과 인접하며 청색에 대응하는 픽셀 값을 나타낼 수 있다. α1, β1 및 γ1이 각각 상기 이득 값을 나타낼 수 있다.
상기의 [수학식 1]을 이용하여 보정 동작이 수행되는 경우에, 보정 픽셀 값(PV33Wc)을 생성하기 위해 픽셀(PX33)로부터 획득되는 픽셀 값(PV33G) 뿐만 아니라, 픽셀(PX33)과 인접한 인접 픽셀들로부터 획득되는 인접 픽셀 값들이 함께 이용될 수 있다. 예를 들어, 픽셀(PX33)과 인접한 픽셀(PX32)로부터 획득되고 적색에 대응하는 픽셀 값(PV32R)이 [수학식 1]의 RV값으로 이용되고, 픽셀(PX33)과 인접한 픽셀(PX23)로부터 획득되고 청색에 대응하는 픽셀 값(PV23B)이 [수학식 1]의 BV값으로 이용될 수 있다. 실시예에 따라서, 픽셀(PX33)로부터 획득되고 녹색에 대응하는 픽셀 값(PV34G) 및 픽셀(PX33)과 인접한 픽셀(PX43)로부터 획득되고 녹색에 대응하는 픽셀 값(PV43G)이 상기 인접 픽셀 값으로 추가적으로 이용될 수도 있다.
예를 들어, 픽셀(PX11)의 위치를 (1,1)이라 하고 픽셀(PX66)의 위치를 (6,6)이라고 정의하는 경우에, 픽셀(PX33)의 위치를 나타내는 상기 위치 데이터는 픽셀(PX33)로부터 획득되는 픽셀 값들(PV33G, PV34G) 중 보정 대상인 픽셀 값(PV33G)을 생성하는 광전 변환 영역의 위치인 (3,3)을 나타내는 위치 값을 포함할 수 있다.
다른 실시예에서, 보정 데이터(CI33)는 상기 이득 값 및 상기 위치 데이터를 포함하며, 녹색에 대응하는 픽셀 값(PV33G)을 백색에 대응하는 보정 픽셀 값(PV33Wc)으로 변환하는데 이용되는 오프셋 값(offset)을 더 포함할 수 있다.
예를 들어, 녹색에 대응하는 픽셀 값(PV33G)을 백색에 대응하는 보정 픽셀 값(PV33Wc)으로 변환하는데 하기의 [수학식 2]가 이용될 수 있다.
[수학식 2]
WV=α2*GV+β2
상기의 [수학식 2]에서, WV는 보정 결과인 백색에 대응하는 보정 픽셀 값(PV33Wc)을 나타내고, GV는 보정 대상인 녹색에 대응하는 픽셀 값(PV33G)을 나타낼 수 있다. α2가 상기 이득 값을 나타내며, β2가 상기 오프셋 값을 나타낼 수 있다.
상기의 [수학식 2]를 이용하여 보정 동작이 수행되는 경우에, 보정 픽셀 값(PV33Wc)을 생성하기 위해 픽셀(PX33)로부터 획득되는 픽셀 값(PV33G)만이 이용될 수 있다.
또 다른 실시예에서, 보정 데이터(CI33)는 상기 이득 값, 상기 오프셋 값 및 상기 위치 데이터를 포함하며, 픽셀 값 보정을 위한 적어도 하나의 추가 데이터를 더 포함할 수도 있다.
한편, 도 7b에서 빈 칸으로 표시된 부분, 즉 보정 데이터가 기재되지 않은 부분은 보정 데이터가 없는 영역, 즉 보정 동작이 필요하지 않은 영역일 수 있다. 도 7a에 도시된 것처럼 제1 영상 프레임 데이터(FDAT11)는 모든 픽셀들에 대한 픽셀 값들을 포함하지만, 제1 보정 정보(CINF11)는 보정 동작이 필요한 픽셀에 대한 보정 데이터(CI33)만을 포함하며, 따라서 제1 보정 정보(CINF11)의 크기(또는 데이터 량)는 제1 영상 프레임 데이터(FDAT11)의 크기보다 작을 수 있다.
도 7c를 참조하면, 도 7b의 제1 보정 정보(CINF11)를 기초로 도 7a의 제1 영상 프레임 데이터(FDAT11)를 보정하여 제1 보정 영상 프레임 데이터(CFDAT11)를 생성할 수 있다. 예를 들어, 보정 데이터(CI33)를 기초로 녹색에 대응하는 픽셀 값(PV33G)을 백색에 대응하는 보정 픽셀 값(PV33Wc)으로 보정함으로써, 제1 보정 영상 프레임 데이터(CFDAT11)를 생성할 수 있다.
한편, 제1 보정 영상 프레임 데이터(CFDAT11)에 포함되는 나머지 픽셀 값들(PV11W, PV12G, PV13W, PV14B, PV15W, PV16G, PV21G, PV22W, PV23B, PV24W, PV25G, PV26W, PV31W, PV32R, PV34G, PV35W, PV36R, PV41R, PV42W, PV43G, PV44W, PV45R, PV46W, PV51W, PV52G, PV53W, PV54B, PV55W, PV56G, PV61G, PV62W, PV63B, PV64W, PV65G, PV66W)은 제1 영상 프레임 데이터(FDAT11)에 포함되는 픽셀 값들(PV11W, PV12G, PV13W, PV14B, PV15W, PV16G, PV21G, PV22W, PV23B, PV24W, PV25G, PV26W, PV31W, PV32R, PV34G, PV35W, PV36R, PV41R, PV42W, PV43G, PV44W, PV45R, PV46W, PV51W, PV52G, PV53W, PV54B, PV55W, PV56G, PV61G, PV62W, PV63B, PV64W, PV65G, PV66W)과 실질적으로 동일할 수 있다.
도 8a를 참조하면, 종래에는 제1 영상 프레임 데이터(FDAT11)를 기초로 보정 정보를 생성하기 위한 캘리브레이션 동작(CAL)을 수행하여 캘리브레이션된 제1 영상 프레임 데이터(FDAT11')를 생성하고, 캘리브레이션된 제1 영상 프레임 데이터(FDAT11')를 기초로 보정 동작(COR)을 수행하여 제1 보정 영상 프레임 데이터(CFDAT11)를 생성하였다. 이 경우, 캘리브레이션 동작(CAL) 및 보정 동작(COR)의 2회의 연산이 수행되고 각 연산마다 하나의 영상 프레임에 대응하는 데이터들이 연산/처리하였으며, 이에 따라 연산량, 연산 시간, 전력 소모량 등이 상대적으로 많았다.
도 8b를 참조하면, 본 발명의 실시예들에 따라 보정 동작(COR)을 수행하는데 이용되는 제1 보정 정보(CINF11)를 미리 획득하여 저장해놓고, 제1 영상 프레임 데이터(FDAT11)가 수신되는 경우에 저장된 제1 보정 정보(CINF11)를 로딩하며, 로딩된 제1 보정 정보(CINF11)를 기초로 보정 동작(COR)을 수행하여 제1 보정 영상 프레임 데이터(CFDAT11)를 생성할 수 있다. 이 경우, 보정 동작(COR)의 1회의 연산만이 수행되고 보정 동작(COR) 시에 상대적으로 작은 크기의 제1 보정 정보(CINF11)를 이용함으로써, 연산량, 연산 시간, 전력 소모량 등이 감소될 수 있다.
도 9를 참조하면, 자동 초점 이미지 센서(500)로부터 복수의 영상 프레임 데이터들(F1, F2, F3, F4, F5, F6, F7, F8, F9, F10)이 순차적으로 수신되는 경우에 복수의 보정 영상 프레임 데이터들(CF1, CF2, CF3, CF4, CF5, CF6, CF7, CF8, CF9, CF10)이 순차적으로 생성되는 경우를 예시하고 있다.
도 9에서, 복수의 영상 프레임 데이터들(F1~F10) 각각은 도 7a 및 8b의 제1 영상 프레임 데이터(FDAT11)에 대응하고, 제1 보정 정보(CINF11)는 도 7b 및 8b의 제1 보정 정보(CINF11)에 대응하며, 복수의 보정 영상 프레임 데이터들(CF1~CF10) 각각은 도 7c 및 8b의 제1 보정 영상 프레임 데이터(CFDAT11)에 대응할 수 있다.
도 8b를 참조하여 상술한 것과 유사하게, 복수의 영상 프레임 데이터들(F1~F10)이 순차적으로 수신되는 경우에도, 미리 저장된 제1 보정 정보(CINF11)를 로딩하고 로딩된 제1 보정 정보(CINF11)를 기초로 보정 동작(COR)을 순차적으로 수행하여 복수의 보정 영상 프레임 데이터들(CF1~CF10)을 순차적으로 생성할 수 있다. 따라서, 매 영상 프레임마다 캘리브레이션 동작(CAL) 및 보정 동작(COR)을 수행하는 종래 기술과 비교하여, 연산량, 연산 시간, 전력 소모량 등이 감소될 수 있다.
한편, 도 9에서는 10개의 영상 프레임 데이터들(F1~F10) 및 10개의 보정 영상 프레임 데이터들(CF1~CF10)을 도시하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 자동 초점 이미지 센서(500)로부터 제1 내지 제N(N은 2 이상의 자연수) 영상 프레임 데이터들이 순차적으로 수신되는 경우에, 제1 보정 정보(CINF11)를 기초로 상기 제1 내지 제N 영상 프레임 데이터들을 순차적으로 보정하여 제1 내지 제N 보정 영상 프레임 데이터들을 순차적으로 생성할 수 있다.
한편, 도 5 내지 9를 참조하여 특정 픽셀 어레이 구조, 픽셀 구조, 특정 컬러들 등에 기초하여 본 발명의 실시예들을 설명하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 2개 이상의 광전 변환 영역들이 1개의 마이크로 렌즈 및 1개의 컬러 필터를 공유하는 AF 픽셀 구조에서 생성되는 픽셀 값들 중에서, 임의의 컬러에 대응하는 적어도 하나의 픽셀 값을 임의의 다른 컬러에 대응하도록 보정하는 경우에 본 발명의 실시예들이 적용될 수 있다.
도 10은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 10을 참조하면, 영상 처리 장치(100a)는 메모리(120) 및 컬러 보정부(140)를 포함하며, 캘리브레이션부(110)를 더 포함할 수 있다.
캘리브레이션부(110)를 더 포함하는 것을 제외하면, 영상 처리 장치(100a)는 도 1의 영상 처리 장치(100)와 실질적으로 동일할 수 있다.
캘리브레이션부(110)는 메모리(120)에 저장되는 제1 보정 정보(CINF1)를 생성할 수 있다. 예를 들어, 캘리브레이션부(110)는 기준 패턴에 대응하는 제1 원본 영상 데이터(ORDAT1) 및 제1 기준 영상 프레임 데이터(CRDAT1)에 기초하여 제1 보정 정보(CINF1)를 생성할 수 있다.
상기 기준 패턴은 제1 보정 정보(CINF1)(즉, 픽셀 값을 보정하는데 이용되는 이득 값, 오프셋 값 등)를 생성하기 위한 기준 영상을 나타내며, 예를 들어 백색 영상, 녹색 영상 등과 같이 전체적으로 동일한 하나의 계조 값만을 표시하는 균일한(uniform 또는 flat) 영상이거나 스트라이프(stripe) 등과 같은 특정 패턴을 포함하는 영상일 수 있다. 제1 원본 영상 데이터(ORDAT1)는 상기 기준 패턴 자체에 대한 로우(raw) 데이터를 나타내고, 제1 기준 영상 프레임 데이터(CRDAT1)는 상기 자동 초점 이미지 센서가 상기 기준 패턴을 촬상하여 획득된 프레임 영상을 나타낼 수 있다.
일 실시예에서, 캘리브레이션부(110)는 상기 자동 초점 이미지 센서가 정상 동작하기 이전에 제1 보정 정보(CINF1)를 미리 생성하여 메모리(120)에 미리 저장할 수 있다. 이에 따라, 캘리브레이션부(110)는 전처리(pre-processing)부라고 부를 수도 있다.
일 실시예에서, 캘리브레이션부(110)는 상기 자동 초점 이미지 센서가 정상 동작하는 동안에 비활성화될 수 있다. 다시 말하면, 캘리브레이션부(110)는 동작 초기 또는 제조 시에 활성화되어 제1 보정 정보(CINF1)를 생성하고, 이후에는 비활성화되어 동작하지 않을 수 있다. 예를 들어, 캘리브레이션부(110)는 인에이블 신호(EN)에 기초하여 활성화/비활성화될 수 있다.
도 11은 도 10의 영상 처리 장치에 포함되는 캘리브레이션부의 일 예를 나타내는 블록도이다.
도 11을 참조하면, 캘리브레이션부(110a)는 비교부(112) 및 연산부(114)를 포함할 수 있다.
비교부(112)는 상기 기준 패턴에 대응하는 제1 원본 영상 데이터(ORDAT1) 및 상기 자동 초점 이미지 센서가 상기 기준 패턴을 촬상하여 획득된 제1 기준 영상 프레임 데이터(CRDAT1)를 수신하고, 제1 원본 영상 데이터(ORDAT1)와 제1 기준 영상 프레임 데이터(CRDAT1)를 비교하여 제1 비교 결과 데이터(CR1)를 생성할 수 있다.
연산부(114)는 제1 원본 영상 데이터(ORDAT1)와 제1 기준 영상 프레임 데이터(CRDAT1)의 비교 결과인 제1 비교 결과 데이터(CR1)에 기초하여 제1 보정 정보(CINF1)를 연산할 수 있다. 예를 들어, 연산부(114)는 보정 대상인 상기 제1 컬러와 보정 결과인 상기 제2 컬러 사이의 관계를 연산할 수 있다. 예를 들어, 연산부(114)는 [수학식 1] 및 [수학식 2]를 참조하여 상술한 상기 이득 값, 상기 오프셋 값 등을 연산 결과로서 획득할 수 있다.
도 12 및 13은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도들이다. 이하 도 1과 중복되는 설명은 생략한다.
도 12를 참조하면, 영상 처리 장치(100b)는 메모리(120) 및 컬러 보정부(140)를 포함하며, 선택부(160)를 더 포함할 수 있다.
메모리(120)가 제2 보정 정보(CINF2)를 더 저장하고 선택부(160)를 더 포함하는 것을 제외하면, 영상 처리 장치(100b)는 도 1의 영상 처리 장치(100)와 실질적으로 동일할 수 있다.
메모리(120)는 제2 보정 정보(CINF2)를 저장 및 출력할 수 있다. 제1 보정 정보(CINF1)와 유사하게, 제2 보정 정보(CINF2)는 상기 자동 초점 이미지 센서로부터 수신되는 상기 복수의 픽셀 값들 중에서 상기 제1 컬러에 대응하는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하는데 이용될 수 있다. 다만 제2 보정 정보(CINF2)는 제1 보정 정보(CINF1)와 다른 값을 가질 수 있다.
일 실시예에서, 제1 및 제2 보정 정보들(CINF1, CINF2)은 서로 다른 색온도에 대응할 수 있다. 예를 들어, 제1 보정 정보(CINF1)는 제1 색온도에 대응하고, 제2 보정 정보(CINF2)는 상기 제1 색온도와 다른 제2 색온도에 대응할 수 있다. 다만 본 발명은 이에 한정되지 않으며, 제1 및 제2 보정 정보들(CINF1, CINF2)은 그 밖에 서로 다른 컬러 관련 파라미터에 대응할 수도 있다.
선택부(160)는 제1 영상 프레임 데이터(FDAT1)에 기초하여 제1 보정 정보(CINF1) 및 제2 보정 정보(CINF2) 중 하나를 선택하고 선택된 보정 정보(SINF)를 출력할 수 있다. 컬러 보정부(140)는 선택된 보정 정보(SINF)를 기초로 제1 영상 프레임 데이터(FDAT1)를 보정하여 제1 보정 영상 프레임 데이터(CFDAT1)를 생성할 수 있다.
일 실시예에서, 제1 및 제2 보정 정보들(CINF1, CINF2)이 서로 다른 색온도에 대응하는 경우에, 선택부(160)는 색온도 판단부를 포함할 수 있다. 예를 들어, 상기 색온도 판단부는 제1 영상 프레임 데이터(FDAT1)의 색온도를 판단하고, 제1 영상 프레임 데이터(FDAT1)의 색온도가 상기 제1 색온도와 일치하는 경우에 제1 보정 정보(CINF1)를 선택하며, 제1 영상 프레임 데이터(FDAT1)의 색온도가 상기 제2 색온도와 일치하는 경우에 제2 보정 정보(CINF2)를 선택할 수 있다. 다른 예에서, 상기 색온도 판단부는 제1 영상 프레임 데이터(FDAT1)의 색온도가 상기 제1 및 제2 색온도들 모두와 일치하지 않는 경우에 상기 제1 및 제2 색온도들 중 보다 가까운 색온도에 대응하는 보정 정보를 선택할 수 있다.
한편, 메모리(120)가 2개의 보정 정보들(CINF1, CINF2)을 저장하고 선택부(160)가 2개의 보정 정보들(CINF1, CINF2) 중 하나를 선택하는 경우를 예시하였으나, 본 발명은 이에 한정되지 않으며, 메모리(120)가 3개 이상의 보정 정보들을 저장하고 선택부(160)가 3개 이상의 보정 정보들 중 하나를 선택할 수도 있다.
도 13을 참조하면, 영상 처리 장치(100c)는 메모리(120) 및 컬러 보정부(140)를 포함하며, 캘리브레이션부(110) 및 선택부(160)를 더 포함할 수 있다.
메모리(120)가 제2 보정 정보(CINF2)를 더 저장하고 캘리브레이션부(110) 및 선택부(160)를 더 포함하는 것을 제외하면, 영상 처리 장치(100c)는 도 1의 영상 처리 장치(100)와 실질적으로 동일할 수 있다. 캘리브레이션부(110)는 도 10의 캘리브레이션부(110)와 유사할 수 있다. 메모리(120) 및 선택부(160)는 도 12의 메모리(120) 및 선택부(160)와 실질적으로 동일할 수 있다.
캘리브레이션부(110)는 제1 원본 영상 데이터(ORDAT1) 및 제1 기준 영상 프레임 데이터(CRDAT1)에 기초하여 제1 보정 정보(CINF1)를 생성하고, 제2 원본 영상 데이터(ORDAT2) 및 제2 기준 영상 프레임 데이터(CRDAT2)에 기초하여 제2 보정 정보(CINF2)를 생성할 수 있다. 예를 들어, 제1 보정 정보(CINF1)가 상기 제1 색온도에 대응하고 제2 보정 정보(CINF2)가 상기 제2 색온도에 대응하는 경우에, 제1 원본 영상 데이터(ORDAT1) 및 제1 기준 영상 프레임 데이터(CRDAT1)는 상기 제1 색온도에 대응하는 상기 기준 패턴 및 이를 촬상하여(또는 상기 제1 색온도에서 촬상하여) 획득된 프레임 영상을 나타내고, 제2 원본 영상 데이터(ORDAT2) 및 제2 기준 영상 프레임 데이터(CRDAT2)는 상기 제2 색온도에 대응하는 상기 기준 패턴 및 이를 촬상하여(또는 상기 제2 색온도에서 촬상하여) 획득된 프레임 영상을 나타낼 수 있다.
도 14는 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 14를 참조하면, 영상 처리 장치(300)는 메모리(320) 및 컬러 보정부(340)를 포함한다.
자동 초점 이미지 센서가 아닌 이미지 센서로부터 수신되는 영상 프레임에 대한 보정 동작을 수행하는 점을 제외하면, 영상 처리 장치(300)는 도 1의 영상 처리 장치(100)와 실질적으로 동일할 수 있다.
메모리(320)는 제1 보정 정보(CINFA)를 저장 및 출력한다. 제1 보정 정보(CINFA)는 외부의 이미지 센서(예를 들어, 도 15의 420)로부터 수신되는 복수의 픽셀 값들 중에서 제1 픽셀 값들을 보정하는데 이용된다. 자동 초점 이미지 센서와 다르게, 상기 이미지 센서는 영상을 검출하는데 사용되는 복수의 픽셀들(즉, 일반 픽셀들)만을 포함하고, 상기 제1 픽셀 값들은 상기 복수의 픽셀들 중 제1 픽셀들로부터 획득되고 제1 컬러에 대응하며, 제1 보정 정보(CINFA)는 상기 제1 컬러에 대응하는 상기 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정하는데 이용된다.
컬러 보정부(340)는 상기 이미지 센서로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터(FDATA)를 수신하고, 메모리(320)로부터 제1 보정 정보(CINFA)를 로딩하며, 제1 보정 정보(CINFA) 및 제1 영상 프레임 데이터(FDATA)에 기초하여 제1 보정 영상 프레임 데이터(CFDATA)를 생성한다. 예를 들어, 컬러 보정부(340)는 제1 보정 정보(CINFA)를 기초로 제1 영상 프레임 데이터(FDATA)에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터(CFDATA)를 생성한다.
본 발명의 실시예들에 따른 영상 처리 장치(300)는, 상기 이미지 센서에 포함되는 특정 컬러의 픽셀들의 픽셀 값들을 이종 컬러로 보정할 수 있다. 이 때, 매 영상 프레임마다 상기 보정 동작을 수행하기 위한 보정 정보를 생성/연산하는 대신에, 상기 보정 동작을 수행하는데 이용되는 보정 정보(CINFA)를 미리 획득하여 메모리(320)에 저장해놓고 매 영상 프레임마다 보정 정보(CINFA)를 로딩하고 이에 기초하여 상기 보정 동작을 수행할 수 있다. 따라서, 상기 보정 동작에 대한 연산량, 연산 시간, 전력 소모량 등이 감소되며, 이에 따라 영상 처리 장치(300)의 동작 성능이 향상될 수 있다.
한편, 실시예에 따라서, 영상 처리 장치(300)는 도 10을 참조하여 상술한 것처럼 캘리브레이션부를 더 포함할 수도 있고, 도 12를 참조하여 상술한 것처럼 선택부를 더 포함할 수도 있으며, 도 13을 참조하여 상술한 것처럼 캘리브레이션부 및 선택부 모두를 더 포함할 수도 있다.
도 15는 본 발명의 실시예들에 따른 영상 처리 시스템을 나타내는 블록도이다. 이하 도 2와 중복되는 설명은 생략한다.
도 15를 참조하면, 영상 처리 시스템(400)은 이미지 센서(420) 및 영상 처리 장치(440)를 포함한다.
이미지 센서(420)는 입사광에 기초하여 피사체의 영상에 관한 정보를 포함하는 복수의 영상 프레임 데이터들(FDAT)을 순차적으로 출력한다. 이미지 센서(420)는 도 3 내지 6을 참조하여 상술한 것과 유사하게 구현되며, 다만 AF 픽셀들을 포함하지 않고 일반 픽셀들만을 포함함에 따라 픽셀 어레이의 구조가 일부 변경될 수 있다.
영상 처리 장치(440)는 복수의 영상 프레임 데이터들(FDAT)을 순차적으로 수신하고, 복수의 영상 프레임 데이터들(FDAT)을 순차적으로 보정하여 복수의 보정 영상 프레임 데이터들(CFDAT)을 순차적으로 생성할 수 있다. 영상 처리 장치(440)는 본 발명의 실시예들에 따라 구현되며, 예를 들어 도 14의 영상 처리 장치(300)일 수 있다.
도 16은 도 15의 영상 처리 시스템에 포함되는 이미지 센서의 픽셀 어레이의 일 예를 나타내는 도면들이다. 이하 도 5a와 중복되는 설명은 생략한다.
도 16을 참조하면, 이미지 센서의 픽셀 어레이(514)는 복수의 픽셀들(PXA1, PXA2, PXA3, PXA4, PXA5, PXA6, PXB1, PXB2, PXB3, PXB4, PXB5, PXB6, PXC1, PXC2, PXC3, PXC4, PXC5, PXC6, PXD1, PXD2, PXD3, PXD4, PXD5, PXD6, PXE1, PXE2, PXE3, PXE4, PXE5, PXE6, PXF1, PXF2, PXF3, PXF4, PXF5, PXF6)을 포함할 수 있다.
복수의 픽셀들(PXA1~PXA6, PXB1~PXB6, PXC1~PXC6, PXD1~PXD6, PXE1~PXE6, PXF1~PXF6) 모두는 영상을 검출하는데 사용되는 일반 픽셀들이며, 상부에 마이크로 렌즈(ML)가 배치될 수 있다. 복수의 픽셀들(PXA1~PXA6, PXB1~PXB6, PXC1~PXC6, PXD1~PXD6, PXE1~PXE6, PXF1~PXF6) 각각은 도 5b의 제2 픽셀(NPX)과 같이 구현될 수 있다.
도 17a, 17b, 17c, 17d, 18a, 18b, 18c 및 18d는 본 발명의 실시예들에 따른 영상 처리 장치의 동작을 설명하기 위한 도면들이다. 이하 도 5c, 7a, 7b 및 7c와 중복되는 설명은 생략한다.
도 17a는 도 16의 이미지 센서의 픽셀 어레이(514)에 포함되는 컬러 필터 어레이의 일 예를 나타내는 평면도이며, 도 17b, 17c 및 17d는 이미지 센서의 픽셀 어레이가 도 16 및 17a의 구조를 가지는 경우의 동작을 나타낸다. 도 18a는 도 16의 이미지 센서의 픽셀 어레이(514)에 포함되는 컬러 필터 어레이의 다른 예를 나타내는 평면도이며, 도 18b, 18c 및 18d는 이미지 센서의 픽셀 어레이가 도 16 및 18a의 구조를 가지는 경우의 동작을 나타낸다.
도 17a를 참조하면, 픽셀 어레이(514)에 포함되는 컬러 필터 어레이(CFAA1)는 레드 필터(R), 그린 필터(G), 블루 필터(B) 및 화이트 필터(W)를 포함할 수 있다. 픽셀들(PXA2, PXA4, PXA6, PXC2, PXC4, PXC6, PXE2, PXE4, PXE6)은 레드 필터(R)를 포함할 수 있다. 픽셀들(PXA1, PXA3, PXA5, PXC1, PXC3, PXC5, PXE1, PXE3, PXE5)은 그린 필터(G)를 포함할 수 있다. 픽셀들(PXB1, PXB3, PXB5, PXD1, PXD3, PXD5, PXF1, PXF3, PXF5)은 블루 필터(B)를 포함할 수 있다. 픽셀들(PXB2, PXB4, PXB6, PXD2, PXD4, PXD6, PXF2, PXF4, PXF6)은 화이트 필터(W)를 포함할 수 있다.
도 17b를 참조하면, 이미지 센서(420)로부터 제공되고 하나의 영상 프레임에 대응하는 제1 영상 프레임 데이터(FDATA1)는, 레드 필터(R)를 포함하는 픽셀들(PXA2, PXA4, PXA6, PXC2, PXC4, PXE2, PXE4, PXE6)로부터 획득되고 적색에 대응하는 픽셀 값들(PVA2R, PVA4R, PVA6R, PVC2R, PVC4R, PVC6R, PVE2R, PVE4R, PVE6R), 그린 필터(G)를 포함하는 픽셀들(PX12, PX16, PX21, PX25, PX33, PX43, PX52, PX56, PX61, PX65)로부터 획득되고 녹색에 대응하는 픽셀 값들(PVA1G, PVA3G, PVA5G, PVC1G, PVC3G, PVC5G, PVE1G, PVE3G, PVE5G), 블루 필터(B)를 포함하는 픽셀들(PXB1, PXB3, PXB5, PXD1, PXD3, PXD5, PXF1, PXF3, PXF5)로부터 획득되고 청색에 대응하는 픽셀 값들(PVB1B, PVB3B, PVB5B, PVD1B, PVD3B, PVD5B, PVF1B, PVF3B, PVF5B), 및 화이트 필터(W)를 포함하는 픽셀들(PXB2, PXB4, PXB6, PXD2, PXD4, PXD6, PXF2, PXF4, PXF6)로부터 획득되고 백색에 대응하는 픽셀 값들(PVB2W, PVB4W, PVB6W, PVD2W, PVD4W, PVD6W, PVF2W, PVF4W, PVF6W)을 포함할 수 있다.
도 17c를 참조하면, 메모리(320)에 저장되고 제1 영상 프레임 데이터(FDATA1)를 보정하는데 이용되는 제1 보정 정보(CINFA1)는 픽셀 값들(PVB2W, PVB4W, PVB6W, PVD2W, PVD4W, PVD6W, PVF2W, PVF4W, PVF6W)을 보정하는데 이용되는 보정 데이터들(CIB2, CIB4, CIB6, CID2, CID4, CID6, CIF2, CIF4, CIF6)을 포함할 수 있다.
도 17d를 참조하면, 도 17c의 제1 보정 정보(CINFA1)를 기초로 도 17b의 제1 영상 프레임 데이터(FDATA1)에 포함되고 백색에 대응하는 픽셀 값들(PVB2W, PVB4W, PVB6W, PVD2W, PVD4W, PVD6W, PVF2W, PVF4W, PVF6W)을 녹색에 대응하는 보정 픽셀 값들(PVB2Gc, PVB4Gc, PVB6Gc, PVD2Gc, PVD4Gc, PVD6Gc, PVF2Gc, PVF4Gc, PVF6Gc)로 보정함으로써, 제1 보정 영상 프레임 데이터(CFDATA1)를 생성할 수 있다. 다시 말하면, RGBW 패턴을 베이어(Bayer) 패턴으로 변경할 수 있다.
도 18a를 참조하면, 픽셀 어레이(514)에 포함되는 컬러 필터 어레이(CFAA2)는 레드 필터(R), 그린 필터(G), 블루 필터(B) 및 화이트 필터(W)를 포함할 수 있다. 픽셀들(PXC2, PXC6, PXD1, PXD5)은 레드 필터(R)를 포함할 수 있다. 픽셀들(PXA2, PXA6, PXB1, PXB5, PXC4, PXD3, PXE2, PXE6, PXF1, PXF5)은 그린 필터(G)를 포함할 수 있다. 픽셀들(PXA4, PXB3, PXE4, PXF3)은 블루 필터(B)를 포함할 수 있다. 픽셀들(PXA1, PXA3, PXA5, PXB2, PXB4, PXB6, PXC1, PXC3, PXC5, PXD2, PXD4, PXD6, PXE1, PXE3, PXE5, PXF2, PXF4, PXF6)은 화이트 필터(W)를 포함할 수 있다.
도 18b를 참조하면, 이미지 센서(420)로부터 제공되고 하나의 영상 프레임에 대응하는 제1 영상 프레임 데이터(FDATA2)는, 레드 필터(R)를 포함하는 픽셀들(PXC2, PXC6, PXD1, PXD5)로부터 획득되고 적색에 대응하는 픽셀 값들(PVJ2R, PVJ6R, PVK1R, PVK5R), 그린 필터(G)를 포함하는 픽셀들(PXA2, PXA6, PXB1, PXB5, PXC4, PXD3, PXE2, PXE6, PXF1, PXF5)로부터 획득되고 녹색에 대응하는 픽셀 값들(PVG2G, PVG6G, PVH1G, PVH5G, PVJ4G, PVK3G, PVL2G, PVL6G, PVM1G, PVM5G), 블루 필터(B)를 포함하는 픽셀들(PXA4, PXB3, PXE4, PXF3)로부터 획득되고 청색에 대응하는 픽셀 값들(PVG4B, PVH3B, PVL4B, PVM3B), 및 화이트 필터(W)를 포함하는 픽셀들(PXA1, PXA3, PXA5, PXB2, PXB4, PXB6, PXC1, PXC3, PXC5, PXD2, PXD4, PXD6, PXE1, PXE3, PXE5, PXF2, PXF4, PXF6)로부터 획득되고 백색에 대응하는 픽셀 값들(PVG1W, PVG3W, PVG5W, PVH2W, PVH4W, PVH6W, PVJ1W, PVJ3W, PVJ5W, PVK2W, PVK4W, PVK6W, PVL1W, PVL3W, PVL5W, PVM2W, PVM4W, PVM6W)을 포함할 수 있다.
도 18c를 참조하면, 메모리(320)에 저장되고 제1 영상 프레임 데이터(FDATA2)를 보정하는데 이용되는 제1 보정 정보(CINFA2)는 픽셀 값들(PVG1W, PVG3W, PVG5W, PVH2W, PVH4W, PVH6W, PVJ1W, PVJ3W, PVJ5W, PVK2W, PVK4W, PVK6W, PVL1W, PVL3W, PVL5W, PVM2W, PVM4W, PVM6W)을 보정하는데 이용되는 보정 데이터들(CIG1, CIG3, CIG5, CIH2, CIH4, CIH6, CIJ1, CIJ3, CIJ5, CIK2, CIK4, CIK6, CIL1, CIL3, CIL5, CIM2, CIM4, CIM6)을 포함할 수 있다.
도 18d를 참조하면, 도 18c의 제1 보정 정보(CINFA2)를 기초로 도 18b의 제1 영상 프레임 데이터(FDATA2)에 포함되고 백색에 대응하는 픽셀 값들(PVG1W, PVG3W, PVG5W, PVH2W, PVH4W, PVH6W, PVJ1W, PVJ3W, PVJ5W, PVK2W, PVK4W, PVK6W, PVL1W, PVL3W, PVL5W, PVM2W, PVM4W, PVM6W) 중에서, 픽셀 값들(PVJ1W, PVJ5W, PVK2W, PVK6W)을 적색에 대응하는 보정 픽셀 값들(PVJ1Rc, PVJ5Rc, PVK2Rc, PVK6Rc)로 보정하고, 픽셀 값들(PVG1W, PVG5W, PVH2W, PVH6W, PVJ3W, PVK4W, PVL1W, PVL5W, PVM2W, PVM6W)을 녹색에 대응하는 보정 픽셀 값들(PVG1Gc, PVG5Gc, PVH2Gc, PVH6Gc, PVJ3Gc, PVK4Gc, PVL1Gc, PVL5Gc, PVM2Gc, PVM6Gc)로 보정하며, 픽셀 값들(PVG3W, PVH4W, PVL3W, PVM4W)을 청색에 대응하는 픽셀 값들(PVG3Bc, PVH4Bc, PVL3Bc, PVM4Bc)로 보정함으로써, 제1 보정 영상 프레임 데이터(CFDATA2)를 생성할 수 있다. 다시 말하면, RGBW 패턴을 테트라(Tetra) 패턴으로 변경할 수 있다.
한편, 도 16 내지 18을 참조하여 특정 픽셀 어레이 구조, 특정 컬러들 등에 기초하여 본 발명의 실시예들을 설명하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 이미지 센서의 임의의 픽셀 어레이 구조에서 임의의 컬러에 대응하는 적어도 하나의 픽셀 값을 임의의 다른 컬러에 대응하도록 보정하는 경우에 본 발명의 실시예들이 적용될 수 있다.
도 19는 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 1, 2, 10 및 19를 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법에서, 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함하는 자동 초점 이미지 센서(220)로부터 수신되는 복수의 픽셀 값들 중에서, 상기 제1 픽셀들로부터 획득되고 제1 컬러에 대응하는 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정하는데 이용되는 제1 보정 정보(CINF1)를 생성한다(단계 S100). 단계 S100은 영상 처리 장치의 내부 또는 외부에 배치되는 캘리브레이션부(110)에 의해 수행될 수 있다.
제1 보정 정보(CINF1)를 메모리(120)에 저장한다(단계 S200). 자동 초점 이미지 센서(220)로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터(FDAT1)를 수신하고(단계 S300), 메모리(120)로부터 제1 보정 정보(CINF1)를 로딩하며(단계 S400), 제1 보정 정보(CINF1)를 기초로 제1 영상 프레임 데이터(FDAT1)에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터(CFDAT1)를 생성한다(단계 S500). 단계 S300, S400 및 S500은 컬러 보정부(140)에 의해 수행될 수 있다.
도 20은 도 19의 제1 보정 정보를 생성하는 단계의 일 예를 나타내는 순서도이다.
도 2, 10, 11, 19 및 20을 참조하면, 제1 보정 정보(CINF1)를 생성하는데 있어서(단계 S100), 자동 초점 이미지 센서(220)가 상기 기준 패턴을 촬상하여 획득된 제1 기준 영상 프레임 데이터(CRDAT1)를 수신하고(단계 S110), 상기 기준 패턴에 대응하는 제1 원본 영상 데이터(ORDAT1)와 제1 기준 영상 프레임 데이터(CRDAT1)를 비교하며(단계 S120), 제1 원본 영상 데이터(ORDAT1)와 제1 기준 영상 프레임 데이터(CRDAT1)의 비교 결과에 기초하여 제1 보정 정보(CINF1)를 연산할 수 있다(단계 S130). 단계 S110 및 S120은 비교부(112)에 의해 수행되고, 단계 S130은 연산부(114)에 의해 수행될 수 있다.
도 21 및 22는 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도들이다. 이하 도 19와 중복되는 설명은 생략한다.
도 1, 2 및 21을 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법에서, 단계 S100, S200 및 S400은 각각 도 19의 단계 S100, S200 및 S400과 실질적으로 동일할 수 있다.
자동 초점 이미지 센서(220)로부터 제1 내지 제N 영상 프레임 데이터들을 순차적으로 수신하며(단계 S350), 제1 보정 정보(CINF1)를 기초로 상기 제1 내지 제N 영상 프레임 데이터들에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 순차적으로 보정하여 제1 내지 제N 보정 영상 프레임 데이터들을 순차적으로 생성한다(단계 S550). 다시 말하면, 도 21의 실시예는 도 19의 단계 S300 이후에 상기 제2 내지 제N 영상 프레임 데이터들을 순차적으로 수신하고 단계 S500 이후에 상기 제2 내지 제N 영상 프레임 데이터들을 순차적으로 보정하여 상기 제2 내지 제N 보정 영상 프레임 데이터들을 순차적으로 생성하는 것으로 설명될 수도 있다.
도 2, 12, 13 및 22를 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법에서, 상기 제1 컬러에 대응하는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하는데 이용되고 서로 다른 제1 및 제2 보정 정보들(CINF1, CINF2)을 생성하며, 제1 및 제2 보정 정보들(CINF1, CINF2)을 메모리(120)에 저장한다(단계 S250). 단계 S150 및 S250은 각각 도 19의 단계 S100 및 S200과 유사할 수 있다.
자동 초점 이미지 센서(220)로부터 제1 영상 프레임 데이터(FDAT1)를 수신하고(단계 S300), 메모리(120)로부터 제1 및 제2 보정 정보들(CINF1, CINF2)을 로딩하고(단계 S450), 제1 영상 프레임 데이터(FDAT1)에 기초하여 제1 및 제2 보정 정보들(CINF1, CINF2) 중 하나를 선택하며(단계 S600), 선택된 보정 정보(SINF)를 기초로 제1 영상 프레임 데이터(FDAT1)에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터(CFDAT1)를 생성한다(단계 S700). 단계 S300, S450 및 S700은 각각 도 19의 S300, S400 및 S500과 유사할 수 있다. 단계 S600은 선택부(160)에 의해 수행될 수 있다.
도 23은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다. 이하 도 19와 중복되는 설명은 생략한다.
도 14, 15 및 23을 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법에서, 영상을 검출하는데 사용되는 복수의 픽셀들을 포함하는 이미지 센서(420)로부터 수신되는 복수의 픽셀 값들 중에서, 제1 컬러에 대응하는 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정하는데 이용되는 제1 보정 정보(CINFA)를 생성한다(단계 S1100). 단계 S110은 영상 처리 장치의 내부 또는 외부에 배치되는 캘리브레이션부에 의해 수행될 수 있다.
제1 보정 정보(CINFA)를 메모리(320)에 저장한다(단계 S1200). 이미지 센서(420)로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터(FDATA)를 수신하고(단계 S1300), 메모리(320)로부터 제1 보정 정보(CINFA)를 로딩하며(단계 S1400), 제1 보정 정보(CINFA)를 기초로 제1 영상 프레임 데이터(FDATA)에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터(CFDATA)를 생성한다(단계 S1500). 단계 S1300, S1400 및 S1500은 컬러 보정부(340)에 의해 수행될 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수도 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다. 예를 들어, 상기 컴퓨터로 판독 가능한 매체는 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, 비일시적은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
도 24는 본 발명의 실시예들에 따른 영상 처리 장치를 포함하는 전자 시스템을 나타내는 블록도이다.
도 24를 참조하면, 전자 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 이미지 센서(1140) 및 디스플레이(1150) 등을 포함할 수 있다. 전자 시스템(1000)은 RF 칩(1160), GPS(1120), 스토리지(1170), 마이크(1180), DRAM(1185) 및 스피커(1190)를 더 포함할 수 있고, UWB(1210), WLAN(1220), WIMAX(1230) 등을 이용하여 통신을 수행할 수 있다.
어플리케이션 프로세서(1110)는 이미지 센서(1140) 및 디스플레이(1150)의 동작을 제어하는 컨트롤러 또는 프로세서를 나타낼 수 있다.
어플리케이션 프로세서(1110)는 디스플레이(1150)의 DSI 장치(1151)와 통신하는 DSI 호스트(1111), 이미지 센서(1140)의 CSI 장치(1141)와 통신하는 CSI 호스트(1112), RF 칩(1160)의 PHY(1161)와 DigRF에 따라 데이터를 송수신하는 PHY(1113), RF 칩(1160)의 DigRF SLAVE(1162)를 제어하는 DigRF MASTER(1114)를 포함할 수 있다.
일 실시예에서, DSI 호스트(1111)는 광 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 광 디시리얼라이저(DES)를 포함할 수 있다. 일 실시예에서, CSI 호스트(1112)는 광 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 광 시리얼라이저(SER)를 포함할 수 있다.
CSI 호스트(1112)는 본 발명의 실시예들에 따른 영상 처리 장치를 포함할 수 있고, CSI 호스트(1112) 및 이미지 센서(1140)는 본 발명의 실시예들에 따른 영상 처리 시스템을 형성할 수 있다. 이미지 센서(1140)는 본 발명의 실시예들에 따른 영상 처리 시스템에 포함되는 자동 초점 이미지 센서 및/또는 이미지 센서일 수 있다. CSI 호스트(1112) 및 이미지 센서(1140)는 본 발명의 실시예들에 따른 구동 방법에 기초하여 동작할 수 있다.
본 발명의 실시예들은 영상 처리 장치 및 이미지 센서를 포함하는 임의의 전자 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 PC(Personal Computer), 워크스테이션(workstation), 노트북(laptop), 핸드폰(cellular), 스마트 폰(smart phone), MP3 플레이어, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(Internet of Things) 기기, IoE(Internet of Everything) 기기, e-북(e-book), VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 드론(drone) 등과 같은 전자 시스템에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함하는 자동 초점 이미지 센서로부터 수신되는 복수의 픽셀 값들 중에서, 상기 제1 픽셀들로부터 획득되고 제1 컬러에 대응하는 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정(correction)하는데 이용되는 제1 보정 정보를 저장하는 메모리; 및
    상기 자동 초점 이미지 센서로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터를 수신하고, 상기 메모리로부터 상기 제1 보정 정보를 로딩하며, 상기 제1 보정 정보를 기초로 상기 제1 영상 프레임 데이터에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터를 생성하는 컬러 보정부를 포함하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 메모리에 저장되는 상기 제1 보정 정보를 생성하는 캘리브레이션(calibration)부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  3. 제 2 항에 있어서, 상기 캘리브레이션부는,
    상기 자동 초점 이미지 센서가 기준 패턴을 촬상하여 획득된 기준 영상 프레임 데이터를 수신하고, 상기 기준 패턴에 대응하는 원본 영상 데이터와 상기 기준 영상 프레임 데이터를 비교하는 비교부; 및
    상기 원본 영상 데이터와 상기 기준 영상 프레임 데이터의 비교 결과에 기초하여 상기 제1 보정 정보를 연산하는 연산부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  4. 제 2 항에 있어서, 상기 캘리브레이션부는,
    상기 자동 초점 이미지 센서가 정상 동작하기 이전에 상기 제1 보정 정보를 미리 생성하여 상기 메모리에 미리 저장하는 것을 특징으로 하는 영상 처리 장치.
  5. 제 4 항에 있어서, 상기 캘리브레이션부는,
    상기 자동 초점 이미지 센서가 정상 동작하는 동안에 비활성화되는 것을 특징으로 하는 영상 처리 장치.
  6. 제 1 항에 있어서, 상기 컬러 보정부는,
    상기 자동 초점 이미지 센서로부터 상기 제1 영상 프레임 데이터 이후에 제2 영상 프레임 데이터 내지 제N(N인 2 이상의 자연수) 영상 프레임 데이터를 순차적으로 수신하고,
    상기 제1 보정 정보를 기초로 상기 제2 영상 프레임 데이터 내지 상기 제N 영상 프레임 데이터를 순차적으로 보정하여 제2 보정 영상 프레임 데이터 내지 제N 보정 영상 프레임 데이터를 순차적으로 생성하는 것을 특징으로 하는 영상 처리 장치.
  7. 제 1 항에 있어서, 상기 제1 보정 정보는,
    상기 제1 컬러에 대응하는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하는 제1 보정 픽셀 값들로 변환하는데 이용되는 복수의 이득 값(gain)들, 및 상기 제1 픽셀들의 위치를 나타내는 복수의 위치 데이터들을 포함하는 것을 특징으로 하는 영상 처리 장치.
  8. 제 7 항에 있어서,
    상기 제1 보정 픽셀 값들을 생성하기 위해 상기 제1 픽셀 값들 및 상기 제2 픽셀들 중 상기 제1 픽셀들과 인접한 인접 픽셀들로부터 획득되는 인접 픽셀 값들이 이용되는 것을 특징으로 하는 영상 처리 장치.
  9. 제 7 항에 있어서, 상기 제1 보정 정보는,
    상기 제1 픽셀 값들을 상기 제1 보정 픽셀 값들로 변환하는데 이용되는 복수의 오프셋 값(offset)들을 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  10. 제 9 항에 있어서,
    상기 제1 보정 픽셀 값들을 생성하기 위해 상기 제1 픽셀 값들만이 이용되는 것을 특징으로 하는 영상 처리 장치.
  11. 제 1 항에 있어서,
    상기 메모리는 상기 제1 컬러에 대응하는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하는데 이용되고 상기 제1 보정 정보와 다른 제2 보정 정보를 더 저장하며,
    상기 제1 영상 프레임 데이터에 기초하여 상기 제1 보정 정보 및 상기 제2 보정 정보 중 하나를 선택하는 선택부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  12. 제 11 항에 있어서, 상기 컬러 보정부는,
    상기 제1 보정 정보 및 상기 제2 보정 정보 중 상기 선택부에 의해 선택된 보정 정보를 기초로 상기 제1 영상 프레임 데이터를 보정하여 상기 제1 보정 영상 프레임 데이터를 생성하는 것을 특징으로 하는 영상 처리 장치.
  13. 제 11 항에 있어서,
    상기 제1 보정 정보는 제1 색온도에 대응하고, 상기 제2 보정 정보는 상기 제1 색온도와 다른 제2 색온도에 대응하는 것을 특징으로 하는 영상 처리 장치.
  14. 제 1 항에 있어서, 상기 제1 픽셀들 각각은,
    기판 내에 형성되는 제1 광전 변환 영역 및 제2 광전 변환 영역;
    상기 제1 광전 변환 영역 및 상기 제2 광전 변환 영역 상에 형성되고, 상기 제1 컬러를 가지는 제1 컬러 필터; 및
    상기 제1 컬러 필터 상에 형성되고, 상기 제1 광전 변환 영역 및 상기 제2 광전 변환 영역에 의해 공유되는 제1 마이크로 렌즈를 포함하는 것을 특징으로 하는 영상 처리 장치.
  15. 제 14 항에 있어서, 상기 제2 픽셀들 각각은,
    상기 기판 내에 형성되는 제3 광전 변환 영역;
    상기 제3 광전 변환 영역 상에 형성되는 제2 컬러 필터; 및
    상기 제2 컬러 필터 상에 형성되는 제2 마이크로 렌즈를 포함하는 것을 특징으로 하는 영상 처리 장치.
  16. 제 15 항에 있어서,
    상기 제1 광전 변환 영역, 상기 제2 광전 변환 영역 및 상기 제3 광전 변환 영역의 크기는 동일하며,
    상기 제1 마이크로 렌즈의 크기는 상기 제2 마이크로 렌즈의 크기보다 큰 것을 특징으로 하는 영상 처리 장치.
  17. 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함하는 자동 초점 이미지 센서로부터 수신되는 복수의 픽셀 값들 중에서, 상기 제1 픽셀들로부터 획득되고 제1 컬러에 대응하는 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정(correction)하는데 이용되는 제1 보정 정보를 생성하는 단계;
    상기 제1 보정 정보를 메모리에 저장하는 단계;
    상기 자동 초점 이미지 센서로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터를 수신하는 단계;
    상기 메모리로부터 상기 제1 보정 정보를 로딩하는 단계; 및
    상기 제1 보정 정보를 기초로 상기 제1 영상 프레임 데이터에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터를 생성하는 단계를 포함하는 영상 처리 방법.
  18. 제 17 항에 있어서, 상기 제1 보정 정보를 생성하는 단계는,
    상기 자동 초점 이미지 센서가 기준 패턴을 촬상하여 획득된 기준 영상 프레임 데이터를 수신하는 단계;
    상기 기준 패턴에 대응하는 원본 영상 데이터와 상기 기준 영상 프레임 데이터를 비교하는 단계; 및
    상기 원본 영상 데이터와 상기 기준 영상 프레임 데이터의 비교 결과에 기초하여 상기 제1 보정 정보를 연산하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  19. 제 17 항에 있어서,
    상기 자동 초점 이미지 센서로부터 상기 제1 영상 프레임 데이터 이후에 제2 영상 프레임 데이터 내지 제N(N인 2 이상의 자연수) 영상 프레임 데이터를 순차적으로 수신하는 단계; 및
    상기 제1 보정 정보를 기초로 상기 제2 영상 프레임 데이터 내지 상기 제N 영상 프레임 데이터를 순차적으로 보정하여 제2 보정 영상 프레임 데이터 내지 제N 보정 영상 프레임 데이터를 순차적으로 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  20. 위상차를 검출하는데 사용되는 제1 픽셀들 및 영상을 검출하는데 사용되는 제2 픽셀들을 포함하는 자동 초점 이미지 센서; 및
    상기 자동 초점 이미지 센서로부터 제공되는 영상 프레임 데이터에 대한 영상 처리를 수행하는 영상 처리 장치를 포함하고,
    상기 영상 처리 장치는,
    상기 자동 초점 이미지 센서가 기준 패턴을 촬상하여 획득된 기준 영상 프레임 데이터를 수신하고, 상기 기준 패턴에 대응하는 원본 영상 데이터와 상기 기준 영상 프레임 데이터를 비교하며, 상기 원본 영상 데이터와 상기 기준 영상 프레임 데이터의 비교 결과에 기초하여 제1 보정 정보를 연산하여, 상기 자동 초점 이미지 센서로부터 수신되는 복수의 픽셀 값들 중에서 상기 제1 픽셀들로부터 획득되고 제1 컬러에 대응하는 제1 픽셀 값들을 상기 제1 컬러와 다른 제2 컬러에 대응하도록 보정(correction)하는데 이용되는 상기 제1 보정 정보를 생성하는 캘리브레이션(calibration)부;
    상기 캘리브레이션부로부터 상기 제1 보정 정보를 수신하여 저장하는 메모리; 및
    상기 자동 초점 이미지 센서로부터 상기 복수의 픽셀 값들을 포함하는 제1 영상 프레임 데이터를 수신하고, 상기 메모리로부터 상기 제1 보정 정보를 로딩하며, 상기 제1 보정 정보를 기초로 상기 제1 영상 프레임 데이터에 포함되는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하도록 보정하여 제1 보정 영상 프레임 데이터를 생성하는 컬러 보정부를 포함하며,
    상기 제1 보정 정보는,
    상기 제1 컬러에 대응하는 상기 제1 픽셀 값들을 상기 제2 컬러에 대응하는 제1 보정 픽셀 값들로 변환하는데 이용되는 복수의 이득 값(gain)들, 복수의 오프셋 값(offset)들, 및 상기 제1 픽셀들의 위치를 나타내는 복수의 위치 데이터들을 포함하고,
    상기 캘리브레이션부 및 상기 메모리는 상기 자동 초점 이미지 센서가 정상 동작하기 이전에 상기 제1 보정 정보를 미리 생성하여 미리 저장하는 영상 처리 시스템.
KR1020200119077A 2020-09-16 2020-09-16 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템 KR20220036630A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200119077A KR20220036630A (ko) 2020-09-16 2020-09-16 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
US17/318,645 US11470236B2 (en) 2020-09-16 2021-05-12 Image processing device and image processing method for color correction, and image processing system including the same
TW110118748A TW202213989A (zh) 2020-09-16 2021-05-25 色彩校正之影像處理元件與影像處理方法以及包括其之影像處理系統
CN202110927282.XA CN114268710A (zh) 2020-09-16 2021-08-12 用于颜色校正的图像处理设备和图像处理方法、以及包括该图像处理设备的图像处理系统
JP2021136129A JP2022049671A (ja) 2020-09-16 2021-08-24 カラー補正のための画像処理装置、画像処理方法、及び画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200119077A KR20220036630A (ko) 2020-09-16 2020-09-16 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Publications (1)

Publication Number Publication Date
KR20220036630A true KR20220036630A (ko) 2022-03-23

Family

ID=80627320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200119077A KR20220036630A (ko) 2020-09-16 2020-09-16 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Country Status (5)

Country Link
US (1) US11470236B2 (ko)
JP (1) JP2022049671A (ko)
KR (1) KR20220036630A (ko)
CN (1) CN114268710A (ko)
TW (1) TW202213989A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102662032B1 (ko) * 2019-06-19 2024-05-03 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 장치
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5264131B2 (ja) * 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5180795B2 (ja) * 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
WO2011155297A1 (ja) 2010-06-09 2011-12-15 富士フイルム株式会社 撮像装置及び画像処理方法
JP5529928B2 (ja) 2012-06-14 2014-06-25 オリンパスイメージング株式会社 撮像装置及び撮像装置の制御方法
JP2014029353A (ja) * 2012-07-31 2014-02-13 Sony Corp 焦点調整装置および焦点調整方法
WO2014109334A1 (ja) 2013-01-10 2014-07-17 オリンパスイメージング株式会社 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法
US20190215440A1 (en) * 2018-01-10 2019-07-11 Duelight Llc Systems and methods for tracking a region using an image sensor
TWI620445B (zh) * 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
JP2015065268A (ja) * 2013-09-25 2015-04-09 ソニー株式会社 レンズアレイおよびその製造方法、固体撮像装置、並びに電子機器
JP6099536B2 (ja) 2013-09-27 2017-03-22 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5970012B2 (ja) 2014-02-27 2016-08-17 キヤノン株式会社 画像処理装置およびその制御方法
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
JP2016009043A (ja) 2014-06-24 2016-01-18 ソニー株式会社 イメージセンサ、演算方法、および電子装置
US9455285B2 (en) * 2015-02-04 2016-09-27 Semiconductors Components Industries, Llc Image sensors with phase detection pixels
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
US10264174B2 (en) * 2015-12-08 2019-04-16 Samsung Electronics Co., Ltd. Photographing apparatus and focus detection method using the same
US10270958B2 (en) * 2016-09-01 2019-04-23 Duelight Llc Systems and methods for adjusting focus based on focus target information
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
JP2018046394A (ja) * 2016-09-14 2018-03-22 オリンパス株式会社 撮像素子、撮像装置
KR20180031288A (ko) * 2016-09-19 2018-03-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
JP2018093257A (ja) * 2016-11-30 2018-06-14 オリンパス株式会社 撮像装置
WO2018168551A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮像素子及び撮像装置
WO2018181164A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 撮像装置及び画像処理方法
US10397465B2 (en) * 2017-09-01 2019-08-27 Qualcomm Incorporated Extended or full-density phase-detection autofocus control
US10924655B2 (en) * 2017-11-06 2021-02-16 Canon Kabushiki Kaisha Image-capturing apparatus and control method thereof
JP7012142B2 (ja) * 2018-03-01 2022-01-27 富士フイルム株式会社 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置
US10715718B2 (en) * 2018-03-15 2020-07-14 Taiwan Semiconductor Manufacturing Company, Ltd. Phase detect auto-focus three dimensional image capture system
JP7231281B2 (ja) * 2018-04-26 2023-03-01 テンエントゥ カンパニー，リミテッド 広角映像提供方法
US11323608B2 (en) * 2018-06-25 2022-05-03 Omnivision Technologies, Inc. Image sensors with phase detection auto-focus pixels
KR20200097865A (ko) * 2019-02-08 2020-08-20 삼성전자주식회사 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법
GB2581977B (en) * 2019-03-05 2023-03-29 Advanced Risc Mach Ltd Pixel Correction
US20200336684A1 (en) * 2019-04-19 2020-10-22 Qualcomm Incorporated Pattern configurable pixel correction
US20210211580A1 (en) * 2020-01-08 2021-07-08 Qualcomm Incorporated Phase detection autofocus (pdaf) optical system
KR20210095461A (ko) * 2020-01-23 2021-08-02 삼성전자주식회사 복수의 공유 픽셀들을 포함하는 이미지 장치 및 이의 동작 방법
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Also Published As

Publication number Publication date
CN114268710A (zh) 2022-04-01
US11470236B2 (en) 2022-10-11
US20220086358A1 (en) 2022-03-17
TW202213989A (zh) 2022-04-01
JP2022049671A (ja) 2022-03-29

Similar Documents

Publication Publication Date Title
US11477409B2 (en) Image processing device and mobile computing device having the same
US10015428B2 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
US11956411B2 (en) Image signal processor, image processing system and method of binning pixels in image sensor
US10225495B2 (en) Crosstalk processing module, method of processing crosstalk and image processing system
WO2021223590A1 (zh) 图像传感器、控制方法、摄像头组件和移动终端
US20150319412A1 (en) Pixel correction method and image capture device
US20230319430A1 (en) Image sensor
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
KR102441363B1 (ko) 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법
US20160165161A1 (en) Image sensing system and method of driving the same
KR20220036630A (ko) 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
US20160269658A1 (en) Image Sensors and Image Processing Systems Including the Image Sensors
US11317063B2 (en) Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor
US20190306388A1 (en) Image sensor and camera
US11825226B2 (en) Image sensor and pixel array of image sensor
US11800250B2 (en) Image sensor and operation method of the image sensor
US20230300481A1 (en) Image sensing device and image processing method of the same
US20220293653A1 (en) Image sensors and camera modules including the same
US20240185558A1 (en) Image signal processor and image sensing device thereof
KR20220048090A (ko) 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템
JP2023079210A (ja) イメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置

Legal Events

Date Code Title Description
A201 Request for examination