KR102632474B1 - 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서 - Google Patents

이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서 Download PDF

Info

Publication number
KR102632474B1
KR102632474B1 KR1020190015619A KR20190015619A KR102632474B1 KR 102632474 B1 KR102632474 B1 KR 102632474B1 KR 1020190015619 A KR1020190015619 A KR 1020190015619A KR 20190015619 A KR20190015619 A KR 20190015619A KR 102632474 B1 KR102632474 B1 KR 102632474B1
Authority
KR
South Korea
Prior art keywords
green
image
pixel
pixels
red
Prior art date
Application number
KR1020190015619A
Other languages
English (en)
Other versions
KR20200098032A (ko
Inventor
최우석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190015619A priority Critical patent/KR102632474B1/ko
Priority to US16/668,681 priority patent/US10986315B2/en
Publication of KR20200098032A publication Critical patent/KR20200098032A/ko
Application granted granted Critical
Publication of KR102632474B1 publication Critical patent/KR102632474B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이미지 센서의 픽셀 어레이는 서로 인접하는 제1, 제2, 제3 및 제4 픽셀 그룹들을 포함한다. 제1 픽셀 그룹은 서로 인접하고 제1 패턴을 가지도록 배치되는 복수의 제1 서브 픽셀들 및 복수의 제1 서브 픽셀들에 의해 공유되는 제1 마이크로 렌즈를 포함한다. 제2 픽셀 그룹은 서로 인접하고 제2 패턴을 가지도록 배치되는 복수의 제2 서브 픽셀들 및 복수의 제2 서브 픽셀들에 의해 공유되는 제2 마이크로 렌즈를 포함한다. 제3 픽셀 그룹은 서로 인접하고 제3 패턴을 가지도록 배치되는 복수의 제3 서브 픽셀들 및 복수의 제3 서브 픽셀들에 의해 공유되는 제3 마이크로 렌즈를 포함한다. 제4 픽셀 그룹은 서로 인접하고 제4 패턴을 가지도록 배치되는 복수의 제4 서브 픽셀들 및 복수의 제4 서브 픽셀들에 의해 공유되는 제4 마이크로 렌즈를 포함한다.

Description

이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서{PIXEL ARRAY INCLUDED IN IMAGE SENSOR AND IMAGE SENSOR INCLUDING THE SAME}
본 발명은 이미지 센서에 관한 것으로서, 더욱 상세하게는 이미지 센서에 포함되는 픽셀 어레이 및 상기 픽셀 어레이를 포함하는 이미지 센서에 관한 것이다.
CMOS(complementary metal-oxide semiconductor) 이미지 센서는 CMOS 공정을 이용하여 제조되는 이미지 촬상 소자이다. 상기 CMOS 이미지 센서는 고전압 아날로그 회로를 포함하는 CCD(charge-coupled device) 이미지 센서와 비교하여 제조 단가가 낮고 픽셀(pixel)의 크기가 작아 전력 소모가 적다는 장점이 있다. 또한, CMOS 이미지 센서의 성능이 향상되면서, CMOS 이미지 센서는 스마트폰, 태블릿 PC, 또는 디지털 카메라 등과 같은 모바일 전자 장치에서 널리 사용되고 있다. 최근에는 영상의 초점 상태를 정확하게 측정할 수 있는 이미지 센서가 연구되고 있다.
본 발명의 일 목적은 초점 상태나 마이크로 렌즈의 위치 오차에 관계 없이 정상적인 영상을 효과적으로 획득할 수 있는 이미지 센서의 픽셀 어레이를 제공하는 것이다.
본 발명의 다른 목적은 상기 픽셀 어레이를 포함하는 이미지 센서를 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 센서의 픽셀 어레이는 서로 인접하는 제1 픽셀 그룹, 제2 픽셀 그룹, 제3 픽셀 그룹 및 제4 픽셀 그룹을 포함한다. 상기 제1 픽셀 그룹은 서로 인접하고 제1 패턴을 가지도록 배치되는 복수의 제1 서브 픽셀들 및 상기 복수의 제1 서브 픽셀들에 의해 공유되는 제1 마이크로 렌즈를 포함한다. 상기 제2 픽셀 그룹은 서로 인접하고 상기 제1 패턴과 다른 제2 패턴을 가지도록 배치되는 복수의 제2 서브 픽셀들 및 상기 복수의 제2 서브 픽셀들에 의해 공유되는 제2 마이크로 렌즈를 포함한다. 상기 제3 픽셀 그룹은 서로 인접하고 상기 제1 및 제2 패턴들과 다른 제3 패턴을 가지도록 배치되는 복수의 제3 서브 픽셀들 및 상기 복수의 제3 서브 픽셀들에 의해 공유되는 제3 마이크로 렌즈를 포함한다. 상기 제4 픽셀 그룹은 서로 인접하고 상기 제1, 제2 및 제3 패턴들과 다른 제4 패턴을 가지도록 배치되는 복수의 제4 서브 픽셀들 및 상기 복수의 제4 서브 픽셀들에 의해 공유되는 제4 마이크로 렌즈를 포함한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 센서는 픽셀 어레이 및 복수의 컬럼 구동 회로들을 포함한다. 상기 픽셀 어레이는 입사광을 감지하여 상기 입사광에 대응하는 복수의 아날로그 픽셀 신호들을 발생한다. 상기 복수의 컬럼 구동 회로들은 상기 픽셀 어레이의 복수의 컬럼들과 연결되고, 상기 복수의 아날로그 픽셀 신호들을 복수의 디지털 신호들로 변환한다. 서로 인접하는 제1 픽셀 그룹, 제2 픽셀 그룹, 제3 픽셀 그룹 및 제4 픽셀 그룹을 포함한다. 상기 제1 픽셀 그룹은 서로 인접하고 제1 패턴을 가지도록 배치되는 복수의 제1 서브 픽셀들 및 상기 복수의 제1 서브 픽셀들에 의해 공유되는 제1 마이크로 렌즈를 포함한다. 상기 제2 픽셀 그룹은 서로 인접하고 상기 제1 패턴과 다른 제2 패턴을 가지도록 배치되는 복수의 제2 서브 픽셀들 및 상기 복수의 제2 서브 픽셀들에 의해 공유되는 제2 마이크로 렌즈를 포함한다. 상기 제3 픽셀 그룹은 서로 인접하고 상기 제1 및 제2 패턴들과 다른 제3 패턴을 가지도록 배치되는 복수의 제3 서브 픽셀들 및 상기 복수의 제3 서브 픽셀들에 의해 공유되는 제3 마이크로 렌즈를 포함한다. 상기 제4 픽셀 그룹은 서로 인접하고 상기 제1, 제2 및 제3 패턴들과 다른 제4 패턴을 가지도록 배치되는 복수의 제4 서브 픽셀들 및 상기 복수의 제4 서브 픽셀들에 의해 공유되는 제4 마이크로 렌즈를 포함한다.
상기와 같은 본 발명의 실시예들에 따른 픽셀 어레이 및 이미지 센서에서는, 하나의 픽셀 그룹 내의 복수의 서브 픽셀들이 하나의 마이크로 렌즈를 공유하는 구조를 가지며, 이에 따라 피사체 상의 한 점에서 서로 다른 신호들(예를 들어, 컬러 신호들)을 획득할 수 있다. 또한, 인접한 픽셀 그룹들이 서로 다른 픽셀 패턴을 가지며, 이에 따라 초점 상태나 마이크로 렌즈의 위치 오차에 관계 없이 정상적인 영상을 효과적으로 획득할 수 있다.
도 1은 본 발명의 실시예들에 따른 이미지 센서의 픽셀 어레이를 나타내는 평면도이다.
도 2는 도 1의 이미지 센서의 픽셀 어레이의 일 예를 나타내는 평면도이다.
도 3a, 3b, 3c, 3d, 3e, 3f, 3g 및 3h는 도 2의 픽셀 어레이의 동작을 설명하기 위한 도면들이다.
도 4는 본 발명의 실시예들에 따른 이미지 센서의 픽셀 어레이를 이용한 영상 처리 방법을 나타내는 순서도이다.
도 5는 도 4의 그린 영상, 레드 영상 및 블루 영상을 획득하는 단계의 구체적인 일 예를 나타내는 순서도이다.
도 6a, 6b, 6c, 6d 및 6e는 도 4 및 5의 영상 처리 방법을 설명하기 위한 도면들이다.
도 7은 도 4의 그린 영상, 레드 영상 및 블루 영상을 획득하는 단계의 구체적인 다른 예를 나타내는 순서도이다.
도 8a, 8b, 8c, 9a 및 9b는 도 4 및 7의 영상 처리 방법을 설명하기 위한 도면들이다.
도 10a, 10b, 10c, 10d 및 10e는 도 4 및 5의 영상 처리 방법을 설명하기 위한 도면들이다.
도 11은 도 1의 이미지 센서의 픽셀 어레이의 다른 예를 나타내는 평면도이다.
도 12는 도 1의 이미지 센서의 픽셀 어레이의 또 다른 예를 나타내는 평면도이다.
도 13a 및 13b는 도 12의 픽셀 어레이의 동작을 설명하기 위한 도면들이다.
도 14a, 14b, 15a, 15b, 15c, 15d 및 15e는 도 4 및 5의 영상 처리 방법을 설명하기 위한 도면들이다.
도 16은 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.
도 17은 본 발명의 실시예들에 따른 이미지 센서에 포함되는 단위 픽셀의 일 예를 나타내는 회로도이다.
도 18은 본 발명의 실시예들에 따른 이미지 센서를 포함하는 전자 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 이미지 센서의 픽셀 어레이를 나타내는 평면도이다.
도 1을 참조하면, 이미지 센서의 픽셀 어레이(100)는 제1 픽셀 그룹(PG1), 제2 픽셀 그룹(PG2), 제3 픽셀 그룹(PG3) 및 제4 픽셀 그룹(PG4)을 포함한다. 제1 내지 제4 픽셀 그룹들(PG1~PG4)은 2*2 매트릭스 형태로 서로 인접하도록 배열될 수 있다.
제1 픽셀 그룹(PG1)은 서로 인접하고 제1 패턴을 가지도록 배치되는 복수의 제1 서브 픽셀들(SP11, ..., SP1N) 및 복수의 제1 서브 픽셀들(SP11~SP1N)에 의해 공유되는 제1 마이크로 렌즈(ML1)를 포함한다.
제2 픽셀 그룹(PG2)은 제1 픽셀 그룹(PG1)과 제1 방향(DR1)을 따라 인접하고, 서로 인접하고 상기 제1 패턴과 다른 제2 패턴을 가지도록 배치되는 복수의 제2 서브 픽셀들(SP21, ..., SP2N) 및 복수의 제2 서브 픽셀들(SP21~SP2N)에 의해 공유되는 제2 마이크로 렌즈(ML2)를 포함한다.
제3 픽셀 그룹(PG3)은 제1 픽셀 그룹(PG1)과 제1 방향(DR1)과 교차하는(예를 들어, 직교하는) 제2 방향(DR2)을 따라 인접하고, 서로 인접하고 상기 제1 및 제2 패턴들과 다른 제3 패턴을 가지도록 배치되는 복수의 제3 서브 픽셀들(SP31, ..., SP3N) 및 복수의 제3 서브 픽셀들(SP31~SP3N)에 의해 공유되는 제3 마이크로 렌즈(ML3)를 포함한다.
제4 픽셀 그룹(PG4)은 제2 및 제3 픽셀 그룹들(PG2, PG3)과 인접하고, 서로 인접하고 상기 제1, 제2 및 제3 패턴들과 다른 제4 패턴을 가지도록 배치되는 복수의 제4 서브 픽셀들(SP41, ..., SP4N) 및 복수의 제4 서브 픽셀들(SP41~SP4N)에 의해 공유되는 제4 마이크로 렌즈(ML4)를 포함한다.
상술한 것처럼, 본 발명의 실시예들에 따른 이미지 센서의 픽셀 어레이(100)에서 하나의 픽셀 그룹에 포함되는 복수의 서브 픽셀들은 하나의 마이크로 렌즈를 공유할 수 있다.
도시의 편의상, 도 1에서는 서브 픽셀들(SP11~SP1N, SP21~SP2N, SP31~SP3N, SP41~SP4N)의 형상이 다른 것으로 도시하였으나, 서브 픽셀들이 서로 다른 패턴을 가지도록 배치된다는 것은 평면 상에서 서브 픽셀들의 위치 및/또는 배치가 다른 것을 나타낸다. 예를 들어, 후술하는 것처럼 서브 픽셀들의 컬러 배치(즉, 컬러 필터들의 배치)가 다를 수 있다.
일 실시예에서, 마이크로 렌즈들(ML1~ML4)은 서브 픽셀들(SP11~SP1N, SP21~SP2N, SP31~SP3N, SP41~SP4N) 상에 형성될 수 있다. 예를 들어, 입사광이 수신되는 면에 마이크로 렌즈(ML1)가 형성되고, 마이크로 렌즈(ML1) 하부에 서브 픽셀들(SP11~SP1N)이 형성될 수 있다.
일 실시예에서, 제1 내지 제4 픽셀 그룹들(PG1~PG4)은 동일한 N(N은 2 이상의 자연수)개의 서브 픽셀들을 포함할 수 있다.
도 1에서는 픽셀 어레이(100)가 4개의 픽셀 그룹들(PG1~PG4)만을 포함하는 것으로 도시하였으나, 픽셀 그룹들(PG1~PG4)은 제1 및 제2 방향들(DR1, DR2)을 따라 반복적으로 배열될 수 있다.
도 2는 도 1의 이미지 센서의 픽셀 어레이의 일 예를 나타내는 평면도이다.
도 2를 참조하면, 이미지 센서의 픽셀 어레이(100a)는 복수의 픽셀 그룹들(PG11, PG12, PG13, PG14, PG15, PG16, PG17, PG18, PG19, PG1A, PG1B, PG1C, PG1D, PG1E, PG1F, PG1G)을 포함한다.
도 2의 픽셀 어레이(100a)는 하나의 픽셀 그룹이 4개의 서브 픽셀들을 포함하는 경우(즉, N=4)를 나타낸다. 하나의 픽셀 그룹은 2개의 그린(green) 픽셀들, 1개의 레드(red) 픽셀 및 1개의 블루(blue) 픽셀을 포함한다. 2*2 매트릭스 형태로 배열된 제1 내지 제4 픽셀 그룹들(PG11~PG14)을 중심으로 도 2의 픽셀 어레이(100a)의 구조를 상세하게 설명하도록 한다.
제1 픽셀 그룹(PG11)은 2*2 매트릭스 형태로 배치되는 제1 및 제2 그린 픽셀들(G11, G12), 제1 레드 픽셀(R11) 및 제1 블루 픽셀(B11)을 포함하며, 이들에 의해 공유되는 제1 마이크로 렌즈(ML11)를 포함한다. 서브 픽셀들(G11, R11, B11, G12)은 GRBG의 패턴을 가지도록 배치될 수 있다.
제2 픽셀 그룹(PG12)은 2*2 매트릭스 형태로 배치되는 제2 레드 픽셀(R12), 제3 및 제4 그린 픽셀들(G13, G14) 및 제2 블루 픽셀(B12)을 포함하며, 이들에 의해 공유되는 제2 마이크로 렌즈(ML12)를 포함한다. 서브 픽셀들(R12, G13, G14, B12)은 RGGB의 패턴을 가지도록 배치될 수 있다.
제3 픽셀 그룹(PG13)은 2*2 매트릭스 형태로 배치되는 제3 블루 픽셀(B13), 제5 및 제6 그린 픽셀들(G15, G16) 및 제3 레드 픽셀(R13)을 포함하며, 이들에 의해 공유되는 제3 마이크로 렌즈(ML13)를 포함한다. 서브 픽셀들(B13, G15, G16, R13)은 BGGR의 패턴을 가지도록 배치될 수 있다.
제4 픽셀 그룹(PG14)은 2*2 매트릭스 형태로 배치되는 제7 및 제8 그린 픽셀들(G17, G18), 제4 블루 픽셀(B14) 및 제4 레드 픽셀(R14)을 포함하며, 이들에 의해 공유되는 제4 마이크로 렌즈(ML14)를 포함한다. 서브 픽셀들(G17, B14, R14, G18)은 GBRG의 패턴을 가지도록 배치될 수 있다.
각 마이크로 렌즈(예를 들어, ML11)의 중심은 각 픽셀 그룹(예를 들어, PG11)의 중심과 일치할 수 있으며, 각 픽셀 그룹 내의 서브 픽셀들(예를 들어, G11, R11, B11, G12)의 꼭지점들과 일치할 수 있다. 이 경우, 서브 픽셀들의 컬러 필터 패턴들의 크기가 커지므로, 미세 공정에 유리할 수 있다.
하나의 픽셀 그룹 내에서 2개의 그린 픽셀들은 서로 대각선으로 배치될 수 있다. 예를 들어, 픽셀 그룹들(PG11, PG14)에서 그린 픽셀들(G11, G12, G17, G18)은 제1 대각선 방향으로 배치되고, 픽셀 그룹들(PG12, PG13)에서 그린 픽셀들(G13, G14, G15, G16)은 상기 제1 대각선 방향과 다른 제2 대각선 방향으로 배치될 수 있다. 다시 말하면, 제1 픽셀 그룹(PG11) 내에서 제1 및 제2 그린 픽셀들(G11, G12)의 제1 배치는 제2 픽셀 그룹(PG12) 내에서 제3 및 제4 그린 픽셀들(G13, G14)의 제2 배치와 서로 다르고, 제3 픽셀 그룹(PG13) 내에서 제5 및 제6 그린 픽셀들(G15, G16)의 제3 배치는 상기 제2 배치와 동일하며, 제4 픽셀 그룹(PG14) 내에서 제7 및 제8 그린 픽셀들(G17, G18)의 제4 배치는 상기 제1 배치와 동일할 수 있다.
제1 내지 제4 픽셀 그룹들(PG11~PG14) 내에서 레드 픽셀들(R11, R12, R13, R14)의 위치는 모두 서로 다를 수 있다. 다시 말하면, 제1 픽셀 그룹(PG11) 내에서 제1 레드 픽셀(R11)의 제1 위치, 제2 픽셀 그룹(PG12) 내에서 제2 레드 픽셀(R12)의 제2 위치, 제3 픽셀 그룹(PG13) 내에서 제3 레드 픽셀(R13)의 제3 위치, 및 제4 픽셀 그룹(PG14) 내에서 제4 레드 픽셀(R14)의 제4 위치는 모두 서로 다를 수 있다. 예를 들어, 각 마이크로 렌즈의 중심을 기준으로, 상기 제1 위치는 1사분면이고, 상기 제2 위치는 2사분면이고, 상기 제3 위치는 4사분면이며, 상기 제4 위치는 3사분면일 수 있다.
이와 유사하게, 제1 내지 제4 픽셀 그룹들(PG11~PG14) 내에서 블루 픽셀들(B11, B12, B13, B14)의 위치는 모두 서로 다를 수 있다.
픽셀 그룹들(PG15~PG18)에 포함되는 서브 픽셀들(G21, G22, G23, G24, G25, G26, G27, G28, R21, R22, R23, R24, B21, B22, B23, B24) 및 마이크로 렌즈들(ML15, ML16, ML17, ML18)의 구조, 픽셀 그룹들(PG19~PG1C)에 포함되는 서브 픽셀들(G31, G32, G33, G34, G35, G36, G37, G38, R31, R32, R33, R34, B31, B32, B33, B34) 및 마이크로 렌즈들(ML19, ML1A, ML1B, ML1C)의 구조, 및 픽셀 그룹들(PG1D~PG1G)에 포함되는 서브 픽셀들(G41, G42, G43, G44, G45, G46, G47, G48, R41, R42, R43, R44, B41, B42, B43, B44) 및 마이크로 렌즈들(ML1D, ML1E, ML1F, ML1G)의 구조는 각각 상술한 제1 내지 제4 픽셀 그룹들(PG11~PG14)의 구조와 실질적으로 동일할 수 있다.
일 실시예에서, 서로 다른 픽셀 그룹들에 포함되는 제2, 제4, 제5 및 제7 그린 픽셀들(G12, G14, G15, G17)은 서로 인접하도록 배치될 수 있다. 이 경우, 픽셀 어레이(100a)를 포함하는 이미지 센서가 인접한 동일 컬러의 서브 픽셀들(G12, G14, G15, G17)의 신호들을 합하여 하나의 신호로 출력하는 동작 모드로 구동될 수 있다. 유사하게, 서로 다른 픽셀 그룹들에 포함되는 블루 픽셀들(B12, B21, B14, B23) 및 서로 다른 픽셀 그룹들에 포함되는 레드 픽셀들(R13, R14, R31, R32)은 각각 서로 인접하도록 배치될 수 있다.
요약하면, 픽셀 어레이(100a)는 하나의 마이크로 렌즈 아래에 4개의 서브 픽셀들로 구성된 픽셀 그룹들을 복수 개 포함하고, 각 서브 픽셀은 레드, 그린, 블루의 세 가지 중 하나의 컬러를 검출하며, 하나의 픽셀 그룹에는 레드 및 블루 픽셀이 각각 하나씩, 그린 픽셀이 2개씩 있고 서로 대각선으로 배치될 수 있다. 인접한 4개의 픽셀 그룹들을 비교하면 각 픽셀 그룹의 컬러 패턴은 모두 서로 다를 수 있다. 특히 마이크로 렌즈의 중심을 기준으로 하면, 레드 및 블루 픽셀은 1~4사분면에 각각 하나씩 존재하고, 그린 픽셀은 1~4사분면에 각각 2개씩 존재할 수 있다.
도 3a, 3b, 3c, 3d, 3e, 3f, 3g 및 3h는 도 2의 픽셀 어레이의 동작을 설명하기 위한 도면들이다.
도 3a는 렌즈의 초점 상태에 따른 점 광원의 이미지의 상태를 나타낸 것이다. 초점이 맞는 A 면에서는 점 광원의 영상이 하나의 점이 되고, 초점이 맞지 않는 B, C 면에서는 defocus 정도에 비례하는 지름을 가지는 원의 형태로 이미지가 형성된다.
도 3b는 도 3a의 A, B, C 각각의 면에서의 PSF(point spread function)의 단면을 나타낸 것으로, 초점이 맞는 A면에서의 PSF는 폭이 좁고 강도(intensity)가 강한 형태가 되고, B나 C면에서의 PSF는 폭이 넓고 강도가 약한 형태가 된다.
도 3c는 이미지 센서에서 초점 검출을 할 수 있는 dual pixel 이미지 센서의 개념도이다. 하나의 마이크로 렌즈 아래의 두 개의 서브 픽셀 L,R 이 존재하고, 각 서브 픽셀은 각각 결상 렌즈의 오른쪽 영역 통과하는 광선(실선)과 왼쪽 영역을 통과하는 광선(점선)을 검출 한다.
도 3d는 dual pixel 센서에서 초점 상태와 이미지를 검출하는 원리를 나타낸 그림이다. 도 3a의 A와 같이 초점이 맞는 상태에서 L 픽셀과 R 픽셀 모두 초점이 맞는 이미지를 검출하므로, L, R 각 픽셀에 의해 측정되는 PSF도 한 점의 형태로 모양과 크기가 같게 된다. 도 3a의 B와 같이 초점 앞쪽에 이미지 센서가 있는 경우에는 R 픽셀에서 검출되는 PSF는 왼쪽으로, L pixel에서 검출 되는 PSF는 오른쪽으로 치우치게 된다. 도 3a의 C와 같은 초점 상태에서는 B의 경우와 반대로 R 픽셀의 PSF가 오른쪽, L 픽셀의 PSF가 왼쪽으로 치우치게 된다. B나 C 상태에서 각 픽셀의 PSF가 멀어지는 정도는 영상의 defocus 정도에 비례하기 때문에, L 픽셀의 영상과 R 픽셀의 영상을 분석하여 현재의 초점 상태를 측정할 수 있다. 또한, 어떤 경우에도 L 과 R 픽셀에서 검출되는 PSF를 합하면, 도 3b의 PSF와 같은 모양이 된다. 즉, L 픽셀과 R 픽셀의 신호를 합하면 마이크로 렌즈 아래에 하나의 픽셀이 있는 image sensor 에서 얻는 것과 같은 영상을 얻을 수 있다.
도 3e는 dual pixel sensor에서 마이크로 렌즈의 중심과 서브 픽셀의 위치에 오차가 있을 경우에 대한 설명이다. 예를 들어, 마이크로 렌즈가 L 서브 픽셀 쪽으로 약간 치우쳐 있을 경우, L 픽셀에서 검출 되는 광량이 R 픽셀에서 검출 되는 광량보다 더 많게 된다. 따라서, 초점이 맞는 A 상태에서는 L 픽셀에서 검출되는 PSF와 R 픽셀에 의해 검출 되는 PSF는 모양은 서로 거의 유사하지만, L 픽셀의 PSF의 세기가 더 큰 상태가 된다. 영상에 defocus가 있는 B나 C 상태에서는 L 픽셀의 PSF의 폭이 R 픽셀의 PSF의 폭보다 더 크게 된다. 하지만 어느 경우에도 L 픽셀과 R 픽셀의 PSF를 합하면 마이크로 렌즈 아래에 하나의 픽셀이 존재하는 이미지 센서에서 검출되는 PSF를 얻을 수 있다.
도 3f는 하나의 마이크로 렌즈의 아래에 4개의 서브 픽셀이 있는 경우의 PSF에 대한 등고선 그림이다. PSF0는 마이크로 렌즈 아래에 하나의 픽셀이 있는 경우에 검출되는 PSF 이다. PSF 그림 중앙의 점은 광축 위치로 초점이 맞을 경우 PSF는 광축 위치에 모이게 된다. PSF1~PSF4는 각 sub 픽셀에서 검출되는 PSF의 형태를 나타낸 것이다. (점선은 PSF0를 나타낸 것이다.) 초점이 맞을 경우에는 각 sub 픽셀의 PSF는 광축 위치에 모이게 되지만, 초점이 맞지 않는 경우에는 광축을 중심으로 각 sub PSF의 중심이 서로 멀어지게 되며, 각 PSF가 멀어지는 정도는 광학계의 defocus 정도에 비례 한다. Dual pixel 센서와 마찬가지로 일반적인 경우에는 PSF0 = PSF1 + PSF2 + PSF3 + PSF4 의 관계가 성립된다. 특히 초점이 정확히 맞을 때, 마이크로 렌즈와 sub 픽셀 그룹 간에 shift가 있을 경우에는 PSF1 = PSF2 = PSF3 = PSF4 = 1/4 * PSF의 관계가 성립하지만, 실제로는 센서 제작 공차에 의해 sub PSF들의 크기는 조금씩 다르게 되어 α*PSF1 = β*PSF2 = γ*PSF3 = δ*PSF4 = PSF0 의 관계가 성립한다.
도 3g, 3h는 도 2의 픽셀 어레이에서 초점이 맞을 경우에 대한 설명을 위한 그림이다.
도 3g 및 3h를 참조하면, OBJ는 피사체, LE는 이미지 센서를 포함하는 영상 촬상 장치(예를 들어, 카메라)의 렌즈, ML은 마이크로 렌즈, CF는 컬러 필터, PD는 광전 변환 소자(예를 들어, 포토 다이오드)를 각각 나타낸다. 도시의 편의상, 도 3g 및 3h에서는 2개의 컬러 필터의 하부에 하나의 광전 변환 소자가 형성되는 것으로 도시하였으나, 실제로는 하나의 컬러 필터의 하부에 하나의 광전 변환 소자가 형성될 수 있다.
도 3g 및 3h는 피사체(OBJ)에 대한 초점이 맞았을 때를 나타내며, 마이크로 렌즈(ML)를 공유하는 서브 픽셀들은 피사체(OBJ) 면의 동일한 지점의 영상을 검출할 수 있다. 하나의 마이크로 렌즈(ML) 아래에 서로 다른 컬러(R, G, B)를 검출하는 서브 픽셀들이 배치되므로, 피사체 상의 한 점에서 서로 다른 컬러의 신호들을 동시에 얻을 수 있다. 또한, 본 발명의 실시예들에서, 같은 컬러를 검출하는 서브 픽셀들이 마이크로 렌즈(ML)의 중심을 기준으로 모두 같은 방향에 위치하지 않고, 서로 인접한 픽셀 그룹에서 동일한 컬러를 검출하는 서브 픽셀들은 서로 다른 방향에 위치할 수 있다.
도 3g에서 OBJ의 초점이 맞는 pixel 그룹에 포함 되는 sub pixel들의 PSF는 피사체의 같은 OBJ 위치에 대응되기 때문에, 해당 pixel 그룹에서 OBJ 위치의 R,G,B 신호를 동시에 취득할 수 있다. 예를 들어 pixel 그룹에 포함되는 R sub pixel의 신호를 R1, 마이크로 렌즈 아래에 하나의 R pixel로 구성된 센서에서 얻을 수 있는 신호를 R0 라고 하면, α*R1 = R0 의 관계가 성립한다. 마찬가지로 두 G sub pixel의 신호를 G1, G2라고 하고, 나누어지지 않은 하나의 G pixel 이 있을 경우 얻어지는 신호를 G0라고 하면, k*(G1+G2) = G0 의 관계가 성립한다. 즉 초점이 맞는 경우에서는 각 R,G,B sub pixel에서 얻어지는 신호에 적당한 이득을 곱하여 OBJ 위치에 대응되는 R,G,B 값을 얻을 수 있다.
도 3h는 초점이 맞는 상태에서 각 pixel 그룹이 피사체 면에서 신호를 검출하는 위치를 나타낸 것으로, 각 pixel 그룹은 피사체 면에서 다른 지점의 RGB 신호를 검출한다.
도 2의 이미지 센서에서 광학계의 초점이 맞지 않는 상태에서는 추가적인 신호 처리가 필요한데, 이에 대한 설명은 도 4 이후에 후술하도록 한다.
도 4는 본 발명의 실시예들에 따른 이미지 센서의 픽셀 어레이를 이용한 영상 처리 방법을 나타내는 순서도이다.
도 4를 참조하면, 본 발명의 실시예들에 따른 픽셀 어레이의 영상 처리 방법에서, 먼저 그린 픽셀들을 이용하여 그린 영상을 발생한다(단계 S100). 도 2를 참조하여 상술한 것처럼 픽셀 어레이(100a)에 포함되는 그린 픽셀들의 개수가 다른 레드 픽셀들 또는 블루 픽셀들의 개수보다 많으며, 일반적으로 영상 처리 시에 그린 성분 또는 그린 신호가 우세한(dominant) 성분이므로, 다른 영상들보다 먼저 상기 그린 영상을 발생할 수 있다.
상기 그린 영상 및 레드 픽셀들을 이용하여 레드 영상을 발생하고(단계 S200), 상기 그린 영상 및 블루 픽셀들을 이용하여 블루 영상을 발생한다(단계 S300). 상기 그린 영상은 상기 레드 영상 및 상기 블루 영상을 발생하기 위한 참조 영상으로 이용될 수 있다.
도 4에서는 상기 레드 영상이 상기 블루 영상보다 먼저 발생되는 것처럼 도시하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 상기 블루 영상이 상기 레드 영상보다 먼저 발생되거나 상기 레드 영상과 상기 블루 영상이 실질적으로 동시에 발생될 수도 있다.
상기 그린, 레드 및 블루 영상이 모두 획득된 이후에, 상기 그린 영상, 상기 레드 영상 및 상기 블루 영상을 이용하여(예를 들어, 합성하여) 출력 영상을 발생한다(단계 S400). 상기 출력 영상이 이미지 센서의 픽셀 어레이로부터 획득되는 하나의 프레임 영상에 대응하며, 본 발명의 실시예들에서 해상도 감소 없이 상기 출력 영상을 획득할 수 있다.
도 5는 도 4의 그린 영상, 레드 영상 및 블루 영상을 획득하는 단계의 구체적인 일 예를 나타내는 순서도이다.
도 4 및 5를 참조하면, 상기 그린 영상을 발생하거나(단계 S100), 상기 레드 영상을 발생하거나(단계 S200), 상기 블루 영상을 발생하는데 있어서(단계 S300), 먼저 복수의 서브 픽셀들을 이용하여 복수의 부분 영상들을 획득하고(단계 S510), 상기 복수의 부분 영상들에 대한 보간(interpolation) 동작(또는 디모자이크(demosaic) 동작)을 수행하여 복수의 보간 영상들을 획득할 수 있다(단계 S520). 상기 그린 영상에 대한 그린 부분 영상들 및 그린 보간 영상들은 상기 레드/블루 영상에 대한 레드/블루 부분 영상들 및 레드/블루 보간 영상들과 상이할 수 있으며, 이에 대해서는 도 6 및 10을 참조하여 후술하도록 한다.
상기 복수의 보간 영상들을 합하여 제1 합성 영상을 획득할 수 있다(단계 S530). 예를 들어, 상기 복수의 보간 영상들을 가중치 없이 동일한 조건으로 합성 또는 병합하여 상기 제1 합성 영상을 획득할 수 있다. 상기 제1 합성 영상을 상기 그린, 레드 또는 블루 영상으로 출력할 수 있다.
도 6a, 6b, 6c, 6d 및 6e는 도 4 및 5의 영상 처리 방법을 설명하기 위한 도면들이다. 도 6a, 6b, 6c, 6d 및 6e는 그린 픽셀들을 이용하여 그린 영상을 발생하는 일 예를 나타내고 있다.
도 6a 및 6b를 참조하면, 픽셀 어레이(100a)에 포함된 그린 픽셀들(G11~G18, G21~G28, G31~G38, G41~G48)을 이용하여 그린 로우(raw) 영상(RG_IMG)을 획득할 수 있다.
구체적으로, 제1 픽셀 그룹(PG11) 내에서 상기 제1 대각선 방향으로 배치된 제1 및 제2 그린 픽셀들(G11, G12)을 합하여(예를 들어, 제1 및 제2 그린 픽셀들(G11, G12)의 신호들을 더하고 2로 나누어) 하나의 제1 그린 신호(GB11)를 발생할 수 있다. 제2 픽셀 그룹(PG12) 내에서 상기 제2 대각선 방향으로 배치된 제3 및 제4 그린 픽셀들(G13, G14)을 합하여 하나의 제2 그린 신호(GS12)를 발생할 수 있다. 제3 픽셀 그룹(PG13) 내에서 상기 제2 대각선 방향으로 배치된 제5 및 제6 그린 픽셀들(G15, G16)을 합하여 하나의 제3 그린 신호(GS13)를 발생할 수 있다. 제4 픽셀 그룹(PG14) 내에서 상기 제1 대각선 방향으로 배치된 제7 및 제8 그린 픽셀들(G17, G18)을 합하여 하나의 제4 그린 신호(GB14)를 발생할 수 있다.
이와 유사하게, 그린 픽셀들(G21~G28, G31~G38, G41~G48) 중 동일한 픽셀 그룹에 포함되는 두 개의 그린 픽셀들을 이용하여 픽셀 그룹(PG15~PG1G)에 대한 그린 신호들(GB21, GS22, GS23, GB24, GB31, GS32, GS33, GB34, GB41, GS42, GS43, GB44)을 발생할 수 있다.
도 6b에서, "GB"로 표기된 그린 신호는 그린 픽셀들(G11, G12)과 같이 제1 방식으로 배치된(즉, 상기 제1 대각선 방향으로 배치된) 그린 픽셀들을 이용하여 발생된 신호를 나타내고, "GS"로 표기된 그린 신호는 그린 픽셀들(G13, G14)과 같이 상기 제1 방식과 다른 제2 방식으로 배치된(즉, 상기 제2 대각선 방향으로 배치된) 그린 픽셀들을 이용하여 발생된 신호를 나타낸다.
도 6b 및 6c를 참조하면, 그린 로우 영상(RG_IMG)을 분리하여 제1 및 제2 그린 부분 영상들(PG_IMG1, PG_IMG2)을 획득할 수 있다.
구체적으로, 그린 로우 영상(RG_IMG) 내에서 상기 제1 방식으로 배치된 그린 픽셀들을 이용하여 발생된 그린 신호들(GB11, GB14, GB21, GB24, GB31, GB34, GB41, GB44)과 상기 제2 방식으로 배치된 그린 픽셀들을 이용하여 발생된 그린 신호들(GS12, GS13, GS22, GS23, GS32, GS33, GS42, GS43)은 개수는 같고 서로 다른 위치에 존재할 수 있다. 따라서, 그린 신호들(GB11, GB14, GB21, GB24, GB31, GB34, GB41, GB44)만을 포함하는 제1 그린 부분 영상(PG_IMG1)을 획득하고, 이 때 제1 그린 부분 영상(PG_IMG1) 내에서 그린 신호들(GB11, GB14, GB21, GB24, GB31, GB34, GB41, GB44)의 위치들을 제외한 나머지 위치들은 비어 있을 수 있다. 이와 유사하게, 그린 신호들(GS12, GS13, GS22, GS23, GS32, GS33, GS42, GS43)만을 포함하는 제2 그린 부분 영상(PG_IMG2)을 획득할 수 있다. 이때 PG_IMG1은 도 3f에서 PSF1+PSF4 의 특성을 가지는 그린 영상이 되고, PG_IMG2는 도 3f의 PSF2+PSF3 의 특성을 가지는 영상이 된다.
도 6c 및 6d를 참조하면, 제1 및 제2 그린 부분 영상들(PG_IMG1, PG_IMG2)에 대한 보간 동작을 수행하여 제1 및 제2 그린 보간 영상들(IG_IMG1, IG_IMG2)을 발생할 수 있다.
구체적으로, 그린 신호들(GB11, GB14, GB21, GB24, GB31, GB34, GB41, GB44)을 기초로 다양한 방식의 보간 알고리즘들 중 적어도 하나를 수행하여 그린 보간 신호들(gb12, gb13, gb22, gb23, gb32, gb33, gb42, gb43)을 발생할 수 있다. 이와 유사하게, 그린 신호들(GS12, GS13, GS22, GS23, GS32, GS33, GS42, GS43)을 기초로 보간 알고리즘을 수행하여 그린 보간 신호들(gs11, gs14, gs21, gs24, gs31, gs34, gs41, gs44)을 발생할 수 있다.
도 6d에서, "GB" 및 "GS"와 같이 대문자로 표기된 그린 신호는 그린 로우 영상(RG_IMG)에서 추출된 신호를 나타내고, "gb" 및 "gs"와 같이 소문자로 표기된 그린 신호는 보간 동작에 의해 발생된 신호를 나타낸다.
일 실시예에서, 제1 그린 부분 영상(PG_IMG1)에 대한 보간 동작을 수행하여 제1 그린 보간 영상(IG_IMG1)을 발생하는데 제1 그린 부분 영상(PG_IMG1)만이 참조될 수 있다. 예를 들어, 그린 신호들(GB11, GB14, GB21, GB24, GB31, GB34, GB41, GB44)만을 이용하여 그린 보간 신호들(gb12, gb13, gb22, gb23, gb32, gb33, gb42, gb43)을 발생할 수 있다. 이와 유사하게, 제2 그린 보간 영상(IG_IMG2)을 발생하는데 제2 그린 부분 영상(PG_IMG2)만이 참조될 수 있다.
다른 실시예에서, 제1 그린 부분 영상(PG_IMG1)에 대한 보간 동작을 수행하여 제1 그린 보간 영상(IG_IMG1)을 발생하는데 제2 그린 부분 영상(PG_IMG2)이 추가로 참조될 수 있다. 예를 들어, 그린 신호들(GB11, GB14, GB21, GB24, GB31, GB34, GB41, GB44) 및 그린 신호들(GS12, GS13, GS22, GS23, GS32, GS33, GS42, GS43)을 이용하여 그린 보간 신호들(gb12, gb13, gb22, gb23, gb32, gb33, gb42, gb43)을 발생할 수 있다. 이와 유사하게, 제2 그린 보간 영상(IG_IMG2)을 발생하는데 제1 그린 부분 영상(PG_IMG1)이 추가로 참조될 수 있다. 서로 같은 컬러 정보를 포함하므로, 일반적인 보간 방식에서 상대 영상을 참조하는 것이 용이하며, 초점이 맞는 영상일 경우 두 영상 신호는 거의 같은 신호가 될 수 있다.
제1 보간 영상(IG_IMG1)은 이미지 센서의 모든 pixel PSF가 도 3f의 PSF1+PSF4의 특성을 가지는 그린 영상이 되고, 제2 보간 영상(PG_IMG2)은 모든 pixel의 PSF가 도 3f의 PSF2+PSF3 의 특성을 가지는 영상이 된다.
도 6d 및 6e를 참조하면, 제1 및 제2 그린 보간 영상들(IG_IMG1, IG_IMG2)을 합하여 제1 그린 합성 영상(TG_IMG1)을 발생할 수 있다.
구체적으로, 동일한 위치의 그린 신호들(GB11, gs11)을 더하고 2로 나누어(즉, 가중치 없이 합하여) 그린 합성 신호(GT11)를 발생할 수 있다. 이와 유사하게, 동일한 위치의 그린 신호들을 합하여 그린 합성 신호들(GT12, GT13, GT14, GT21, GT22, GT23, GT24, GT31, GT32, GT33, GT34, GT41, GT42, GT43, GT44)을 발생할 수 있다.
제1 그린 합성 영상(TG_IMG1)을 상기 그린 영상으로 출력할 수 있다. 이 때, 상기 그린 영상은 도 3f의 PSF1 + PSF2 + PSF3 + PSF4 의 PSF 특성을 가지게 되므로, 즉 모든 서브 픽셀들이 그린 픽셀인 이미지 센서로부터 획득된 영상과 실질적으로 동일한 영상일 수 있다. 또한, 도 6a 내지 6e를 참조하여 상술한 방식에 따라 상기 그린 영상을 획득하는 경우에, 초점이 맞지 않는 경우에도 이를 자동으로 보정하여 정상적인 그린 영상을 효과적으로 획득할 수 있다.
도 7은 도 4의 그린 영상, 레드 영상 및 블루 영상을 획득하는 단계의 구체적인 다른 예를 나타내는 순서도이다. 이하 도 5와 중복되는 설명은 생략한다.
도 4 및 7을 참조하면, 단계 S510, S520 및 S530은 도 5의 S510, S520 및 S530과 각각 실질적으로 동일할 수 있다.
상기 복수의 서브 픽셀들을 이용하여 획득된 복수의 신호들 각각에 이득 보정 값을 곱하여 이득 보정된 신호들을 포함하는 보정 영상을 획득할 수 있다(단계 S540). 상기 이득 보정 값은 서브 픽셀마다 및/또는 픽셀 그룹마다 상이할 수 있으며, 도 9를 참조하여 후술하도록 한다.
상기 제1 합성 영상 및 상기 보정 영상에 기초하여 제2 합성 영상을 발생할 수 있다(단계 S550). 예를 들어, 상기 제1 합성 영상에 제1 가중치를 부여하고, 상기 보정 영상에 제2 가중치를 부여하며, 상기 제1 가중치가 부여된 상기 제1 합성 영상과 상기 제2 가중치가 부여된 상기 보정 영상을 합하여 상기 제2 합성 영상을 발생할 수 있다. 상기 제2 합성 영상을 상기 그린, 레드 또는 블루 영상으로 출력할 수 있다.
도 8a, 8b, 8c, 9a 및 9b는 도 4 및 7의 영상 처리 방법을 설명하기 위한 도면들이다. 도 8a, 8b 및 8c는 LSF(line spread function)을 이용하여 영상 처리의 개념을 설명하기 위한 도면들이다. 도 9a 및 9b는 그린 픽셀들을 이용하여 그린 영상을 발생하는 다른 예를 나타내고 있다.
도 8a를 참조하면, 일반적인 defocus 상태의 LSF를 나타내며, 동일한 마이크로 렌즈 아래에 있는 서브 픽셀들의 신호들의 합은 도 8a에 도시된 것과 같은 일반적인 LSF 특성을 가질 수 있다.
도 8b를 참조하면, 동일한 마이크로 렌즈 아래에 있는 서브 픽셀들 중 좌측의 서브 픽셀의 신호(LS)와 우측의 서브 픽셀의 신호(RS)에 대한 LSF를 나타낸다. defocus 상태에 따라서 좌측의 서브 픽셀과 우측의 서브 픽셀은 전체 LSF 중 일부 영역만을 검출하며, 두 서브 픽셀들의 LSF를 합하여 도 8a의 전체 LSF를 만들 수 있다.
도 8c를 참조하면, 도 8b와 유사하게 동일한 마이크로 렌즈 아래에 있는 서브 픽셀들 중 좌측의 서브 픽셀의 신호(LS')와 우측의 서브 픽셀의 신호(RS')에 대한 LSF를 나타낸다. 도 8b에서는 마이크로 렌즈의 중심과 서브 픽셀들의 위치(예를 들어, 서브 픽셀들의 꼭지점들 및/또는 픽셀 그룹의 중심)가 오차 없이 일치하므로, 좌측의 서브 픽셀과 우측의 서브 픽셀의 LSF가 대칭이지만, 도 8c에서는 마이크로 렌즈의 중심과 서브 픽셀들의 위치 사이에 오차가 존재하므로(즉, 마이크로 렌즈의 위치가 틀어지거나 마이크로 렌즈가 쉬프트되어 있으므로), 좌측의 서브 픽셀과 우측의 서브 픽셀의 LSF가 대칭이 되지 못하고 한 쪽 서브 픽셀(예를 들어, 도 8c에서는 좌측의 서브 픽셀)에서 검출되는 빛의 양이 더 많아질 수 있다.
도시의 편의상 도 8b 및 8c에서는 좌/우측의 2개의 서브 픽셀들에 대한 경우를 예시하였으나, 도 2 와 같이 하나의 마이크로 렌즈가 4개의 서브 픽셀들에 의해 공유되는 경우에도 유사하게 적용될 수 있다.
상술한 마이크로 렌즈의 쉬프트에 의한 오차를 보상하기 위해, 도 7의 단계 S540 및 S550을 참조하여 상술한 것처럼 보정 영상을 추가로 이용할 수 있다.
도 6b 및 9a를 참조하면, 그린 로우 영상(RG_IMG)에 이득 보정 값들을 적용하여 그린 보정 영상(CG_IMG)을 획득할 수 있다.
구체적으로, 그린 신호(GB11)에 이득 보정 값(11)을 곱하여 그린 보정 신호(GB11')를 발생하고, 이와 유사하게, 그린 신호들(GS12, GS13, GB14, GB21, GS22, GS23, GB24, GB31, GS32, GS33, GB34, GB41, GS42, GS43, GB44)에 이득 보정 값들(β12, β13, 14, 21, β22, β23, 24, 31, β32, β33, 34, 41, β42, β43, 44)을 곱하여 그린 보정 신호들(GS12', GS13', GB14', GB21', GS22', GS23', GB24', GB31', GS32', GS33', GB34', GB41', GS42', GS43', GB44')을 발생할 수 있다.
일 실시예에서, 픽셀 어레이의 제조 과정에서 테스트를 통해 각 마이크로 렌즈의 쉬프트 정도를 알아낼 수 있고, 이를 기초로 이득 보정 값들(11, β12, β13, 14, 21, β22, β23, 24, 31, β32, β33, 34, 41, β42, β43, 44)을 미리 설정하여 저장할 수 있다.
도 9a에서 서로 다른 문자인 "α" 및 "β"로 표기된 것처럼, 상기 이득 보정 값은 "GB" 신호 및 "GS" 신호에 대해 다르게 설정할 수 있다. 또한, 도 9a에서는 상기 이득 보정 값이 픽셀 그룹마다 다르게 설정된 것으로 도시하였으나, 상기 이득 보정 값은 서브 픽셀마다 다르게 설정될 수도 있다.
도 6e, 9a 및 9b를 참조하면, 제1 그린 합성 영상(TG_IMG1) 및 그린 보정 영상(CG_IMG)에 각각 상기 제1 및 제2 가중치들을 부여하고 이를 합하여 제2 그린 합성 영상(TG_IMG2)을 발생할 수 있다.
구체적으로, 동일한 위치의 그린 합성 신호(GT11) 및 그린 보정 신호(GB11')에 제1 및 제2 가중치들(A, 1-A)을 각각 부여하고, 이를 합하여 그린 합성 신호(GT11')를 발생할 수 있다(즉, GT11'=A*GT11+(1-A)*GB11'). 이와 유사하게, 동일한 위치의 그린 합성 신호들(GT12, GT13, GT14, GT21, GT22, GT23, GT24, GT31, GT32, GT33, GT34, GT41, GT42, GT43, GT44) 및 그린 보정 영상(CG_IMG) 내의 그린 보정 신호들(GS12', GS13', GB14', GB21', GS22', GS23', GB24', GB31', GS32', GS33', GB34', GB41', GS42', GS43', GB44')에 각각 제1 및 제2 가중치들(A, 1-A)을 부여하고 이를 합하여 그린 합성 신호들(GT12', GT13', GT14', GT21', GT22', GT23', GT24', GT31', GT32', GT33', GT34', GT41', GT42', GT43', GT44')을 발생할 수 있다. 제1 및 제2 가중치들(A, 1-A)은 모든 신호들에 대해 동일하게 또는 다르게 적용될 수 있다.
일 실시예에서, 제1 및 제2 가중치들(A, 1-A)은 제1 그린 합성 영상(TG_IMG1)의 분석 결과, 그린 보정 영상(CG_IMG)의 분석 결과, 자동 초점 조절(auto focusing)의 결과, 영상의 주파수 범위 등과 같은 다양한 파라미터 및/또는 팩터들 중 적어도 하나에 기초하여 결정될 수 있다.
도 9a의 그린 보정 영상(CG_IMG)은 도 3의 설명에서 전술한 바와 같이 영상의 초점이 맞는 영역에서 전체 픽셀이 그린 검출인 이미지 센서의 영상과 동일하게 되고, 도 6e의 그린 합성 영상(TG_IMG1) 은 초점이 맞지 않는 영역에서도 정확한 그린 영상을 얻을 수 있으나 초점이 정확히 맞은 고주파 영상에서는 보간 알고리즘의 한계로 인한 에러가 발생 할 수 있다. 따라서 상기 제1 및 제2의 가중치를 구하는 A 값은 영상의 초점이 정확한 영역에서는 0에 가깝고, 초점이 맞지 않는 영역에서는 1에 가깝게 결정하는 것이 바람직하다.
제2 그린 합성 영상(TG_IMG2)을 상기 그린 영상으로 출력할 수 있다. 도 6a 내지 6e, 9a 및 9b를 참조하여 상술한 방식에 따라 상기 그린 영상을 획득하는 경우에, 초점이 맞지 않는 경우뿐만 아니라 마이크로 렌즈의 쉬프트에 의한 오차가 존재하는 경우에도 이를 자동으로 보정하여 정상적인 그린 영상을 효과적으로 획득할 수 있다.
도 10a, 10b, 10c, 10d 및 10e는 도 4 및 5의 영상 처리 방법을 설명하기 위한 도면들이다. 도 10a, 10b, 10c, 10d 및 10e는 레드 픽셀들을 이용하여 레드 영상을 발생하는 일 예를 나타내고 있다. 상술한 것처럼, 상기 그린 영상을 발생하는 과정과 상기 레드 영상을 발생하는 과정은 일부 상이하며, 이에 따라 차이점을 중심으로 설명하도록 한다.
도 10a 및 10b를 참조하면, 픽셀 어레이(100a)에 포함된 레드 픽셀들(R11~R14, R21~R24, R31~R34, R41~R44)을 이용하여 레드 로우 영상(RR_IMG)을 획득할 수 있다.
구체적으로, 1사분면에 배치된 제1 레드 픽셀(R11)의 제1 레드 신호(R11Q1), 2사분면에 배치된 제2 레드 픽셀(R12)의 제2 레드 신호(R12Q2), 4사분면에 배치된 제3 레드 픽셀(R13)의 제3 레드 신호(R13Q4), 및 3사분면에 배치된 제4 레드 픽셀(R14)의 제4 레드 신호(R14Q3)를 획득할 수 있다. 이와 유사하게, 레드 픽셀들(R21~R24, R31~R34, R41~R44)의 레드 신호들(R21Q1, R22Q2, R23Q4, R24Q3, R31Q1, R32Q2, R33Q4, R34Q3, R41Q1, R42Q2, R43Q4, R44Q3)을 획득할 수 있다.
도 10b에서, 각 레드 신호의 마지막에 표기된 "1Q", "2Q", "3Q", "4Q"는 각 레드 픽셀이 1사분면, 2사분면, 3사분면, 4사분면에 배치됨을 각각 나타낸다.
도 10b 및 10c를 참조하면, 레드 로우 영상(RR_IMG)을 분리하여 제1, 제2, 제3 및 제4 레드 부분 영상들(PR_IMG1, PR_IMG2, PR_IMG3, PR_IMG4)을 획득할 수 있다.
구체적으로, 1사분면에 배치된 레드 픽셀들(R11, R21, R31, R41)의 레드 신호들(R11Q1, R21Q1, R31Q1, R41Q1)만을 포함하는 제1 레드 부분 영상(PR_IMG1)을 획득하고, 이 때 제1 레드 부분 영상(PR_IMG1)에서 레드 신호들(R11Q1, R21Q1, R31Q1, R41Q1)의 위치들을 제외한 나머지 위치들은 비어 있을 수 있다. 이와 유사하게, 2사분면에 배치된 레드 픽셀들(R12, R22, R32, R42)의 레드 신호들(R12Q2, R22Q2, R32Q2, R42Q2)만을 포함하는 제2 레드 부분 영상(PR_IMG2)을 획득하고, 4사분면에 배치된 레드 픽셀들(R13, R23, R33, R43)의 레드 신호들(R13Q4, R23Q4, R33Q4, R43Q4)만을 포함하는 제3 레드 부분 영상(PR_IMG3)을 획득하며, 3사분면에 배치된 레드 픽셀들(R14, R24, R34, R44)의 레드 신호들(R14Q3, R24Q3, R34Q3, R44Q3)만을 포함하는 제4 레드 부분 영상(PR_IMG4)을 획득할 수 있다.
도 10c 및 10d를 참조하면, 상기 그린 영상을 기초로 제1, 제2, 제3 및 제4 레드 부분 영상들(PR_IMG1, PR_IMG2, PR_IMG3, PR_IMG4)에 대한 보간 동작을 수행하여 제1, 제2, 제3 및 제4 레드 보간 영상들(IR_IMG1, IR_IMG2, IR_IMG3, IR_IMG4)을 발생할 수 있다.
구체적으로, 상기 그린 영상 및 레드 신호들(R11Q1, R21Q1, R31Q1, R41Q1)을 기초로 보간 알고리즘을 수행하여 레드 보간 신호들(r12q1, r13q1, r14q1, r22q1, r23q1, r24q1, r32q1, r33q1, r34q1, r42q1, r43q1, r44q1)을 발생할 수 있다. 제1 레드 부분 영상(PR_IMG1) 내에는 비어 있는 부분이 많으므로, 보간 동작을 위해 상기 그린 영상이 참조될 수 있다. 이와 유사하게, 상기 그린 영상 및 레드 신호들(R12Q2, R22Q2, R32Q2, R42Q2)을 기초로 보간 알고리즘을 수행하여 레드 보간 신호들(r11q2, r13q2, r14q2, r21q2, r23q2, r24q2, r31q2, r33q2, r34q2, r41q2, r43q2, r44q2)을 발생하고, 상기 그린 영상 및 레드 신호들(R13Q4, R23Q4, R33Q4, R43Q4)을 기초로 보간 알고리즘을 수행하여 레드 보간 신호들(r11q4, r12q4, r14q4, r21q4, r22q4, r24q4, r31q4, r32q4, r34q4, r41q4, r42q4, r44q4)을 발생하며, 상기 그린 영상 및 레드 신호들(R14Q3, R24Q3, R34Q3, R44Q3)을 기초로 보간 알고리즘을 수행하여 레드 보간 신호들(r11q3, r12q3, r13q3, r21q3, r22q3, r23q3, r31q3, r32q3, r33q3, r41q3, r42q3, r43q3)을 발생할 수 있다.
일 실시예에서, 제1 레드 보간 영상(IR_IMG1)을 발생하는데 상기 그린 영상 및 제1 레드 부분 영상(PR_IMG1)만이 참조될 수 있다. 다른 실시예에서, 제1 레드 보간 영상(IR_IMG1)을 발생하는데 제2, 제3 및 제4 레드 보간 영상들(IR_IMG2, IR_IMG3, IR_IMG4) 중 적어도 하나가 추가로 참조될 수 있다.
도 10d 및 10e를 참조하면, 제1, 제2, 제3 및 제4 레드 보간 영상들(IR_IMG1, IR_IMG2, IR_IMG3, IR_IMG4)을 합하여 제1 레드 합성 영상(TR_IMG1)을 발생할 수 있다. 제1 레드 합성 영상(TR_IMG1)을 상기 레드 영상으로 출력할 수 있다.
구체적으로, 동일한 위치의 레드 신호들(R11Q1, r11q2, r11q4, r11q3)을 더하고 4로 나누어(즉, 가중치 없이 합하여) 레드 합성 신호(RT11)를 발생할 수 있다. 이와 유사하게, 동일한 위치의 레드 신호들을 합하여 레드 합성 신호들(RT12, RT13, RT14, RT21, RT22, RT23, RT24, RT31, RT32, RT33, RT34, RT41, RT42, RT43, RT44)을 발생할 수 있다.
한편 도시하지는 않았으나, 도 7 및 9를 참조하여 상술한 것처럼 레드 보정 영상을 획득하고, 제1 레드 합성 영상(TR_IMG1) 및 상기 레드 보정 영상에 기초하여 제2 레드 합성 영상을 발생하며, 상기 제2 레드 합성 영상을 상기 레드 영상으로 출력할 수도 있다. 또한 도시하지는 않았으나, 상기 블루 영상은 상기 레드 영상과 동일한 방식으로 발생될 수 있다.
도 2의 픽셀 어레이를 가지는 이미지 센서에서 초점 검출을 위한 영상을 만들 수 있다. 예를 들어 상기 도 2의 인접한 복수 개의 픽셀 그룹에서 마이크로 렌즈의 중심을 기준으로 왼쪽 편에 있는 픽셀들의 신호를 특정 규칙으로 모두 합하여 L 신호를 만들 수 있고, 마이크로 렌즈 중심을 기준으로 왼쪽에 있는 픽셀들의 신호를 특정 규칙으로 모두 합하여 R 신호를 만들 수 있다. 이렇게 만들어진 L과 R 신호 간의 위상 차이를 측정하여 영상의 초점 정도를 검출할 수 있다. L 과 R 신호를 생성할 때 각 픽셀들을 합하는 규칙은 단순한 덧셈이나, 픽셀의 컬러 별로 가중치를 다르게 주는 방법, 픽셀의 위치에 따른 가중치를 주는 방법 등이 가능하다. 예를 들어 인접한 4개의 픽셀 그룹 PG11, PG12, PG13, PG14 에서 왼쪽의 픽셀 G11, G11, R12, G14, B13, G16, G17, R14를 모두 더하여 L 신호를 만들고, 오른쪽의 픽셀 R11, G12, G13, B12, G15, R13, B14, G18 을 모두 더하여 R 신호를 만들 수 있다. 또 마찬가지의 방법으로 마이크로 렌즈 중심의 위쪽에 있는 픽셀들과 마이크로 렌즈 중심의 아래쪽에 있는 픽셀들의 신호를 각각 모두 합하여 top 신호와 bottom 신호를 생성하고 두 신호 간의 위상차를 측정하여 초점 상태를 검출할 수 있다.
도 2의 픽셀 어레이를 가지는 이미지 센서에서 저전력, 높은 frame rate를 위해 인접한 4개의 같은 color의 신호를 합하여 이미지를 출력하는 것도 가능하다. 즉 G12, G14, G15, G17을 합하여 하나의 G 신호를 출력하고, 마찬가지의 방법으로 B12, B21, B14, B23을 더하고, R13, R14, R32, R32를 더하여 B와 R 신호를 출력 할 수 있다. 같은 방법으로 이미지 센서의 전 영역의 픽셀 신호를 읽으면 해상도가 1/4 인 Bayer format의 영상을 얻을 수 있다. 픽셀을 더하는 동작은 아날로그 회로 혹은 디지털 회로를 사용하여 수행할 수 있다.
도 11은 도 1의 이미지 센서의 픽셀 어레이의 다른 예를 나타내는 평면도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 11을 참조하면, 이미지 센서의 픽셀 어레이(100b)는 복수의 픽셀 그룹들(PG21, PG22, PG23, PG24, PG25, PG26, PG27, PG28, PG29, PG2A, PG2B, PG2C, PG2D, PG2E, PG2F, PG2G)을 포함한다.
복수의 픽셀 그룹들(PG21~PG2G)은 복수의 그린 픽셀들(G11', G12', G13', G14', G21', G22', G23', G24', G31', G32', G33', G34', G41', G42', G43', G44'), 복수의 레드 픽셀들(R11~R14, R21~R24, R31~R34, R41~R44), 복수의 블루 픽셀들(B11~B14, B21~B24, B31~B34, B41~B44), 복수의 화이트(white) 픽셀들(W11, W12, W13, W14, W21, W22, W23, W24, W31, W32, W33, W34, W41, W42, W43, W44) 및 복수의 마이크로 렌즈들(ML21, ML22, ML23, ML24, ML25, ML26, ML27, ML28, ML29, ML2A, ML2B, ML2C, ML2D, ML2E, ML2F, ML2G)을 포함할 수 있다.
일부 그린 픽셀들(예를 들어, 도 2의 G12, G14, G15, G17)이 화이트 픽셀들(예를 들어, 도 11의 W11, W12, W13, W14)로 대체되는 것을 제외하면, 도 11의 픽셀 어레이(100b)는 도 2의 픽셀 어레이(100a)와 실질적으로 동일할 수 있다.
도 12는 도 1의 이미지 센서의 픽셀 어레이의 또 다른 예를 나타내는 평면도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 12를 참조하면, 이미지 센서의 픽셀 어레이(100c)는 복수의 픽셀 그룹들(PG31, PG32, PG33, PG34, PG35, PG36, PG37, PG38, PG39, PG3A, PG3B, PG3C, PG3D, PG3E, PG3F, PG3G)을 포함한다.
도 12의 픽셀 어레이(100c)는 하나의 픽셀 그룹이 2개의 서브 픽셀들을 포함하는 경우(즉, N=2)를 나타낸다. 하나의 픽셀 그룹은 1개의 그린 픽셀 및 1개의 레드 픽셀을 포함하거나 또는 1개의 그린 픽셀 및 1개의 블루 픽셀을 포함한다. 2*2 매트릭스 형태로 배열된 제1 내지 제4 픽셀 그룹들(PG31~PG34)을 중심으로 도 12의 픽셀 어레이(100c)의 구조를 상세하게 설명하도록 한다.
제1 픽셀 그룹(PG31)은 제1 그린 픽셀(G11"), 제1 레드 픽셀(R11") 및 이들에 의해 공유되는 제1 마이크로 렌즈(ML31)를 포함하며, GR의 패턴을 가지도록 배치될 수 있다. 제2 픽셀 그룹(PG32)은 제2 레드 픽셀(R12"), 제2 그린 픽셀(G12") 및 이들에 의해 공유되는 제2 마이크로 렌즈(ML32)를 포함하며, RG의 패턴을 가지도록 배치될 수 있다. 제3 픽셀 그룹(PG33)은 제1 블루 픽셀(B11"), 제3 그린 픽셀(G13") 및 이들에 의해 공유되는 제3 마이크로 렌즈(ML33)를 포함하며, BG의 패턴을 가지도록 배치될 수 있다. 제4 픽셀 그룹(PG34)은 제4 그린 픽셀(G14"), 제2 블루 픽셀(B12") 및 이들에 의해 공유되는 제4 마이크로 렌즈(ML34)를 포함하며, GB의 패턴을 가지도록 배치될 수 있다.
각 마이크로 렌즈(예를 들어, ML31)의 중심은 각 픽셀 그룹(예를 들어, PG31)의 중심과 일치할 수 있으며, 각 픽셀 그룹에 포함되는 서브 픽셀들(예를 들어, G11", R11")의 변(edge, side)들의 중심과 일치할 수 있다.
제1 픽셀 그룹(PG31) 내에서 제1 그린 픽셀(G11")의 제1 위치는 제2 픽셀 그룹(PG32) 내에서 제2 그린 픽셀(G12")의 제2 위치와 서로 다르고, 제3 픽셀 그룹(PG33) 내에서 제3 그린 픽셀(G13")의 제3 위치는 상기 제2 위치와 동일하며, 제4 픽셀 그룹(PG34) 내에서 제4 그린 픽셀(G14")의 제4 위치는 상기 제1 위치와 동일할 수 있다.
제1 및 제2 픽셀 그룹들(PG31, PG32) 내에서 레드 픽셀들(R11", R12")의 위치는 서로 다를 수 있다. 이와 유사하게, 제3 및 제4 픽셀 그룹들(PG33, PG34) 내에서 블루 픽셀들(B11", B12")의 위치는 서로 다를 수 있다.
픽셀 그룹들(PG35~PG38)에 포함되는 서브 픽셀들(G21", G22", G23", G24", R21", R22", B21", B22") 및 마이크로 렌즈들(ML35, ML36, ML37, ML38)의 구조, 픽셀 그룹들(PG39~PG3C)에 포함되는 서브 픽셀들(G31", G32", G33", G34", R3"1, R32", B31", B32") 및 마이크로 렌즈들(ML39, ML3A, ML3B, ML3C)의 구조, 및 픽셀 그룹들(PG3D~PG3G)에 포함되는 서브 픽셀들(G41", G42", G43", G44", R41", R42", B41", B42") 및 마이크로 렌즈들(ML3D, ML3E, ML3F, ML3G)의 구조는 각각 상술한 제1 내지 제4 픽셀 그룹들(PG31~PG34)의 구조와 실질적으로 동일할 수 있다.
요약하면, 픽셀 어레이(100c)는 하나의 마이크로 렌즈 아래에 2개의 서브 픽셀들로 구성된 픽셀 그룹들을 복수 개 포함하고, 각 서브 픽셀은 레드, 그린, 블루의 세 가지 중 하나의 컬러를 검출할 수 있다. 같은 컬러를 검출하는 서브 픽셀이 마이크로 렌즈의 중심을 기준으로 모두 같은 방향에 위치하지 않고, 인접 마이크로 렌즈 아래의 같은 컬러를 검출하는 서브 픽셀은 서로 다른 방향에 위치할 수 있다.
도 13a 및 13b는 도 12의 픽셀 어레이의 동작을 설명하기 위한 도면들이다.
도 13a 및 13b를 참조하면, 피사체(OBJ)에 대한 초점이 맞았을 때를 나타내며, 마이크로 렌즈(ML)를 공유하는 서브 픽셀들은 피사체(OBJ) 면의 동일한 지점의 영상을 검출할 수 있다. 하나의 마이크로 렌즈(ML) 아래에 서로 다른 컬러(R, G)를 검출하는 서브 픽셀들이 배치되므로, 피사체 상의 한 점에서 서로 다른 컬러의 신호들을 동시에 얻을 수 있다. 또한, 서로 인접한 픽셀 그룹에서 동일한 컬러를 검출하는 서브 픽셀들은 마이크로 렌즈(ML)의 중심을 기준으로 서로 다른 방향에 위치할 수 있다.
도 14a, 14b, 15a, 15b, 15c, 15d 및 15e는 도 4 및 5의 영상 처리 방법을 설명하기 위한 도면들이다. 도 14a 및 14b는 그린 픽셀들을 이용하여 그린 영상을 발생하는 일 예를 나타내며, 도 15a, 15b, 15c, 15d 및 15e는 블루 픽셀들을 이용하여 블루 영상을 발생하는 일 예를 나타내고 있다.
도 14a 및 14b를 참조하면, 픽셀 어레이(100c)에 포함된 그린 픽셀들(G11"~G14", G21"~G24", G31"~G34", G41"~G44")을 이용하여 그린 로우 영상(RG_IMG")을 획득할 수 있다.
구체적으로, 그린 픽셀들(G11", G14", G21", G24", G31", G34", G41", G44")의 그린 신호들(GL11, GL14, GL21, GL24, GL31, GL34, GL41, GL44), 및 그린 픽셀들(G12", G13", G22", G23", G32", G33", G42", G43")의 그린 신호들(GR12, GR13, GR22, GR23, GR32, GR33, GR42, GR43)을 획득할 수 있다.
도 14b에서, "GL" 및 "GR"은 각각 각 마이크로 렌즈의 중심을 기준으로 좌측 및 우측에 배치된 그린 픽셀을 이용하여 발생된 신호를 나타낸다.
이후에 그린 부분 영상들, 그린 보간 영상들 및 제1 그린 합성 영상을 발생하는 동작, 및 그린 보정 영상 및 제2 그린 합성 영상을 추가로 발생하는 동작은 도 6c, 6d, 6e, 9a 및 9b를 참조하여 상술한 것과 실질적으로 동일하므로 중복되는 설명은 생략하도록 한다.
도 15a 및 15b를 참조하면, 픽셀 어레이(100c)에 포함된 블루 픽셀들(B11", B12", B21", B22", B31", B32", B41", B42")을 이용하여 블루 로우 영상(RB_IMG")을 획득할 수 있다.
구체적으로, 블루 픽셀들(B11", B21", B31", B41")의 블루 신호들(BL13, BL23, BL33, BL43), 및 블루 픽셀들(B12", B22", B32", B42")의 블루 신호들(BR14, BR24, BR34, BR44)을 획득할 수 있다. 도 15b에서, "BL" 및 "BR"은 각각 각 마이크로 렌즈의 중심을 기준으로 좌측 및 우측에 배치된 블루 픽셀을 이용하여 발생된 신호를 나타낸다.
도 15b 및 15c를 참조하면, 블루 로우 영상(RB_IMG")을 분리하여 블루 신호들(BL13, BL23, BL33, BL43)만을 포함하는 제1 블루 부분 영상(PB_IMG1") 및 블루 신호들(BR14, BR24, BR34, BR44)만을 포함하는 제2 블루 부분 영상(PB_IMG2")을 획득할 수 있다.
도 15c 및 15d를 참조하면, 상기 그린 영상을 기초로 제1 및 제2 블루 부분 영상들(PB_IMG1", PB_IMG2")에 대한 보간 동작을 수행하여, 블루 신호들(BL13, BL23, BL33, BL43)과 블루 보간 신호들(bl11, bl12, bl14, bl21, bl22, bl24, bl31, bl32, bl34, bl41, bl42, bl44)을 포함하는 제1 블루 보간 영상(IB_IMG1") 및 블루 신호들(BR14, BR24, BR34, BR44)과 블루 보간 신호들(br11, br12, br13, br21, br22, br23, br31, br32, br33, br41, br42, br43)을 포함하는 제2 블루 보간 영상(IB_IMG2")을 발생할 수 있다.
도 15d 및 15e를 참조하면, 제1 및 제2 블루 보간 영상들(IB_IMG1", IB_IMG2")을 합하여 블루 합성 신호들(BT11, BT12, BT13, BT14, BT21, BT22, BT23, BT24, BT31, BT32, BT33, BT34, BT41, BT42, BT43, BT44)을 포함하는 제1 블루 합성 영상(TB_IMG1")을 발생할 수 있다. 제1 블루 합성 영상(TB_IMG1")을 상기 블루 영상으로 출력할 수 있다.
도시하지는 않았으나, 블루 보정 영상 및 제2 블루 합성 영상을 추가로 발생하고 이를 상기 블루 영상으로 출력할 수도 있다. 상기 레드 영상은 상기 블루 영상과 동일한 방식으로 발생될 수 있다.
이상 특정 개수의 픽셀 그룹들, 서브 픽셀들 및 특정 컬러 배치들에 기초하여 본 발명의 실시예들을 설명하였으나, 본 발명은 임의의 개수의 픽셀 그룹들, 서브 픽셀들 및 임의의 컬러 배치들에 다양하게 적용될 수 있다. 또한, 컬러 정보 외에도 IR(infra red) 신호라든지 다양한 다른 정보를 검출 할 수 있도록 서브 픽셀들을 구현하는 형태도 가능할 수 있다.
도 16은 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.
도 16을 참조하면, 이미지 센서(500)는 픽셀 어레이(510), 상관 이중 샘플링(correlated double sampling; CDS) 블록(530) 및 아날로그-디지털 변환(analog-to-digital conversion; ADC) 블록(540)을 포함한다. 이미지 센서(500)는 로우 드라이버(520), 영상 처리부(550), 램프 신호 발생기(560) 및 타이밍 컨트롤러(580)를 더 포함할 수 있다.
일 실시예에서, 이미지 센서(500)는 수광 표면(light receiving surface)이 기판(substrate)의 전면(front side)인지 후면(back side)인지에 따라 FSI(front side illumination) 이미지 센서 또는 BSI(back side illumination) 이미지 센서로 구현될 수 있다.
픽셀 어레이(510)는 매트릭스 형태로 배열된 복수의 서브 픽셀들 또는 단위 픽셀들(PX)을 포함한다. 복수의 단위 픽셀들(PX) 각각은 복수의 로우(row)들(RW1, RW2, ..., RWX; X는 2 이상의 자연수) 중 하나 및 복수의 컬럼(column)들(CL1, CL2, ..., CLY; Y는 2 이상의 자연수) 중 하나와 연결될 수 있다. 픽셀 어레이(510)는 입사광을 감지하여 상기 입사광에 상응하는 복수의 아날로그 픽셀 신호들(VP1, VP2, ..., VPY)을 발생한다. 픽셀 어레이(510)는 도 1 내지 15를 참조하여 상술한 본 발명의 실시예들에 따른 픽셀 어레이일 수 있다.
로우 드라이버(520)는 픽셀 어레이(510)의 복수의 로우들(RW1~RWX)과 연결되고, 복수의 로우들(RW1~RWX)을 구동하는 구동 신호를 발생할 수 있다. 예를 들어, 로우 드라이버(520)는 픽셀 어레이(510)에 포함되는 복수의 단위 픽셀들(PX)을 로우 단위로 구동할 수 있다.
상관 이중 샘플링 블록(530)은 복수의 상관 이중 샘플링 회로들(530a, 530b, ..., 530c)을 포함할 수 있다. 복수의 상관 이중 샘플링 회로들(530a~530c)은 픽셀 어레이(510)의 복수의 컬럼들(CL1~CLY)과 연결되고, 픽셀 어레이(510)로부터 출력되는 복수의 아날로그 픽셀 신호들(VP1~VPY)에 대해 CDS 동작을 수행할 수 있다.
아날로그-디지털 변환 블록(540)은 복수의 아날로그-디지털 변환기들(540a, 540b, ..., 540c)을 포함한다. 복수의 아날로그-디지털 변환기들(540a~540c)은 복수의 상관 이중 샘플링 회로들(530a~530c)을 통해 픽셀 어레이(510)의 복수의 컬럼들(CL1~CLY)과 연결되고, 픽셀 어레이(510)로부터 출력되는 복수의 아날로그 픽셀 신호들(VP1~VPY)(즉, 복수의 상관 이중 샘플링 회로들(530a~530c)로부터 출력되는 CDS된 아날로그 픽셀 신호들)을 병렬로(즉, 동시에) 복수의 디지털 신호들(CNT1, CNT2, ..., CNTY)로 변환하는 컬럼 ADC를 수행한다.
복수의 아날로그-디지털 변환기들(540a~540c) 각각은 복수의 비교기들(542a, 542b, ..., 542c) 중 하나 및 복수의 카운터(counter, CNT)들(544a, 544b, ..., 544c) 중 하나를 포함할 수 있다. 예를 들어, 제1 아날로그-디지털 변환기(540a)는 제1 아날로그 픽셀 신호(VP1)와 램프 신호(VRAMP)를 비교하여 제1 비교 신호(CS1)를 발생하는 제1 비교기(542a), 및 제1 비교 신호(CS1)의 레벨 천이 시간을 카운트하여 제1 디지털 신호(CNT1)를 발생하는 제1 카운터(544a)를 포함할 수 있다.
상술한 상관 이중 샘플링 블록(530) 및 아날로그-디지털 변환 블록(540)의 동작은 픽셀 어레이(510)의 로우 단위로 수행될 수 있다.
복수의 상관 이중 샘플링 회로들(530a~530c) 및 복수의 아날로그-디지털 변환기들(540a~540c)은 복수의 컬럼 구동 회로들을 형성할 수 있다. 예를 들어, 제1 상관 이중 샘플링 회로(530a) 및 제1 아날로그-디지털 변환기(540a)는 제1 컬럼 구동 회로를 형성할 수 있다.
영상 처리부(550)는 복수의 디지털 신호들(CNT1~CNTY)에 기초하여 영상 처리를 수행할 수 있다. 예를 들어, 도 4, 5, 7 등을 참조하여 상술한 영상 처리 알고리즘들이 영상 처리부(550)에 의해 수행될 수 있다.
실시예에 따라서, 영상 처리부(550)는 생략될 수 있으며, 이 경우 상술한 영상 처리는 외부의 프로세서(예를 들어, 도 18의 어플리케이션 프로세서(1110))에 의해 수행될 수 있다.
램프 신호 발생기(560)는 램프 신호(VRAMP)를 발생할 수 있다. 타이밍 컨트롤러(580)는 이미지 센서(500)의 전반적인 동작 타이밍을 제어하고, 카운트 인에이블 신호(CNT_EN), 클럭 신호(미도시) 등의 제어 신호들을 발생할 수 있다.
도 17은 본 발명의 실시예들에 따른 이미지 센서에 포함되는 단위 픽셀의 일 예를 나타내는 회로도이다.
도 17을 참조하면, 단위 픽셀(600)은 광전 변환부(610) 및 신호 생성부(612)를 포함한다.
광전 변환부(610)는 광전 변환을 수행한다. 즉, 광전 변환부(610)는 광 집적 모드(integration mode)에서 입사광을 변환하여 광전하들을 발생한다. 단위 픽셀(600)을 포함하는 이미지 센서가 CMOS 이미지 센서인 경우에, 상기 광 집적 모드에서 CMOS 이미지 센서의 셔터가 개방되어 입사광에 의해 전자-정공 쌍과 같은 전하 캐리어가 광전 변환부(610)에 생성되어 피사체의 이미지에 관한 정보가 수집된다.
신호 생성부(612)는 독출 모드(readout mode)에서 상기 광전 변환에 의해 생성된 광전하들에 기초하여 아날로그 픽셀 신호(VP)를 발생한다. 단위 픽셀(600)을 포함하는 이미지 센서가 CMOS 이미지 센서인 경우에, 상기 광 집적 모드 후의 상기 독출 모드에서 상기 셔터가 폐쇄되고, 전하 캐리어의 형태로 수집된 상기 피사체의 이미지에 관한 정보에 기초하여 아날로그 픽셀 신호(VP)가 발생된다. 도 17에서는 4-트랜지스터 구조의 신호 생성부(612)를 예시하였다.
구체적으로, 신호 생성부(612)는 전송 트랜지스터(620), 리셋 트랜지스터(640), 드라이브 트랜지스터(650) 및 선택 트랜지스터(660)를 포함할 수 있으며, 플로팅 확산 노드(630)를 포함할 수 있다. 전송 트랜지스터(620)는 광전 변환부(610)와 플로팅 확산 노드(630) 사이에 연결되고, 및 전송 신호(TX)가 인가되는 게이트를 포함할 수 있다. 리셋 트랜지스터(640)는 전원 전압(VDD)과 플로팅 확산 노드(630) 사이에 연결되고, 리셋 신호(RX)가 인가되는 게이트를 포함할 수 있다. 드라이브 트랜지스터(650)는 전원 전압(VDD)과 선택 트랜지스터(660) 사이에 연결되고, 플로팅 확산 노드(630)와 연결된 게이트를 포함할 수 있다. 선택 트랜지스터(660)는 드라이브 트랜지스터(650)와 아날로그 픽셀 신호(VP)를 출력하는 출력 단자 사이에 연결되고, 선택 신호(SEL)가 인가되는 게이트를 포함할 수 있다.
한편, 도시하지는 않았으나, 복수의 광전 변환부들이 하나의 신호 생성부를 공유하는 구조로 구현될 수도 있다.
도 18은 본 발명의 실시예들에 따른 이미지 센서를 포함하는 전자 시스템을 나타내는 블록도이다.
도 18을 참조하면, 전자 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 이미지 센서(1140) 및 디스플레이(1150) 등을 포함할 수 있다. 전자 시스템(1000)은 RF 칩(1160), GPS(1120), 스토리지(1170), 마이크(1180), DRAM(1185) 및 스피커(1190)를 더 포함할 수 있고, UWB(1210), WLAN(1220), WIMAX(1230) 등을 이용하여 통신을 수행할 수 있다.
어플리케이션 프로세서(1110)는 이미지 센서(1140)의 동작을 제어하는 컨트롤러 또는 프로세서를 나타낼 수 있다. 이미지 센서(1140)는 본 발명의 실시예들에 따른 이미지 센서일 수 있다.
어플리케이션 프로세서(1110)는 디스플레이(1150)의 DSI 장치(1151)와 통신하는 DSI 호스트(1111), 이미지 센서(1140)의 CSI 장치(1141)와 통신하는 CSI 호스트(1112), RF 칩(1160)의 PHY(1161)와 DigRF에 따라 데이터를 송수신하는 PHY(1113), RF 칩(1160)의 DigRF SLAVE(1162)를 제어하는 DigRF MASTER(1114)를 포함할 수 있다.
일 실시예에서, DSI 호스트(1111)는 광 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 광 디시리얼라이저(DES)를 포함할 수 있다. 일 실시예에서, CSI 호스트(1112)는 광 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 광 시리얼라이저(SER)를 포함할 수 있다.
본 발명의 실시예들은 이미지 센서를 포함하는 임의의 전자 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 컴퓨터, 노트북, 핸드폰, 스마트 폰, MP3 플레이어, PDA, PMP, 디지털 TV, 디지털 카메라, 포터블 게임 콘솔, 네비게이션 기기, 웨어러블 기기, IoT 기기, IoE 기기, e-북, VR 기기, AR 기기 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (10)

  1. 서로 인접하고 제1 패턴을 가지도록 배치되며 제1 및 제2 그린(green) 픽셀들을 포함하는 복수의 제1 서브 픽셀들 및 상기 복수의 제1 서브 픽셀들에 의해 공유되는 제1 마이크로 렌즈를 포함하는 제1 픽셀 그룹;
    상기 제1 픽셀 그룹과 인접하며, 서로 인접하고 상기 제1 패턴과 다른 제2 패턴을 가지도록 배치되며 제3 및 제4 그린 픽셀들을 포함하는 복수의 제2 서브 픽셀들 및 상기 복수의 제2 서브 픽셀들에 의해 공유되는 제2 마이크로 렌즈를 포함하는 제2 픽셀 그룹;
    상기 제1 픽셀 그룹과 인접하며, 서로 인접하고 상기 제1 및 제2 패턴들과 다른 제3 패턴을 가지도록 배치되며 제5 및 제6 그린 픽셀들을 포함하는 복수의 제3 서브 픽셀들 및 상기 복수의 제3 서브 픽셀들에 의해 공유되는 제3 마이크로 렌즈를 포함하는 제3 픽셀 그룹; 및
    상기 제2 및 제3 픽셀 그룹들과 인접하며, 서로 인접하고 상기 제1, 제2 및 제3 패턴들과 다른 제4 패턴을 가지도록 배치되며 제7 및 제8 그린 픽셀들을 포함하는 복수의 제4 서브 픽셀들 및 상기 복수의 제4 서브 픽셀들에 의해 공유되는 제4 마이크로 렌즈를 포함하는 제4 픽셀 그룹을 포함하고,
    제1 방식으로 배치된 상기 제1 및 제2 그린 픽셀들을 이용하여 제1 그린 신호를 발생하고, 상기 제1 방식과 다른 제2 방식으로 배치된 상기 제3 및 제4 그린 픽셀들을 이용하여 제2 그린 신호를 발생하고, 상기 제2 방식으로 배치된 상기 제5 및 제6 그린 픽셀들을 이용하여 제3 그린 신호를 발생하고, 상기 제1 방식으로 배치된 상기 제7 및 제8 그린 픽셀들을 이용하여 제4 그린 신호를 발생하며,
    상기 제1 및 제4 그린 신호들을 포함하는 제1 그린 부분 영상 및 상기 제2 및 제3 그린 신호들을 포함하는 제2 그린 부분 영상을 획득하고,
    상기 제1 그린 부분 영상에 대한 보간 동작을 수행하여 제1 그린 보간 영상을 발생하고, 상기 제2 그린 부분 영상에 대한 보간 동작을 수행하여 제2 그린 보간 영상을 발생하며,
    상기 제1 및 제2 그린 보간 영상들을 합하여 발생된 제1 그린 합성 영상을 그린 영상으로 출력하는 것을 특징으로 하는 이미지 센서의 픽셀 어레이.
  2. 제 1 항에 있어서,
    상기 복수의 제1 서브 픽셀들은 2*2 매트릭스 형태 및 상기 제1 패턴을 가지도록 배치되는 상기 제1 및 제2 그린(green) 픽셀들, 제1 레드(red) 픽셀 및 제1 블루(blue) 픽셀을 포함하고,
    상기 복수의 제2 서브 픽셀들은 2*2 매트릭스 형태 및 상기 제2 패턴을 가지도록 배치되는 상기 제3 및 제4 그린 픽셀들, 제2 레드 픽셀 및 제2 블루 픽셀을 포함하고,
    상기 복수의 제3 서브 픽셀들은 2*2 매트릭스 형태 및 상기 제3 패턴을 가지도록 배치되는 상기 제5 및 제6 그린 픽셀들, 제3 레드 픽셀 및 제3 블루 픽셀을 포함하며,
    상기 복수의 제4 서브 픽셀들은 2*2 매트릭스 형태 및 상기 제4 패턴을 가지도록 배치되는 상기 제7 및 제8 그린 픽셀들, 제4 레드 픽셀 및 제4 블루 픽셀을 포함하는 것을 특징으로 하는 이미지 센서의 픽셀 어레이.
  3. 제 2 항에 있어서,
    상기 그린 영상 및 상기 제1, 제2, 제3 및 제4 레드 픽셀들을 이용하여 레드 영상을 발생하고,
    상기 그린 영상 및 상기 제1, 제2, 제3 및 제4 블루 픽셀들을 이용하여 블루 영상을 발생하며,
    상기 그린 영상, 상기 레드 영상 및 상기 블루 영상을 이용하여 출력 영상을 발생하는 것을 특징으로 하는 이미지 센서의 픽셀 어레이.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 제1, 제2, 제3 및 제4 그린 신호들 각각에 이득 보정 값을 곱하여 상기 이득 보정된 제1, 제2, 제3 및 제4 그린 신호들을 포함하는 그린 보정 영상을 추가 획득하며,
    제1 가중치가 부여된 상기 제1 그린 합성 영상과 제2 가중치가 부여된 상기 그린 보정 영상을 합하여 발생된 제2 그린 합성 영상을 상기 그린 영상으로 출력하는 것을 특징으로 하는 이미지 센서의 픽셀 어레이.
  6. 제 3 항에 있어서,
    상기 제1 레드 픽셀의 제1 레드 신호를 포함하는 제1 레드 부분 영상, 상기 제2 레드 픽셀의 제2 레드 신호를 포함하는 제2 레드 부분 영상, 상기 제3 레드 픽셀의 제3 레드 신호를 포함하는 제3 레드 부분 영상, 및 상기 제4 레드 픽셀의 제4 레드 신호를 포함하는 제4 레드 부분 영상을 획득하고,
    상기 그린 영상을 기초로 상기 제1 레드 부분 영상에 대한 보간 동작을 수행하여 제1 레드 보간 영상을 발생하고, 상기 그린 영상을 기초로 상기 제2 레드 부분 영상에 대한 보간 동작을 수행하여 제2 레드 보간 영상을 발생하고, 상기 그린 영상을 기초로 상기 제3 레드 부분 영상에 대한 보간 동작을 수행하여 제3 레드 보간 영상을 발생하고, 상기 그린 영상을 기초로 상기 제4 레드 부분 영상에 대한 보간 동작을 수행하여 제4 레드 보간 영상을 발생하며,
    상기 제1, 제2, 제3 및 제4 레드 보간 영상들을 합하여 발생된 제1 레드 합성 영상을 상기 레드 영상으로 출력하는 것을 특징으로 하는 이미지 센서의 픽셀 어레이.
  7. 서로 인접하고 제1 패턴을 가지도록 배치되며 제1 그린(green) 픽셀을 포함하는 복수의 제1 서브 픽셀들 및 상기 복수의 제1 서브 픽셀들에 의해 공유되는 제1 마이크로 렌즈를 포함하는 제1 픽셀 그룹;
    상기 제1 픽셀 그룹과 인접하며, 서로 인접하고 상기 제1 패턴과 다른 제2 패턴을 가지도록 배치되며 제2 그린 픽셀을 포함하는 복수의 제2 서브 픽셀들 및 상기 복수의 제2 서브 픽셀들에 의해 공유되는 제2 마이크로 렌즈를 포함하는 제2 픽셀 그룹;
    상기 제1 픽셀 그룹과 인접하며, 서로 인접하고 상기 제1 및 제2 패턴들과 다른 제3 패턴을 가지도록 배치되며 제3 그린 픽셀을 포함하는 복수의 제3 서브 픽셀들 및 상기 복수의 제3 서브 픽셀들에 의해 공유되는 제3 마이크로 렌즈를 포함하는 제3 픽셀 그룹; 및
    상기 제2 및 제3 픽셀 그룹들과 인접하며, 서로 인접하고 상기 제1, 제2 및 제3 패턴들과 다른 제4 패턴을 가지도록 배치되며 제4 그린 픽셀을 포함하는 복수의 제4 서브 픽셀들 및 상기 복수의 제4 서브 픽셀들에 의해 공유되는 제4 마이크로 렌즈를 포함하는 제4 픽셀 그룹을 포함하고,
    상기 제1 그린 픽셀의 제1 그린 신호 및 상기 제4 그린 픽셀의 제4 그린 신호를 포함하는 제1 그린 부분 영상 및 상기 제2 그린 픽셀의 제2 그린 신호 및 상기 제3 그린 픽셀의 제3 그린 신호를 포함하는 제2 그린 부분 영상을 획득하고,
    상기 제1 그린 부분 영상에 대한 보간 동작을 수행하여 제1 그린 보간 영상을 발생하고, 상기 제2 그린 부분 영상에 대한 보간 동작을 수행하여 제2 그린 보간 영상을 발생하며,
    상기 제1 및 제2 그린 보간 영상들을 합하여 발생된 제1 그린 합성 영상을 그린 영상으로 출력하는 것을 특징으로 하는 이미지 센서의 픽셀 어레이.
  8. 제 7 항에 있어서,
    상기 복수의 제1 서브 픽셀들은 상기 제1 패턴을 가지도록 배치되는 상기 제1 그린 픽셀 및 제1 레드 픽셀을 포함하고,
    상기 복수의 제2 서브 픽셀들은 상기 제2 패턴을 가지도록 배치되는 상기 제2 그린 픽셀 및 제2 레드 픽셀을 포함하며,
    상기 복수의 제3 서브 픽셀들은 상기 제3 패턴을 가지도록 배치되는 상기 제3 그린 픽셀 및 제1 블루 픽셀을 포함하고,
    상기 복수의 제4 서브 픽셀들은 상기 제4 패턴을 가지도록 배치되는 상기 제4 그린 픽셀 및 제2 블루 픽셀을 포함하며,
    상기 그린 영상 및 상기 제1 및 제2 레드 픽셀들을 이용하여 레드 영상을 발생하고,
    상기 그린 영상 및 상기 제1 및 제2 블루 픽셀들을 이용하여 블루 영상을 발생하며,
    상기 그린 영상, 상기 레드 영상 및 상기 블루 영상을 이용하여 출력 영상을 발생하는 것을 특징으로 하는 이미지 센서의 픽셀 어레이.
  9. 삭제
  10. 입사광을 감지하여 상기 입사광에 대응하는 복수의 아날로그 픽셀 신호들을 발생하는 픽셀 어레이; 및
    상기 픽셀 어레이의 복수의 컬럼들과 연결되고, 상기 복수의 아날로그 픽셀 신호들을 복수의 디지털 신호들로 변환하는 복수의 컬럼 구동 회로들을 포함하고,
    상기 픽셀 어레이는,
    서로 인접하고 제1 패턴을 가지도록 배치되며 제1 및 제2 그린(green) 픽셀들을 포함하는 복수의 제1 서브 픽셀들 및 상기 복수의 제1 서브 픽셀들에 의해 공유되는 제1 마이크로 렌즈를 포함하는 제1 픽셀 그룹;
    상기 제1 픽셀 그룹과 인접하며, 서로 인접하고 상기 제1 패턴과 다른 제2 패턴을 가지도록 배치되며 제3 및 제4 그린 픽셀들을 포함하는 복수의 제2 서브 픽셀들 및 상기 복수의 제2 서브 픽셀들에 의해 공유되는 제2 마이크로 렌즈를 포함하는 제2 픽셀 그룹;
    상기 제1 픽셀 그룹과 인접하며, 서로 인접하고 상기 제1 및 제2 패턴들과 다른 제3 패턴을 가지도록 배치되며 제5 및 제6 그린 픽셀들을 포함하는 복수의 제3 서브 픽셀들 및 상기 복수의 제3 서브 픽셀들에 의해 공유되는 제3 마이크로 렌즈를 포함하는 제3 픽셀 그룹; 및
    상기 제2 및 제3 픽셀 그룹들과 인접하며, 서로 인접하고 상기 제1, 제2 및 제3 패턴들과 다른 제4 패턴을 가지도록 배치되며 제7 및 제8 그린 픽셀들을 포함하는 복수의 제4 서브 픽셀들 및 상기 복수의 제4 서브 픽셀들에 의해 공유되는 제4 마이크로 렌즈를 포함하는 제4 픽셀 그룹을 포함하고,
    제1 방식으로 배치된 상기 제1 및 제2 그린 픽셀들을 이용하여 제1 그린 신호를 발생하고, 상기 제1 방식과 다른 제2 방식으로 배치된 상기 제3 및 제4 그린 픽셀들을 이용하여 제2 그린 신호를 발생하고, 상기 제2 방식으로 배치된 상기 제5 및 제6 그린 픽셀들을 이용하여 제3 그린 신호를 발생하고, 상기 제1 방식으로 배치된 상기 제7 및 제8 그린 픽셀들을 이용하여 제4 그린 신호를 발생하며,
    상기 제1 및 제4 그린 신호들을 포함하는 제1 그린 부분 영상 및 상기 제2 및 제3 그린 신호들을 포함하는 제2 그린 부분 영상을 획득하고,
    상기 제1 그린 부분 영상에 대한 보간 동작을 수행하여 제1 그린 보간 영상을 발생하고, 상기 제2 그린 부분 영상에 대한 보간 동작을 수행하여 제2 그린 보간 영상을 발생하며,
    상기 제1 및 제2 그린 보간 영상들을 합하여 발생된 제1 그린 합성 영상을 그린 영상으로 출력하는 것을 특징으로 하는 이미지 센서.
KR1020190015619A 2019-02-11 2019-02-11 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서 KR102632474B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190015619A KR102632474B1 (ko) 2019-02-11 2019-02-11 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US16/668,681 US10986315B2 (en) 2019-02-11 2019-10-30 Pixel array included in image sensor, image sensor including the same and electronic system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190015619A KR102632474B1 (ko) 2019-02-11 2019-02-11 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서

Publications (2)

Publication Number Publication Date
KR20200098032A KR20200098032A (ko) 2020-08-20
KR102632474B1 true KR102632474B1 (ko) 2024-02-01

Family

ID=71945430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190015619A KR102632474B1 (ko) 2019-02-11 2019-02-11 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서

Country Status (2)

Country Link
US (1) US10986315B2 (ko)
KR (1) KR102632474B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210095461A (ko) * 2020-01-23 2021-08-02 삼성전자주식회사 복수의 공유 픽셀들을 포함하는 이미지 장치 및 이의 동작 방법
KR20220048090A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템
KR20220068034A (ko) * 2020-11-18 2022-05-25 삼성전자주식회사 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100781552B1 (ko) 2006-06-26 2007-12-05 삼성전기주식회사 고해상도 이미지 복원 장치 및 방법
US20150062391A1 (en) * 2012-03-30 2015-03-05 Nikon Corporation Image sensor, photographing method, and image-capturing device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227544B1 (ko) * 2004-01-26 2013-01-31 디지털옵틱스 코포레이션 이스트 서브 픽셀 해상도를 가진 박형 카메라
US7522341B2 (en) * 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
KR100871564B1 (ko) * 2006-06-19 2008-12-02 삼성전기주식회사 카메라 모듈
JP2010252277A (ja) * 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备
JP2012182824A (ja) 2012-05-01 2012-09-20 Nikon Corp 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ
WO2014097899A1 (ja) 2012-12-21 2014-06-26 富士フイルム株式会社 固体撮像装置
JP2014183206A (ja) * 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
WO2015137635A1 (en) 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
JP2015216186A (ja) 2014-05-09 2015-12-03 ソニー株式会社 固体撮像装置および電子機器
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
FR3030885B1 (fr) * 2014-12-22 2017-12-22 E2V Semiconductors Capteur d'image en couleurs avec pixels blancs et pixels colores
GB2543127B (en) 2015-07-30 2018-11-21 Canon Kk Control apparatus, image pickup apparatus, control method, program, and storage medium
KR20170029175A (ko) 2015-09-07 2017-03-15 에스케이하이닉스 주식회사 위상차 검출 픽셀을 포함하는 이미지 센서
JP2017073681A (ja) 2015-10-08 2017-04-13 キヤノン株式会社 撮像装置および撮像処理プログラム
US10529763B2 (en) * 2018-04-19 2020-01-07 Semiconductor Components Industries, Llc Imaging pixels with microlenses

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100781552B1 (ko) 2006-06-26 2007-12-05 삼성전기주식회사 고해상도 이미지 복원 장치 및 방법
US20150062391A1 (en) * 2012-03-30 2015-03-05 Nikon Corporation Image sensor, photographing method, and image-capturing device

Also Published As

Publication number Publication date
US20200260055A1 (en) 2020-08-13
US10986315B2 (en) 2021-04-20
KR20200098032A (ko) 2020-08-20

Similar Documents

Publication Publication Date Title
WO2021223590A1 (zh) 图像传感器、控制方法、摄像头组件和移动终端
US11956411B2 (en) Image signal processor, image processing system and method of binning pixels in image sensor
US20170013217A1 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
RU2490715C1 (ru) Устройство захвата изображения
US20230319430A1 (en) Image sensor
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
KR102441363B1 (ko) 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법
US11425323B2 (en) Image sensor and operating method thereof
US11588988B2 (en) Image sensor and binning method thereof
JP2022049671A (ja) カラー補正のための画像処理装置、画像処理方法、及び画像処理システム
US11350045B2 (en) Image sensing apparatus and image binning method thereof
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
US11825226B2 (en) Image sensor and pixel array of image sensor
US20230300481A1 (en) Image sensing device and image processing method of the same
US11863893B2 (en) Image sensor including auto-focus pixels that receive the same transmission control signal
US20220293653A1 (en) Image sensors and camera modules including the same
EP4096217A1 (en) Image sensor and image signal processing method
US20230154945A1 (en) Image sensor
US20220329747A1 (en) Image sensor including auto-focus pixels
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法
TW202232939A (zh) 影像感測器及包括影像感測器的電子裝置
TW202226824A (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법
JP2022070246A (ja) 均等に配置された位相検出ピクセルを含むピクセルアレイ及びそれを含むイメージセンサ
JP2022503764A (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant