KR20090023690A - 고체 이미지 센서 - Google Patents

고체 이미지 센서 Download PDF

Info

Publication number
KR20090023690A
KR20090023690A KR1020097000718A KR20097000718A KR20090023690A KR 20090023690 A KR20090023690 A KR 20090023690A KR 1020097000718 A KR1020097000718 A KR 1020097000718A KR 20097000718 A KR20097000718 A KR 20097000718A KR 20090023690 A KR20090023690 A KR 20090023690A
Authority
KR
South Korea
Prior art keywords
color
pixels
pixel
visible light
light wavelength
Prior art date
Application number
KR1020097000718A
Other languages
English (en)
Other versions
KR101012537B1 (ko
Inventor
히로또 혼다
요시노리 이이다
요시따까 에가와
고 이또
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20090023690A publication Critical patent/KR20090023690A/ko
Application granted granted Critical
Publication of KR101012537B1 publication Critical patent/KR101012537B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

고체 이미지 센서는 복수의 픽셀, 판독 회로 및 신호 프로세싱부를 갖는다. 복수의 픽셀은 복수의 제1 픽셀, 복수의 제2 픽셀, 복수의 제3 픽셀 및 복수의 제4 픽셀을 포함한다. 신호 프로세싱부는 색 획득부, 타겟 픽셀 블록에서의 흰색 데이터값 W이 선정된 제1 설정값보다 작은 지 아닌 지의 여부를 결정하도록 구성된 제1 판단부, 및 제1 판단부의 판정 결과가 아니요일 경우에 이하의 수학식 1에 기초하여 타겟 픽셀 블록에서의 흰색 데이터값 W의 수정 프로세싱을 수행하고, 제1 판단부의 판정 결과가 예일 경우에 수학식 1에 기초하여 수정 프로세싱을 수행하지 않고 흰색 데이터값 W 자체를 출력하도록 구성된 흰색 수정부를 포함한다;
<수학식 1>
Figure 112009002194762-PCT00025
여기서, S1, S2, 및 S3 각각은 색 밸런스에 기초하여 결정되는 계수이다.
고체 이미지 센서, 흰색 데이터값, 신호 프로세싱부, 가시 광선 파장 대역, 타겟 픽셀

Description

고체 이미지 센서{SOLID-STATE IMAGE SENSOR}
(관련 출원과의 상호 참조)
본 출원은 2006년 6월 14일에 출원된 일본 특허 출원 제2006-165053호 및 2007년 1월 26일에 출원된 일본 특허 출원 제2007-16971호에 기초하여 우선권을 주장하고 그 전체 내용을 참조로서 인용한다.
본 발명은 광전 변환 소자를 각각 갖는 복수의 픽셀이 매트릭스형으로 배열된 고체 이미지 센서에 관한 것이다.
최근, MOS(CMOS) 이미지 센서는 활발하게 개발되어왔다. 특히, 반도체 프로세스의 소형화(설계 규칙의 축소)를 통하여, 예를 들면 2.5㎛의 픽셀 피치에서 5백만 이상의 픽셀을 각각 갖는 단일 판 컬러 이미지 센서가 상품화되었다.
이러한 타입의 MOS 이미지 센서는 일반적으로 하나의 R(red) 픽셀, 하나의 B(blue) 픽셀, 및 대각선으로 배열된 2개의 G(green) 픽셀이 2개의 행 및 2개의 열로 형성된 픽셀 블록으로 제공되는 베이어 배열을 갖는 컬러 필터를 포함한다. 픽셀 블록에 2개의 픽셀 G가 제공되는 이유는 광전 변환 소자가 녹색에 대해 높은 감도를 갖기 때문이다. 그러므로, 녹색 픽셀은 조도(밝기) 정보를 획득하는 픽셀로서 사용된다.
반도체 디바이스의 설계 규칙의 축소로 인한 픽셀의 증가 및 픽셀의 소형화 경향에 따라, WDR(wide dynamic range)을 실현하고자하는 요구가 증가되어왔다. 최근, 특히 고조도측 상에서 포화를 방지하는 다양한 기술이 제안되어왔다. 그러나, 저조도 측을 향한 다이나믹 범위의 확장, 즉, 최소 객체 조도의 감소는 각 픽셀 상에서의 SNR의 향상을 요구하며, 실현하는 것은 어렵다. 픽셀의 소형화의 추세는 픽셀 크기면에서 1.7㎛ 및 개구 면적면에서 1㎛ 이하의 수준까지 진행되었다. 그러한 픽셀 크기가 채택될 경우에, 입사광의 변동이 현저하게 되고, 입사광의 양이 이미지 블러링(blurring)(회절 한계)으로 인한 픽셀 면적의 감소 비율을 초과하여 급속히 감소된다. 따라서, 저조도 측을 향한 다이나믹 범위의 어느 정도의 확장, 즉, SNR의 어느 정도의 향상을 요구한다.
픽셀 크기가 감소되었음에도 불구하고 색 재현의 저하를 억제할 수 있는 다양한 종류의 기술이 제안되어왔다(예를 들면, JP-A 2004-304706(KOKAI) 및 JP-A 9358/1996(KOKAI) 참조).
JP-A 2004-304706(KOKAI)는 중앙에 녹색이 위치해 있고 오른쪽, 왼쪽, 위 및 아래 방향에 조도 신호로서 사용되는 흰색을 배열하여, 조도 신호의 신호 전기 전하의 양을 확보하는 기술을 공개한다. JP-A 2004-304706(KOKAI)의 경우에, 4개의 열 및 4개의 행으로 형성되는 픽셀 블록은 한 단위로 판단되어, 픽셀 블록 단위가 크기 때문에 신호 프로세싱에 많은 시간이 걸리는 문제가 있다. 더욱이, 특수한 신호 프로세싱은 저조도를 갖는 픽셀에 대하여 수행하지 않기 때문에, 저조도를 갖는 픽셀은 노이즈로 잠겨버릴 수도 있다.
더욱이, JP-A 9358/1996는 모든 픽셀의 스펙트럼 감도의 총 합이 R:G:B = 2:3:1이 되는 방식으로 색 필터의 정렬에 대한 신호 프로세싱을 수행하는 기술을 공개한다. 그러나, JP-A 9358/1996의 경우에서 조차도, 저조도를 갖는 픽셀은 고려되지 않는다. 따라서, 저조도를 갖는 픽셀의 SNR은 저하될 수도 있다.
(발명의 요약)
본 발명은 상술한 문제들을 고려하여 개발되었으며, 색 재현성이 우수한 화상 신호를 출력할 수 있는 고체 이미지 센서를 제공하는 것을 본 발명의 목적으로 한다.
본 발명의 제1 실시예에 따르면, 고체 이미지 센서는
반도체 기판 상에 매트릭스 형태로 형성되고, 각각의 픽셀은 광전 변환에 의해 획득된 전기 신호를 출력하는 광전 변환 소자를 갖는 복수의 픽셀;
상기 복수의 픽셀로부터 출력된 상기 전기 신호를 판독하도록 구성된 판독 회로; 및
상기 판독 회로로부터 판독된 상기 전기 신호에 관하여 신호 처리를 수행하도록 구성된 신호 프로세싱부를 포함하고,
상기 복수의 픽셀은
투명층을 통해 해당 광전 변환 소자에 가시 광선 파장의 입사광을 안내(lead)하는 복수의 제1 픽셀;
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 제1 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제1 색 필터를 각각 갖는 복수의 제2 픽셀;
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 가시 광선 파장 대역과 다른 제2 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제2 색 필터를 각각 갖는 복수의 제3 픽셀; 및
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 및 제2 가시 광선 파장 대역과 다른 제3 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제3 색 필터를 각각 갖는 복수의 제4 픽셀을 포함하고,
상기 신호 프로세싱부는
복수의 픽셀을 포함하는 타겟 픽셀 블록에서의 제1 색 데이터값 C1, 제2 색 데이터값 C2, 제3 색 데이터값 C3 및 흰색 데이터값 W를 획득하여 신호 처리를 수행하도록 구성된 색 획득부;
타겟 픽셀 블록에서의 흰색 데이터값 W가 선정된 제1 설정값보다 작은지 아닌지 여부를 판정하도록 구성된 제1 판단부; 및
상기 제1 판단부의 판정 결과가 아니요일 경우에 이하의 수학식 1에 기초하여 상기 타겟 픽셀 블록의 상기 흰색 데이터값 W의 수정 프로세싱을 수행하고, 제1 판단부의 판정 결과가 예일 경우에 수학식 1에 기초하여 상기 수정 프로세싱을 수행하지 않고 상기 흰색 데이터값 W 자체를 출력하도록 구성된 흰색 수정부를 포함하고,
<수학식 1>
Figure 112009002194762-PCT00001
여기서, S1, S2, 및 S3 각각은 색 밸런스에 기초하여 결정되는 계수이다.
더욱이, 본 발명의 제1 실시예에 따르면, 고체 이미지 센서는
반도체 기판 상에 매트릭스 형태로 형성되고, 각각의 픽셀은 광전 변환에 의해 획득된 전기 신호를 출력하는 광전 변환 소자를 갖는 복수의 픽셀;
상기 복수의 픽셀로부터 출력된 상기 전기 신호를 판독하도록 구성된 판독 회로; 및
상기 판독 회로로부터 판독된 상기 전기 신호에 관하여 신호 처리를 수행하도록 구성된 신호 프로세싱부를 포함하고,
상기 복수의 픽셀은
투명층을 통해 해당 광전 변환 소자에 가시 광선 파장의 입사광을 안내하는 복수의 제1 픽셀;
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 제1 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제1 색 필터를 각각 갖는 복수의 제2 픽셀;
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 가시 광선 파장 대역과 다른 제2 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제2 색 필터를 각각 갖는 복수의 제3 픽셀; 및
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 및 제2 가시 광선 파장 대역과 다른 제3 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제3 색 필터를 각각 갖는 복수의 제4 픽셀을 포함하고,
상기 신호 프로세싱부는
복수의 픽셀을 포함하는 타겟 픽셀 블록에서의 제1 색 데이터값 C1, 제2 색 데이터값 C2, 제3 색 데이터값 C3 및 흰색 데이터값 W를 획득하여 신호 처리를 수행하도록 구성된 색 획득부;
이하의 수학식 2~4에 기초하여 상기 흰색 데이터값을 복수의 색으로 분리하여 제1 색의 제1 색 데이터값 C1w, 제2 색의 제2 색 데이터값 C2w, 제3 색의 제3 색 데이터값 C3w을 생성하도록 구성된 색 분리 프로세싱부를 포함하며,
<수학식 2>
Figure 112009002194762-PCT00002
<수학식 3>
Figure 112009002194762-PCT00003
<수학식 4>
Figure 112009002194762-PCT00004
여기서, K1, K2 및 K3는 색 비율을 표시하고, 상기 색 데이터값 C1, C2 및 C3 에 의해 결정된다.
더욱이, 본 발명의 제1 실시예에 따르면, 고체 이미지 센서는
반도체 기판 상에 매트릭스 형태로 형성되고, 각각의 픽셀은 광전 변환에 의해 획득된 전기 신호를 출력하는 광전 변환 소자를 갖는 복수의 픽셀;
상기 복수의 픽셀로부터 출력된 상기 전기 신호를 판독하도록 구성된 판독 회로; 및
상기 판독 회로로부터 판독된 상기 전기 신호에 대해 신호 처리를 수행하도록 구성된 신호 프로세싱부를 포함하고,
상기 복수의 픽셀은
투명층을 통해 해당 광전 변환 소자에 가시 광선 파장의 입사광을 안내하는 복수의 제1 픽셀;
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 제1 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제1 색 필터를 각각 갖는 복수의 제2 픽셀;
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 가시 광선 파장 대역과 다른 제2 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제2 색 필터를 각각 갖는 복수의 제3 픽셀; 및
다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 및 제2 가시 광선 파장 대역과 다른 제3 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제3 색 필터를 각각 갖는 복수의 제4 픽셀을 포함하고,
상기 신호 프로세싱부는
복수의 픽셀을 포함하는 타겟 픽셀 블록에서의 제1 색의 제1 색 데이터값 C1, 제2 색의 제2 색 데이터값 C2, 제3 색의 색 데이터값 C3 및 흰색 데이터값 W를 획득하여 신호 처리를 수행하도록 구성된 색 획득부;
상기 색 데이터값 C1, C2 및 C3이 선정된 설정값보다 작은지 여부를 판정하도록 구성된 판단부; 및
상기 색 데이터값 C1, C2 및 C3 중에서 2개의 큰 값이 상기 설정값보다 작다고 판정되는 경우에 상기 흰색 데이터값에 기초한 상기 설정값보다 작다고 판정된 상기 색 데이터값과 상기 설정값보다 큰 상기 색 데이터값을 검색하도록 구성된 저조도 수정부를 포함한다.
더욱이, 본 발명의 제1 실시예에 따르면, 고체 이미지 센서는,
반도체 기판 상에 매트릭스 형태로 형성되고, 각각의 픽셀은 광전 변환에 의해 획득된 전기 신호를 출력하는 광전 변환 소자를 갖는 복수의 픽셀; 및
상기 복수의 픽셀로부터 출력된 상기 전기 신호를 판독하도록 구성된 판독 회로를 포함하고,
상기 복수의 픽셀은 2개 이상의 픽셀 단위의 복수의 픽셀 블록으로 분류되고
상기 복수의 픽셀은 촬상면의 2개의 축에 대하여 45°로 경사진 사각형 형상이고, 인접한 픽셀은 임의 공간에 배치되고, 상기 제1 및 제4 픽셀은 서로 다른 행을 따라 배열되어있다.
도 1은 본 발명의 실시예에 따른 고체 이미지 센서의 개략적인 구성을 도시한 블록도이다;
도 2는 2개의 행 및 2개의 열로 형성된 픽셀 블록(100)의 예를 도시하는 도면이다;
도 3은 색 필터의 투과율을 도시하는 그래프이다;
도 4는 각각의 색의 색 필터가 제공된 각 픽셀의 감도를 도시하는 그래프이다;
도 5는 도 2에 도시된 4개의 픽셀 블록의 전부를 수직 및 수평적으로 배열한 예를 도시하는 도면이다;
도 6A는 행 방향으로 서로 인접한 3개의 픽셀에 해당하는 단면 구성을 개략적으로 도시하는 단면도이면서 또한 적외선 차단 필터를 갖는 고체 이미지 센서의 단면도이며, 도 6B는 적외선 차단 필터(17)가 도 6A에 대하여 각각의 색 필터 상에 배열된 예를 도시하는 단면도이다;
도 7은 적외선 차단 필터(17)가 각 픽셀 RGB에 제공되지만 적외선 차단 필터(17)는 픽셀 W에 제공되지 않는 경우에 투과 파장 대역과 각 픽셀의 투과율 사이의 관계를 도시하는 그래프이다;
도 8은 제1 실시예에 따른 도 1에 도시된 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이다;
도 9는 조도와 픽셀 출력 사이의 관계를 도시하는 도면이다;
도 10은 제1 실시예에 따른 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다;
도 11은 제2 실시예에 따른 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이다;
도 12는 도 11에 도시된 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다;
도 13은 도 12에서 단계 S11에서의 프로세싱 동작을 설명하는 도면이다;
도 14는 도 12에서 단계 S11에서의 프로세싱 동작을 설명하는 도면이다;
도 15는 중앙에서 픽셀 W를 갖는 5개의 행과 7개의 열로 형성된 픽셀 블록의 예를 도시하는 도면이다;
도 16은 보간 프로세싱부의 프로세싱 동작을 설명하는 도면이다;
도 17은 제3 실시예에 따른 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이다;
도 18은 도 17에 도시된 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다;
도 19는 제4 실시예에 따른 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다;
도 20은 색 분리 프로세싱이 수행된 직후의 픽셀 배열을 도시하는 도면이다;
도 21A~도 21C는 보간 프로세싱부의 프로세싱 동작을 설명하는 도면이다;
도 22는 베이어 배열에 대처하도록 프로세싱된 신호 매트릭스를 도시하는 도 면이다;
도 23은 제6 실시예에 따른 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이다;
도 24는 도 23에 도시된 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다;
도 25는 제7 실시예에 따른 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이다;
도 26은 도 25에 도시된 신호 프로세싱 회로(6)의 프로세싱 동작을 도시하는 플로우챠트이다;
도 27A~도 27C는 도 2에 도시된 2개의 행과 2개의 열로 형성된 픽셀 블록을 하나의 단위로 판단하는 픽셀 어레이(1)에서의 타겟 픽셀(40)과 그 타겟 픽셀(40)에 대한 보간 프로세싱을 설명하는 도면이다;
도 28은 픽셀 W만으로 형성된 각 라인이 매 다른 행마다 제공되는 픽셀 어레이(1)의 예를 도시하는 도면이다;
도 29는 도 28에 도시된 픽셀 배열이 부분적으로 변경되는 픽셀 블록(10b)의 예를 도시하는 도면이다;
도 30은 도 29에 도시된 픽셀 배열이 부분적으로 변경되는 픽셀 블록(10c)의 예를 도시하는 도면이다;
도 31은 제10 실시예에 따른 픽셀 어레이(1)을 도시하는 도면이다;
도 32는 도 31에 도시된 픽셀 배열이 부분적으로 변경되는 픽셀 어레이(1)를 도시하는 도면이다;
도 33은 도 32에 도시된 픽셀 W와 픽셀 G가 교체되는 픽셀 어레이(1)를 도시하는 도면이다;
도 34는 제11 실시예에 따른 픽셀 어레이(1)를 도시하는 도면이다;
도 35는 도 34의 변경에 따른 픽셀 어레이(1)를 도시하는 도면이다;
도 36은 서로 인접한 2개의 행에서의 픽셀이 횡방향으로 반 픽셀에 해당하는 양만큼 시프트되는 픽셀 어레이를 도시하는 도면이다.
본 발명에 따른 실시예는 첨부하는 도면을 참조하여 지금부터 설명될 것이다.
(제1 실시예)
도 1은 본 발명의 제1 실시예에 따른 고체 이미지 센서의 개략적인 구성을 도시하는 블록도이다. 도 1에 도시된 고체 이미지 센서는 광전 변환 소자를 각각 갖는 복수의 픽셀이 매트릭스 형태로 배열된 픽셀 어레이(1), 픽셀 어레이(1)에서의 각 행에 구동 전압을 연속적으로 제공하는 수직 스캐너(2), 각 픽셀에서 광전 변환되는 이미지 신호에 포함되는 노이즈를 제거하는 프로세싱을 수행하는 노이즈 삭감 회로(3), 노이즈 삭감 회로(3)로부터 출력된 이미지 신호에 대한 A/D 변환을 수행하는 A/D 변환 회로(4), 각 행에 따른 A/D 변환된 이미지 데이터를 연속적으로 선택하고 판독하는 수평 스캐너(5), 및 나중에 설명되는 이미지 데이터에 대한 신호 프로세싱을 수행하는 신호 프로세싱 회로(6)를 포함한다.
신호 프로세싱 회로(6)는 픽셀 어레이(1)에서의 각 행에 따라 각 열에 대한 이미지 데이터를 연속적으로 수신한다. 수직 스캐너(2), 노이즈 삭감 회로(3), A/D 변환 회로(4), 및 수평 스캐너(5)는 판독 회로에 해당한다. 판독 회로는 복수의 픽셀에 대한 하나의 수평 라인에서의 신호를 동시에 판독하거나 각 픽셀에 따른 신호를 연속적으로 판독한다.
판독 회로 및 픽셀 어레이(1)는 동일한 반도체 기판 상에 형성된다. 신호 프로세싱 회로는 동일한 반도체 기판 상에 또한 형성될 수도 있다. 그렇지 않으면, 신호 프로세싱 회로(6)는 판독 회로 및 픽셀 어레이(1)가 형성되는 반도체 기판과 다른 반도체 기반에 형성될 수도 있다. 이 경우에, 판독 회로의 출력은 다른 반도체 기판 상의 신호 프로세싱 회로(6)에 입력된다.
픽셀 어레이(1)에서의 복수의 픽셀은 서로 인접하여 배열되는 일부 픽셀을 하나의 유닛으로 판정하여 구비한 복수의 픽셀 블록으로 분리된다. 예를 들면, 도 2는 2개의 행과 2개의 열로 형성된 픽셀 블록의 예를 도시하는 도면이고, 흰색의 픽셀 W(이하 픽셀 W로 지칭됨) 및 녹색 픽셀 G(이하 픽셀 G로 지칭됨)이 대각선으로 배열되며, 적색 R과 청색 B를 포함하는 나머지 2개의 픽셀(이하 픽셀 R과 픽셀 B로 지칭됨)이 포함된다.
픽셀 W는 투명층을 통하여 해당 광전 변환 소자에 가시 광선 파장(예를 들면, 400㎚~650㎚)을 갖는 입사광을 안내한다. 투명층은 가시 광선에 대하여 투명한 물질로 형성되고, 전체 가시 광선 영역에서 고감도를 입증한다.
한편, 녹색의 가시 광선 파장 대역의 광에 대해 고투과율을 갖는 색 필터는 픽셀 G에 제공된다. 적색의 가시 광선 파장 대역의 광에 대해 고투과율을 갖는 색 필터는 픽셀 R에 제공된다. 청색의 가시 광선 파장 대역의 광에 대해 고투과율을 갖는 색 필터는 픽셀 B에 제공된다.
픽셀 W는 흰색 픽셀이 전체 가시 광선 파장 대역의 광을 전송하기 때문에 제공되며, 이에 따라 픽셀 W는 조도 정보를 획득하는데 적합하다. 녹색 픽셀은 또한 조도 정보를 획득하는데 사용될 수 있으므로, 흰색 픽셀 및 녹색 픽셀은 도 2에서 대각선으로 배열된다. 그 결과, 조도 정보는 모든 행과 모든 열에 대하여 고르게 검출될 수 있어서, 조도 분해능을 향상시킨다.
더욱이, 도 2에 도시된 픽셀 블록은 R, G 및 B가 주요 색이고, 색 재현성에 있어 한 픽셀의 상보적인 색에 비해 우수하며, 색 변환과 같은 프로세싱을 필요로하지 않아서, 신호 프로세싱의 프로세싱 절차를 단순화할 수 있기 때문에 픽셀 W 이외에 R, G, B의 픽셀을 갖는다.
도 3은 각각의 색 필터의 투과율을 도시하는 그래프이고, 도 4는 각각의 색의 색 필터가 제공된 각각의 픽셀의 감도를 도시하는 그래프이다. 도 3에 도시한 바와 같이, 흰색 W의 필터는 전체 가시 광선 파장 대역(대략 400~700㎚)의 광에 대해 95% 이상의 투과율을 갖는다. 녹색 G의 색 필터는 대략 500~550㎚의 광에 대해 고투과율을 갖는다. 적색 R의 색 필터는 대략 600~700㎚의 가시 광선 파장 대역의 광에 대해 고투과율을 갖는다. 청색 B의 색 필터는 대략 450~490㎚의 가시 광선 파장 대역에서의 광에 대해 고투과율을 갖는다.
도 4에 도시한 바와 같이, 감도는 투과율과 동일한 특성을 갖는다. 흰색 W의 픽셀은 전체 가시 광선 파장 대역에 대해 고감도를 갖고, 흰색 W는 R, G 또는 B의 각각의 단일 픽셀 감도의 대략 2배를 갖는다.
또한, 청색 B와 녹색 G의 교차점(광학 스펙트럼이 서로 교차하는 포인트에서의 투과율)과 녹색 G와 적색 R의 교차점 각각이 대략 50%가 되는 방식으로 색 필터가 설계되는 경우에, 흰색 W으로부터 추출된 녹색 G의 광학 스펙트럼은 나중에 설명될 흰색 W으로부터 색 신호를 추출할 때 녹색 G 단독의 광학 스펙트럼과 실질적으로 동일한 형태를 가질 수 있다. 40~60%의 값의 범위 내에 교차점이 부합될 경우에, 우수한 색 재현성이 획득될 수 있다. 교차점이 30~70% 범위 내에 부합될지라도, 실제 레벨 상에서의 색 재현성이 획득될 수 있다.
도 5는 도 2 내에 도시된 4개의 픽셀 블록 전체가 수직 및 수평으로 배열되는 예를 도시하는 도면이다. 더욱이, 도 6A는 행 방향으로 서로 인접하는 3개의 픽셀에 해당하는 단면 구조를 개략적으로 도시하는 단면도이다. 도 6A에 도시한 바와 같이, 각각의 픽셀은 반도체 기판(11) 상에 형성된 광전 변환 소자(12), 층간 절연막(13)을 통해 광전 변환 소자(12) 상에 형성된 색 필터(14), 및 색 필터(14) 상에 형성된 마이크로 렌즈(15)를 갖는다. 광에 대향하여 인접하는 픽셀을 차폐시키는 차광막(16)은 층간 절연막(13) 내에 형성된다.
광전 변환 소자(12)는 근적외선 파장 영역에서 감도를 가지므로, 근적외선 광(예를 들면, 650㎚ 이상)이 차단되지 않는 한 색 재현성은 열화된다. 예를 들면, 순수 녹색 광 및 근적외선 광을 방사(반사)하는 객체를 이미징할 경우에, 녹색은 픽셀 G에서 검출되고, 근적외선 광은 픽셀 R에서 검출된다. 따라서, 객체는 순수 녹색(R:G:B) = (0:1:0)으로서 검출될 수 없다.
따라서, 650㎚ 이상의 광의 투과를 방지하는 적외선 차단 필터는 고체 이미지 센서와 객체 사이에 또는 고체 이미지 센서와 가시 광선 파장만 고체 이미지 센서로 입사하게 하는 렌즈 사이에 제공된다. 대안적으로, 도 6b의 단면도에 도시한 바와 같이, 적외선 차단 필터(17)는 색 필터 상에 배열될 수도 있다. 도 6b의 경우에, 자외선 차단 필터(17)는 흰색 픽셀에 제공되지 않는다. 그것은 흰색 픽셀이 조도 정보를 획득하기 위해 제공되기 때문이며, 저조도측 상의 조도 정보는 적외선 차단 필터(17)가 제공되지 않는 경우에 더 확실하게 획득될 수 있다.
도 7은 적외선 차단 필터(17)가 각 픽셀 R, G, 및 B에 제공된지만 적외선 차단 필터(17)가 픽셀 W에 제공되지 않는 경우에 투과 파장 대역과 각 픽셀의 투과율 사이의 관계를 도시하는 그래프이다. 도면에 도시한 바와 같이, 픽셀 W는 광전 변환 소자의 기판 재료로서의 실리콘에 의해 광전 변환될 수 있는 파장(대략 1.1㎛의 근적외선)을 갖는 광선을 흡수할 수 있다. 특히, 픽셀 W는 저조도를 갖는 객체를 이미징할 경우에 유리하고, 근적외선 카메라로서 사용될 수 있다.
도 8은 도 1에 도시된 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이다. 도 8에 도시된 신호 프로세싱 회로(6)는 흰색 픽셀의 포화 판단 및 수정 프로세싱을 수행하는 W 포화 판단 수정 프로세싱부(21)를 포함한다. 도 8이 W 포화 판단 수정 프로세싱부(21)만이 도 8의 신호 프로세싱 회로(6)를 구성하는 예를 도시한다 할지라도, 신호 프로세싱을 수행하는 다른 블록이 신호 프로세싱 회로(6)에 포함될 수도 있다.
W 포화 판단 수정 프로세싱부(21)는 동작을 위해 픽셀 W의 흰색 데이터값 W이 포화되는지 여부를 판단하는 W 포화 판단부(22), W 포화 판단부(22)의 판단 결과에 기초하여 픽셀 W의 수정 프로세싱을 수행하는 W 수정 프로세싱부(23), 및 W 수정 프로세싱부(23)에 의해 사용되는 라인 메모리(24)를 갖는다.
W 포화 판단 수정 프로세싱부(21)는 이미지 데이터를 RGB 세가지 색 데이터 C = (C1, C2, C3)와 흰색 데이터값 W로 분리하고 신호 프로세싱을 수행한다. 각각의 세가지색 데이터 C와 흰색 데이터값 W은 예를 들면 256 색조의 0~255 데이터값을 취할 수 있다. 이하의 설명에서, 적색 데이터는 C1, 녹색 데이터는 C2, 그리고 청색 데이터는 C3라고 가정한다. 예를 들면, C2= 100으로 판단되고 색 온도 5500K(Kelvin)를 갖는 흰색이 이미징될 경우에, W=200 및 C=(C1, C2, C3)=(80,100,70)이 달성된다고 가정한다.
이하의 설명에서, 중앙에 위치한 픽셀 W를 갖는 3개의 행과 3개의 열로 형성된 픽셀 블록이 기본 단위이다. 픽셀 R, G, 및 B과 픽셀 W은 각 픽셀의 색 데이터값이 포화되게 하는 상이한 정도의 조도(밝기)를 갖는다.
도 9는 조도 및 픽셀 출력 사이의 관계를 도시하는 도면이다. 도 9에 도시한 바와 같이, 픽셀 R, G, 및 B와 비교하여 픽셀 W은 저조도측 상에는 포화되기 어렵지만 고조도측 상에는 포화되기 쉽다. 따라서, 도 8의 W 포화 판단 수정 프로세싱부(21)는 흰색 데이터값 W이 고조도측 상에 포화되지 않는지 여부를 판단한다.
도 10은 도 8에 도시된 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다. 우선, W 포화 판단부(22)는 흰색 데이터값 W이 설정값 Ws(예를 들면, Ws=240)보다 낮지 않은지 여부를 판단하고, 흰색 데이터값 W이 포화되지 않는 범위 내에 있는지 여부를 검출한다(단계 S1, 제1 판단부). 만약에 W<Ws가 달성된다면(도 9에서 영역 B~C), 포화가 일어나지 않고, W'=W로 설정되는 것으로 판단된다(단계 S2). 이 경우에, 흰색 데이터값 W이 실제로 다음 신호 프로세싱에 사용되는 W'로 출력된다.
한편, W≥Ws가 달성된다면(도 9에서 영역 D~E의 경우), 포화가 일어나고 흰색 수정값 W'이 이하의 수학식 1을 사용하여 계산되는 것으로 판단된다(단계 S3).
Figure 112009002194762-PCT00005
이 예에서, 각각의 S1, S2, 및 S3는 색 밸런스에 기초하여 판단되는 계수이다. 예를 들면, 5500K의 색 온도를 갖는 RGB 정보가 순수 흰색(1:1:1)을 제공하도록 조정된 경우에, (S1, S2, S3 = 1.02, 0.82, 1.16)로 설정하는 것으로 충분할 수 있다. 신호 (R, G, B)=(80, 100, 70)가 상술한 바와 같이 5500K의 색 온도를 갖는 흰색 광을 이미징하는 것으로부터 획득되는 경우, 이 계수 S1, S2, S3의 값은 비율 R:G:B이 전체 신호 양(=250)이 균등해지는 상태로 1:1:1이 되는 방식으로 도출된다. 계수 S1, S2, 또는 S3는 전체 이미지 면의 색 밸런스를 계산한 후에 획득된 자 동 흰색 밸런스에 기초하여 획득될 수도 있다.
W 수정 프로세싱부(23)는 단계 S2 및 S3에서 프로세싱을 수행한다. 단계 S3에서 각각의 RGB 데이터 조각 C1, C2, C3은 예를 들면, 픽셀 블록에 각각 존재하는 2개의 적색 픽셀에 해당하는 평균 신호값, 4개의 녹색 픽셀에 해당하는 평균 신호값, 및 2개의 청색 픽셀에 해당하는 평균 신호값이다. 픽셀 어레이로부터의 출력 신호는 보통 연속적으로 판독되기 때문에, 3개의 행에 해당하는 신호를 사용하여 평균 신호값을 계산하기 위해 미리 판독한 행의 신호를 일시적으로 저장하는 라인 메모리(24)가 요구된다. W 수정 프로세싱부(23)는 라인 메모리(24)를 참조하면서 계산을 수행한다.
W 포화 판단 수정 프로세싱부(21)는 각각의 픽셀 블록에 따라 도 10에 도시된 프로세싱을 수행한다. W 포화 판단 수정 프로세싱부(21)는 하나의 픽셀 블록에 해당하는 흰색 데이터값 W' 및 RGB 데이터값 C를 출력하고나서 다음 픽셀 블록에 대해 도 10에 도시된 프로세싱을 수행한다.
상술한 바와 같이, 제1 실시예에 따르면, 고감도를 갖는 픽셀 W이 고조도측 상에서 포화되지 않는 방식으로 흰색 데이터값 W은 실시간으로 수정되기 때문에, 포화에 의한 조도 정보의 상실없이 우수한 색 재현성을 갖는 이미지 데이터가 획득될 수 있다.
도 2에 도시된 픽셀 블록이 4개의 픽셀 WRGB로 형성된다고 할지라도, WRGB의 배열은 픽셀 W 및 픽셀 G이 대각선으로 배열되는 조건이 충족되는한 임의로 변경될 수 있다.
(제2 실시예)
이하에 설명되는 제2 실시예는 픽셀 W의 흰색 데이터값 W이 3개의 조각의 색 데이터 R, G, 및 B로 색 분리되는 것이 특징이다.
제2 실시예에 따른 고체 이미지 센서가 도 1에 도시된 실시예와 같이 구성된다고 할지라도, 제2 실시예는 신호 프로세싱 회로(6)의 프로세싱 동작면에서 제1 실시예와 다르다. 제1 실시예와의 차이는 이후에 주로 설명될 것이다.
제2 실시예에서도, 색 분리 프로세싱을 명확히 설명하기 위해 중앙에 배열되어 있는 픽셀 W를 갖는 3개의 행과 3개의 열로 형성된 픽셀 블록은 기본 단위로서 판단된다. 픽셀 블록의 실제 기본 단위는 3개의 열과 3개의 행의 구성에 제한되지 않는다.
도 11은 제2 실시예에 따른 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이다. 제2 실시예에 따른 신호 프로세싱 회로(6)는 색 분리 보간 프로세싱부(25)를 포함한다. 색 분리 보간 프로세싱부(25)는 색 데이터 RGB를 생성하는 흰색 데이터값 W의 색 분리 프로세스를 수행하는 색 분리 프로세싱부(26), 동작을 위한 색 분리 프로세싱부(26)에 의해 사용되는 라인 메모리(27), 및 동작을 위한 보간 프로세싱부(28)에 의해 사용되는 라인 메모리(29)를 구비하여 색 분리 색 데이터값 및 고유 색 데이터값을 사용하여 각각의 픽셀 위치에서의 RGB 신호를 계산한다. 신호 프로세싱 회로(6)는 색 분리 보간 프로세싱부(25) 이외의 프로세싱부를 포함할 수도 있다.
도 12는 도 11에 도시된 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다. 우선, 색 분리 프로세싱부(26)는 픽셀 W 주위의 픽셀 R, G, 및 B를 사용하여 픽셀 W를 이하의 수학식 2~4에 기초하여 픽셀 R, G, 및 B로 변환시킨다(단계 S11).
Figure 112009002194762-PCT00006
Figure 112009002194762-PCT00007
Figure 112009002194762-PCT00008
여기서, 각각의 K1, K2, 및 K3는 타겟 픽셀 W 주위의 각각의 픽셀 R, G, 또는 B로부터 획득된 색 비율을 표시하고, 예를 들면, 이하의 수학식 5~7에 의해 표현된다.
Figure 112009002194762-PCT00009
Figure 112009002194762-PCT00010
Figure 112009002194762-PCT00011
여기, 각각의 Raverage, Gaverage, 및 Baverage는 타겟 픽셀 W 주위의 복수의 픽셀의 색 데이터값 R, G, 및 B의 평균이다. 예를 들면, Raverage, Gaverage, 및 Baverage는 픽셀 블록 내에 각각 존재하는 2개의 적색 픽셀에 해당하는 평균 색 데이터값, 4개의 녹색 픽셀에 해당하는 평균 색 데이터값, 및 2개의 청색 픽셀에 해당하는 평균 색 데이터값이다.
도 13 및 도 14는 도 12의 단계 S11에서의 프로세싱 동작을 설명하는 도면이다. 도 13에 도시한 바와 같이, 색 분리 프로세싱부(26)는 픽셀 W를 둘러싸는 3개의 행과 3개의 열의 픽셀 블록에서 색 비율 K1, K2, 및 K3을 획득하고, 이 색 비율에 픽셀 W 자체의 조도값(흰색 데이터값 W)을 곱한다. 그 결과, 조도 분해능의 열화없이 픽셀 W의 색 분리를 수행하는 것이 가능하다. 도 14에 도시한 바와 같이, RGB 데이터값 Rw, Gw, 및 Bw는 픽셀 W의 위치에서 새롭게 생성된다.
단계 S11에서 프로세싱을 수행하기 위하여, 색 분리 프로세싱부(26)는 복수 의 행에 대한 연산 동작을 수행해야 한다. 따라서, 2개의 행에 해당하는 색 데이터값은 도 11에 도시된 라인 메모리 내에 일시적으로 저장되고, 라인 메모리 내에 저장된 2개의 행에 해당하는 나머지 색 데이터값은 픽셀 블록 내의 마지막 행을 판독하는 타이밍에서 판독되며, 수학식 2~4에 의해 표현되는 계산이 수행된다.
여기서, 예를 들면, 픽셀 블록 내의 색 데이터값이 W=200이고 (Raverage, Gaverage, Baverage)=(80, 100, 70)인 경우에, (Rw, Gw, Bw)=(64, 80, 56)은 수학식 2~7에 기초하여 획득될 수 있다.
흰색 데이터값 W이 이러한 방식으로 각각의 색 데이터 조각 Rw, Gw, 및 Bw으로 변환될 경우에, (64+80+56)/(80+100+70)=4/5-배(fold)는 평균 색 데이터 Raverage, Gaverage, Baverage에 대하여 획득된다. 따라서, 역수 5/4는 상수로 판단되고, 각각의 수학식 2~4의 우측에 이 상수를 곱하여 획득된 값은 최종 색 데이터값 Rw, Gw, 또는 Bw로 판단될 수도 있다.
각각의 색 변환 데이터 Rw, Gw, 및 Bw는 높은 SNR 비율을 필수적으로 갖는 흰색 데이터값 W과 평균화에 의해 향상된 SNR 비율을 갖는 색 데이터값만을 사용하여 곱하고 나누어 획득되고, 생성된 색 데이터값의 SNR 비율은 각각의 R, G, 및 B 데이터값보다 더 높아진다.
픽셀 블록이 3개의 행과 3개의 열로 제한되지 않는다는 것에 유의해야 한다. 예를 들면, 도 15는 중앙에 위치하고 있는 픽셀 W를 갖는 5개의 행과 7개의 열로 형성된 픽셀 블록의 예를 도시하는 도면이다. 단계 S11에서 프로세싱을 수행하는데 사용되는 라인 메모리의 용량은 픽셀 블록 내의 행의 수에 의존한다. 라인 메모리의 용량은 행의 수가 증가될 때 커진다. 따라서, 픽셀 블록 내의 행의 수가 지나치게 증가하는 것은 바람직하지 않다.
색 분리 프로세싱부(26)는 도 12의 단계 S11에서의 프로세싱을 종료할 때, 보간 프로세싱부(28)는 예를 들면, 도 16에 도시된 바와 같이 픽셀 블록 내의 모든 픽셀 R 및 픽셀 Rw의 평균값 R'을 계산한다. 이와 같이, 보간 프로세싱부(28)는 픽셀 블록 내의 모든 픽셀 G 및 픽셀 Gw의 평균값 G'과 모든 픽셀 B 및 픽셀 Bw의 평균값 B'을 계산한다. 각각의 계산된 픽셀 평균값 R', G', 및 B'는 도 16에 도시한 바와 같이 픽셀 블록 내에 중앙 픽셀(타겟 픽셀)의 색 데이터값으로 간주된다.
이러한 방식으로, 3개의 행과 3개의 열로 형성된 픽셀 블록 주위의 색 분리 데이터값 Rw, Gw, 및 Bw과 3개의 색 데이터값 R, G, 및 B를 평균냄으로써 최종 색 데이터값 R', G' 및 B'는 모든 픽셀에 대해 판단된다.
보간 프로세싱부(28)가 최종 색 데이터값 R', G' 및 B'를 출력한 때(단계 S13), 상술한 단계 S11~S13에서의 프로세싱은 다음 픽셀 블록에 대해 수행된다.
모든 픽셀 위치에 대해 상술한 프로세싱을 반복하는 것은 3개의 색 데이터값 R', G' 및 B'의 생성을 가능하게 한다. 다른 것들 중에서, 색 데이터값 R'및 B'은 베이어 배열에서의 픽셀 수의 2배인 픽셀 수를 각기 갖는 R 데이터값과 B 데이터값에 기초하여 색 보간을 수행함으로써 획득될 수 있고, 이 값의 각각의 SNR 비율은 종래의 예와 비교하여 거의 2배이다.
상술한 바와 같이, 제2 실시예에 따르면, 픽셀 W은 3개의 색 픽셀 R, G, 및 B로 색분리되므로, R, G, 및 B의 명백한 픽셀 수는 즉시 그리고 빠르게 증가될 수 있으며, SNR 비율은 크게 향상될 수 있어서, 화질을 향상시킨다. 더욱이, 3개의 색 데이터값은 색 보간 프로세싱에 기초하여 모든 픽셀에 대해 생성되기 때문에, 색 분해능은 증가되어서, 화질을 향상시킨다.
제1 실시예에서 설명된 W 포화 판단 수정 프로세싱은 제2 실시예의 프로세싱을 수행하기 이전에 수행될 수도 있다는 것에 유의해야 한다.
(제3 실시예)
제3 실시예는 흰색 데이터가 저조도에서 사용되어 색 신호의 복구 프로세싱을 수행하는데 특징이 있다.
제3 실시예에 따른 고체 이미지 센서가 도 1에 도시된 것과 동일한 구성을 가진다 할지라도, 신호 프로세싱 회로(6)의 프로세싱 동작에서 제3 실시예는 제1 및 제2 실시예와 다르다. 제1 및 제2 실시예와의 차이는 이후에 주로 설명될 것이다.
제3 실시예에서, 중앙에 위치한 픽셀 W를 갖는 3개의 행과 3개의 열로 형성된 픽셀 블록은 색 분리 프로세싱의 이해를 돕기 위해 마찬가지로 기본 단위로서 판단되고, 픽셀 블록의 실제 기본 단위는 3개의 행과 3개의 열로 형성된 구조에 제한되지 않는다.
도 17은 제3 실시예에 따른 신호 프로세싱 회로(6)의 내부 구성의 예를 도시 하는 블록도이다. 도 17에 도시된 신호 프로세싱 회로(6)는 저조도 판단 수정 프로세싱부(30)를 갖는다. 저조도 판단 수정 프로세싱부(30)는 픽셀 R, G, 및 B이 저조도를 갖는지의 여부를 판단하는 RGB 저조도 수정부(31), 저조도로 판단되는 경우에 수정 프로세싱을 수행하는 저조도 수정 프로세싱부(32), 구동을 위한 저조도 수정 프로세싱부(32)에 의해 사용되는 라인 메모리(33) 및 픽셀 블록 단위로 저조도 수정 프로세싱부(32)의 프로세싱 결과를 저장하는 일 블록 메모리(34)를 갖는다. 신호 프로세싱 회로(6)는 저조도 판단 수정 프로세싱부(30) 이외의 프로세싱부를 포함할 수도 있다.
도 18은 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다. RGB 저조도 수정부(31)는 픽셀 블록 내의 RGB 데이터값 C=(C1, C2, C3)에 대하여 저조도 판단을 수행하고, 저조도 수정 프로세싱부(32)는 판단 결과에 기초하여 수정 프로세싱을 수행한다. 구체적 판단 및 수정 프로세싱은 도 18의 플로우챠트를 참조하여 이제 설명될 것이다.
우선, 픽셀 블록 내의 각각의 RGB 데이터값 Cm(m은 1, 2, 또는 3)이 선정된 하한 설정값 Cn과 동일한지 또는 그보다 작은지의 여부가 판단되어진다(단계 S21). 이 판단 결과가 네가티브일 경우, 각각의 값은 SNR이 우수한 유효 데이터로 판단되고, 흰색 데이터값 W 및 각각의 RGB 데이터값 C은 각각 Wp 및 Cp로서 판단되고 일 블록 메모리(34)에 저장된다(단계 S22).
한편, 단계 S21에서 판단 결과가 포지티브일 경우에, 설정값 Cn과 동일하거나 이보다 작은 단일 색 데이터값 Cm(m은 1, 2, 또는 3)이 존재하는 지의 여부가 판단된다(단계 S23). 판단의 결과가 포지티브인 경우에, 설정값 Cn보다 크지 않은 단일 색 데이터값 Cm1(m1은 1, 2, 또는 3)이 이하의 수학식 8에 기초하여 수정된다(단계 S24, 제1 색 수정부).
Figure 112009002194762-PCT00012
여기서, Cm2 및 Cm3은 설정값 Cn과 동일하거나 그 이상인 색 데이터값이다.
이 수학식 8은 (C1+C2+C3)에 대한 고조도시의 W의 비율, 즉, (W=200, C(C1+C2+C3)=(80, 100, 70)일 경우에 200:500)에, 전체 픽셀 영역에서 판단된 흰색 밸런스에 기초하여 판단된 계수를 곱하여 Sm2' 및 Sm3'를 획득하고, Sm2' 및 Sm3'에 SNR 비율이 우수한 유효 색 데이터값 Cm2 및 Cm3를 곱하여 (Sm2'Cm2+Sm3'Cm3)를 획득하며, 동일한 블록에서 획득된 W에서 (Sm2'Cm2+Sm3'Cm3)를 뺀다. 그 결과, 흰색 데이터 W에 여전히 포함된 색 데이터 Cm1의 정보는 추출되어 저장될 수 있다.
여기서, 고조도시의 W와 (C1+C2+C3)의 비율이 200:500이라고 가정하면, 계수 Sm2' 및 Sm3'는 예를 들면, Sm2'=(200÷250)×0.82=0.65이고, Sm3'=(200÷250)× 1.16=0.93이다. W=10 및 C=(0, 3, 7)인 경우에, Cm1=10-(3×0.65+7×0.93)=1.5가 달성된다.
단계 S23에서의 판단의 결과가 네가티브일 경우에, 설정값 Cn과 동일하거나 이보다 작은 2개의 색 데이터값 Cm(m은 1, 2, 또는 3)이 존재하는지의 여부가 판단된다(단계 S25). 이 판단의 결과가 포지티브일 경우에, 설정값 Cn과 동일하거나 이보다 작은 2개의 색 데이터 Cm1 및 Cm2(m1 및 m2는 1, 2, 또는 3)가 수정된다(단계 S26). 수정된 색 데이터 Cm1 및 Cm2는 일 블록 메모리(34)에 저장된다.
Figure 112009002194762-PCT00013
Figure 112009002194762-PCT00014
수학식 9는 타겟 픽셀 블록에서의 조도 데이터 W에서 유효 색 데이터값 Cm3(m은 1, 2, 또는 3)을 빼고, 일 블록 메모리(34)에 저장된 선행 픽셀 블록에서의 색 데이터 값 Cp=(C1 p, C2 p, C3 p)에서의 비유효 색 m1 및 m2(낮은 SNR을 가짐)의 색 데이터값 Cm1 p 및 Cm2 p에 기초하여 이 뺄셈에 의해 획득된 값을 비례 배분해서, 색 m1 및 m2의 색 데이터를 복구한다.
단계 S25에서 판단의 결과가 네가티브일 경우에, 이는 모든 색 데이터값 R, G, 및 B이 설정값 Cn과 동일하거나 이보다 작다는 것을 의미한다. 이 경우에, 각각의 색 데이터값 Cml(l은 1, 2, 또는 3)은 이하의 수학식 10에 기초하여 복구된다(단계 S27).
Figure 112009002194762-PCT00015
수학식 10에서, 타겟 픽셀 블록에서의 조도 데이터 W는 일 블록 메모리(34)에 저장된 선행 픽셀 블록에서의 색 데이터값 Cp=(C1 p, C2 p, C3 p)(예를 들면, C1 p=3, C2 p=3, C3 p=2)으로부터 획득된 비유효 색 m1, m2, 및 m3의 색 데이터값 Cm1 p, Cm2 p,및 Cm3 p에 기초하여 비례 배분되어서, 각각의 색 데이터 Cm1, Cm2, 및 Cm3을 복구한다.
수학식 10에서, 색 데이터값 Cm1 p, Cm2 p,및 Cm3 p에 색 밸런스에 기초하여 판단된 계수 S1, S2, 및 S3를 곱하여 획득된 값은 비례 배분될 수도 있다.
상술한 계산에서, 다수의 행에 대한 연산 동작이 요구되는 경우에, 라인 메모리에 저장된 앞선 일부 행의 신호를 참조하면서 연산 동작을 실행하는 것만으로 충분할 수 있다.
단계 S27에서 복구된 흰색 데이터값 W 및 각각의 색 데이터값 Cml 은 일 블록 메모리에 저장되고(단계 S22) 출력된다(단계 S28). 그리고나서, 단계 S21~S28에서의 프로세싱은 다음 픽셀 블록에 대해 수행된다.
상술한 바와 같이, 제3 실시예에서, 조도가 낮은 지의 여부는 색 데이터값 R, G, 및 B에 기초하여 판단되어 낮은 조도라고 판단될 때, 고감도를 갖는 픽셀 W은 색 데이터값 수정 프로세싱을 수행하는데 사용된다. 따라서, 저조도로 인하여 손실된 색 정보는 실시간으로 복구될 수 있고, 고화질을 갖는 고체 이미지 센서는 조도가 낮은 경우에서도 획득될 수 있다.
상술한 저조도 상에서의 판단 및 각각의 색 데이터값에 대한 수정 프로세싱은 제2 실시예와 관련하여 기술된 색 분리 프로세싱 이전 단계에서 수행될 수도 있거나, 제1 실시예에서 기술된 W 포화 판단 수정 프로세싱과 함께 동시에 수행될 수도 있다.
(제4 실시예)
후술되는 제4 실시예는 제2 실시예에 따른 색 분리 프로세싱에서 저조도 판단 프로세싱을 추가함으로써 획득된다.
도 19는 제4 실시예에 따른 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다. 도 19는 도 12에 도시된 프로세싱에 단계 S14 및 S15를 추가함으로써 획득되는 프로세싱을 도시한다.
우선, 흰색 데이터값 W이 선정된 설정값 Wn과 비교된다(예를 들면, Wn=10이 256색조의 경우에 설정됨)(단계 S14). 흰색 데이터값 W이 선정된 Wn과 동일하거나 이보다 큰 경우에, 색 분리 프로세싱은 수학식 2~4을 사용하여 수행된다(단계 S11). 한편, 흰색 데이터값 W이 선정된 Wn보다 작은 경우에, 색 분리 프로세싱은 이하의 수학식 11에 기초하여 수행된다.
Figure 112009002194762-PCT00016
수학식 11에서, 주변의 색 데이터 R, G, 및 B의 모든 조각이 조도 데이터로서 흰색 데이터값 W에 더해져서 색 데이터값 Cmw을 생성한다. 따라서, 색 데이터값 Cmw의 SNR 비율이 향상된다. 이 경우에, 그러나, 주변의 픽셀 데이터가 조도 데이터로서 더해지므로, 조도 분해능은 저하된다. 따라서, 단계 S11에서의 프로세싱은 타겟 픽셀 W에 의해 수신되는 광이 저조도를 가질 경우에만 수행되어 조도 분해능을 희생하면서 SNR 비율을 향상시킨다.
상술한 바와 같이, 제4 실시예에 따르면, 흰색 데이터값 W의 조도가 낮을 때, 흰색 데이터 값 W에 주변의 색 데이터 R, G, 및 B를 더하여 획득된 값은 계수 K1~K3에 곱해져 흰색 데이터값 W의 색 분리를 실행한다. 따라서, 저조도를 갖는 흰색 데이터값 W의 조도는 향상될 수 있으므로, 검정색 블러링의 발생을 방지한다.
(제5 실시예)
제5 실시예는 색 데이터 R, G, 및 B의 각각의 조각을 제공하기 위해 흰색 데이터값 W를 색분리한 이후의 색 보간 프로세싱에 특징이 있으며, 이러한 색 보간 프로세싱은 출력 데이터가 베이어 배열에 기초한 데이터의 배열과 동일한 배열을 갖는 방식으로 수행된다.
제5 실시예에 따른 신호 프로세싱 회로(6)는 도 11에 도시된 것과 동일한 구성을 갖고, 도 12에 도시된 것과 동일한 플로우챠트에 따라 프로세싱 동작을 수행한다. 그러나, 도 11에 도시된 보간 프로세싱부(28)에 의해 수행되는 도 12에 도시된 단계 S12에서의 프로세싱 동작은 제2 실시예와 다르다.
이 실시예에 따른 보간 프로세싱부(28)는 적색 데이터값 R, 청색 데이터값 B, 및 색분리 색 데이터 값 Rw, Gw 및 Bw의 Rw 및 Bw를 사용하여 보간 프로세싱을 수행한다.
도 20은 색 분리 프로세싱을 실행한 직후의 픽셀 배열을 도시한다. 도면에 도시한 바와 같이, 색분리 색 데이터값 Rw, Gw 및 Bw은 흰색 데이터값 W의 픽셀 위치에 할당된다. 도 21a에 도시한 바와 같이, 보간 프로세싱부(28)는 횡방향으로 서로 인접하는 적색 데이터값 R과 2개의 색 데이터값 Rw를 사용하여 최종 색 데이터값 R'을 보간한다. 따라서, R'과 같은 3개의 값의 평균값을 판단하는 방법은 가장 단순한 방법이다. 이처럼, 도 21b에 도시한 바와 같이, 수직 방향으로 서로 인접하는 청색 데이터값 B과 2개의 색 값 Bw이 사용되어 최종 색 데이터값 B'을 보간한 다. 한편, 녹색 데이터값 Gw은 도 21c에 도시한 바와 같이 보간 프로세싱되지 않는다. 색 분리 프로세싱이 실행될 때, 베이어 배열에 해당하는 이미지 데이터가 색 데이터값 G와 Gw에 기초하여 완성되기 때문에 보간 프로세싱은 녹색에 대하여 수행되지 않는다.
그러한 프로세싱이 수행될 때, 도 22에 도시한 바와 같은 베이어 배열에 해당하는 데이터 배열은 획득될 수 있다. 고체 이미지 센서로부터 출력된 이미지 데이터를 프로세싱하는 범용 디지털 신호 프로세서는 이따금 베이어 배열을 갖는 이미지 데이터에 적합하기 때문에, 이 실시예에서와 같이 고체 이미지 센서로부터 이미지 데이터를 베이어 배열로 변환시켜 출력하는 것은 범용 디지털 프로세서를 사용함으로써 다양한 종류의 이미지 프로세싱을 수행하는 것을 가능하게 하여, 이미지 프로세싱에서 설계 비용 및 구성요소 비용을 감소시킨다.
상술한 바와 같이, 제5 실시예에 따르면, 흰색 데이터값 W은 색 데이터 R, G, 및 B의 각각의 조각으로 색분리되고나서 픽셀 블록에서 데이터 배열은 베이어 배열에 해당하는 데이터 배열로 변환된다. 따라서, 고체 이미지 센서는 베이어 배열에 해당하는 이미지 데이터를 출력할 수 있고, 범용 디지털 신호 프로세서는 이후의 이미지 프로세싱을 수행하는데 사용될 수 있다.
(제6 실시예)
제1~제5 실시예는 임의로 조합하여 수행될 수 있다. 예를 들면, 후술되는 제6 실시예는 도 10, 도 18 및 도 12에 도시된 프로세싱을 계속적으로 수행되는데 특징이 있다.
도 23은 제6 실시예에 따른 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이다. 도 23에 도시된 신호 프로세싱 회로(6)는 도 8에 도시된 바와 동일한 구성을 갖는 W 포화 판단 수정 프로세싱부(21), 도 17에 도시된 바와 동일한 구성을 갖는 저조도 판단 수정 프로세싱부(30), 도 11에 도시된 바와 동일한 구성을 갖는 색 분리 보간 프로세싱부(25), 색 데이터 R, G, 및 B를 조도 데이터 Y 및 색차 데이터 UV로 변환시키는 YUV 변환부(35), 동작을 위해 각 부에 의해 사용되는 라인 메모리(36), 및 프로세싱 결과를 저장하는 일 블록 메모리(37)를 갖는다.
도 23에 도시된 신호 프로세싱 회로(6)에서 각 부는 하드웨어 또는 소프트웨어로 형성될 수도 있다. 어떠한 경우에서도, 기본적으로, 도 10, 도 18, 및 도 12에 도시된 각각의 플로우챠트에 따라 프로세싱은 연속적으로 수행되고나서 YUV 변환부(35)는 조도 데이터 및 색차 데이터로 변환을 수행한다.
도 24는 도 23에 도시된 신호 프로세싱 회로(6)에 의해 수행되는 프로세싱 동작의 예를 도시하는 플로우챠트이다. 신호 프로세싱이 도 2에 도시된 2개의 행과 2개의 열로 형성된 픽셀 블록 단위로 수행되는 예는 이후에 설명될 것이다.
우선, 2개의 행과 2개의 열로 형성된 픽셀 블록 단위에서, 각 픽셀 블록에서의 각각의 RGB 색 데이터값 C=(C1, C2, 및 C3)과 흰색 데이터값 W이 획득된다(단계 S31). 이 데이터 조각은 1H 메모리로부터 획득된다. 획득된 일 픽셀 블록은 이후 에 신호 프로세싱을 위한 타겟 픽셀로서 참조될 것이다.
흰색 픽셀은 R, G, 및 B와 비교하여 저조도측 상에서 포화되기 어렵지만 고조도측 상에서 포화되기는 쉽다. 따라서, 도 24의 단계 S32에서(제2 판단부), 흰색 데이터값 W이 하한 설정값 Cn(예를 들면, Cn=0)보다 큰 지 여부가 판단된다. 도 23에 도시된 W 포화 판단 수정 프로세싱부(21)는 이 판단 프로세싱을 수행한다. 만약에 W≤Cn(도 9의 영역 A의 경우)라면, 신호 프로세싱에 사용된 데이터 C' 및 W'는 일 블록 메모리(22)에 저장된 선행 픽셀 블록에서 Wp 및 Cp로 변경된다(단계 S33, 선행 블록 색 조정부).
단계 S32에서 W>Cn일 때, W 포화 판단 수정 프로세싱부(21)는 도 10에 도시된 바와 동일한 프로세싱 절차로 형성된 W 포화 판단 수정 프로세싱을 수행한다(단계 S34). 단계 S34에서 이 프로세싱에 기초하여, 수정된 흰색 데이터값 W 및 색 데이터값은 출력된다.
그리고나서, 저조도 판단 수정 프로세싱부(30)는 도 18에 도시된 바와 동일한 프로세싱 절차로 형성된 저조도 판단 프로세싱을 수행한다(단계 S35). 단계 S35에서 이 프로세싱에 기초하여, 각각의 픽셀 R, G, 및 B에서 저조도를 갖는 픽셀의 감도는 향상된다.
이후, 색 분리 보간 프로세싱부(25)는 도 12에 도시된 바와 동일한 프로세싱 절차로 형성된 색 분리 프로세싱을 수행한다(단계 S36). 픽셀 W이 단계 S36에서 이 프로세싱에 의해 RGB 색 데이터값으로 색분리된 후에, 보간 프로세싱되는 색 데 이터값은 출력된다.
단계 S36 및 S33의 프로세싱 결과인 흰색 데이터값 W'과 색 데이터값 C은 일 블록 메모리에 저장된다(단계 S37).
그리고나서, YUV 변환부(25)는 색 분리 보간 프로세싱부(25)로부터 출력된 3개의 색 데이터값을 조도 데이터 및 색차 데이터로 변환한다(단계 S38).
상술한 바와 같이, 제6 실시예에 따르면, W 포화 판단 수정 프로세싱, RGB 저조도 판단 프로세싱, 및 색 분리 프로세싱은 연속적으로 수행되어 최종 색 데이터를 생성하여, 흰색 불연속성 또는 블록 색 블러링이 없이 고화질을 갖는 색 정보 재현성이 우수한 이미지를 획득한다.
각각의 프로세싱이 W 포화 판단 수정 프로세싱부(21), 저조도 판단 수정 프로세싱부(30), 및 색 분리 보간 프로세싱(25)의 순서로 수행되어야 하는 것은 아님에 유의해야 한다. 예를 들면, 프로세싱은 W 포화 판단 수정 프로세싱부(21), 색 분리 보간 프로세싱(25), 및 저조도 판단 수정 프로세싱부(30)의 순서로 수행될 수도 있다. 더욱이, 도 24에 도시된 프로세싱의 일부는, 예를 들면, 단계 S32에서 판단 프로세싱은 생략될 수도 있다.
(제7 실시예)
도 12에서 색 분리 프로세싱이 수행되고나서 보간 프로세싱이 수행된다 할지라도, 보간 프로세싱이 수행되고나서 색 분리 프로세싱이 수행될 수도 있다. 이하에 설명된 제7 실시예는 보간 프로세싱이 수행되고나서 색 분리 프로세싱이 실행되는데 특징이 있다.
도 25는 제7 실시예에 따른 신호 프로세싱 회로(6)의 내부 구성의 예를 도시하는 블록도이고, 도 26은 도 25에 도시된 신호 프로세싱 회로(6)의 프로세싱 동작을 도시하는 플로우챠트이다.
도 25에 도시된 신호 프로세싱 회로(6)는 보간 프로세싱부(28)를 사용하여 보간 프로세싱을 수행하고나서, 색 분리 보간 프로세싱부(25)를 사용하여 색 분리 프로세싱을 수행한다. 보간 프로세싱부(28)는 타겟 픽셀의 색 데이터 C(C1, C2, C3) 및 흰색 데이터값 W을 획득한다.
여기서, 타겟 픽셀은 신호 프로세싱의 기본 단위이고, 각각의 타겟 픽셀은 각각의 색 데이터 R, G, 및 B의 조각 및 흰색 W 데이터를 갖는다. 픽셀 어레이(1)에서의 실제 픽셀과 달리, 이 타겟 픽셀은 가상의 픽셀이다. 상세히, 타겟 픽셀의 위치는 픽셀 어레이(1)의 각 화소에 존재하는 광전 변환 소자의 위치 또는 각 화소의 중심점의 위치이다.
예를 들면, 도 27은 도 2에 하나의 단위로서 도시된 2개의 행과 2개의 열로 형성된 픽셀 블록을 갖는 픽셀 어레이(1)에서의 타겟 픽셀(40)을 설명하기 위한 도면이다. 도 27에서 왼쪽으로부터 제2 행과 제2 열에 위치한 픽셀은 타겟 픽셀(40)로 판단된다. 이 타겟 픽셀(40)의 R 데이터값은 도 27A에 도시된 바와 같이 상부 및 하부 R 픽셀의 데이터값의 평균값이다. 더욱이, B 데이터값은 도 27B에 도시된 바와 같이, 오른쪽 및 왼쪽 B 픽셀의 데이터값의 평균값이고, G 데이터값은 타겟 픽셀(40)에 위치에 위치한 픽셀 G 자체의 데이터값이다. W 데이터값은 타겟 픽 셀(40)의 4개의 코너에 위치한 픽셀 W의 데이터값의 평균값이다.
그러한 보간 프로세싱이 수행될 때, 타겟 픽셀(40)의 RGB 데이터값 및 W 데이터값이 판단된다. 신호 프로세싱 회로(6)가 보간 프로세싱을 수행할 때, 도 25에 도시된 라인 메모리는 사용된다는 것에 유의해야 한다. 따라서, 타겟 픽셀(40) 주위의 색 데이터값은 이 라인 메모리에 미리 저장된다.
이 실시예에 따른 신호 프로세싱 회로(6)는 우선 보간 프로세싱부(28)를 사용하여 도 26에 도시한 바와 같이 상술한 프로세싱 순서에 기초하여 보간 프로세싱을 수행한다(단계 S41). 그 결과, 각각의 RGB 데이터값 C'm 및 W 데이터값 W'은 각각의 타겟 픽셀(40)에 따라 판단된다.
그리고나서, 색 분리 보간 프로세싱부(25)는 이하의 수학식 12에 기초하여 타겟 픽셀(40)의 3개의 색 데이터값을 계산하고 출력한다(단계 S42 및 S43).
Figure 112009002194762-PCT00017
단계 S42에서 계산된 타겟 픽셀(40)의 3개의 색 데이터값은 각각의 타겟 픽셀(40)에 따라 YUV 변환된다.
상술한 바와 같이, 제7 실시예에 따르면, 보간 프로세싱은 각각의 타겟 픽셀(40)에 따라 수행되어 각각의 RGB 데이터 C 및 흰색 데이터값 W을 획득하고나서 신호 프로세싱은 도 26의 플로우챠트에 따라 수행된다. 따라서, 신호 프로세싱은 픽셀 블록보다 더 미세한 단위로 조도 정보를 고려하면서 수행될 수 있어서, 색 재 현성이 우수하고 높은 공간분해능을 갖는 이미지를 획득한다.
(제8 실시예)
제8 실시예는 RGB 데이터 C=(C1, C2, C3)가 저조도를 가질 때의 프로세싱 동작은 제3 실시예의 것과 다르다는데 특징이 있다.
제8 실시예에 따른 신호 프로세싱부가 도 18의 플로우챠트에 따른 프로세싱 동작을 수행한다 할지라도, 단계 S27에서의 A 프로세싱, 또는 단계 S26 및 S27에서의 B 프로세싱, 또는 단계 S24, S26, 및 S27에서의 (C) 프로세싱 동작은 제1 및 제2 실시예의 것과 다르다.
구체적으로, A, B, 또는 (C)의 프로세싱을 수행할 때, 각각의 RGB 데이터값 C는 이하의 수학식 13에 기초하여 복구된다.
Figure 112009002194762-PCT00018
여기서, S1, S2, 및 S3는 흰색 밸런스에 기초하여 판단되는 계수이고, 이들은 전체 픽셀 영역에 따라 판단된다. 즉. 저조도를 갖는 객체를 이미징할 경우에, 이하의 수학식 13에 의해 표현되는 연산 동작은 (D) RGB 데이터값에서 모든 3개의 색 데이터값이 낮은 SNR을 갖고 효과가 없을 때, (E) RGB 데이터값에서 2개의 색 데이터값만이 효과가 없을 때, 또는 (F) RGB 데이터값에서 1개의 색 데이터값만이 효과가 없을 때 수행된다. 그 결과, 조도 데이터 W에 비례하는 검정색 및 흰색 정보가 생성될 수 있다.
상술한 바와 같이, 제8 실시예에 따르면, 각각의 RGB 데이터값이 저조도를 가질 때, 검정 및 흰색 정보는 선행 블록을 참조하지 않고 간단한 기술에 의해 RGB 데이터값으로서 검출될 수 있다. 즉, 이 실시예에 따르면, 색 신호가 저조도측 상에서 그레이 스케일로서 판단될 수 있을 때, 저조도측 상에서 색 신호는 간단한 신호 프로세싱에 의해 검정 및 흰색 정보로서 재생될 수 있다.
(제9 실시예)
2개의 행과 2개의 열로 형성된 픽셀 블록 단위로 프로세싱 동작이 수행되는 예가 제1 실시예와 관련하여 설명되었다 할지라도, 픽셀 W, 픽셀 R, 픽셀 G, 및 픽셀 B을 갖는 픽셀 블록은 2개의 행과 2개의 열로 형성된 그것 이외의 구성을 가질 수도 있다.
예를 들면, 도 28은 픽셀 W만을 포함하는 각각의 행이 매 다른 라인마다 제공되는 픽셀 어레이(1)의 예를 도시하는 도면이다. 도 28의 경우에, 픽셀 R, G, 및 B은 픽셀 W를 포함하는 행 사이에 연속적으로 반복하여 배열된다. 따라서, 픽셀 블록 50a의 단위는 2개의 행과 3개의 열이다. 픽셀 RGB의 정렬 순서가 특정 순서에 제한되지 않음을 유의해야 한다.
도 28에 도시된 픽셀 어레이(1)의 경우에, 도 1에 도시된 수직 스캐너(2)가 픽셀 R, G, 및 B 이전에 고속으로 픽셀 W의 행 만을 스위프(sweep)할 때, 조도 정보만이 색 정보를 획득하기 전에 획득될 수 있다.
픽셀 W의 행을 다른 행의 대응 부분의 2배인 프레임 속도로 판독할 때, 2개의 행과 3개의 열로 이루어진 픽셀 블록에서 픽셀 W만을 포함하는 데이터로 형성된 프레임 및 (WWWRGB)로 형성된 프레임을 교대로 및 반복적으로 판독함으로써, 조도 데이터만이 2배의 속도에서 판독될 수 있다.
도 29는 도 28에서 픽셀의 정렬이 부분적으로 변경되는 픽셀 블록(50b)의 예를 도시하는 도면이다. 도 29의 경우에, 4개의 행과 4개의 열은 픽셀 블록을 구성하고, 픽셀 W만을 포함하는 각각의 행은 매 다른 라인마다 배열되며, 픽셀 B, G, R, 및 G로 형성된 행은 픽셀 W만을 포함한 행 사이에 배열된다. 픽셀 B, G, R, 및 G로 형성된 행에서, 픽셀 G의 수는 다른 색의 픽셀 수의 2배이다. 그 결과, 조도 분해능은 픽셀 R, G, 및 B가 고르게 제공되는 예와 비교하여 향상될 수 있다.
도 29에서, 픽셀 B, G, R, 및 G로 형성된 행에서 픽셀의 배열은 임의적으로 변경될 수 있다. 그러나, 픽셀 G이 서로 인접하지 않을 때, 조도는 고르게 검출될 수 있기 때문에 이 정렬은 바람직하다.
도 30는 도 29에서 픽셀의 정렬이 부분적으로 변경되는 픽셀 블록(50c)의 예를 도시하는 도면이다. 도 30에서, G 신호의 색 재현성 및 녹색 분해능을 개선하기 위하여, 도 29에서 픽셀 W 및 픽셀 G은 교체되고, 픽셀 G만으로 형성된 각각의 행은 매 다른 라인마다 제공된다. 이 예에서, 조도 정보를 획득하는데 사용될 수 있는 픽셀 G만으로 형성된 행은 픽셀 W와 같이 판독되고, 조도 분해능은 도 29에 도시된 예와 같이 향상될 수 있다.
상술한 바와 같이, 제9 실시예에 따르면, 픽셀 W 또는 픽셀 G만으로 형성된 행이 매 다른 라인마다 배열되는 픽셀 블록이 제공될 때, 조도 정보만이 색 정보에 우선하여 고속으로 획득될 수 있다.
(제10 실시예)
제10 실시예는 픽셀 어레이(1)에서 픽셀 W이 지그재그 패턴으로 배열된 구조를 제공한다. 제10 실시예는 도 1에 도시된 바와 동일한 구성을 갖는 고체 이미지 센서에 또한 적용되고, 고체 이미지 센서에서 신호 프로세싱부의 내부 구성은 제2 실시예의 것과 동일하여, 신호 프로세싱부의 상세한 설명을 생략한다.
도 31은 제10 실시예에 따른 픽셀 어레이(1)를 도시하는 도면이다. 도 31에서 픽셀 어레이(1)는 2개의 행과 6개의 열로 형성된 픽셀 블록(50d)을 갖는다. 각각의 픽셀 블록(50d)은 지그재그 패턴으로 배열된 6개의 픽셀 W와 픽셀 W 사이에 교대로 배열된 총 6개의 픽셀 R, G, 및 B을 갖는다.
픽셀 블록(50d)에서 픽셀의 반이 픽셀 W이므로, 조도 분해능은 향상될 수 있다. 특히, 픽셀 R, G, 및 B이 저조도를 갖고 픽셀 W의 SNR이 최소 기준값보다 높을 때, 고조도 분해능은 수평 방향 및 수직 방향 모두에서 유지될 수 있다.
도 32는 도 31에서 픽셀의 배열이 부분적으로 변경되는 픽셀 어레이(1)을 도시하는 도면이다. 도 32에 도시된 픽셀 어레이(1)의 픽셀 블록(50e)에서, 픽셀 G의 수는 픽셀 R 및 픽셀 B의 수의 2배이다. 그 결과, 녹색의 재현성은 향상될 수 있고, 조도 분해능은 도 31에 도시된 예와 비교하여 더욱 향상될 수 있다.
도 33은 도 32에서 픽셀 W과 픽셀 G이 교체된 픽셀 어레이(1)를 도시하는 도면이다. 도 33에 도시된 픽셀 어레이(1)의 픽셀 블록(50f)에서 픽셀 W의 수가 도 32에 도시된 것보다 작기 때문에, 조도 분해능은 감소되지만, 녹색 분해능과 색 재현성은 향상될 수 있다.
상술한 바와 같이, 제10 실시예에 따르면, 픽셀 W 또는 픽셀 G이 지그재그 패턴으로 배열되기 때문에, 조도 정보는 상세히 균등하게 획득될 수 있어서, 조도 분해능을 향상시킨다.
(제11 실시예)
각각의 픽셀이 픽셀 어레이(1)의 이미지 면 상에서 수직 및 수평 축과 평행하게 배열된 예가 제1~제10 실시예에서 설명되었다 할지라도, 각각의 픽셀은 이미지 면의 수직 및 수평 축에 대해 0~90°의 범위 내의 각도로 경사지게 배열될 수도 있다. 수직 및 수평 축에 대해 45°의 각도로 경사지게 배열된 예가 이제 설명될 것이다. 제11 실시예가 도 1에 도시된 바와 동일한 구조를 갖는 고체 이미지 센서에 적용되는 것에 유의해야 한다. 고체 이미지 센서에서 신호 프로세싱부의 내부 구성은 제1 또는 제2 실시예의 그것과 동일하여, 신호 프로세싱부의 상세한 설명은 생략한다.
도 34는 제11 실시예에 따른 픽셀 어레이(1)를 도시하는 도면이다. 도 34에 도시된 픽셀 어레이(1)에서, 각각의 픽셀은 이미지 면의 수직 및 수평 축(페이지 공간에서 위, 아래, 오른쪽 및 왼쪽 방향)에 대해 45°경사진 방향으로 가까이 배열된다.
각각의 픽셀은 사각 형태를 갖고, 45°기울어지므로 마름모 형태를 갖는다. 이 경우에, 각각의 픽셀이 체크 패턴에 배열된 소위 벌집 구조가 제공된다. 따라서, 보간 프로세싱이 횡방향(수평 방향)에서 수행될 때, 픽셀 면적당 명백한 픽셀의 수가 경사지지 않은 픽셀의 수의 2배여서, 명백한 분해능을 향상시킨다.
도 34의 픽셀 어레이(1)는 수평 방향에서 매 다른 라인마다 제공되는 픽셀 G만으로 형성된 각 행을 갖고, 픽셀 W과 픽셀 R이 픽셀 G의 행 사이에 반복되는 각각의 행을 또한 갖는다. 도 34에서, 45°기울어진 4개의 행과 4개의 열이 픽셀 블록(50g)으로 판단된다. 도 34에서 픽셀 수 비율 W:R:G:B은 2:1:4:1이고, 픽셀 W의 수와 픽셀 G의 수는 비교적 커서, 조도 정보를 더 획득한다.
도 35는 도 34의 변경에 따른 픽셀 어레이(1)를 도시하는 도면이다. 도 35에서 픽셀 어레이(1)는 수평 방향으로 매 다른 라인마다 제공되는 픽셀 W만으로 형성된 각각의 행을 갖고, 픽셀 R, G, 및 B이 픽셀 W의 행 사이에 반복되는 각각의 행을 또한 갖는다. 도 35의 픽셀 블록(50h)에서 픽셀 수 비율 W:R:G:B은 4:1:2:1이다. 픽셀 W의 비율은 도 34의 것보다 높기 때문에 조도 감도는 높다. 그러나, 픽셀 G의 비율은 도 34에서의 것보다 작다. 따라서, 색 분해능은 열화된다.
더욱이, 도 35의 경우에, 수직 스캐너(2)가 픽셀 W만으로 형성된 각각의 행을 고속으로 선택하고 판독하는데 사용될 때, 그레이 스케일 이미지의 고속 이미징은 가능하게 된다. 대안적으로, 픽셀 W만으로 형성된 행은 솎아지고, 선택되고, 판독되며, 일반적인 베이어 배열과 같은 동일한 픽셀 배열에서 이미징은 고속으로 수행될 수 있다.
상술한 바와 같이, 제11 실시예에 따르면, 각각의 픽셀은 이미지 면의 수직 및 수평 축에 대해 45°각도로 경사지게 배열되므로, 단위 면적당 명백한 픽셀의 수는 2배가 되어, 분해능을 증가시킨다. 또한, 픽셀 G 또는 픽셀 W만으로 형성된 행은 고속으로 선택되고 판독될 수 있으므로, 이미징은 일반적인 베이어 배열과 동 일한 픽셀 배열에서 고속으로 수행될 수 있다.
도 34 및 도 35는 각각의 픽셀이 이미지 면의 수직 및 수평 축에 대해 45°각도로 경사지게 배열되는 예를 도시한다. 그러나, 서로 인접하는 2개의 행에서의 픽셀은 도 36에 도시된 바와 같이 반 픽셀에 해당하는 양만큼 횡방향으로 이동되어 배열될 수도 있다. 이 경우에, 수직 방향의 픽셀 밀도는 픽셀이 반 픽셀에 해당하는 양만큼 이동되지 않은 예와 비교하여 2배가 되어, 2배의 분해능을 획득한다.
또한, 도 36에 도시된 예 대신에, 서로 인접하는 2개의 열에서의 픽셀은 반 픽셀에 해당하는 양만큼 이동하고 배열될 수도 있다. 이 경우에, 횡방향에서 픽셀의 밀도는 픽셀이 반 픽셀에 해당하는 양만큼 이동되지 않은 예와 비교하여 2배가 되어, 2배의 분해능을 획득한다.
상술한 바와 같이, 서로 인접한 2개의 행에서의 각각의 픽셀은 수평 또는 수직 방향으로 반 픽셀에 해당하는 양만큼 이동될 때, 각각의 픽셀이 도 34 또는 도 35에 도시된 바와 같이 45°기울어진 예에서의 것과 동일한 효과가 획득될 수 있다.
추가적인 장점 및 변경은 당업자에게 즉시 발생할 것이다. 그러므로, 본 발명은 더 넓은 양상에서 본 명세서에 도시되고 기술된 상세한 설명과 대표 실시예에 제한을 두지 않는다. 따라서, 첨부된 청구 범위와 그의 균등물에 의해 정의된 바와 같이 일반적인 발명의 개념의 사상과 범주를 벗어나지 않고 다양한 변형이 이루어질 수도 있다.

Claims (25)

  1. 고체 이미지 센서로서,
    반도체 기판 상에 매트릭스 형태로 형성되고, 각각의 픽셀은 광전 변환에 의해 획득된 전기 신호를 출력하는 광전 변환 소자를 갖는 복수의 픽셀;
    상기 복수의 픽셀로부터 출력된 상기 전기 신호를 판독하도록 구성된 판독 회로; 및
    상기 판독 회로로부터 판독된 상기 전기 신호에 관하여 신호 처리를 수행하도록 구성된 신호 프로세싱부를 포함하고,
    상기 복수의 픽셀은
    투명층을 통해 해당 광전 변환 소자에 가시 광선 파장의 입사광을 안내(lead)하는 복수의 제1 픽셀;
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 제1 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제1 색 필터를 각각 갖는 복수의 제2 픽셀;
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 가시 광선 파장 대역과 다른 제2 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제2 색 필터를 각각 갖는 복수의 제3 픽셀; 및
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 및 제2 가시 광선 파장 대역과 다른 제3 가시 광선 파장 대역에 대해 더 높은 투과율 을 갖는 제3 색 필터를 각각 갖는 복수의 제4 픽셀을 포함하고,
    상기 신호 프로세싱부는
    복수의 픽셀을 포함하는 타겟 픽셀 블록에서의 제1 색 데이터값 C1, 제2 색 데이터값 C2, 제3 색 데이터값 C3 및 흰색 데이터값 W를 획득하여 신호 처리를 수행하도록 구성된 색 획득부;
    타겟 픽셀 블록에서의 흰색 데이터값 W가 선정된 제1 설정값보다 작은지 아닌지 여부를 판정하도록 구성된 제1 판단부; 및
    상기 제1 판단부의 판정 결과가 아니요일 경우에 이하의 수학식 1에 기초하여 상기 타겟 픽셀 블록의 상기 흰색 데이터값 W의 수정 프로세싱을 수행하고, 제1 판단부의 판정 결과가 예일 경우에 수학식 1에 기초하여 상기 수정 프로세싱을 수행하지 않고 상기 흰색 데이터값 W 자체를 출력하도록 구성된 흰색 수정부를 포함하고,
    <수학식 1>
    Figure 112009002194762-PCT00019
    여기서, S1, S2, 및 S3 각각은 색 밸런스에 기초하여 결정되는 계수인 고체 이미지 센서.
  2. 제1항에 있어서,
    상기 제1 판단부가 상기 판정 프로세스를 수행하기 전에 상기 타겟 픽셀 블록에서의 흰색 데이터값 W이 상기 제1 설정값보다 작은 제2 설정값보다 큰 지 여부를 판정하도록 구성된 제2 판단부; 및
    상기 제2 판단부의 판단 결과가 아니요일 경우에 선행 픽셀 블록에서의 각각의 색 데이터값 기초하여 상기 타겟 픽셀 블록의 상기 각각의 색 데이터값을 결정하도록 구성된 앞선 블록 색 조정부를 더 포함하고,
    상기 제1 판단부는 상기 제2 판단부의 판정 결과가 예일 경우에 상기 판정 프로세스를 수행하는 고체 이미지 센서.
  3. 고체 이미지 센서로서,
    반도체 기판 상에 매트릭스 형태로 형성되고, 각각의 픽셀은 광전 변환에 의해 획득된 전기 신호를 출력하는 광전 변환 소자를 갖는 복수의 픽셀;
    상기 복수의 픽셀로부터 출력된 상기 전기 신호를 판독하도록 구성된 판독 회로; 및
    상기 판독 회로로부터 판독된 상기 전기 신호에 관하여 신호 처리를 수행하도록 구성된 신호 프로세싱부를 포함하고,
    상기 복수의 픽셀은
    투명층을 통해 해당 광전 변환 소자에 가시 광선 파장의 입사광을 안내하는 복수의 제1 픽셀;
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 제1 가시 광 선 파장 대역에 대해 더 높은 투과율을 갖는 제1 색 필터를 각각 갖는 복수의 제2 픽셀;
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 가시 광선 파장 대역과 다른 제2 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제2 색 필터를 각각 갖는 복수의 제3 픽셀; 및
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 및 제2 가시 광선 파장 대역과 다른 제3 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제3 색 필터를 각각 갖는 복수의 제4 픽셀을 포함하고,
    상기 신호 프로세싱부는
    복수의 픽셀을 포함하는 타겟 픽셀 블록에서의 제1 색 데이터값 C1, 제2 색 데이터값 C2, 제3 색 데이터값 C3 및 흰색 데이터값 W를 획득하여 신호 처리를 수행하도록 구성된 색 획득부;
    이하의 수학식 2~4에 기초하여 상기 흰색 데이터값을 복수의 색으로 분리하여 제1 색의 제1 색 데이터값 C1w, 제2 색의 제2 색 데이터값 C2w, 제3 색의 제3 색 데이터값 C3w을 생성하도록 구성된 색 분리 프로세싱부를 포함하며,
    <수학식 2>
    Figure 112009002194762-PCT00020
    <수학식 3>
    Figure 112009002194762-PCT00021
    <수학식 4>
    Figure 112009002194762-PCT00022
    여기서, K1, K2 및 K3는 색 비율을 표시하고, 상기 색 데이터값 C1, C2 및 C3에 의해 결정되는 고체 이미지 센서.
  4. 제3항에 있어서,
    상기 색 비율 Km(m=1, 2 및 3)은 상기 픽셀 블록에서 상기 색 데이터값 C1, C2 및 C3를 사용하여 이하의 수학식 5
    <수학식 5>
    Figure 112009002194762-PCT00023
    로 표현되는 고체 이미지 센서.
  5. 제3항에 있어서,
    상기 신호 프로세싱부는 상기 흰색 데이터값 W이 선정된 설정값 이상인지의 여부를 판단하도록 구성된 흰색 판단부를 갖고;
    상기 색 분리 프로세싱부는 상기 흰색 판단부의 판정 결과가 예일 경우에 수학식 2~4에 기초하여 상기 흰색 데이터값을 복수의 색으로 분리하고, 상기 흰색 판단부의 판정 결과가 아니요일 경우에 이하의 수학식 6에 기초하여 상기 흰색 데이터값을 복수의 색으로 분리하여, 상기 색 데이터값 C1w, C2w, C3w을 생성하는
    <수학식 6>
    Figure 112009002194762-PCT00024
    고체 이미지 센서.
  6. 제3항에 있어서,
    상기 색 분리 프로세싱부에 의해 생성된 상기 색 데이터값 C1w, C2w, 및 C3w을 사용하여 상기 타겟 픽셀의 상기 색 데이터값 및 상기 흰색 픽셀 주변의 타겟 픽셀의 상기 색 데이터값을 수정하도록 구성된 보간 프로세싱부를 더 포함하는 고체 이미지 센서.
  7. 제6항에 있어서,
    상기 보간 프로세싱부는 상기 픽셀 블록에서의 픽셀 배열을 베이어 배열로 설정하기 위하여, 상기 색 분리 프로세싱부에 의해 생성된 상기 색 데이터값 C1w, C2w, 및 C3w을 사용하여 상기 타겟 픽셀의 상기 색 데이터값 및 상기 흰색 픽셀 주 변의 상기 타겟 픽셀의 상기 색 데이터값을 수정하는 고체 이미지 센서.
  8. 제3항에 있어서,
    상기 신호 프로세싱부는 상기 색 획득부에 의해 획득된 상기 색 데이터값 C1, C2 및 C3 및 상기 흰색 데이터값 W에 기초하여 보간 프로세스를 수행하여 각 픽셀에 대한 상기 보간된 색 데이터와 상기 흰색 데이터값을 계산하도록 구성된 보간 프로세싱부를 가지고;
    상기 색 분리 프로세싱부는 보간 프로세싱부에 의해 보간된 상기 색 데이터값과 상기 흰색 데이터값을 사용하여 수학식 2~4에 의해 색 분리 프로세스를 수행하는 고체 이미지 센서.
  9. 고체 이미지 센서로서,
    반도체 기판 상에 매트릭스 형태로 형성되고, 각각의 픽셀은 광전 변환에 의해 획득된 전기 신호를 출력하는 광전 변환 소자를 갖는 복수의 픽셀;
    상기 복수의 픽셀로부터 출력된 상기 전기 신호를 판독하도록 구성된 판독 회로; 및
    상기 판독 회로로부터 판독된 상기 전기 신호에 대해 신호 처리를 수행하도록 구성된 신호 프로세싱부를 포함하고,
    상기 복수의 픽셀은
    투명층을 통해 해당 광전 변환 소자에 가시 광선 파장의 입사광을 안내하는 복수의 제1 픽셀;
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 제1 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제1 색 필터를 각각 갖는 복수의 제2 픽셀;
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 가시 광선 파장 대역과 다른 제2 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제2 색 필터를 각각 갖는 복수의 제3 픽셀; 및
    다른 가시 광선 파장 대역과 비교하여, 가시 광선 파장 대역의 상기 제1 및 제2 가시 광선 파장 대역과 다른 제3 가시 광선 파장 대역에 대해 더 높은 투과율을 갖는 제3 색 필터를 각각 갖는 복수의 제4 픽셀을 포함하고,
    상기 신호 프로세싱부는
    복수의 픽셀을 포함하는 타겟 픽셀 블록에서의 제1 색의 제1 색 데이터값 C1, 제2 색의 제2 색 데이터값 C2, 제3 색의 색 데이터값 C3 및 흰색 데이터값 W를 획득하여 신호 처리를 수행하도록 구성된 색 획득부;
    상기 색 데이터값 C1, C2 및 C3이 선정된 설정값보다 작은지 여부를 판정하도록 구성된 판단부; 및
    상기 색 데이터값 C1, C2 및 C3 중에서 2개의 큰 값이 상기 설정값보다 작다고 판정되는 경우에 상기 흰색 데이터값에 기초한 상기 설정값보다 작다고 판정된 상기 색 데이터값과 상기 설정값보다 큰 상기 색 데이터값을 검색하도록 구성된 저조도 수정부
    를 포함하는 고체 이미지 센서.
  10. 제1항에 있어서,
    상기 색 획득부는 상기 흰색 데이터값과 상기 타겟 픽셀 주변의 흰색을 제외한 상기 제1~제3 색의 색 데이터값에 기초하여 보간 프로세스를 수행하여, 상기 타겟 픽셀의 상기 흰색 데이터값 W 및 상기 색 데이터값 C1, C2 및 C3를 검출하는 고체 이미지 센서.
  11. 제9항에 있어서,
    상기 저조도 수정부는 유일하게 남아있는 하나의 색 데이터값이 상기 설정값보다 작을 경우에 상기 흰색 데이터값 W에서, 상기 색 데이터값 C1, C2 및 C3 중 2개의 색 데이터값에 색 밸런스에 의해 결정된 상기 계수 S1, S2 및 S3를 곱하여 획득된 값을 감산하여 획득된 값을 상기 색 데이터값 C1, C2 및 C3 중 남아있는 하나의 색 데이터값으로서 결정하도록 구성된 제1 색 수정부를 갖는 고체 이미지 센서.
  12. 제9항에 있어서,
    상기 신호 프로세싱부의 선행 신호 처리에 의해 획득된 제1 색의 제1 색 데 이터값 C1 p, 제2 색의 제2 색 데이터값 C2 p, 제3 색의 제3 색 데이터값 C3 p 및 흰색 데이터값 W을 저장하도록 구성된 저장부를 더 포함하고,
    상기 신호 프로세싱부는 상기 저장부에 저장된 데이터값 C1 p, C2 p, C3 p 과 W를 사용하여 상기 저조도 수정부에 의해 수정된 상기 색 데이터값 C1, C2 및 C3과 상기 흰색 데이터값 W을 수정하는 고체 이미지 센서.
  13. 제12항에 있어서,
    상기 저조도 수정부는 상기 2개의 색 데이터값이 상기 설정값보다 작을 때, 상기 저장부에 저장된 2개의 색 데이터값을 갖는 상기 흰색 데이터값 W에서, 상기 색 데이터값 C1, C2 및 C3 중 하나의 데이터값을 감산함으로써 획득된 값을 비례 배분하여 획득된 값을 새로운 2개의 색 데이터값으로서 결정하도록 구성된 제2 색 수정부를 갖는 고체 이미지 센서.
  14. 제12항에 있어서,
    상기 저조도 수정부는 모든 상기 색 데이터값 C1, C2 및 C3이 상기 설정값보다 작을 때, 상기 저장부에 저장된 상기 색 데이터값 C1 p, C2 p, C3 p을 갖는 상기 흰색 데이터값 W을 비례 배분하여 획득된 값을 새로운 데이터값 C1, C2 및 C3로서 결정하 도록 구성된 제3 수정부를 갖는 고체 이미지 센서.
  15. 제9항에 있어서,
    상기 저조도 수정부는 상기 색 데이터값 C1, C2 및 C3 중 적어도 하나가 상기 설정값보다 작을 때, 상기 흰색 데이터값 W 및 상기 색 밸런스에 의해 결정된 상기 계수 S1, S2 및 S3를 사용하여 상기 색 데이터값 C1, C2 및 C3을 C1=W/S1, C2=W/S2, 및 C3=W/S3로서 결정하도록 구성된 제4 색 수정부를 갖는 고체 이미지 센서.
  16. 제1항에 있어서,
    상기 신호 프로세싱부는 상기 3개의 색 데이터값 C1, C2 및 C3에 해당하는 조도 데이터 및 색 차이 데이터와 상기 흰색 데이터값 W을 출력하도록 구성된 신호 출력부를 갖는 고체 이미지 센서.
  17. 제1항에 있어서,
    상기 픽셀 블록은 인접하여 배열된 2개의 행과 2개의 열의 상기 제1~제4 픽셀을 포함하고;
    상기 픽셀 블록에서 상기 제1 및 제2 픽셀은 대각선으로 배열되는 고체 이미지 센서.
  18. 제1항에 있어서,
    상기 픽셀 블록은 인접하여 배열된 2개의 행과 2개의 열의 상기 제1~제4 픽셀을 포함하고;
    상기 제2 픽셀은 다른 색의 가시 광선 파장 대역과 비교하여, 녹색의 가시 광선 파장 대역에 대하여 더 높은 투과율을 갖는 제1 색 필터를 갖고;
    상기 제3 픽셀은 다른 색의 가시 광선 파장 대역과 비교하여, 적색의 가시 광선 파장 대역에 대하여 더 높은 투과율을 갖는 제2 색 필터를 갖고;
    상기 제4 픽셀은 다른 색의 가시 광선 파장 대역과 비교하여, 청색의 가시 광선 파장 대역에 대하여 더 높은 투과율을 갖는 제3 색 필터를 갖는 고체 이미지 센서.
  19. 제1항에 있어서,
    상기 픽셀 블록은 인접하여 배열된 4개의 행과 4개의 열의 16개 픽셀을 갖고,
    상기 픽셀 블록은
    픽셀 블록에서 매 한 라인마다 배열되고, 상기 제1 픽셀을 갖는 제1 픽셀 라인; 및
    이웃하는 제1 픽셀 라인 사이에 배열되고, 복수의 색을 제외한 다른 색의 가시 광선 파장 대역과 비교하여, 서로 다른 가시 광선 파장 대역의 복수의 색에 대하여 더 높은 투과율을 갖는 색 필터를 각각 갖는 복수의 픽셀을 갖는 제2 픽셀 라 인을 포함하는 고체 이미지 센서.
  20. 제19항에 있어서,
    녹색을 제외한 다른 색의 상기 가시 광선 파장 대역과 비교하여, 녹색의 가시 광선 파장 대역에 대하여 더 높은 투과율을 갖는 상기 색 필터를 갖는 픽셀의 비율은 상기 제2 픽셀 라인에서 가장 큰 고체 이미지 센서.
  21. 제19항에서,
    3개 타입 색에 대하여 서로 다른 투과율을 갖는 3개 타입의 픽셀은 상기 제2 픽셀 라인에 교대로 배열된 고체 이미지 센서.
  22. 고체 이미지 센서로서,
    반도체 기판 상에 매트릭스 형태로 형성되고, 각각의 픽셀은 광전 변환에 의해 획득된 전기 신호를 출력하는 광전 변환 소자를 갖는 복수의 픽셀; 및
    상기 복수의 픽셀로부터 출력된 상기 전기 신호를 판독하도록 구성된 판독 회로를 포함하고,
    상기 복수의 픽셀은 2개 이상의 픽셀 단위의 복수의 픽셀 블록으로 분류되고,
    상기 복수의 픽셀은 촬상면의 2개의 축에 대하여 45°로 경사진 사각형 형상이고, 인접한 픽셀은 임의 공간에 배치되고, 상기 제1 및 제4 픽셀은 서로 다른 행 을 따라 배열되어 있는 고체 이미지 센서.
  23. 제1항에 있어서,
    상기 판독 회로는 하나의 수평 라인에 대해 동시에 또는 상기 복수의 픽셀에 대해 각각의 하나의 픽셀마다 차례로 상기 신호를 판독하는 고체 이미지 센서.
  24. 제1항에 있어서,
    상기 신호 프로세싱부는 상기 복수의 픽셀 및 상기 판독 회로가 형성된 반도체 기판과 다른 반도체 기판 상에 형성되고, 상기 판독 회로의 출력은 상기 신호 프로세싱부에 입력되는 고체 이미지 센서.
  25. 제1항에 있어서,
    상기 제2, 제3 및 제4 픽셀은 적외선을 차단하기 위한 적외선 차단 필터를 갖고;
    상기 제1 픽셀은 입사광을 상기 적외선 차단 필터 없이 상기 광전 변환 소자에 안내하는 고체 이미지 센서.
KR1020097000718A 2006-06-14 2007-06-14 고체 이미지 센서 KR101012537B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2006-165053 2006-06-14
JP2006165053 2006-06-14
JP2007016971A JP5106870B2 (ja) 2006-06-14 2007-01-26 固体撮像素子
JPJP-P-2007-016971 2007-01-26

Publications (2)

Publication Number Publication Date
KR20090023690A true KR20090023690A (ko) 2009-03-05
KR101012537B1 KR101012537B1 (ko) 2011-02-07

Family

ID=38603404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097000718A KR101012537B1 (ko) 2006-06-14 2007-06-14 고체 이미지 센서

Country Status (7)

Country Link
US (1) US7990447B2 (ko)
EP (1) EP2039149A2 (ko)
JP (1) JP5106870B2 (ko)
KR (1) KR101012537B1 (ko)
CN (1) CN101467444B (ko)
TW (1) TW200816805A (ko)
WO (1) WO2007145373A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338589B1 (ko) * 2011-12-19 2013-12-06 엘지이노텍 주식회사 픽셀 어레이, 이를 포함하는 이미지 센서 및 그 구동 방법
KR20140023585A (ko) * 2012-08-16 2014-02-27 엘지이노텍 주식회사 이미지 센서 및 그를 갖는 카메라 장치
KR20160065464A (ko) * 2014-12-01 2016-06-09 에스케이하이닉스 주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법

Families Citing this family (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP5082528B2 (ja) * 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
JP2008306379A (ja) 2007-06-06 2008-12-18 Toshiba Corp 固体撮像素子
KR100976284B1 (ko) 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP4905279B2 (ja) * 2007-07-20 2012-03-28 ソニー株式会社 撮像回路および撮像装置
US8077234B2 (en) * 2007-07-27 2011-12-13 Kabushiki Kaisha Toshiba Image pickup device and method for processing an interpolated color signal
JP5091781B2 (ja) * 2007-09-14 2012-12-05 株式会社リコー 撮像装置および撮像方法
EP2186345B1 (en) 2007-09-14 2019-04-17 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP5145876B2 (ja) * 2007-11-06 2013-02-20 株式会社リコー 撮像装置および撮像方法
JP5262180B2 (ja) * 2008-02-26 2013-08-14 ソニー株式会社 固体撮像装置及びカメラ
JP5091734B2 (ja) * 2008-03-18 2012-12-05 株式会社リコー 撮像装置および撮像方法
JP5253856B2 (ja) * 2008-03-26 2013-07-31 株式会社東芝 固体撮像装置
JP5033700B2 (ja) * 2008-04-02 2012-09-26 富士フイルム株式会社 撮像装置
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2289235A4 (en) * 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
CN102077572B (zh) * 2008-06-19 2014-06-11 松下电器产业株式会社 用于在成像系统中防止运动模糊和重影的方法及装置
JP2010061565A (ja) * 2008-09-05 2010-03-18 Konica Minolta Business Technologies Inc 画素補間装置、画素補間方法および画像読取装置
JP2010068064A (ja) * 2008-09-09 2010-03-25 Ricoh Co Ltd 撮像装置及び撮像方法
JP5310331B2 (ja) * 2008-09-11 2013-10-09 株式会社リコー 撮像装置および撮像方法
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US20100149396A1 (en) * 2008-12-16 2010-06-17 Summa Joseph R Image sensor with inlaid color pixels in etched panchromatic array
US8610808B2 (en) * 2008-12-22 2013-12-17 Koninklijke Philips N.V. Color CMOS imager with single photon counting capability
JP5139350B2 (ja) * 2009-02-24 2013-02-06 株式会社東芝 画像処理装置、画像処理方法、撮像装置
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2010283225A (ja) * 2009-06-05 2010-12-16 Panasonic Corp 固体撮像装置
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
KR20110056096A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디지털 이미지 처리 장치 및 그 촬영 방법
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2011239252A (ja) * 2010-05-12 2011-11-24 Panasonic Corp 撮像装置
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
WO2012039180A1 (ja) * 2010-09-24 2012-03-29 富士フイルム株式会社 撮像デバイス及び撮像装置
JP5757711B2 (ja) 2010-09-27 2015-07-29 オリンパス株式会社 スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
JP5570373B2 (ja) * 2010-09-29 2014-08-13 富士フイルム株式会社 内視鏡システム
JP5244164B2 (ja) * 2010-10-18 2013-07-24 富士フイルム株式会社 内視鏡装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
EP2717561B1 (en) * 2011-05-24 2019-03-27 Sony Semiconductor Solutions Corporation Solid-state imaging element and camera system
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8878969B2 (en) 2011-07-27 2014-11-04 Aptina Imaging Corporation Imaging systems with color filter barriers
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
CN103975585B (zh) * 2011-12-16 2016-10-12 本田技研工业株式会社 图像处理装置
CA2861220C (en) * 2012-01-24 2020-02-11 Sony Corporation Image processing apparatus and image processing method, and program
JP2013157883A (ja) * 2012-01-31 2013-08-15 Sony Corp 固体撮像素子およびカメラシステム
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP5500193B2 (ja) * 2012-03-21 2014-05-21 ソニー株式会社 固体撮像装置、撮像装置、撮像及び信号処理方法
EP2833635B1 (en) 2012-03-27 2018-11-07 Sony Corporation Image processing device, image-capturing element, image processing method, and program
JP6020556B2 (ja) * 2012-04-24 2016-11-02 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
DE112013003422B4 (de) 2012-07-06 2017-09-07 Fujifilm Corporation Farbbildaufnahmeelement und Bildaufnahmevorrichtung
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014091706A1 (ja) * 2012-12-14 2014-06-19 コニカミノルタ株式会社 撮像装置
US8866944B2 (en) 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
JP5962533B2 (ja) * 2013-02-13 2016-08-03 ソニー株式会社 固体撮像素子、駆動方法、および撮像装置
DE112014000821B4 (de) * 2013-02-14 2023-12-07 Mitsubishi Electric Corporation Signalwandlungsvorrichtung und Verfahren, und Programm und Speichermedium
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
TWI694726B (zh) * 2013-02-27 2020-05-21 日商新力股份有限公司 攝像元件
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014156018A1 (ja) * 2013-03-29 2014-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 推定装置、推定方法、集積回路およびプログラム
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
JP2015026675A (ja) * 2013-07-25 2015-02-05 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
TWI690209B (zh) * 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
KR101516757B1 (ko) * 2013-11-05 2015-05-06 에스케이텔레콤 주식회사 영상복원장치 및 영상복원장치의 동작 방법
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
JP6160546B2 (ja) * 2013-11-25 2017-07-12 株式会社Ｊｖｃケンウッド 映像処理装置、撮像装置、映像処理方法、及び映像処理プログラム
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
EP2887655A1 (fr) * 2013-12-20 2015-06-24 Swiss Timing Ltd. Filtre couleur adaptatif pour capteur numérique
CN104735427B (zh) * 2013-12-24 2016-07-06 浙江大华技术股份有限公司 一种图像传感器
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
CN103928483A (zh) * 2014-04-22 2014-07-16 北京思比科微电子技术股份有限公司 提高红色和蓝色像素灵敏度的图像传感器像素结构
CN103928484A (zh) * 2014-04-22 2014-07-16 北京思比科微电子技术股份有限公司 提高红色和蓝色像素灵敏度的图像传感器微透镜结构
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
CN105323567B (zh) * 2014-07-11 2017-07-28 恒景科技股份有限公司 色彩处理系统及装置
KR102316447B1 (ko) * 2014-08-28 2021-10-22 삼성전자주식회사 광 이용 효율이 향상된 이미지 센서
JP6369233B2 (ja) 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
US9497366B1 (en) 2015-05-27 2016-11-15 Semiconductor Components Industries, Llc Imaging systems with integrated light shield structures
US10148926B2 (en) * 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
CN105516700B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105578075A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105430362B (zh) * 2015-12-18 2017-09-19 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105611257B (zh) * 2015-12-18 2018-09-11 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105578066B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
JP6825617B2 (ja) * 2016-03-09 2021-02-03 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP6953297B2 (ja) 2017-12-08 2021-10-27 キヤノン株式会社 撮像装置及び撮像システム
KR102465070B1 (ko) 2018-06-20 2022-11-09 삼성전자주식회사 이미지 복원 장치 및 방법
RU2712436C1 (ru) 2019-08-09 2020-01-28 Самсунг Электроникс Ко., Лтд. Способ обработки rccb-изображения
CN110507283A (zh) * 2019-09-17 2019-11-29 福州鑫图光电有限公司 视网膜相机及其实现方法
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US20220368867A1 (en) * 2019-09-26 2022-11-17 Sony Semiconductor Solutions Corporation Imaging device
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
CN111726549B (zh) * 2020-06-29 2022-08-23 深圳市汇顶科技股份有限公司 图像传感器、电子设备和芯片
CN112702543B (zh) * 2020-12-28 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
KR20220125103A (ko) * 2021-03-04 2022-09-14 삼성전자주식회사 이미지 센서 및 이의 동작 방법
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN115866423A (zh) * 2021-09-22 2023-03-28 华为技术有限公司 一种图像传感器、摄像头模组、电子设备及图像处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
DE69929395T2 (de) 1998-12-23 2006-09-07 Eastman Kodak Co. Korrektur des farbabgleichs von bildern
US6661457B1 (en) * 1999-03-22 2003-12-09 Biomorphic Vlsi, Inc. Pixel read-out architecture
US6781626B1 (en) * 2000-01-13 2004-08-24 Biomorphic Vlsi, Inc. System and method of color interpolation
US6757012B1 (en) * 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
JP4517493B2 (ja) * 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
JP3988457B2 (ja) * 2001-12-25 2007-10-10 ソニー株式会社 撮像装置及び固体撮像素子の信号処理方法
US6704046B2 (en) * 2002-04-17 2004-03-09 Motorola, Inc. Digital pixel image sensor with independent color channel reference signals
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
JP4311988B2 (ja) 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
JP3974629B2 (ja) * 2003-11-19 2007-09-12 株式会社ナナオ 液晶表示装置の経年変化補償方法、液晶表示装置の経年変化補償装置、コンピュータプログラム及び液晶表示装置
US20050122409A1 (en) 2003-12-08 2005-06-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP2005354610A (ja) * 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
JP2006217441A (ja) * 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 色信号処理方法
US20070145273A1 (en) * 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
JP4967432B2 (ja) * 2006-04-14 2012-07-04 ソニー株式会社 撮像装置およびカメラシステム
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338589B1 (ko) * 2011-12-19 2013-12-06 엘지이노텍 주식회사 픽셀 어레이, 이를 포함하는 이미지 센서 및 그 구동 방법
KR20140023585A (ko) * 2012-08-16 2014-02-27 엘지이노텍 주식회사 이미지 센서 및 그를 갖는 카메라 장치
KR20160065464A (ko) * 2014-12-01 2016-06-09 에스케이하이닉스 주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법

Also Published As

Publication number Publication date
CN101467444A (zh) 2009-06-24
US20100157091A1 (en) 2010-06-24
JP5106870B2 (ja) 2012-12-26
KR101012537B1 (ko) 2011-02-07
JP2008022521A (ja) 2008-01-31
CN101467444B (zh) 2013-02-27
TW200816805A (en) 2008-04-01
TWI371965B (ko) 2012-09-01
WO2007145373A2 (en) 2007-12-21
WO2007145373A3 (en) 2008-03-27
EP2039149A2 (en) 2009-03-25
US7990447B2 (en) 2011-08-02

Similar Documents

Publication Publication Date Title
KR101012537B1 (ko) 고체 이미지 센서
KR101130023B1 (ko) 고체 촬상 소자
US8228407B2 (en) Solid-state image pickup device
EP1977614B1 (en) Image sensor with improved light sensitivity
JP4846608B2 (ja) 固体撮像装置
US6781626B1 (en) System and method of color interpolation
US8711452B2 (en) Processing color and panchromatic pixels
EP1908302B1 (en) Image sensor with improved lightsensitivity
TWI428025B (zh) Image processing apparatus and image processing method, image capturing apparatus and computer program product
EP3038356B1 (en) Exposing pixel groups in producing digital images
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
EP2087725B1 (en) Improved light sensitivity in image sensors
JP5055643B2 (ja) 撮像素子および画像撮像装置
US8013914B2 (en) Imaging apparatus including noise suppression circuit
US6757012B1 (en) Color selection for sparse color image reconstruction
US8094209B2 (en) Imaging signal processing apparatus
EP1389771A2 (en) Digital image system and method for combining demosaicing and bad pixel correction
US20070159542A1 (en) Color filter array with neutral elements and color image formation
JP2008131291A (ja) 撮像装置
JP7442990B2 (ja) 信号処理装置及び信号処理方法
KR102649298B1 (ko) 신호 처리 장치 및 신호 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee