KR101624748B1 - 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치 - Google Patents

고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치 Download PDF

Info

Publication number
KR101624748B1
KR101624748B1 KR1020090121000A KR20090121000A KR101624748B1 KR 101624748 B1 KR101624748 B1 KR 101624748B1 KR 1020090121000 A KR1020090121000 A KR 1020090121000A KR 20090121000 A KR20090121000 A KR 20090121000A KR 101624748 B1 KR101624748 B1 KR 101624748B1
Authority
KR
South Korea
Prior art keywords
color
pixel
filter
pixels
signal
Prior art date
Application number
KR1020090121000A
Other languages
English (en)
Other versions
KR20100066396A (ko
Inventor
이사오 히로타
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008311695A external-priority patent/JP4626706B2/ja
Priority claimed from JP2008311694A external-priority patent/JP4683121B2/ja
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20100066396A publication Critical patent/KR20100066396A/ko
Application granted granted Critical
Publication of KR101624748B1 publication Critical patent/KR101624748B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Abstract

고체 촬상장치는 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에 마련되고, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되고, 나머지 부분에 색정보 성분이 되는 복수의 색이 배열된 색배열을 갖는 색필터부와, 상부에 상기 화소 어레이부를 갖는 기판상에 마련되고, 상기 화소 어레이부의 화소들로부터 출력되고 상기 색필터부의 색배열에 대응한 신호를 베이어 배열에 대응한 신호로 변환하고 상기 변환된 신호를 출력하는 변환 처리부를 구비한다.
고체 촬상 장치

Description

고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치{SOLID-STATE IMAGING DEVICE, METHOD FOR PROCESSING SIGNAL OF SOLID-STATE IMAGING DEVICE, AND IMAGING APPARATUS}
본 발명은 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치에 관한 것이다.
고체 촬상 장치에 있어서, 고감도화를 목적으로 하여, 휘도신호의 주성분이 되는 색, 예를 들면 백색(W ; White)을 이용한 컬러 코딩의 색필터 어레이나 그 신호 처리에 관해, 지금까지 수많은 제안이 이루어져 있다(예를 들면, 일본국 특개2007-287891호 공보 참조). 백색을 이용한 컬러 코딩으로서는 특히 백색을 체크무늬패턴으로 배열한 백색 체크무늬의 컬러 코딩이 많다.
백색을 이용한 색필터 어레이는 종래로부터 널리 사용되어 온 RGB 베이어 배열의 색필터 어레이에 비하여 출력 전압이 높아지기 때문에, 고체 촬상 장치의 고감도화를 도모할 수 있다. 여기서, RGB 베이어 배열(Bayer arrangement)은 녹색(G ; Green)을 체크무늬패턴(checkerboard pattern)으로 배치하고, 나머지 부분에 적색(R ; Red), 청색(B ; Blue)을 체크무늬패턴으로 배열한 컬러 코딩이다.
한편, RGB 베이어 배열의 색필터 어레이를 이용한 고체 촬상 장치에 있어서, RGB의 신호로부터 YUV의 신호(Y : 휘도신호, U, V : 색차신호)로 변환하는 경우 등에는 휘도신호(Y)를 생성하는데 연산 처리가 필요해진다. 그 연산 처리로서, 예를 들면, Y=0.29891×R + 0.58661×G + 0.11448×B의 연산이 행하여진다.
이들의 연산 처리는 일반적으로, 고체 촬상 장치의 기판(센서 칩) 밖에 마련된 DSP(Digital Signal Processor ; 디지털 신호 처리 회로)에서 행하여지고 있다. 따라서 백색을 포함하는 색필터 어레이를 이용한 고체 촬상 장치에서도, 휘도신호(Y)를 생성하는데 연산 처리는 센서 칩 밖의 DSP에서 행하여지게 된다.
그러나, 백색을 포함하는 색필터 어레이를 이용한 고체 촬상 장치의 신호 처리에, 기존의 RGB 베이어 배열용의 DSP를 이용할 수는 없다. 따라서 컬러 코딩을 변경하면, 신규로 DSP의 개발이 필요해진다. 그리고, 이미 보급되어 있는 RGB 베이어 배열용의 DSP를, 백색 체크무늬용의 DSP로 변경하는데는 막대한 개발 비용이 걸린다. 이 개발 비용은 DSP를 포함하는 카메라 모듈의 제품 가격에 반영되기 때문에, 카메라 모듈의 저비용화를 저지하며, 백색을 이용한 컬러 코딩의 보급을 방해하는 하나의 원인으로 되어 있다.
따라서, 본 발명은 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열된 컬러 코딩을 이용하는데 즈음하여, 기존의 RGB 베이어 배열용의 DSP의 사용을 가능하게 한 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치를 제공하는 것을 목적으로 한다.
또한, 색필터 어레이에 휘도신호의 주성분이 되는 백색필터를 이용함으로써, 고체 촬상 장치의 고감도화를 도모할 수 있다. 이 백색필터를 이용한 색필터 어레이에 있어서 또한, 그 색배열 또는 신호 처리에 궁리를 가함으로써, 해상도의 저하를 억제하면서, 즉 해상도를 대폭 떨어뜨리지 않고서, 감도를 올릴 수 있다.
따라서, 본 발명은 해상도를 대폭 떨어뜨리지 않고서, 감도를 올릴 수 있는 신규 색배열의 색필터 어레이를 갖는 고체 촬상 장치, 상기 고체 촬상 장치의 신호 처리 방법 및 상기 고체 촬상 장치를 갖는 촬상 장치를 제공하는 것을 목적으로 한 다.
상기 목적을 달성하기 위해, 본 발명은 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되고, 나머지 부분에 색정보 성분이 되는 복수의 색이 배열된 색배열을 갖는 색필터부를 갖는 고체 촬상 장치에 있어서, 상기 화소 어레이부의 각 화소로부터 출력되는 상기 색필터부의 색배열에 대응한 신호를, 상기 화소 어레이부와 같은 기판상에서 베이어 배열에 대응한 신호로 변환하는 구성을 채택하고 있다.
상기 구성의 고체 촬상 장치에 있어서, 체크무늬패턴으로 배열된 색이 휘도신호의 주성분이 되는 색이기 때문에, 상기 주성분이 되는 색의 신호를 이용하여 그 상하좌우의 다른 색의 신호를 복원할 수 있다. 따라서 색필터부의 색배열에 대응한 신호를 베이어 배열에 대응한 신호로 변환할 때의 변환 효율을 높힐 수 있다. 그리고, 화소 어레이부가 형성된 기판(센서 칩)으로부터 베이어 배열에 대응한 신호가 출력되기 때문에, 후단의 신호 처리부로서 기존의 베이어 배열용의 DSP를 이용할 수 있다.
상기 목적을 달성하기 위해, 본 발명은 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에 마련되고, 휘도신호의 주성분이 되는 제 1색의 필터가 체크무늬패턴으로 배열되고, 휘도신호의 주성분이 되는 제 2색의 필터가 대각방향, 종방향 또는 횡방향에 있어서 4화소 단위로 스트라이프패턴으로 배열된 색배열을 갖는 색필터부를 갖는 고체 촬상 장치에 있어서, 상기 화소 어레이부의 각 화소로부터 출 력되는 상기 색필터부의 색배열에 대응한 신호에 대해, 상기 제 1색의 필터의 화소에 인접하는 상기 제 2색의 필터의 화소의 신호를 상기 제 1색의 필터의 화소의 신호에 가산하는 처리를 행하는 구성을 채택하고 있다.
휘도신호의 주성분이 되는 제 1색, 제 2색의 필터는 다른 색의 필터에 비교하여 감도가 높다. 따라서 제 1색의 필터가 체크무늬패턴으로 배열되고, 제 2색의 필터가 대각방향, 종방향 또는 횡방향에 있어서 4화소 단위로 스트라이프패턴으로 배열된 색배열에 있어서, 제 1색의 필터의 화소에 인접하는 제 2색의 필터의 화소의 신호를 제 1색의 필터의 화소의 신호에 가산하여 휘도신호의 주성분으로 함으로써 휘도신호량이 증대한다.
본 발명에 의하면, 컬러 코딩을 변경하여도, 기존의 RGB 베이어 배열용의 DSP를 이용할 수 있기 때문에, 막대한 개발 비용이 걸리는 DSP를 신규로 개발할 필요가 없어진다.
본 발명에 의하면, 제 1색의 필터의 화소에 인접하는 제 2색의 필터의 화소의 신호를 제 1색의 필터의 화소의 신호에 가산하여 휘도신호의 주성분으로 이용함으로써, 휘도신호량을 증대시킬 수 있기 때문에, 해상도를 대폭 떨어뜨리지 않고서 감도를 올릴 수 있다.
이하, 발명을 실시하기 위한 최선의 형태에 관해 도면을 이용하여 상세히 설명한다. 또한, 설명은 이하의 차례로 행한다.
1. 실시 형태
1-1. 시스템 구성
1-2. 색필터 어레이의 컬러 코딩
1-3. 컬러 코딩의 구체예
1-4. W:G:R:B의 감도비
1-5. 색변환 처리
2. 적용예(촬상 장치)
<1. 실시 형태>
1-1. 시스템 구성
도 1은 본 발명의 한 실시 형태에 관한 고체 촬상 장치, 예를 들면 X-Y 어드레스형 고체 촬상 장치의 일종인 CMOS 이미지 센서의 구성의 개략을 도시하는 시스템 구성도이다.
본 실시 형태에 관한 CMOS 이미지 센서(10)는 반도체 기판(이하, 「센서 칩」이라고 한다)(11)상에 형성된 화소 어레이부(12)와, 상기 화소 어레이부(12)와 같은 반도체 기판(11)상에 집적된 주변 회로부를 갖는 구성으로 되어 있다. 주변 회로부로서는 예를 들면, 수직 구동부(13), 칼럼 처리부(14), 수평 구동부(15), 변환 처리부(16) 및 시스템 제어부(18)가 마련되어 있다.
화소 어레이부(12)에는 입사하는 가시광을 그 광량에 응한 전하량으로 광전변환하는 광전변환 소자를 포함하는 도시하지 않은 단위 화소(이하, 「화소」라고 한다)이 행렬형상으로 2차원 배치되어 있다. 단위 화소의 구체적인 회로 구성에 관 해서는 후술한다. 이 화소 어레이부(12)의 수광면(광입사면)측에는 색필터 어레이(30)가 마련되어 있다. 본 실시 형태에서는 이 색필터 어레이(30)의 컬러 코딩을 특징의 하나로 하고 있고, 그 상세에 관해는 후술한다.
또한, 화소 어레이부(12)에는 행렬형상의 화소 배열에 대해 행마다 화소 구동선(18)이 도면의 좌우 방향(화소행의 화소 배열 방향/수평 방향)에 따라 배선되고, 열마다 수직 신호선(19)이 도면의 상하 방향(화소열의 화소 배열 방향/수직 방향)에 따라 형성되어 있다. 도 1에서는 화소 구동선(18)에 관해 1개로서 나타내고 있지만, 1개로 한정되는 것이 아니다. 화소 구동선(18)의 일단은 수직 구동부(13)의 각 행에 대응한 출력단에 접속되어 있다.
수직 구동부(13)는 시프트 레지스터나 어드레스 디코더 등에 의해 구성되어 있다. 여기서는 구체적인 구성에 관해서는 도시를 생략하지만, 수직 구동부(13)는 판독 주사계와 소출(sweeping) 주사계를 갖는 구성으로 되어 있다. 판독 주사계는 신호를 판독하는 단위 화소에 대해 행 단위로 차례로 선택 주사를 행한다.
한편, 소출 주사계는 판독 주사계에 의해 판독 주사가 행하여지는 판독 행에 대해, 그 판독 주사보다도 셔터 스피드의 시간분만큼 선행하여 상기 판독 행의 단위 화소의 광전변환 소자로부터 불필요한 전하를 쓸어내는(리셋하는) 소출 주사를 행한다. 이 소출 주사계에 의한 불필요 전하의 쓸어냄(리셋)에 의해, 이른바 전자 셔터 동작이 행하여진다. 여기서, 전자 셔터 동작이란, 광전변환 소자의 광전하를 버리고, 새롭게 노광을 시작하는(광전하의 축적을 시작하는) 동작을 말한다.
판독 주사계에 의한 판독 동작에 의해 판독되는 신호는 그 직전의 판독 동작 또는 전자 셔터 동작 이후에 입사한 광량에 대응하는 것이다. 그리고, 직전의 판독 동작에 의한 판독 타이밍 또는 전자 셔터 동작에 의한 소출 타이밍부터, 금회의 판독 동작에 의한 판독 타이밍까지의 기간이 단위 화소에 있어서의 광전하의 축적 시간(노광 시간)이 된다.
수직 구동부(13)에 의해 선택 주사된 화소행의 각 단위 화소로부터 출력되는 신호는 수직 신호선(19)의 각각을 통하여 칼럼 처리부(14)에 공급된다. 칼럼 처리부(14)는 화소 어레이부(12)의 화소열마다, 선택행의 각 화소로부터 출력되는 아날로그의 화소 신호에 대해 미리 정해진 신호 처리를 행한다.
칼럼 처리부(14)에서의 신호 처리로서는 예를 들면 CDS(Correlated Double Sampling ; 상관 이중 샘플링) 처리를 들 수 있다. CDS 처리는 선택행의 각 화소로부터 출력되는 리셋 레벨과 신호 레벨을 받아들이고, 이들의 레벨 차를 취함에 의해 1행분의 화소의 신호를 얻음과 함께, 화소의 고정 패턴 노이즈를 제거하는 처리이다. 칼럼 처리부(14)에, 아날로그의 화소 신호를 디지털화하는 A/D 변환 기능을 갖게 하는 경우도 있다.
예를 들면, 수평 구동부(15)는 시프트 레지스터나 어드레스 디코더 등에 의해 구성되고, 칼럼 처리부(14)의 화소열에 대응한 회로 부분을 순번대로 선택 주사한다. 이 수평 구동부(15)에 의한 선택 주사에 의해, 칼럼 처리부(14)에서 화소열마다 신호 처리된 화소 신호가 순번대로 출력된다.
변환 처리부(16)는 화소 어레이부(12)의 각 화소로부터 출력되는 선술한 색필터 어레이(색필터부)(30)의 색배열에 대응한 신호를, 연산 처리에서 베이어 배열 에 대응한 신호로 변환하는 처리를 행한다. 본 실시 형태에서는 이 변환 처리부(16)를 화소 어레이부(12)와 같은 기판, 즉 센서 칩(11)상에 마련하고, 상기 센서 칩(11)상에서 색변환 처리를 행하여 베이어 배열에 대응한 신호를 센서 칩(11) 밖으로 출력하는 점을 또하나의 특징으로 하고 있다. 변환 처리부(16)에서의 구체적인 변환 처리의 상세에 관해서는 후에 상세히 설명한다.
여기서, 베이어 배열이란, 주지하는 바와 같이 고해상도가 필요한 휘도신호의 주성분이 되는 색을 체크무늬패턴으로 배열하고, 나머지 부분에 비교적 해상도가 요구되지 않는 색정보 성분이 되는 2종류의 색을 체크무늬패턴으로 배열한 색배열을 말한다. 베이어 배열의 기본형으로서는 휘도신호가 기여하는 비율이 큰 녹색(G)을 체크무늬패턴으로 배열하고, 나머지 부분에 R(적색)/B(청색)를 체크무늬패턴으로 배열한 색배열의 컬러 코딩을 들 수 있다.
시스템 제어부(17)는 센서 칩(11)의 외부로부터 주어지는 클록이나, 동작 모드를 지령하는 데이터 등을 수취하고, 또한, 본 CMOS 이미지 센서(10)의 내부 정보 등의 데이터를 출력한다. 시스템 제어부(17)는 나아가서는 각종의 타이밍 신호를 생성하는 타이밍 제너레이터를 가지며, 상기 타이밍 제너레이터에서 생성된 각종의 타이밍 신호를 기초로 수직 구동부(13), 칼럼 처리부(14), 수평 구동부(14) 및 변환 처리부(16) 등의 구동 제어를 행한다.
(단위 화소의 회로 구성)
도 2는 단위 화소(20)의 회로 구성의 한 예를 도시하는 회로도이다. 도 2에 도시하는 바와 같이 본 회로예에 관한 단위 화소(20)는 광전변환 소자, 예를 들면 포토 다이오드(21)와, 예를 들면 전송 트랜지스터(22), 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)의 4개의 트랜지스터를 갖는 구성으로 되어 있다.
여기서는 4개의 트랜지스터(22 내지 25)로서, 예를 들면 N채널의 MOS 트랜지스터를 이용하고 있다. 단, 여기서 예시한 전송 트랜지스터(22), 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)의 도전형의 조합은 한 예에 지나지 않고, 이들의 조합으로 한정되는 것이 아니다.
예를들면, 이 단위 화소(20)에 대해, 화소 구동선(18)으로서, 예를 들면, 전송선(181), 리셋선(182) 및 선택선(183)의 3개의 구동 배선이 동일 화소행의 각 화소에 대해 공통으로 마련되어 있다. 이들 전송선(181), 리셋선(182) 및 선택선(183)의 각 일단은 수직 구동부(13)의 각 화소행에 대응한 출력단에, 화소행 단위로 접속되어 있다.
포토 다이오드(21)는 애노드 전극이 부측 전원(예를 들면, 그라운드)에 접속되어 있고, 수광한 광을 그 광량에 응한 전하량의 광전하(여기서는 광전자)에서 광전변환한다. 포토 다이오드(21)의 캐소드 전극은 전송 트랜지스터(22)를 통하여 증폭 트랜지스터(24)의 게이트 전극과 전기적으로 접속되어 있다. 증폭 트랜지스터(24)의 게이트 전극과 전기적으로 연결된 노드(26)를 FD(플로팅 디퓨전)부라고 부른다.
전송 트랜지스터(22)는 포토 다이오드(21)의 캐소드 전극과 FD부(26) 사이에 접속되어 있다. 전송 트랜지스터(22)의 게이트 전극에는 고레벨(예를 들면, Vdd 레 벨)가 액티브(이하, 「High 액티브」라고 기술한다)의 전송 펄스(φTRF)가 전송선(181)을 통하여 주어진다. 전송 펄스(φTRF)가 주어짐으로써, 전송 트랜지스터(22)는 온 상태가 되어 포토 다이오드(21)에서 광전변환된 광전하를 FD부(26)에 전송한다.
리셋 트랜지스터(23)는 드레인 전극이 화소 전원(Vdd)에, 소스 전극이 FD부(26)에 각각 접속되어 있다. 리셋 트랜지스터(23)의 게이트 전극에는 포토 다이오드(21)로부터 FD부(26)에의 신호 전하의 전송에 앞서서, High 액티브의 리셋 펄스(φRST)가 리셋선(182)을 통하여 주어진다. 리셋 펄스(φRST)가 주어짐으로써, 리셋 트랜지스터(23)는 온 상태가 되고, FD부(26)의 전하를 화소 전원(Vdd)에 버림에 의해 상기 FD부(26)를 리셋한다.
증폭 트랜지스터(24)는 게이트 전극이 FD부(26)에, 드레인 전극이 화소 전원(Vdd)에 각각 접속되어 있다. 그리고, 증폭 트랜지스터(24)는 리셋 트랜지스터(23)에 의해 리셋한 후의 FD부(26)의 전위를 리셋 신호(리셋 레벨)(Vreset)로서 출력한다. 증폭 트랜지스터(24)는 또한, 전송 트랜지스터(22)에 의해 신호 전하를 전송한 후의 FD부(26)의 전위를 광 축적 신호(신호 레벨)(Vsig)로서 출력한다.
선택 트랜지스터(25)는 예를 들면, 드레인 전극이 증폭 트랜지스터(24)의 소스 전극에, 소스 전극이 수직 신호선(17)에 각각 접속되어 있다. 선택 트랜지스터(25)의 게이트 전극에는 High 액티브의 선택 펄스(φSEL)가 선택선(163)을 통하여 주어진다. 선택 펄스(φSEL)가 주어짐으로써, 선택 트랜지스터(25)는 온 상태가 되어 단위 화소(20)을 선택 상태로 하여, 증폭 트랜지스터(24)로부터 출력되는 신 호를 수직 신호선(17)에 중계한다.
또한, 선택 트랜지스터(25)에 관해서는 화소 전원(Vdd)과 증폭 트랜지스터(24)의 드레인 사이에 접속한 회로 구성을 채택하는 것도 가능하다.
또한, 단위 화소(20)로서는 상기 구성의 4개의 트랜지스터로 이루어지는 화소 구성의 것으로 한정되는 것이 아니다. 예를 들면, 증폭 트랜지스터(24)와 선택 트랜지스터(25)를 겸용한 3개의 트랜지스터로 이루어지는 화소 구성의 것 등이라도 좋고, 그 화소 회로의 구성은 묻지 않는다.
그런데, 일반적으로, 동화 촬상일 때는 프레임 레이트를 올리기 위해, 인접하는 복수의 화소의 신호를 가산하여 판독하는 화소 가산이 행하여진다. 화소 내나, 신호선상이나, 칼럼 처리부(14)나, 후단의 신호 처리부에서 행할 수 있다. 여기서, 한 예로서, 예를 들면 상하좌우에 인접하는 4화소의 신호를 화소 내에서 가산하는 경우의 화소 구성에 관해 설명한다.
도 3은 인접 4화소 가산을 화소 내에서 행하는 경우의 회로 구성의 한 예를 도시하는 회로도이고, 도면중, 도 2와 동등 부분에는 동일 부호를 붙이고 나타내고 있다.
도 3에서, 상하좌우에 인접하는 4화소의 포토 다이오드(21)를, 포토 다이오드(21-1, 21-2, 21-3, 21-4)라고 한다. 이들 포토 다이오드(21-1, 21-2, 21-3, 21-4)에 대해, 4개의 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)가 마련되고, 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)가 1개씩 마련되어 있다.
즉, 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)는 각 한쪽의 전극이 포토 다이오드(21-1, 21-2, 21-3, 21-4)의 각 캐소드 전극에 접속되고, 각 다른쪽의 전극이 증폭 트랜지스터(24)의 게이트 전극에 공통으로 접속되어 있다. 이 증폭 트랜지스터(24)의 게이트 전극에는 포토 다이오드(21-1, 21-2, 21-3, 21-4)에 대해 공통의 FD부(26)가 전기적으로 접속되어 있다. 리셋 트랜지스터(23)는 드레인 전극이 화소 전원(Vdd)에, 소스 전극이 FD부(26)에 각각 접속되어 있다.
상기 구성의 인접 4화소 가산에 대응한 화소 구성에 있어서, 4개의 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 대해 같은 타이밍에서 전송 펄스(φTRF)를 줌으로써, 인접하는 4화소 사이에서의 화소 가산을 실현할 수 있다. 즉, 포토 다이오드(21-1, 21-2, 21-3, 21-4)로부터 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 의해 FD부(26)에 전송된 신호 전하는 상기 FD부(26)에서 가산되게 된다.
한편, 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 대해 다른 타이밍에서 전송 펄스(φTRF)를 줌으로써, 화소 단위로의 신호 출력도 실현할 수 있다. 즉, 동화 촬상시에는 화소 가산을 행함에 의해 프레임 레이트의 향상을 도모할 수 있음에 대해, 정지화 촬상시에는 전 화소의 신호를 독립하여 판독함으로써, 해상도의 향상을 도모할 수 있다.
[1-2. 색필터 어레이의 컬러 코딩]
계속해서, 본 실시 형태의 특징의 하나로 하고 있는 색필터 어레이(30)의 컬러 코딩에 관해 설명한다.
본 실시 형태에 관한 색필터 어레이(30)는 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되고, 나머지 부분에 색정보 성분이 되는 복수의 색이 배열된 색배열의 컬러 코딩으로 되어 있다. 여기서, 휘도신호의 주성분이 되는 색으로서는 백색(W), 녹색(G), 휘도분광 등을 들 수 있다.
W필터는 G필터의 2배 정도로 감도가 높기(출력 레벨이 높기) 때문에, 고S/N을 실현할 수 있다. 단, W필터는 각종의 색정보를 포함하고 있기 때문에, 피사체의 본래의 색과는 다른 색을 재현하는 이른바 색위(false color)가 나오기 쉽다. 역으로, G필터는 W필터에 비하여 감도가 낮은 것이지만, 색위가 나오기 어렵다. 즉, 감도와 색위는 트레이드 오프의 관계에 있다.
W필터를 휘도신호의 주성분이 되는 색으로서 체크무늬패턴으로 배열하는 경우는 나머지 부분에 배열되는 색정보 성분이 되는 복수의 색의 필터는 R/G/B의 각각의 필터가 된다. 한편, G필터를 휘도신호의 주성분이 되는 색으로서 체크무늬패턴으로 배열하는 경우는 나머지 부분에 배열되는 색정보 성분이 되는 복수의 색의 필터는 R/B의 각각의 필터가 된다.
이와 같이 색필터 어레이(30)로서, W필터가 휘도신호의 주성분이 되는 색으로서 체크무늬패턴으로 배열된 컬러 코딩의 것을 이용함으로써, 상기 W필터의 감도가 다른 색에 비하여 높기 때문에, CMOS 이미지 센서(10)의 고감도화를 도모할 수 있다. 한편, 색필터 어레이(30)로서, G필터가 휘도신호의 주성분이 되는 색으로서 체크무늬패턴으로 배열된 컬러 코딩의 것을 이용함으로써, 상기 G필터가 W필터에 비하여 색위가 나오기 어렵기 때문에, CMOS 이미지 센서(10)의 색 재현성의 향상을 도모할 수 있다.
그리고, 어느 컬러 코딩의 색필터 어레이(30)를 이용하는 경우에도, 이들의 색배열에 대응한 신호를, 센서 칩(11)상에서 베이어 배열에 대응한 신호로 변환하도록 한다. 이 때, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되어 있음으로써, 상기 주성분이 되는 색의 신호를 이용하여 그 상하좌우의 다른 색의 신호를 복원할 수 있기 때문에, 변환 처리부(16)로의 색변환의 변환 효율을 높힐 수 있다.
또한, 센서 칩(11)으로부터 베이어 배열에 대응한 신호가 출력되기 때문에, 후단의 신호 처리부로서 기존의 베이어 배열용의 DSP를 이용할 수 있다. 이 베이어 배열용의 DSP는 센서 칩(11)으로부터 출력되는 베이어 배열에 대응한 신호를 기초로 휘도신호(Y) 및 2개의 색차신호(U(B-Y), V(R-Y))를 생성하는 처리를 기본적인 처리로 하고 있다.
이와 같이 기존의 베이어 배열용의 DSP를 이용할 수 있기 때문에, 색필터 어레이(30)의 컬러 코딩을 변경하여도, 막대한 개발 비용이 걸리는 DSP를 신규로 개발할 필요가 없어진다. 이로써, DSP를 포함하는 카메라 모듈의 저비용화 및 특히 W필터를 이용한 컬러 코딩의 색필터 어레이(30)의 보급에 기여할 수 있게 된다.
[1-3. 색필터 어레이의 컬러 코딩의 구체예]
다음에, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열된 색배열에 대응한 신호로부터, RGB 베이어 배열에 대응한 신호로의 변환이 용이한 컬러 코딩의 구체예에 관해 설명한다.
(제 1 구체예)
도 4는 제 1 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 4에 도시하는 바와 같이 제 1 구체예에 관한 컬러 코딩은 출력 레벨이 가장 높아지는 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 또한 R/B의 각각의 필터 사이가 1화소 만큼 대각으로 어긋나고, G필터는 체크무늬패턴의 나머지 영역에 배치되어 있다.
구체적으로는 세로 4화소, 가로 4화소를 단위로 하였을 때에, W필터가 체크무늬패턴으로 배열되어 있다. R필터는 2행째의 1열째와 4행째의 3열째에 배치되고, B필터는 1행째의 2열째와 3행째의 4열째에 배치되어 있다. 이러한 배열이 종횡방향 2화소 피치의 체크무늬패턴 배열이다. 그리고, 체크무늬패턴의 나머지 영역에 G필터가 배치되어 있다. 이 때, G필터는 대각 스트라이프패턴을 형성한다.
(제 2 구체예)
도 5는 제 2 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 5에 도시하는 바와 같이 제 2 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 또한 R/B의 각각의 필터 사이가 1화소 만큼 대각으로 어긋나고, 체크무늬팬턴의 나머지 영역에 G필터가 배열된다.
구체적으로는 세로 4화소, 가로 4화소를 단위로 하였을 때에, W필터가 체크무늬패턴으로 배열되어 있다. R필터는 2행째의 3열째에 배치되고, B필터는 3행째의 2열째에 배치되어 있다. 이러한 배열이 종횡방향 4화소 피치의 정사각 배열이다. 그리고, 체크무늬패턴의 나머지 위치에 G필터가 배치되어 있다. 이 때, G필터는 대 각 스트라이프패턴을 형성한다.
(제 3 구체예)
도 6은 제 1 실시 형태의 제 3 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 6에 도시하는 바와 같이 제 3 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 또한 R/B의 각각의 필터 사이가 2화소 대각으로 어긋나고, 체크무늬패턴의 나머지 영역에 G필터가 배열된다.
구체적으로는 세로 4화소, 가로 4화소를 단위로 하였을 때에, W필터가 체크무늬패턴으로 배열되어 있다. R필터는 2행째의 1열째에 배치되고, B필터는 4행째의 3열째에 배치되어 있다. 이러한 배열이 종횡방향 4화소 피치의 정사각 배열이다. 그리고, 체크무늬패턴의 나머지 위치에 G필터가 배치되어 있다. 이 때, G필터는 대각 스트라이프패턴을 형성한다.
(제 4 구체예)
도 7은 제 4 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 7에 도시하는 바와 같이 제 4 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 또한 R/B의 각각의 필터 사이가 2화소 대각으로 어긋나고, G필터는 체크무늬패턴의 나머지 영역에 배열된다.
구체적으로, 세로 4화소, 가로 4화소를 단위로 하였을 때에, W필터가 체크무늬패턴으로 배열된다. R필터는 1행째의 2열째와 3행째의 4열째에 배치되고, B필터 는 3행째의 2열째와 1행째의 4열째에 배치되어 있다. 이러한 배열이 종횡방향 2화소 피치의 체크무늬패턴 배열이다. 그리고, 체크무늬패턴의 나머지 위치에 G필터가 배치되어 있다.
(제 5 구체예)
도 8은 제 5 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 8에 도시하는 바와 같이 제 5 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 2화소 피치의 정사각 배열로 되고, 또한 R/B의 각각의 필터 사이가 대각 1화소 벗어남으로 되어 있다.
구체적으로는 세로 4화소, 가로 4화소를 단위로 하였을 때에, W필터가 체크무늬패턴으로 배열되어 있다. R필터는 2행째 및 4행째의 1열째 및 3열째에 배치되고, B필터는 1행째 및 3행째의 2열째 및 4열째에 배치되어 있다. 이러한 배열이 종횡방향 2화소 피치의 정사각 배열이다.
(제 6 구체예)
도 9는 제 6 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 9에 도시하는 바와 같이 제 6 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 또한 R/B의 각각의 필터 사이가 대각방향으로 2화소 단위로 나열하고, G필터는 체크무늬패턴의 나머지 영역에 배치되어 있다.
구체적으로는 세로 4화소, 가로 4화소를 단위로 하였을 때에, W필터가 체크무늬패턴으로 배열되어 있다. R필터는 3행째의 4열째와 4행째의 3열째에 배치되고, B필터는 1행째의 2열째와 2행째의 1열째에 배치되어 있다. 이러한 배열이 종횡방향 4화소 피치의 정사각 배열이다. 그리고, 체크무늬패턴의 나머지 위치에 G필터가 배치되어 있다. 이 때, G필터는 대각 스트라이프패턴을 형성한다.
상술한 제 1 내지 제 6 구체예에 관한 컬러 코딩은 모두, 출력 레벨이 가장 높아지는 휘도신호의 주성분이 되는 색필터로서, W필터가 체크무늬패턴으로 배열된 색배열로 되어 있다. W필터가 체크무늬패턴으로 배열되어 있음으로써, W필터는 R/G/B의 각 색 성분을 포함하고 있기 때문에, RGB 베이어 배열에 대응한 신호로의 변환 정밀도를 높일 수 있다.
이들의 컬러 코딩에서는 후술하는 색변환 처리에 있어서, W필터의 화소에 대해 G필터로 치환한 때에, R/B의 각각의 필터가 베이어 배열에 있어서의 R/B의 각각의 필터의 위치의 일부에 합치하는 것을 장점으로 하고 있다. 그리고, 합치하지 않는 빠진 부분에 대해서는 W필터의 화소의 정보를 이용함으로써, R/B의 각 화소의 정보를 복원할 수 있기 때문에 변환 효율이 매우 좋다고 말할 수 있다.
또한, 제 1 구체예 내지 제 3 구체예 및 제 6 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, 또한 G필터의 일부가 4화소 단위로 대각방향으로 스트라이프패턴으로 배열되어 있는 것을 장점으로 하고 있다. 이 컬러 코딩에 있어서, W필터의 화소에 인접하는 G필터의 화소의 신호를 W필터의 화소의 신호에 가산하여 휘도신호의 주성분으로 함으로써, 휘도신호량을 증대시킬 수 있기 때문에, 감도(S/N)의 향상을 도모할 수 있다.
그리고, 특히 제 1 구체예에 관한 컬러 코딩인 경우에는 R/B의 각각의 필터 가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, R/B의 각각의 필터 사이가 대각 1화소 어긋난 배열이기 때문에, 베이어 배열에 대응한 신호로의 변환 효율을 높일 수 있다. 또한, 제 2 구체예에 관한 컬러 코딩인 경우에는 R/B의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, R/B의 각각의 필터 사이가 대각 1화소 어긋난 배열이기 때문에 변환 효율을 높게 유지할 수 있다. 제 2 구체예에 관한 컬러 코딩인 경우는 또한, G필터가 많기 때문에 G의 변환 효율을 높일 수 있다.
또한, 제 1, 제 6 구체예에 관한 컬러 코딩은 G필터가 대각방향으로 4화소 단위로 스트라이프 배열로 되어 있다. 따라서 이들의 컬러 코딩인 경우에는 후술하는 색변환 처리에 있어서, W화소에 인접하는 하나 또는 2개의 G화소의 신호를 상기 W화소의 신호에 가산하여 휘도신호의 주성분으로 이용함으로써, 해상도의 저하를 억제하면서 고감도화(고S/N화)를 실현할 수 있다. 이 작용 효과에 관해서는 G필터가 대각방향으로 4화소 단위로 스트라이프 배열로 되어 있는 경우로 한하지 않고, 종방향 또는 횡방향에 있어서 4화소 단위로 스트라이프패턴으로 배열되어 있는 경우에도 마찬가지의 것을 말할 수 있다.
(제 7 구체예)
도 10은 제 7 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 10에 도시하는 바와 같이 제 7 구체예에 관한 컬러 코딩은 휘도신호의 주성분이 되는 색필터로서 G필터가 체크무늬 배치되고, R/B의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 또한 R/B의 각각의 필터 사이가 2화소 대각으로 어긋나고, 나머지가 W필터로 되어 있다.
구체적으로는 세로 4화소, 가로 4화소를 단위로 하였을 때에, G필터가 체크무늬패턴으로 배열되어 있다. R필터는 1행째의 1열째와 3행째의 3열째에 배치되고, B필터는 1행째의 3열째와 3행째의 1열째에 배치되어 있다. 이러한 배열이 종횡방향 2화소 피치의 체크무늬패턴 배열이다. 그리고, 체크무늬패턴의 나머지 위치에 W필터가 배치되어 있다.
이상 설명한 제 1 내지 제 7 구체예에 관한 컬러 코딩은 휘도신호의 주성분이 되는 색필터로서 W필터 또는 G필터가 체크무늬패턴으로 배열된 구성으로 되어 있다. 단, 센서 칩(11)상의 변환 처리부(16)에서 RGB 베이어 배열에 대응한 신호로의 변환이 용이한 컬러 코딩으로서는 W필터 또는 G필터가 체크무늬 배치된 구성의 것으로 한정되지 않는다. 이하에, W필터 또는 G필터가 체크무늬 배치되지 않은 컬러 코딩에 관해, 제 8 구체예 및 제 9 구체예로서 설명한다.
(제 8 구체예)
도 11은 제 8 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 11에 도시하는 바와 같이 제 8 구체예에 관한 컬러 코딩은 2×2화소마다 WRGB의 각각의 필터로 구성되고, 종횡방향 2화소 피치의 배열로 되어 있다. 구체적으로는 W필터가 짝수행의 짝수열에 배치되고, R필터가 짝수행의 홀수열에 배치되고, G필터가 홀수행의 홀수열에 배치되고, B필터가 홀수행의 짝수열에 배치되어 있다.
(제 9 구체예)
도 12는 제 9 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 12에 도시하는 바와 같이 제 9 구체예에 관한 컬러 코딩은 RGB의 각각의 필터가 각각 2 ×2화소 단위로 같은 색의 베이어 배열로 되어 있다. 구체적으로는 G필터가 1행째, 2행째의 1열째, 2열째와 3행째, 4행째의 3열째, 4열째에 배치되고, B필터가 1행째, 2행째의 3열째, 4열째에 배치되고, R필터가 3행째, 4행째의 1열째, 2행째에 배치되어 있다.
[1-4. W:G:R:B의 감도비]
여기서, W:G:R:B의 감도비에 관해 설명한다. W필터를 포함하는 컬러 코딩에서는 출력 신호 레벨이 높은 W필터의 화소가 다른 색필터의 화소보다도 빨리 포화되어 버린다. 따라서 W필터의 화소의 감도를 떨어뜨리고, 상대적으로 다른 색필터의 화소의 감도를 올림으로써, W:G:R:B의 각 화소 사이에서 감도의 밸런스를 취하는 즉 W:G:R:B의 각 화소의 감도비를 조정할 필요가 있다.
이 감도비의 조정으로는 주지의 노광 제어의 기술을 이용할 수 있다. 구체적으로는 색필터 어레이(30)의 외측에 화소 단위로 마련되는 온 칩 마이크로 렌즈의 사이즈를 조정함으로써, 각 색의 화소 사이에서 입사광량이 밸런스를 취하는 기술이 있다(예를 들면, 특개평9-116127호 공보 등 참조). 이 기술을 활용하여, W화소의 온 칩 마이크로 렌즈의 사이즈를 다른 색의 화소보다 작게 함으로써, W필터의 화소의 감도를 떨어뜨리고, 상대적으로 다른 색필터의 화소의 감도를 올릴 수 있다.
다른 노광 제어의 기술로서, W필터를 포함하는 컬러 코딩에 있어서, W화소의 온 칩 마이크로 렌즈를 없앰으로써, 감도차를 줄이는 동시에, 색감도를 올려서 색 S/N을 개선하는 기술이 있다(예를 들면, 특개2007-287891호 공보 등 참조). 이 기 술을 활용함에 의해서도, W필터의 화소의 감도를 떨어뜨리고, 상대적으로 다른 색필터의 화소의 감도를 올릴 수 있다.
또한, R/B의 각각의 필터의 화소의 노광 시간에 비하여, G필터의 화소의 노광 시간을 단축하는 셔터 노광 제어를 행함으로써 색 밸런스가 깨지는 것을 방지하는 기술이 있다(예를 들면, 특개2003-60992호 공보 참조). 이 셔터 노광 제어의 기술을 수광면적의 제어와 조합시킴에 의해서도, W필터의 화소의 감도를 떨어뜨리고, 상대적으로 다른 색필터의 화소의 감도를 올릴 수 있음과 함께, 특히 동체(moving subject)의 윤곽 부분에서의 착색을 없일 수 있다. 그 결과, 외부의 신호 처리부(DSP)에서의 색 없앰 처리가 불필요해진다.
또한, 여기서 들은 감도비의 조정에 활용하는 노광 제어의 기술은 한 예에 지나지 않고, 상기한 예로 한정되는 것이 아니다.
여기서, W화소의 온 칩 마이크로 렌즈의 사이즈를 조정하는 경우의 사이즈에 관해 한 예를 나타낸다. W/G/B/R의 각 화소의 출력 레벨의 대강의 비율은 W : G : B : R=2 : 1 : 0.5 : 0.5이다.
W화소의 온 칩 마이크로 렌즈에 관해, 1.1㎛ 화소에서 ±0.1㎛ 사이징으로, 2배의 면적차가 되기 때문에, 2배의 감도차로, 같은 사이즈 때에 W화소의 출력 레벨=G화소의 출력 레벨×2이였던 것을 완전히 같은 레벨로 보정할 수 있다. 1.1㎛ 화소에서 ±0.05㎛ 사이징이라도, 1.42배의 면적차가 되기 때문에, 감도차를 1.42배로 줄일 수 있다. 이 때, 나머지 차분(감도차)에 대해서는 셔터 노광 제어와의 병용에 의해 보정하도록 하여도 좋다.
[1-5. 색변환 처리]
다음에, 변환 처리부(16)에 의한 색변환 처리에서 RGB 베이어 배열에 대응한 신호로 변환하는 처리(색변환 처리)의 상세에 관해 설명한다.
색변환 처리에 관해서는 모든 화소를 주사하는 정지화 촬상시(풀 스캔시)의 색변환 처리와, 인접하는 복수의 화소의 신호를 가산하는 동화 촬상시(화소 가산시)의 색변환 처리로 나뉘어진다. 제 1 구체예 및 제 6 구체예에 관한 컬러 코딩인 경우에는 선술한 바와 같이 고감도화를 실현 가능한 색변환 처리이고, 저조도 모드를 취할 수 있기 때문에, 풀 스캔시의 색변환 처리에 관해 2개의 색변환 처리로 나눌 수 있다.
2개의 색변환 처리의 하나는 입사광 휘도가 미리 정해진 기준 휘도 보다도 높은 고휘도시의 색변환 처리이고, 이것을 색변환 처리(1)라고 부르기로 한다. 다른 하나는 기준 휘도 이하의 저휘도시의 색변환 처리이고, 이것을 색변환 처리(2)라고 부르기로 한다. 또한, 화소 가산시의 색변환 처리에 관해서도, 가산하는 화소의 조합의 차이 등에 의해 복수의 색변환 처리로 나눌 수 있다.
또한, 제 1, 제 6 구체예 이외의 구체예에 관한 컬러 코딩인 경우에 있어서의 풀 스캔시의 색변환 처리에 관해서는 저조도 모드를 채택할 수가 없기 때문에, 고조도 모드만을 채택하게 된다. 즉, 제 2 내지 제 5 구체예 및 제 7 내지 제 9 구체예에 관한 컬러 코딩인 경우에 있어서의 풀 스캔시의 색변환 처리는 제 1, 제 6 구체예에 관한 컬러 코딩인 경우의 고휘도시의 색변환 처리(1)에 대응하는 것으로 한다.
(제 1 구체예에 관한 컬러 코딩인 경우)
우선, 제 1 구체예에 관한 컬러 코딩인 경우의 색변환 처리에 관해 설명한다. 최초에, 풀 스캔시에 있어서의 고휘도시의 색변환 처리(1)에 관해, 도 13의 플로우 차트 및 도 14의 개념도를 이용하여 설명한다.
도 13의 플로우 차트에 도시하는 바와 같이 고휘도시의 색변환 처리(1)는 기본적으로, 스텝(S11), 스텝(S12) 및 스텝(S13)의 각 처리를 차례로 실행함에 의해 실현된다. 도 14(A)에, 제 1 구체예에 관한 컬러 코딩의 4×4화소의 색배열을 도시한다.
스텝(S11)에서는 도 14(B)에 도시하는 바와 같이 체크무늬패턴의 백색(W)화소의 성분을, 해상도의 방향성을 판단하여 모든 색의 화소에 전개하는 처리가 행하여진다. 여기서, 해상도의 방향이란, 화소 신호가 존재하고 있는 방향을 의미하고 있다. 도 14(B)에서, 속이 흰 사각(□)으로 나타내는 W는 각 색에 전개된 W화소의 성분을 나타내는 것으로 한다.
W화소의 성분을 다른 모든 색의 화소에 전개함에 있어서는 주지의 방향성 상관을 이용한 신호 처리를 이용할 수 있다. 이 방향성 상관을 이용한 신호 처리의 기술로서는 예를 들면, 특정한 화소에 대응하는 복수의 색 신호를 얻고, 특정한 화소에 대응하는 위치에서의 수직 방향 및/또는 수평 방향의 상관치를 얻는 기술(예를 들면, 특허 제2931520호 명세서 등 참조)을 들 수 있다.
스텝(S12)에서는 도 14(C)에 도시하는 바와 같이 W화소와 G화소와의 상관으로부터 W화소를 G화소로 치환한다. 선술한 각종의 컬러 코딩의 색배열로부터 분명 한 바와 같이 W화소와 G화소는 인접하고 있다. 어느 영역에서 W화소와 G화소와의 상관을 보면, 어느쪽도 휘도신호의 주성분이 되는 색이기 때문에 꽤 강한 상관을 갖고 있고, 상관치(상관 계수)가 1에 가깝다. 이 색상관을 이용하여 해상도의 방향성을 판단하고, W화소의 출력 레벨을 G화소 상당한 레벨로 바꿈으로써, W화소를 G화소로 치환할 수 있다.
스텝(S13)에서는 W화소와 R/B의 각 화소와의 상관으로부터, 도 14(D)에 도시하는 베이어용 R/B의 각 화소를 생성한다. W필터는 R/G/B의 각 색 성분을 포함하고 있기 때문에, W화소와 R/B의 각 화소와의 상관을 취할 수 있다. 이 신호 처리에는 4색의 색배열에 있어서 G로 대체되는 휘도신호를 전 화소에 보간하는 주지의 기술(예를 들면, 특개2005-160044호 공보 등 참조)을 이용할 수 있다.
계속해서, 풀 스캔시에 있어서의 저휘도시의 색변환 처리(2)에 관해, 도 15의 플로우 차트 및 도 16의 개념도를 이용하여 설명한다.
우선, 선술한 주지의 방향성 상관을 이용한 신호 처리를 이용함으로써, 도 16(A)에 도시하는 바와 같이 해상도의 방향성을 본다(스텝 S21). 그리고, 방향성을 판단할 수 있는지의 여부를 판단하고(스텝 S22), 방향성을 판단할 수 있는 경우는 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다(스텝 S23).
다음에, 선술한 주지의 기술을 이용함으로써, 도 16(B)에 도시하는 바와 같이 W화소와 R/B의 각 화소와의 상관으로부터 R/B의 각 화소를 생성한다(스텝 S24). 뒤이어, 도 16(C)에 도시하는 바와 같이 W화소의 신호에 상기 W화소에 인접하는 2개의 R화소의 신호를 가산하여 G(=W+2G)에 근사함으로써, 도 16(D)에 도시하는 바 와 같이 베이어용 R/B의 각 화소를 생성한다(스텝 S25).
스텝 S22에서, 방향성을 판단할 수가 없는 경우는 상하좌우에 인접하는 4화소 사이에서 균등하게 보완하는 단순 4화소 균등 보간에 의해 베이어용 R/B의 각 화소를 생성한다(스텝 S26).
상술한 바와 같이 입사광의 휘도에 응하여 색변환 처리(1) 또는 색변환 처리(2)를 이용함으로써, W필터가 체크무늬패턴으로 배열된 색배열에 대응한 신호를, RGB 베이어 배열에 대응한 신호로 센서 칩(11)상에서 변환하여 출력할 수 있다.
다음에, 동화 촬상시에 있어서의 화소 가산시의 2개의 색변환 처리에 관해 설명한다. 이 2개의 색변환 처리를 화소 가산 처리(1) 및 화소 가산 처리(2)라고 부르기로 한다.
우선, 화소 가산 처리(1)에 관해, 도 17의 플로우 차트 및 도 18의 개념도를 이용하여 설명한다.
최초에, W화소에 대해, 대각방향에 위치하는 2개의 화소 사이에서 가산 처리를 행한다(스텝 S31). 구체적으로는 도 18(A)에 도시하는 바와 같이 주목 화소와 상기 주목 화소의 우대각 아래에 위치하는 화소(1렬 오른편에 이웃하고 1행 아래의 화소)와의 사이에서 가산을 행한다. 이 W화소의 가산에 관해서는 도 3에 도시하는 화소 구성에 있어서, 가산을 행하는 2개의 화소의 전송 트랜지스터(22), 본 예에서는 전송 트랜지스터(22-1, 22-4)에 대해 동시에 전송 펄스(φTRF)를 줌으로써, FD부(26)에서 2화소 가산을 행할 수 있다. 이 화소 가산을 FD 가산이라고 부르기로 한다.
다음에, R/G/B의 각 화소에 대해, W화소의 경우와 역(逆)대각방향에 위치하는 2개의 화소 사이에서 비월(飛越)가산을 행한다(스텝 S32). 구체적으로는 도 18(B)에 도시하는 바와 같이 주목 화소와 상기 주목 화소의 좌대각 아래에 위치하는 화소(2렬 왼편에 이웃하고 2행 아래의 화소)와의 사이에서 비월 가산을 행한다. 이 R/G/B의 각 화소의 가산에 관해서는 예를 들면 도 1에 도시하는 칼럼 처리부(14)가 A/D 변환 기능을 갖는 경우에 있어서, 상기 A/D 변환시에 비월 가산을 행할 수가 있다.
보다 구체적으로는 도 19에 도시하는 색배열에 있어서, B1, G1의 각 화소의 신호를 독립하여 판독하고, 이들의 신호를 A/D 변환 후에 연속적으로 B2, G3의 각 화소의 신호를 판독하여 A/D 변환을 행함으로써 2화소 가산을 행할 수가 있다. 이 칼럼1 처리부(14)에서의 A/D 변환시에 화소 가산을 행하는 기술로서는 카운터를 이용하여 아날로그 화소 신호를 디지털 화소 신호로 변환하는 주지의 기술(예를 들면, 특개2006-033454호 공보 등 참조)을 이용할 수 있다.
이 A/D 변환부의 일부를 구성하는 카운터를 이용하여 화소 가산을 행하는 처리를 카운터 가산이라고 부르기로 한다. 이 카운터 가산을 행할 때에 라인마다 게인을 바꾸면, 가산 비율을 가변으로 할 수 있다. R화소에 대해서도 마찬가지로 하여 카운터 가산을 행할 수가 있다. 그와 관련하여, 선술한 W화소에 관한 2화소 가산은 W1, W2의 각 화소 사이 W3, W4의 각 화소 사이에서 각각 FD 가산이 행하여진다.
다음에, 도 18(C)에 도시하는 바와 같이 W화소의 성분을 R/G/B의 각 화소에 피팅 한다(스텝 S33). 뒤이어, 도 18(D)에 도시하는 바와 같이 RGB 베이어 배열의 4화소를 생성한다(스텝 S34).
계속해서, 화소 가산 처리(2)에 관해, 도 20의 플로우 차트 및 도 21의 개념도를 이용하여 설명한다.
최초에, W화소 및 G화소에 대해, 좌우대각방향에 위치하는 2개의 화소 사이에서 FD 가산을 행함에 의해 W/R/G/B를 생성한다(스텝 S41). 구체적으로는 W화소에 대해서는 도 21(A)에 도시하는 바와 같이 주목 화소와 상기 주목 화소의 우대각 아래에 위치하는 화소(1렬 오른쪽 이웃하고 1행 아래의 화소)와의 사이에서 FD 가산을 행한다. G화소에 대해서는 도 21(B)에 도시하는 바와 같이 주목 화소와 상기 주목 화소의 좌대각 아래에 위치하는 화소(1렬 왼쪽 이웃하고 1행 아래의 화소)와의 사이에서 FD 가산을 행한다.
여기서, 세로 4화소×가로 4화소의 합계 8화소에 있어서, R/B의 1조(組)의 신호에 대해서는 미사용이 된다. 즉, R/B의 각 화소에 대해서는 화소 가산 없음의 솎아냄 판독이 된다. 따라서 화소 가산 처리(1)의 경우에 비하여 R/B의 감도가 낮아지기 때문에 색 S/N이 나쁘다.
다음에, 도 21(C)에 도시하는 바와 같이 W화소의 성분을 R/G/B의 각 화소에 피팅 한다(스텝 S42). 뒤이어, 도 21(D)에 도시하는 바와 같이 RGB 베이어 배열의 4화소를 생성한다(스텝 S43). 화소 가산 처리(2)인 경우, 화소 가산 처리(1)인 경우에 비하여 RGB 베이어 배열의 중심이 다소 어긋난다.
또한, 화소 가산 처리(3)에 관해, 도 22의 플로우 차트 및 도 23의 개념도를 이용하여 설명한다.
우선, 도 23(A)에 도시하는 바와 같이 WRGB 모두 전부 대각 비월하여 2화소 가산을 행한다(스텝 S51). 이 가산 처리에 의해, 도 23(B)에 도시하는 바와 같이 어느 행이 R, W, G, W, …, 다음의 행이 W, G, W, R, …가 되는 색배열을 얻을 수 있다. 그리고, 풀 스캔시의 처리인 경우와 마찬가지로, W화소와 R/B의 각 화소와의 상관으로부터, 도 23(C)에 도시하는 베이어용 R/B의 각 화소를 생성한다(스텝 S52).
상술한 바와 같이 동화 촬상시에 화소 가산 처리(1), 화소 가산 처리(2) 또는 화소 가산 처리(3)를 이용함으로써, W필터가 체크무늬패턴으로 배열된 색배열에 대응한 신호를, RGB 베이어 배열에 대응한 신호로 센서 칩(11)상에서 변환하여 출력할 수 있다.
이하에, 제 2 내지 제 9 구체예에 관한 컬러 코딩인 경우의 색변환 처리에 관해 설명하지만, 많은 경우, 일련의 처리의 흐름에 관해서는 대강, 제 1 구체예에 관한 컬러 코딩인 경우를 기본으로 하고 있다.
(제 2 구체예에 관한 컬러 코딩인 경우)
우선, 풀 스캔시의 색변환 처리에 관해 도 24의 개념도를 이용하여 설명한다. 도 24(A)에 도시하는 제 2 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 24(B)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. 다음에, W화소와 G화소와의 상관으로부터, 도 24(C)에 도시하는 바와 같이 W화소를 G화소로 치환한다. 그리고, W화소와 R/B의 각 화소와의 상관으로부터, 도 24(D)에 도시하는 베이어용 R/B의 각 화소를 생성한다.
다음에, 화소 가산 처리에 관해 도 25의 개념도를 이용하여 설명한다. 우선, 도 25(A), (B)에 도시하는 바와 같이 W화소 및 G화소에 대해, 좌우대각방향에 위치하는 2개의 화소 사이에서 FD 가산을 행함에 의해 W/R/G/B를 생성한다. 그리고, 도 25(C)에 도시하는 바와 같이 W화소의 성분을 R/G/B의 각 화소에 피팅하여, 도 25(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
(제 3 구체예에 관한 컬러 코딩인 경우)
우선, 풀 스캔시의 색변환 처리에 관해 도 26의 개념도를 이용하여 설명한다. 도 26(A)에 도시하는 제 3 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 26(B)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. 다음에, W화소와 G화소와의 상관으로부터, 도 26(C)에 도시하는 바와 같이 W화소를 G화소로 치환한다. 그리고, W화소와 R/B의 각 화소와의 상관으로부터, 도 26(D)에 도시하는 베이어용 R/B의 각 화소를 생성한다.
다음에, 화소 가산 처리에 관해 도 27의 개념도를 이용하여 설명한다. 우선, 도 27(A), (B)에 도시하는 바와 같이 W/R/G/B의 각 화소에 대해, 좌우대각 FD 가산을 행함에 의해 W/Cy(시안색)/G/Ye(황색)를 생성한다. 뒤이어, B=W-Ye, R=W-Cy의 연산 처리에 의해, 도 27(C)에 도시하는 바와 같이 베이어 배열을 생성한다. 이 때, 감산 처리에 의해 B/R의 S/N이 악화하는 것이지만 색 재현성은 좋아진다. 그리 고, 도 27(D)에 도시하는 바와 같이 W화소의 성분을 R/G/B의 각 화소에 피팅하여, 도 27(E)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
(제 4 구체예에 관한 컬러 코딩인 경우)
우선, 풀 스캔시의 색변환 처리에 관해 도 28의 개념도를 이용하여 설명한다. 도 28(A)에 도시하는 제 4 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 28(B)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. 다음에, W화소와 G화소와의 상관으로부터, 도 28(C)에 도시하는 바와 같이 W화소를 G화소로 치환한다. 그리고, W화소와 R/B의 각 화소와의 상관으로부터, 도 28(D)에 도시하는 베이어용 R/B의 각 화소를 생성한다.
화소 가산 처리에 관해서는 4개의 처리의 방법이 생각된다. 제 1의 화소 가산 처리에 관해 도 29의 개념도를 이용하여 설명한다. 우선, 도 29(A), (B)에 도시하는 바와 같이 R/B의 각 화소에 대해서는 좌우대각 비월 2화소 가산을 행하고, W/Cy/Ye를 생성한다. 뒤이어, 도 29(C)에 도시하는 바와 같이 해상도의 방향성을 보고, Cy/Ye의 각 성분을 전 화소에 전개한다. 뒤이어, 도 29(D)에 도시하는 바와 같이 G=Cy+Ye-W, B=W-Ye, R=W-Cy의 연산 처리를 행한다. 그리고, 도 29(E)에 도시하는 바와 같이 W화소의 성분을 R/G/B의 각 화소에 피팅하여, 도 29(F)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
다음에, 제 2의 화소 가산 처리에 관해 도 30의 개념도를 이용하여 설명한다. 우선, 도 30(A)에 도시하는 바와 같이 R/B의 화소에 대해 좌우대각 비월 2화소 가산을 행한다. G화소에 대해서는 중심의 G화소와 상기 중심 화소의 상하좌우의 4개의 G화소의 평균치를 합성한다. W화소에 대해서는 도 30(B)에 도시하는 바와 같이 대각 FD 가산을 행한다. 그리고, 도 30(C)에 도시하는 바와 같이 W화소의 성분을 R/G/B의 각 화소에 피팅하여, 도 30(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
계속해서, 제 3의 화소 가산 처리에 관해 도 31의 개념도를 이용하여 설명한다. 우선, 도 31(A)에 도시하는 바와 같이 W화소에 대해서는 대각 인접 2화소 사이에서 가산을 행하고, RGB에 관해서는 모두 대각 비월 2화소 가산을 행한다. 이로써, 도 31(B)에 도시하는 바와 같은 색배열을 얻을 수 있다. 그리고, W화소의 성분을 R/G/B의 각 화소에 피팅하여, 도 31(C)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
최후로, 제 4의 화소 가산 처리에 관해 도 32의 개념도를 이용하여 설명한다. 우선, 도 32(A)에 도시하는 바와 같이 WRGB 모두 대각 비월 2화소 가산을 행한다. 다음에, 가까운 번째(目)의 체크무늬패턴 배열의 W화소의 신호를 합성함으로써, 도 32(B)에 도시하는W체크무늬의 색배열을 얻는다. 뒤이어, 풀 스캔시의 처리인 경우와 마찬가지로, W화소와 G화소와의 상관으로부터, 도 32(C)에 도시하는 바와 같이 W화소를 G화소로 치환한다. 그리고, W화소와 R/B의 각 화소와의 상관으로부터, 도 32(D)에 도시하는 베이어용 R/B의 각 화소를 생성한다.
(제 5 구체예에 관한 컬러 코딩인 경우)
우선, 풀 스캔시의 색변환 처리에 관해 도 29의 개념도를 이용하여 설명한 다. 도 33(A)에 도시하는 제 5 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 33(B)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. 다음에, W화소와 R/B의 각 화소와의 상관으로부터, 도 33(C)에 도시하는 바와 같이 R/B의 각 화소의 성분을 전 화소에 전개한다. 그리고, G=W-R-B의 연산 처리 후 W화소의 성분을 각 화소에 피팅하여, 도 33(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
다음에, 화소 가산 처리에 관해 도 34의 개념도를 이용하여 설명한다. 우선, 도 34(A)에 도시하는 바와 같이 R/G/B의 중심을 합쳐서 각 화소의 신호를 가산하고, 뒤이어, G=W-R-B의 연산 처리를 행함으로써, 도 34(B)에 도시하는 바와 같이 G화소를 생성한다. 다음에, 도 34(C)에 도시하는 바와 같이 B화소에 대해서는 대각방향 4화소 가산을 행하고, R화소에 대해서는 상하좌우 5화소 가산을 행함으로써, R/B의 각 화소를 생성한다. 그리고, 최종적으로, 도 34(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
(제 6 구체예에 관한 컬러 코딩인 경우)
우선, 풀 스캔시의 색변환 처리(1)에 관해 도 35의 개념도를 이용하여 설명한다. 도 35(A)에 도시하는 제 6 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 35(B)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. 다음에, W화소와 G화소와의 상관으로부터, 도 35(C)에 도시하는 바와 같이 W화소를 G화소로 치환한다. 그리고, W화소와 R/B의 각 화소와의 상관으로부터, 도 35(D)에 도시하는 베이어용 R/B의 각 화소를 생성한다.
다음에, 풀 스캔시의 색변환 처리(2)에 관해 도 36의 개념도를 이용하여 설명한다. 색변환 처리(1)의 경우와 마찬가지로, 제 6 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 36(A)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. W화소와 R/B의 각 화소와의 상관으로부터, 도 36(B)에 도시하는 바와 같이 R/B의 각 화소를 생성한다. 다음에, 도 36(C)에 도시하는 바와 같이 W화소의 신호에 상기 W화소에 인접하는 G화소 2개의 신호를 가산하고, G(=W+2G)에 근사하고, 도 36(D)에 도시하는 바와 같이 베이어용 R/B의 각 화소를 생성한다. 이 때, 방향성이 있는 경우는 가산 비율을 액티브하게 바꾸어도 좋다.
계속해서, 화소 가산 처리(1)에 관해 도 37을 이용하여 설명한다. 도 37(A), (B)에 도시하는 바와 같이 W화소와 R/G/B의 각 화소에 대해 좌우대각 FD 가산을 행함으로써 W/R/G/B의 각 화소를 생성한다. 그리고, 도 37(C)에 도시하는 바와 같이 W화소의 성분을 각 화소에 피팅하여, 도 37(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
다음에, 화소 가산 처리(2)에 관해 도 38을 이용하여 설명한다. 도 38(A), (B)에 도시하는 바와 같이 W화소와 R/G/B의 각 화소에 대해 좌우대각 FD 가산을 행함으로써 W/R/G/B의 각 화소를 생성한다. 그리고, 도 38(C)에 도시하는 바와 같이 W화소의 성분을 R/B의 각 화소에 피팅하여, 도 38(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
(제 7 구체예에 관한 컬러 코딩인 경우)
우선, 풀 스캔시의 색변환 처리에 관해 도 39의 개념도를 이용하여 설명한다. 도 39(A)에 도시하는 제 7 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 39(B)에 도시하는 바와 같이 체크무늬패턴의 G화소의 성분을 R/B의 각 화소에 전개한다. 다음에, W화소와 R/B의 각 화소와의 상관으로부터, 도 39(C)에 도시하는 바와 같이 W화소를 R/B의 각 화소로 치환한다. 그리고, 도 39(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
다음에, 화소 가산 처리에 관해 도 40의 개념도를 이용하여 설명한다. 우선, 도 40(A)에 도시하는 바와 같이 R/B의 각 화소에 대해 좌우대각 비월 가산을 행함으로써, 도 40(B)에 도시하는 바와 같이 2R/2B를 생성한다. 다음에, 도 40(C)에 도시하는 바와 같이 G화소에 대해 대각 마름모 가산을 행함으로써, 도 40(D)에 도시하는 바와 같이 4G를 생성한다. 그리고, W화소와 R/G/B의 각 화소와의 상관으로부터, Gw/Rw/Bw를 가함으로써, 도 40(E)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
(제 8 구체예에 관한 컬러 코딩인 경우)
우선, 풀 스캔시의 색변환 처리에 관해 도 41의 개념도를 이용하여 설명한다. 도 41(A)에 도시하는 제 8 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 41(B)에 도시하는 바와 같이 G/W의 각 화소에 대해 체크무늬패턴으로 전개한다. 다음에, 도 41(C)에 도시하는 바와 같이 W화소의 성분을 G화소에 피팅하여, 도 41(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한 다.
다음에, 화소 가산 처리에 관해 도 42의 개념도를 이용하여 설명한다. 우선, 도 42(A)에 도시하는 바와 같이 G/W의 중심을 합쳐서 이들 화소의 신호를 가산한다. 다음에, 도 42(B)에 도시하는 바와 같이 W화소의 성분을 G화소에 피팅하여 G=G+Gw를 생성한다. 뒤이어, 도 42(C)에 도시하는 바와 같이 B화소에 대해 대각방향 4화소 가산을 행하고, R화소에 대해 상하좌우 5화소 가산을 행함으로써, 도 42(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
(제 9 구체예에 관한 컬러 코딩인 경우)
우선, 풀 스캔시의 색변환 처리에 관해 도 43의 개념도를 이용하여 설명한다. 도 43(A)에 도시하는 제 9 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 42(B)에 도시하는 바와 같이 G화소의 성분을 R/B의 각 화소에 전개한다. 다음에, G화소와 R/B의 각 화소와의 상관으로부터, 도 42(C)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
다음에, 화소 가산 처리에 관해 도 44의 개념도를 이용하여 설명한다. 우선, 도 44(A)에 도시하는 바와 같이 상하좌우에서 인접하는 같은 색의 2×2화소의 합계 4화소의 신호를 FD 가산한다. 그리고, 최종적으로, 도 44(B)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
2. 제 2 실시 형태
제 2의 실시 형태가 첨부도면을 참조하여 설명된다.
시스템 구성
도 1은 본 발명의 제1의 실시 형태에 기초한 제 2 실시 형태에 관한 고체 촬상 장치(X-Y 어드레스형 고체 촬상 장치)의 한 예인 CMOS 이미지 센서의 구성의 개략을 도시하는 시스템 구성도이다.
도 1에 도시된 바와 같이 CMOS 이미지 센서(10, 10A, 10B, ...)는 반도체 기판(이하, 단지 「센서 칩」이라고 함)(11)과, 화소 어레이부(12)와, 수직 구동부(13), 칼럼 처리부(14), 수평 구동부(15), 변환 처리부(16), 시스템 제어부(17), 색필터 어레이(컬러 필터부)(30)를 포함한다. 도 2에 도시하는 바와 같이 단위 화소(20)는 포토 다이오드(21), 전송 트랜지스터(22), 리셋 트랜지스터(23), 증폭 트랜지스터(24), 선택 트랜지스터(25), 및 플로팅 디퓨전(FD)부(26)를 포함한다. 도면 번호 40은 DSP 회로를 나타낸다.
본 발명의 실시예에 따르면, 상기 CMOS 이미지 센서(10A), 화소 어레이부(12)는 반도체 기판(센서 칩)(11)상에 형성되어 있다. 또한, 주변 회로부는 상부에 형성된 화소 어레이부(12)를 갖는 반도체 기판(11)상에 일체화되어 있다. 예를 들면, 주변 회로부는 수직 구동부(13), 칼럼 처리부(14), 수평 구동부(15), 변환 처리부(16), 시스템 제어부(17)를 포함한다.
화소 어레이부(12)에는 입사하는 가시광을 그 광량에 응한 전하량으로 광전변환하는 광전변환 소자를 포함하는 도시하지 않은 단위 화소(이하, 단지 「화소」라고 한다)가 행렬형상으로 2차원 배치되어 있다. 상기 화소 어레이부(12)의 수광면(광입사면)측에는 색필터 어레이(30)가 마련되어 있다. 본 실시 형태에서는 이 색필터 어레이(30)의 컬러 코딩을 특징의 하나로 하고 있고, 상기 색필터 어레 이(30)의 컬러 코딩의 상세는 후술한다.
화소 어레이부(12)에는 또한, 행렬형상의 화소 배열에 대해 행마다 화소 구동선(18)이 도면의 좌우 방향(화소행의 화소 배열 방향 또는 수평 방향)에 따라 배선되고, 열마다 수직 신호선(19)이 도면의 상하 방향(화소열의 화소 배열 방향 또는 수직 방향)에 따라 형성되어 있다. 도 1에서는 화소 구동선(18)에 관해 1개로서 나타내고 있지만, 1개로 한정되는 것이 아니다. 화소 구동선(18)의 일단은 수직 구동부(13)의 각 행에 대응한 출력단에 접속되어 있다.
예를 들면, 수직 구동부(13)는 시프트 레지스터나 어드레스 디코더 등에 의해 구성되어 있다. 여기서는 구체적인 구성에 관해서는 도시를 생략하지만, 수직 구동부(13)는 판독 주사계와 소출(sweeping) 주사계를 갖는 구성으로 되어 있다. 판독 주사계는 신호를 판독하는 단위 화소에 대해 행 단위로 차례로 선택 주사를 행한다.
한편, 소출 주사계는 판독 주사계에 의해 판독 주사가 행하여지는 판독 행에 대해, 그 판독 주사보다도 셔터 스피드의 시간분만큼 선행하여 상기 판독 행의 단위 화소의 광전변환 소자로부터 불필요한 전하를 쓸어내는(리셋하는) 소출 주사를 행한다. 이 소출 주사계에 의한 불필요 전하의 쓸어냄(리셋)에 의해, 이른바 전자 셔터 동작이 행하여진다. 여기서, 전자 셔터 동작이란, 광전변환 소자의 광전하를 버리고, 새롭게 노광을 시작하는(광전하의 축적을 시작하는) 동작인 것을 말한다.
판독 주사계에 의한 판독 동작에 의해 판독되는 신호는 그 직전의 판독 동작 또는 전자 셔터 동작 이후에 입사한 광량에 대응하는 것이다. 그리고, 직전의 판독 동작에 의한 판독 타이밍 또는 전자 셔터 동작에 의한 소출 타이밍부터, 금회의 판독 동작에 의한 판독 타이밍까지의 기간이 단위 화소에 있어서의 광전하의 축적 시간(노광 시간)이 된다.
수직 구동부(13)에 의해 선택 주사된 화소행의 각 단위 화소로부터 출력되는 신호는 수직 신호선(19)의 각각을 통하여 칼럼 처리부(14)에 공급된다. 칼럼 처리부(14)는 화소 어레이부(12)의 화소열마다, 선택행의 각 화소로부터 출력되는 아날로그의 화소 신호에 대해 미리 정해진 신호 처리를 행한다.
칼럼 처리부(14)에서의 신호 처리로서는 예를 들면 CDS(Correlated Double Sampling ; 상관 이중 샘플링) 처리를 들 수 있다. CDS 처리는 선택행의 각 화소로부터 출력되는 리셋 레벨과 신호 레벨을 받아들이고, 이들의 레벨 차를 취함에 의해 1행분의 화소의 신호를 얻음과 함께, 화소의 고정 패턴 노이즈를 제거하는 처리이다. 칼럼 처리부(14)에, 아날로그의 화소 신호를 디지털화하는 A/D 변환 기능을 갖게 하는 경우도 있다.
수평 구동부(15)는 시프트 레지스터나 어드레스 디코더 등에 의해 구성되고, 칼럼 처리부(14)의 화소열에 대응한 회로 부분을 순번대로 선택 주사한다. 이 수평 구동부(15)에 의한 선택 주사에 의해, 칼럼 처리부(14)에서 화소열마다 신호 처리된 화소 신호가 순번대로 출력된다.
변환 처리부(16)는 화소 어레이부(12)로부터 칼럼 처리부(14)를 경유하여 출력되는 선술한 색필터 어레이(색필터부)(30)의 색배열에 대응한 신호를, 연산 처리에서 베이어 배열에 대응한 신호로 변환하는 처리를 행한다. 본 실시 형태에서는 이 변환 처리부(16)를 화소 어레이부(12)와 같은 기판, 즉 센서 칩(11)상에 마련하고, 상기 센서 칩(11)상에서 색변환 처리를 행하여 베이어 배열에 대응한 신호를 센서 칩(11) 밖으로 출력하는 점을 또하나의 특징으로 하고 있다. 변환 처리부(16)에서의 구체적인 변환 처리의 상세에 관해서는 후에 상세히 설명한다.
여기서, 베이어 배열이란, 주지하는 바와 같이 고해상도가 필요한 휘도신호의 주성분이 되는 색을 체크무늬패턴으로 배열하고, 나머지 부분에 비교적 해상도가 요구되지 않는 색정보 성분이 되는 2종류의 색을 체크무늬패턴으로 배열한 색배열을 말한다. 베이어 배열의 기본형으로서는 휘도신호의 기여하는 비율이 큰 녹색(G)을 체크무늬패턴으로 배열하고, 나머지 부분에 R(적색)/B(청색)를 체크무늬패턴으로 배열한 색배열의 컬러 코딩을 들 수 있다.
시스템 제어부(17)는 센서 칩(11)의 외부로부터 주어지는 클록이나, 동작 모드를 지령하는 데이터 등을 수취하고, 또한, 본 CMOS 이미지 센서(10)의 내부 정보 등의 데이터를 출력한다. 시스템 제어부(17)는 나아가서는 각종의 타이밍 신호를 생성하는 타이밍 제너레이터를 가지며, 상기 타이밍 제너레이터에서 생성된 각종의 타이밍 신호를 기초로 수직 구동부(13), 칼럼 처리부(14), 수평 구동부(14) 및 변환 처리부(16) 등의 구동 제어를 행한다.
(단위 화소의 회로 구성)
도 2는 단위 화소(20)의 회로 구성의 한 예를 도시하는 회로도이다. 도 2에 도시하는 바와 같이 본 회로예에 관한 단위 화소(20)는 광전변환 소자, 예를 들면 포토 다이오드(21)와, 예를 들면 전송 트랜지스터(22), 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)의 4개의 트랜지스터를 갖는 구성으로 되어 있다.
여기서는 4개의 트랜지스터(22 내지 25)로서, 예를 들면 N채널의 MOS 트랜지스터를 이용하고 있다. 단, 여기서 예시한 전송 트랜지스터(22), 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)의 도전형의 조합은 한 예에 지나지 않고, 이들의 조합으로 한정되는 것이 아니다.
이 단위 화소(20)에 대해, 화소 구동선(18)으로서, 예를 들면, 전송선(181), 리셋선(182) 및 선택선(183)의 3개의 구동 배선이 동일 화소행의 각 화소에 대해 공통으로 마련되어 있다. 이들 전송선(181), 리셋선(182) 및 선택선(183)의 각 일단은 수직 구동부(13)의 각 화소행에 대응한 출력단에, 화소행 단위로 접속되어 있다.
포토 다이오드(21)는 애노드 전극이 부측 전원(예를 들면, 그라운드)에 접속되어 있고, 수광한 광을 그 광량에 응한 전하량의 광전하(여기서는 광전자)로 광전변환한다. 포토 다이오드(21)의 캐소드 전극은 전송 트랜지스터(22)를 통하여 증폭 트랜지스터(24)의 게이트 전극과 전기적으로 접속되어 있다. 증폭 트랜지스터(24)의 게이트 전극과 전기적으로 연결된 노드(26)를 FD(플로팅 디퓨전)부라고 부른다.
전송 트랜지스터(22)는 포토 다이오드(21)의 캐소드 전극과 FD부(26) 사이에 접속되어 있다. 전송 트랜지스터(22)의 게이트 전극에는 고레벨(예를 들면, Vdd 레벨)이 액티브(이하, 「High 액티브」라고 기술한다)의 전송 펄스(φTRF)가 전송선(181)을 통하여 주어진다. 전송 펄스(φTRF)가 주어짐으로써, 전송 트랜지스 터(22)는 온 상태가 되어 포토 다이오드(21)에서 광전변환된 광전하를 FD부(26)에 전송한다.
리셋 트랜지스터(23)는 드레인 전극이 화소 전원(Vdd)에, 소스 전극이 FD부(26)에 각각 접속되어 있다. 리셋 트랜지스터(23)의 게이트 전극에는 포토 다이오드(21)로부터 FD부(26)에의 신호 전하의 전송에 앞서서, High 액티브의 리셋 펄스(φRST)가 리셋선(182)을 통하여 주어진다. 리셋 펄스(φRST)가 주어짐으로써, 리셋 트랜지스터(23)는 온 상태가 되고, FD부(26)의 전하를 화소 전원(Vdd)에 버림에 의해 상기 FD부(26)를 리셋한다.
증폭 트랜지스터(24)는 게이트 전극이 FD부(26)에, 드레인 전극이 화소 전원(Vdd)에 각각 접속되어 있다. 그리고, 증폭 트랜지스터(24)는 리셋 트랜지스터(23)에 의해 리셋한 후의 FD부(26)의 전위를 리셋 신호(리셋 레벨)(Vreset)로서 출력한다. 증폭 트랜지스터(24)는 또한, 전송 트랜지스터(22)에 의해 신호 전하를 전송한 후의 FD부(26)의 전위를 광 축적 신호(신호 레벨)(Vsig)로서 출력한다.
선택 트랜지스터(25)는 예를 들면, 드레인 전극이 증폭 트랜지스터(24)의 소스 전극에, 소스 전극이 수직 신호선(17)에 각각 접속되어 있다. 선택 트랜지스터(25)의 게이트 전극에는 High 액티브의 선택 펄스(φSEL)가 선택선(163)을 통하여 주어진다. 선택 펄스(φSEL)가 주어짐으로써, 선택 트랜지스터(25)는 온 상태가 되어 단위 화소(20)를 선택 상태로 하여, 증폭 트랜지스터(24)로부터 출력되는 신호를 수직 신호선(17)에 중계한다.
또한, 선택 트랜지스터(25)에 관해서는 화소 전원(Vdd)과 증폭 트랜지스 터(24)의 드레인 사이에 접속한 회로 구성을 채택하는 것도 가능하다.
또한, 단위 화소(20)로서는 상기 구성의 4개의 트랜지스터로 이루어지는 화소 구성의 것으로 한정되는 것이 아니다. 예를 들면, 증폭 트랜지스터(24)와 선택 트랜지스터(25)를 겸용한 3개의 트랜지스터로 이루어지는 화소 구성의 것 등이라도 좋고, 그 화소 회로의 구성은 묻지 않는다.
그런데, 일반적으로, 동화 촬상일 때는 프레임 레이트를 올리기 위해, 인접하는 복수의 화소의 신호를 가산하여 판독하는 화소 가산이 행하여진다. 화소 내나, 신호선상이나, 칼럼 처리부(14)나, 후단의 신호 처리부에서 행할 수 있다. 여기서, 한 예로서, 예를 들면 상하좌우에 인접하는 4화소의 신호를 화소 내에서 가산하는 경우의 화소 구성에 관해 설명한다.
도 3은 인접 4화소 가산을 화소 내에서 행하는 경우의 회로 구성의 한 예를 도시하는 회로도이고, 도면중, 도 2와 동등 부분에는 동일 부호를 붙여서 나타내고 있다.
도 3에서, 상하좌우에 인접하는 4화소의 포토 다이오드(21)를, 포토 다이오드(21-1, 21-2, 21-3, 21-4)라고 한다. 이들 포토 다이오드(21-1, 21-2, 21-3, 21-4)에 대해, 4개의 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)가 마련되고, 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)가 1개씩 마련되어 있다.
즉, 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)는 각 한쪽의 전극이 포토 다이오드(21-1, 21-2, 21-3, 21-4)의 각 캐소드 전극에 접속되고, 각 다른쪽의 전극 이 증폭 트랜지스터(24)의 게이트 전극에 공통으로 접속되어 있다. 이 증폭 트랜지스터(24)의 게이트 전극에는 포토 다이오드(21-1, 21-2, 21-3, 21-4)에 대해 공통의 FD부(26)가 전기적으로 접속되어 있다. 리셋 트랜지스터(23)는 드레인 전극이 화소 전원(Vdd)에, 소스 전극이 FD부(26)에 각각 접속되어 있다.
상기 구성의 인접 4화소 가산에 대응한 화소 구성에 있어서, 4개의 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 대해 같은 타이밍에서 전송 펄스(φTRF)를 줌으로써, 인접하는 4화소 사이에서의 화소 가산을 실현할 수 있다. 즉, 포토 다이오드(21-1, 21-2, 21-3, 21-4)로부터 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 의해 FD부(26)에 전송된 신호 전하는 상기 FD부(26)에서 가산되게 된다.
한편, 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 대해 다른 타이밍에서 전송 펄스(φTRF)를 줌으로써, 화소 단위로의 신호 출력도 실현할 수 있다. 즉, 동화 촬상시에는 화소 가산을 행함에 의해 프레임 레이트의 향상을 도모할 수 있음에 대해, 정지화 촬상시에는 전 화소의 신호를 독립하여 판독함으로써, 해상도의 향상을 도모할 수 있다.
[색필터 어레이의 컬러 코딩]
계속해서, 본 실시 형태의 특징의 하나로 하고 있는 색필터 어레이(30)의 컬러 코딩에 관해 설명한다.
본 실시 형태에 관한 색필터 어레이(30)는 휘도신호의 주성분이 되는 제 1색의 필터가 체크무늬패턴으로 배열되고, 휘도신호의 주성분이 되는 제 2색의 필터가 대각방향, 종방향 또는 횡방향에 있어서 4화소 단위로 스트라이프패턴으로 배열된 색배열로 되어 있다. 여기서, 휘도신호의 주성분이 되는 제 1색, 제 2색의 필터로서는 W/G의 필터를 들 수 있다.
휘도신호의 주성분이 되는 W/G의 각각의 필터는 다른 색(구체적으로는 R/B의 각각의 필터)에 비하여 감도가 높다. 특히, W필터는 G필터의 2배 정도로 감도가 높다. 따라서 W/G의 각각의 필터, 특히 W의 필터를 체크무늬패턴 배열로 함으로써, 감도(S/N)의 향상을 도모할 수 있다. 단, W필터는 각종의 색정보를 포함하고 있기 때문에, 피사체의 본래의 색과는 다른 색을 재현하는 이른바 색위가 나오기 쉽다. 역으로, G필터는 W필터에 비하여 감도가 낮은 것이지만 색위가 나오기 어렵다. 즉, 감도와 색위는 트레이드 오프의 관계에 있다.
W필터를 휘도신호의 주성분이 되는 색으로서 체크무늬패턴으로 배열하는 경우는 나머지 부분에 배열되는 색정보 성분이 되는 복수의 색의 필터는 R/G/B의 각각의 필터가 된다. 한편, G필터를 휘도신호의 주성분이 되는 색으로서 체크무늬패턴으로 배열하는 경우는 나머지 부분에 배열되는 색정보 성분이 되는 복수의 색의 필터는 R/B의 각각의 필터가 된다.
이와 같이 색필터 어레이(30)로서, 특히 W필터가 휘도신호의 주성분이 되는 색으로서 체크무늬패턴으로 배열된 컬러 코딩의 것을 이용함으로써, 상기 W필터의 감도가 다른 색에 비하여 높기 때문에, CMOS 이미지 센서(10)의 고감도화를 도모할 수 있다. 한편, 색필터 어레이(30)로서, G필터가 휘도신호의 주성분이 되는 색으로서 체크무늬패턴으로 배열된 컬러 코딩의 것을 이용함으로써, 상기 G필터가 W필터에 비하여 색위가 나오기 어렵기 때문에, CMOS 이미지 센서(10)의 색 재현성의 향 상을 도모할 수 있다.
그리고, 본 실시 형태에 관한 CMOS 이미지 센서(10A)에서는 어느 컬러 코딩의 색필터 어레이(30)를 이용하는 경우에도, 이들의 색배열에 대응한 신호를, 센서 칩(11)상에서 베이어 배열에 대응한 신호로 변환하도록 한다. 이 때, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되어 있음으로써, 상기 주성분이 되는 색의 신호를 이용하여 그 상하좌우의 다른 색의 신호를 복원할 수 있기 때문에, 변환 처리부(16)에서의 색변환의 변환 효율을 높힐 수 있다.
또한, 센서 칩(11)으로부터 베이어 배열에 대응한 신호가 출력되기 때문에, 후단의 신호 처리부로서 기존의 베이어 배열용의 DSP를 이용할 수 있다. 이 베이어 배열용의 DSP는 센서 칩(11)으로부터 출력되는 베이어 배열에 대응한 신호를 기초로 휘도신호(Y) 및 2개의 색차신호(U(B-Y), V(R-Y))를 생성하는 처리를 기본적인 처리로 하고 있다.
이와 같이 기존의 베이어 배열용의 DSP를 이용할 수 있기 때문에, 색필터 어레이(30)의 컬러 코딩을 변경하여도, 막대한 개발 비용이 걸리는 DSP를 신규로 개발할 필요가 없어진다. 이로써, DSP를 포함하는 카메라 모듈의 저비용화 및 특히 W필터를 이용한 컬러 코딩의 색필터 어레이(30)의 보급에 기여할 수 있게 된다.
[색필터 어레이의 컬러 코딩의 구체예]
다음에, 휘도신호의 주성분이 되는 색필터가 체크무늬패턴으로 배열된 색배열에 대응한 신호로부터, RGB 베이어 배열에 대응한 신호로의 변환이 용이한 컬러 코딩의 구체예에 관해 설명한다.
(제 1 구체예)
도 45는 제 1 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 45에 도시하는 바와 같이 제 1 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 또한 R/B의 각각의 필터 사이가 1화소 만큼 대각으로 어긋나고, G필터는 체크무늬패턴의 나머지 영역에 배치되어 있다.
구체적으로는 세로 4화소, 가로 4화소를 단위로 하였을 때에, W필터가 체크무늬패턴으로 배열되어 있다. R필터는 2행째의 1열째와 4행째의 3열째에 배치되고, B필터는 1행째의 2열째와 3행째의 4열째에 배치되어 있다. 이러한 배열이 종횡방향 2화소 피치의 체크무늬패턴 배열이다. 그리고, 체크무늬패턴의 나머지 위치에 G필터가 배치되어 있다. 이 때, G필터는 대각 스트라이프패턴을 형성한다.
(제 2 구체예)
도 46은 제 2 구체예에 관한 컬러 코딩을 도시하는 색배열도이다. 도 46에 도시하는 바와 같이 제 2 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 또한 R/B의 각각의 필터 사이가 대각방향으로 2화소 단위로 나열하고, G필터는 체크무늬패턴의 나머지 영역에 배치되어 있다.
구체적으로는 세로 4화소, 가로 4화소를 단위로 하였을 때에, W필터가 체크무늬패턴으로 배열되어 있다. R필터는 3행째의 4열째와 4행째의 3열째에 배치되고, B필터는 1행째의 2열째와 2행째의 1열째에 배치되어 있다. 이러한 배열이 종횡방향 4화소 피치의 정사각 배열이다. 그리고, 체크무늬패턴의 나머지 위치에 G필터가 배치되어 있다. 이 때, G필터는 대각 스트라이프패턴을 형성한다.
상술한 제 1, 제 2 구체예에 관한 컬러 코딩은 모두, 휘도신호의 주성분이 되는 색필터로서, 출력 레벨이 가장 높아지는 W필터가 체크무늬패턴으로 배열된 색배열로 되어 있다. W필터가 체크무늬패턴으로 배열되어 있음으로써, W필터는 R/G/B의 각 색 성분을 포함하고 있기 때문에, RGB 베이어 배열에 대응한 신호로의 변환 정밀도를 높일 수 있다.
이들의 컬러 코딩에서는 후술하는 색변환 처리에 있어서, W필터의 화소에 대해 G필터로 치환한 때에, R/B의 각각의 필터가 베이어 배열에 있어서의 R/B의 각각의 필터의 위치의 일부에 합치하는 것을 장점으로 하고 있다. 그리고, 합치하지 않는 빠진 부분에 관해서는 W필터의 화소의 정보를 이용함으로써, R/B의 각 화소의 정보를 복원할 수 있기 때문에 변환 효율이 매우 좋다고 말할 수 있다.
또한, 제 1, 제 2 구체예에 관한 컬러 코딩은 모두, W필터가 체크무늬패턴으로 배열되고, 또한 G필터의 일부가 4화소 단위로 대각방향으로 스트라이프패턴으로 배열되어 있는 것을 장점으로 하고 있다. 이 컬러 코딩에 있어서, W필터의 화소에 인접하는 G필터의 화소의 신호를 W필터의 화소의 신호에 가산하여 휘도신호의 주성분으로 함으로써, 휘도신호량을 증대시킬 수 있기 때문에, 감도(S/N)의 향상을 도모할 수 있다. 그리고, 특히 제 1 구체예에 관한 컬러 코딩인 경우에는 R/B의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, R/B의 각각의 필터 사이가 대각 1화소 어긋난 배열이기 때문에, 베이어 배열에 대응한 신호로의 변환 효율을 높일 수 있다.
또한, 제 1, 제 2 구체예에 관한 컬러 코딩은 모두, G필터가 대각방향으로 4화소 단위로 스트라이프 배열로 되어 있다. 따라서 이들의 컬러 코딩인 경우에는 후술하는 색변환 처리에 있어서, W화소에 인접하는 G화소의 신호를 상기 W화소의 신호에 가산하여 휘도신호의 주성분으로 이용함으로써, 해상도의 저하를 억제하면서 고감도화(고S/N화)를 실현할 수 있다. 이 작용 효과에 관해서는 G필터가 대각방향으로 4화소 단위로 스트라이프 배열로 되어 있는 경우로 한하지 않고, 종방향 또는 횡방향에 있어서 4화소 단위로 스트라이프패턴으로 배열되어 있는 경우에도 마찬가지의 것을 말할 수 있다.
[W:G:R:B의 감도비]
여기서, W:G:R:B의 감도비에 관해 설명한다. W필터를 포함하는 컬러 코딩에서는 출력 신호 레벨이 높은 W필터의 화소가 다른 색필터의 화소보다도 빨리 포화되어 버린다. 따라서 W필터의 화소의 감도를 떨어뜨리고, 상대적으로 다른 색필터의 화소의 감도를 올림으로써, W:G:R:B의 각 화소 사이에서 감도의 밸런스를 취하는 즉 W:G:R:B의 각 화소의 감도비를 조정할 필요가 있다.
이 감도비의 조정에는 주지의 노광 제어의 기술을 이용할 수 있다. 구체적으로는 색필터 어레이(30)의 외측에 화소 단위로 마련되는 온 칩 마이크로 렌즈의 사이즈를 조정함으로써, 각 색의 화소 사이에서 입사광량이 밸런스를 취하는 기술이 있다(예를 들면, 특개평9-116127호 공보 등 참조). 이 기술을 활용하고, W화소의 온 칩 마이크로 렌즈의 사이즈를 다른 색의 화소보다도 작게 함으로써, W필터의 화 소의 감도를 떨어뜨리고, 상대적으로 다른 색필터의 화소의 감도를 올릴 수 있다.
다른 노광 제어의 기술로서, W필터를 포함하는 컬러 코딩에 있어서, W화소의 온 칩 마이크로 렌즈를 없앰으로써, 감도차를 줄이는 동시에, 색감도를 올려서 색 S/N을 개선하는 기술이 있다(예를 들면, 특개2007-287891호 공보 등 참조). 이 기술을 활용함에 의해서도, W필터의 화소의 감도를 떨어뜨리고, 상대적으로 다른 색필터의 화소의 감도를 올릴 수 있다.
또한, R/B의 각각의 필터의 화소의 노광 시간에 비하여, G필터의 화소의 노광 시간을 단축하는 셔터 노광 제어를 행함으로써 색 밸런스가 깨지는 것을 방지하는 기술이 있다(예를 들면, 특개2003-60992호 공보 참조). 이 셔터 노광 제어의 기술을 수광면적의 제어와 조합시킴에 의해서도, W필터의 화소의 감도를 떨어뜨리고, 상대적으로 다른 색필터의 화소의 감도를 올릴 수 있음과 함께, 특히 동체의 윤곽 부분에서의 채색을 없앨 수 있다. 그 결과, 외부의 신호 처리부(DSP)에서의 색소 처리가 불필요해진다.
또한, 여기서 들은 감도비의 조정에 활용하는 노광 제어의 기술은 한 예에 지나지 않고, 상기한 예로 한정되는 것이 아니다.
여기서, W화소의 온 칩 마이크로 렌즈의 사이즈를 조정하는 경우의 사이즈에 관해 한 예를 나타낸다. W/G/B/R의 각 화소의 출력 레벨의 대강의 비율은 W : G : B : R=2 : 1 : 0.5 : 0.5이다.
W화소의 온 칩 마이크로 렌즈에 대해, 1.1㎛ 화소에서 ±0.1㎛ 사이징으로, 2배의 면적차가 되기 때문에, 2배의 감도차로, 같은 사이즈일 때에 W화소의 출력 레벨=G화소의 출력 레벨×2이였던 것을 완전히 같은 레벨로 보정할 수 있다. 1.1㎛ 화소에서 ±0.05㎛ 사이징이라도, 1.42배의 면적차가 되기 때문에, 감도차를 1.42배로 줄일 수 있다. 이 때, 나머지 차분(감도차)에 관해서는 셔터 노광 제어와의 병용에 의해 보정하도록 하여도 좋다.
[색변환 처리]
다음에, 변환 처리부(16)에 의한 색변환 처리에서 RGB 베이어 배열에 대응한 신호로 변환하는 처리(색변환 처리)의 상세에 관해 설명한다.
색변환 처리에 관해서는 전 화소를 주사하는 정지화 촬상시(풀 스캔시)의 색변환 처리와, 인접하는 복수의 화소의 신호를 가산하는 동화 촬상시(화소 가산시)의 색변환 처리로 나뉘어진다. 제 1 구체예 및 제 2 구체예에 관한 컬러 코딩은 모두, 선술한 바와 같이 고감도화를 실현 가능한 색변환 처리이고, 저조도 모드를 채택할 수 있기 때문에, 풀 스캔시의 색변환 처리에 관해 2개 색변환 처리로 나눌 수 있다.
2개의 색변환 처리의 하나는 입사광 휘도가 미리 정해진 기준 휘도보다도 높은 고휘도시의 색변환 처리이고, 이것을 색변환 처리(1)라고 부르기로 한다. 다른 하나는 기준 휘도 이하의 저휘도시의 색변환 처리이고, 이것을 색변환 처리(2)라고 부르기로 한다. 또한, 화소 가산시의 색변환 처리에 관해서도, 가산하는 화소의 조합의 차이 등에 의해 복수의 색변환 처리로 나눌 수 있다.
(제 1 구체예에 관한 컬러 코딩인 경우)
우선, 제 1 구체예에 관한 컬러 코딩인 경우의 색변환 처리에 관해 설명한 다. 최초에, 풀 스캔시에 있어서의 고휘도시의 색변환 처리(1)에 관해, 도 13의 플로우 차트 및 도 14의 개념도를 이용하여 설명한다.
도 13의 플로우 차트에 도시하는 바와 같이 고휘도시의 색변환 처리(1)는 기본적으로, 스텝(S11), 스텝(S12) 및 스텝(S13)의 각 처리를 차례로 실행함에 의해 실현된다. 도 14(A)에, 제 1 구체예에 관한 컬러 코딩의 4×4화소의 색배열을 도시한다.
스텝(S11)에서는 도 14(B)에 도시하는 바와 같이 체크무늬패턴의 백색(W)화소의 성분을, 해상도의 방향성을 판단하여 모든 색의 화소에 전개하는 처리가 행하여진다. 여기서, 해상도의 방향이란, 화소 신호가 존재하고 있는 방향을 의미하고 있다. 도 14(B)에서, 투명한 사각형 으로 나타내는 W는 각 색에 전개된 W화소의 성분을 나타내는 것으로 한다.
W화소의 성분을 다른 모든 색의 화소에 전개함에 있어서는 주지의 방향성 상관을 이용한 신호 처리를 이용할 수 있다. 이 방향성 상관을 이용한 신호 처리의 기술로서는 예를 들면, 특정한 화소에 대응하는 복수의 색 신호를 얻고, 특정한 화소에 대응하는 위치에서의 수직 방향 및/또는 수평 방향의 상관치를 얻는 기술(예를 들면, 특허 제2931520호 명세서 등 참조)을 들 수 있다.
스텝(S12)에서는 도 14(C)에 도시하는 바와 같이 W화소와 G화소와의 상관으로부터 W화소를 G화소로 치환한다. 선술한 각종의 컬러 코딩의 색배열로부터 분명한 바와 같이 W화소와 G화소는 인접하고 있다. 어느 영역에서 W화소와 G화소와의 상관을 보면, 어느쪽도 휘도신호의 주성분이 되는 색이기 때문에 꽤 강한 상관을 갖고 있고, 상관치(상관 계수)가 1에 가깝다. 이 색상관을 이용하여 해상도의 방향성을 판단하고, W화소의 출력 레벨을 G화소 상당의 레벨로 치환함으로써, W화소를 G화소로 치환할 수 있다.
스텝(S13)에서는 W화소와 R/B의 각 화소와의 상관으로부터, 도 14(D)에 도시하는 바와 같이 베이어용 R/B의 각 화소를 생성한다. W필터는 R/G/B의 각 색 성분을 포함하고 있기 때문에, W화소와 R/B의 각 화소와의 상관을 취할 수 있다. 이 신호 처리에는 4색의 색배열에 있어서 G로 대체되는 휘도신호를 전 화소에 보간하는 주지의 기술(예를 들면, 특개2005-160044호 공보 등 참조)을 이용할 수 있다.
계속해서, 풀 스캔시에 있어서의 저휘도시의 색변환 처리(2)에 관해, 도 15의 플로우 차트 및 도 16의 개념도를 이용하여 설명한다.
우선, 선술한 주지의 방향성 상관을 이용한 신호 처리를 이용함으로써, 도 16(A)에 도시하는 바와 같이 해상도의 방향성을 본다(스텝 S21). 그리고, 방향성을 판단할 수 있는지의 여부를 판단하고(스텝 S22), 방향성을 판단할 수 있는 경우는 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다(스텝 S23).
다음에, 선술한 주지의 기술을 이용함으로써, 도 16(B)에 도시하는 바와 같이 W화소와 R/B의 각 화소와의 상관으로부터 R/B의 각 화소를 생성한다(스텝 S24). 뒤이어, 도 16(C)에 도시하는 바와 같이 W화소의 신호에 상기 W화소에 인접하는 2개의 G화소의 신호를 가산하여 G(=W+2G)에 근사함으로써, 도 16(D)에 도시하는 바와 같이 베이어용 R/B의 각 화소를 생성한다(스텝 S25).
스텝 S22에서, 방향성을 판단할 수가 없는 경우는 상하좌우에 인접하는 4화 소 사이에서 균등하게 보완하는 단순 4화소 균등 보간에 의해 베이어용 R/B의 각 화소를 생성한다(스텝 S26).
상술한 바와 같이 입사광의 휘도에 응하여 색변환 처리(1) 또는 색변환 처리(2)를 이용함으로써, W필터가 체크무늬패턴으로 배열된 색배열에 대응한 신호를, RGB 베이어 배열에 대응한 신호로 센서 칩(11)상에서 변환하여 출력할 수 있다.
다음에, 동화 촬상시에 있어서의 화소 가산시의 2개의 색변환 처리에 관해 설명한다. 이 2개의 색변환 처리를 화소 가산 처리(1) 및 화소 가산 처리(2)라고 부르기로 한다.
우선, 화소 가산 처리(1)에 관해, 도 47의 플로우 차트 및 도 48의 개념도를 이용하여 설명한다.
최초에, W화소에 대해, 대각방향에 위치하는 2개의 화소 사이에서 가산 처리를 행한다(스텝 S31). 구체적으로는 도 48(A)에 도시하는 바와 같이 주목 화소와 상기 주목 화소의 우대각 아래에 위치하는 화소(1렬 오른쪽 이웃하고 1행 아래의 화소)와의 사이에서 가산을 행한다. 이 W화소의 가산에 관해서는 도 3에 도시하는 화소 구성에 있어서, 가산을 행하는 2개의 화소의 전송 트랜지스터(22), 본 예에서는 전송 트랜지스터(22-1, 22-4)에 대해 동시에 전송 펄스(φTRF)를 줌으로써, FD부(26)에서 2화소 가산을 행할 수가 있다. 이 화소 가산을 FD 가산이라고 부르기로 한다.
다음에, R/G/B의 각 화소에 대해, W화소의 경우와 역대각방향에 위치하는 2개의 화소 사이에서 비월 가산을 행한다(스텝 S32). 구체적으로는 도 48(B)에 도시 하는 바와 같이 주목 화소와 상기 주목 화소의 좌대각 아래에 위치하는 화소(2렬 왼쪽 이웃하고 2행 아래의 화소)와의 사이에서 비월 가산을 행한다. 이 R/G/B의 각 화소의 가산에 관해서는 예를 들면 도 1에 도시하는 칼럼 처리부(14)가 A/D 변환 기능을 갖는 경우에 있어서, 상기 A/D 변환시에 비월 가산을 행할 수가 있다.
보다 구체적으로는 도 19에 도시하는 색배열에 있어서, B1, G1의 각 화소의 신호를 독립하여 판독하고, 이들의 신호를 A/D 변환 후에 연속적으로 B2, G3의 각 화소의 신호를 판독하여 A/D 변환을 행함으로써 2화소 가산을 행할 수가 있다. 이 칼럼 처리부(14)에서의 A/D 변환시에 화소 가산을 행하는 기술로서는 카운터를 이용하여 아날로그 화소 신호를 디지털 화소 신호로 변환하는 주지의 기술(예를 들면, 특개2006-033454호 공보 등 참조)을 이용할 수 있다.
이 A/D 변환부의 일부를 구성하는 카운터를 이용하여 화소 가산을 행하는 처리를 카운터 가산이라고 부르기로 한다. 이 카운터 가산을 행할 때에 라인마다 게인을 바꾸면, 가산 비율을 가변으로 할 수 있다. R화소에 대해서도 마찬가지로 하여 카운터 가산을 행할 수가 있다. 그와 관련하여, 선술한 W화소에 대한 2화소 가산은 W1, W2의 각 화소 사이 W3, W4의 각 화소 사이에서 각각 FD 가산이 행하여진다.
다음에, 도 48(C)에 도시하는 바와 같이 W화소의 성분을 R/G/B의 각 화소에 피팅 한다(스텝 S33). 뒤이어, 도 48(D)에 도시하는 바와 같이 RGB 베이어 배열의 4화소를 생성한다(스텝 S34).
계속해서, 화소 가산 처리(2)에 관해, 도 20의 플로우 차트 및 도 21의 개념 도를 이용하여 설명한다.
최초에, W화소 및 G화소에 대해, 좌우대각방향에 위치하는 2개의 화소 사이에서 FD 가산을 행함에 의해 W/R/G/B를 생성한다(스텝 S41). 구체적으로는 W화소에 대해서는 도 21(A)에 도시하는 바와 같이 주목 화소와 상기 주목 화소의 우대각 아래에 위치하는 화소(1렬 오른쪽 이웃하고 1행 아래의 화소)와의 사이에서 FD 가산을 행한다. G화소에 대해서는 도 21(B)에 도시하는 바와 같이 주목 화소와 상기 주목 화소의 좌대각 아래에 위치하는 화소(1렬 왼쪽 이웃하고 1행 아래의 화소)와의 사이에서 FD 가산을 행한다.
여기서, 세로 4화소×가로 4화소의 합계 8화소에 있어서, R/B의 1조(組)의 신호에 대해서는 미사용이 된다. 즉, R/B의 각 화소에 대해서는 화소 가산 없음의 솎아냄 판독이 된다. 따라서 화소 가산 처리(1)의 경우에 비하여 R/B의 감도가 낮아지기 때문에 색 S/N이 나쁘다.
다음에, 도 21(C)에 도시하는 바와 같이 W화소의 성분을 R/G/B의 각 화소에 피팅 한다(스텝 S42). 뒤이어, 도 21(D)에 도시하는 바와 같이 RGB 베이어 배열의 4화소를 생성한다(스텝 S43). 화소 가산 처리(2)의 경우, 화소 가산 처리(1)의 경우에 비하여 RGB 베이어 배열의 중심(重心)이 다소 어긋난다.
상술한 바와 같이 동화 촬상시에 화소 가산 처리(1) 또는 화소 가산 처리(2)를 이용함으로써, W필터가 체크무늬패턴으로 배열된 색배열에 대응한 신호를, RGB 베이어 배열에 대응한 신호로 센서 칩(11)상에서 변환하여 출력할 수 있다.
(제 2 구체예에 관한 컬러 코딩인 경우)
계속해서, 제 2 구체예에 관한 컬러 코딩인 경우의 색변환 처리에 관해 설명한다. 제 2 구체예에 관한 컬러 코딩의 일련의 처리의 흐름에 관해서는 대강, 제 1 구체예에 관한 컬러 코딩인 경우를 기본으로 하고 있다.
우선, 풀 스캔시의 색변환 처리(1)에 관해 도 49의 개념도를 이용하여 설명한다. 도 49(A)에 도시하는 제 2 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 49(B)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. 다음에, W화소와 G화소와의 상관으로부터, 도 49(C)에 도시하는 바와 같이 W화소를 G화소로 치환한다. 그리고, W화소와 R/B의 각 화소와의 상관으로부터, 도 49(D)에 도시하는 베이어용 R/B의 각 화소를 생성한다.
다음에, 풀 스캔시의 색변환 처리(2)에 관해 도 50의 개념도를 이용하여 설명한다. 색변환 처리(1)의 경우와 마찬가지로, 제 2 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 50(A)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. 다음에, W화소와 R/B의 각 화소와의 상관으로부터, 도 50(B)에 도시하는 바와 같이 R/B의 각 화소를 생성한다. 그리고, 도 50(C)에 도시하는 바와 같이 W화소의 신호에 상기 W화소에 인접하는 G화소 2개의 신호를 가산하고, G(=W+2G)에 근사하고, 도 50(D)에 도시하는 바와 같이 베이어용 R/B의 각 화소를 생성한다. 이 때, 방향성이 있는 경우는 가산 비율을 액티브하게 바꾸면 좋다.
계속해서, 화소 가산 처리(1)에 관해 도 51을 이용하여 설명한다. 도 51(A), (B)에 도시하는 바와 같이 W화소와 R/G/B의 각 화소에 대해 좌우대각 FD 가산을 행함으로써 W/R/G/B의 각 화소를 생성한다. 그리고, 도 51(C)에 도시하는 바와 같이 W화소의 성분을 각 화소에 피팅하여, 도 51(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
다음에, 화소 가산 처리(2)에 관해 도 52를 이용하여 설명한다. 도 52(A), (B)에 도시하는 바와 같이 W화소와 R/G/B의 각 화소에 대해 좌우대각 FD 가산을 행함으로써 W/R/G/B의 각 화소를 생성한다. 그리고, 도 52(C)에 도시하는 바와 같이 W화소의 성분을 R/B의 각 화소에 피팅하여, 도 52(D)에 도시하는 RGB 베이어 배열의 4화소를 생성한다.
이상 설명한 바와 같이 휘도신호의 주성분이 되는 W필터가 체크무늬패턴으로 배열되고, G필터가 대각방향으로 스트라이프 배열된 색배열의 제 1, 제 2 구체예에 관한 컬러 코딩에 있어서, 상술한 신호 처리를 행함으로써 다음과 같은 작용 효과를 얻을 수 있다. 즉, 센서 칩(11)상의 변환 처리부(16)에서, W화소에 인접하는 G화소의 신호를 W화소의 신호에 가산하여 휘도신호의 주성분으로 하는 신호 처리를 행함으로써 휘도신호량을 증대할 수 있다. 이로써, 해상도를 대폭 떨어뜨리지 않고서 감도를 올릴 수 있다.
<제 3 실시 형태>
[시스템 구성]
도 53은 본 발명의 제1의 실시 형태에 기초한 제 3 실시 형태에 관한 고체 촬상 장치(X-Y 어드레스형 고체 촬상 장치)의 한 예인 CMOS 이미지 센서의 구성의 개략을 도시하는 시스템 구성도이다. 도 1의 설명에 사용한 바와 같이 동일한 구성 요소에는 동일한 도면 번호를 붙일 것이다.
전술한 제 1 실시 형태에 관한 CMOS 이미지 센서(10A)는 센서 칩(11) 위에 마련된 변환 처리부(16)에서, 색필터 어레이(30)의 색배열에 대응한 신호를, RGB 베이어 배열에 대응한 신호로 변환하는 구성으로 되어 있다. 이에 대해, 본 실시 형태에 관한 CMOS 이미지 센서(10B)는 색필터 어레이(30)의 색배열에 대응한 W/R/G/B의 신호가 그대로 생(raw) 데이터)로서 센서 칩(11)으로부터 출력되는 구성으로 되어 있다.
그리고, 본 실시 형태에 관한 CMOS 이미지 센서(10B)는 센서 칩(11)으로부터 출력되는 RAW 데이터에 대해, 센서 칩(11)의 외부 회로인 DSP 회로(40)에서 색변환 처리를 행하는 구성을 채택하고 있다. DSP 회로(40)는 센서 칩(11)으로부터 출력되는 W/R/G/B의 신호를 RGB 베이어 배열에 대응한 신호로 변환하고, 그리고 나서 주지의 디모자이크 처리를 행한다. 여기서, 디모자이크 처리는 단색의 색정보밖에 갖지 않는 각 화소의 신호에 대해, 그 주변 화소의 신호로부터 부족한 색정보를 모아 줌으로써 색정보를 보완하여 풀 컬러 화상을 만들어 내는 처리이다.
이와 같이 본 실시 형태에 관한 CMOS 이미지 센서(10B)는 색필터 어레이(30)의 색배열에 대응한 W/R/G/B의 신호를 그대로 센서 칩(11)에 출력하고, DSP 회로(40)에서 RGB 베이어 배열에 대응한 신호로 변환하는 것을 특징으로 하고 있다. 따라서 센서 칩(11)상에 마련된 화소 어레이부(12), 수직 구동부(13), 칼럼 처리부(14), 수평 구동부(15) 및 시스템 제어부(17)의 구성 및 동작에 관해서는 제 1 실시 형태의 경우와 같고, 여기서는 그 설명에 관해서는 중복되기 때문에 생략한다.
[색필터 어레이의 컬러 코딩]
본 실시 형태에 관한 CMOS 이미지 센서(10B)에서도, 제 1 실시 형태에 관한 CMOS 이미지 센서(10A)의 경우와 마찬가지로, RGB 베이어 배열에 대응한 신호로의 변환이 용이한 색필터 어레이(30)의 컬러 코딩을 특징의 하나로 하고 있다.
즉, 색필터 어레이(30)는 휘도신호의 주성분이 되는 제 1색(W/G)의 필터가 체크무늬패턴으로 배열되고, 휘도신호의 주성분이 되는 제 2색(G/W)의 필터가 대각방향, 종방향 또는 횡방향에 있어서 4화소 단위로 스트라이프패턴으로 배열된 색배열로 되어 있다. 이 컬러 코딩의 색필터 어레이(30)를 이용함에 의한 작용 효과에 관해서는 제 2 실시 형태의 경우와 같다.
[색필터 어레이의 컬러 코딩의 구체예]
휘도신호의 주성분이 되는 색필터가 체크무늬패턴으로 배열된 색배열에 대응한 신호로부터, RGB 베이어 배열에 대응한 신호로의 변환이 용이한 컬러 코딩의 구체예에 관해서도, 제 1 실시 형태의 경우와 마찬가지의 제 1, 제 2 구체예를 들 수 있다.
즉, 제 1 구체예에 관한 컬러 코딩은 W필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 또한 R/B의 각각의 필터 사이가 1화소 만큼 대각으로 어긋나고, G필터는 체크무늬패턴의 나머지 영역에 배치되어 있다(도 45 참조). 또한, 제 2 구체예에 관한 컬러 코딩은 W 필터가 체크무늬패턴으로 배열되고, R/B의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 또한 R/B의 각각의 필터 사이가 대각방향으로 2화소 단위로 나열하고, G필터는 체크무늬패턴의 나머지 영역에 배치되어 있다(도 46 참조).
[색변환 처리]
계속해서, DSP 회로(40)에서, 센서 칩(11)으로부터 RAW 데이터로서 출력되는 색필터 어레이(30)의 색배열에 대응한 신호를, RGB 베이어 배열에 대응한 신호로 변환하는 색변환 처리의 상세에 관해 설명한다.
이 색변환 처리에서는 제 1 실시 형태의 경우와 마찬가지로, W:G:R:B의 각 화소의 감도비의 조정이 행하여지는 것으로 한다. 색변환 처리에 관해서는 제 1 실시 형태의 경우와 마찬가지로, 풀 스캔시의 색변환 처리와 화소 가산시의 색변환 처리로 나뉘어진다. 또한, 풀 스캔시의 처리에 관해서도, 입사광 휘도가 미리 정해진 기준 휘도 보다도 높은 고휘도시의 색변환 처리(1)와, 기준 휘도 이하의 저휘도시의 색변환 처리(2)로 나뉘어진다.
(제 1 구체예에 관한 컬러 코딩인 경우)
우선, 제 1 구체예에 관한 컬러 코딩인 경우의 색변환 처리에 관해 설명한다. 최초에, 풀 스캔시에 있어서의 고휘도시의 색변환 처리(1)에 관해, 도 54의 플로우 차트 및 도 55의 개념도를 이용하여 설명한다.
제 1 구체예에 관한 컬러 코딩의 4×4화소의 색배열을 도 55(A)에 도시한다. 이 제 1 구체예에 관한 컬러 코딩에 있어서, 우선, 선술한 주지의 방향성 상관을 이용한 신호 처리를 이용함으로써, 도 55(B)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 해상도의 방향성을 판단하여 모든 색의 화소에 전개한다(스텝 S51). 다음에, 선술한 주지의 기술을 이용함으로써, W화소와 R/G/B의 각 화소와의 상관으로부터, 도 55(C)에 도시하는 바와 같이 R/G/B의 각 성분을 전 화소에 전개한다(스텝 S52).
계속해서, 풀 스캔시에 있어서의 저휘도시의 색변환 처리(2)에 관해, 도 56의 플로우 차트 및 도 57의 개념도를 이용하여 설명한다.
우선, 선술한 주지의 방향성 상관을 이용한 신호 처리를 이용함으로써, 도 57(A)에 도시하는 바와 같이 해상도의 방향성을 본다(스텝 S61). 그리고, 방향성을 판단할 수 있는지의 여부를 판단하고(스텝 S62), 방향성을 판단할 수 있는 경우는 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다(스텝 S63).
다음에, 선술한 주지의 기술을 이용함으로써, 도 57(B)에 도시하는 바와 같이 W화소와 R/B의 각 화소와의 상관으로부터 R/B의 각 화소를 생성한다(스텝 S64). 스텝 S62에서, 방향성을 판단할 수가 없는 경우는 상하좌우에 인접하는 4화소 사이에서 균등하게 보완한 단순 4화소 균등 보간에 의해 R/B의 각 화소를 생성한다(스텝 S66).
다음에, 도 57(C)에 도시하는 바와 같이 W화소로부터 방향성을 판단하고 상기 W화소에 인접하는 2개의 G화소의 신호를 W화소의 신호에, 비율을 액티브하게 바꾸어서 가산(W+2G)하여 체크무늬패턴 배열을 생성한다(스텝 S65). 그 후 또한, 방향성을 판단하여 전 화소에 전개함응로써 휘도신호로 한다(스텝 S66).
상술한 바와 같이 입사광의 휘도에 응하여 색변환 처리(1) 또는 색변환 처 리(2)를 이용함으로써, W필터가 체크무늬패턴으로 배열된 색배열에 대응한 신호를 RGB 베이어 배열에 대응한 신호로, 센서 칩(11) 밖의 DSP 회로(40)의 신호 처리에서 변환할 수 있다.
다음에, 동화 촬상시에 있어서의 화소 가산시의 2개의 색변환 처리(1, 2)에 관해 설명한다. 우선, 화소 가산 처리(1)에 관해, 도 58의 플로우 차트 및 도 59의 개념도를 이용하여 설명한다.
우선, 도 59(A)에 도시하는 바와 같이 W화소에 대해 대각방향에 위치하는 2개의 화소 사이에서 FD 가산을 행함과 함께, RGB화소에 대해 대각방향에 위치하는 2개의 화소 사이에서 카운터 가산을 행한다(스텝 S71). 다음에, W화소와 R/G/B의 각 화소와의 상관으로부터, 도 59(B)에 도시하는 바와 같이 전 화소에 R/G/B의 각 성분을 전개한다(스텝 S72). 그리고, 도 59(C)에 도시하는 바와 같이 W화소의 신호와 G화소의 신호를 1 : 2비로 가산하여 W+2G로 하고, 상기 W+2G의 신호를 휘도신호로 한다(스텝 S73).
다음에, 화소 가산 처리(2)에 관해, 도 60의 플로우 차트 및 도 61의 개념도를 이용하여 설명한다.
우선, W화소 및 G화소에 대해, 도 61(A)에 도시하는 바와 같이 좌우대각방향에 위치하는 2개의 화소 사이에서 FD 가산을 행함에 의해 W, G를 생성한다(스텝 S81). 구체적으로는 G화소에 대해서는 주목 화소와 상기 주목 화소의 좌대각 아래에 위치하는 화소(1렬 왼쪽 이웃하고 1행 아래의 화소)와의 사이에서 FD 가산을 행한다. W화소에 대해서는 주목 화소와 상기 주목 화소의 우대각 아래에 위치하는 화 소(1렬 오른쪽 이웃하고 1행 아래의 화소)와의 사이에서 FD 가산을 행한다. R, B의 화소에 대해서는 그대로로 한다.
다음에, W화소와 R/G/B의 각 화소와의 상관으로부터, 도 61(B)에 도시하는 바와 같이 R/G/B의 각 성분을 전 화소에 전개한다(스텝 S82). 그리고, W화소의 신호와 G화소의 신호를 1 : 2비로 가산하여 W+2G로 하고, 상기 W+2G의 신호를 휘도신호로 한다(스텝 S83).
상술한 바와 같이 동화 촬상시에 화소 가산 처리(1) 또는 화소 가산 처리(2)를 이용함으로써, W필터가 체크무늬패턴으로 배열된 색배열에 대응한 신호를 RGB 베이어 배열에 대응한 신호로, 센서 칩(11) 밖의 DSP 회로(40)의 신호 처리에서 변환할 수 있다.
(제 3 구체예에 관한 컬러 코딩인 경우)
계속해서, 제 3 구체예에 관한 컬러 코딩인 경우의 색변환 처리에 관해 설명한다. 제 3 구체예에 관한 컬러 코딩의 일련의 처리의 흐름에 관해서는 대강, 제 1 또는 제 2 구체예에 관한 컬러 코딩인 경우를 기본으로 하고 있다.
최초에, 풀 스캔시의 색변환 처리(1)에 관해 도 62의 개념도를 이용하여 설명한다. 제 2 구체예에 관한 컬러 코딩의 4×4화소의 색배열을 도 62(A)에 도시한다. 이 제 2 구체예에 관한 컬러 코딩에 있어서, 해상도의 방향성을 보고, 도 62(B)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다. 뒤이어, W화소와 R/G/B의 각 화소와의 상관으로부터, 도 62(C)에 도시하는 바와 같이 R/G/B의 각 성분을 전 화소에 전개한다).
다음에, 풀 스캔시의 색변환 처리(2)에 관해 도 63의 개념도를 이용하여 설명한다. 색변환 처리(1)의 경우와 마찬가지로, 제 2 구체예에 관한 컬러 코딩의 4×4화소의 색배열에 있어서, 해상도의 방향성을 보고, 도 63(A)에 도시하는 바와 같이 체크무늬패턴의 W화소의 성분을 모든 색의 화소에 전개한다.
다음에, W화소와 R/B의 각 화소와의 상관으로부터, 도 63(B)에 도시하는 바와 같이 R/B의 각 성분을 전 화소에 전개한다. 그리고, 도 63(C)에 도시하는 바와 같이 W화소로부터 방향성을 판단하여 상기 W화소에 인접하는 2개의 G화소의 신호를 W화소의 신호에, 비율을 액티브하게 바꾸어서 가산(W+2G)하여 체크무늬패턴 배열을 생성한다. 그 후 또한, 방향성을 판단하여 전 화소에 전개함으로써 휘도신호로 한다.
계속해서, 화소 가산 처리(1)에 관해 도 64을 이용하여 설명한다. 우선, W화소 및 G화소에 대해, 도 64(A)에 도시하는 바와 같이 좌우대각방향에 위치하는 2개의 화소 사이에서 FD 가산을 행함에 의해 W, R, G, B의 각 화소의 신호를 생성한다. 다음에, W화소와 R/G/B의 각 화소와의 상관으로부터, 도 64(B)에 도시하는 바와 같이 R/G/B의 각 성분을 전 화소에 전개한다. 그리고, W화소의 성분을 각 화소에 피팅하여 S/N을 개선한 후, RGB 신호로 한다.
다음에, 화소 가산 처리(2)에 관해 도 65를 이용하여 설명한다. 우선, W화소 및 G화소에 대해, 도 65(A)에 도시하는 바와 같이 좌우대각방향에 위치하는 2개의 화소 사이에서 FD 가산을 행함에 의해 W, R, G, B의 각 화소의 신호를 생성한다. 다음에, W화소와 R/G/B의 각 화소와의 상관으로부터, 도 65(B)에 도시하는 바와 같 이 R/G/B의 각 성분을 전 화소에 전개한다. 그리고, W화소의 신호와 G화소의 신호를 1 : 2비로 가산하여 W+2G로 하고, 상기 W+2G의 신호를 휘도신호로 한다.
이상 설명한 바와 같이 휘도신호의 주성분이 되는 W필터가 체크무늬패턴으로 배열되고, G필터가 대각방향으로 스트라이프 배열된 색배열의 제 1, 제 2 구체예에 관한 컬러 코딩에 있어서, 상술한 신호 처리를 행함으로써 다음과 같은 작용 효과를 얻을 수 있다. 즉, 센서 칩(11) 밖의 DSP 회로(40)에서, W화소에 인접하는 G화소의 신호를 W화소의 신호에 가산하여 휘도신호의 주성분으로 하는 신호 처리를 행함으로써 휘도신호량을 증대할 수 있다. 이로써, 해상도를 대폭 떨어뜨리지 않고서 감도를 올릴 수 있다.
<3. 변형례>
또한, 상기 각 실시 형태에서는 W화소에 인접하는 2개의 G화소의 신호를 간이적으로 W화소의 신호에 가산하여 의사적으로 휘도신호의 주성분으로 한다고 하였지만, 가산하는 G화소의 화소수는 2화소로 한정되는 것이 아니고, 1화소라도 좋다. 그와 관련하여, W화소에 인접하는 하나의 G화소의 신호를 가산한 2화소 가산으로 함으로써, 2개의 G화소의 신호를 가산하는 3화소 가산의 경우에 비하여 해상도의 저하를 억제할 수 있다.
또한, 상기 각 실시 형태에서는 G필터를 대각방향으로 4화소 단위로 스트라이프 배열로 되어 있는 경우의 신호 처리를 예로 들어 설명하였지만, 종방향 또는 횡방향으로 4화소 단위로 스트라이프패턴으로 배열되어 있는 경우에도 같은 작용 효과를 얻을 수 있다. 또한, 제 1색의 필터와 제 2색의 필터의 가산 비율은 1 : 1 로 한정되는 것이 아니라, 임의의 가산 비율로 해상도와 감도의 밸런스를 취하도록 하여도 좋다.
또한, 상기 각 실시 형태에서는 휘도신호의 주성분이 되는 제 1색을 백색(W), 제 2색을 녹색(G)으로 한 컬러 코딩인 경우를 예로 들었지만, 제 1색을 녹색, 제 2색을 백색으로 한 컬러 코딩인 경우에도 같은 작용 효과를 얻을 수 있다. 이 경우의 제 1 구체예에 관한 컬러 코딩을 도 66에, 제 2 구체예에 관한 컬러 코딩을 도 67에 각각 도시한다.
[촬상 장치]
도 68은 본 발명에 관한 촬상 장치의 구성의 한 예를 도시하는 블록도이다.
도 68에 도시하는 바와 같이 본 발명에 관한 촬상 장치(100)는 렌즈군(101) 등을 포함하는 광학계, 촬상 소자(102), 카메라 신호 처리 회로인 DSP 회로(103), 프레임 메모리(104), 표시 장치(105), 기록 장치(106), 조작계(107) 및 전원계(108) 등을 갖고 있다. 그리고, DSP 회로(103), 프레임 메모리(104), 표시 장치(105), 기록 장치(106), 조작계(107) 및 전원계(108)가 버스 라인(109)을 통하여 상호 접속된 구성으로 되어 있다.
렌즈군(101)은 피사체로부터의 입사광(화상광)을 받아들여서 촬상 소자(102)의 촬상면상에 결상한다. 촬상 소자(102)는 렌즈군(101)에 의해 촬상면상에 결상된 입사광의 광량을 화소 단위로 전기 신호로 변환하여 화소 신호로서 출력한다. 이 촬상 소자(102)로서, 선술한 실시 형태에 관한 CMOS 이미지 센서(10A, 10B, 10)가 사용된다. 또한, 상기 모든 실시예(제3의 실시예 포함)에 따른 CMOS 이미지 센 서(10)가 촬상 소자(102)로서 사용될 수 있다.
CMOS 이미지 센서(10A, 10B, 10)는 색필터 어레이로서, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되고, 나머지 부분에 색정보 성분이 되는 복수의 색이 배열된 색배열의 컬러 코딩의 것을 갖고 있다. 특히, CMOS 이미지 센서(10A, 10B, 10)는 색필터 어레이의 색배열에 대응한 신호를, 연산 처리에서 베이어 배열에 대응한 신호로 변환하는 구성으로 되어 있다.
따라서 CMOS 이미지 센서(10A, 10B, 10)는 색필터 어레이가 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열된 컬러 코딩이지만, CMOS 이미지 센서(10A, 10B, 10)는 베이어 배열에 대응한 신호가 출력된다. 이로써, DSP 회로(103)로서, 베이어 배열에 대응한 신호를 기초로 휘도신호(Y) 및 2개의 색차신호(U(B-Y), V(R-Y))를 생성하는 처리를 기본적인 처리로 하는 기존의 베이어 배열용의 DSP를 이용할 수 있다.
이와 같이 기존의 베이어 배열용의 DSP를 이용할 수 있기 때문에, 촬상 소자(102)에서 이용하는 색필터 어레이의 컬러 코딩을 변경하여도, 막대한 개발 비용이 걸리는 DSP를 신규로 개발할 필요가 없어진다. 이로써, DSP 회로(103)를 포함하는 본 촬상 장치(100)의 저비용화 및 특히 W필터를 이용한 컬러 코딩의 색필터 어레이의 보급에 기여할 수 있다.
한편, CMOS 이미지 센서(10B)인 경우에는 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열된 색배열에 대응한 신호가 칩 밖으로 출력되고, DSP 회로(103)(도 52의 DSP 회로(40)에 상당)에서 RGB 베이어 배열에 대응한 신호로 변환 하는 처리가 행하여진다. 따라서 개발 비용이 걸리는 것이지만, 색필터 어레이의 컬러 코딩의 변경에 대응하기 위해, DSP 회로(103)를 신규로 개발할 필요가 있다. 단, CMOS 이미지 센서(10B)인 경우에도, CMOS 이미지 센서(10A)의 경우와 마찬가지로, 해상도를 대폭 떨어뜨리지 않고서 감도를 올릴 수 있기 때문에, 고해상도를 유지하면서 촬상 신호의 S/N을 향상할 수 있는 이점이 있다.
표시 장치(105)는 액정 표시 장치나 유기 EL(electro luminescence) 표시 장치 등의 패널형 표시 장치로 이루어지고, 촬상 소자(102)에서 촬상된 동화 또는 정지화를 표시한다. 기록 장치(106)는 촬상 소자(102)에서 촬상된 동화 또는 정지화를, 비디오 테이프나 DVD(Digital Versatile Disk) 등의 기록 매체에 기록한다.
조작계(107)는 유저에 의한 조작하에, 본 촬상 장치가 갖는 다양한 기능에 관해 조작 지령을 발한다. 전원계(108)는 DSP 회로(103), 프레임 메모리(104), 표시 장치(105), 기록 장치(106) 및 조작계(107)의 동작 전원이 되는 각종의 전원을, 이들 공급 대상에 대해 적절히 공급한다.
본 발명은 JP2008-311695호 출원(2008년 12월 8일)의 우선권 주장출원이다.
이상 본 발명을 상기 실시예에 입각하여 설명하였지만, 본 발명은 상기 실시예의 구성에만 한정되는 것이 아니고, 특허청구의 범위의 각 청구항의 발명의 범위 내에서 당업자라면 행할 수 있는 각종 변형, 수정을 포함하는 것은 물론이다.
도 1은 본 발명의 한 실시 형태에 관한 CMOS 이미지 센서의 구성의 개략을 도시하는 시스템 구성도.
도 2는 단위 화소의 회로 구성의 한 예를 도시하는 회로도.
도 3은 인접 4화소 가산을 화소 내에서 행하는 경우의 회로 구성의 한 예를 도시하는 회로도.
도 4는 제 1 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 5는 제 2 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 6은 제 3 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 7은 제 4 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 8은 제 5 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 9는 제 6 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 10은 제 7 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 11은 제 8 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 12는 제 9 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 13은 제 1 구체예에 관한 컬러 코딩인 경우의 풀 스캔시에 있어서의 고휘도시의 색변환 처리(1)의 한 예의 흐름을 도시하는 플로우 차트.
도 14는 제 1 구체예에 관한 컬러 코딩인 경우의 풀 스캔시에 있어서의 고휘도시의 색변환 처리(1)의 개념도.
도 15는 제 1 구체예에 관한 컬러 코딩인 경우의 풀 스캔시에 있어서의 저휘 도시의 색변환 처리(2)의 한 예의 흐름을 도시하는 플로우 차트.
도 16은 제 1 구체예에 관한 컬러 코딩인 경우의 풀 스캔시에 있어서의 저휘도시의 색변환 처리(2)의 개념도.
도 17은 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 한 예의 흐름을 도시하는 플로우 차트.
도 18은 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 개념도.
도 19는 FD 가산 및 카운터 가산에 관한 설명도.
도 20은 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(2)의 한 예의 흐름을 도시하는 플로우 차트.
도 21은 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(2)의 개념도.
도 22는 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(3)의 한 예의 흐름을 도시하는 플로우 차트.
도 23은 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(3)의 개념도.
도 24는 제 2 구체예에 관한 컬러 코딩인 경우의 풀 스캔시의 색변환 처리의 개념도.
도 25는 제 2 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리의 개념도.
도 26은 제 3 구체예에 관한 컬러 코딩인 경우의 풀 스캔시의 색변환 처리의 개념도.
도 27은 제 3 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리의 개념도.
도 28은 제 4 구체예에 관한 컬러 코딩인 경우의 풀 스캔시의 색변환 처리의 개념도.
도 29는 제 4 구체예에 관한 컬러 코딩인 경우의 제 1의 화소 가산 처리의 개념도.
도 30은 제 4 구체예에 관한 컬러 코딩인 경우의 제 2의 화소 가산 처리의 개념도.
도 31은 제 4 구체예에 관한 컬러 코딩인 경우의 제 3의 화소 가산 처리의 개념도.
도 32는 제 4 구체예에 관한 컬러 코딩인 경우의 제 4의 화소 가산 처리의 개념도.
도 33은 제 5 구체예에 관한 컬러 코딩인 경우의 풀 스캔시의 색변환 처리의 개념도.
도 34는 제 5 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리의 개념도.
도 35는 제 6 구체예에 관한 컬러 코딩인 경우의 색변환 처리(1)의 개념도.
도 36은 제 6 구체예에 관한 컬러 코딩인 경우의 색변환 처리(2)의 개념도.
도 37은 제 6 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 개념도.
도 38은 제 6 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(2)의 개념 도.
도 39는 제 7 구체예에 관한 컬러 코딩인 경우의 풀 스캔시의 색변환 처리의 개념도.
도 40은 제 7 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리의 개념도.
도 41은 제 8 구체예에 관한 컬러 코딩인 경우의 풀 스캔시의 색변환 처리의 개념도.
도 42는 제 8 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리의 개념도.
도 43은 제 9 구체예에 관한 컬러 코딩인 경우의 풀 스캔시의 색변환 처리의 개념도.
도 44는 제 9 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리의 개념도.
도 45는 제 1 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 46는 제 2 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 47은 제 2 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 한 예의 흐름을 도시하는 플로우 차트.
도 48은 제 2 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 개념도.
도 49는 제 2 실시 형태의 제 2 구체예에 관한 컬러 코딩인 경우의 색변환 처리(1)의 개념도.
도 50은 제 2 실시 형태의 제 2 구체예에 관한 컬러 코딩인 경우의 색변환 처리(2)의 개념도.
도 51은 제 2 실시 형태의 제 2 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 개념도.
도 52는 제 2 실시 형태의 제 2 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(2)의 개념도.
도 53는 본 발명의 제 3 실시 형태에 관한 CMOS 이미지 센서의 구성의 개략을 도시하는 시스템 구성도.
도 54는 제 3 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 풀 스캔시에 있어서의 고휘도시의 색변환 처리(1)의 한 예의 흐름을 도시하는 플로우 차트.
도 55는 제 3 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 풀 스캔시에 있어서의 고휘도시의 색변환 처리(1)의 개념도.
도 56는 제 3 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 풀 스캔시에 있어서의 저휘도시의 색변환 처리(2)의 한 예의 흐름을 도시하는 플로우 차트.
도 57은 제 3 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 풀 스캔시에 있어서의 저휘도시의 색변환 처리(2)의 개념도.
도 58은 제 3 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 한 예의 흐름을 도시하는 플로우 차트.
도 59는 제 3 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 개념도.
도 60은 제 3 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(2)의 한 예의 흐름을 도시하는 플로우 차트.
도 61은 제 3 실시 형태의 제 1 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(2)의 개념도.
도 62는 제 3 실시 형태의 제 2 구체예에 관한 컬러 코딩인 경우의 색변환 처리(1)의 개념도.
도 63은 제 3 실시 형태의 제 2 구체예에 관한 컬러 코딩인 경우의 색변환 처리(2)의 개념도.
도 64는 제 3 실시 형태의 제 2 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(1)의 개념도.
도 65는 제 3 실시 형태의 제 2 구체예에 관한 컬러 코딩인 경우의 화소 가산 처리(2)의 개념도.
도 66은 변형 예의 제 1 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 67은 변형 예의 제 2 구체예에 관한 컬러 코딩을 도시하는 색배열도.
도 68은 본 발명에 관한 촬상 장치의 구성의 한 예를 도시하는 블록도.

Claims (16)

  1. 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에 마련되고, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되고, 나머지 부분에 색정보 성분이 되는 복수의 색이 배열되는 색배열을 갖는 색필터부와,
    상기 화소 어레이부를 상부에 갖는 기판상에 마련되고, 상기 화소 어레이부의 화소들로부터 출력되고 상기 색필터부의 색배열에 대응한 신호를 베이어 배열에 대응한 신호로 변환하고 상기 변환된 신호를 출력하는 변환 처리부를 구비하고,
    휘도신호의 주성분이 되는 색은 백색 또는 녹색이고,
    상기 색필터부는 백색필터가 체크무늬패턴으로 배열되는 컬러 코딩을 포함하고,
    적색과 청색의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 적색의 각각의 필터가 상기 청색 필터 중의 하나로부터 1화소 만큼 대각 이동하고, 또는 적색과 청색의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 상기 적색 필터 중의 2개 및 상기 청색 필터 중의 2개는 대각방향으로 어긋나게 배치되고, 녹색필터들이 상기 체크무늬패턴의 나머지 영역에 배치되고,
    상기 색필터부의 컬러 코딩에서, 상기 녹색필터가 대각방향, 종방향, 및 횡방향 중의 한 방향으로, 4화소 단위로 스트라이프패턴으로 배열되어 있고, 상기 변환 처리부는 백색필터의 화소에 인접하는 하나의 녹색의 화소의 신호 또는 2개의 녹색의 화소의 신호들을 상기 백색필터의 화소에 가산하여 휘도신호의 주성분으로 이용하는 것을 특징으로 하는 고체 촬상 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에 마련되고, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되고, 상기 체크무늬패턴의 나머지 영역에 색정보 성분이 되는 복수의 색이 배열되는 색배열을 갖는 색필터부를 갖고,
    휘도신호의 주성분이 되는 색은 백색 또는 녹색이고,
    상기 색필터부는 백색필터가 체크무늬패턴으로 배열되는 컬러 코딩을 포함하고,
    적색과 청색의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 적색의 각각의 필터가 상기 청색 필터 중의 하나로부터 1화소 만큼 대각 이동하고, 또는 적색과 청색의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 상기 적색 필터 중의 2개 및 상기 청색 필터 중의 2개는 대각방향으로 어긋나게 배치되고, 녹색필터들이 상기 체크무늬패턴의 나머지 영역에 배치되고,
    상기 색필터부의 컬러 코딩에서, 상기 녹색필터가 대각방향, 종방향, 및 횡방향 중의 한 방향으로, 4화소 단위로 스트라이프패턴으로 배열되어 있는 고체 촬상 장치의 신호 처리 방법에 있어서,
    상기 화소 어레이부의 화소들로부터 출력되고 상기 색필터부의 색배열에 대응한 신호를, 상기 화소 어레이부를 상부에 갖는 기판상에서, 베이어 배열에 대응하는 신호로 변환하고, 백색필터의 화소에 인접하는 하나의 녹색의 화소의 신호 또는 2개의 녹색의 화소의 신호들을 상기 백색필터의 화소에 가산하여 휘도신호의 주성분으로 이용하는 것을 특징으로 하는 고체 촬상 장치의 신호 처리 방법.
  8. 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에 마련되고, 휘도신호의 주성분이 되는 색이 체크무늬패턴으로 배열되고, 상기 체크무늬패턴의 나머지 부분에 색정보 성분이 되는 복수의 색이 배열된 색배열을 갖는 색필터부와, 상기 화소 어레이부를 상부에 갖는 기판상에 마련되고, 상기 화소 어레이부의 화소들로부터 출력되고 상기 색필터부의 색배열에 대응한 신호를 베이어 배열에 대응한 신호로 변환하고 상기 변환된 신호를 출력하는 변환 처리부를 포함하는 고체 촬상 장치와,
    상기 변환 처리부로부터 출력되고 상기 베이어 배열에 대응하는 신호를 기초로 휘도신호 및 색차신호를 생성하는 신호 처리부를 구비하고,
    휘도신호의 주성분이 되는 색은 백색 또는 녹색이고,
    상기 색필터부는 백색필터가 체크무늬패턴으로 배열되는 컬러 코딩을 포함하고,
    적색과 청색의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 적색의 각각의 필터가 상기 청색 필터 중의 하나로부터 1화소 만큼 대각 이동하고, 또는 적색과 청색의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 상기 적색 필터 중의 2개 및 상기 청색 필터 중의 2개는 대각방향으로 어긋나게 배치되고, 녹색필터들이 상기 체크무늬패턴의 나머지 영역에 배치되고,
    상기 색필터부의 컬러 코딩에서, 상기 녹색필터가 대각방향, 종방향, 및 횡방향 중의 한 방향으로, 4화소 단위로 스트라이프패턴으로 배열되어 있고, 상기 변환 처리부는 백색필터의 화소에 인접하는 하나의 녹색의 화소의 신호 또는 2개의 녹색의 화소의 신호들을 상기 백색필터의 화소에 가산하여 휘도신호의 주성분으로 이용하는 것을 특징으로 하는 촬상 장치.
  9. 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에 마련되고, 휘도신호의 주성분이 되는 제 1색의 필터가 체크무늬패턴으로 배열되고, 휘도신호의 주성분이 되는 제 2색의 필터가 대각방향, 종방향, 횡방향으로 4화소 단위로 스트라이프패턴으로 배열된 색배열을 갖는 색필터부와,
    상기 화소 어레이부의 화소로부터 출력되고 상기 색필터부의 색배열에 대응하는 신호를 수신하고, 상기 제 1색의 필터의 화소에 인접하는 상기 제 2색의 필터의 화소의 신호를 상기 제 1색의 필터의 화소의 신호에 가산하는 처리를 행하는 신호 처리부를 구비한 것을 특징으로 하는 고체 촬상 장치.
  10. 제 9항에 있어서,
    상기 제 1색의 필터는 백색필터 또는 녹색필터이고, 상기 제 2색의 필터는 상기 제 1색의 필터가 백색필터인 때 녹색필터이고, 상기 제 1색의 필터가 녹색필터인 때에 백색필터인 것을 특징으로 하는 고체 촬상 장치.
  11. 제 10항에 있어서,
    상기 컬러 필터부는, 상기 제1색의 필터가 체크무늬패턴으로 배열되고, 적색과 청색의 각각의 필터가 종횡방향 2화소 피치의 체크무늬패턴으로 배열되고, 적색 의 각각의 필터가 상기 청색 필터 중의 하나로부터 1화소 만큼 대각 이동되고, 상기 제2색의 필터는 상기 체크무늬패턴의 나머지 영역에 배치되는 색배열을 갖는 것을 특징으로 하는 고체 촬상 장치.
  12. 제 10항에 있어서,
    상기 컬러 필터부는, 상기 제1색의 필터가 체크무늬패턴으로 배열되고, 적색과 청색의 각각의 필터가 종횡방향 4화소 피치의 정사각 배열로 되고, 상기 적색 필터 중의 2개 및 상기 청색 필터 중의 2개는 1화소 만큼 대각방향으로 어긋나게 배치되고, 상기 제2색의 필터들은 상기 체크무늬패턴의 나머지 영역에 배치되는 것을 특징으로 하는 고체 촬상 장치.
  13. 제11항에 있어서,
    상기 제1색의 필터의 화소에 인접한 상기 제2색의 필터의 화소 중, 상기 신호 처리부는 1화소 또는 2화소를 선택하고, 선택된 화소의 신호 또는 선택된 화소의 신호들을 상기 제1색의 필터의 화소의 신호에 가산하는 것을 특징으로 하는 고체 촬상 장치.
  14. 제12항에 있어서,
    상기 제1색의 필터의 화소에 인접한 상기 제2색의 필터의 화소 중, 상기 신호 처리부는 1화소 또는 2화소를 선택하고 선택된 화소의 신호 또는 선택된 화소의 신호들을 상기 제1색의 필터의 화소의 신호에 가산하는 것을 특징으로 하는 고체 촬상 장치.
  15. 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에 마련되고, 휘도신호의 주성분이 되는 제 1색의 필터가 체크무늬패턴으로 배열되고, 휘도신호의 주성분이 되는 제 2색의 필터가 대각방향, 종방향, 횡방향으로 4화소 단위로 스트라이프패턴으로 배열된 색배열을 갖는 색필터부를 갖는 고체 촬상 장치의 신호 처리 방법에 있어서,
    상기 화소 어레이부의 화소로부터 출력되고 상기 색필터부의 색배열에 대응하는 신호를 수신하고, 상기 제 1색의 필터의 화소에 인접하는 상기 제 2색의 필터의 화소의 신호를 상기 제 1색의 필터의 화소의 신호에 가산하는 처리를 행하는 것을 특징으로 하는 고체 촬상 장치의 신호 처리 방법.
  16. 화소가 행렬형상으로 2차원 배치된 화소 어레이부상에 마련되고 휘도신호의 주성분이 되는 제 1색의 필터가 체크무늬패턴으로 배열되고 휘도신호의 주성분이 되는 제 2색의 필터가 대각방향, 종방향, 횡방향으로 4화소 단위로 스트라이프패턴으로 배열된 색배열을 갖는 색필터부와, 상기 화소 어레이부의 화소로부터 출력되고 상기 색필터부의 색배열에 대응하는 신호를 수신하고, 상기 제 1색의 필터의 화소에 인접하는 상기 제 2색의 필터의 화소의 신호를 상기 제 1색의 필터의 화소의 신호에 가산하는 처리를 행하는 신호 처리부를 구비하는 것을 특징으로 하는 촬상 장치.
KR1020090121000A 2008-12-08 2009-12-08 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치 KR101624748B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008311695A JP4626706B2 (ja) 2008-12-08 2008-12-08 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2008311694A JP4683121B2 (ja) 2008-12-08 2008-12-08 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JPJP-P-2008-311695 2008-12-08
JPJP-P-2008-311694 2008-12-08

Publications (2)

Publication Number Publication Date
KR20100066396A KR20100066396A (ko) 2010-06-17
KR101624748B1 true KR101624748B1 (ko) 2016-05-26

Family

ID=41559619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090121000A KR101624748B1 (ko) 2008-12-08 2009-12-08 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치

Country Status (7)

Country Link
US (7) US8436925B2 (ko)
EP (1) EP2194721A3 (ko)
KR (1) KR101624748B1 (ko)
CN (2) CN101753863B (ko)
BR (1) BRPI0904888A2 (ko)
RU (1) RU2531368C2 (ko)
TW (1) TWI422020B (ko)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7611060B2 (en) 2005-03-11 2009-11-03 Hand Held Products, Inc. System and method to automatically focus an image reader
US7568628B2 (en) 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US7780089B2 (en) 2005-06-03 2010-08-24 Hand Held Products, Inc. Digital picture taking optical reader having hybrid monochrome and color image sensor array
US7770799B2 (en) 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP4747154B2 (ja) * 2007-11-22 2011-08-17 富士フイルム株式会社 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5572960B2 (ja) 2009-02-16 2014-08-20 株式会社ニコン 撮像装置およびその画素加算方法
JP5634194B2 (ja) * 2010-09-28 2014-12-03 キヤノン株式会社 放射線撮像装置及びその制御方法
US8803767B2 (en) * 2010-10-18 2014-08-12 Vp Assets Limited Image device with pixels arranged for white balance
US8717255B2 (en) * 2010-10-18 2014-05-06 Vp Assets Limited Image device with pixel dots with multi-primary colors
US9093017B2 (en) 2010-10-18 2015-07-28 Vp Assets Limited Image device with pixel dots with multi-primary colors
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
JP5524406B2 (ja) * 2011-03-11 2014-06-18 富士フイルム株式会社 撮像装置及び撮像プログラム
US9001107B2 (en) * 2011-07-14 2015-04-07 SK Hynix Inc. Image pixel and image pixel control method
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
US9013615B2 (en) * 2011-09-21 2015-04-21 Semiconductor Components Industries, Llc Image sensor with flexible interconnect capabilities
JP2013164549A (ja) * 2012-02-13 2013-08-22 Sony Corp 表示制御装置、表示制御方法、及びプログラム
JP6099009B2 (ja) 2012-02-16 2017-03-22 パナソニックＩｐマネジメント株式会社 撮像素子および撮像装置
JP5950618B2 (ja) 2012-02-24 2016-07-13 キヤノン株式会社 光透過部材の形成方法および撮像装置の製造方法
JP5935876B2 (ja) * 2012-03-27 2016-06-15 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
WO2013147198A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像装置および撮像素子
TWI521965B (zh) * 2012-05-14 2016-02-11 Sony Corp Camera and camera methods, electronic machines and programs
US8946849B2 (en) * 2012-05-15 2015-02-03 Taiwan Semiconductor Manufacturing Company, Ltd. BSI image sensor chips with separated color filters and methods for forming the same
US9349769B2 (en) 2012-08-22 2016-05-24 Taiwan Semiconductor Manufacturing Company, Ltd. Image sensor comprising reflective guide layer and method of forming the same
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
JP2014086863A (ja) 2012-10-23 2014-05-12 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
US9369648B2 (en) 2013-06-18 2016-06-14 Alexander Krymski Image sensors, methods, and pixels with tri-level biased transfer gates
US10148936B2 (en) * 2013-07-01 2018-12-04 Omnivision Technologies, Inc. Multi-band image sensor for providing three-dimensional color images
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
JP6137539B2 (ja) * 2013-07-29 2017-05-31 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
CN103531596B (zh) * 2013-09-22 2015-09-23 华中科技大学 一种基于单眼套叠的全色复眼成像探测芯片
TWI690209B (zh) * 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器
JP6180882B2 (ja) * 2013-10-31 2017-08-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理装置、および電子機器
CN103579276B (zh) * 2013-11-09 2016-07-27 深港产学研基地 微纳米结构滤波器、滤波器超元胞及cmos数字图像传感器
US10680022B2 (en) * 2013-12-12 2020-06-09 Sony Corporation Solid state imaging device, manufacturing method of the same, and electronic equipment
KR20150072817A (ko) * 2013-12-20 2015-06-30 에스케이하이닉스 주식회사 이미지 센싱 장치
JP6272046B2 (ja) * 2014-01-22 2018-01-31 キヤノン株式会社 放射線撮像装置、その制御方法、及び放射線検査装置
JP2015195550A (ja) * 2014-03-28 2015-11-05 パナソニックＩｐマネジメント株式会社 撮像素子および撮像装置
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
JP5881916B1 (ja) * 2014-05-09 2016-03-09 オリンパス株式会社 固体撮像素子、内視鏡および内視鏡システム
KR102158214B1 (ko) * 2014-05-19 2020-09-22 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN104241309B (zh) * 2014-09-19 2018-01-02 上海集成电路研发中心有限公司 一种模拟随机像素效果的cmos图像像素阵列
JP2016092524A (ja) * 2014-10-31 2016-05-23 ソニー株式会社 信号処理装置及び信号処理方法
KR102219784B1 (ko) 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
TWI539203B (zh) * 2014-12-29 2016-06-21 聯詠科技股份有限公司 顯示面板
JP6740905B2 (ja) 2015-02-12 2020-08-19 ソニー株式会社 撮像装置およびその制御方法
CN104916661B (zh) * 2015-04-21 2018-09-11 京东方科技集团股份有限公司 像素结构、掩膜板、有机电致发光显示面板及显示装置
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
CN106486513B (zh) 2015-08-31 2023-09-29 昆山国显光电有限公司 像素结构以及oled显示面板
KR20170056909A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 장치
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN105516700B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
US10062722B2 (en) * 2016-10-04 2018-08-28 Omnivision Technologies, Inc. Stacked image sensor with shield bumps between interconnects
CN109788891A (zh) 2016-10-21 2019-05-21 奥林巴斯株式会社 内窥镜镜体、内窥镜处理器和内窥镜用适配器
DE102016221336A1 (de) * 2016-10-28 2018-05-03 Conti Temic Microelectronic Gmbh Bildsensor mit einem für pixelbinning geeigneten farbfilter
JP2018082259A (ja) 2016-11-15 2018-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、信号処理回路、及び、電子機器
CN106653804B (zh) * 2016-11-24 2019-04-30 上海天马有机发光显示技术有限公司 一种oled显示器件
CN106412407B (zh) 2016-11-29 2019-06-07 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
JP6602743B2 (ja) * 2016-12-08 2019-11-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device
KR102354991B1 (ko) 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
CN107121853B (zh) 2017-06-21 2020-08-07 上海天马微电子有限公司 一种液晶显示面板和液晶显示装置
US10079255B1 (en) * 2017-08-04 2018-09-18 GM Global Technology Operations LLC Color filter array apparatus
JP6821028B2 (ja) * 2017-08-04 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および画像データ読み出し方法
JP6980492B2 (ja) * 2017-11-13 2021-12-15 キヤノン株式会社 撮像装置及び撮像システム
JP2019114576A (ja) 2017-12-20 2019-07-11 ソニーセミコンダクタソリューションズ株式会社 光電変換素子および固体撮像装置
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
JP7349806B2 (ja) * 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ
JP2020108061A (ja) * 2018-12-28 2020-07-09 キヤノン株式会社 撮像装置及び撮像システム
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US11405535B2 (en) 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
CN113130526B (zh) * 2019-03-26 2023-04-28 福州鑫图光电有限公司 一种高灵敏度的图像传感器
CN112752009B (zh) * 2019-10-29 2023-06-09 中兴通讯股份有限公司 图像处理方法、模块、可读存储介质和图像传感器
CN110824725B (zh) * 2019-11-26 2022-05-10 京东方科技集团股份有限公司 3d显示基板、3d显示装置及显示方法
KR102148128B1 (ko) * 2020-03-06 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
CN111355937B (zh) * 2020-03-11 2021-11-16 北京迈格威科技有限公司 图像处理方法、装置和电子设备
CN111741221B (zh) 2020-07-08 2021-04-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
US11412190B2 (en) * 2020-08-03 2022-08-09 Omnivision Technologies, Inc. Image sensor with subtractive color filter pattern
EP4214930A1 (en) * 2020-11-06 2023-07-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electrical device, method of generating image data, and non-transitory computer readable medium
US11869913B2 (en) * 2021-06-01 2024-01-09 Samsung Electronics Co., Ltd. Pixel array of image sensor and method of manufacturing the same
KR20220165407A (ko) * 2021-06-08 2022-12-15 삼성전자주식회사 이미지 장치, 이미지 센서, 및 이미지 센서의 동작 방법
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法
CN115706176B (zh) * 2021-08-09 2023-12-12 北京一径科技有限公司 光电探测器、设备及存储介质
CN115866423A (zh) * 2021-09-22 2023-03-28 华为技术有限公司 一种图像传感器、摄像头模组、电子设备及图像处理方法
KR20230046816A (ko) * 2021-09-30 2023-04-06 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20230047839A (ko) 2021-10-01 2023-04-10 삼성전자주식회사 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
CN114363486A (zh) * 2021-12-14 2022-04-15 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130073A1 (en) * 2006-12-01 2008-06-05 Compton John T Light sensitivity in image sensors
JP2008172289A (ja) * 2007-01-05 2008-07-24 Toshiba Corp 固体撮像装置

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2931520B2 (ja) 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JPH09116127A (ja) 1995-10-24 1997-05-02 Sony Corp 固体撮像装置
US6035077A (en) * 1996-05-03 2000-03-07 Omnivision Technologies, Inc. Single-chip color CMOS image sensor with two or more line reading structure and high-sensitivity interlace color structure
US6380539B1 (en) * 1997-01-30 2002-04-30 Applied Science Fiction, Inc. Four color trilinear CCD scanning
US6714243B1 (en) * 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
JP3501694B2 (ja) 1999-07-21 2004-03-02 キヤノン株式会社 撮像装置及びそれを用いた撮像システム
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP2002072980A (ja) * 2000-08-31 2002-03-12 Nec Corp カラー映像表示方法および装置
JP2003060992A (ja) 2001-08-22 2003-02-28 Fuji Photo Film Co Ltd 固体電子撮像装置およびディジタル・スチル・カメラおよびそれらの動作制御方法
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US7236191B2 (en) * 2003-04-30 2007-06-26 Nokia Corporation Method and system for image processing with pixel interpolation using second order gradients
JP4449696B2 (ja) 2003-10-31 2010-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP4289244B2 (ja) 2004-07-16 2009-07-01 ソニー株式会社 画像処理方法並びに物理量分布検知の半導体装置および電子機器
CN100444620C (zh) * 2004-12-27 2008-12-17 索尼株式会社 固态成像装置驱动方法、固态成像装置以及成像设备
JP4759293B2 (ja) * 2005-03-15 2011-08-31 キヤノン株式会社 撮像素子
JP5151075B2 (ja) * 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP2007074635A (ja) * 2005-09-09 2007-03-22 Matsushita Electric Ind Co Ltd 画像入力装置および固体撮像素子
JP4573769B2 (ja) 2005-12-20 2010-11-04 富士通セミコンダクター株式会社 画像処理回路および画像処理方法
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
KR101230308B1 (ko) * 2006-02-22 2013-02-06 삼성디스플레이 주식회사 표시 장치
JP2007288131A (ja) * 2006-03-23 2007-11-01 Fujifilm Corp 固体撮像素子、固体撮像装置およびその駆動方法
JP4946147B2 (ja) 2006-04-14 2012-06-06 ソニー株式会社 固体撮像装置
JP4241754B2 (ja) 2006-04-14 2009-03-18 ソニー株式会社 撮像装置
US7965305B2 (en) * 2006-05-08 2011-06-21 Global Oled Technology Llc Color display system with improved apparent resolution
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
TW200801513A (en) 2006-06-29 2008-01-01 Fermiscan Australia Pty Ltd Improved process
US7773138B2 (en) 2006-09-13 2010-08-10 Tower Semiconductor Ltd. Color pattern and pixel level binning for APS image sensor using 2×2 photodiode sharing scheme
JP2008078922A (ja) * 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
RU2333614C1 (ru) * 2006-11-16 2008-09-10 Общество с ограниченной ответственностью ООО "Юник Ай Сиз" Устройство управления временем экспозиции, коэффициентами усиления и цветовым балансом в матричных фотоприемниках (варианты)
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
JP4846608B2 (ja) 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP5222625B2 (ja) * 2007-06-01 2013-06-26 富士フイルム株式会社 撮像装置
JP2008306379A (ja) * 2007-06-06 2008-12-18 Toshiba Corp 固体撮像素子
US8045022B2 (en) * 2007-06-12 2011-10-25 Fujifilm Corporation Imaging apparatus for correcting a luminance signal
JP5033711B2 (ja) * 2007-06-13 2012-09-26 富士フイルム株式会社 撮像装置及び撮像装置の駆動方法
JP4359634B2 (ja) * 2007-06-21 2009-11-04 シャープ株式会社 カラー固体撮像装置、および画素信号の読み出し方法
US8199230B2 (en) * 2007-06-28 2012-06-12 Fujifilm Corporation Signal processing apparatus, image pickup apparatus and computer readable medium
JP4951440B2 (ja) * 2007-08-10 2012-06-13 富士フイルム株式会社 撮像装置及び固体撮像素子の駆動方法
JP2009117979A (ja) 2007-11-02 2009-05-28 Fujifilm Corp 固体撮像装置の駆動方法
JP4747154B2 (ja) * 2007-11-22 2011-08-17 富士フイルム株式会社 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置
JP5262180B2 (ja) * 2008-02-26 2013-08-14 ソニー株式会社 固体撮像装置及びカメラ
JP4618342B2 (ja) * 2008-05-20 2011-01-26 日本テキサス・インスツルメンツ株式会社 固体撮像装置
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5029624B2 (ja) * 2009-01-15 2012-09-19 ソニー株式会社 固体撮像装置及び電子機器
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
KR20110029217A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 내부 변환을 통하여 ｒｇｂ베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
JP5345258B2 (ja) * 2011-02-21 2013-11-20 富士フイルム株式会社 カラー撮像素子
CN103782213B (zh) * 2011-09-22 2015-11-25 富士胶片株式会社 数字相机
CN104041020B (zh) * 2011-12-27 2015-11-25 富士胶片株式会社 彩色摄像元件
CN104025578B (zh) * 2011-12-27 2015-09-02 富士胶片株式会社 彩色摄像元件
WO2013161349A1 (ja) * 2012-04-24 2013-10-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5927068B2 (ja) * 2012-07-06 2016-05-25 富士フイルム株式会社 カラー撮像素子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130073A1 (en) * 2006-12-01 2008-06-05 Compton John T Light sensitivity in image sensors
JP2008172289A (ja) * 2007-01-05 2008-07-24 Toshiba Corp 固体撮像装置

Also Published As

Publication number Publication date
US20130286260A1 (en) 2013-10-31
US9392238B2 (en) 2016-07-12
CN104253983B (zh) 2017-04-12
US8436925B2 (en) 2013-05-07
US9736447B2 (en) 2017-08-15
US9083842B2 (en) 2015-07-14
EP2194721A8 (en) 2010-07-14
US20150241611A1 (en) 2015-08-27
TW201027729A (en) 2010-07-16
EP2194721A2 (en) 2010-06-09
US20150109496A1 (en) 2015-04-23
RU2531368C2 (ru) 2014-10-20
CN101753863A (zh) 2010-06-23
CN101753863B (zh) 2014-09-24
US9451221B2 (en) 2016-09-20
TWI422020B (zh) 2014-01-01
US20160373709A1 (en) 2016-12-22
US20100141812A1 (en) 2010-06-10
US20180007338A1 (en) 2018-01-04
US8947564B2 (en) 2015-02-03
US20150264325A1 (en) 2015-09-17
KR20100066396A (ko) 2010-06-17
RU2009145220A (ru) 2011-06-20
EP2194721A3 (en) 2013-01-02
BRPI0904888A2 (pt) 2011-03-15
CN104253983A (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
KR101624748B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
JP4683121B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR101696463B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
JP4626706B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR100660865B1 (ko) 이미지 센서에서 공유된 배선/트랜지스터를 가지는 픽셀회로 및 구동 방법
JP6555530B2 (ja) 固体撮像装置、撮像装置、および電子機器
KR20140038365A (ko) 고체 촬상 소자 및 카메라 시스템
KR20150013454A (ko) 촬상 장치 및 촬상 방법, 전자 기기, 및 프로그램
JP5884847B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5500193B2 (ja) 固体撮像装置、撮像装置、撮像及び信号処理方法
JP5212536B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
WO2013100093A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5141757B2 (ja) 撮像装置、撮像及び信号処理方法
KR20220051240A (ko) 이미지 캡쳐 방법, 카메라 어셈블리 및 모바일 터미널

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant