KR20110117268A - 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치 - Google Patents

촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치 Download PDF

Info

Publication number
KR20110117268A
KR20110117268A KR1020117023275A KR20117023275A KR20110117268A KR 20110117268 A KR20110117268 A KR 20110117268A KR 1020117023275 A KR1020117023275 A KR 1020117023275A KR 20117023275 A KR20117023275 A KR 20117023275A KR 20110117268 A KR20110117268 A KR 20110117268A
Authority
KR
South Korea
Prior art keywords
signal
photoelectric conversion
output
unit
pixel
Prior art date
Application number
KR1020117023275A
Other languages
English (en)
Other versions
KR101136222B1 (ko
Inventor
이사오 야마다
Original Assignee
어큐트로직 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어큐트로직 가부시키가이샤 filed Critical 어큐트로직 가부시키가이샤
Publication of KR20110117268A publication Critical patent/KR20110117268A/ko
Application granted granted Critical
Publication of KR101136222B1 publication Critical patent/KR101136222B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

화소 가산을 위한 화소 구성이 곤란해지는 일 없이 화소의 판독에 필요한 동작 속도나 소비 전력을 적정한 범위로 유지하면서 품질 좋은 화상 신호를 생성할 수 있다. 4개의 광전 변환 소자(21)에 관해 1개의 FD(24)가 공유되어 있다.이 4개의 광전변환 소자(21)는 베이어 배열의 2행 2열의 단위 격자에 대응한다. 신호전송부(22)는 4개의 광전변환 소자(21) 중 다른 색에 대응하는 2개의 광전변환 소자(21)로부터의 출력 신호를 동시에 FD(24)로 전송함과 함께 나머지 2개의 광전변환 소자(21)로부터의 출력 신호를 동시에 FD(24)로 전송한다. 이에 의해 화소 신호가 가산된다. 촬상소자(20)는 가산된 화소 신호로부터 G와 Mg의 화소 신호로 이루어지는 디지털 화상 신호와 Ye와 Cy의 화소 신호로 이루어지는 디지털 화상 신호를 생성하고, 화상처리부(30)로 출력한다.

Description

촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램 및 촬상장치{IMAGING ELEMENT, DRIVE DEVICE FOR AN IMAGING ELEMENT, DRIVE METHOD FOR AN IMAGING ELEMENT, IMAGE PROCESSING DEVICE, PROGRAM, AND IMAGING DEVICE}
본 발명은 촬상소자, 특히 컬러 필터가 베이어 배열로 배열된 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램 및 촬상장치에 관한 것이다.
근래, HD(High Definition: 고정밀) 동화상 등의 고속 동화상 기록에 대응한 디지털카메라가 제공되고 있다. 정지화상의 화상 촬영 요구로는 12M(메가) 픽셀의 이미지 센서가 사용되고 있다. 한편 HD 동화상에서는, 출력 화소수는 가로 픽셀수가 1920이고 세로 픽셀수가 1080으로, 출력 화소수는 합계 2.1M 픽셀이다. 따라서, 동일한 이미지 센서를 이용하여 고정밀 정지화상과 HD 동화상을 촬영하는 디지털카메라를 실현하기 위해서는, 동화상 촬영 시에 이미지 센서로부터 출력되는 화소수를 줄이는 구성으로 할 필요가 있다.
이미지 센서로부터 출력하는 화소수를 줄이는 방법으로는, 화면의 일부를 잘라내어 출력하는 절출 출력이 알려져 있다. 예를 들면 절출 출력은, 정지화상 12M 픽셀의 이미지 센서를 이용하고 있는 경우라면, 2.1M 픽셀의 동화상을 출력할 때 화면의 중앙부 약 1/4을 잘라내어 출력하는 방법이다. 그러나, 이 방법은 정지화상 촬영 시에 비해 동화상 촬영시 화각이 좁아져 버린다는 문제가 있다.
그래서 이미지 센서로부터 출력하는 화소수를 줄이는 다른 방법으로, 화소신호를 솎아내서 출력하는 솎음 출력이나 같은 색의 복수의 화소신호를 혼합하여 출력하는 화소 혼합 출력이 알려져 있다(특허문헌 1, 2, 3 참조). 예를 들면, 가로세로 각각 2화소에 대해 솎아내거나 화소 혼합을 실시함으로써 1화소만 출력하여, 출력 데이터 레이트를 1/4로 할 수 있다.
특허문헌 1: 특허 공개공보 2005-244995호 특허문헌 2: 특허 공개공보 2009-159186호 특허문헌 3: 특허 공개공보 2009-147489호
그러나 솎음 출력은, 이미지 센서로부터 출력하는 화소수를 줄일 때에 이미지 센서가 수광한 화소 중 판독하지 않는 화소가 발생하는 것을 의미하여, 출력 화상 데이터의 감도를 저하시키는 요인이 된다.
한편 특허문헌 1에 개시된 촬상장치에서는, 화소신호를 솎아내지 않고 같은 색 화소신호를 가산하여 출력하고 있다. 그러나 CMOS 센서의 경우, 수직 방향으로 같은 색의 가산을 실시한다고 한다면, 떨어진 위치의 화소신호를 1개의 FD(Floating Diffusion)에 접속하기 위한 화소 구성이 어려워 소형화가 곤란하다.
그 외의 가산 방법으로 특허문헌 2에 제안된 방법에서는, 경사 방향으로 인접하는 Gr과 Gb의 같은 색 2화소에 관해 공유된 FD에 대해, Gr과 Gb의 2화소의 전하를 동시에 전송함으로써 가산하여 판독하고 있다. 그리고, 경사 방향으로 인접하는 R과 B의 다른 색 2화소에 관해 공유된 FD에 대해, R과 B의 2화소 중 어느 한 화소의 전하를 전송하여 판독하고 있다. 이에 따르면, Gr과 Gb의 2화소의 전하는 가산하고 있지만, R과 B에 관해서는 솎아내어 판독하고 있으므로, 색 노이즈 면에서는 화소를 가산하는 경우와 비교해서 불리하여, 품질이 좋은 화상 신호를 생성할 수 없다.
또 이미지 센서로부터의 화소를 복수의 샘플링 위치에 관해 소정의 비율로 혼합하여 출력하는 것도 생각할 수 있지만, 샘플링 위치가 많아지면 센서에서 판독하는 화소가 많아져, 화소 판독에 필요한 동작 속도나 소비 전력이 너무 커질 우려가 있다.
본 발명의 목적은 화소 가산을 위한 화소 구성이 곤란해지는 일 없이 화소의 판독에 필요한 동작 속도나 소비 전력을 적정한 범위로 유지하면서 품질 좋은 화상 신호를 생성할 수 있는 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램 및 촬상장치를 제공하는 것에 있다.
이러한 목적을 달성하기 위해 이루어진 청구항 1에 기재한 촬상소자에 관한 발명은, R(빨강), G(초록) 및 B(파랑) 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열된 복수의 컬러 필터와, 상기 컬러 필터를 투과한 광의 강도에 따른 아날로그 신호를 출력하는 상기 컬러 필터마다 설치된 광전변환 소자와, 상기 단위 격자마다 4개의 상기 컬러 필터 중 다른 색의 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산함과 함께 나머지 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산하여 각각의 가산 결과에 따른 아날로그 신호를 출력하는 신호가산회로와, 상기 신호가산회로로부터의 출력신호를 디지털 신호로 변환하여 출력하는 A/D변환부를 구비하고, 상기 신호가산회로로부터의 출력신호를 토대로 Ye(노랑) 및 Cy(시안) 중 어느 1색과 G가 교대로 나열된 제1 디지털 화상신호와, Ye 및 Cy 중 상기 1색과는 다른 1색과 Mg(마젠타)가 교대로 나열된 제2 디지털 화상신호를 출력한다.
청구항 1에 기재한 촬상소자는, 단위 격자마다 2개의 광전변환 소자로부터의 출력신호를 가산하고 나서 판독함으로써, 1프레임당 판독 화소수를 감소할 수 있다. 이 때문에, 예를 들면 프레임 레이트를 바꾸지 않는 경우에는, 촬상소자 내의 동작 주파수나 A/D변환 레이트를 저하시켜 소비 전력을 저감할 수 있다. 한편, 동작 주파수나 A/D변환 레이트를 바꾸지 않는 경우에는, 프레임 레이트를 증가시킬 수 있다. 또, 단위 격자 내의 인접하는 화소끼리를 가산하기 때문에, 화소 구성이 곤란해지는 일이 없다. 또, 화소를 솎아내지 않고 가산하여 출력하기 때문에, 화소를 판독할 때의 감도가 향상한다. 또, 본 발명의 촬상소자가 출력한 제1 디지털 화상신호와 제2 디지털 화상신호를 가산하여 휘도신호를 생성하면, 2개의 화소를 가산하여 휘도신호를 생성하기 때문에, 보다 감도가 향상한다.
또, 청구항 1에 기재한 촬상소자는, 청구항 2에 기재한 발명과 같이, 상기 신호가산회로가 상기 단위 격자마다 서로 다른 제1 내지 제3 패턴 중 어느 하나로 상기 광전변환 소자로부터의 출력신호를 가산하고, 상기 제1 패턴이 상기 단위 격자 내에서 2개의 G의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산함과 함께 R 및 B의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산하는 패턴이며, 상기 제2 패턴이 상기 단위 격자 내에서 행방향으로 나열된 G 및 R의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산함과 함께 행방향으로 나열된 B 및 G의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산하는 패턴이며, 상기 제3 패턴이 상기 단위 격자 내에서 열방향으로 나열된 G 및 B의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산함과 함께 열방향으로 나열된 R 및 G의 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산하는 패턴이어도 된다. 이에 따르면, 제1 패턴의 가산 결과로부터 G의 화소 데이터 및 Mg의 화소신호가 생성되고, 제2 패턴의 가산 결과로부터 행방향으로 나열된 화소의 가산 결과로서 Cy의 화소신호 및 Ye의 화소신호가 생성되고, 제3 패턴의 가산 결과로부터 열방향으로 나열된 화소의 가산 결과로서 Cy의 화소신호 및 Ye의 화소신호가 생성된다. 따라서, 이들의 가산 결과로부터 생성되는 화소신호를 토대로 제1 디지털 화상신호와 제2 디지털 화상신호가 적절히 생성된다.
또, 청구항 2에 기재한 촬상소자는, 청구항 3에 기재한 발명과 같이, 상기 신호가산회로가 행방향에 관해 상기 제1 및 제3 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제2 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복해도 된다. 이에 따르면, 제1 패턴과 제3 패턴을 행방향으로 교대로 반복함으로써, 제1 디지털 화상신호의 1행째와 제2 디지털 화상신호의 1행째를 생성할 수 있다. 그리고, 제2 패턴과 제1 패턴을 행방향으로 교대로 반복함으로써, 제1 디지털 화상신호의 2행째와 제2 디지털 화상신호의 2행째를 생성할 수 있다. 또, 이들을 열방향으로 반복함으로써, 제1 디지털 화상신호의 모든 행 및 제2 디지털 화상신호의 모든 행을 생성할 수 있다.
또, 청구항 2에 기재한 촬상소자는, 청구항 4에 기재한 발명과 같이, 상기 신호가산회로가 행방향에 관해 상기 제1 및 제2 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제2 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복해도 된다. 이에 따르면, 청구항 3의 발명과는 다른 패턴으로 제1 디지털 화상신호의 모든 행 및 제2 디지털 화상신호의 모든 행을 생성할 수 있다.
또, 청구항 2에 기재한 촬상소자는, 청구항 5에 기재한 발명과 같이, 상기 신호가산회로가 행방향에 관해 상기 제1 및 제3 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제3 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복해도 된다. 이에 따르면, 청구항 4의 발명과도 청구항 5의 발명과도 다른 패턴으로 제1 디지털 화상신호의 모든 행 및 제2 디지털 화상신호의 모든 행을 생성할 수 있다.
또, 청구항 2에 기재한 촬상소자는, 청구항 6에 기재한 발명과 같이, 상기 신호가산회로가 상기 제1 내지 제3 패턴의 나열방법이 다른 제1 및 제2 가산 처리를 프레임마다 교대로 반복하고, 상기 제1 가산 처리가 행방향에 관해 상기 제1 및 제3 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제2 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하는 처리이며, 상기 제2 가산 처리가 행방향에 관해 상기 제1 및 제2 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제3 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하는 처리여도 된다. 이에 따르면, 가산 패턴의 나열방법이 다른 2개의 가산 처리로부터 제1 및 제2 디지털 화상신호가 2쌍 생성된다. 이들 2쌍의 디지털 화상신호는 가짜 색의 위상이 서로 반대 위상으로 되어 있어, 이들을 평균함으로써 가짜 색을 억제할 수 있다.
또, 청구항 1 내지 청구항 6 중 어느 한 항에 기재한 촬상소자는, 청구항 7에 기재한 발명과 같이, 상기 신호가산회로가 상기 광전변환 소자가 발생시킨 전하를 전송하는 상기 광전변환 소자마다 설치된 전송 트랜지스터를 갖고, 1개의 상기 단위 격자에 대응하는 4개의 상기 전송 트랜지스터에 관해 공유된 플로팅 디퓨전에 대해 2개의 상기 전송 트랜지스터로부터 동시에 전하를 전송시켜도 된다. 이에 따르면, 기본 구성으로서 4화소로 1개의 플로팅 디퓨전을 공유하는 구성이며, 소형화를 실현하기 위해 기존의 화소 구성을 채용할 수 있다. 가산 패턴은, 전송 방법을 변경함으로써 다양하게 실현된다.
또, 청구항 7에 기재한 촬상소자는, 청구항 8에 기재한 발명과 같이, 상기 전송 트랜지스터에 전송 제어신호를 송신하는 전송 제어신호선이 상기 단위 격자의 1행마다 8개 설치되고, 행방향으로 1개 걸러 인접하는 복수의 상기 단위 격자끼리에서, 상기 8개의 전송 제어신호선 중 4개가 각 단위 격자에서의 4개의 상기 전송 트랜지스터용으로서 공용되고 있어도 된다. 이에 따르면, 1개 걸러 인접하는 단위 격자에서 공용된 4개의 전송 제어신호선에 의해 각 전송 트랜지스터를 제어함과 함께 나머지 단위 격자에서는 다른 4개의 전송 제어신호선에 의해 각 전송 트랜지스터를 제어할 수 있다. 따라서, 인접하는 단위 격자끼리에서는 여러 다른 전송 제어를 실행할 수 있고, 여러 다른 가산 패턴이 설정 가능하다.
또, 청구항 7에 기재한 촬상소자는, 청구항 9에 기재한 발명과 같이, 상기 전송 트랜지스터에 전송 제어신호를 송신하는 전송 제어신호선이 상기 단위 격자의 1행마다 4개 설치되고, 행방향으로 인접하는 2개의 상기 단위 격자끼리에서 상기 4개의 전송 제어신호선이 그 중 2개를 교체하여 공용되고 있어도 된다. 이에 따르면, 단위 격자의 1행마다 4개의 전송 트랜지스터가 공용되고 있기 때문에 전송 제어신호선이 적어도 된다. 또, 인접하는 단위 격자끼리에서는 2개의 전송 제어신호선이 교체되어 공용되고 있기 때문에, 가산 대상이 되는 전송 트랜지스터를 인접하는 단위 격자끼리에서 교체할 수 있다.
또, 청구항 2에 기재한 촬상소자는, 청구항 10에 기재한 발명과 같이, 홀수행을 출력하는 홀수 필드 출력과 짝수행을 출력하는 짝수 필드 출력을 교대로 반복하는 인터레이스 출력에 대응한 촬상소자로, 상기 신호가산회로가 행방향에 관해 상기 제1 및 제3 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제1 및 제2 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하고, 그 후에 열방향으로 인접하는 같은 색의 신호를 가산한 신호를 홀수 필드 출력으로서 출력하고, 행방향에 관해 상기 제3 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제1 및 제2 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하고, 그 후에 열방향으로 인접하는 같은 색의 신호를 가산한 신호를 짝수 필드 출력으로서 출력해도 된다. 이에 따르면, 인터레이스 출력에 대응한 촬상소자가 실현된다.
또, 청구항 11에 기재한 촬상소자의 구동장치는 R(빨강), G(초록) 및 B(파랑) 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열된 복수의 컬러 필터와, 상기 컬러 필터를 투과한 광의 강도에 따른 아날로그 신호를 출력하는 상기 컬러 필터마다 설치된 광전변환 소자와, 상기 광전변환 소자로부터의 출력신호끼리를 가산하고, 그 가산 결과에 따른 아날로그 신호를 출력하는 신호가산회로와, 상기 신호가산회로로부터의 출력신호를 디지털 신호로 변환하여 출력하는 A/D변환부를 구비하고 있는 촬상소자를 구동하는 구동장치로, 상기 신호가산회로로부터의 출력신호가 상기 단위 격자마다 4개의 상기 컬러 필터 중 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산함과 함께 나머지 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산한 결과가 되도록 상기 신호가산회로를 제어하고, 상기 신호가산회로로부터의 출력신호를 토대로 Ye(노랑) 및 Cy(시안) 중 어느 1색과 G가 교대로 나열된 제1 디지털 화상신호와, Ye 및 Cy 중 상기 1색과는 다른 1색과 Mg(마젠타)가 교대로 나열된 제2 디지털 화상신호를 상기 촬상소자로부터 출력시킨다. 이에 따르면, 청구항 1의 발명과 마찬가지로 촬상소자를 기능시키는 구동장치가 실현된다.
또, 청구항 12의 촬상소자의 구동방법은, R(빨강), G(초록) 및 B(파랑) 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열된 복수의 컬러 필터와, 상기 컬러 필터를 투과한 광의 강도에 따른 아날로그 신호를 출력하는 상기 컬러 필터마다 설치된 광전변환 소자와, 상기 광전변환 소자로부터의 출력신호끼리를 가산하고, 그 가산 결과에 따른 아날로그 신호를 출력하는 신호가산회로와, 상기 신호가산회로로부터의 출력신호를 디지털 신호로 변환하여 출력하는 A/D변환부를 구비하고 있는 촬상소자를 구동하는 구동방법으로, 상기 신호가산회로로부터의 출력신호가 상기 단위 격자마다 4개의 상기 컬러 필터 중 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산함과 함께 나머지 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산한 결과가 되도록 상기 신호가산회로를 제어하고, 상기 신호가산회로로부터의 출력신호를 토대로 Ye(노랑) 및 Cy(시안) 중 어느 1색과 G가 교대로 나열된 제1 디지털 화상신호와, Ye 및 Cy 중 상기 1색과는 다른 1색과 Mg(마젠타)가 교대로 나열된 제2 디지털 화상신호를 상기 촬상소자로부터 출력시킨다. 이에 따르면, 청구항 1의 발명과 마찬가지로 촬상소자를 기능시키는 구동방법이 실현된다.
또, 청구항 13에 기재한 화상처리장치는, 청구항 1 내지 청구항 10 중 어느 한 항에 기재한 촬상소자로부터 출력된 상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 가산하여 휘도신호를 생성하는 휘도신호생성수단과, 상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 감산하여 색차신호를 생성하는 색차신호생성수단과, 상기 휘도신호생성수단이 생성한 휘도신호와 상기 색차신호생성수단이 생성한 색차신호로부터 1화소마다 R, G 및 B 3색의 성분이 결정된 화상 데이터를 생성하는 화상데이터생성수단을 구비하고 있다. 이에 따르면, 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 가산하여 휘도신호를 생성하고 있기 때문에, 휘도신호를 생성할 때의 감도가 향상된다. 또, 휘도신호는 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 가산함으로써 보간하는 일없이 각 화소에 대해 생성되기 때문에, 고해상도 화상을 생성할 수 있다.
또, 청구항 13에 기재한 화상처리장치는, 청구항 14에 기재한 발명과 같이, 상기 색차신호생성수단이 상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 감산한 결과를 로패스 필터를 이용하여 보간함으로써 상기 색차신호를 생성해도 된다. 이에 따르면, 로패스 필터를 이용하여 색차신호를 보간하기 때문에 가짜 색이 억제된다.
또, 청구항 15에 기재한 화상처리장치는, R(빨강), G(초록) 및 B(파랑) 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열된 복수의 컬러 필터와, 상기 컬러 필터를 투과한 광의 강도를 나타내는 화소신호를 상기 컬러 필터마다 생성하는 화소신호생성수단과, 상기 단위 격자마다 4개의 상기 컬러 필터 중 2개의 상기 컬러 필터에 대응하는 2개의 상기 화소신호끼리를 가산함과 함께 나머지 2개의 상기 컬러 필터에 대응하는 2개의 상기 화소신호끼리를 가산하여 각각의 가산 결과에 따른 신호를 출력하는 신호가산수단을 구비하고, 상기 신호가산수단으로부터의 출력신호를 토대로 Ye(노랑) 및 Cy(시안) 중 어느 1색과 G가 교대로 나열된 제1 디지털 화상신호와, Ye 및 Cy 중 상기 1색과는 다른 1색과 Mg(마젠타)가 교대로 나열된 제2 디지털 화상신호를 생성한다. 이에 따르면, 단위 격자마다 2개의 화소신호끼리를 가산하기 때문에, 샘플링의 개수가 한정되어 있어 화소의 판독에 필요한 동작 속도나 소비 전력이 억제된다. 또, 화소를 솎아내지 않고 가산하여 출력하기 때문에 판독의 감도가 향상된다. 또 생성된 제1 디지털 화상신호와 제2 디지털 화상신호를 가산하여 휘도신호를 생성하면, 2개의 화소를 가산하여 휘도신호를 생성하기 때문에 보다 감도가 향상된다.
또, 청구항 16에 기재한 프로그램은, 청구항 1 내지 청구항 10 중 어느 한 항에 기재한 촬상소자로부터의 출력된 상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 가산하여 휘도신호를 생성하는 휘도신호생성 단계와, 상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 감산하여 색차신호를 생성하는 색차신호생성 단계와, 상기 휘도신호생성수단이 생성한 휘도신호와 상기 색차신호생성수단이 생성한 색차신호로부터 1화소마다 R, G 및 B 3색의 성분이 결정된 화상 데이터를 생성하는 화상데이터생성 단계를 컴퓨터에 실행시킨다.
또, 청구항 16에 기재한 프로그램은, 청구항 17에 기재한 발명과 같이, 상기 색차신호생성 단계에서, 상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 감산한 결과를 로패스 필터를 이용하여 보간함으로써 상기 색차신호를 생성해도 된다.
또, 청구항 18에 기재한 촬상장치는, 피사체 상을 결상시키는 촬상광학계와, 상기 촬상광학계가 결상시킨 피사체 상을 광전변환하여 출력하는 청구항 1 내지 청구항 10 중 어느 한 항에 기재한 촬상소자와, 상기 촬상소자로부터 출력된 출력신호에 대해 소정의 화상 처리를 가하여 상기 피사체 상을 재현하는 화상처리장치를 구비하고 있다. 이에 따르면, 촬상소자로부터 출력된 제1 및 제2 디지털 화상신호를 토대로 고품질 피사체 상의 재현이 가능해진다.
청구항 1에 기재한 촬상소자에 의하면, 단위 격자마다 2개의 광전변환 소자로부터의 출력신호를 가산하고 나서 판독함으로써, 1프레임당 판독 화소수를 감소할 수 있다. 이 때문에, 예를 들면 프레임 레이트를 바꾸지 않는 경우에는, 촬상소자 내의 동작 주파수나 A/D변환 레이트를 저하시켜, 소비 전력을 저감할 수 있다. 한편, 동작 주파수나 A/D변환 레이트를 바꾸지 않는 경우에는, 프레임 레이트를 증가시킬 수 있다. 또, 단위 격자 내의 인접하는 화소끼리를 가산하기 때문에, 화소 구성이 곤란해지는 일이 없다. 또, 화소를 솎아내지 않고 가산하여 출력하기 때문에, 화소를 판독할 때의 감도가 향상된다. 또 본 발명의 촬상소자가 출력한 제1 디지털 화상신호와 제2 디지털 화상신호를 가산하여 휘도신호를 생성하면, 2개의 화소를 가산하여 휘도신호를 생성하기 때문에, 보다 감도가 향상된다.
또, 청구항 1에 기재한 촬상소자로부터 출력되는 제1 디지털 화상신호와 제2 디지털 화상신호로부터는, 서로의 화소신호를 화소마다 가산하는 것만으로 휘도신호를 생성할 수 있다. 이 휘도신호의 생성에서는 공간적인 보간을 할 필요가 없기 때문에, 고해상도 화상을 얻을 수 있다.
도 1은 본 발명의 일 실시형태인 제1 실시형태에 관한 촬상장치의 구성을 도시하는 블록도이다.
도 2(a)는 베이어 배열을, 도 2(b)는 화소신호의 가산 패턴을, 도 2(c)는 가산 패턴의 일 배치 예를, 도 2(d)는 도 2(c)에서의 가산 패턴의 배치 예에 의해 생성되는 가산 결과를 배치하는 방법을 각각 도시하는 모식도이다.
도 3은 화상처리부의 구성을 도시하는 블록도이다.
도 4는 화상처리부가 실행하는 신호 처리의 각 단계를 도시하는 모식도이다.
도 5는 도 2(c)에 도시하는 가산 패턴의 배치를 실현하기 위한 구체적인 회로 구성도이다.
도 6(a)~6(c)은 도 2(b)에 도시하는 가산 패턴에 따라 가산된 신호를 단위회로로부터 출력시키기 위해, 전송 제어신호선에 의해 전송 트랜지스터에 인가시키는 전송 제어신호를 도시하는 시퀀스도이다.
도 7은 촬상장치가 실행하는 처리 전체의 흐름을 도시한 플로차트이다.
도 8은 제2 실시형태에 관한 촬상소자의 구체적인 회로 구성도이다.
도 9는 제3 실시형태에 관한 가산 패턴의 배치와 그 가산 패턴의 배치에 의해 생성되는 화상 신호를 도시하는 모식도이다.
도 10은 제4 및 제5 실시형태에 관한 가산 패턴의 배치를 도시하는 모식도이다.
도 11은 제5 실시형태에서 색차신호에 발생하는 가짜 색을 도시하는 모식도이다.
(제1 실시형태)
본 발명에 관한 실시형태의 하나인 제1 실시형태에 대해 도면을 토대로 설명한다.
도 1은 본 발명의 일 실시형태인 제1 실시형태에 관한 촬상장치(1)의 구성을 도시하는 블록도이다. 도 1에 도시하는 바와 같이, 촬상장치(1)는 피사체 상을 촬상소자(20)로 유도하여 결상시키는 촬상광학계(10)와, 결상된 피사체 상을 광전변환하여 출력하는 촬상소자(20)와, 촬상소자(20)로부터 출력된 출력신호에 대해 소정의 신호 처리를 가하여 피사체 상을 재현하는 화상처리부(30)로 구성되어 있다. 화상처리부(30)에서 출력되는 1프레임의 화상에 대응하는 화상 데이터로부터 정지화상의 화상 데이터가 생성되고, 화상처리부(30)에서 시간적으로 연속해서 출력되는 복수의 프레임 화상에 대응하는 화상 데이터로부터 동화상 데이터가 생성된다.
촬상소자(20)는 수광량에 따른 아날로그 신호를 출력하는 복수의 광전변환 소자(21)와, 복수의 광전변환 소자(21)에 관해 공유된 플로팅 디퓨전(이하, 'FD(Floating Diffusion)'라 한다)(24)과, 광전변환 소자(21)로부터 출력된 아날로그 신호를 FD(24)로 전송하는 신호전송부(22)와, 신호전송부(22)에 의한 아날로그 신호의 전송을 제어하는 전송제어부(23)와, FD(24)로부터 출력된 아날로그 신호를 디지털 신호로 변환하여 출력하는 AFE(Analog Front End)부(25)를 구비하고 있다.
복수의 광전변환 소자(21)에는 복수의 컬러 필터가 광전변환 소자(21)마다 구비되어 있다. 이들 컬러 필터는 각각 R(빨강), G(초록) 및 B(파랑) 3원색의 색 성분 중 어느 하나에 대응하는 필터이다. 복수의 컬러 필터는 R, G 및 B 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열되어 있다. 촬상광학계(10)에 의해 결상된 피사체 상으로부터의 광은, 각 색의 컬러 필터를 투과하여 단일 색 광이 되어 광전변환 소자(21)에 수광된다. 광전변환 소자(21)는 각 컬러 필터를 투과한 단일 색 광의 강도에 따른 양의 전하를 아날로그 전기신호로서 출력한다. 이와 같이, 촬상소자(20)는 단판식 촬상소자로서 구성되어 있다. 본 실시형태에서는 광전변환 소자(21)가 가로로 4000개, 세로로 3000개 배열되어 있다. 즉, 촬상소자(20)가 가로 4000 픽셀의 화소로 이루어지고 세로 3000 픽셀의 화소로 이루어지는 합계 12M(메가) 픽셀의 화소로 구성되어 있다.
도 2(a)는 상술한 베이어 배열을 도시하고 있다. 베이어 배열로 배열된 컬러 필터는 G색 필터와 R색 필터가 행방향으로 교대로 배치된 행과, G필터와 B필터가 행방향으로 교대로 배치된 행이 열방향으로 교대로 배치되어 있다. 이 중 G필터는 체크무늬 형상으로 배치되어 있다. 본 실시형태에서는 행방향으로 R과 교대로 나열된 G색을 Gr로 표시하고, 행방향으로 B와 교대로 나열된 G색을 Gb로 표시한다.
광전변환 소자(21)로부터 출력된 전하는, 신호전송부(22)에 의해 FD(24)로 전송된다. 전송제어부(23)는 신호전송부(22)에 의해 어느 광전변환 소자(21)로부터 어떤 타이밍에 FD(24)로 전하를 전송시킬지를 제어한다. 이에 의해, 촬상소자(20)는 1프레임에 대해 모든 광전변환 소자(21)로부터 FD(24)로 전하를 전송시키는 것도 가능하며, 1프레임에 대해 임의의 일부 광전변환 소자(21)로부터 FD(24)로 전하를 전송시키는 것도 가능하다.
FD(24)는 광전변환 소자(21)로부터 전송된 전하의 양에 따른 크기의 전압을 출력한다. FD(24)는 복수의 광전변환 소자(21)에 관해 공유되어 있다. 구체적으로는, 2행 2열 베이어 배열의 단위 격자에 대응하는 4개의 광전변환 소자(21)를 하나로 묶은 광전변환 소자군(21a)의 각각에 관해 하나의 FD(24)가 공유되어 있다. 도 1에서는 광전변환 소자군(21a)이 각각 파선으로 둘러싸여 있고, 도 2(a)에서는 광전변환 소자군(21a)에 대응하는 2행 2열의 단위 격자가 파선으로 둘러싸여 있다. FD(24)는 광전변환 소자(21)로부터 전송된 전하의 양에 따른 크기의 전압 신호를 생성하여 AFE부(25)로 출력한다.
AFE부(25)는 FD(24)로부터 출력된 아날로그 신호를 상관 이중 샘플링하는 CDS(Corelated Double Sampling)부(26), CDS부(26)에 의해 상관 이중 샘플링된 아날로그 신호를 증폭하는 AGC(Automatic Gain Control)부(27), AGC부(27)에 의해 증폭된 아날로그 신호를 디지털 화상신호로 변환하는 ADC부(28)(A/D변환부)을 가지고 있다. FD(24)로부터 출력된 아날로그 신호는 AFE부(25)에 의해 디지털 신호로 변환되고, 화상처리부(30)로 출력된다.
이상과 같이, 촬상소자(20)는 1프레임당 신호전송부(22)가 FD(24)로 전하를 전송한 광전변환 소자(21)의 수에 대응한 픽셀수의 디지털 화상신호로서 출력한다. 촬상소자(20)는, 고선명 정지화상을 촬영할 때는 모든 광전변환 소자(21)로부터 전하를 전송시키는 경우에 대응하는 12M 픽셀의 디지털 화상신호를 1프레임당 출력한다. 한편, 가로 픽셀수가 1920이고 세로 픽셀수가 1080인 HD 동화상을 촬영할 때는, 촬상소자(20)는 12M 픽셀보다 적은 2.1M 픽셀의 화소로 이루어지는 화상을 1프레임당 출력하면 된다. 이를 위해, 예를 들면 신호전송부(22)가 FD(24)로 전하를 전송하는 광전변환 소자(21)의 수를 2.1M 픽셀에 상당하는 수까지 줄이는 것을 생각할 수 있다. 그러나, 전하가 전송되는 광전변환 소자(21)의 수를 12M 픽셀에서 2.1M 픽셀에 상당하는 수까지 줄이는 것은, 광전변환 소자(21)가 수광한 화소 중 판독하지 않는 화소를 대량으로 발생시키는 것에 상당한다. 판독하지 않는 화소를 단순히 발생만 시켜서는 촬상소자(20)로부터 출력되는 디지털 화상신호의 감도가 저하되기 때문에 바람직하지 않다.
그래서, 본 실시형태의 촬상소자(20)는, 단순히 신호전송부(22)가 FD(24)로 전하를 전송하는 광전변환 소자(21)의 수를 줄이는 것이 아니라, 이하와 같이 화소를 가산함으로써 화소수를 감소시킨 디지털 화상신호를 출력하도록 구성되어 있다.
전송제어부(23)는, 동시에 복수의 광전변환 소자(21)로부터 FD(24)로 전하를 전송하도록 신호전송부(22)를 제어한다. FD(24)로 동시에 전송된 전하는 FD(24)에서 가산된다. FD(24)는 가산된 전하의 양에 따른 크기의 전압을 AFE부(25)로 출력한다. 이와 같이, 신호전송부(22) 및 FD(24)는 복수의 광전변환 소자(21)로부터의 출력신호끼리를 가산하고, 가산한 결과에 따른 전압 신호를 출력하는 신호가산회로로서 기능한다. FD(24)는 2행 2열의 베이어 배열의 단위 격자에 대응하는 4개의 광전변환 소자(21)로 이루어지는 각 광전변환 소자군(21a)에 의해 공유되고 있기 때문에, 촬상소자(20)는 각 광전변환 소자군(21a) 내에서 화소신호를 가산할 수 있다.
도 2(b)는 광전변환 소자군(21a) 내에서 화소를 가산할 때의 예인 3개의 가산 패턴을 도시하고 있다. 도 2(b)의 가산 패턴(1X, 2H 및 2V)은 모두 1개의 광전변환 소자군(21a)에 포함되는 어느 2개의 광전변환 소자(21)로부터 출력된 신호를 가산함과 함께 나머지 2개의 광전변환 소자(21)로부터 출력된 신호를 가산하는 패턴이다.
구체적으로는, 가산 패턴(1X)(제1 패턴)에서는 1개의 광전변환 소자군(21a) 내에서 비스듬히 나열된 Gr 및 Gb에 대응하는 2개의 광전변환 소자(21)로부터의 신호끼리가 가산됨과 함께 비스듬히 나열된 R 및 B에 대응하는 2개의 광전변환 소자(21)로부터의 신호끼리가 가산된다. 가산 패턴(2H)(제2 패턴)에서는 1개의 광전변환 소자군(21a) 내에서 행방향으로 나열된 Gr 및 R에 대응하는 2개의 광전변환 소자(21)로부터의 신호끼리가 가산됨과 함께, 행방향으로 나열된 B 및 Gb에 대응하는 2개의 광전변환 소자(21)로부터의 신호끼리가 가산된다. 가산 패턴(2V)(제3 패턴)에서는 열방향으로 나열된 Gr 및 B에 대응하는 2개의 광전변환 소자(21)로부터의 신호끼리가 가산됨과 함께 열방향으로 나열된 R 및 Gb에 대응하는 2개의 광전변환 소자(21)로부터의 신호끼리가 가산된다.
도 2(c)는 가산 패턴(1X, 2H 및 2V)의 배치 예를 도시하고 있다. 도 2(c)의 배치 예에서는, 1행째에서 가산 패턴(1X)과 가산 패턴(2V)이 교대로 반복되고, 2행째에서 가산 패턴(2H)과 가산 패턴(1X)이 교대로 반복되고 있다. 그리고, 이와 같이 가산 패턴이 배열된 1행째와 2행째가 열방향으로 교대로 반복되어 배치되어 있다.
가산 패턴(1X)에 따르면, Gr과 Gb의 가산으로부터 G색을 나타내는 신호가 생성됨과 함께 R과 B의 가산으로부터 Mg(마젠타) 색을 나타내는 신호가 생성된다. 가산 패턴(2H)에 따르면, Gr과 R의 가산으로부터 Ye(옐로우) 색을 나타내는 신호가 생성됨과 함께 B와 Gb의 가산으로부터 Cy(시안) 색을 나타내는 신호가 생성된다. 가산 패턴(2V)에 따르면, Gr과 B의 가산으로부터 Cy색을 나타내는 신호가 생성됨과 함께 R과 Gb의 가산으로부터 Ye색을 나타내는 신호가 생성된다. 또한, 가산 패턴(2H)에 의한 가산 결과와 가산 패턴(2V)에 의한 가산 결과를 구별하기 위해, 이하에서는 가산 패턴(2H)에 의한 가산 결과로부터 생성되는 색을 YeH 및 CyH로 기재하고, 가산 패턴(2V)에 의한 가산 결과로부터 생성되는 색을 YeV 및 CyV로 기재한다.
그리고, 가산 패턴(1X, 2H 및 2V)의 각각으로부터 생성되는 가산 결과 중, G색을 나타내는 신호와 Ye색을 나타내는 신호가 도 2(c)의 배치 순에 따라 배열되면, 도 2(d)에 도시하는 바와 같은 디지털 화상신호(D1)가 생성된다. 또, 가산 패턴(1X, 2H 및 2V)의 각각으로부터 생성되는 가산 결과 중, Mg색을 나타내는 신호와 Cy색을 나타내는 신호가 도 2(c)의 배치 순에 따라 배열되면, 도 2(d)에 도시하는 바와 같은 디지털 화상신호(D2)가 생성된다. 도 2(d)의 파선 화살표는, 도 2(c)에서 왼쪽 위를 가산 패턴(1X)으로 하는 2행 2열 4개의 가산 패턴으로부터 생성되는 8개의 가산 결과를 디지털 화상신호(D1 및 D2)로 배치하는 방법을 도시하고 있다.
전송제어부(23)는, 도 2(c)에 도시하는 가산 패턴의 배치에서 화소신호가 가산되도록 신호전송부(22)에 광전변환 소자(21)로부터 FD(24)로 전하를 전송시킨다. 즉, 전송제어부(23)는 각 광전변환 소자군(21a) 내에서 화소신호가 가산 패턴(1X, 2H 및 2V) 중 어느 하나의 패턴에 따라 가산됨과 함께 그 가산 패턴이 도 2(c)에 따라 배치되도록 각 신호전송부(22)에 광전변환 소자군(21a) 내의 광전변환 소자(21)로부터 FD(24)로 전하를 전송시킨다. 그리고, AFE부(25)는 FD(24)로부터 출력되는 가산된 화소신호를 토대로 도 2(d)에 도시하는 디지털 화상신호(D1 및 D2)를 화상처리부(30)로 출력한다. 본 실시형태에서는, 디지털 화상신호(D1) 및 디지털 화상신호(D2)로 이루어지는 2개의 디지털 화상신호를 일괄하여 2면 보색 베이어라고 기재한다.
다음으로, 촬상소자(20)로부터 출력된 2면 보색 베이어의 디지털 화상신호(D1 및 D2)에 소정의 신호 처리를 가하는 화상처리부(30)에 대해 설명한다. 도 3은, 화상처리부(30)의 구성을 도시하는 블록도이다. 화상처리부(30)는 디지털 화상신호(D1 및 D2)로부터 휘도신호(Y)를 생성하는 휘도신호생성부(31)와, 디지털 화상신호(D1 및 D2)로부터 색차신호(C1 및 C2)를 생성하는 색차신호생성부(32)와, 휘도신호생성부(31)가 생성한 휘도신호(Y)와 색차신호생성부(32)가 생성한 색차신호(C1 및 C2)로부터 1화소마다 R, G 및 B 3색의 성분이 결정된 화상 데이터를 생성하는 RGB 신호생성부(34)를 가지고 있다. 화상처리부(30)는 CPU(Central Processing Unit), ROM(Read Only Memory) 그 외의 각종 하드웨어와, ROM에 저장된 프로그램 그 외의 소프트웨어로 구성되어 있다. 이 소프트웨어가 하드웨어를 휘도신호생성부(31), 색차신호생성부(32) 및 RGB 신호생성부(34)로서 기능시킴으로써, 화상처리부(30)가 실현되고 있다.
도 4는, 화상처리부(30)가 실행하는 신호 처리의 각 단계를 순서대로 도시하는 모식도이다. 우선, 휘도신호생성부(31)는 단계(S1)에 도시하는 바와 같이, 디지털 화상신호(D1)의 각 화소신호와 디지털 화상신호(D2)의 각 화소신호를 가산한다. 휘도신호생성부(31)는 D1 및 D2에서 서로 같은 위치에 배치된 화소신호끼리를 가산한다. 따라서, D1의 G 화소신호와 D2의 Mg 화소신호가 가산됨과 함께 D1의 Ye 화소신호와 D2의 Cy 화소신호가 가산된다.
즉, 휘도신호생성부(31)는 Y=(G+Mg)/2 및 Y=(Ye+Cy)/2로 표시되는 가산 처리를 실행한다. 또한 휘도신호생성부(31)는 가산 결과를 2로 나눔으로써 평균을 얻고 있다. G의 화소신호는 Gr과 Gb의 가산에 의해 얻어진 것이고, Mg의 화소신호는 R과 B의 가산에 의해 얻어진 것이다. 이 때문에, G와 Mg의 가산으로부터 얻어지는 휘도신호는 Y=(G+Mg)/2=(Gr+R+B+Gb)/4로 표시된다. 여기서, 촬상소자(20)에서의 (Gr+Gb) 등의 가산 결과가 2로 나눠짐으로써 평균이 얻어지고 있다고 한다. 또, Ye의 화소신호는 R과 Gr 또는 Gb와의 가산에 의해 얻어진 것이고, Cy의 화소신호는 B와 Gb 또는 Gr과의 가산에 의해 얻어진 것이다. 이 때문에, Ye와 Cy의 가산으로부터 얻어지는 휘도신호는 Y=(Ye+Cy)/2=(Gr+R+B+Gb)/4로 표시된다. 여기서, 촬상소자(20)에서의 (R+Gr) 등의 가산 결과가 2로 나눠짐으로써 평균이 얻어지고 있다고 한다. 이상의 처리에 의해, 휘도신호(Y)는 모든 샘플링 위치에 관해 취득된다.
한편, 색차신호생성부(32)는 단계(S1)에 도시하는 바와 같이, 디지털 화상신호(D1)의 각 화소신호로부터 디지털 화상신호(D2)의 각 화소신호를 감산한다. 색차신호생성부(32)는 D1 및 D2에서 서로 같은 위치에 배치된 화소신호끼리로 감산한다. 따라서, D1의 G 화소신호로부터 D2의 Mg 화소신호가 감산됨과 함께 D1의 Ye 화소신호로부터 D2의 Cy 화소신호가 감산된다.
즉, 색차신호생성부(32)는 C1=(G-Mg)/2 및 C2H=(YeH-CyH)/2 및 C2V=(YeV-CyV)/2로 표시되는 감산 처리를 실행한다. 또한, 색차신호생성부(32)는 가산 결과를 2로 나눔으로써 평균을 얻고 있다. 상기 식에서, YeH 및 CyH로부터 얻어지는 색차신호는 C2H로 기재되고, YeV 및 CyV로부터 얻어지는 색차신호는 C2V로 기재되어 있다. 여기서, G 화소신호는 Gr과 Gb의 가산에 의해 얻어진 것이고, Mg 화소신호는 R과 B의 가산에 의해 얻어진 것이다. 이 때문에, G로부터 Mg를 감산하여 얻어지는 색차신호는 C1=(G-Mg)/2=((Gr+Gb)-(R+B))/4로 표시된다. 또, 촬상소자(20)에서의 (Gr+Gb) 등의 가산 결과가 2로 나눠짐으로써 평균이 얻어지고 있다고 한다. 또, Ye의 화소신호는 R과 Gr 또는 Gb와의 가산에 의해 얻어진 것이고, Cy의 화소신호는 B와 Gb 또는 Gr과의 가산에 의해 얻어진 것이다. 이 때문에, Ye로부터 Cy를 감산하여 얻어지는 색차신호는 C2H=(YeH-CyH)/2=((Gr-Gb)+(R-B))/4 및 C2V=(YeV-CyV)/2=((Gb-Gr)+(R-B))/4로 표시된다. 또, 촬상소자(20)에서의 (R+Gr) 등의 가산 결과가 2로 나눠짐으로써 평균이 얻어지고 있다고 한다.
단계(S1)에서 이와 같이 생성되는 색차신호는, 도 4에 도시되는 바와 같이 C1와 C2가 행방향 및 열방향으로 교대로 반복하는 신호가 된다. 따라서, 색보간부(33)는 단계(S2)에 도시되는 바와 같이 색차신호를 보간한다. 우선, 색보간부(33)는 단계(S21)에 도시하는 바와 같이, 단계(S1)에서 생성되는 색차신호로부터 색차신호(C1)와 색차신호(C2)를 분리하고, 부족한 화소를 "0"으로 하여 색차신호(C1)와 색차신호(C2)를 각각 업 샘플링한다. 그리고, 색보간부(33)는 단계(S22)에 도시하는 바와 같이, 업 샘플링된 색차신호(C1)와 색차신호(C2)에 각각 로패스 필터(LPF)를 곱해서 화소를 보간한다. 즉, 색보간부(33)는 색차신호(C1)의 각 화소에 1행째가 (1, 2, 1)로 이루어지고, 2행째가 (2, 4, 2)로 이루어지고, 3행째가 (1, 2, 1)로 이루어지는 3행 3열의 필터를 곱하고, 전체를 8로 나누어 평균화한다. 또, 색보간부(33)는 색차신호(C2)의 각 화소에 상기와 같은 필터를 곱하고, 전체를 8로 나누어 평균화한다. 이와 같이, 화소의 보간에 로패스 필터가 이용되기 때문에 보간된 색차신호에 가짜 색이 발생하기 어렵다.
단계(S1) 및 단계(S2)에 의해 모든 샘플링 위치에 관해 휘도신호(Y)와 색차신호(C1 및 C2)가 취득된다. RGB 신호생성부(34)는 단계(S3)에 도시하는 바와 같이, 단계(S1) 및 단계(S2)에서 취득된 휘도신호(Y)와 색차신호(C1 및 C2)에 3행 3열의 행렬 연산을 실시함으로써, 각 화소에 관해 R, G 및 B 각 색의 화소신호를 산출한다. 이 3행 3열의 행렬 연산은 R=Y-C1+2*C2, G=Y+C1 및 B=Y-C1-2*C2로 표시된다.
이상과 같이, 본 실시형태에서는 우선 촬상소자(20)가 R, G 및 B 각 색으로 이루어지는 베이어 배열의 화상으로부터 2면 보색 베이어를 생성한다. 이때, 도 2(d)에 도시하는 바와 같이 4행 4열 베이어 배열의 화상으로부터 2행 2열의 2면 보색 베이어가 생성된다. 그리고, 화상처리부(30)가 2면 보색 베이어로부터 각 화소에 대해 R, G 및 B 각 색이 결정된 화상 데이터를 생성한다. 이때, 2행 2열의 2면 보색 베이어로부터 2행 2열의 R, G 및 B 각 색이 결정된 화상 데이터가 생성된다. 즉, 촬상소자(20)가 R, G 및 B의 베이어 배열의 화상을 가로세로 각각 1/2 크기로 한 2면 보색 베이어를 출력함과 함께 화상처리부(30)가 이 2면 보색 베이어와 같은 크기의 R, G 및 B 각 색이 결정된 화상 데이터를 출력한다.
따라서, 가로 1920 픽셀이고 세로 1080 픽셀인 HD 동화상용 화상 데이터를 생성하는 경우에는 우선, 촬상소자(20)가 가로 4000 픽셀이고 세로 3000 픽셀의 RGB 베이어 배열 중, 가로 3840 픽셀이고 세로 2160 픽셀의 화상으로부터 2면 보색 베이어를 생성한다. 이로써, 가로 1920 픽셀이고 세로 1080 픽셀의 2면 보색 베이어가 생성된다. 그리고, 화상처리부(30)가 촬상소자(20)로부터 출력된 2면 보색 베이어로부터 각 화소에 대해 R, G 및 B의 각 색이 결정된 화상 데이터를 생성한다. 이로써, 화상처리부(30)로부터는 가로 1920 픽셀이고 세로 1080 픽셀의 HD 동화상용 화상 데이터가 출력된다.
다음으로, 2면 보색 베이어를 출력 가능한 촬상소자(20)의 구체적인 회로 구성과 그 회로의 구동방법에 대해 설명한다. 도 5는 도 2(c)에 도시하는 가산 패턴의 배치를 실현하기 위한 구체적인 회로 구성도이다. 도 5는 베이어 배열의 단위 격자에 대응하는 단위회로(40)가 행방향으로 3개, 열방향으로 2개 나열된 회로를 도시하고 있다. 실제 회로 구성은, 도 5에 도시하는 단위회로(40) 및 그 주변의 회로 구성이 촬상소자(20)의 화소 총수에 상당하는 수만큼 행방향 및 열방향으로 나열된 것이 된다.
도 5에서, Gr11~Gr35는 Gr의 컬러 필터 아래에 배치된 포토다이오드를, R12~R36는 R의 컬러 필터 아래에 배치된 포토다이오드를, B21~B45는 B의 컬러 필터 아래에 배치된 포토다이오드를, Gb22~Gb46는 Gb의 컬러 필터 아래에 배치된 포토다이오드를 각각 나타내고 있다. FD11~FD35는 플로팅 디퓨전을 나타내고, MT11~MT46는 각 포토다이오드로부터 FD11~FD35 중 어느 하나로 전하를 전송하는 전송 트랜지스터를 나타내고 있다.
MA11~MA35는 FD로부터의 출력신호를 증폭하는 증폭 트랜지스터를 나타내고 있다. MR11~MR35는 포토다이오드에서 광전변환 전하를 리셋하는 리셋 트랜지스터를 나타내고 있다. MS11~MS35는 화소신호를 출력시키는 단위회로(40)를 선택하는 열선택 트랜지스터를 나타내고 있다. L1~L5는 각 단위회로(40)로부터 화소신호가 출력되는 수직 출력선을 나타내고, Vdd는 단위회로(40)에 공급되는 전압을 나타내고 있다. Tx11~Tx44는 전송 트랜지스터로 전송 제어신호를 송신하는 전송 제어신호선을 나타내고, Rst1 및 Rst3은 리셋 트랜지스터로 리셋 제어신호를 송신하는 리셋 제어신호선을 나타내고, Sel1 및 Sel3은 열선택 트랜지스터로 열선택 제어신호를 송신하는 열선택 제어신호선을 나타내고 있다.
각 단위회로(40)는 1개의 광전변환 소자군(21a)에 대응하는 4개의 포토다이오드와, 1개의 신호전송부(22)에 대응하는 4개의 전송 트랜지스터를 포함하고 있다. 또, 각 단위회로(40)는 FD, 증폭 트랜지스터, 리셋 트랜지스터 및 열선택 트랜지스터 각각을 1개씩 포함하고 있다. 일례로, 도 5에서 가장 왼쪽 위에 배치된 단위회로(40)(이하. '단위회로(40a)'라고 한다)는 포토다이오드(Gr11, R12, B21 및 Gb22)와 전송 트랜지스터(MT11, MT12, MT21 및 MT22)와 FD11와 증폭 트랜지스터(MA11)와 리셋 트랜지스터(MR11)와 열선택 트랜지스터(MS11)로 구성되어 있다. 또, 다른 일례로, 그 오른쪽 옆의 단위회로(40)(이하, '단위회로(40b)'라고 한다)는 포토다이오드(Gr13, R14, B23 및 Gb24)와 전송 트랜지스터(MT13, MT14, MT23 및 MT24)와 FD13와 증폭 트랜지스터(MA13)와 리셋 트랜지스터(MR13)와 열선택 트랜지스터(MS13)로 구성되어 있다.
각 단위회로(40) 내의 구성은 모두 같다. 일례로 단위회로(40a)에 주목하면, 포토다이오드(Gr11)의 애노드는 접지되고, 캐소드는 전송 트랜지스터(MT11)를 통해 FD11에 접속되어 있다. 이와 마찬가지로, 포토다이오드(R12, B21 및 Gb22)의 애노드는 각각 접지되고, 캐소드는 전송 트랜지스터(MT12, MT21 및 MT22)에 각각 접속되어 있다. 전송 트랜지스터(MT11)의 게이트는, 전송 제어신호선(Tx11)에 접속되어 있다. 이와 마찬가지로, 전송 트랜지스터(MT12, MT21 및 MT22)의 게이트는 전송 제어신호선(Tx12, Tx21 및 Tx22)에 각각 접속되어 있다.
FD11는 증폭 트랜지스터(MA11)의 게이트에 접속되어 있다. 증폭 트랜지스터(MA11)의 드레인·게이트 간에는 리셋 트랜지스터(MR11)가 접속되고, 증폭 트랜지스터(MA11)의 소스는 열선택 트랜지스터(MS11)를 통해 수직 출력선(L1)에 접속되어 있다. 리셋 트랜지스터(MR11)의 게이트는 리셋 제어신호선(Rst1)에 접속되고, 열선택 트랜지스터(MS11)의 게이트는 열선택 제어신호선(Sell)에 접속되어 있다. 증폭 트랜지스터(MA11)의 드레인에는 전압(Vdd)이 공급되고 있다.
도 5의 회로 구성에서, 전송 제어신호선은 행방향으로 나열된 단위회로(40)의 1행에 대해 8개씩 설치되어 있다. 또, 8개 중 4개의 전송 제어신호선이 행방향으로 1개 걸러 나열된 단위회로(40)끼리에서 공용되고 있다. 일례로 단위회로(40a)를 포함하는 행에서는, 전송 제어신호선(Tx11~Tx22) 8개가 이 각 단위회로(40)에 공용되고 있다. 그리고, 이들 8개 중 전송 제어신호선(Tx11)은 단위회로(40a)의 전송 트랜지스터(MT11)에 접속되어 있음과 함께 단위회로(40a)와의 사이에 단위회로(40b)를 끼고 우측으로 배치된 단위회로(40)(이하, '단위회로(40c)'라고 한다)의 전송 트랜지스터(MT15)에 접속되어 있다. 마찬가지로, 전송 제어신호선(Tx12, Tx21 및 Tx22)은 단위회로(40a)의 전송 트랜지스터(MT12, MT21 및 MT22)에 각각 접속되고 있음과 함께 단위회로(40c)의 전송 트랜지스터(MT16, MT25 및 MT26)에 각각 접속되어 있다. 이와 같이, 전송 제어신호선(Tx11~Tx22) 8개 중 전송 제어신호선(Tx11, Tx12, Tx21 및 Tx22) 4개는 행방향으로 1개 걸러 인접한 단위회로(40)끼리의 사이에서 각 단위회로(40)에 포함되는 4개의 전송 트랜지스터에 대한 전송 제어신호선으로서 공용되고 있다.
또, 단위회로(40a)의 오른쪽 옆 단위회로(40b)에서는, 8개 중 나머지 4개인 전송 제어신호선(Tx13, Tx14, Tx23 및 Tx24)이 전송 트랜지스터(MT13, MT14, MT23 및 MT24)에 각각 접속되어 있다. 이 전송 제어신호선(Tx13, Tx14, Tx23 및 Tx24)은, 단위회로(40b)와의 사이에 단위회로(40c)를 끼고 우측으로 배치된 단위회로(40)(미도시)의 4개의 전송 트랜지스터에도 각각 접속되어 있다. 이와 같이, 전송 제어신호선(Tx13, Tx14, Tx23 및 Tx24) 4개도 행방향으로 1개 걸러 인접한 단위회로(40)끼리의 사이에서 각 단위회로(40)에 포함되는 4개의 전송 트랜지스터에 대한 전송 제어신호선으로서 공용되고 있다.
도 5의 회로 구성에서, 리셋 제어신호선은 행방향으로 나열된 단위회로(40)의 1행에 대해 1개씩 설치되어 있고, 1행의 단위회로(40)에 포함되는 각 리셋 트랜지스터에 접속되어 있다. 일례로, 리셋 제어신호선(Rst1)은 단위회로(40a)의 리셋 트랜지스터(MR11)와 단위회로(40b)의 리셋 트랜지스터(MR13)와 단위회로(40c)의 리셋 트랜지스터(MR15)에 접속되어 있다. 또, 열선택 제어신호선도 행방향으로 나열된 단위회로(40)의 1행에 대해 1개씩 설치되어 있고, 1행의 단위회로(40)에 포함되는 각 열선택 트랜지스터에 접속되어 있다. 일례로, 열선택 제어신호선(Sel1)은 단위회로(40a)의 열선택 트랜지스터(MS11)와 단위회로(40b)의 열선택 트랜지스터(MS13)와 단위회로(40c)의 열선택 트랜지스터(MS15)에 접속되어 있다.
도 5의 회로 구성에서, 도 2(c)에 도시하는 가산 패턴의 배치에 따라 화소신호를 가산시키는 구동방법에 대해 설명한다. 도 6(a)~도 6(c)은 가산 패턴(1X, 2V 및 2H)에 따라 가산된 신호를 각 단위회로(40)로부터 출력시키기 위해 전송 제어신호선(Tx11~Tx44)에 의해 전송 트랜지스터에 인가시키는 전송 제어신호를 도시하는 시퀀스도이다. 도 6(a)이 가산 패턴(1X)에, 도 6(b)이 가산 패턴(2H)에, 도 6(c)이 가산 패턴(2V)에 각각 대응한다. 이하에서는, 도 5의 2행 3열의 단위회로(40)가 도 2(c)에서 가산 패턴(1X)을 왼쪽 위로 하는 2행 3열의 가산 패턴과 대응하도록 구동되는 것으로 한다.
가산 패턴(1X)에 대해 단위회로(40a)를 예로 들어 설명한다. 우선, 도 6(a)에 도시하는 바와 같이 시각(t21)에, 리셋 제어신호선(Rst1)에 H레벨을 인가하는 동시에 전송 제어신호선(Tx11)과 전송 제어신호선(Tx22)에 H레벨을 인가하여 포토다이오드(G11)와 포토다이오드(G22)에 축적된 광전변환 전하의 리셋을 실시한다. 이 조작은 전자 셔터 동작에 상당한다. 리셋 제어신호선(Rst1)이 H레벨이 되면, 리셋 트랜지스터(MR11)가 온이 되고, FD11가 전압(Vdd)으로 충전된다. 또, 전송 제어신호선(Tx11 및 Tx22)가 H레벨이 되면, 전송 트랜지스터(MT11 및 MT22)가 온이 되고, 포토다이오드(Gr11 및 Gb22)의 캐소드 측에 전압(Vdd)이 인가되어 포토다이오드(G11 및 G22)에 축적된 광전변환 전하가 리셋된다. 리셋 제어신호선(Rst1)과 전송 제어신호선(Tx11)과 전송 제어신호선(Tx22)에 인가된 H레벨이 L레벨로 변화하면, 이들 제어신호선이 오프가 되고, 포토다이오드(Gr11 및 Gb22)가 수광량에 따라 전하 축적을 시작한다.
다음으로 시각(t22)에, 리셋 제어신호선(Rst1)에 H레벨을 인가하는 동시에 전송 제어신호선(Tx12)과 전송 제어신호선(Tx21)에 H레벨을 인가하여 포토다이오드(R12)와 포토다이오드(B21)에 축적된 광전변환 전하의 리셋을 실시한다. 즉, 포토다이오(R12 및 B21)의 캐소드 측에 전압(Vdd)이 인가되고, 이들 포토다이오드에 축적된 광전변환 전하가 리셋된다. 리셋 제어신호선(Rst1)과 전송 제어신호선(Tx12)과 전송 제어신호선(Tx21)에 인가된 H레벨이 L레벨로 변화하면, 리셋 트랜지스터(MR11)와 전송 트랜지스터(MT12)와 전송 트랜지스터(MT21)가 오프가 되고, 포토다이오(R12 및 B21)가 수광량에 따라 전하 축적을 시작한다.
다음으로 시각(t23)에, 포토다이오드(Gr11 및 Gb22)에 대해 화소신호의 판독 동작을 시작하기 위해 열선택 제어신호선(Sel1)에 H레벨을 인가한다. 이에 의해 열선택 트랜지스터(MS11)가 온이 되고, 증폭 트랜지스터(MA11)의 소스가 수직 출력선(L1)에 접속된다. 또, 리셋 제어신호선(Rst1)에 H레벨을 인가한다. 이에 의해 리셋 트랜지스터(MR11)가 온이 되고, FD11가 전압(Vdd)으로 충전되어 FD11의 충전 전압이 초기화된다. FD11의 초기화 전압은 증폭 트랜지스터(MA11)에 의해 증폭되고, 열선택 트랜지스터(MS11)를 통해 수직 출력선(L1)에 출력된다. 수직 출력선(L1)에 출력된 FD11의 초기화 전압은, CDS부(26)에 의해 기준 레벨로서 클램프 된다.
다음으로, 리셋 트랜지스터(MR11)를 오프로 한 후, 시각(t24)에, 전송 제어신호선(Tx11)과 전송 제어신호선(Tx22)에 H레벨을 인가한다. 이에 의해 전송 트랜지스터(MT11)와 전송 트랜지스터(MT22)가 온이 되고, 포토다이오드(Gr11 및 Gb22)의 양쪽 광전변환 전하에 따라 FD11의 전압이 변화한다. 즉, Gr화소와 Gb화소에 따른 포토다이오드(Gr11)와 포토다이오드(Gb22)의 광전변환 전하는 FD11에서 가산된다. 또한, 전하 축적이 시작되는 시각(t21)으로부터 FD(24)로 전하가 전송되는 시각(t24)까지가 노광 시간에 상당한다. FD11에서 가산된 전압은 증폭 트랜지스터(MA11)에서 증폭되어 열선택 트랜지스터(MS11)를 통해 수직 출력선(L1)에 출력된다. 수직 출력선(L1)에 출력된 FD11의 전압은 CDS부(26)에 의해 샘플링되고, 먼저 샘플링된 기준 레벨과의 차분이 CDS부(26)로부터 출력된다.
다음으로 시각(t25)에, 포토다이오드(R12)와 포토다이오드(B21)에 대해 화소신호의 판독 동작을 시작하기 위해 리셋 제어신호선(Rst1)에 H레벨을 인가한다. 이에 의해, 리셋 트랜지스터(MR11)가 온이 되고, FD11가 전압(Vdd)으로 충전되어 FD11의 전압이 초기화된다. 수직 출력선(L1)에 출력된 FD11의 초기화 전압은 CDS부(26)에 의해 기준 레벨로 클램프 된다.
다음으로, 리셋 트랜지스터(MR11)를 오프로 한 후, 시각(t26)에, 전송 제어신호선(Tx12)과 전송 제어신호선(Tx21)에 H레벨을 인가한다. 이에 의해 전송 트랜지스터(MT12)와 전송 트랜지스터(MT21)가 온이 되고, 포토다이오(R12 및 B21)의 양쪽 광전변환 전하에 따라 FD11의 전압이 변화한다. 즉, R화소와 B화소에 따른 포토다이오드(R12)와 포토다이오드(B21)의 광전변환 전하는 FD11에서 가산된다. 여기서, 시각(t22~t26)의 시간이 노광 시간에 대응한다. FD11에서 가산된 전압은 증폭 트랜지스터(MA11)에서 증폭되어 열선택 트랜지스터(MS11)를 통해 수직 출력선(L1)에 출력된다. 수직 출력선(L1)에 출력된 FD11의 전압은 CDS부(26)에 의해 샘플링되고, 먼저 샘플링된 기준 레벨과의 차분이 CDS부(26)로부터 출력된다.
이상과 같이 단위회로(40a)에서, 가산 패턴(1X)에 따라 화소신호가 가산된다. 여기서, 도 5의 회로 구성에서, 전송 제어신호선(Tx11, Tx12, Tx21 및 Tx22)은 행방향으로 1개 걸러 인접한 단위회로(40)끼리의 사이에서 각 단위회로(40)에 포함되는 4개의 전송 트랜지스터로 전송 제어신호선으로서 공용되고 있다. 따라서, 단위회로(40a)에 관해 가산 패턴(1X)에 따른 화소신호의 가산 처리가 이루어지면, 단위회로(40a)로부터 1개 걸러 행방향으로 인접하는 각 단위회로(40)에서도 마찬가지로 가산 패턴(1X)에 따른 가산 처리가 이루어진다. 단위회로(40a)보다 아래쪽에 위치하는 단위회로(40)의 각 행에 관해서도 마찬가지로 1개 걸러 행방향으로 인접하는 각 단위회로(40)에서 가산 패턴(1X)에 따른 가산 처리가 동시에 이루어진다.
가산 패턴(2H)에 대해, 도 5에서 단위회로(40a) 아래에 배치된 단위회로(40)(이하, '단위회로(40d)'라고 한다)을 예로 들어 설명한다. 또한, 단위회로(40d)에서의 작용은 단위회로(40a)에서의 상기의 작용과 같기 때문에, 단위회로(40d)에서의 작용의 상세한 내용에 대해서는 적당히 설명을 생략한다. 도 6(b)에 도시하는 바와 같이 시각(t31)에, 리셋 제어신호선(Rst3), 전송 제어신호선(Tx31) 및 전송 제어신호선(Tx32)에 각각 동시에 H레벨을 인가한다. 이에 의해 FD31가 전압(Vdd)으로 충전됨과 함께 포토다이오드(Gr31)와 포토다이오드(R32)에 축적된 광전변환 전하가 리셋된다. 리셋 제어신호선(Rst3), 전송 제어신호선(Tx31) 및 전송 제어신호선(Tx32)에 인가된 H레벨이 각각 L레벨로 변화하면, 포토다이오드(Gr31 및 R32)가 수광량에 따라 전하 축적을 시작한다.
다음으로 시각(t32)에, 리셋 제어신호선(Rst1), 전송 제어신호선(Tx41) 및 전송 제어신호선(Tx42)에 각각 동시에 H레벨을 인가한다. 이에 의해 FD31가 전압(Vdd)으로 충전됨과 함께 포토다이오드(B41)와 포토다이오드(Gb42)에 축적된 광전변환 전하가 리셋된다. 리셋 제어신호선(Rst3), 전송 제어신호선(Tx41) 및 전송 제어신호선(Tx42)에 인가된 H레벨이 각각 L레벨로 변화하면, 포토다이오드(B41 및 Gb42)가 수광량에 따라 전하 축적을 시작한다.
다음으로 시각(t33)에, 열선택 제어신호선(Sel3) 및 리셋 제어신호선(Rst3)에 각각 H레벨을 인가한다. 이에 의해, 증폭 트랜지스터(MA31)의 소스가 수직 출력선(L1)에 접속됨과 함께 리셋 트랜지스터(MR31)가 온이 된다. 따라서, FD31가 전압(Vdd)으로 충전되어 FD31의 충전 전압이 초기화된다. 또, FD31의 초기화 전압은 증폭 트랜지스터(MA31)에 의해 증폭됨과 함께 수직 출력선(L1)에 출력되어 CDS부(26)에 의해 기준 레벨로서 클램프 된다.
다음으로, 리셋 트랜지스터(MR31)를 오프로 한 후, 시각(t34)에, 전송 제어신호선(Tx31 및 Tx32)에 각각 H레벨을 인가한다. 이에 의해 Gr화소 및 R화소에 따른 포토다이오드(Gr31 및 R32)의 광전변환 전하는 FD31에서 가산된다. 여기서, 노광 시간은 시각(t31~t34)의 시간이다. FD31에서의 가산 결과는 가산 결과에 따른 전압으로서 FD31로부터 출력된다. FD31로부터의 출력전압은 증폭 트랜지스터(MA31)에서 증폭되어 열선택 트랜지스터(MS31)를 통해 수직 출력선(L1)에 출력된다. 수직 출력선(L1)에 출력된 FD31의 전압은 CDS부(26)에 의해 샘플링되고, 먼저 샘플링된 기준 레벨과의 차분이 CDS부(26)로부터 출력된다.
다음으로 시각(t35)에, 리셋 제어신호선(Rst3)에 H레벨을 인가한다. 이에 의해 증폭 트랜지스터(MA31)의 소스가 수직 출력선(L1)에 접속됨과 함께 리셋 트랜지스터(MR31)가 온이 된다. 그리고, FD31가 전압(Vdd)으로 충전되어 초기화된다. 수직 출력선(L1)에 출력된 FD31의 초기화 전압은 CDS부(26)에 의해 기준 레벨로서 클램프 된다.
다음으로, 리셋 트랜지스터(MR31)를 오프로 한 후, 시각(t36)에, 전송 제어신호선(Tx41 및 Tx42)에 각각 H레벨을 인가한다. 이에 의해, B화소와 Gb화소에 따른 포토다이오드(B41 및 Gb42)의 광전변환 전하는 FD31에서 가산된다. 여기서, 노광 시간은 시각(t32~t36)의 시간이다. FD31에서의 가산 결과는, 가산 결과에 따른 전압으로서 FD31로부터 출력된다. FD31로부터의 출력전압은 증폭 트랜지스터(MA31)에서 증폭되어 열선택 트랜지스터(MS31)를 통해 수직 출력선(L1)에 출력된다. 수직 출력선(L1)에 출력된 FD31의 전압은 CDS부(26)에 의해 샘플링되고, 먼저 샘플링된 기준 레벨과의 차분이 CDS부(26)로부터 출력된다.
이상과 같이 단위회로(40d)에서, 가산 패턴(2H)에 따라 화소신호가 가산된다. 여기서, 도 5의 회로 구성에서, 전송 제어신호선(Tx31, Tx32, Tx41 및 Tx42)은 행방향으로 1개 걸러 인접한 단위회로(40)끼리의 사이에서 각 단위회로(40)에 포함되는 4개의 전송 트랜지스터에 대한 전송 제어신호선으로서 공용되고 있다. 따라서, 단위회로(40d)에 관해 가산 패턴(2H)에 따른 화소신호의 가산 처리가 이루어지면, 단위회로(40d)로부터 1개 걸러 행방향으로 인접하는 각 단위회로(40)에서도 마찬가지로 가산 패턴(2H)에 따른 가산 처리가 이루어진다. 단위회로(40d)보다 하부에 위치하는 단위회로(40)의 각 행에 관해서도 또한 마찬가지로 1개 걸러 행방향으로 인접하는 각 단위회로(40)에서 가산 패턴(2H)에 따른 가산 처리가 동시에 이루어진다.
가산 패턴(2V)에 대해 단위회로(40b)를 예로 들어 설명한다. 또한, 단위회로(40b)에서의 작용은 단위회로(40a)에서의 상기의 작용과 같기 때문에, 단위회로(40b)에서의 작용의 상세한 내용에 대해서는 적당히 설명을 생략한다. 도 6(c)에 도시하는 바와 같이 시각(t41)에, 리셋 제어신호선(Rst1), 전송 제어신호선(Tx13) 및 전송 제어신호선(Tx23)에 각각 동시에 H레벨을 인가한다. 이에 의해, FD13가 전압(Vdd)으로 충전됨과 함께 포토다이오드(Gr13)와 포토다이오드(B23)에 축적된 광전변환 전하가 리셋된다. 리셋 제어신호선(Rst1), 전송 제어신호선(Tx13) 및 전송 제어신호선(Tx23)에 인가된 H레벨이 각각 L레벨로 변화하면, 포토다이오드(Gr13 및 B23)가 수광량에 따라 전하 축적을 시작한다.
다음으로 시각(t42)에, 리셋 제어신호선(Rst1), 전송 제어신호선(Tx14) 및 전송 제어신호선(Tx24)에 각각 동시에 H레벨을 인가한다. 이에 의해 FD13가 전압(Vdd)으로 충전됨과 함께 포토다이오드(R14)와 포토다이오드(Gb24)에 축적된 광전변환 전하가 리셋된다. 리셋 제어신호선(Rst1), 전송 제어신호선(Tx14) 및 전송 제어신호선(Tx24)에 인가된 H레벨이 각각 L레벨로 변화하면, 포토다이오드(R14 및 Gb24)가 수광량에 따라 전하 축적을 시작한다.
다음으로 시각(t43)에, 열선택 제어신호선(Sel1) 및 리셋 제어신호선(Rst1)에 각각 H레벨을 인가한다. 이에 의해 증폭 트랜지스터(MA13)의 소스가 수직 출력선(L2)에 접속됨과 함께 리셋 트랜지스터(MR13)가 온이 된다. 그리고, FD13가 전압(Vdd)으로 충전되어, FD13의 충전 전압이 초기화된다. 또, 증폭 트랜지스터(MA13)에 의해 증폭된 FD13의 초기화 전압은 수직 출력선(L2)에 출력되어 CDS부(26)에 의해 기준 레벨로서 클램프 된다.
다음으로, 리셋 트랜지스터(MR13)를 오프로 한 후, 시각(t44)에, 전송 제어신호선(Tx13 및 Tx23)에 각각 H레벨을 인가한다. 이에 의해 Gr화소 및 B화소에 따른 포토다이오드(Gr13 및 B23)의 광전변환 전하는 FD13에서 가산된다. 여기서, 노광 시간은 시각(t41~t44)의 시간이다. FD13에서의 가산 결과는, 가산 결과에 따른 전압으로서 FD13로부터 출력된다. FD13로부터의 출력전압은 증폭 트랜지스터(MA13)에서 증폭되어 열선택 트랜지스터(MS13)를 통해 수직 출력선(L2)에 출력된다. 수직 출력선(L2)에 출력된 FD13의 전압은 CDS부(26)에 의해 샘플링되고, 먼저 샘플링된 기준 레벨과의 차분이 CDS부(26)로부터 출력된다.
다음으로 시각(t45)에 리셋 제어신호선(Rst1)에 H레벨을 인가한다. 이에 의해 증폭 트랜지스터(MA13)의 소스가 수직 출력선(L2)에 접속됨과 함께 리셋 트랜지스터(MR13)가 온이 되고, FD13가 전압(Vdd)으로 충전되어 초기화된다. 수직 출력선(L2)에 출력된 FD13의 초기화 전압은 CDS부(26)에 의해 기준 레벨로서 클램프 된다.
다음으로, 리셋 트랜지스터(MR13)를 오프로 한 후, 시각(t46)에, 전송 제어신호선(Tx14 및 Tx24)에 각각 H레벨을 인가한다. 이에 의해, R화소와 Gb화소에 따른 포토다이오드(R14 및 Gb24)의 광전변환 전하는 FD13에서 가산된다. 여기서, 노광 시간은 시각(t42~t46)의 시간이다. FD13에서의 가산 결과는, 가산 결과에 따른 전압으로서 FD13로부터 출력된다. FD13로부터의 출력전압은 증폭 트랜지스터(MA13)에서 증폭되어 열선택 트랜지스터(MS13)를 통해 수직 출력선(L2)에 출력된다. 수직 출력선(L2)에 출력된 FD13의 전압은 CDS부(26)에 의해 샘플링되고, 먼저 샘플링된 기준 레벨과의 차분이 CDS부(26)로부터 출력된다.
이상과 같이 단위회로(40b)에서, 가산 패턴(2V)에 따라 화소신호가 가산된다. 여기서, 도 5의 회로 구성에서, 전송 제어신호선(Tx13, Tx14, Tx23 및 Tx24)은 행방향으로 1개 걸러 인접한 단위회로(40)끼리의 사이에서 각 단위회로(40)에 포함되는 4개의 전송 트랜지스터에 대한 전송 제어신호선으로서 공용되고 있다. 따라서, 단위회로(40b)에 관해 가산 패턴(2V)에 따른 화소신호의 가산 처리가 이루어지면, 단위회로(40b)로부터 1개 걸러 행방향으로 인접하는 각 단위회로(40)에서도 마찬가지로 가산 패턴(2V)에 따른 가산 처리가 이루어진다. 단위회로(40b)보다 아래쪽에 위치하는 단위회로(40)의 각 행에 관해서도 마찬가지로 1개 걸러 행방향으로 인접하는 각 단위회로(40)에서 가산 패턴(2V)에 따른 가산 처리가 동시에 이루어진다.
이하, 각 화소에 대해 R, G 및 B의 각 색이 결정된 신호가 출력될 때까지 촬상장치(1)가 실행하는 처리의 전체 흐름에 대해 설명한다. 도 7은, 촬상장치(1)가 실행하는 처리의 전체 흐름을 도시한 플로차트이다.
우선, 촬상소자(20)에서 신호전송부(22)가 베이어 배열의 각 단위 격자에 대응하는 각 광전변환 소자군(21a) 내에서 2개의 광전변환 소자(21)로부터의 화소신호를 FD(24)로 동시에 전송한다. 이에 의해 2개의 광전변환 소자(21)로부터의 화소신호가 가산된다(단계 T1). 다음으로, 신호전송부(22)가 각 광전변환 소자군(21a) 내에서 나머지 2개의 광전변환 소자(21)로부터의 화소신호를 FD(24)로 동시에 전송한다. 이에 의해 나머지 2개의 광전변환 소자(21)로부터의 화소신호가 가산된다(단계 T2). 단계(T1) 및 단계(T2)에서는, 도 2(c)의 가산 패턴의 배치에 따라 각 광전변환 소자군(21a) 내에서의 화소 가산이 실행된다. 그리고, 촬상소자(20)는 단계(T1)에서의 가산 결과와 단계(T2)에서의 가산 결과로 생성된 G, Ye, Mg 및 Cy의 각 신호로부터 2면 보색 베이어를 생성하고, 화상처리부(30)로 출력한다(단계 T3).
다음으로, 화상처리부(30)의 휘도신호생성부(31)는 촬상소자(20)로부터의 2면 보색 베이어에서 G와 Mg를 가산하여 휘도신호(Y)를 생성함과 함께 Ye와 Cy를 가산하여 휘도신호(Y)를 생성한다(단계 T4). 또, 화상처리부(30)의 색차신호생성부(32)는 촬상소자(20)로부터의 2면 보색 베이어에서 G로부터 Mg를 감산하여 색차신호(C1)를 생성함과 함께 Ye로부터 Cy를 감산하여 색차신호(C2)를 생성한다(단계 T5). 또, 색차신호생성부(32)의 색보간부(33)는 단계(T5)의 감산 결과에 로패스 필터를 곱함으로써 색차신호(C1 및 C2)를 각각 보간한다(단계 T6).
다음으로, 화상처리부(30)의 RGB 신호생성부(34)는 단계(T4)에서 생성된 휘도신호(Y)와 단계(T6)에서 생성된 색차신호(C1 및 C2)에 3행 3열의 행렬 연산을 실시하여, 각 화소에 대해 R, G 및 B의 각 색이 결정된 화상 데이터를 생성한다(단계 T7). 그리고, RGB 신호생성부(34)는 생성한 화상 데이터를 출력한다(단계 T8). 또한, 단계(T4)~단계(T7)까지의 처리가 도 4의 단계(S1, S21, S22 및 S3)의 처리에 대응한다.
이상 설명한 제1 실시형태에 따르면, 이하의 효과가 나타난다. 우선, 촬상소자(20)가 동시에 2개의 광전변환 소자(21)로부터의 전하를 FD(24)로 전송하고 있기 때문에, FD(24)로부터 출력되는 화소수를 1/2로 감소할 수 있다. 이 때문에, 예를 들면 프레임 레이트를 바꾸지 않는 경우에는, 신호전송부(22)에 의한 신호 전송 등의 동작에 관한 동작 주파수나 AFE부(25)에 의한 A/D변환 레이트를 1/2로 할 수 있기 때문에, 소비 전력을 저감할 수 있다. 한편, 동작 주파수나 A/D변환 레이트를 바꾸지 않는 경우에는 프레임 레이트를 2배로 증가시킬 수 있다.
또, 화소신호의 가산은 베이어 배열에서의 2행 2열의 단위 격자에 대응하는 광전변환 소자군(21a) 내에서 이루어진다. 그리고, 광전변환 소자군(21a) 내에서 광전변환 소자(21)로부터 다른 색의 화소신호끼리가 가산된다. 이에 대해, 항상 같은 색의 화소가 가산되는 구성으로 하는 경우, B끼리나 R끼리의 가산이 이루어지기 위해서는, 다른 단위 격자에 대응하는 광전변환 소자(21)끼리에서 화소가 가산되어야 한다. 그러나 이 경우는, 복수의 단위 격자를 걸쳐서 화소 가산을 위한 배선이 실시될 필요가 있어, 화소를 가산하기 위한 화소 구성이 곤란해진다. 그러나 본 실시형태에 따르면, 광전변환 소자군(21a) 내에서 광전변환 소자(21)로부터의 다른 색의 화소신호끼리가 가산되기 때문에, 화소를 가산하기 위한 화소 구성이 용이하다.
또, 촬상소자(20)는 단순히 광전변환 소자(21)로부터 판독하지 않는 화소를 발생시킴으로써 화소수를 줄이는 것이 아니라, 2개의 화소를 가산하여 화소수를 줄이고 있다. 따라서, 2개의 화소 중 한쪽을 판독하지 않음으로써 화소수를 1/2로 줄이는 경우에 비해 판독의 감도가 2배가 된다. 또 촬상소자(20)로부터 출력되는 2면 보색 베이어에는 G의 화소와 Mg의 화소로 이루어지는 디지털 화상신호(D1)와, Ye의 화소와 Cy의 화소로 이루어지는 디지털 화상신호(D2)가 포함된다. 이 2면 보색 베이어로부터는 화상처리부(30)에서의 처리와 같이, G와 Mg를 가산함과 함께 Ye와 Cy를 가산함으로써 휘도신호(Y)를 화소마다 생성하는 것이 가능하다. 이 휘도신호(Y)를 생성하는 화소 가산에 의해, 감도가 또 2배가 된다. 따라서, 촬상소자(20)에서의 화소 가산 시와 휘도신호를 생성할 때의 화소 가산 시 합계 4배의 감도가 얻어진다.
또, 베이어 배열의 단위 격자에 대응하는 4개의 광전변환 소자(21)에 관해 1개의 FD가 공유되어 있다. 이러한 기본 구성은, 촬상소자의 소형화를 실현하기 위한 기존의 화소 구성이다. 본 실시형태에서는, 이러한 기존의 화소 구성에서 전송 제어신호선의 배선과 전송 트랜지스터의 구동방법을 조정함으로써, 적절한 화소 가산이 실행되고 있다. 따라서, 기존의 회로 구성으로부터 크게 변경되는 일 없이 소형화된 촬상소자(20)가 실현된다.
또, 도 5에 도시하는 구체적인 회로 구성에 의하면, 단위회로(40)의 1행에 대해 8개의 전송 제어신호선이 설치되어 있고, 그 중의 4개의 전송 제어신호선이 1개 걸러 인접하는 단위회로(40)에서 공용되고 있다. 또, 나머지 4개의 전송 제어신호선은 그 외의 단위회로(40)에 공용되고 있다. 그리고, 각 단위회로(40)에서는 4개의 전송 제어신호선으로부터 각 전송 트랜지스터에 전송 제어신호를 공급시킴으로써 가산 패턴(1X, 2V 및 2H) 중 어느 가산 패턴에 대응하는 화소 가산도 실행 가능하다. 따라서, 도 5의 회로 구성에 의하면, 행방향으로 같은 가산 패턴이 나열되는 여러 가산 처리도 실행 가능하며, 2개의 다른 가산 패턴이 행방향으로 교대로 나열되는 여러 가산 처리도 실행 가능하다. 예를 들면, 도 5의 단위회로(40a)에 가산 패턴(2V)에 따른 가산 처리를 실행시키는 경우는, 전송 제어신호선(Tx11)과 전송 제어신호선(Tx21)을 동시에 제어함으로써 Gr+B의 화소 가산을 실행시킴과 함께 전송 제어신호선(Tx12)과 전송 제어신호선(Tx22)을 동시에 제어함으로써 Gb+R의 화소 가산을 실행시키면 된다. 또, 도 5의 단위회로(40a)에 가산 패턴(2H)에 따른 가산 처리를 실행시키는 경우는, 전송 제어신호선(Tx11)과 전송 제어신호선(Tx12)을 동시에 제어함으로써 Gr+R의 화소 가산을 실행시킴과 함께 전송 제어신호선(Tx21)과 전송 제어신호선(Tx22)을 동시에 제어함으로써 B+Gb의 화소 가산을 실행시키면 된다.
또, 화상처리부(30)의 휘도신호생성부(31)에서, 2면 보색 베이어의 2개의 화소신호가 가산됨으로써, 모든 샘플링 위치에 관해 휘도신호(Y)가 생성된다. 즉, 촬상소자(20)로부터 출력되는 2면 보색 베이어로부터는 화소신호를 보간하는 일없이 휘도신호(Y)가 화소마다 생성된다. 이 때문에, 촬상소자(20)로부터 출력되는 2면 보색 베이어로부터는 고해상도 휘도 성분이 생성된다. 한편, 색차신호(C1 및 C2)는 색차신호생성부(32)에서 보간 처리를 거쳐 생성되기 때문에, 색 해상도가 다소는 떨어진다. 그러나, 인간의 시각 특성상, 색 해상도의 열화는 휘도 해상도에 비해 인식되기 어렵기 때문에, 색차신호(C1 및 C2)의 보간은 최종적인 화상의 품질에는 영향을 주기 어렵다.
또, 화상처리부(30)에서, 휘도신호(Y)는 Y=(G+Mg)/2=(Gr+R+B+Gb)/4로 표시되듯이, 샘플링 중심이 베이어 배열의 단위 격자의 중심으로 배치된다. 또, 색차신호(C1 및 C2)도 C1=(G-Mg)/2=((Gr+Gb)-(R+B))/4 및 C2V=(YeV-CyV)/2=((Gb-Gr)+(R-B))/4로 표시되듯이, 각각 샘플링 중심이 베이어 배열의 단위 격자의 중심에 배치된다. 따라서 휘도신호(Y), 색차신호(C1) 및 색차신호(C2) 모두, 화소를 가산할 때의 샘플링의 중심 위치가 행방향 및 열방향으로 등간격이 되며, 또한 행방향의 피치와 열방향의 피치가 동일해지도록 생성된다. 한편, 화소를 가산할 때의 샘플링의 중심 위치가 등간격의 위치로부터 어긋나면, 화소 가산에 의해 감소한 해상도보다 화상의 실효 해상도가 더 감소하거나 에일리어싱(aliasing)이 화상에 발생하거나 할 우려가 있다. 그러나, 제1 실시형태에 의하면, 휘도신호(Y), 색차신호(C1) 및 색차신호(C2) 모두, 샘플링의 중심 위치가 행방향 및 열방향으로 등간격이 되며, 또한 행방향의 피치와 열방향의 피치가 동일해지기 때문에, 상기의 실효 해상도 저하나 에일리어싱의 발생이 방지된다.
(제2 실시형태)
이하, 본 발명에 관한 제1 실시형태와는 다른 실시형태인 제2 실시형태에 대해 도 8을 참조하면서 설명한다. 제2 실시형태에서 제1 실시형태와 다른 것은 촬상소자(20)에서의 구체적인 회로 구성과 그 제어 방법이며, 그 외의 구성에 대해서는 제1 실시형태의 구성과 같기 때문에 설명을 생략한다.
도 8은 제2 실시형태에 관한 촬상소자의 구체적인 회로 구성도이다. 도 8에서는, 베이어 배열의 단위 격자에 대응하는 단위회로(140)가 행방향으로 3개, 열방향으로 2개 나열된 회로를 도시하고 있다. 실제 회로 구성은, 도 8에 도시하는 단위회로(140) 및 그 주변의 회로 구성이 제2 실시형태의 촬상소자에서의 화소 총수에 상당하는 수만큼 행방향 및 열방향으로 나열된 것이다. 제2 실시형태에서 제1 실시형태와 같은 구성에는 동일한 부호를 붙여, 그 설명을 적당히 생략한다. 또한. 단위회로(140) 내의 회로 구성은, 단위회로(40)의 회로 구성과 같다.
제2 실시형태에서는, 제1 실시형태와 달리 행방향으로 나열된 단위회로(140)의 1행에 대해 전송 제어신호선이 4개씩 설치되어 있다. 예를 들면, 전송 제어신호선(Ty11, Ty12, Ty21 및 Ty22) 4개는, 도 8에서 위로부터 1행째의 단위회로(140)에서, 각 단위회로(140)에 포함되는 4개의 전송 트랜지스터에 각각 접속되어 있다. 이들 4개의 전송 제어신호선 중 전송 제어신호선(Ty11)은, 각 단위회로(140)에서 Gr의 포토다이오드로부터의 전하를 전송하는 전송 트랜지스터에 접속되어 있다. 전송 제어신호선(Ty12)은 각 단위회로(140)에서 R의 포토다이오드로부터의 전하를 전송하는 전송 트랜지스터에 접속되어 있다. 즉, 전송 제어신호선(Ty11)과 전송 제어신호선(Ty12)은, 각각 같은 색의 포토다이오드에 대응하는 전송 트랜지스터에 이용하는 제어신호선으로서 행방향으로 나열된 단위회로(140) 간에서 공용되고 있다.
이에 대해 전송 제어신호선(Ty21)과 전송 제어신호선(Ty22)은, 행방향으로 나열된 단위회로(140) 간에서 공용되고 있음과 함께 행방향으로 인접하는 2개의 단위회로(140)끼리에서 접속되는 전송 트랜지스터가 교체되어 있다. 예를 들면, 전송 제어신호선(Ty21)은, 포토다이오드(B21)로부터의 전하를 전송하는 전송 트랜지스터(MT21)와 포토다이오드(Gb24)로부터의 전하를 전송하는 전송 트랜지스터(MT24)와 포토다이오드(B25)로부터의 전하를 전송하는 전송 트랜지스터(MT25)에 접속되어 있다. 또, 전송 제어신호선(Ty22)은, 포토다이오드(Gb22)로부터의 전하를 전송하는 전송 트랜지스터(MT22)와 포토다이오드(B23)로부터의 전하를 전송하는 전송 트랜지스터(MT23)와 포토다이오드(Gb26)로부터의 전하를 전송하는 전송 트랜지스터(MT26)에 접속되어 있다. 이와 같이, 전송 제어신호선(Ty11, Ty12, Ty21 및 Ty22) 중 전송 제어신호선(Ty21)과 전송 제어신호선(Ty22) 2개는, 행방향에 관해, 접속되는 전송 트랜지스터가 단위회로(140)마다 교대로 교체되어 있다.
전송 제어신호선(Ty31, Ty32, Ty41 및 Ty42)에서는, 이들 4개의 전송 제어신호선 중 전송 제어신호선(Ty31)은 어느 단위회로(140)에서나 Gr의 포토다이오드에 대응하는 전송 트랜지스터에 접속되고, 전송 제어신호선(Ty41)은 어느 단위회로(140)에서나 B의 포토다이오드에 대응하는 전송 트랜지스터에 접속되어 있다. 한편, 전송 제어신호선(Ty32)과 전송 제어신호선(Ty42)은, 행방향에 관해, 접속되는 전송 트랜지스터가 단위회로(140)마다 교대로 교체되어 있다. 예를 들면, 전송 제어신호선(Ty32)은 R의 포토다이오드에 대응하는 전송 트랜지스터와 Gb의 포토다이오드에 대응하는 전송 트랜지스터에 행방향으로 교대로 접속되어 있다. 전송 제어신호선(Ty42)은 전송 제어신호선(Ty32)과는 반대 순서로, Gb의 포토다이오드에 대응하는 전송 트랜지스터와 R의 포토다이오드에 대응하는 전송 트랜지스터에 행방향으로 교대로 접속되어 있다.
이러한 회로 구성을 가지는 제2 실시형태에서는, 전송 제어신호선(Ty11)과 전송 제어신호선(Ty22)에 동시에 전송 트랜지스터로 전송 제어신호를 공급시킴으로써, 전송 트랜지스터(MT11, MT13 및 MT15)에 각각 동시에 포토다이오드로부터의 전하를 전송시킴과 함께 전송 트랜지스터(MT22, MT23 및 MT26)에 각각 동시에 포토다이오드로부터의 전하를 전송시킬 수 있다. 이에 의해, 각 단위회로(40)에서 Gr 및 Gb의 가산과 Gr 및 B의 가산을 행방향으로 교대로 실행시킬 수 있다. 또, 전송 제어신호선(Ty12)과 전송 제어신호선(Ty21)에 동시에 전송 트랜지스터로 전송 제어신호를 공급시킴으로써, 전송 트랜지스터(MT12, MT14 및 MT16)에 각각 동시에 포토다이오드로부터의 전하를 전송시킴과 함께 전송 트랜지스터(MT21, MT24 및 MT25)에 각각 동시에 포토다이오드로부터의 전하를 전송시킬 수 있다. 이에 의해, 각 단위회로(140)에서 R 및 B의 가산과 R 및 Gb의 가산을 행방향으로 교대로 실행시킬 수 있다.
즉, 도 8의 회로 구성에서, 전송 제어신호선(Ty11)과 전송 제어신호선(Ty22)에 동시에 전송 트랜지스터로 전송 제어신호를 공급시키는 것과 전송 제어신호선(Ty12)과 전송 제어신호선(Ty21)에 동시에 전송 제어신호를 전송 트랜지스터로 공급시키는 것을 조합하면, 가산 패턴(1X)과 가산 패턴(2V)을 행방향으로 교대로 반복하도록 화소 가산을 실행할 수 있다. 또 이와 마찬가지로, 전송 제어신호선(Ty31)과 전송 제어신호선(Ty32)에 동시에 전송 트랜지스터로 전송 제어신호를 공급시키는 것과 전송 제어신호선(Ty41)와 전송 제어신호선(Ty42)에 동시에 전송 제어신호를 전송 트랜지스터로 공급시키는 것을 조합하면, 가산 패턴(2H)과 가산 패턴(1X)을 행방향으로 교대로 반복하도록 화소 가산을 실행할 수 있다. 따라서, 도 8의 회로 구성도 도 5의 회로 구성과 마찬가지로, 도 2(c) 가산 패턴의 배치에 따른 가산 처리가 가능하다.
이 외, 전송 제어신호선(Ty11)과 전송 제어신호선(Ty21)에 동시에 전송 제어신호를 전송 트랜지스터로 공급시키는 것과 전송 제어신호선(Ty12)과 전송 제어신호선(Ty22)에 동시에 전송 제어신호를 전송 트랜지스터로 공급시키는 것을 조합하면, 가산 패턴(2V)과 가산 패턴(1X)을 행방향으로 교대로 반복하도록 화소 가산을 실행할 수 있다. 또, 전송 제어신호선(Ty31)과 전송 제어신호선(Ty42)에 동시에 전송 제어신호를 전송 트랜지스터로 공급시키는 것과 전송 제어신호선(Ty32)과 전송 제어신호선(Ty41)에 동시에 전송 제어신호를 전송 트랜지스터로 공급시키는 것을 조합하면, 가산 패턴(1X)과 가산 패턴(2H)을 행방향으로 교대로 반복하도록 화소 가산을 실행할 수 있다.
이상 설명한 제2 실시형태에 의하면, 단위회로(140)의 1행마다 4개의 전송 제어신호선이 설치되어 있다. 그리고, 4개의 전송 제어신호선 중 2개가 행방향에 관해, 인접하는 단위회로(140)끼리에서 교대로 교체하여 공용됨으로써, 도 2(c)에 대응하는 가산 처리를 실행할 수 있도록 구성되어 있다. 따라서, 도 2(c)에 대응하는 가산 처리가 도 5의 회로구성 개수 반의 전송 제어신호선으로 실행 가능하다. 따라서, 제2 실시형태는 예를 들면, 화소 사이즈의 소형화 요청에 따라 전송 제어신호선의 배선수에 제한이 있는 경우에 유효하다. 또, 제2 실시형태에서는, 상기에 서술한 가산 패턴의 배열을 여러 가지로 조합함으로써, 여러 가산 처리에 대응하는 것이 가능하다.
(제3의 실시형태)
이하, 본 발명에 관한 또 다른 실시형태인 제3 실시형태에 대해 도 9를 참조하면서 설명한다. 제3 실시형태에서 제1 실시형태와 다른 것은, 촬상소자가 홀수행을 출력하는 홀수 필드 출력과 짝수행을 출력하는 짝수 필드 출력을 교대로 반복하는 인터레이스 출력에 대응하고 있는 것이다. 그리고 제3의 실시형태에서는, 촬상소자에서 화소신호의 가산 패턴을 제1 실시형태와는 다른 배치로 함으로써, 촬상소자를 인터레이스 출력에 대응시키고 있다.
도 9(a) 및 도 9(f)는 제3 실시형태에서 도 2(c) 대신에 이용되는 화소신호를 가산할 때의 가산 패턴의 배치를 도시하고 있다. 도 9(a)는 홀수 필드 출력에 대응한 가산 패턴의 배치를 도시하고, 도 9(f)는 짝수 필드 출력에 대응한 가산 패턴의 배치를 도시하고 있다.
도 9(a)에 도시하는 가산 패턴의 배치에 따라 화소신호가 가산됨과 함께 그 가산 결과 중 G 및 Ye의 신호가 도 9(a)에 도시하는 배치로 배열되면, 도 9(b)에 도시하는 디지털 화상신호가 생성된다. 또, 도 9(a)에 도시하는 가산 패턴의 배치에 따라 화소신호가 가산됨과 함께 그 가산 결과 중 Mg 및 Cy의 신호가 도 9(a)에 도시하는 배치로 배열되면, 도 9(c)에 도시하는 디지털 화상신호가 생성된다. 그리고, 도 9(b)에 도시하는 디지털 화상신호에서, 파선으로 둘러싸인 열방향으로 같은 색의 화소신호가 가산됨으로써 도 9(d)에 도시하는 화상 신호가 홀수행마다 출력된다. 또, 도 9(c)에 도시하는 디지털 화상신호에서, 파선에 둘러싸인 열방향으로 같은 색의 화소신호가 가산됨으로써 도 9(e)에 도시하는 화상 신호가 홀수행마다 출력된다.
한편, 도 9(f)에 도시하는 가산 패턴의 배치에 따라 화소신호가 가산됨과 함께 그 가산 결과 중 G 및 Ye의 신호가 도 9(f)에 도시하는 배치로 배열되면, 도 9(g)에 도시하는 디지털 화상신호가 생성된다. 또, 도 9(f)에 도시하는 가산 패턴의 배치에 따라 화소신호가 가산됨과 함께 그 가산 결과 중 Mg 및 Cy의 신호가 도 9(f)에 도시하는 배치로 배열되면, 도 9(h)에 도시하는 디지털 화상신호가 생성된다. 그리고, 도 9(g)에 도시하는 디지털 화상신호에서, 파선으로 둘러싸인 열방향으로 같은 색의 화소신호가 가산됨으로써 도 9(i)에 도시하는 화상 신호가 짝수행마다 출력된다. 또, 도 9(h)에 도시하는 디지털 화상신호에서, 파선으로 둘러싸인 열방향으로 같은 색의 화소신호가 가산됨으로써 도 9(j)에 도시하는 화상 신호가 짝수행마다 출력된다.
제3 실시형태에 의하면, 도 9(d), 도 9(e), 도 9(i) 및 도 9(j)에 도시하는 바와 같이, 2면 보색 베이어의 디지털 화상신호가 홀수행과 짝수행으로 나누어 촬상소자로부터 출력되므로, 인터레이스 출력에 대응하는 것이 가능하다.
(제4 실시형태)
이하, 본 발명에 관한 또 다른 실시형태인 제4 실시형태에 대해 도 10(a) 및 도 10(b)을 참조하면서 설명한다. 제4 실시형태에서 제1 실시형태와 다른 것은, 촬상소자에서의 화소신호의 가산 패턴의 배치이다. 제1 실시형태에서는 가산 패턴(1X, 2V 및 2H)이 모두 포함된 배치인데 대해, 제4 실시형태에서는 가산 패턴(1X)과 가산 패턴(2V)만이 배치되어 있다. 가산 패턴(1X)과 가산 패턴(2V)은 도 10(a)에 도시하는 바와 같이, 행방향 및 열방향 각각에 교대로 배치되어 있다. 혹은 제4 실시형태에서는 도 10(b)에 도시하는 바와 같이, 가산 패턴(1X)과 가산 패턴(2H)만이 행방향 및 열방향 각각에 교대로 배치되어도 된다.
상기와 같이 도 10(a)에 따라 가산 처리가 실행된 경우, 각 가산 패턴(2V)으로부터는 Ye의 화소신호와 Cy의 화소신호가 생성된다. 또, 도 10(b)에 따라 가산 처리가 실행된 경우, 각 가산 패턴(2H)으로부터는 Ye의 화소신호와 Cy의 화소신호가 생성된다. 이 때문에, 제4 실시형태에 의하면, 도 10(a) 및 도 10(b) 중 어느 가산 패턴을 사용한 경우에서나 제1 실시형태의 2면 보색 베이어와 같은 색배열의 디지털 화상신호를 생성할 수 있다.
(제5 실시형태)
이하, 본 발명에 관한 또 다른 실시형태인 제5 실시형태에 대해 도 10(c) 및 도 10(d)을 참조하면서 설명한다. 제5 실시형태에서 제1 실시형태와 다른 것은, 촬상소자(20)에서 서로 다른 2개의 가산 처리를 프레임마다 교대로 반복하는 것이다. 도 10(c)은 n(n:자연수) 프레임째의 가산 처리(제1 가산 처리)에 대응하는 가산 패턴의 배치를 도시하고, 도 10(d)은 n+1 프레임째의 가산 처리(제2 가산 처리)에 대응하는 가산 패턴의 배치를 도시하고 있다. 도 10(c)의 배치는 도 2(c)의 배치와 같고, 도 10(d)의 배치는 도 10(c)에서 가산 패턴(2V)과 가산 패턴(2H)을 반대로 한 것에 상당한다. 이 제5 실시형태에서는, n 프레임째의 색차신호(C2)와 n+1 프레임째의 색차신호(C2)가 가산되어 평균됨으로써, 보간 후의 색차신호(C2)에서 가짜 색이 발생하지 않게 된다. 그 이유는 이하와 같다.
색차신호(C2)에 발생하는 가짜 색은, 촬상소자의 샘플링 주파수를 Fs라 하면, (1)휘도 변화의 방향(세로 줄무늬 또는 가로 줄무늬)과 가산의 방향(행방향 또는 열방향)이 동일하고, (2)휘도 변화의 주기가 1/4Fs이고, 또한 (3)위상이 90° 어긋나 있을 때 최대가 된다. 일례로, 도 11(a)에 도시하는 바와 같은 세로 줄무늬가 나타났다고 한다. 도 10(c)의 가산 처리를 실행한 경우, 상기 (1)~(3)을 만족하는, 가짜 색이 최대가 되는 화소가 색차신호(C2)에서 발생한다. 즉, C2=Ye-Cy=(R+Gb)-(B+Gr)이므로, 도 11(a)에 도시하는 휘도 변화에서는 가산 패턴(2V)의 개소에서 색차신호(C2)에서의 가짜 색의 평가치가 (0+0)-(1+1)=-2가 된다. 한편, 가산 패턴(2H)의 개소에서는 휘도 변화의 방향과 가산 방향이 직교하고 있어, 가짜 색의 평가치는 (1+0)-(0+1)=0되므로, 가짜 색의 발생은 없다.
그리고, 도 10(d)의 가산 처리를 실행한 경우에는, 도 10(c)의 가산 처리에 비해 가산 패턴(2V)의 위치와 가산 패턴(2H)의 위치가 교체되므로, 가산 패턴(2V)의 개소에서는 가짜 색의 평가치는 (1+1)-(0+0)=2가 된다. 한편, 가산 패턴(2H)의 개소에서는 (1+0)-(0+1)=0이 된다.
따라서, 도 10(c)에 도시하는 프레임 n의 가산 처리로부터 얻어지는 색차신호(C2)에는, 도11(b)의 배치도(51)에 도시하는 배치에서 가짜 색이 나타난다. 또, 도 10(d)에 도시하는 프레임 n+1의 가산 처리로부터 얻어지는 색차신호(C2)에서는, 도 11(b)의 배치도(52)에 도시하는 배치에서 가짜 색이 나타난다. 그리고, 프레임 n의 색차신호(C2)에 그대로 로패스 필터를 곱하면, 배치도(54)에 도시하는 바와 같이 각 화소에 가짜 색 -1이 나타난다. 또, 프레임 n+1의 색차신호(C2)에 그대로 로패스 필터를 곱하면, 배치도(56)에 도시하는 바와 같이 각 화소에 가짜 색 +1이 나타난다. 배치도(54)와 배치도(56)에 도시하는 바와 같이, 프레임 n와 프레임 n+1에서는 가짜 색의 위상이 180° 반전한다. 그래서, n 프레임과 n+1 프레임과의 평균을 얻으면, 배치도(53)에 도시되는 바와 같이 가짜 색이 배치된다. 그리고, 또 그 평균 결과에 로패스 필터를 곱하면, 배치도(55)에 도시하는 바와 같이 각 화소에 나타나는 가짜 색이 평균화되어 모두 0이 된다. 이와 같이, 도 10(c)의 가산 처리에 의한 n 프레임째의 색차신호(C2)와 도 10(d)의 가산 처리에 의한 n+1 프레임째의 색차신호(C2)가 가산되어 평균됨으로써, 보간 후의 색차신호(C2)에서 가짜 색이 발생하지 않게 된다.
(변형 예)
이하, 상술한 제1~제5 실시형태에 관한 변형 예에 대해 설명한다.
[1]상술한 제1 실시형태에서는, 광전변환 소자(21)로부터의 전하를 전송하는 신호전송부(22)를 제어하는 전송제어부(23)가 촬상소자(20) 내에 설치되어 있다. 그러나, 이 전송제어부(23)가 촬상소자(20)를 구동하는 구동장치로서 촬상소자(20)와는 독립적으로 설치되어도 된다. 예를 들면, 촬상소자(20)에 전송 제어신호선과 접속된 외부 단자가 설치되어 있고, 이 외부 단자를 통해 상기의 구동장치가 각 전송 제어신호선과 접속된다. 그리고, 이 구동장치가 제1 실시형태의 전송제어부(23)와 마찬가지로 전송 제어신호선을 통해 전송 트랜지스터를 구동함으로써, 촬상소자(20)로부터 2면 보색 베이어를 출력시키도록 구성되어 있어도 된다. 이 경우, 전송 제어신호선이 각 광전변환 소자(21)로부터의 출력신호를 가산하여 2면 보색 베이어를 출력할 수 있도록 배선되어 있으면, 기존 화소 구성의 촬상소자가 이용되어도 된다.
[2]상술한 제1~제5 실시형태에서는, 촬상소자 내에서 화소를 가산하는 구성이 채용되어 있다. 그러나, 본 발명은 촬상소자로부터 출력된 R, G 및 B의 각 색으로 이루어지는 베이어 배열의 화소신호를 가산함으로써, 화상 처리에 의해 2면 보색 베이어를 생성하는 화상처리장치로서 실현되어도 된다. 이 경우, 촬상소자로서는 R, G 및 B의 각 색으로 이루어지는 베이어 배열의 화소신호를 출력하는 종래의 촬상소자가 이용되어도 된다. 이 화상처리장치는 촬상소자로부터의 화상 신호에서, 베이어 배열의 단위 격자마다 2개의 화소신호끼리를 샘플링함과 함께 샘플링한 화소를 가산함으로써 2면 보색 베이어를 생성한다. 이 때문에, 이 화상처리장치에서는 화소를 가산할 때의 샘플링 개수가 한정되어 있어, 샘플링수 많은 종래 기술에 비해 1프레임당 샘플링 화소의 판독에 필요한 처리량이나 화소를 가산하는 처리량이 적다. 따라서, 예를 들면 종래와 같은 프레임 레이트로 화상이 처리되는 경우에는, 단위시간당 처리량이 적기 때문에 소비 전력이 저감된다. 또, 단위시간당 처리량이 종래의 경우와 같은 경우에는, 프레임 레이트를 증가시킬 수 있다.
또, 이 화상처리장치에서는 제1 실시형태와 마찬가지로, 화소수를 감소시키는데 화소 가산을 이용하고 있음과 함께 2면 보색 베이어의 화소를 가산하여 휘도신호(Y)를 생성하기 때문에, 감도가 향상한다. 또, 휘도신호(Y)를 생성할 때에 화소를 보간할 필요가 없기 때문에, 고해상도 휘도 성분이 생성된다.
[3]상술한 제1~제5 실시형태에서는, 2면 보색 베이어로서 G의 신호 및 Ye의 신호로 이루어지는 디지털 화상신호와 Mg의 신호 및 Cy의 신호로 이루어지는 디지털 화상신호가 촬상소자로부터 출력된다. 그러나, 촬상소자에서 화소가 가산된 결과가 상기와는 다른 색의 조합으로 출력되어도 된다. 즉, 2면 보색 베이어로서 G의 신호 및 Cy의 신호로 이루어지는 디지털 화상신호와 Mg의 신호 및 Ye의 신호로 이루어지는 디지털 화상신호가 촬상소자로부터 출력되어도 된다.
[4]상술한 제1 실시형태에서는, 가로 4000 픽셀이고 세로 3000 픽셀의 촬상소자로부터 가로 1920 픽셀이고 세로 1080 픽셀의 HD 동화상용 2면 보색 베이어가 출력된다. 그러나, 가로 2592 픽셀이고 세로 1944 픽셀의 촬상소자로부터 가로 1280 픽셀이고 가로 720 픽셀의 HD 동화상용 2면 보색 베이어가 출력되어도 된다. 이 경우, 촬상소자에서 가로 2560 픽셀이고 세로 1440 픽셀 분의 광전변환 소자로부터 출력된 화소가 제1 실시형태와 동일하게 가산되어, 가로세로 각각 1/2로 된 2면 보색 베이어가 출력되면 된다.
[5]상술한 제1 실시형태에서는, 화상처리부(30)에서 도 4에 도시하는 화상 처리가 이루어지고 있다. 그러나, 도 4에 도시하는 화상 처리가 촬상소자(20)에서 이루어져도 된다. 즉, 촬상소자(20)에서 2면 보색 베이어로부터 각 화소에 대해 R, G 및 B의 3색이 결정된 화상 데이터가 생성되어도 된다. 그리고, 촬상소자(20)에서 각 화소에 대해 R, G 및 B의 3색이 결정된 화상 데이터가 또 로패스 필터를 이용하여 다운 샘플링됨으로써, R, G 및 B의 3색으로 이루어지는 베이어 배열이 생성되어도 된다. 여기서, 각 화소에 대해 R, G 및 B의 3색이 결정된 2행 2열의 화상 데이터로부터는 R, G 및 B의 3색으로 이루어지는 2행 2열의 베이어 배열의 화상 데이터가 생성된다. 이에 의하면, 광전변환 소자(21)로부터 출력된 R, G 및 B의 베이어 배열의 화상 신호로부터 가로세로 각각 1/2이 된 R, G 및 B의 베이어 배열의 화상 데이터가 생성되고, 그 베이어 배열의 화상 데이터가 촬상소자(20)로부터 출력되게 된다.
이 변형 예에 의하면, 촬상소자(20)의 후단에서 촬상소자(20)로부터 출력된 베이어 배열의 화상 데이터에 보간 처리를 실시함으로써, 각 화소에 대해 R, G 및 B가 결정된 화상 데이터를 생성할 필요가 있다. 그러나, 촬상소자(20)로부터는 종래 대로의 배열인 베이어 배열의 화상 데이터가 출력되기 때문에, 촬상소자(20)의 후단에서 화상 데이터를 보간하는 신호 처리는 기존의 처리가 유용되면 된다. 또한 촬상소자(20) 후단의 신호 처리에 따라서는, 휘도신호의 고주파 성분이 열화되거나 가짜 색이 발생하거나 할 가능성이 있다.
이 변형 예에서 이용되는 로패스 필터는, 기존 촬상계의 구성으로 말하면 광학 로패스 필터에 상당한다. 이 디지털 필터의 계수를 바꿈으로서, 촬상소자(20)로부터 출력되는 베이어 화상의 특성을 제어할 수 있다. 상술한 대로, 도 4의 화상 처리에서 생성되는 휘도신호(Y)와 색차신호(C1 및 C2)는, 각각의 샘플링의 중심 위치가 행방향 및 열방향으로 등간격이 되며, 또한 행방향의 피치와 열방향의 피치가 동일해진다. 그리고, 휘도신호(Y)와 색차신호(C1 및 C2)로부터 생성되는 각 화소에 대해 R, G 및 B의 3색이 결정된 화상 데이터에 관해서도 마찬가지이다. 따라서, 이 화상 데이터로부터 생성되는 베이어 배열의 화상 데이터에 관해서도, 그 샘플링의 중심 위치가 균등하게 배치된다. 이 때문에, 본 변형 예에 의하면, 이른바 2×2 비닝과 비교해서 고화질 화상을 생성할 수 있다.
이상은, 본 발명의 매우 적합한 실시형태에 대한 설명이지만, 본 발명은 상술한 실시형태에 한정되는 것이 아니라 과제를 해결하기 위한 수단에 기재된 범위 한에서 다양한 변경이 가능한 것이다.
<산업상 이용가능성>
촬상소자로부터 화소수를 줄인 화상 신호를 출력시키는 용도에 적용할 수 있다.
Y : 휘도신호 C1·C2 : 색차신호
1 : 촬상장치 1X·2H·2V : 가산 패턴
10 : 촬상광학계 20 : 촬상소자
21 : 광전변환 소자 22 : 신호전송부
23 : 전송제어부 26 : CDS부
27 : AGC부 28 : ADC부
30 : 화상처리부 31 : 휘도신호생성부
32 : 색차신호생성부 33 : 색보간부
34 : 신호생성부

Claims (18)

  1. R(빨강), G(초록) 및 B(파랑) 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열된 복수의 컬러 필터와,
    상기 컬러 필터를 투과한 광의 강도에 따른 아날로그 신호를 출력하는 상기 컬러 필터마다 설치된 광전변환 소자와,
    상기 단위 격자마다 4개의 상기 컬러 필터 중 다른 색의 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산함과 함께 나머지 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산하고, 각각의 가산 결과에 따른 아날로그 신호를 출력하는 신호가산회로와,
    상기 신호가산회로로부터의 출력신호를 디지털 신호로 변환하여 출력하는 A/D변환부를 구비하고,
    상기 신호가산회로로부터의 출력신호를 토대로 Ye(노랑) 및 Cy(시안) 중 어느 1색과 G가 교대로 나열된 제1 디지털 화상신호와, Ye 및 Cy 중 상기 1색과는 다른 1색과 Mg(마젠타)가 교대로 나열된 제2 디지털 화상신호를 출력하는 것을 특징으로 하는 촬상소자.
  2. 청구항 1에 있어서,
    상기 신호가산회로가 상기 단위 격자마다 서로 다른 제1 내지 제3 패턴 중 어느 하나로 상기 광전변환 소자로부터의 출력신호를 가산하고,
    상기 제1 패턴이 상기 단위 격자 내에서 2개의 G의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산함과 함께 R 및 B의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산하는 패턴이며,
    상기 제2 패턴이 상기 단위 격자 내에서 행방향으로 나열된 G 및 R의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산함과 함께 행방향으로 나열된 B 및 G의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산하는 패턴이며,
    상기 제3 패턴이 상기 단위 격자 내에서 열방향으로 나열된 G 및 B의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산함과 함께 열방향으로 나열된 R 및 G의 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호를 가산하는 패턴인 것을 특징으로 하는 촬상소자.
  3. 청구항 2에 있어서,
    상기 신호가산회로가 행방향에 관해 상기 제1 및 제3 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제2 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하는 것을 특징으로 하는 촬상소자.
  4. 청구항 2에 있어서,
    상기 신호가산회로가 행방향에 관해 상기 제1 및 제2 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제2 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하는 것을 특징으로 하는 촬상소자.
  5. 청구항 2에 있어서,
    상기 신호가산회로가 행방향에 관해 상기 제1 및 제3 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제3 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하는 것을 특징으로 하는 촬상소자.
  6. 청구항 2에 있어서,
    상기 신호가산회로가 상기 제1 내지 제3 패턴의 나열방법이 다른 제1 및 제2 가산 처리를 프레임마다 교대로 반복하고,
    상기 제1 가산 처리가,
    행방향에 관해 상기 제1 및 제3 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제2 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하는 처리이며,
    상기 제2 가산 처리가,
    행방향에 관해 상기 제1 및 제2 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제3 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하는 처리인 것을 특징으로 하는 촬상소자.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    상기 신호가산회로가,
    상기 광전변환 소자가 발생시킨 전하를 전송하는 상기 광전변환 소자마다 설치된 전송 트랜지스터를 갖고, 1개의 상기 단위 격자에 대응하는 4개의 상기 전송 트랜지스터에 관해 공유된 플로팅 디퓨전에 대해 2개의 상기 전송 트랜지스터로부터 동시에 전하를 전송시키는 것을 특징으로 하는 촬상소자.
  8. 청구항 7에 있어서,
    상기 전송 트랜지스터에 전송 제어신호를 송신하는 전송 제어신호선이 상기 단위 격자의 1행마다 8개 설치되고,
    행방향으로 1개 걸러 인접하는 복수의 상기 단위 격자끼리에서, 상기 8개의 전송 제어신호선 중 4개가 각 단위 격자에서의 4개의 상기 전송 트랜지스터용으로서 공용되고 있는 것을 특징으로 하는 촬상소자.
  9. 청구항 7에 있어서,
    상기 전송 트랜지스터에 전송 제어신호를 송신하는 전송 제어신호선이 상기 단위 격자의 1행마다 4개 설치되고,
    행방향으로 인접하는 2개의 상기 단위 격자까리에서, 상기 4개의 전송 제어신호선이 그 중 2개를 교체하여 공용되고 있는 것을 특징으로 하는 촬상소자.
  10. 청구항 2에 있어서,
    홀수행을 출력하는 홀수 필드 출력과 짝수행을 출력하는 짝수 필드 출력을 교대로 반복하는 인터레이스 출력에 대응한 촬상소자로서,
    상기 신호가산회로가,
    행방향에 관해 상기 제1 및 제3 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제1 및 제2 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하고, 그 후에 열방향으로 인접하는 같은 색의 신호를 가산한 신호를 홀수 필드 출력으로서 출력하고,
    행방향에 관해 상기 제3 및 제1 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것 및 행방향에 관해 상기 제1 및 제2 패턴을 교대로 반복하여 상기 단위 격자마다 상기 광전변환 소자로부터의 출력신호를 가산하는 것을 열방향에 관해 교대로 반복하고, 그 후에 열방향으로 인접하는 같은 색의 신호를 가산한 신호를 짝수 필드 출력으로서 출력하는 것을 특징으로 하는 촬상소자.
  11. R(빨강), G(초록) 및 B(파랑) 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열된 복수의 컬러 필터와, 상기 컬러 필터를 투과한 광의 강도에 따른 아날로그 신호를 출력하는 상기 컬러 필터마다 설치된 광전변환 소자와, 상기 광전변환 소자로부터의 출력신호끼리를 가산하고, 그 가산 결과에 따른 아날로그 신호를 출력하는 신호가산회로와, 상기 신호가산회로로부터의 출력신호를 디지털 신호로 변환하여 출력하는 A/D변환부를 구비하고 있는 촬상소자를 구동하는 구동장치로서,
    상기 신호가산회로로부터의 출력신호가 상기 단위 격자마다 4개의 상기 컬러 필터 중 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산함과 함께 나머지 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산한 결과가 되도록 상기 신호가산회로를 제어하고,
    상기 신호가산회로로부터의 출력신호를 토대로 Ye(노랑) 및 Cy(시안) 중 어느 1색과 G가 교대로 나열된 제1 디지털 화상신호와, Ye 및 Cy 중 상기 1색과는 다른 1색과 Mg(마젠타)가 교대로 나열된 제2 디지털 화상신호를 상기 촬상소자로부터 출력시키는 것을 특징으로 하는 촬상소자의 구동장치.
  12. R(빨강), G(초록) 및 B(파랑) 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열된 복수의 컬러 필터와, 상기 컬러 필터를 투과한 광의 강도에 따른 아날로그 신호를 출력하는 상기 컬러 필터마다 설치된 광전변환 소자와, 상기 광전변환 소자로부터의 출력신호끼리를 가산하고, 그 가산 결과에 따른 아날로그 신호를 출력하는 신호가산회로와, 상기 신호가산회로로부터의 출력신호를 디지털 신호로 변환하여 출력하는 A/D변환부를 구비하고 있는 촬상소자를 구동하는 구동방법으로서,
    상기 신호가산회로로부터의 출력신호가 상기 단위 격자마다 4개의 상기 컬러 필터 중 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산함과 함께 나머지 2개의 상기 컬러 필터에 대응하는 2개의 상기 광전변환 소자로부터의 출력신호끼리를 가산한 결과가 되도록 상기 신호가산회로를 제어하고,
    상기 신호가산회로로부터의 출력신호를 토대로 Ye(노랑) 및 Cy(시안) 중 어느 1색과 G가 교대로 나열된 제1 디지털 화상신호와, Ye 및 Cy 중 상기 1색과는 다른 1색과 Mg(마젠타)가 교대로 나열된 제2 디지털 화상신호를 상기 촬상소자로부터 출력시키는 것을 특징으로 하는 촬상소자의 구동방법.
  13. 청구항 1 내지 청구항 10 중 어느 한 항에 기재한 촬상소자로부터의 출력된 상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 가산하여 휘도신호를 생성하는 휘도신호생성수단과,
    상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 감산하여 색차신호를 생성하는 색차신호생성수단과,
    상기 휘도신호생성수단이 생성한 휘도신호와 상기 색차신호생성수단이 생성한 색차신호로부터 1화소마다 R, G 및 B 3색의 성분이 결정된 화상 데이터를 생성하는 화상데이터생성수단을 구비하고 있는 것을 특징으로 하는 화상처리장치.
  14. 청구항 13에 있어서,
    상기 색차신호생성수단이,
    상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 감산한 결과를 로패스 필터를 이용하여 보간함으로써, 상기 색차신호를 생성하는 것을 특징으로 하는 화상처리장치.
  15. R(빨강), G(초록) 및 B(파랑) 3원색으로 이루어지는 2행 2열의 단위 격자가 나열된 베이어(Bayer) 배열로 배열된 복수의 컬러 필터와,
    상기 컬러 필터를 투과한 광의 강도를 나타내는 화소신호를 상기 컬러 필터마다 생성하는 화소신호생성수단과,
    상기 단위 격자마다 4개의 상기 컬러 필터 중 2개의 상기 컬러 필터에 대응하는 2개의 상기 화소신호끼리를 가산함과 함께 나머지 2개의 상기 컬러 필터에 대응하는 2개의 상기 화소신호끼리를 가산하고, 각각의 가산 결과에 따른 신호를 출력하는 신호가산수단을 구비하고,
    상기 신호가산수단으로부터의 출력신호를 토대로 Ye(노랑) 및 Cy(시안) 중 어느 1색과 G가 교대로 나열된 제1 디지털 화상신호와, Ye 및 Cy 중 상기 1색과는 다른 1색과 Mg(마젠타)가 교대로 나열된 제2 디지털 화상신호를 생성하는 것을 특징으로 하는 화상처리장치.
  16. 청구항 1 내지 청구항 10 중 어느 한 항에 기재한 촬상소자로부터의 출력된 상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 가산하여 휘도신호를 생성하는 휘도신호생성 단계와,
    상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 감산하여 색차신호를 생성하는 색차신호생성 단계와,
    상기 휘도신호생성수단이 생성한 휘도신호와 상기 색차신호생성수단이 생성한 색차신호로부터 1화소마다 R, G 및 B 3색의 성분이 결정된 화상 데이터를 생성하는 화상데이터생성 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
  17. 청구항 16에 있어서,
    상기 색차신호생성 단계에서,
    상기 제1 및 제2 디지털 화상신호끼리로 각 화소의 신호를 감산한 결과를 로패스 필터를 이용하여 보간함으로써, 상기 색차신호를 생성하는 것을 특징으로 하는 프로그램.
  18. 피사체 상을 결상시키는 촬상광학계와,
    상기 촬상광학계가 결상시킨 피사체 상을 광전변환하여 출력하는 청구항 1 내지 청구항 10 중 어느 한 항에 기재한 촬상소자와,
    상기 촬상소자로부터 출력된 출력신호에 대해 소정의 화상 처리를 가하여 상기 피사체 상을 재현하는 화상처리장치를 구비하고 있는 것을 특징으로 하는 촬상장치.
KR1020117023275A 2009-11-16 2010-09-10 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치 KR101136222B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009261180A JP4547462B1 (ja) 2009-11-16 2009-11-16 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
JPJP-P-2009-261180 2009-11-16
PCT/JP2010/065592 WO2011058814A1 (ja) 2009-11-16 2010-09-10 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置

Publications (2)

Publication Number Publication Date
KR20110117268A true KR20110117268A (ko) 2011-10-26
KR101136222B1 KR101136222B1 (ko) 2012-04-17

Family

ID=42978689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117023275A KR101136222B1 (ko) 2009-11-16 2010-09-10 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치

Country Status (5)

Country Link
US (1) US8384807B2 (ko)
JP (1) JP4547462B1 (ko)
KR (1) KR101136222B1 (ko)
CN (1) CN102396234B (ko)
WO (1) WO2011058814A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005115820A1 (de) 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
JP4825311B1 (ja) * 2010-09-09 2011-11-30 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置
JP4988075B1 (ja) * 2010-12-16 2012-08-01 パナソニック株式会社 撮像装置及び画像処理装置
WO2012174752A1 (zh) * 2011-06-24 2012-12-27 博立码杰通讯(深圳)有限公司 多景深感光器件、系统、景深扩展方法及光学成像系统
WO2013145753A1 (ja) 2012-03-30 2013-10-03 株式会社ニコン 撮像素子および撮像装置
JP6014349B2 (ja) * 2012-04-10 2016-10-25 キヤノン株式会社 撮像装置、制御方法、及びプログラム
EP2879919B1 (de) * 2012-08-06 2018-06-20 Conti Temic microelectronic GmbH Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
JP6136669B2 (ja) * 2013-07-08 2017-05-31 株式会社ニコン 撮像装置
JP6368993B2 (ja) * 2013-07-24 2018-08-08 株式会社ニコン 撮像装置
JP6274788B2 (ja) * 2013-08-28 2018-02-07 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
WO2015045375A1 (ja) * 2013-09-26 2015-04-02 株式会社ニコン 撮像素子および撮像装置
JP6118695B2 (ja) * 2013-09-27 2017-04-19 富士フイルム株式会社 電子内視鏡装置
CN104503452B (zh) * 2014-12-08 2017-06-16 重庆南方数控设备有限责任公司 一种用于爬树机器人的电机驱动电路
TWI696278B (zh) * 2015-03-31 2020-06-11 日商新力股份有限公司 影像感測器、攝像裝置及電子機器
WO2018087806A1 (ja) * 2016-11-08 2018-05-17 日本電気株式会社 画像処理方法、画像処理装置および画像処理プログラム
KR102672594B1 (ko) * 2017-01-23 2024-06-07 삼성전자주식회사 이미지 센서 및 이를 포함한 전자 장치
JP2019036925A (ja) 2017-08-21 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6992714B1 (en) 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
JP3501694B2 (ja) * 1999-07-21 2004-03-02 キヤノン株式会社 撮像装置及びそれを用いた撮像システム
JP4190805B2 (ja) * 2002-06-12 2008-12-03 オリンパス株式会社 撮像装置
EP1558023A2 (en) * 2004-01-21 2005-07-27 Matsushita Electric Industrial Co., Ltd. Solid state imaging device and driving method thereof
KR100871688B1 (ko) 2004-02-27 2008-12-08 삼성전자주식회사 고체 촬상 장치 및 그 구동 방법
JP2005269303A (ja) * 2004-03-19 2005-09-29 Fuji Photo Film Co Ltd 画像処理装置、画像処理プログラム、及び固体撮像素子
US7376288B2 (en) * 2004-05-20 2008-05-20 Micronas Usa, Inc. Edge adaptive demosaic system and method
JP2006109046A (ja) * 2004-10-05 2006-04-20 Konica Minolta Photo Imaging Inc 撮像装置
JP4293174B2 (ja) * 2005-09-28 2009-07-08 ソニー株式会社 撮像装置および画像処理装置
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP4377428B2 (ja) 2007-12-12 2009-12-02 アキュートロジック株式会社 固体撮像素子及びそれを用いた撮像装置
JP5026951B2 (ja) 2007-12-26 2012-09-19 オリンパスイメージング株式会社 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子

Also Published As

Publication number Publication date
JP4547462B1 (ja) 2010-09-22
US20120038801A1 (en) 2012-02-16
JP2011109335A (ja) 2011-06-02
KR101136222B1 (ko) 2012-04-17
WO2011058814A1 (ja) 2011-05-19
US8384807B2 (en) 2013-02-26
CN102396234A (zh) 2012-03-28
CN102396234B (zh) 2014-03-19

Similar Documents

Publication Publication Date Title
KR101136222B1 (ko) 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치
US9942482B2 (en) Image sensor with transfer gate control signal lines
US10638065B2 (en) Image pickup device and method enabling control of spectral sensitivity and exposure time
US9438839B2 (en) Solid state imaging apparatus and imaging system using the same
US8023018B2 (en) Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
KR20100066396A (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
US8111298B2 (en) Imaging circuit and image pickup device
US8786738B2 (en) Image sensing apparatus and method of controlling operation of same
JP2007129581A (ja) 撮像装置及び撮像システム
KR20050031911A (ko) 촬상 장치
JP2010268354A (ja) イメージセンサ及びそのイメージセンサを備える撮像装置
JP4825311B1 (ja) 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置
JP5066476B2 (ja) 撮像装置
JP2006246337A (ja) 固体撮像素子およびその信号読出し方法
JP4778079B2 (ja) 固体撮像装置
JP2009141579A (ja) 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置
JP2009201139A (ja) 固体撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee