KR20050054836A - 고체 촬상 소자 및 화상 신호 처리 장치 - Google Patents

고체 촬상 소자 및 화상 신호 처리 장치 Download PDF

Info

Publication number
KR20050054836A
KR20050054836A KR1020040100788A KR20040100788A KR20050054836A KR 20050054836 A KR20050054836 A KR 20050054836A KR 1020040100788 A KR1020040100788 A KR 1020040100788A KR 20040100788 A KR20040100788 A KR 20040100788A KR 20050054836 A KR20050054836 A KR 20050054836A
Authority
KR
South Korea
Prior art keywords
color
column
image signal
light
partial
Prior art date
Application number
KR1020040100788A
Other languages
English (en)
Other versions
KR100611701B1 (ko
Inventor
마쯔야마히사시
Original Assignee
산요덴키가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 산요덴키가부시키가이샤 filed Critical 산요덴키가부시키가이샤
Publication of KR20050054836A publication Critical patent/KR20050054836A/ko
Application granted granted Critical
Publication of KR100611701B1 publication Critical patent/KR100611701B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

모자이크 필터를 장착한 CCD 이미지 센서로써 복수 행 가산된 합성 신호로부터 색 성분을 분리하는 경우에, 수직 해상도가 열화한다. 이미지 센서에 장착하는 컬러 필터를, 홀수열에 G, B가 교대로 배열되고, 짝수열에 R, G가 교대로 배열되고, 또한 인접하는 홀수열끼리, 짝수열끼리 서로의 배열 주기가 열 방향으로 1 화소 어긋나는 배열로 한다. 화상 신호 처리 장치는 이미지 센서로써 3행씩 가산된 합성 화상 신호의 동일 행(제a행) 위에서 2열 어긋난 데이터 D(a, b), D(a, b+2)를 추출한다. D(a, b)는 2 화소분의 색 Cx, 1 화소분의 색 Cy, D(a, b+2)는 1 화소분의 색 Cx, 2 화소분의 색 Cy를 성분으로 한다. 샘플링점 P(a, b)에서의 색 성분값 〈Cx〉 〈Cy〉를 〈Cx〉=[2D(a, b)-D(a, b+2)]/3, 〈Cy〉=〔2D(a, b+2)-D(a, b)〕/3에 의해 구한다.

Description

고체 촬상 소자 및 화상 신호 처리 장치{SOLID STATE IMAGING DEVICE AND IMAGE SIGNAL PROCESSING APPARATUS}
본 발명은 색 감도 특성이 서로 다른 화소가 모자이크 형상으로 배열된 고체 촬상 소자 및 그 고체 촬상 소자의 출력 화상 신호를 처리하는 화상 신호 처리 장치에 관한 것으로, 특히 복수 행의 가산 합성에 의해 열 방향으로 압축된 화상을 얻을 때에 이용되어, 가산 합성으로써 색이 혼합된 화상 신호에 기초하여, 색 성분마다의 화상 신호를 생성하는 기술에 관한 것이다.
디지털 카메라나 그 밖의 카메라 기능이 부가된 휴대 단말기 등에서, 탑재되는 고체 촬상 소자의 화소수의 향상이 진행되고 있다. 이들 기기는, 촬상하려고 하는 화상을 표시부에서 프리뷰하는 기능을 갖고 있다. 또한, 정지 화상의 촬영뿐만 아니라 동화상 촬영도 할 수 있는 것도 있다.
프리뷰 동작이나 동화상 촬영에서는, 비교적 단시간의 프레임레이트로 반복하여 화상을 처리하여 표시하거나 기록하는 것이 요구된다. 그러나, 고해상도의 CCD 이미지 센서로부터 각 화소의 정보를 높은 프레임레이트로 판독하는 것은, 특히 수평 시프트 레지스터의 전송 클럭 주파수가 높아져, 수평 시프트 레지스터에서의 전송 효율의 열화나 발열 및 소비 전력의 증대 등과 같은 문제를 발생시키기 때문에 용이하지 않다.
한편, 고체 촬상 소자의 화소수는, 프리뷰용 모니터의 화소수에 비하여 매우 많다. 그 때문에, 메모리 등의 기록 매체에 화상을 기록할 때에는, 고체 촬상 소자의 화소수에 따른 고해상도의 화상을 촬영하지만, 프리뷰 시에는 프리뷰 모니터의 화소수에 따른 저해상도에서의 촬영으로 충분한 경우가 있다. 또한, 동화상은 사람의 시각 특성 상, 정지 화상 정도의 해상도를 필요로 하지 않고, 오히려 기록 데이터량을 억제하는 의미에서도 정지 화상에 비하여 저해상도에서의 촬영이 선택되는 경우도 있다.
그 때문에, 종래부터, 프리뷰 시의 촬영이나 동화상 촬영에서, CCD 이미지 센서의 촬상부에 축적된 정보 전하를, 띄엄 띄엄 떨어져 있는 행에 대해서만 판독하거나, 복수 행을 가산 합성하여 판독함으로써, 열 방향(수직 방향)으로 해상도를 저하시킨 화상 신호를 출력시키는 것으로서, 1 화면당 수평 전송 횟수를 억제하는 것이 행해지고 있다.
그런데, 베이어형 필터와 같이 복수색이 열 방향으로 배열된 컬러 필터를 구비한 CCD 이미지 센서에서, 복수 행의 정보 전하를 열 방향으로 가산 합성하여 판독하는 경우, 서로 다른 색 감도 특성을 갖는 화소의 정보 전하가 혼합된다. 즉, CCD 이미지 센서로부터는, 복수의 색 성분이 서로 혼합된 화상 신호가 출력되게 된다.
도 5는 베이어형 컬러 필터의 배열을 도시하는 모식도이다. 이 베이어형 필터에서 복수 행을 가산 합성하여 얻어진 화상 신호로부터 각 색 성분을 분리하는 방법으로서, 종래 제안되어 있는 것을 설명한다. 도 5에서는 설명의 편의상, 행 번호 α를 수평 시프트 레지스터(수평 전송부) 근처로부터, 또한 열 번호 β를 수평 전송부의 출력단측으로부터 순서대로 붙이고 있다. 도 5에 도시한 베이어 배열의 컬러 필터는, 예를 들면 R(적), G(녹), B(청)의 3색으로 이루어지고, 행 번호 α및 열 번호 β에 의해 지정되는 수광 화소의 색(색 감도 특성) C(α, β)는, 예를 들면 다음과 같이 정해진다.
이 촬상부의 각 화소에 대응하여 축적된 정보 전하의 복수 행의 가산 합성은, 예를 들면 수평 시프트 레지스터로 구성되는 수평 전송부에서 행할 수 있다. 촬상부에서 얻어진 정보 전하는 인터라인 전송형 CCD 이미지 센서로서는 촬상부의 수직 시프트 레지스터로부터, 또한 프레임 전송형 CCD 이미지 센서로서는 축적부의 수직 시프트 레지스터로부터 행 단위로 순차적으로, 수평 전송부에 라인 전송된다. 이 라인 전송을 수평 시프트 레지스터의 구동을 정지시킨 그대로 복수회 행함으로써, 수평 시프트 레지스터에 복수 행의 정보 전하가 누적 가산되어, 복수 행의 가산 합성이 실현된다. 이 때, 수평 시프트 레지스터의 각 비트에는, 열 방향으로 연속하는 복수 화소로부터의 정보 전하를 합성한 전하가 축적되어 있고, 수평 시프트 레지스터를 수평 전송 구동하면, 그 합성된 정보 전하에 따른 신호가 1행의 화상 신호(합성 화상 신호)로서 출력부로부터 출력된다.
수학식 1에서 정의되는 필터 배열에서는, 행렬 배치된 수광 화소의 홀수열은, B, G, B, G, …와 같이, G 및 B로 이루어진 화소 세트가 반복하여 배치된다. 한편, 짝수열은, G, R, G, R, …과 같이, R 및 G로 이루어진 화소 세트가 반복하여 배치된다. 그 때문에, 복수 행을 가산 합성한 정보 전하에는, R 및 G, 또는 G 및 B의 성분이 포함된다. 이들을 분리 가능하게 하기 위해서, 가산 합성하는 행 수는 홀수 행, 예를 들면 3행으로 설정된다. 그 경우, CCD 이미지 센서로부터 출력되는 제a행의 합성 화상 신호(a≥1)는, 촬상부의 제(3a-2)∼3a행의 정보 전하가 합성되어 생성된 것으로 된다. 여기서, 가산 행 수를 홀수로 함으로써, CCD 이미지 센서로부터 출력되는 제a행 및 제(a+1)행의 합성 화상 신호 중, 동일한 열에 대응하는 신호값은, 동일한 색 종류가 혼합되고, 또한 그 혼합비가 서로 차이가 나게 된다. CCD 이미지 센서로부터의 출력 화상 신호를 받은 신호 처리 회로는 이것을 이용하여, 색 분리 처리를 행한다.
이하, CCD 이미지 센서의 촬상부의 제α행 제β열의 화소에 대응하는 신호값을, 해당 화소의 색 R, G, B 각각에 대응시켜 기호 R(α, β), G(α, β), B(α, β)로 나타내고, 또한 CCD 이미지 센서로부터 출력되는 제a행의 출력 화상 신호에서 촬상부 제b열에 대응하는 화상 신호값을 기호 D(a, b)로 나타낸다.
수학식 1에서 나타내는 도 5의 컬러 필터의 배열에서는, 3행 가산 합성하여 얻어지는 화상 신호값에는, 색 혼합 비율이 서로 다른 다음의 4 종류가 존재한다.
(여기에서, λ, μ는 자연수)
신호 처리 회로는, 프리뷰 시나 동화상 촬영 시에는, 수학식 2∼수학식 5에 의해 부여되는 혼색의 신호값에 기초하여, R, G, B 각 색 성분마다 분리된 화상 신호를 생성한다. 이 생성되는 화상 신호는, 복수 행의 가산 합성을 하지 않은 통상 동작 시보다 해상도가 낮고, 화상 내에 설정되는 샘플링점의 수직 방향의 배열 주기는, CCD 이미지 센서에서의 가산 합성되는 행 수에 따른 것으로 된다. 즉, 여기서는 샘플링점은 수직 방향에 관하여 3행마다 1개 배치된다.
신호 처리 회로는, 홀수열에 대해서는 수학식 2, 수학식 3을 이용하고, 또한 짝수열에 대해서는 수학식 4, 수학식 5를 이용하고, 각각 열 방향으로 연속하는 6 화소에 의해 얻어진 정보 전하에 기초하여, 그 6 화소로 이루어진 화소 영역의 위치에 대응한 샘플링점에서의 색 성분 신호값을 구한다.
이 색 분리 처리의 구체예로서, 홀수열 상의 연속 6 화소로 이루어진 화소 영역에 대한 처리를 설명한다. 수학식 2, 수학식 3의 표현에 맞추어서, 처리 대상의 화소 영역을 제(2μ-1)열의 제(6λ-5)∼6λ행에 위치하는 6 화소로 이루어진 영역으로 한다. 신호 처리 회로는 처리 대상의 화소 영역을 대표하는 샘플링점 P(2λ-1, 2μ-1)에서의 G 신호값 〈G〉(≡〈G(2λ-1, 2μ-1)〉)와 B 신호값 〈B〉(≡〈B(2λ-1, 2μ-1)〉)를 구한다. 이 때, 해당 화소 영역 내에서의 G, B 각각의 값을 일정값 〈G〉, 〈B〉로 간주하는 근사 하에서는, 수학식 2, 수학식 3은,
로 된다. 이들에 의해, 해당 화소 영역의 샘플링점에서의 신호값 〈G〉, 〈B〉는,
에 의해 부여된다. 신호 처리 회로는 수학식 8, 수학식 9를 계산하여 〈G〉, 〈B〉를 구한다.
짝수열(제2μ열)의 제(6λ-5)∼6λ행에 위치하는 6 화소로 이루어진 화소 영역에 대한 샘플링점 P(2λ-1, 2μ)에서의 R, G 각각의 신호값 〈R〉, 〈G〉는 수학식 4, 수학식 5에 기초하여 마찬가지로 하여 결정된다. 이와 같이 하여, 합성 화상 신호의 제(2λ-1)행과 제2λ행으로부터 열마다 신호값의 조 〈G〉 및 〈B〉, 또는 〈R〉 및 〈G〉가 구해진다.
또한 마찬가지로, 합성 화상 신호의 제2λ행과 제(2λ+1)행으로부터도 열마다 신호값의 조 〈G〉 및 〈B〉, 또는 〈R〉 및 〈G〉가 구해진다. 이와 같이 색 분리 처리에 이용하는 2행으로 이루어진 합성 화상 신호의 조를 1행씩 변이시켜 해당 색 분리 처리를 행함으로써, 합성 화상 신호와 동등 행 수의 색 성분 신호가 얻어진다.
상술된 바와 같이 CCD 이미지 센서에서 복수 행(n행)을 가산 합성하여 판독함으로써, 프레임레이트를 올릴 수 있지만, 모자이크 배열의 컬러 필터를 탑재한 CCD 이미지 센서에서는 일반적으로, 합성 화상 신호로부터 색 성분 신호를 분리할 필요가 발생한다.
종래 기술은, 합성 화상 신호를 2행 이용하여, 각각의 동일한 열 위치에 대응하는 신호값에 기초하여 1개의 샘플링점에서의 색 성분 신호를 구한다. 즉, 1개의 샘플링점에서의 색 성분 신호는, 열 방향으로 연속하는 2n개의 화소(2n행×1 열의 화소 영역)의 정보 전하의 영향을 받는다. 그 때문에, 수직 방향(열 방향)의 해상도와 수평 방향(행 방향)의 해상도의 차이가 커지거나, 가산 합성되는 행수 이상으로 수직 방향의 해상도가 열화할 우려가 있다는 문제가 있었다.
본 발명은 상기 문제점을 해결하는 것을 목적으로 하고, 복수 행을 가산 합성하여 판독된 합성 화상 신호로부터 색 성분 신호를 분리하는 경우에, 수직 방향의 해상도를 양호하게 유지하고, 또한 수직 방향 및 수평 방향의 해상도를 가깝게 한 양호한 화상이 얻어지는 고체 촬상 소자 및 화상 신호 처리 장치를 제공하는 것을 목적으로 한다.
본 발명에 따른 고체 촬상 소자에서는, 각 수광 화소열 중 열 방향의 가산 합성 처리의 대상으로 되는 소정 행 범위에 위치하는 부분열 각각에 대하여, 해당 부분열을 포함하여 서로 행 방향으로 소정의 위치 관계에 있는 L개(L≥2)의 상기 부분열 Fj(1≤j≤L)로 이루어진 부분열 세트를 갖고, 상기 부분열 세트에 포함되는 상기 부분열의 개수 L이, 해당 부분열 세트에 포함되는 상기 수광 화소의 색 감도 특성의 종류수에 기초하여 정해지고, 상기 부분열 Fj 내에 포함되고 상기 색 감도 특성이 제k 색(1≤k≤L)에 대응한 상기 수광 화소의 수 wik를 제j행 제k열의 성분으로서 구성한 행렬은, 정칙 행렬인 것을 특징으로 한다.
본 고체 촬상 소자가 가산 합성 처리에서 수광 화소 어레이의 제αs∼αe행(αs<αe)의 정보 전하를 가산 합성하도록 이용되는 경우, 이 행 범위의 각 열, 즉 길이 (αe-αs+1)개의 화소열 각각이 부분열이다. 부분열 세트는 해당 행 범위에 존재하는 부분열로 이루어진 조이고, 각 부분열마다 정의된다. 수광 화소 어레이의 색 감도 특성의 종류수를 ρ로 한다. ρ는 예를 들면 고체 촬상 소자에 장착되는 컬러 필터의 색 종류수에 따라서 정해진다. 컬러 필터는 대부분의 경우, 예를 들면 RGB와 같이 3색으로 구성되고, 그 경우에는 ρ=3이다. 그러나, 본 발명에서는 2 종류 이상의 임의의 색 수에 적용 가능하고, 따라서 ρ는 2 이상의 정수이다. 어느 부분열이 색 감도 특성에 관하여 ρ 종류, 즉 모든 색 종류의 수광 화소를 포함하고 있는 경우, 해당 부분열에 대한 부분열 세트를 구성하는 부분열의 개수 L은 ρ이다. 한편, 임의의 부분열이 ρ보다 적은 색 수 ρ'의 수광 화소라도, L은 ρ'보다 큰 값으로 될 수 있다. L은 부분열 세트를 구성하는 부분열 중 최대의 색 수에 맞추어지기 때문이다. 부분열 세트를 구성하는 L개의 부분열 Fj는 각 부분열 Fj의 색 감도 특성마다의 수광 화소수 wjk(k는 색 종별에 대응한 인덱스임)를 제j행 제k열의 성분으로 하는 L행 L열의 정방 행렬이 정칙 행렬이라고 하는 조건(조건 I)과, 구성 요소의 부분열이 서로 행 방향으로 소정의 위치 관계에 있다고 하는 조건(조건 II)을 만족한다. 즉, 수광 화소 어레이의 소정 행 범위(제αs∼αe행)에서의 서로 다른 색 감도 특성을 갖는 수광 화소의 배열을 정할 때에, 각 부분열에 대하여 조건 I 및 조건 II를 만족하는 부분열 세트가 존재하도록 배려된다. 조건 I는 해당 정방 행렬에 역행렬이 존재하는 것과 동의이고, 해당 조건에 의해, 하기 수학식 10의 연립 1차 방정식이 풀리는 것이 보증된다. 조건 II는 수평 방향의 해상도를 보증하기 위한 것이다. 수광 화소 어레이 위에서의 부분열 세트의 행 방향의 폭은, 해당 부분열 세트에 기초하여 얻어진 색 성분마다의 화상 신호의 수평 방향의 해상도에 영향을 준다. 부분열 세트를 구성하는 부분열 Fj를 서로 행 방향으로 소정의 위치 관계에 있는 것으로 함으로써, 부분열 세트의 폭을 어느 부분열에 대해서도 동등하게 할 수 있어, 수평 방향의 각 점에서의 해상도를 일정하게 할 수 있다. 또한 부분열 세트의 폭은 수평 방향의 허용 해상도에 따라서 정해진다. 또한 수직 방향의 해상도는 부분열의 길이에 따라서 정해지기 때문에, 부분열 세트의 폭을 부분열의 길이에 따라서 정하여, 수직 방향 및 수평 방향 각각의 해상도가 균등화될 수 있다.
본 발명에 따른 화상 신호 처리 장치는, 상기 고체 촬상 소자에서의 복수 행 수의 상기 소정 행 범위 내의 각 행을 열 방향으로 가산 합성한 혼색의 화상 신호를 입력받아, 해당 화상 신호에 기초하여 각 색 성분마다의 화상 신호를 생성하는 것으로, 상기 가산 합성에 의해 얻어진 상기 화상 신호에 기초하여, 상기 부분열 세트를 구성하는 상기 부분열 Fj(1≤j≤L) 각각에 대하여 합성 신호값 Sj를 취득하고,
로 나타내는 연립 1차 방정식을 만족하는 Ck(1≤k≤L)을, 상기 수광 화소 어레이 내에서의 상기 부분열 세트의 위치에 따른 샘플링점에서의 상기 제k 색의 화상 신호값으로서 산출하는 색 성분 산출부를 갖는 것을 특징으로 한다.
다른 본 발명에 따른 고체 촬상 소자에서는, 수광 화소 어레이의 제(2n-1)열 및 제(2n+1)열 (n≥1)은, 각각 색 감도 특성이 제1 색에 대응한 수광 화소와 제2 색에 대응한 수광 화소가 교대로 배열되고, 또한 상기 색 감도 특성의 배열 주기가 서로 열 방향으로 1 화소 어긋나 있고, 상기 수광 화소 어레이의 제2n 열 및 제(2n+2) 열은, 각각 상기 색 감도 특성이 제1 색에 대응한 상기 수광 화소와 제3 색에 대응한 상기 수광 화소가 교대로 배열되고, 또한 상기 색 감도 특성의 배열 주기가 서로 열 방향으로 1 화소 어긋나 있는 것을 특징으로 한다.
다른 본 발명에 따른 화상 신호 처리 장치는, 상기 고체 촬상 소자에서의 홀수 행 수의 소정 행 범위 내의 각 행을 열 방향으로 가산 합성한 혼색의 화상 신호를 입력받아, 해당 화상 신호에 기초하여 각 색 성분마다의 화상 신호를 생성하는 화상 신호 처리 장치로서, 상기 가산 합성에 의해 얻어진 상기 화상 신호에 기초하여, 상기 수광 화소 어레이의 제(2n-1)열 (n≥1)의 상기 소정 행 범위에 위치하는 부분열 FO1에 대한 합성 신호 SO1, 제(2n+1)열의 상기 소정 행 범위에 위치하는 부분열 FO2에 대한 합성 신호 SO2, 제2n열의 상기 소정 행 범위에 위치하는 부분열 FE1 에 대한 합성 신호 SE1, 및 제(2n+2)열의 상기 소정 행 범위에 위치하는 부분열 FE2에 대한 합성 신호 SE2를 취득하고,
(1) 상기 부분열 FO1 및 상기 부분열 FO2에 포함되는 상기 제1 색에 대응하는 상기 수광 화소의 수를 각각 wO11, wO21, 상기 제2 색에 대응하는 상기 수광 화소의 수를 각각 wO12, wO22로 하여,
로 나타내는 연립 1차 방정식을 만족하는 COk(k는 1 또는 2)를 각각, 상기 수광 화소 어레이 내에서의 상기 부분열 FO1 및 FO2의 위치에 따른 샘플링점에서의 제k 색의 화상 신호값으로서 산출하는 것, 및
(2) 상기 부분열 FE1 및 상기 부분열 FE2에 포함되는 상기 제1 색에 대응하는 상기 수광 화소의 수를 각각 wE11, wE21, 상기 제3 색에 대응하는 상기 수광 화소의 수를 각각 wE13, wE23으로 하여,
로 나타내는 연립 1차 방정식을 만족하는 CEk(k는 1 또는 3)를 각각, 상기 수광 화소 어레이 내에서의 상기 부분열 FE1 및 상기 부분열 FE2의 위치에 따른 샘플링점에서의 제k 색의 화상 신호값으로서 산출하는 것을 행하는 색 성분 산출부를 갖는 것을 특징으로 한다.
<실시 형태>
이하, 본 발명의 실시 형태에 대하여, 도면에 기초하여 설명한다.
[실시 형태 1]
도 1은 본 발명에 따른 CCD 이미지 센서를 이용한 촬상 장치의 개략 구성을 도시하는 블록도이다. 이 촬상 장치는 CCD 이미지 센서(20), 클럭 발생 회로(22), 타이밍 제어 회로(24), 아날로그 신호 처리 회로(26), A/D 변환 회로(28) 및 디지털 신호 처리 회로(30)를 구비한다. 또한 도시하지 않은 메카니컬 셔터를 촬상부(20i)의 전면에 구비한다.
CCD 이미지 센서(20)는 여기서는 프레임 전송형의 것으로, 반도체 기판 표면에 형성된 촬상부(20i), 축적부(20s), 수평 전송부(20h) 및 출력부(20d)를 구비한다. 이미지 센서(20)는, 예를 들면 촬상부(20i)의 전체 셀을 이용하여 고해상도의 정지 화상을 촬영하는 용도로 이용된다. 한편, 그 정도의 해상도를 필요로 하지 않는 프리뷰 화면에의 표시나 동화상 촬영의 용도에도 이용된다.
촬상부(20i)에는 입사광량에 따른 전하(정보 전하)를 발생하는 셀(화소)이 복수, 행렬 배치된다. 촬상부(20i)에는 컬러 필터가 장착되고, 이에 따라 각 셀에 색 감도 특성이 부여된다. 촬상부(20i)에 행렬 배치된 셀의 각 열은 수직 CCD 시프트 레지스터를 구성한다. 이 촬상부(20i)의 수직 CCD 시프트 레지스터는 기판 위에 행 방향으로 복수개 놓인 게이트 전극을 구비하여, 이들 게이트 전극에 인가되는 3상 클럭 φi에 의해서, 촬상부(20i)에서의 정보 전하의 축적 및 수직 전송이 제어된다.
축적부(20s)는 차광막으로 피복되어, 광의 입사에 의한 전하 발생을 방지한다. 축적부(20s)는 행 방향으로 복수 배열된 수직 CCD 시프트 레지스터를 구비한다. 축적부(20s)의 수직 CCD 시프트 레지스터는, 촬상부(20i)의 수직 CCD 시프트 레지스터 각각에 대응하여 설치된다. 촬상부(20i)와 축적부(20s)의 서로 대응하는 수직 CCD 시프트 레지스터는 채널이 연속하여, 양 시프트 레지스터를 동기시켜 구동함으로써, 촬상부(20i)에서 축적된 정보 전하를 축적부(20s)로 전송할 수 있다. 덧붙여서, 축적부(20s)의 수직 CCD 시프트 레지스터는, 후술하는 이유로 촬상부(20i)의 행 수 중 적어도 1/3에 따른 비트수를 갖는다. 축적부(20s)의 수직 CCD 시프트 레지스터는 촬상부(20i)와 마찬가지로, 행 방향으로 놓인 게이트 전극을 복수개 구비하여, 이들 게이트 전극에 인가되는 3상 클럭 φs에 의해, 축적부(20s)에서의 정보 전하의 축적 및 수직 전송이 제어된다.
설정된 노광 시간이 경과하면, 촬상부(20i)에 축적된 정보 전하는, 축적부(20s)를 경유하여 수평 전송부(20h)에 수직 전송된다. 수평 전송부(20h)는 그 복수개의 게이트 전극에 인가되는 수평 전송 클럭 φh에 따라, 축적부(20s)로부터 라인 전송된 정보 전하를 순차적으로, 출력부(20d)에 전송한다. 출력부(20d)는, 전기적으로 독립한 용량 및 그 전위 변화를 추출하는 증폭기로 이루어지고, 수평 전송부(20h)로부터 출력되는 정보 전하를 1 비트 단위로 용량으로 받아 전압값으로 변환하여, 시계열의 화상 신호로서 출력한다.
이미지 센서(20)에 의해 정지 화상을 촬영할 때에는, 메카니컬 셔터를 개폐 동작함으로써 노광 시간이 조절됨과 함께, 축적된 정보 전하가 촬상부(20i)의 수직 CCD 시프트 레지스터 내에 전송될 때에, 메카니컬 셔터는 닫혀져 스미어의 발생을 방지한다. 클럭 발생 회로(22)는, 메카니컬 셔터를 닫으면, φi 및 φs를 동기시켜 구동하고, 촬상부(20i)에 축적된 정보 전하를 1행씩 수평 전송부(20h)에 수직 전송한다. 수평 전송부(20h)에 라인 전송된 정보 전하는, 클럭 발생 회로(22)가 발생하는 수평 전송 클럭 φh에 의해 순차적으로, 출력부(20d)에 배출된다.
한편, 프리뷰 시나 동화상 촬영 시에는 정지 화상 촬영 시에 비하여 높은 프레임레이트가 필요로 되기 때문에, 메카니컬 셔터를 이용하면 개폐 동작이 빈번해져서 소비 전력이 증가한다. 그래서, 이 경우에는 메카니컬 셔터를 개방 상태로 유지한 그대로, 클럭 발생 회로(22)는 노광 기간이 종료되면 촬상부(20i)로부터 축적부(20s)에의 프레임 전송을 행한다. 높은 프레임레이트에서의 촬영을 가능하게 하기 위해서, 프리뷰 시나 동화상 촬영 시에는 클럭 발생 회로(22)는, 복수 행을 가산 합성하여 판독하도록 이미지 센서(20)를 구동한다. 이에 따라 수평 전송부(20h)의 구동 횟수가 감소하기 때문에, 프레임레이트의 향상이 도모된다. 복수 행의 가산 합성은, 촬상부(20i)로부터 축적부(20s)에의 전송 시에 행해진다. 본 실시 형태에서는 3행의 정보 전하를 가산하여 1행의 정보 전하로 하는 동작이 행해진다. 그 동작으로서는 촬상부(20i)로부터 축적부(20s)로 3행분의 정보 전하가 수직 전송되는 동안에, 축적부(20s)의 구동을 정지시키고, 이들 3행분의 정보 전하를 촬상부(20i)에 인접하는 축적부(20s)의 1행에 축적시킨다. 즉, 클럭 발생 회로(22)는 클럭 φi를 3 사이클 구동하면 φs를 1 사이클 구동시키고, 이에 의해 촬상부(20i)의 3행분이 축적부(20s)로 옮겨질 때에 합성되고, 3행의 합성이 완료될 때마다 축적부(20s)의 각 행에 유지되는 합성된 정보 전하가 1행씩 수직 전송된다. 합성된 정보 전하는 축적부(20s)로부터 수평 전송부(20h)에 라인 전송되고, 클럭 발생 회로(22)가 발생하는 수평 전송 클럭 φh에 의해 순차적으로, 수평 전송부(20h)로부터 출력부(20d)에 배출된다.
축적부(20s)는 메카니컬 셔터를 사용하지 않은 프리뷰 시 및 동화상 촬영 시에서, 촬상부(20i)로부터 프레임 전송되는 정보 전하를 일시적으로 유지하기 위해서 설치되어 있다. 즉, 메카니컬 셔터를 사용하는 정지 화상 촬영 시에서는 축적부(20s)는 특히 필요하지 않고, 또한 상술된 바와 같이 프리뷰 시 및 동화상 촬영 시에는, 축적부(20s)에의 전송 시에 3행의 정보 전하가 가산 합성되어 1행으로 되기 때문에, 축적부(20s)를 구성하는 수직 시프트 레지스터의 최소의 비트 수는, 촬상부(20i)를 구성하는 수직 시프트 레지스터의 비트수의 1/3로 할 수 있다.
또, 타이밍 제어 회로(24)는 수직 동기 신호 VD 및 수평 동기 신호 HD에 기초하여, 촬상 장치 각부에 대한 각종 타이밍 신호를 생성한다. 클럭 발생 회로(22)는 타이밍 제어 회로(24)로부터 공급되는 타이밍 신호에 기초하여, φi, φs, φh 등의 각종 클럭을 생성한다.
아날로그 신호 처리 회로(26)는, CCD 이미지 센서(20)로부터 출력되는 화상 신호 Y0(t)를 취득하여, 샘플 홀드, 게인 조정 등의 각종 아날로그 신호 처리를 실시한다. A/D 변환 회로(28)는 아날로그 신호 처리가 실시된 화상 신호 Y1(t)를 취득하여, 1 화소마다 디지털 신호로 변환하여 화상 데이터 D1(n)으로서 출력한다.
디지털 신호 처리 회로(30)는 화상 데이터 D1(n)으로부터 휘도 데이터나 색 데이터를 생성하고, 그 외에, 생성한 데이터에 대하여 윤곽 보정이나 감마 보정 등의 처리도 실시하여, 화상 데이터 D2(n)을 출력한다. 디지털 신호 처리 회로(30)는, 보간 처리를 행하는 보간 처리부(32)를 갖고 있다. 모자이크 배열의 컬러 필터에서는, 동일한 색은 수광 화소 어레이 중에 이산 배치된다. 그 때문에, 동일한 색에 대응하는 화상 데이터 D1(n)는, 2차원 배치된 샘플링점 중 행 방향, 열 방향으로 간격을 둔 점에서 얻어진다. 보간 처리부(32)는, 이산적인 점에서 정의된 동일한 색의 D1(n)에 기초하여 보간 처리를 행하고, 사이에 위치하는 샘플링점에서의 해당 색의 화상 데이터를 생성한다. 이 처리를 각 색에 대하여 행함으로써, 디지털 신호 처리 회로(30)로부터 출력되는 화상 데이터 D2(n)에서는, 각 샘플링점에 의해 각 색의 성분값이 정의된다.
또한 디지털 신호 처리 회로(30)는, 색 성분 산출부(34)를 갖고 있다. 상술한 프리뷰 또는 동화상 촬영에서는 3행 가산 합성을 행한 결과, 이미지 센서(20)로부터는 복수의 색이 혼합된 화상 신호가 출력된다. 색 성분 산출부(34)는 복수의 색 성분이 혼합된 화상 데이터 D1(n)으로부터 각 색 성분 신호를 분리하는 연산 처리를 행한다. 그 처리에 대해서는 후술한다.
정지 화상 촬영에서의 해당 보간 처리에 대하여 설명한다. 정지 화상 촬영에서는, 촬상부(20i)에서 얻어진 각 행의 정보 전하는 그대로 1행 단위로 수평 전송부(20h)에 전송되고, 수평 전송부(20h)의 각 비트에는 각각 촬상부(20i)의 1 화소분의 정보 전하가 축적된다. 수평 전송부(20h)를 수평 전송 구동함으로써, 출력부(20d)로부터 각 화소의 정보 전하에 따른 화상 신호가 출력된다. 즉, 정지 화상 촬영 시의 화상 데이터 D1(n)은 촬상부(20i)의 1 화소의 정보 전하에 의해 정해지고, 이것은 D1(n)이 컬러 필터의 구성색 중 어느 한색의 성분만으로 이루어진 것을 의미한다. 따라서, 정지 화상 촬영에서는, 기본적으로 단색 성분인 D1(n)에 직접, 보간 처리를 실시하여, 각 샘플링점에서의 각 색의 성분값을 정할 수 있다. 즉, 정지 화상 촬영에서의 처리에서는 색 성분 산출부(34)는 이용되지 않는다.
한편, 프리뷰 시 또는 동화상 촬영 시에서는, 상술된 바와 같이, 열 방향으로 나열된 3 화소의 정보 전하가 가산 합성되어 출력부(20d)로부터 판독된다. 모자이크 배열의 컬러 필터에서는 열 방향으로 나열된 3 화소는 통상, 복수색의 화소를 포함하기 때문에, 화상 데이터 D1(n)은 복수색 성분으로 이루어진다. 그 때문에, 디지털 신호 처리 회로(30)는, 우선 색 성분 산출부(34)에 의해 D1(n)에 포함되는 색 성분을 산출하고, 그 후 그 색 성분 신호에 대하여 보간 처리부(32)에 의해 보간 처리를 행한다.
이하, 본 촬상 장치에서의 색 성분 산출부(34)의 처리를 설명한다. 이미지 센서(20)는 촬상부(20i)에 도 2에 도시한 배열의 컬러 필터를 갖고, 색 성분 산출부(34)는 이 배열의 컬러 필터에 대응한 처리를 행한다. 도 2에 도시한 필터에서, 행 번호 α는 촬상부(20i)의 축적부(20s)(또는 수평 전송부(20h)) 근처의 행으로부터, 또한 열 번호 β는 출력부(20d) 근처의 열로부터 순서대로 부여한다. 도 2에 도시한 컬러 필터는, 예를 들면 RGB의 3색으로 이루어지고, 수광 화소 어레이의 각 홀수열에 G, B가 교대로 배열되고, 또한 인접하는 2개의 홀수열은 G, B의 배열 주기가 서로 열 방향으로 1 화소 어긋나 있다. 또한 수광 화소 어레이의 각 짝수열에 R, G가 교대로 배열되고, 또한 인접하는 2개의 짝수열은 R, G가 서로 열 방향으로 1 화소 어긋나 배열된다. 이 배열은, 행 번호 α및 열 번호 β로 지정되는 수광 화소 PX(α, β)의 색(색 감도 특성) C(α, β)로서, 다음 식으로 표시된다.
(단, λ, μ는 자연수)
이 컬러 필터를 장착한 CCD 이미지 센서(20)는, 프리뷰 시 또는 동화상 촬영 시에 상술한 3행 가산 합성 동작을 행한다. 그 결과, CCD 이미지 센서(20)로부터 출력되는 제a행의 합성 화상 신호(a≥1)는, 촬상부(20i)의 제(3a-2)∼3a행의 정보 전하가 합성된 것으로 된다.
이하, 촬상부(20i)의 화소 PX(α, β)에 대응하는 신호값을, 해당 화소의 색 R, G, B 각각에 대응시켜 기호 R(α, β), G(α, β), B(α, β)로 나타내고, 또한 CCD 이미지 센서로부터 출력되는 제a행의 출력 화상 신호에서 촬상부 제b열에 대응하는 화상 신호값을 기호 D(a, b)로 나타낸다.
이미지 센서(20)에서 3행 가산 합성하여 얻어지는 화상 신호 중 홀수 행 출력에는, 색 혼합 비율이 서로 다른 다음의 4 종류의 화상 신호값 D가 존재한다. 이들이 출력순에 따라서 화상 데이터 D1(n)으로서 추출되어, 디지털 신호 처리 회로(30)에 입력된다.
(λ, μ는 자연수)
또한, 3행 가산 합성하여 얻어지는 짝수 행 출력에는, 색 혼합 비율이 서로 다른 다음의 4 종류의 화상 신호값 D가 존재하고, 이들이 출력순에 따라서 화상 데이터 D1(n)으로서 추출되어, 디지털 신호 처리 회로(30)에 입력된다.
(λ, μ는 자연수)
디지털 신호 처리 회로(30)에 입력된 D1(n)은 색 성분 산출부(34)에 전달된다. 색 성분 산출부(34)는 화상 데이터 D1(n) 중, 사이에 1열 걸러 2개의 데이터(D(a, b) 및 D(a, b+2)로 함)를 조합하고, 이들 2개의 데이터에 합성되어 있는 6 화소로 이루어진 화소 영역 R의 위치에 따른 샘플링점 P(a, b)에서의 색 성분 신호값을 구한다. 수학식 14∼수학식 21로부터 알 수 있듯이, D(a, b) 및 D(a, b+2)는 각각 동일한 2 종류의 색 성분(Cx, Cy로 나타냄)으로 이루어진다. 색 성분 산출부(34)는, 화소 영역 R 내에서의 색 Cx, Cy의 값을 공간적으로 일정한 값 〈Cx〉, 〈Cy〉로 대표시키고, 그들 〈Cx〉, 〈Cy〉를 화소 영역 R의 색 성분 신호값으로서 산출한다. 그 계산식은, 다음과 같이 표시된다.
여기서, 홀수 출력행(즉, a=2λ-1)의 처리에서,
(i) b=4μ-3에 대응하는 데이터의 조에 대하여, 〈Cx〉, 〈Cy〉는 각각 〈B〉, 〈G〉를 부여하고,
(ii) b=4μ-2에 대응하는 데이터의 조에 대하여, 〈Cx〉, 〈Cy〉는 각각 〈G〉, 〈R〉을 부여하고,
(iii) b=4μ-1에 대응하는 데이터의 조에 대하여, 〈Cx〉, 〈Cy〉는 각각 〈G〉, 〈B〉를 부여하고,
(iv) b=4μ에 대응하는 데이터의 조에 대하여, 〈Cx〉, 〈Cy〉는 각각 〈R〉, 〈G〉를 부여한다.
또한, 짝수 출력행(즉 a=2λ)의 처리에서는,
(v) b=4μ-3에 대응하는 데이터의 조에 대하여, 〈Cx〉, 〈Cy〉는 각각 〈G〉 〈B〉를 부여하고,
(vi) b=4μ-2에 대응하는 데이터의 조에 대하여, 〈Cx〉, 〈Cy〉는 각각 〈R〉, 〈G〉를 부여하고,
(vii) b=4μ-1에 대응하는 데이터의 조에 대하여, 〈Cx〉, 〈Cy〉는 각각 〈B〉, 〈G〉를 부여하고,
(viii) b=4μ에 대응하는 데이터의 조에 대하여, 〈Cx〉, 〈Cy〉는 각각 〈G〉, 〈R〉을 부여한다.
수학식 22, 수학식 23은, 예를 들면 상기 (i)의 경우에 관해서는, 수학식 14, 수학식 16에서 우변의 각 화소의 G 신호값, B 신호값을 대표값 〈G〉, 〈B〉로 치환한 다음식으로부터 유도된다. 덧붙이면, 다음식은 수학식 11에 상당한다.
여기서 수학식 24, 수학식 25는, 〈G〉, 〈B〉에 대한 연립 1차 방정식으로, 수학식 22, 수학식 23은 그 해이다.
나머지 (ii)∼(viii)의 경우도 마찬가지로, 수학식 14∼수학식 21로 나타내는 데이터값 중, 각각의 경우에서의 D(a, b), D(a, b+2)에 대응하는 2개의 식으로부터 수학식 22, 수학식 23이 얻어진다.
그런데, 상술한 바와 같이, 복수 행을 가산 합성하여 판독하는 동작은, 프리뷰 시나 동화상 촬영 시에 프레임레이트를 확보하기 위해서 이용된다. 가산되는 행 수는, 프리뷰 화면 표시부의 해상도나 동화상에 요구되는 해상도 등의 면에서의 조건이나, 소요 프레임레이트에 의해 부과되는 조건에 기초하여, 기본적으로는 수직 해상도가 필요 이상으로 저하하지 않도록 정해진다.
한편, 본 실시 형태 및 종래 기술에서의 행 가산 합성된 화상 데이터로부터 색 성분을 분리하는 처리에서는, 합성된 화상 데이터가 복수개 조합되고, 이들 데이터에 대응하는 화소 영역 R 내에서 평활화된 각 색 성분값이 산출된다. 이 색 분리 처리에서의 평활화는, 행 가산 합성과는 다른 해상도 저하 요인이다. 예를 들면, 색 분리 처리에 이용하는 복수의 데이터를 합성 화상 신호의 복수 행으로부터 취득하면, 화소 영역 R의 수직 방향의 사이즈가 가산 행 수보다 확대된다. 그 때문에, 이 경우에는, 분리 처리로써 얻어진 색 성분 신호에 의해 형성되는 화상의 수직 해상도는, 행 가산 합성에 의한 저하 이상으로 열화된다.
이에 대하여, 본 발명에서는 합성 화상 신호의 동일한 행에 속하는 데이터 D(a, b), D(a, b+2)를 이용하여 샘플링점 P(a, b)에서의 색 성분 신호가 산출된다. 즉, 본 발명의 화소 영역 R의 수직 방향의 사이즈, 범위는 가산되는 행에 일치하고 있다. 그 때문에, 색 분리 처리를 행해도, 화상의 수직 해상도는 행 가산 합성에 의한 저하 이상으로는 열화하지 않는다. 또한, 화소 영역 R의 수직 방향의 사이즈와 수평 방향의 사이즈가 동일한 정도로 됨으로써, 수직 방향과 수평 방향의 해상도의 균형화가 도모된다.
또, 합성 화상 신호의 복수 행으로부터 데이터를 취득하는 처리 방법에서는,먼저 이미지 센서(20)로부터 출력되는 합성 화상 신호를 기억하는 라인 메모리가 필요해진다. 이에 대하여, 본 실시 형태의 처리 방법에서는, 합성 화상 신호로서 바로 근처에 얻어진 화상 데이터 D(a, b+2)와 동일 행으로써 2 화소 선행하는 화상 데이터 D(a, b)가 처리에 이용된다. 따라서, 본 실시 형태에서는 기본적으로는, 바로 근처에 얻어진 화상 데이터 D(a, b+2)에 조합되는 화상 데이터 D(a, b)를 기억하는 1 화소분의 레지스터와, 다음에 얻어지는 화상 데이터 D(a, b+3)에 조합되는 화상 데이터 D(a, b+1)을 기억하는 1 화소분의 레지스터가 있으면 상술한 색 분리 처리를 행할 수 있다.
상술된 바와 같이 색 성분 산출부(34)에 의해 홀수열의 각 샘플링점 P(a, 2η-1)에 대하여 〈G〉(≡〈G〉2η-1) 및 〈B〉(≡〈B〉2η-1)가 구해지며, 짝수열의 각 샘플링 점 P(a, 2η)에 대하여 〈R〉(≡〈R〉2η) 및 〈G〉(≡〈G〉2η)이 구해진다. 이 색 성분 산출부(34)의 출력은 보간 처리부(32)에 전달된다.
보간 처리부(32)는, 수평 방향으로 보간 처리를 행하여, 각 샘플링점에 부족한 종류의 색 성분값을 구한다. 그 결과, 각 샘플링점에 대하여 RGB 각각의 색 성분값이 구해진다. 여기서는 보간 처리로서, 각 샘플링점에서 수평 방향으로 (1, 2, 1) 필터링 처리를 행한다. 해당 필터링 처리는, 다음식으로 나타낸다. 여기서 ≪R≫ξ, ≪G≫ξ, ≪B≫ξ는 샘플링점 P(a, ξ)에서의 처리 결과의 RGB값, Rζ, Gζ, Bζ(ζ=ξ-1, ξ, ξ+1)은 색성분 산출부(34)에 의해 샘플링점 P(a, ζ)에 대하여 구해진 RGB 성분값이다.
여기서, G 성분에 대해서는 Gξ-1=〈G〉ξ-1, Gξ=〈G〉ξ, Gξ+1=〈G〉ξ+1이다. 한편, RB 성분에 대해서는 ξ가 홀수인 경우에는, Rξ-1=〈R〉ξ-1, Rξ+1=〈R〉 ξ+1, Bξ=〈B〉ξ, Rξ=Bξ-1=Bξ+1=0이고, ξ가 짝수인 경우에는, Bξ-1=〈B〉ξ-1, Bξ+1=〈B〉ξ+1, Rξ=〈R〉ξ, Bξ=Rξ-1=Rξ+1=0이다. 따라서, 보간 처리부(32)는 홀수열의 샘플링점에 대하여,
을 출력하고, 짝수열의 샘플링점에 대하여,
를 출력한다.
디지털 신호 처리 회로(30)는 보간 처리부(32)의 출력을 이용하여, 필요에 따라 신호 처리를 더 행하여 화상 데이터 D2(n)를 생성하여 출력한다.
또, 상술한 구성에서는, 도 2에 도시한 컬러 필터의 배열에 대하여, 3행의 가산 합성을 행하는 경우를 설명했지만, 일반적으로 5행 이상의 홀수행을 가산 합성한 경우에 대해서도 그 합성 화상 신호를 마찬가지로 하여 색 분리할 수 있다.
[실시 형태 2]
상기 제1 실시 형태에서는, 행 가산에 의해 얻어진 제a행의 합성 화상 신호의 2개의 샘플링점 P(a, b1), P(a, b2)에서의 데이터값 D(a, b1), D(a, b2)로부터 색 성분이 분리된다. 여기서, 데이터값 D(a, b1), D(a, b2)는 각각 동일한 2 종류의 색 성분 Cx, Cy로 이루어지고, D(a, b1)은 Cx의 화소 2개와 Cy의 화소 1개를 합성하고, D(a, b2)는 Cx의 화소 1개와 Cy의 화소 2개를 합성하고 있다. 각 화소의 신호값을 대표값 〈Cx〉, 〈Cy〉로 치환하면, 〈Cx〉, 〈Cy〉를 원으로 하는 2차원 연립 1차 방정식,
가 얻어진다. 이 해로서, 수학식 22, 수학식 23에 상당하는 다음식이 얻어진다.
이 제1 실시 형태에서의 색 분리 처리로부터 알 수 있는 것을 일반적으로 설명하면, 다음과 같다. 제a행의 합성 화상 신호의 복수의 샘플링점에서부터 얻어지는 데이터에 기초하여, L 종류의 색 성분을 구하기 위해서는, L개의 샘플링점 P(a, bj)(1≤j≤L)의 데이터값 D(a, bj)를 취득한다. 그리고, 이들 L개의 데이터값 각각에 대하여, 그 데이터값에 포함되는 각 화소의 신호 성분을 그 화소의 색에 대응한 대표값 〈Ck〉(1≤k≤L)로 치환하여 L개의 식
을 얻는다. 수학식 39는 〈Ck〉를 원으로 하는 L원 연립 1차 방정식을 구성하고, 그 해가, L개의 데이터값 D(a, bj)를 구성하는 화소군으로 이루어진 화소 영역 R에 대응한 샘플링점에서의 색 성분 신호를 부여한다.
연립 방정식 39가 해를 가질 필요 충분 조건은, 수학식 39 우변의 계수에 나타나는 수광 화소수 wjk를 제j행 제k열의 성분으로 하는 L행 L열의 행렬이 정칙행렬인 것이다(조건 I). 이 조건이 만족되면, 화소 영역 R에 대응하는 색 성분 신호가 구해진다.
또한 화소 영역 R의 행 방향의 사이즈가 작을수록, 기본적으로 수평 해상도는 양호해진다. 그래서, 조건 I을 만족하는 L개의 데이터 D(a, bj)는, 서로 근접한 위치 관계에 있는 샘플링점 P(a, bj)로부터 얻어지는 것이 요구된다(조건 II).
본 실시 형태의 CCD 이미지 센서는, 가산되는 복수 행으로 이루어진 각 행 세트마다, 행 방향으로 복수 설정되는 각 화소 영역 R 각각이 상기 조건 I, II를 만족하도록 정해진 컬러 필터를 구비한다.
여기서, CCD 이미지 센서 및 촬상 장치의 기본적인 구성은 상기 제1 실시 형태와 공통이며, 이하 마찬가지의 구성 요소는 동일한 부호로 나타냄과 함께 도 1을 원용한다.
도 3은 본 발명의 제2 실시 형태에 따른 제1 컬러 필터 배열을 도시하는 모식도이다. 이 도 3에서 행 번호 α, 열 번호 β는 도 2의 컬러 필터와 마찬가지로 부여된다. 이 컬러 필터를 장착한 CCD 이미지 센서(20)에서, 프리뷰나 동화상 촬영을 행하는 경우, 촬상부(20i)에 축적된 정보 전하는 3행씩 가산 합성되고, 출력부(20d)로부터는 합성 화상 신호가 출력된다. 여기서, 촬상부(20i)의 제(3a-2)∼3a행이 가산되어 제a행의 합성 화상 신호가 생성된다.
이 합성 화상 신호로부터 생성된 화상 데이터 D1(n)은 색 성분 산출부(34)에 전달된다. 색 성분 산출부(34)는, 화상 데이터 D1(n) 중, 사이에 1열 걸러 2개의 데이터 D(a, b) 및 D(a, b+2)를 조합한다. 이들 2개의 데이터는 각각 공통의 2 종류의 색 성분 Cx, Cy(R 및 G, 또는 G 및 B)로 이루어지고, 수학식 39로서 다음의 2차원 연립 방정식을 부여한다.
수학식 40, 수학식 41을 수학식 35, 수학식 36과 비교하면 알 수 있듯이, 도 3의 컬러 필터로부터 얻어지는 2개의 데이터 D(a, b) 및 D(a, b+2)에 기초하여, 대응하는 화소 영역 R(샘플링점 P(a, b))에서의 Cx 및 Cy의 성분 신호값 〈Cx〉, 〈Cy〉를 구할 수 있다. 덧붙이면, 수학식 40, 수학식 41의 우변 각항의 계수보다 w11=w22=2, w12=w21=1이고, 이들 wjk를 제j행 제k열의 성분으로 하는 2행 2열의 행렬은, 그 행렬식의 값이 0이 아니기 때문에, 정칙인 것이 확인된다.
도 4는 본 발명의 제2 실시 형태에 따른 제2 컬러 필터 배열을 도시하는 모식도이다. 이 도 4에서 행 번호 α, 열 번호 β는 상기 각 컬러 필터와 마찬가지로 부여되고 있다. 이 컬러 필터의 배열은, 행 번호 α 및 열 번호 β로 지정되는 수광 화소 PX(α, β)의 색 C(α, β)로서, 다음 식으로 표시된다.
(단, λ, μ는 자연수)
이 컬러 필터를 장착한 CCD 이미지 센서(20)에서, 프리뷰나 동화상 촬영을 행하는 경우, 촬상부(20i)에 축적된 정보 전하는, 예를 들면 5행씩 가산 합성되고, 출력부(20d)로부터는 합성 화상 신호가 출력된다. 예를 들면, 촬상부(20i)의 제(5 a-4)∼5a행이 가산되어 제a행의 합성 화상 신호가 생성된다.
색 성분 산출부(34)는, 샘플링점 P(a, b)에서의 색 성분 신호를 구하기 위해서는, 이 합성 화상 신호로부터 생성된 제a행의 화상 데이터 D1(n) 중, 연속하는 3개의 데이터 D(a, b), D(a, b+1), D(a, b+2)(b≥1)을 조합한다. 예를 들면, 샘플링점 P(a, 1), 즉 b=1의 경우, 해당 3개의 데이터는 수학식 39에 대응하는 다음의 3원 연립 방정식을 부여한다.
수학식 43∼수학식 45의 우변 각항의 계수로 구성되는 3행 3열의 행렬(계수 행렬)은, 그 행렬식의 값이 0이 아니기 때문에 정칙이고, 이 3원 연립 방정식은 해를 갖는다. 색 성분 산출부(34)는 이 연립 방정식의 해 〈R〉, 〈G〉, 〈B〉를 구하고, 이들을 샘플링점 P(a, b)에서의 색 성분 신호로서 출력한다.
데이터 D(a, b), D(a, b+1), D(a, b+2)에 기초하여 얻어지는 3원 연립 방정식의 형태는 a의 값에 따라서 주기적(주기 4)으로 변화하고, 또한 b의 값에 따라서 주기적(주기 6)으로 변화하지만, 어느 a, b의 조에 대한 방정식도, 그에 대응하는 계수 행렬이 정칙으로 된다. 따라서, 색 성분 산출부(34)는, 각 b의 값에서의 3개의 데이터값에 기초하여, 대응하는 각 샘플링점 P(a, b)에서의 RGB 각 색의 색 성분 신호를 구할 수 있다.
본 발명에 따르면, 복수 행을 가산 합성하여 판독된 합성 화상 신호로부터 색 성분 신호를 분리하는 경우에, 수직 방향의 해상도를 양호하게 유지하고, 또한 수직 방향 및 수평 방향의 해상도를 가깝게 한 양호한 화상이 얻어지는 고체 촬상 소자 및 화상 신호 처리 장치를 제공할 수 있다.
도 1은 본 발명에 따른 촬상 장치의 개략 구성을 도시하는 블록도.
도 2는 제1 실시 형태인 컬러 필터 배열을 도시하는 모식도.
도 3은 제2 실시 형태에 따른 제1 컬러 필터 배열을 도시하는 모식도.
도 4는 제2 실시 형태에 따른 제2 컬러 필터 배열을 도시하는 모식도.
도 5는 베이어형 컬러 필터의 배열을 도시하는 모식도.
<도면의 주요 부분에 대한 부호의 설명>
20 : 이미지 센서
20i : 촬상부
20s : 축적부
20h : 수평 전송부
20d : 출력부
22 : 클럭 발생 회로
24 : 타이밍 제어 회로
26 : 아날로그 신호 처리 회로
28 : A/D 변환 회로
30 : 디지털 신호 처리 회로
32 : 보간 처리부
34 : 색 성분 산출부

Claims (4)

  1. 색 감도 특성이 서로 다른 복수의 수광 화소가 행렬 배치된 수광 화소 어레이와, 상기 수광 화소의 열로써 생성된 복수의 정보 전하 패킷을 열마다 각각 수직 전송하는 복수의 수직 시프트 레지스터와, 상기 복수의 수직 시프트 레지스터로부터 1행씩 전송되는 복수의 상기 정보 전하 패킷을 수평 전송하여 출력하는 수평 시프트 레지스터를 갖는 고체 촬상 소자로서,
    각 수광 화소열 중 열 방향의 가산 합성 처리의 대상으로 되는 소정 행 범위에 위치하는 부분열 각각에 대하여, 해당 부분열을 포함하여 서로 행 방향으로 소정의 위치 관계에 있는 L개(L≥2)의 상기 부분열 Fj(1≤j≤L)로 이루어진 부분열 세트를 갖고,
    상기 부분열 세트에 포함되는 상기 부분열의 개수 L은, 해당 부분열 세트에 포함되는 상기 수광 화소의 상기 색 감도 특성의 종류수에 기초하여 정해지고,
    상기 부분열 Fj 내에 포함되어 상기 색 감도 특성이 제k 색(1≤k≤L)에 대응한 상기 수광 화소의 수 wjk를 제j행 제k열의 성분으로서 구성한 행렬은, 정칙 행렬인 것을 특징으로 하는 고체 촬상 소자.
  2. 색 감도 특성이 서로 다른 복수의 수광 화소가 행렬 배치된 수광 화소 어레이와, 상기 수광 화소의 열로써 생성된 복수의 정보 전하 패킷을 열마다 각각 수직 전송하는 복수의 수직 시프트 레지스터와, 상기 복수의 수직 시프트 레지스터로부터 1행씩 전송되는 복수의 상기 정보 전하 패킷을 수평 전송하여 출력하는 수평 시프트 레지스터를 갖는 고체 촬상 소자로서,
    상기 수광 화소 어레이의 제(2n-1) 열 및 제(2n+1) 열(n≥1)은, 각각 상기 색 감도 특성이 제1 색에 대응한 상기 수광 화소와 제2 색에 대응한 상기 수광 화소가 교대로 배열되고, 또한 상기 색 감도 특성의 배열 주기가 서로 열 방향으로 1 화소 어긋나 있고,
    상기 수광 화소 어레이의 제2n 열 및 제(2n+2) 열은, 각각 상기 색 감도 특성이 제1 색에 대응한 상기 수광 화소와 제3 색에 대응한 상기 수광 화소가 교대로 배열되고, 또한 상기 색 감도 특성의 배열 주기가 서로 열 방향으로 1 화소 어긋나 있는 것을 특징으로 하는 고체 촬상 소자.
  3. 제1항의 고체 촬상 소자에서의 복수 행 수의 상기 소정 행 범위 내의 각 행을 열 방향으로 가산 합성한 혼색의 화상 신호를 입력받아, 해당 화상 신호에 기초하여 각 색 성분마다의 화상 신호를 생성하는 화상 신호 처리 장치로서,
    상기 가산 합성에 의해 얻어진 상기 화상 신호에 기초하여, 상기 부분열 세트를 구성하는 상기 부분열 Fj(1≤j≤L) 각각에 대하여 합성 신호값 Sj를 취득하고,
    로 나타내는 연립 1차 방정식을 만족하는 Ck(1≤k≤L)을, 상기 부분열 세트의 위치에 따른 샘플링점에서의 상기 제k 색의 화상 신호값으로서 산출하는 색 성분 산출부를 갖는 것
    을 특징으로 하는 화상 신호 처리 장치.
  4. 제2항의 고체 촬상 소자에서의 홀수 행 수의 소정 행 범위 내의 각 행을 열 방향으로 가산 합성한 혼색의 화상 신호를 입력받아, 해당 화상 신호에 기초하여 각 색 성분마다의 화상 신호를 생성하는 화상 신호 처리 장치로서,
    상기 가산 합성에 의해 얻어진 상기 화상 신호에 기초하여, 상기 수광 화소 어레이의 제(2n-1)열(n≥1)의 상기 소정 행 범위에 위치하는 부분열 FO1에 대한 합성 신호 SO1, 제(2n+1)열의 상기 소정 행 범위에 위치하는 부분열 FO2에 대한 합성 신호 SO2, 제2n열의 상기 소정 행 범위에 위치하는 부분열 FE1에 대한 합성 신호 S E1, 및 제(2n+2)열의 상기 소정 행 범위에 위치하는 부분열 FE2에 대한 합성 신호 SE2를 취득하고,
    상기 부분열 FO1 및 상기 부분열 FO2에 포함되는 상기 제1 색에 대응하는 상기 수광 화소의 수를 각각 wO11, wO21, 상기 제2 색에 대응하는 상기 수광 화소의 수를 각각 wO12, wO22로 하여,
    로 나타내는 연립 1차 방정식을 만족하는 COk(k는 1 또는 2)를 각각, 상기 수광 화소 어레이 내에서의 상기 부분열 FO1 및 상기 부분열 FO2의 위치에 따른 샘플링점에서의 제k 색의 화상 신호값으로서 산출하고,
    상기 부분열 FE1 및 상기 부분열 FE2에 포함되는 상기 제1 색에 대응하는 상기 수광 화소의 수를 각각 wE11, wE21, 상기 제3 색에 대응하는 상기 수광 화소의 수를 각각 wE13, wE23으로 하여,
    으로 나타내는 연립 1차 방정식을 만족하는 CEk(k는 1 또는 3)를 각각, 상기 수광 화소 어레이 내에서의 상기 부분열 FE1 및 상기 부분열 FE2의 위치에 따른 샘플링점에서의 제k 색의 화상 신호값으로서 산출하는 색 성분 산출부를 갖는 것
    을 특징으로 하는 화상 신호 처리 장치.
KR1020040100788A 2003-12-05 2004-12-03 고체 촬상 소자 및 화상 신호 처리 장치 KR100611701B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00406970 2003-12-05
JP2003406970A JP2005167874A (ja) 2003-12-05 2003-12-05 固体撮像素子及び画像信号処理装置

Publications (2)

Publication Number Publication Date
KR20050054836A true KR20050054836A (ko) 2005-06-10
KR100611701B1 KR100611701B1 (ko) 2006-08-11

Family

ID=34631741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040100788A KR100611701B1 (ko) 2003-12-05 2004-12-03 고체 촬상 소자 및 화상 신호 처리 장치

Country Status (5)

Country Link
US (1) US20050122413A1 (ko)
JP (1) JP2005167874A (ko)
KR (1) KR100611701B1 (ko)
CN (1) CN1625268A (ko)
TW (1) TWI246854B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119724A1 (en) * 2004-12-02 2006-06-08 Fuji Photo Film Co., Ltd. Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method
JP4688766B2 (ja) * 2006-09-21 2011-05-25 パナソニック株式会社 固体撮像装置、その駆動方法およびカメラ
JP4966035B2 (ja) * 2007-01-26 2012-07-04 株式会社東芝 固体撮像装置
JP2008244738A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 撮像装置および撮像素子の駆動制御方法
DE102007059536B4 (de) * 2007-12-11 2019-06-27 Robert Bosch Gmbh Verfahren zum Betrieb einer Sensoranordnung und Sensoranordnung
JP4835719B2 (ja) * 2008-05-22 2011-12-14 ソニー株式会社 固体撮像装置及び電子機器
CN102177706B (zh) * 2009-10-07 2013-11-27 松下电器产业株式会社 摄像装置和固体摄像元件
JP2011253963A (ja) * 2010-06-02 2011-12-15 Sony Corp 固体撮像素子の製造方法、固体撮像素子、撮像装置
JP5503458B2 (ja) * 2010-08-24 2014-05-28 パナソニック株式会社 固体撮像素子および撮像装置
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
JP5702894B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
CN103872065B (zh) * 2014-03-10 2016-09-21 北京空间机电研究所 垂直电荷转移成像探测器像元合并方法
CN103905802B (zh) * 2014-04-21 2016-07-13 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
CN104568368B (zh) * 2014-12-30 2017-09-19 北京林业大学 风沙地表蚀积动态监测装置
CN105611258A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN107728311A (zh) * 2017-10-11 2018-02-23 重庆秉为科技有限公司 一种户外电润湿显示结构
CN113709372B (zh) * 2021-08-27 2024-01-23 维沃移动通信（杭州）有限公司 图像生成方法和电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
JPS59204804A (ja) * 1983-05-09 1984-11-20 Canon Inc カラ−フイルタ−
JP3010899B2 (ja) * 1992-03-18 2000-02-21 ソニー株式会社 固体撮像装置及び固体イメージセンサの駆動制御方法
JPH07162874A (ja) * 1993-12-06 1995-06-23 Nec Corp 単板式高感度カラーカメラ装置
JPH08317291A (ja) * 1995-05-17 1996-11-29 Hitachi Denshi Ltd 電子内視鏡装置
JP4329128B2 (ja) * 1996-07-12 2009-09-09 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法およびカメラ
JPH10136244A (ja) * 1996-11-01 1998-05-22 Olympus Optical Co Ltd 電子的撮像装置
JP2003092763A (ja) 2001-09-18 2003-03-28 Sharp Corp 単板式カラービデオカメラ
JP3956719B2 (ja) * 2002-02-26 2007-08-08 日本ビクター株式会社 撮像装置
US6744666B1 (en) * 2002-09-12 2004-06-01 Advanced Micro Devices, Inc. Method and system to minimize page programming time for flash memory devices
JP2006237737A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子

Also Published As

Publication number Publication date
TW200527910A (en) 2005-08-16
US20050122413A1 (en) 2005-06-09
TWI246854B (en) 2006-01-01
JP2005167874A (ja) 2005-06-23
CN1625268A (zh) 2005-06-08
KR100611701B1 (ko) 2006-08-11

Similar Documents

Publication Publication Date Title
KR100611701B1 (ko) 고체 촬상 소자 및 화상 신호 처리 장치
US7403226B2 (en) Electric camera
KR101182973B1 (ko) 고체 촬상 소자, 고체 촬상 소자의 구동 방법 및 촬상 장치
US8558899B2 (en) System and method for super-resolution digital time delay and integrate (TDI) image processing
US7948543B2 (en) Imaging apparatus provided with image scaling function and image data thinning-out readout function
JPH01309579A (ja) 固体撮像装置
JP3469801B2 (ja) 固体撮像装置
US7336305B2 (en) Solid-state image capturing device, smear correcting method thereof and digital still camera using the same
US7655892B2 (en) Solid-state imaging device, and method of driving solid-state imaging device
EP1766966A1 (en) Image sensor for still or video photography
KR20070046894A (ko) 전하 판독 방법 및 카메라
JP4078741B2 (ja) 固体撮像装置およびその駆動方法並びにカメラシステム
US7701498B2 (en) Solid-state image pickup device, drive method therefor and camera
EP1708483A1 (en) Solid state imaging apparatus and driving method of the solid state imaging apparatus
US20040263645A1 (en) Sequential scan imaging device
CN1328911C (zh) 图像信号处理装置
JPH10191364A (ja) 撮像装置
JP4759444B2 (ja) Ｃｃｄ型固体撮像素子の駆動方法、固体撮像装置
JP2006060766A (ja) 撮像装置及び固体撮像素子
JP4557540B2 (ja) 固体撮像装置及びその駆動方法、並びにカメラ
JP4468052B2 (ja) 撮像装置及び撮像装置の制御方法
US7432969B1 (en) Imaging apparatus, solid imaging device and driving method for solid imaging device
JP2003092764A (ja) 画像信号処理装置
US20080094495A1 (en) Solid-state image capturing device, method for driving the solid-state image capturing device, and electronic information device
JP2007043322A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee