KR100447916B1 - 고해상도이며의사색의발생을억제할수있는단판식컬러카메라 - Google Patents

고해상도이며의사색의발생을억제할수있는단판식컬러카메라 Download PDF

Info

Publication number
KR100447916B1
KR100447916B1 KR1019970011194A KR19970011194A KR100447916B1 KR 100447916 B1 KR100447916 B1 KR 100447916B1 KR 1019970011194 A KR1019970011194 A KR 1019970011194A KR 19970011194 A KR19970011194 A KR 19970011194A KR 100447916 B1 KR100447916 B1 KR 100447916B1
Authority
KR
South Korea
Prior art keywords
color
signal
pixel
pixels
color difference
Prior art date
Application number
KR1019970011194A
Other languages
English (en)
Other versions
KR970067935A (ko
Inventor
간다 다께히꼬
우기따 신지
Original Assignee
산요덴키가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP8077283A external-priority patent/JPH09271029A/ja
Application filed by 산요덴키가부시키가이샤 filed Critical 산요덴키가부시키가이샤
Publication of KR970067935A publication Critical patent/KR970067935A/ko
Application granted granted Critical
Publication of KR100447916B1 publication Critical patent/KR100447916B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Ceramic Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

고체 촬상 소자의 CCD(10)은 구동 회로(102)에 의해 구동되고, 모든 화소 독립 독출 구동이 행해진다. CL CR CB 생성 회로(104)는 CCD(10)로부터 출력된 신호를 수신하여 RAM(106)에 보유함과 동시에 CCD(10)에 있어서의 y행 x열째의 화소(x, y)에 대한 휘도 신호 CL 및 색차 신호 CR 및 CB를 RAM(106)에 기억시켜 두는 2행 2열의 출력 신호를 함께 연산하여 생성한다. 매트릭스 회로(108)는 신호 CL, CR, CB를 수신하여 소정의 선형 연산으로서 CCD(10)의 모든 화소 각각에 대해 RGB 신호를 분리하여 생성한다.

Description

고해상도이며 의사 색의 발생을 억제할 수 있는 단판식 컬러 카메라
본 발명은 컬라 카메라에 관한 것으로, 특히 색차 순차 방식에 의해 어레이 형태로 배열된 색 필터에 대응하여, 어레이 형태로 배치된 광전 변환 소자를 포함하는 고체 촬상 소자로부터의 신호를 처리하는 색 분리 회로를 갖는 단판식 컬러 카메라 및 색 신호의 분리 방법에 관한 것이다.
컬러 카메라에 있어서, 현재의 촬상 소자로서 넓게 이용되고 있는 CCD(Charge Coupled Device)는 수신된 광의 명암에 대하여 출력하는 신호의 진폭을 변화시키는 것일 뿐, 그 출력 신호에는 컬러 정보가 포함되어 있지 않다. 따라서, 컬러 정보를 얻기 위해서는 광학적인 수단을 이용하여, CCD에 입사하는 광에 필터를 설치하는 등의 노력이 필요하게 된다.
가정용의 컬러 카메라에서는 단일 CCD로부터 삼원색 신호를 추출하는 이를 테면 단판식 방식이 채용되고, 상기 CCD의 수광면측에 색 필터 어레이를 이용한, 이를 테면 동시식 컬러 촬상 방식이 채용되고 있다.
[인터라인 전송 CCD의 구성]
도 16은 가정용 컬러 카메라에 있어서의 CCD의 구성으로서, 일반적으로 이용되고 있는 인터라인 전송 CCD(10)의 구성을 도시하는 개략 블럭도이다.
인터라인 전송 CCD(10)은 어레이 형태로 배치된 pn 접합형 포토다이오드로 이루어지는 감광부(12)와, CCD에 의해 전송된 전하를 수신하여, 순차적으로 전송된신호 전하를 전압으로 변환한 신호를 수평 방향으로 전송하여 출력하는 수평 전송 레지스터(16)를 포함한다.
도 16에서, 간단히 하기 위해 pn접합형 포토다이오드는 수직 수평과 함께 3 화소가 배치된 구성으로 하고 있다. 실제로, 컬러 카메라에 사용되는 CCD에서는 예를 들면, 수직방형으로 500화소, 수평방향으로 500 내지 800화소에 대응하는 포토다이오드가 어레이 형태로 배치되어 있다.
다음에, 그 동작에 대해 간단히 설명한다.
포토다이오드에 광이 입사하면, 전하가 발생하고, 다이오드내에 축적되게 된다. 다음에, 쉬프트 게이트에 소정의 전압을 인가함으로서, 축적된 전하는 일제히 아날로그 쉬프트 레지스터로 전송된다. CCD 아날로그 쉬프트 레지스터는 클럭 펄스 전압 φV1, φV2, φV3가 인가됨에 따라 전하를 순차적으로 수평 전송 레지스터(16)로 향해 전송하게 한다. 수평 전송 레지스터(16)에서는 보내져 온 신호 전하를 전압으로 변환한 후, 외부로부터 인가되는 수평 구동 신호 φH1, φH2, φH3로 구동되어 순차적으로 촬상 신호 출력으로서 외부로 출력한다.
[인터라인 전송 CCD의 구동 방식]
인터라인 전송 CCD의 구동방식으로서는 일반적으로 프레임 축적 방식과 필드 축적 방식 2 가지 모드가 존재한다. 이하에서는 후술하는 바와 같이 색차 순차 방식의 색 필터 어레이에 대응하여 이용되는 필드 축적 방식에 대해 설명한다.
도 17A는 필드 축적 방식에 있어서의 인터라인 전송 CCD(10)로부터의 신호전하의 독출 방법을 도시하는 모식도이고, 기수 필드에 있어서의 신호 전하의 독출 방법을 도 17B는 우수 필드에 있어서의 신호 전하의 독출 방법을 각각 도시한다.
도 17A에 도시하는 바와 같이, 기수 필드에서는 수직 방향의 기수번째의 화소와 우수번째의 화소와의 신호를 감광부로부터 전송부에 동시에 전송하고, 전송부에서 양자의 신호가 가산되도록 한다.
우수 필드에서는 조합을 바꾸어, 우수번째의 화소와 기수번째의 화소와의 신호를 동시에 전송부(14)에 전송하고, 전송부(14)에서는 양자가 가산되도록 한다.
색 필터 어레이가 색차 순차 방식으로 배열되어 있는 경우에는 이와 같은 인터라인 전송 CCD의 전송 방식을 이용하기 때문에, 색차 신호의 분리를 행한다.
[색차 신호의 분리 방식]
도 18은 색 필터 어레이가 색차 순차 방식으로 배열되어 있는 경우의 인터라인 전송 CCD(10)로부터 출력된 신호의 신호 처리의 흐름을 도시하는 모식도이다.
도 18에 도시하는 바와 같이, 색차 순차 방식의 색 필터에서는 색 필터로서 마젠타(이하, Mg로 표현한다.), 녹색(이하, G로 표현한다.), 시안(이하, Cy로 표현한다.), 황색(이하, Ye로 표현한다.)의 색 필터가 모자이크 형태로 배치되어 있다.
여기서, 광의 색 혼합에서는 이를 테면 가색법이 성립하므로, 삼원색인 적(R), 녹(G), 청(B)에 대해 보색 관계인 Mg, Ye, Cy간에는 이하의 관계가 성립한다.
[수학식 1]
Figure pat00090
[수학식 2]
Figure pat00091
[수학식 3]
Figure pat00092
따라서, 색 필터의 색으로서, 상기 Mg, G, Ye, Cy를 이용함으로서 삼원색의 R, G, B중 휘도 신호에 대해 큰 비중을 갖는 G신호의 강도를 R 신호 및 B 신호보다 크게 할 수 있게 된다.
도 18에 도시한 예에서는 색차 순차 방식의 색 필터 어레이중에서, 4행 4열의 어레이부분을 발췌하여 도시하고 있다. 기수번째의 행(y방향)에서는 Mg의 색 필터와 G의 색 필터가 수평 방향(x방향)으로 교호로 배치되어 있다.
한편, 우수번째의 행에서는 Ye의 색 필터와 Cy의 색 필터가 수평방향으로 교호로 배치되는 구성으로 이루어져 있다.
이와 같은 배치의 색 필터 어레이를 갖는 인터라인 전송 CCD(10)로부터의 독출방식은 수직 방향(y방향), 2화소 가산 독출이 기본으로 되어 있다.
먼저 기수 필드에서는 수직방향 기수번째의 화소와 우수번째의 화소를 가산하고, 다음의 우수필드에서는 조합방향을 바꾸어, 우수번째의 화소와 기수번째의 화소를 가산한다. 이와 같이 하면, 예를 들면, 우수필드에서는 n번째의 주사선에서는 G+Cy, Mg+Ye, ㆍㆍㆍ순으로, n+1번째의 주사선에서는 Mg+Cy, G+Ye, ㆍㆍㆍ순으로 신호가 출력되고 있다.
이들 신호는 도 18중에 도시하는 바와 같이, 펄스 진폭 변조의 신호로, 도18에서는 상기 수학식 1 내지 3에 근거하여, 보색신호를 삼원색 신호로 치환하여 삼원색 신호의 진폭 변조 파형으로서 도시하고 있다.
고주파 성분은 생략하여, 직류성분과 기본파 성분을 도시하면 이하에 도시하는 바와 같이 된다.
[수학식 4]
Figure pat00093
로 되고, 한편, n+1번째의 주사선의 신호 Se는
[수학식 5]
Figure pat00094
로 된다. 여기서, fn은 샘플링 주파수인 나이퀴스트 주파수를 표현한다.
휘도 신호는 수학식 4 및 수학식 5에 있어서의 직류 성분만을 저역통과 필터(이하, LPF라 칭한다.)를 통과함으로서 얻어진다.
한편, 2개의 색차 신호의 2R-G, 2B-G는 주파수 fn을 중심으로 하는 대역통과 필터(이하, LPF라고 칭한다.)를 통과시켜 검파함으로서 용이하게 분리된다.
즉 휘도 신호 및 색차 신호가 선순차적으로 얻어지게 된다.
따라서, 그대로는 한개의 주사선에 주목한 경우, 색차 신호에서는 2R-G 또는2B-G만밖에 얻어지지 않고, 해당 주사선에 대한 색신호의 재생을 행할 수가 없다.
그래서, 실제의 휘도 신호 및 색신호의 재생은 이하에 서술하는 방법으로 행해진다.
먼저, 휘도 신호 CL은 CCD의 출력 신호의 각 행의 인접하는 화소의 곱, 즉 CL=Ye+Cy+Mg+G=2R+3G+2B
에 의해 만들어진다. 이것을 실현하기 위한 LPF는 예를 들면, 도 19의 회로에서 실현된다.
여기서, LPF(20)은 CCD 출력 신호를 수신하는 1화소 지연회로(22)와, CCD출력 신호 및 1화소 지연회로(22)로부터의 신호를 수신하고, 양자를 가산하여 출력하는 가산회로(24)와, 가산회로(24)의 출력을 수신하여, 신호 강도를 2분의 1로 하여 출력하는 감쇄기(26)를 포함한다.
상기 LPF(20)의 전송 함수 LPF(z) 및 그 주파수 특성은
[수학식 6]
Figure pat00095
[수학식 7]
Figure pat00096
로 되기 때문에, Y신호의 스펙트럼은 도 20에 도시하는 바와 같이 저주파수 영역으로부터 다음에 감소하고, 나이퀴스트 주파수 fn에서 0으로 되는 특성으로 된다.
여기서, CCD(10)의 유효 화소수는 수평 방향으로 H화소, 수직 방향으로 V화소로 하면, 1프레임내의 휘도 신호에서는 수평 해상도는 H, 수직 해상도는 V/2로 된다. 결국, CCD에 배열된 화소수에 대해 수직방향의 해상도는 1/2로 되어 버린다.
다음에, 색신호의 분리 처리에 대해 설명한다.
도 21은 CCD 출력신호로부터 삼원색 신호 R, G, B를 분리하는 종래의 색 분리 회로(500)의 구성을 도시하는 개략 블럭도이다.
색 분리 회로(500)는 CCD 출력 신호를 수신하여, 샘플링 펄스 SP1에 대해 샘플 홀드(S&H)를 행하는 S1 신호(n라인에서는 Ye+Mg, ...)를 출력하는 샘플 홀드회로(502)와, CCD 출력신호를 수신하여 샘플링 펄스 SP1와는 180도 위상이 다른 샘플링 펄스 SP2에 대해 샘플 홀드를 행하는 S2 신호(n라인에서는 Cy+G,...)를 출력하는 샘플 홀드 회로(504)와, 신호 S1 및 S2를 수신하여 양자를 더한 신호 S1+S2를 출력하는 가산회로(506)와, 신호 S1 및 S2를 수신하여 양자의 차신호 S1-S2를 출력하는 감산회로(508)를 포함한다.
색 분리 회로(500)는 또한 신호 S1-S2를 수신하여 1수평 주사 시간 지연하여 출력하는 1H 지연선(510)과, 신호 S1-S2와 1H 지연선(510)으로부터의 출력을 수신하여 라인 선택 펄스에 대해 어느 것을 전환하여 출력함으로서, 각 라인의 색차 신호 CR(=2R-G) 및 색차 신호 CB (=2B-G)를 출력하는 선택 회로(512)와, 선택회로(512)로부터의 출력과 신호 S1+S2, 즉 휘도 신호 CL을 수신하여 소정의 선형 연산을 행함으로서 삼원색 신호 R, G, B를 분리하여 출력하는 매트릭스 회로(514)를 포함한다.
도 22는 CCD(10)로부터 출력된 신호와, 그것을 샘플 홀드하는 샘플 홀드 펄스 SP1 및 SP2와의 관계를 도시하는 모식도이다.
이하에서는 도 21 및 도 22를 참조하여, 도 21에 도시한 종래의 색 분리 회로(500)의 동작에 대해 설명한다.
이하에서는, 우수 필드에 있어서의 신호 처리에 주목하여 설명하지만, 기수 필드에 있어서도 신호 가산이 행해지는 행이 어긋난 것으로 보아, 그 기본적인 동작은 모두 동일하다.
우선 우수 필드에 있어서의 n라인으로부터의 CCD에 대해 샘플링 펄스 SP1 및 SP2에 의해 샘플 홀드된 후, 샘플 홀드 회로(502 및 504)로부터 출력되는 신호 S1 및 S2에 대해 고려한다.
도 22를 참조하여, 샘플링 펄스 SP1에 의해 샘플 홀드되는 신호 S1은 n라인에서는 신호 Ye와 신호 Mg와의 합 신호로 된다. 한편, 샘플링 펄스 SP2에 대해 샘플 홀드된 신호 S2는 신호 Cy와 신호 G의 합 신호로 된다.
따라서, S1 신호와 S2 신호와의 합 및 차를 얻으면, 이하와 같이 된다.
[수학식 8]
Figure pat00097
[수학식 9]
Figure pat00098
한편, 우수 필드에 있어서의 CCD의 n+1 라인으로부터의 출력 신호를 샘플링 펄스 SP1으로서 샘플 홀드한 신호 S1은 신호 Ye와 신호 G와의 합 신호로 되고, 샘플링 펄스 SP2에 의해 샘플 홀드한 신호 S2는 신호 Cy와 신호 Mg와의 합 신호로 된다.
따라서, 신호 S1과 신호 S2의 차신호는 이하와 같이 된다.
[수학식 10]
Figure pat00099
이하, 2R-G=CR, -(2B-G)=CB, 2R+3G+2B=CL로 하면, 차신호 S1-S2에 의해 신호 CR, 신호 CB가 1 라인마다 교호로 얻어지게 된다.
한개의 주사선에 대해 색신호를 생성하기 위해서는 한개의 주사선마다 상기 휘도 신호 CL, 색차 신호 CR, CB가 필요하게 된다.
색 분리 회로(500)에서는 특정의 주사선, 예를 들면 n+1 라인에 대해서는 n+1 라인으로부터 얻어지는 색차 신호 CB와 n라인으로부터 얻어진 색차 신호 CR를 이용함으로서, n+1 라인에 있어서의 색신호의 생성ㆍ분리를 행하고 있다.
즉, 감산회로(508)로부터 출력되는 신호 S1-S2(CR, CB, ...)와, 상기 신호를 1H 지연선(510)을 통해 얻어지는 신호 (CB, CR, ...)를 라인 선택 펄스로서 전환시키는 선택회로(512)에 입력하기 때문에 1주사선 만큼 이전의 색차 신호 S1-S2를 현재 독출중의 주사선에 대한 색차 신호로서 이용할 수 있다.
결국, 선택회로(512)는 현재 독출중의 주사선에 대응하는 신호 S1-S2가 예를 들면 신호 CR인 경우에는 그 신호를 그대로 색차 신호 CR로서 매트릭스 회로(514)에 대해 출력하고, 동시에 1H지연선(510)으로부터 출력되는 1주사선 만큼 이전의 색차 신호를 신호 CB로서 매트릭스 회로(514)로 출력한다.
한편, 현재의 주사선으로부터 독출되는 색차 신호 S1-S2가 신호 CB에 대응하는 경우는 상기의 경우와는 역으로 1H 지연선(510)으로부터의 신호를 색차 신호 CR로서 감산회로(508)로부터의 신호 S1-S2를 색차 신호 CB로서 매트릭스 회로(514)에 출력한다.
매트릭스 회로(514)는 수신한 휘도 신호 CL 및 색차 신호 CR 및 CB의 세가지의 신호로부터 이하의 변환식에 따라 삼원색 신호인 RGB 신호를 출력한다.
[수학식 11]
Figure pat00100
[수학식 12]
Figure pat00101
[수학식 13]
Figure pat00102
여기서, 신호 S2는 CCD의 출력 신호를 샘플링 주파수 fn으로 샘플 홀드한 결과이다. 도 23은 상기 신호 S1, 신호 S2의 주파수 특성을 도시하는 그래프이다.
신호 S1 및 신호 S2는 샘플 홀드되어 이쓴 결과, 도 23에 도시하는 바와 같이 그 응답은 저주파수 영역으로부터 즉시 감소하고, 주파수 fh/2에서 제로로 되는 특성을 갖는다.
여기서, 휘도 신호 CL, 색차 신호 CR 및 CB 및 이들로부터 생성되는 RGB 신호에 대해서도 도 23과 동일한 주파수 특성을 갖는다.
따라서, RGB 신호의 수평 해상도는 H/2로 된다. 또, 1필드내의 수직 해상도는 신호 CR 및 신호 CB에서는 V/4로 되고, 휘도 신호 CL에서는 V/2로 된다. 이 때문에, 이들로부터 생성되는 RGB 신호에서는 그 수직 해상도는 약 V/4로 된다.
이상과 같이, RGB의 해상도는 유효 화소수의 1/2 내지 1/4밖에 얻을 수 없다.
본 발명의 목적은, 유효 화소수에 대하여, 해상도를 열화시키지 않고 고해상도로 휘도 신호 및 색차 신호를 재생하는 것이 가능한 단판식 컬러 카메라를 제공하는 것이다.
본 발명의 다른 목적은 CCD로부터 모든 화소 독립 독출된 출력 신호에 기초하여, 화소마다 대응하는 휘도 신호 및 색차 신호를 생성하는 것이 가능한 색분리 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 화소중의 에지에서, 의사 색 신호가 발생하는 것을 억제하고, 화질을 향상시키는 것이 가능한 단판식 컬러 카메라를 제공하는 것이다.
본 발명의 요약에 따르면, 단판식 컬러 카메라에 있어서, 고체 촬상 소자와, 색 분리 회로를 포함한다. 고체 촬상 소자에는 화소에 각각 대응하는 광전 변환소자가 어레이 형태로 배열된다. 고체 촬상 소자는 수광면측에 상기 광전 변환 소자에 대응하여 색 필터가 색차 순차 방식으로 배열되고, 임의의 2행 2열의 4 화소에 대응하여 녹색 및 3종류의 보색 필터를 갖는 색 필터 어레이를 포함한다. 색분리 회로는 고체 촬상 수단으로부터 모든 화소 독립으로 독출되는 출력 신호를 수신하여 상기 4 화소마다 중앙 위치에 대응하는 색 신호를 4 화소를 포함하는 4행 2열화소중의 2행 2열의 화소로부터의 출력 신호에 기초하여 생성한다. 색분리 회로는 고체 촬상 수단으로부터 순차 출력된 출력 신호를 보유하는 기억 수단과, 기억 수단에 보유된 출력 신호에 기초하여, 4 화소의 화소군마다 휘도 신호와, 녹색 신호 및 다른 3원색중 소정의 원색 신호간의 강도차에 대응하는 색차 신호를 생성하고, 휘도 신호 및 색차 신호로부터 색 신호를 생성하는 연산 수단을 포함한다.
하나의 바람직한 실시예에서, 연산 회로는 기억회로에 보유된, y행 x열째의 화소(x, y)를 포함하는 2행 2열의 화소군으로부터의 출력 신호에 대한 선형 연산에 의해 중앙 위치에 대응하는 색 신호를 생성하는 연산수단을 포함한다.
다른 바람직한 실시예에서는, 연산 회로는 i) 2행 2열의 화소중의 보색 필터에 대응하는 광전 변환 소자중에서, 소정의 원색 신호를 포함하는 신호를 출력하는 것이 대각 방향으로 배치되어 있는 경우, 2행 2열의 화소군으로부터의 출력 신호에 따라 색차 신호를 생성하고,
ⅱ) 2행 2열의 화소중의 보색 필터에 대응하는 광전 변환 소자중에서, 소정의 원색 신호를 포함하는 신호를 출력하는 것이 대각 방향으로 배치되어 있지 않는 경우, 2행 2열의 화소중 2화소를 공유하도록 인접하는 2행 2열의 화소군으로부터의 출력 신호에 따라 색차 신호를 생성한다.
본 발명의 다른 특징은, 색차 순차 방식의 색 필터 어레이 및 대응하는 광전 변환 소자 어레이를 갖는 고체 촬상 소자를 포함하는 단판식 컬러 카메라에 있어서의 색 신호의 분리 방법에 있어서, y행 x열의 화소(x, y)에 대응하는 고체 촬상 소자로부터의 출력 신호에 기초하여, 화소(x, y)에 대응하는 휘도 신호 CL(x, y)를화소(x, y)를 포함하는 2행 2열의 화소군으로부터의 출력 신호의 소정의 선형 연산에 의해 구하는 단계와, 화소(x, y)에 대응하는 제1 색차 신호 CR(x, y)를 화소군으로부터의 출력 신호에 대한 화소군에 대응하는 색 필터 어레이의 배열에 따른 제1 선형 연산에 의해 구하는 단계와, 화소(x, y)에 대응하는 제2 색차 신호 CB(x, y)를 화소군으로부터의 출력 신호에 대한 화소군에 대응하는 색 필터 어레이의 배열에 따른 제2 선형 연산에 의해 구하는 단계를 포함한다.
본 발명의 또 다른 특징은, 색차 순차 방식으로 배열되고, 임의의 2행 2열의 4 화소에 대응하여 녹색 및 3종류의 보색 필터를 갖는 색 필터 어레이 및 화소에 각각 대응하는 광전 변환 소자가 어레이 형태로 배열된 고체 촬상 소자를 포함하는 단판식 컬러 카메라에 있어서의 색신호의 분리 방법에 있어서, 광전 변환 소자로부터의 출력 신호에 기초하여 상기 4 화소의 화소군마다 휘도 신호를 화소군으로부터의 출력 신호의 합으로부터 구하는 단계; 4 화소의 화소군마다 녹색 신호와 다른 3 원색중의 소정의 원색 신호와의 강도차에 대응하는 색차 신호를,
i) 2행 2열의 화소중의 보색 필터에 대응하는 광전 변환 소자중에서, 소정의 원색 신호를 포함하는 신호를 출력하는 것이 대각 방향으로 배치되어 있는 경우, 2행 2열의 화소군으로부터의 출력 신호에 따라 색차 신호를 생성하고,
ⅱ) 2행 2열의 화소중의 보색 필터에 대응하는 광전 변환 소자중에서, 소정의 원색 신호를 포함하는 신호를 출력하는 것이 대각 방향으로 배치되어 있지 않는 경우, 2행 2열의 화소중 2화소를 공유하도록 인접하는 2행 2열의 화소군으로부터의 출력 신호에 따라 상기 색차 신호를 생성하는 단계; 및
휘도 신호 및 색차 신호로부터 색 신호를 생성하는 단계를 포함한다.
따라서 상기 발명의 주요 이점은 CCD의 유효 화소수가 수평 방향으로 H화소, 수직 방향으로 V화소 존재하는 경우에, (H-1)x(V-1) 화소 각각에 대해 RGB 신호를 생성할 수 있으므로, 고해상도를 실현하는 것이 가능하게 된다.
본 발명의 다른 이점은 피사체의 명도가 변화하고, 휘도 레벨이 급격히 변화하는 에지가 존재하는 경우에도, 의사 신호의 발생을 억제할 수 있어, 화소 열화가 없는 고화질의 화상을 실현하는 것이 가능하게 된다.
본 발명의 기타 목적 및 특징은, 첨부 도면을 참조한 이하의 실시예를 통해 명백해질 것이다.
이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다. 본 발명의 추가적인 목적 및 장점은 아래의 상세한 설명에 의해 명백해질 것이다.
도 1은 본 발명의 제1 실시예의 단판식 컬러 카메라의 색 분리 회로(100)의 구성을 도시하는 개략 블럭도.
도 2는 색차 순차 방식의 모든 화소 독립 독출 동작을 도시하는 모식도.
도 3은 CL CR CB 생성 회로(104)의 동작을 설명하는 모식도.
도 4는 본 발명의 제2 실시예의 단판식 컬러 카메라의 색 분리 회로(200)의 주요부 구성을 도시하는 개략 블럭도.
도 5는 색 분리 회로(200)의 구성을 보다 상세히 도시하는 블럭도.
도 6은 색 분리 회로(200)의 동작을 설명하기 위한 순서도.
도 7은 본 발명의 제3 실시예의 색 분리 회로(300)의 주요부의 구성을 도시하는 개략 블럭도.
도 8은 색차 순차 방식의 색 필터 어레이의 배열과 모든 화소 독립 독출의 동작을 설명하기 위한 모식도.
도 9A는 도 8에 도시된 색 필터 어레이 배치중에서, R신호 성분을 출력하는 화소의 배열을 설명하기 위한 도면이고, 도 9B는 B신호 성분을 출력하는 화소의 배열을 도시하는 도면.
도 10은 본 발명의 제3 실시예의 CL CR CB 생성 회로(304)의 동작을 설명하기 위한 제1 모식도.
도 11은 CL CR CB 생성 회로(304)의 동작을 설명하기 위한 제2 모식도.
도 12는 CL CR CB 생성 회로(304)의 동작을 설명하기 위한 제3 모식도.
도 13은 CL CR CB 생성 회로(304)의 동작을 설명하기 위한 제4 모식도.
도 14는 본 발명의 제4 실시예의 색 분리 회로(400)의 주요부의 구성을 도시하는 개략 블럭도.
도 15는 제4 실시예의 색 분리 회로(400)의 동작을 설명하기 위한 순서도.
도 16은 인터라인 전송 CCD의 구성을 도시하는 개략도.
도 17A는 인터라인 전송 CCD의 기수 필드에 대한 필드 축적 독출 동작을 도시하는 모식도, 17B는 우수 필드에 대한 필드 축적 독출 동작을 도시하는 모식도.
도 18은 종래의 색차 순차 방식 색 필터 어레이로부터의 색 분리 회로를 도시하는 개념도.
도 19은 저역통과 필터의 구성을 도시하는 개략 블럭도.
도 20은 저역통과 필터의 주파수 특성을 도시하는 그래프.
도 21은 종래의 색 분리 회로(500)의 구성을 도시하는 개략 블럭도.
도 22은 색 순차 방식의 색 필터 배열과 인터라인 독출을 설명하는 개념도.
도 23은 종래의 색 분리 회로(500)의 출력 신호의 주파수 특성을 도시하는 도면.
＜도면의 주요 부분에 대한 부호의 설명＞
2 : 광학계
12 : 감광부
14 : 전송부
16 : 수평 전송 레지스터
22 : 지연회로
24 : 가산회로
26 : 감쇄기
100, 200, 300, 500 : 색분리 회로
102 : 구동회로
108 : 매트릭스 회로
110 : 프레임 메모리
206 : 입력 버퍼
208 : 제어 회로
210 : 색차 신호 분리 회로
220 : 신호 처리 회로
230 : 출력 버퍼
502, 504 : 샘플 홀드 회로
504 : 가산 회로
508 : 감산 회로
510 : 지연 회로
512 : 선택 회로
[제1 실시예]
도 1은 본 발명의 색 분리 회로(100)의 주요부 구성을 도시하는 개략 블럭도이고, 도 21는 종래의 색 분리 회로(500)의 구성과 대비한 도면이다.
색 분리 회로(100)는 피사체로부터의 광을 수신하는 광학계(2)와, 광학계(2)에 의해 결상된 광학상을 전기 신호로 변환하는 CCD(10)와, CCD(10)에 대해 모든 화소 독립 출력 구동을 행하는 구동회로(102)와, CCD(10)의 출력 신호를 수신하여 휘도 신호 CL 및 색차 신호 CR 및 CB를 생성하는 CL CR CB 생성 회로(104)와, CL CR CB 생성 회로(104) 사이에서, CCD(10)로부터의 독출 신호 D(x, y), 휘도 신호CL, 색차 신호 CR 및 CB를 수신하는 적어도 2 주사선분 이상의 이들의 신호를 보유하는 것이 가능한 랜덤 액세스 메모리(106)(이하, RAM이하고 칭한다.)와, CL CR CB 생성 회로(104)로부터의 신호를 수신하여 소정의 연산으로서 삼원색 신호 RGB를 분리하여 출력하는 매트릭스 회로(108)를 포함한다.
도 2는 본 실시예에서 있어서의 색 필터 어레이의 배열과, 상기 배열을 갖는 색 필터 어레이를 포함하는 CCD(10)로부터의 신호 독출을 설명하는 모식도이다.
도 17A 및 도 17B에 도시한 종래의 필드 가산 독출 방식과는 달리, 본 실시예 형태에서는 모든 화소 독립 독출 동작을 행한다. 즉, 구동회로(102)는 도 21에 있어서의 종래예와 달리, CCD(10)내에서의 수직 방향 2화소의 혼합을 행하지 않는 구동 펄스를 발생한다. 결국, CCD(10)의 출력 신호는 도 17A 및 도 17B에 도시한 필드 독출에서는 없는 이를 테면 필드 독출로 된다.
즉, 도 2에 도시하는 바와 같이, 수직 방향(Y방향) 0번째의 제0 라인에서는 수평 방향(X 방향)에 색 필터 Ye 및 Cy가 교호로 배치되어 있는 것에 비해, CCD(10)으로부터의 독출 신호는 상기 라인에 대응하는 주사선에 대해서는 Ye와 Cy가 교호로 출력되는 신호로 된다. 다음의 제1 라인(y=1에 상당)에 대해서는 신호 Mg와 신호 G가 교호로 출력된다.
이상 서술한 바와 같이, CCD 출력 신호에 있어서의 각 화소(x, y)와 필터색 간의 관계는 n를 자연수로 할 때, 이하와 같은 관계가 된다.
i) y=4n-4 또는 y=4n-2인 경우(즉, y=0, 2, 4,...)
x가 우수이면 색 필터의 색은 Ye이고,
x가 기수이면 색 필터의 색은 Cy이다.
ⅱ) y=4n-3인 경우(즉, y=1, 5, 9,...)
x가 우수이면 색 필터의 색은 Mg이고,
x가 기수이면 색 필터의 색은 G이다.
ⅲ) y=4n-1인 경우(즉, y=3, 7, 11, ...)
x가 우수이면 색 필터의 색은 G이고,
x가 기수이면 색 필터의 색은 Mg이다.
또, 상기 설명에서는 설명의 편의상, Mg 및 G의 색 필터에 속하는 행이 기 수행이고, Ye 및 Cy의 색 필터에 속하는 행이 우수행인 것으로 하였지만, 본 발명은 이와 같은 경우에 한정되어 있지 않고, 예를 들면 상기의 배열이 1행분 어긋한 색 필터의 배열에 대해서도 동일하게 적용될 수 있다.
다음에, 도 2에 대해 설명한 바와 같이, 모든 화소 독립 독출이 행해진 경우의 CL CR CB 생성 회로(104)의 동작을 설명한다.
도 3은 CL CR CB 생성 회로(104)에 있어서의 데이타 처리와 RAM(106)의 데이타의 추출을 모식적으로 도시한 도면이다.
우선, CCD(10)의 출력 신호가 RAM(106)에 기입된다. 다음에, 화소(x, y)에 대응하여 RAM(106)에 보유되어 있는 CCD(10)으로부터 독출 신호 D(x, y), D(x+1, y), D(x, y+1), D(x+1, y+1)의 데이타를 CL CR CB 생성 회로(104)는 독출한 후, 이들 각 독출 데이타의 대응하는 필터의 색에 따라 각각의 독출 신호에 대해 계수 Kc(x, y), Kc(x+1, y), Kc(x, y+1), Kc(x+1, y+1)를 승산한 후, 더하기 때문에, 상기 4 화소 (x, y), (x+1, y), (x, y+1), (x+1, y+1)의 중앙 위치에 대응하는 신호 Cc(x, y)를 생성한다.
여기서, 첨자 c는 L, R, B중 어느 것이고, CL(x, y)는 휘도 신호를, CR(x, y)는 제1 색차 신호를, CB(x, y)는 제2 색차 신호를 각각 나타낸다. 또, 신호 Cc(x, y)가 상기 4 화소의 중앙 위치에 대응하는 신호로 정의하였지만, 이것은 편의상 한 것이며, 화소(x, y)와 1대1로 대응하기 때문에 화소(x, y)에 대응하는 신호로 정의할 수도 있다.
즉, 수학식으로 표현하면, 이하와 같이 된다.
[수학식 14]
Figure pat00103
이때, 화소(X, Y)의 필터의 색과 CL CR CB 신호를 형성하기 위한 계수 KL(X, Y), KR (X, Y), KB (X, Y)는 이하의 관계가 있게 된다. 여기서, X=x, x+1, Y=y, y+1이다.
i) 화소 (X, Y)의 필터의 색이 Cy인 경우
Figure pat00104
ⅱ) 화소 (X, Y)의 필터의 색이 Ye인 경우
Figure pat00105
ⅲ) 화소 (X, Y)의 필터의 색이 Mg인 경우
Figure pat00106
iv) 화소 (X, Y)의 필터의 색이 G인 경우
Figure pat00107
[휘도 신호 및 색차 신호 생성의 구체예]
이상의 필터의 색과 계수 KL, KR, KG와의 관계에 근거하여, 실제로 휘도 신호 및 색차 신호가 생성되는 과정을 보다 구체적으로 설명한다.
구체적인 예로서, 도 2에서 동그라미로 표시한 화소(1, 2)에서, 상기 화소에 대응하는 휘도 신호 및 색차 신호를 상기 순서에 따라 구하기로 한다.
[휘도 신호 CL (1, 2)의 생성]
화소(1, 2)를 포함하는 2행 2열의 화소군으로서는 화소(1, 2), 화소(2, 2), 화소(1, 3) 및 화소(2, 3)가 존재한다.
이 경우, 화소(1, 2)에 대응하는 색 필터는 Cy이고, 화소(2, 2)에 대응하는 색 필터는 Ye이고, 화소(1, 3)에 대응하는 색 필터는 Mg이고, 화소(2, 3)에 대응하는 색 필터는 G이다.
따라서, 수학식 14에 기초하여 휘도 신호 CL(1, 2)를 구하면 이하와 같이 된다.
[수학식 15]
Figure pat00108
[수학식 16]
Figure pat00109
[수학식 17]
Figure pat00110
Figure pat00111
여기서, 수학식 15에서 수학식 16으로의 변형에 있어서는 상기 필터의 색과 계수 KL (X, Y)와의 관계를 이용하고, 수학식 16에서 수학식 17으로의 변형은 수학식 1 내지 수학식 3을 이용하였다.
이상의 선형 연산에 의해, 화소(1, 2)에 대한 휘도 신호 CL (1, 2)를 구할 수 있다.
[색차 신호 CR (1, 2)의 생성]
제1 색차 신호 CR (1, 2)에 대해서도, 수학식 14에 기초하여 이하와 같이 하여 구할 수 있다.
[수학식 18]
Figure pat00112
[수학식 19]
Figure pat00113
[수학식 20]
Figure pat00114
여기서, 수학식 18에서 수학식 19로의 변형에 있어서는 화소 (X, Y)의 필터의 색과 작성 계수 KR (X, Y)와의 관계를 이용하고, 수학식 19에서 수학식 20으로의 변형은 수학식 1 내지 수학식 3을 이용하였다.
이상과 같은 선형 연산에 의해, 화소(1, 2)에 대응하는 제1 색차 신호 CR (1, 2)가 생성된다.
[색차 신호 CB (1, 2)의 생성]
제2 색차 신호 CB (1, 2)에 대해서도, 제1 색차 신호 CB (1, 2)와 동일하게 하여 이하와 같이 구할 수 있다.
[수학식 21]
Figure pat00115
[수학식 22]
Figure pat00116
[수학식 23]
Figure pat00117
여기서도, 수학식 21에서 수학식 22로의 변형에 있어서는 화소 (X, Y)의 필터의 색과 작성 계수 KB (X, Y)와의 관계를 이용하고, 수학식 22에서 수학식 23으로의 변형은 수학식 1 내지 수학식 3을 이용하고 있다.
이상과 같은 CCD(10)을 구성하는 모든 화소 각각에 대응하여, 휘도 신호 CL및 색차 신호 CR 및 CB를 생성할 수 있다.
여기에서, 상술한 바와 같이, CCD 출력 신호가 대응하는 화소(x, y)와 색 필터의 색과의 사이에는 간단한 관계가 성립하기 때문에, 상기 관계를 기초로 CL CR CB 생성 회로(104)는 상술한 연산에 의해 휘도 신호 CL 및 색차 신호 CR 및 CB를 생성할 수 있다.
[RGB 신호의 분리]
다음에, 도 1에 도시한 매트릭스 회로(108)의 동작에 대해 간단히 설명한다.
매트릭스 회로(108)은 CL CR CB 생성 회로(104)로부터 출력 신호 CL, 신호 CR, 신호 CB를 수신하여 이하에 도시하는 연산을 행하기 때문에, CCD의 모든 화소 각각에 대응하는 RGB 신호의 분리를 행한다.
[수학식 24]
Figure pat00118
[수학식 25]
Figure pat00119
[수학식 26]
Figure pat00120
따라서, CCD(10)에 있어서의 모든 화소의 각각에 대응하여 RGB 신호를 생성하는 것이 가능하게 된다. 이 때문에, 종래의 색 분리 회로와는 달리, 수평 해상도는 H-1, 수직 해상도는 V-1로 된다.
여기서, 수평 해상도 및 수직 해상도에서 -1이 되는 것은 본 실시형태에서는2행 2열의 화소군으로부터 그것에 포함된 한개의 화소(x, y)에 대응한 RGB 신호를 생성하고 있기 때문에, 2행 2열의 화소군을 생성하기 위해 수평 및 수직 모두 유효화소수가 1열 또는 1행씩 감소하기 때문이다.
이상의 설명에서는 색 필터 어레이의 배치로서 도 2에 도시하는 바와 같은 색차 순차 방식의 배열의 경우를 예로서 설명하였지만, 본 발명은 이와 같은 색 필터 어레이의 배열에 한정되어 있지 않고, 다른 색 필터 어레이의 배열에 대해서는 각각에 대해 작성 계수 KL, KR, KG를 변경하여 적용할 수 있게 된다.
[제2 실시예]
도 1에 도시한 제1 실시예에서는 색 분리 회로(100)는 CL CR CB 생성 회로(104)와의 사이에서, CCD(10)으로부터의 독출 신호 D (x, y), 휘도 신호 CL, 색차 신호 CR 및 CB의 수신을 행하고, 적어도 2주사선 이상의 이들 신호를 보유하는 것이 가능한 RAM(106)을 포함한 구성으로 되어 있었다.
따라서, CCD(10)로부터의 독출신호 D(x, y)의 1프레임분을 모두 이를 테면 프레임 메모리중에 격납한 후, 상기 프레임 메모리중의 독출 신호에 기초하여, CL CR CB 생성 회로가 처리를 행하여, 휘도 신호 CL, 제1 및 제2 색차 신호 CR, CB를 생성하는 구성으로 할 수도 있다.
도 4는 상술한 바와 같은 구성을 갖는 본 발명의 제2 실시예의 색 분리 회로(200)의 주요부 구성을 도시하는 개략 블럭도이다.
즉, 색 분리 회로(200)는 CCD(10)로부터의 독출 신호 D(x, y)의 1프레임분을 모두 격납하는 프레임 메모리(110)을 포함하고, CL CR CB 생성 회로(204)는 상기프레임 메모리로부터의 데이타를 수신하여, 휘도 신호 CL, 제1 및 제2 색차 신호 CR, CB를 생성하는 구성으로 되어 있는 점에서, 제1 실시예의 색 분리 회로(100)의 구성과는 다르다. 그 외의 점은 제1 실시예의 색 분리 회로(100)의 구성과 동일하므로, 동일 부분에는 동일 참조 번호를 붙여 설명은 반복하지 않는다.
결국, 제2 실시예의 색 분리 회로(200)에서도, 제1 실시예에서 수학식 14에 의해 설명한 방법에 따라, 휘도 신호 CL, 제1 및 제2 색차 신호 CR, CB가 생성된다.
도 5는 도 4에 도시한 구성중에서, CL CR CB 생성 회로(204)의 구성을 보다 상세히 도시하는 블럭도이다. 또, 도 5중에서는 색 분리 회로(200)는 매트릭스 회로(108)로부터의 신호를 수신하여, 화이트 밸런스 보정, γ보정을 행한 외에 휘도 신호 Y, 색차 신호 Cu, Cv를 생성하는 신호 처리 회로(220)와, 신호 처리 회로(220)로부터의 신호를 수신하여 외부로 출력하는 출력 버퍼(230)를 포함한 구성으로 되어 있다.
여기서, 색 분리 회로(200)는 예를 들면, ASIC (특정 용도용 집적회로)로서 구성할 수도 있다.
프레임 메모리(110)는 특별히 한정되어 있지 않지만, CCD(10)의 수평 화소수를 H, 수직 화소수를 V로 할 때, HxV개의 화소 데이타를 보유할 수 있는 기억용량을 갖는 다이나믹형 랜덤 액세스 메모리 (이하, DRAM이라고 칭한다.)로 구성할 수도 있다.
CL CR CB 생성 회로(204)는 프레임 메모리(110)로부터 소정의 화상 처리를행하기 위해 필요한 복수의 화소에 대응하는 1프레임의 데이타를 수신하는 입력 버퍼(206)와, 프레임 메모리(110)로부터 독출하는 데이타 블럭의 어드레스를 제어하는 제어회로(208)와, 제어회로(208)에 제어되고, 입력 버퍼중의 1블럭의 데이타에 대해 화소마다 휘도 신호 CL과, 제1 및 제2 색차 신호 CR, CB의 분리 처리를 행하는 색차 신호 분리 회로(210)를 포함한다.
여기서, 소정의 화상 처리로서 예를 들면, 화상 데이타 압축 처리의 표준의 하나인 JPEG (Joint Photographic coding Experts Group) 부호화를 행하는 경우는 입력 버퍼(206)는 9x9 화소에 대응하는 데이타를 1블럭으로서 격납한다.
이것은 JPEG 부호화는 8x8 화소의 데이타를 단위로 하여 행해지기 때문에, 상기 8x8 화소 각각에 대응하는 휘도 신호 CL과, 제1 및 제2 색차 신호 CR, CB를 생성하기 위해서는 제1의 실시예에서 설명한 2x2 화소의 데이타로부터 1화소에 대응하는 신호를 생성하는 경우, 9x9 화소분의 데이타가 필요하게 되기 때문이다.
입력 버퍼(206)는 특별히 한정되어 있지 않지만, 상기 9x9 화소분의 데이타를 보유할 수 있는 용량을 갖는 스태틱형 랜덤 액세스 메모리(이하, SRAM이라고 칭한다.)로 구성할 수 있다.
색차 신호 분리회로(210)는 제어 회로(208)로서 제어되어, 입력 버퍼(206)중에 격납된 9x9 화소분의 데이타중에서, 2x2 화소분의 데이타를 순차적으로 독출하고, 각 화소에 대응하는 색 필터의 색에 대해 수학식 14에 따라, 휘도 신호 CL과, 제1 및 제2 색차 신호 CR, CB를 생성한다.
매트릭스 회로(108)는 색차 신호 분리 회로(210)로부터의 출력을 수신하고,각 2x2 화소의 중앙 위치에 대응하는 삼원색 신호 R, G 및 B를 출력하고, 신호 처리 회로(220)는 특별히 한정되어 있지 않지만, 삼원색 신호에 기초하여 화이트 밸런스 보정, γ보정을 행한 후, 휘도 신호 Y 및 색차 신호 Cu(=B-Y), Cv(=R-Y)를 생성한다. 또한, Y, Cu, Cv의 각 신호는 수학식 100에 의해 산출된다.
[수학식 100]
Figure pat00121
출력 버퍼(230)는 신호 처리 회로(220)로부터 출력되는 각 신호를 1블럭분(JPEG 부호화에서는 8x8 화소분의 데이타)를 축적하고, 상기 블럭 단위로 외부로 출력한다.
따라서, 출력 버퍼(230)는 특별히 한정되어 있지 않지만, 상기 8x8 화소분의 데이타를 보유할 수 있는 용량을 갖는 SRAM으로 구성할 수 있다.
출력 버퍼(230)로부터의 출력에 기초하여, JPEG 부호화 회로(도시되지 않음)가 JPEG 부호화 처리를 행하고 부호화된 데이타는 예를 들면, 플래쉬 메모리에 저장된다.
이상과 같은 처리가 프레임 메모리(110)중에 격납된 1프레임분의 데이타에 대해 반복되므로, 1프레임분의 화상에 대한 압축 데이타가 최종적으로 플래쉬 메모리에 격납된다,
도 6은 도 5에 도시한 색 분리 회로(200)의 동작을 설명하기 위한 순서도이다.
도 6을 참조하면, 입력 버퍼(206)는 제어 회로(208)로서 제어되고, 처리 단위 데이타의 블럭(9x9 화소분의 데이타)을 프레임 메모리(110)로부터 추출한다(단계 S100).
이어서, 색차 신호 분리 회로(210)는 제어 회로(208)로부터 지시된 어드레스에 따라, 입력 버퍼(206)중의 처리 단위 데이타로부터 색차 신호의 분리 처리를 행하기 위해 2x2 화소분의 데이타를 수신한다(단계 S102).
색차 신호 분리 회로(210)는 취입한 2x2개의 화소(x, y), (x+1, y), (x, y+1), (x+1, y+1)의 어드레스에 기초하여 정한다. 각 화소에 대응하는 색 필터의 색에 대응하여, 수학식 14로 표현되는 처리를 행한다. 즉, 도 2에 도시한 색 필터의 배열에서, 2x2 화소에 대응하는 색 필터의 배열의 종류가 배열 1 내지 배열 n만으로 하면, 데이타를 취입한 2x2개의 화소에 대응하는 배열 i(i=1, 2, ..., n)에 대응한 처리가 행해진다(단계 S 106 내지 S112).
매트릭스 회로(108)는 색차 신호 분리 회로(210)로부터의 출력을 수신하여 각 2x2 화소의 중앙 위치에 대응하는 삼원색 신호 R, G 및 B를 출력한다(단계 S 114).
이어서, 신호 처리 회로(220)는 삼원색 신호에 기초하여, Y, Cu, Cv 신호를 생성한다(단계 S 116).
출력 버퍼(230)는 신호 처리 회로(220)로부터 출력되는 영상 신호를 축적한다(단계 S 118).
이어서, 입력 버퍼(206)중에 격납되어 있는 1블럭분의 데이타 (9x9 화소분의 데이타)에 대한 색차 신호 분리 처리가 종료하고 있는지 아닌지의 판단이 행해진다(단계 S 120).
1블럭분의 데이타에 대한 처리가 종료하고 있지 않다고 판단된 경우, 처리는 S 120으로 복귀한다(단계 S 120).
1블럭분의 데이타에 대한 처리가 종료하고 있다고 판단된 경우(단계 S 120), 출력 버퍼(230)로부터 8x8 화소분에 대응하는 Y, Cu, Cv가 출력되고, 이들 데이타를 수신하여 JPEG 부호화 회로가 JPEG 부호화 처리(화상 데이타 압축 처리)를 행한다(단계 S 122).
부호화된 데이타는 플래쉬 메모리에 저장된다(단계 S 124).
이상과 같은 처리가 프레임 메모리(110)중에 격납된 1프레임분의 데이타에 대해 반복되므로, 1프레임분의 데이타에 대한 데이타 압축 및 데이타 보유가 행해진다.
따라서, 제2 실시예의 색 분리 회로(200)에서도, 제1 실시예의 색 분리 회로(100)와 동일하게, CCD(10)에 있어서의 모든 화소 각각에 대응하여 RGB 신호를 생성할 수 있게 된다. 이 때문에, 종래의 색 분리 회로와는 다르며, 수평 해상도는 H-1, 수직 해상도는 V-1로 되며, 해상도와 향상이 실현된다.
또, 물론, 제2 실시예의 색 분리 회로(200)에서도, 색 필터 어레이의 배치로서 도 2에 도시한 바와 같은 색차 순차 방식의 배열의 경우에 한정되지 않고, 다른 색 필터 어레이의 배열에 대해서는 각각에 대응하여 작성 계수 KL, KR, KB를 변경하여 적용할 수 있다.
[제3 실시예]
본 발명의 제3 실시예의 색 분리 회로(300)는 기본적으로 제1 실시예의 색 분리 회로(100)의 구성과 동일한 구성을 갖는다. 단 이하에 설명하는 바와 같이, CL CR CB 생성 회로(104)를 CL CR CB 생성 회로(304)로 치환함으로서 한층 의사 신호의 발생을 억제하는 것을 목적으로 한다.
즉, 도 7에 도시한 제3 실시예의 색 분리 회로(300)의 구성은, 도 1에 도시한 제1 실시예의 색 분리 회로(100)의 구성중에서, CL CR CB 생성 회로(104)만이 CL CR CB 생성 회로(304)로 치환된 것이다.
도 8은 본 실시예에 있어서의 색 필터 어레이의 배열과 상기 배열을 갖는 색 필터 어레이를 포함하는 CCD(10)로부터의 신호 독출을 설명하는 모식도이다.
본 실시예에서도, CCD(10)은 모든 화소 독립 독출 동작을 행한다. 즉, 구동회로(102)는 CCD(10)내에서의 수직 방향 2화소의 혼합을 행하지 않는 구동 펄스가 발생한다. 결국, CCD(10)의 출력 신호는 도 17에 도시한 필드 독출 신호가 아닌 이를 테면 프레임 독출 신호로 된다.
즉, 도 8에 도시하는 바와 같이, 수직 방향(y 방향) 0번째의 제0라인에서는 수평 방향(x 방향)으로 색 필터 Mg 및 G가 교호로 배치된 것에 대응하고, CCD(10)로부터의 독출 신호는 상기 라인에 대응하는 주사선에 대해서는 Mg와 G가 교호로 출력되는 신호로 된다. 다음의 제1 라인(y=1에 상당)에 대해서는 신호 Ye와 신호 Cy가 교호로 출력된다.
이상 서술한 바와 같은, CCD 출력 신호에 있어서의 각 화소(x, y)와 필터색과의 관계는 n를 자연수로 할 때, 이하와 같은 관계로 된다.
i) y=4n-3 또는 y=4n-1인 경우(즉, y=1, 3, 5,...)
x가 우수이면 색 필터의 색은 Ye이고,
x가 기수이면 색 필터의 색은 Cy이다.
ⅱ) y=4n-4인 경우(즉, y=0, 4, 8,...)
x가 기수이면 색 필터의 색은 Mg이고,
x가 우수이면 색 필터의 색은 G이다.
ⅲ) y=4n-2인 경우(즉, y=2, 6, 10,...)
x가 기수이면 색 필터의 색은 G이고,
x가 우수이면 색 필터의 색은 Mg이다.
또, 상기 설명에서는 설명의 편의상, Mg 및 G의 색 필터에 속하는 행이 우 수행이고, Ye 및 Cy의 색 필터에 속하는 행이 기수행인 것으로 하였지만, 본 발명은 이와 같은 경우에 한정되어 있지 않고, 예를 들면 상기의 배열이 1행분 어긋한 색 필터의 배열에 대해서도 동일하게 적용될 수 있다.
[화소 (x, y)에 대해 고정된 4 화소로부터의 색차 신호의 생성]
상술한 바와 같이, 본 실시예에서는 CCD(10)로부터 모드 화소 독립하여 출력 신호가 독출되고, 이들 신호가 RAM(106)에 보유되는 구성으로 되어 있다.
따라서, 이하에 설명하는 바와 같이, 각 화소(x, y)마다 휘도 신호 CL(x, y) 및 제1 색차 신호 CR(x, y) 및 제2 색차 신호 CB(x, y)를 각각 이하의 연산으로서생성할 수 있다.
여기서, CCD(10)중의 화소(x, y)에 대응하는 광전변환 소자로부터의 출력 신호를 D(x, y)로 나타내는 것으로 한다.
이때, 제1 실시예에서 설명한 바와 같이, 화소(x, y)를 포함하는 2행 2열의 화소(x, y), (x+1, y), (x, y+1), (x+1, y+1)로부터의 출력 신호에 대해, 수학식 14로 나타내는 선형 연산에 의해 휘도 신호 및 2개의 색차 신호를 추출할 수 있다.
이하에서는 이와 같은 제1 실시예에 있어서의 색 분리 처리의 문제점을 명확히 하기 위해, 상술한 필터의 색과 계수 KL, KR, KB와의 관계에 기초하여, 실제로 휘도 신호 및 색차 신호가 생성되는 과정을 보다 구체적으로 설명한다.
이하에서는 일례로서, 도 8에서, 화소(0, 0)에 대응하는 휘도 신호 및 색차 신호를 구하는 것으로 한다.
수학식 1 내지 수학식 3이 성립하는 것에 주의하면, 휘도 신호 CL(0, 0)는 이하의 수학식 27에 의해 표현된다.
[수학식 27]
Figure pat00122
또한, 제1 색차 신호 CR (0, 0)는 이하의 수학식 28로부터 산출된다.
[수학식 28]
Figure pat00123
Figure pat00124
한편, 제2 색차 신호 CB (0, 0)은 이하의 수학식 29에 의해 산출된다.
[수학식 29]
Figure pat00125
즉, 화소 (0, 0)에 대한 휘도 신호 및 2개의 색차 신호는 화소(0, 0), (1, 0), (0, 1), (1, 1)로부터의 출력 신호를 이용하여 산출될 수 있다.
상기 예에서는 주목할 화소(0, 0)이 마젠타 색 필터에 대응하고 있는 경우를 도시하고 있지만, 주목할 화소가 다른 색 필터인 경우에도, 그 화소(x, y)를 포함하는 2행 2열의 화소 (x, y), (x+1, y), (x, y+1), (x+1, y+1)로부터의 출력 신호의 선형 연산에 의해 휘도 신호 및 색차 신호를 구할 수 있다.
따라서, 각 화소마다 휘도 신호 및 2개의 색차 신호를 구할 수 있기 때문에, 종래의 색 분리 회로보다도 해상도가 향상한 색 분리 회로를 실현할 수 있다고 하는 효과가 있다.
[고정된 4 화소로부터의 색차 신호의 생성시의 문제점]
따라서, 상기와 같은 색 분리 방식에는 이하에 서술하는 바와 같은 문제점이 있다.
i) 수평 방향으로 휘도가 변화하는 경우
즉, 도 8중에 도시한 바와 같이, CCD 화소 배열 형태로 입력하는 광 강도로 수평 방향의 휘도 레벨의 변화 H(화면의 좌에서 우로 휘도 레벨이 변화하는 에지) 부분이 있는 경우를 고려한다.
이하에서는 설명을 간단히 하기 위해, 상기 에지 부분에는 색성분이 없는 무채색의 광신호가 입력하고, 휘도 레벨만이 변화하고 있는 것으로 한다.
상기 에지 부분에서 수평 방향 (x축)으로 향하여 휘도 레벨이 b/a (b>a)만 변화하였다고 한다.
이하에서도, 일례로서, 화소(0, 0)에 대응하는 휘도 신호 및 색신호를 상기의 경우에 대해 산출하면 이하와 같이 된다.
우선, 휘도 신호 CL (0, 0)에 대해서는 이하와 같이 된다.
[수학식 30]
Figure pat00126
다음에, 제1 색차 신호 CR (0, 0)에 대해서는 이하와 같이 된다.
[수학식 31]
Figure pat00127
다음에, 제2 색차 신호 CB (0, 0)에 대해서는 이하와 같이 된다.
[수학식 32]
Figure pat00128
여기서, 색성분 없다고 가정하였기 때문에, 이하의 2개의 수학식이 성립된다.
Figure pat00129
따라서, 2R=2B=G=2S에서, R=S, B=S, G=2S를 상기 수학식 30 내지 32에 대입하면 제1 및 제2 색차 신호에 대해 이하의 결과가 얻어진다.
[수학식 33]
Figure pat00130
[수학식 34]
Figure pat00131
따라서, 본래 색성분이 없는 화소(0, 0)에 색신호가 발생해버린다. 그 결과,화면상에는 의사 색이 나타나, 화질 열화의 요인이 된다.
동일하게, 도 8에 도시한 수평 방향의 휘도 레벨의 변화 H2가 있는 경우, 화소(1, 0)에 대해서의 색차 신호를 산출하면 이하와 같이 된다.
[수학식 35]
Figure pat00132
[수학식 36]
Figure pat00133
따라서, 휘도 레벨의 변화 H2가 존재하는 경우에도 화소(1, 0)에서 의사 색이 발생한다.
수평 방향으로 휘도 변화의 에지가 존재하는 모든 화소에 대해 동일하다고 말할 수 있다.
ⅱ) 수직 방향으로 휘도가 변화하는 경우
다음에, 도 8에 도시하는 바와 같이, 수직 방향의 휘도 변화 V1이 존재하는 경우에 대해, 동일하게 화소 (0, 2)에 대해, 색차 신호를 산출하면 이하와 같이 된다.
색차 신호 CR (0, 2)에 대해서는 이하와 같이 된다.
[수학식 37]
Figure pat00134
색차 신호 CB (0, 2)에 대해서는 이하와 같이 된다.
[수학식 38]
Figure pat00135
여기에서도, 동일하게, 2R=2B=G=2S로 됨으로서, CR (0, 2)=0 및 CB (0, 2)=0이 얻어진다.
따라서, 수직 방향에는 의사 색이 발생하지 않는 것을 알 수 있다.
동일하게 하여, 도 8에 도시한 수직 방향의 휘도 신호의 변화 V2가 존재하는 경우에도, 그 에지부분의 화소에 대해서는 색차 신호의 값은 모두 0으로 되고, 수직 방향의 에지에 대해서는 의사 색이 발생하지 않는다는 것을 알 수 있다.
따라서, 이상 설명한 바와 같이, 화소 (x, y)에 대해, 그것을 포함하는 2행 2열의 화소(x, y), (x+1, y), (x, y+1), (x+1, y+1)로부터의 출력 신호에 기초하여, 색차 신호를 연산하는 방법에서는 수평 방향으로 뚜렷한 휘도 변화(에지)가 있는 것과 같은 경우에 의사 색이 발생한다. 이 때문에 화면상에 화상을 재생한 경우, 본래 색이 없는 부분에 의사 색이 현상 화질을 열화시키고 만다. 또, 신호 CL, CR, CB로부터 3원색의 R, G, B 신호를 생성하는 과정에서, 의사 색 성분에 의해 의사 휘도 신호가 발생해버리는 휘도 신호의 열화를 초래하고 만다.
[의사 색신호의 발생과 색 필터 배열간의 관계]
이상 설명한 바와 같이, 도 8에 도시하는 바와 같은 색차 순차 방식의 색 필터의 배열에서는 수평 방향으로 뚜렷한 휘도 변환가 있는 경우, 의사 색이 발생한다.
그래서, 이하에 그와 같은 의사 색이 발생하는 화소와, 색 필터의 배열간의 관계에 대해 고려한다.
도 9A는 도 2에 도시한 색 필터 어레이에 대해서의 R 신호 성분을 포함하는 색신호를 출력하는 필터 배치를 도시하는 도면이고, R 신호 성분을 갖는 신호를 출력하는 화소의 배열을 사선으로 도시하고 있다. 도 9B는 B 신호 성분을 포함하는 신호를 출력하는 화소의 배열을 사선으로 도시하는 도면이다.
수학식 1 내지 3에 주목하면, R 신호는 도 8에 도시한 색 필터 배열중, 마젠타 색 필터 및 황색 필터에 대응하는 화소로부터의 출력 신호에 포함된다. 한편, B신호 성분은 마젠타 색 필터 및 마젠타 색 필터에 대응하는 화소로부터의 출력 신호에 포함된다.
여기서, 도 8에 도시한 바와 같은 수평 방향의 휘도 신호의 변화 H1이 있는 경우에 대해 이하 고려하는 것으로 한다.
화소(0, 0)에 주목하면, 상기 화소를 포함하는 상술한 2행 2열의 화소로부터의 출력 신호중에서, R신호 성분을 갖는 출력 신호는 휘도 레벨이 작은 측으로부터만 얻어지고, 휘도 레벨이 높은 측에는 R 신호 성분은 존재하지 않는다.
이것에 대응하여, 색차 신호 CR (0, 0)에는 큰 의사 색신호 성분이 발생하고 있다.
이것에 대해, 화소 (0, 0)를 포함하는 상술한 2행 2열의 화소중에서, B 신호성분을 갖는 신호를 출력하는 화소는 휘도 레벨이 높은 측에도 낮은 측에도 존재하고 있다.
따라서, 색차 신호 CB (0, 0)에 대한 의사 색신호는 색차 신호 CR(0, 0)에 대해 나타나는 의사 색신호 성분보다도 절대값이 작은 것으로 되고 있다.
따라서, 휘도 신호 변화에 에지가 존재한 경우에도, 의사 색신호의 발생을 억제하기 위해서는 얻도록 하는 색신호가 CR 신호인 경우, R 신호 성분을 출력하는 화소가 대각방향으로 배열되고 있는 2행 2열의 화소군으로부터의 신호에 기초하여 상기 색차 신호 CR를 산출하면 좋다. 동일하게 색차 신호 CB에 대해서 말할 수 있다.
[CL CR CB 생성 회로(304)의 동작]
다음에, 상술한 바와 같은 의사 색신호의 발생을 억제하는 것이 가능한 색 분리 방식에 대해 설명한다.
즉, 도 7에 도시한 CCD(10)으로부터 모든 화소 독립 독출이 행해진 경우의 CL CR CB 생성 회로(304)의 동작에 대해 설명한다.
상술한 바와 같이, 도면상에서 색차 신호의 생성 방법을 설명할 때의 편의상, 이들 2행 2열의 화소로부터의 출력 신호에 기초하여, 이들 4 화소의 중앙 위치의 화소에서의 휘도 신호 및 색차 신호를 생성한다고 하는 현상을 이용하는 것으로 한다.
단, 화소 (x, y)의 화소에 대해서의 색차 신호를 상기 화소를 포함하는 화소(x+1, y), (x, y+1), (x+1, y+1)의 2행 2열의 출력 신호로부터 생성한다고 하는 현상을 이용하는 것도 물론 가능하다. 이 경우에도, 4 화소중에서 화소 (x, y)에 대해서의 휘도 신호 및 색차 신호를 중앙 위치에서의 휘도 신호 및 색차 신호를 고려하면, 이하의 설명과 실체적인 변경은 없다.
또, 출력 신호 D (x, y)가 예를 들면 마젠타 색 필터인 경우, 상기 신호를 특별히 Mg (x, y)로 표현하는 것으로 한다.
도 10 내지 도 13은 본 발명의 색 분리 회로(300)중의 CL CR CB 생성 회로(304)의 동작을 설명하기 위한 도면이다.
도 10은 도 8에 도시한 색 필터 어레이중에서 예를 들면, 화소(0, 0), (1, 0), (1, 0) 및 (1, 1)에 의해 둘러싸인 중앙 위치의 색차 신호를 계산하는 경우에 이용되는 2행 2열의 화소를 도시하는 도면이다.
도 11은 예를 들면, 도 8중의 화소(0, 1), (1, 1), (0, 2) 및 (1, 2)에 의해 둘러싸인 중앙 위치의 색차 신호를 계산하는 경우에 이용되는 2행 2열의 화소를 도시하는 도면이다.
도 12은 예를 들면, 도 8중의 화소(0, 2), (1, 2), (0, 3) 및 (1, 3)에 의해 둘러싸인 중앙 위치의 색차 신호를 계산하는 경우에 이용되는 2행 2열의 화소를 도시하는 도면이다.
도 13은 예를 들면, 도 8중의 화소(0, 3), (1, 3), (0, 4) 및 (1, 4)로 둘러싸인 중앙 위치의 색차 신호를 계산하는 경우에 이용되는 2행 2열의 화소를 도시하는 도면이다.
단, 이하에 설명하는 바와 같이, 도 10 내지 도 13에 도시한 휘도 신호 또는색차 신호를 계산하기 위한 2행 2열의 화소의 선택은 보다 일반적으로 동일한 배열의 화소에 둘러싸인 중앙 위치의 연산의 경우에 적용되는 것이다.
도 10을 참조하여, 화소(0, 0), (1, 0), (0, 1) 및 (1, 1)로 둘러싸인 중앙 위치의 휘도 신호 CL 및 색차 신호 CB는 물론 상기 4 화소로부터의 출력 신호를 근거로 계산된다. 한편, 색차 신호 CR은 y방향으로 1화소분만큼 어긋난 2행 2열의 화소로부터의 출력 신호에 기초하여 계산된다.
도 11을 참조하여, 화소(0, 1), (1, 1), (0, 2) 및 (1, 2)로 둘러싸인 중앙 위치의 휘도 신호 및 색차 신호 CR는 상기 4 화소로부터의 출력 신호에 기초하여 계산된다. 한편, 색차 신호 CB는 -y방향으로 1화소분만큼 어긋난 2행 2열의 화소로부터 계산된다.
도 12을 참조하여, 화소(0, 2), (1, 2), (0, 3) 및 (1, 3)로 둘러싸인 중앙 위치에 대응하는 휘도 신호 CL 및 색차 신호 CR는 상기 2행 2열의 4 화소로부터 계산된다.
한편, 색차 신호 CB는 y방향으로 1화소분 어긋난 2행 2열의 화소로부터의 출력 신호에 기초하여 계산된다.
도 13을 참조하여, 화소(0, 3), (1, 3), (0, 4) 및 (1, 4)로 둘러싸인 중앙 위치의 휘도 신호 CL 및 색차 신호 CB는 상기 4 화소로부터의 출력 신호에 기초하여 계산된다. 한편, 색차 신호 CR는 -y방향으로 1화소분만큼 어긋난 2행 2열의 화소로부터의 출력 신호에 기초하여 계산된다.
이상, 도 10 내지 도 13을 이용하여 설명한 휘도 신호 CL 및 색차 신호 CR및 CB의 계산 방법을 보다 일반적으로 도시하면 이하와 같이 된다.
i) x = 2n - 2, y = 4n - 4 (n는 자연수)인 때
Figure pat00136
Figure pat00137
ⅱ) x = 2n - 2, y = 4n - 3 (n는 자연수)인 때
Figure pat00138
ⅲ) x = 2n - 2, y = 4n - 2 (n는 자연수)인 때
Figure pat00139
iv) x = 2n - 2, y = 4n - 1 (n는 자연수)인 때
Figure pat00140
Figure pat00141
v) x = 2n - 1, y = 4n - 4 (n는 자연수)인 때
Figure pat00142
vi) x = 2n - 1, y = 4n - 3 (n는 자연수)인 때
Figure pat00143
ⅶ) x = 2n - 1, y = 4n - 2 (n는 자연수)인 때
Figure pat00144
Figure pat00145
vⅲ) x = 2n - 1, y = 4n - 1 (n는 자연수)인 때
Figure pat00146
[의사 색신호의 제어 효과]
이상 설명한 CL CR CB 생성 회로(104)의 동작에 의해 생성된 휘도 신호 CL 및 색차 신호 CR 및 CB에 의해 의사 색신호의 발생이 억제되고 있다는 것은 이하와 같이 하여 확인할 수 있다.
일례로서, 화소 (0, 0)에 대해서의 색차 신호를 도출하여 보자.
화소 (0, 0)은 x=2n-2, y=4n-4에서, n=1인 경우에 상당한다.
이때, 도 8에 도시한 수평 방향의 휘도 변화 H1이 있는 경우에 대해 계산하면 이하와 같이 된다.
[수학식 39]
Figure pat00147
Figure pat00148
여기서, 무채색으로 색성분이 없기 때문에, 2R-G=0, 2B-G=0이 성립되고, 2R=2B=G=2S로 되었다.
동일하게 하여, 색차 신호 CB (0, 0)에 대해서도 계산하면, 이하의 결과가 얻어진다.
[수학식 40]
Figure pat00149
도 8에 도시한 수평 방향의 휘도 레벨의 변화 H2가 존재하는 경우에도 동일하게 화소(1, 0)의 색차 신호를 구하면, 이하와 같이 된다.
[수학식 41]
Figure pat00150
[수학식 42]
Figure pat00151
다른 휘도 신호의 에지 부분의 화소에 대해서도 동일하다고 말할 수 있다.
또한, 도 8에 도시한, 수직 방향의 휘도 신호의 레벨의 변화가 있는 경우에도, 동일하게 연산하면, 어느 색차 신호 CR 및 CB 모두 0으로 되고 의사 색차 신호가 발생하지 않는다는 것을 알았다.
색차 신호는 수직 방향의 2행마다 한개의 화소에 대응하는 색차 신호가 계산되어 이루어지기 때문에, 그 수직 해상도는 화소가 수직 방향으로 V자를 존재하는 경우, V/2로 된다. 그러나, 인간의 눈의 특성은 휘도(밝기)의 변화에는 민감하지만, 색의 변화에는 비교적 둔감하기 때문에, 이와 같은 해상도의 저하는 거의 화질의 저하에 연결되지 않는다.
따라서, 이하와 같은 신호 처리를 이용함으로서, 의사 색이 거의 없는 고해상도의 화질을 얻을 수 있다.
이와 같이 하여, CCD(10)를 구성하는 모든 화소의 각각에 대해, 휘도 신호 CL 및 색차 신호 CR 및 색차 신호 CB를 생성할 수 있다.
여기서, 상술한 바와 같이, CCD 출력신호가 대응하는 화소 (x, y)와 색 필터의 색과의 사이에는 간단한 관계가 성립되기 때문에, 이 관계를 근거로 CL CR CB 생성 회로(104)는 상술한 연산에 의해 휘도 신호 CL 및 색차 신호 CR 및 CB를 생성할 수 있다.
[RGB 신호의 분리]
도 7에 도시한 매트릭스 회로(108)의 동작은 제1 실시예의 경우와 동일하다.
따라서, 매트릭스 회로(108)은 CL CR CB 생성 회로(304)로부터의 출력 신호 CL, 신호 CR, 신호 CB를 수신하여 수학식 24 내지 수학식 26에 도시하는 연산을 행하므로, CCD의 모든 화소 각각에 대응하는 RGB 신호의 분리를 행한다.
따라서, CCD(10)에 있어서의 모든 화소의 각각에 대응하여 RGB 신호를 생성할 수 있게 된다. 이 때문에, 제1 실시예와 동일하게, 종래의 색 분리 회로와는 달리, 수평 해상도는 H-1, 수직 해상도는 V-1로 되어 해상도의 향상이 실현된다.
게다가, 상술한 바와 같은 의사 색의 발생을 억제할 수 있다고 하는 효과가 있다.
[제4 실시예]
본 발명의 제4 실시예의 색 분리 회로(400)는 기본적으로는 제2 실시예의 색 분리 회로(200)의 구성과 동일한 구성을 갖는다. 단, 이하에 설명하는 바와 같이, 색차 신호 분리 회로(210)를 색차 신호 분리 회로(410)로 치환하여 한층 의사 색신호의 발생을 억제하는 것을 목적으로 한다.
즉, 도 14에 도시하는 제4 실시예의 색 분리 회로(300)의 구성은 도 5에 도시한 제2 실시예의 색 분리 회로(200)의 구성중에서, 색차 신호 분리 회로(210)만이 색차 신호 분리 회로(410)로 치환된 것이다.
한편, 색차 신호 분리 회로(400)는 CCD(10)로부터의 독출 신호 D(x, y)의 1 프레임분을 모두 격납하는 프레임 메모리(110)를 포함하고, CL CR CB 생성 회로(404)는 상기 프레임 메모리로부터의 데이타를 수신하여, 휘도 신호 CL, 제1 및 제2 색차 신호 CR, CB를 생성하는 구성으로 되어 있는 점에서 제3 실시예의 색 분리 회로(300)의 구성과는 다르다. 그 이외의 점은 제3 실시예의 색 분리 회로(300)의 구성과 동일하므로, 동일 부분에는 동일 참조번호를 붙여 그 설명을 생략한다.
결국, 제4 실시예의 색 분리 회로(400)에서도, 제3 실시예에서 도 10 내지 도 13에 의해 설명한 방법에 따라 휘도 신호 CL, 제1 및 제2 색차 신호 CR, CB가 생성된다.
도 15는 도 14에 도시한 색 분리 회로(400)의 동작을 설명하기 위한 순서도이다.
도 15를 참조하면, 입력 버퍼(206)는 제어 회로(208)로서 제어되고, 처리 단위 데이타의 블럭(9x11 화소분의 데이타)을 프레임 메모리(110)로부터 독출한다(단계 S 200).
이어서, 색차 분리 회로(410)는 제어 회로(208)로부터 지시된 어드레스에 따라, 입력 버퍼(206)중의 처리 단위 데이타로부터 색차 신호의 분리 처리를 행하기 위한 4x2 화소분의 데이타를 수신한다(단계 S202).
색차 신호 분리 회로(410)는 취입한 4x2개의 화소의 어드레스에 기초하여 정한다. 각 화소에 대응하는 색 필터의 색에 대응하여, 도 10 내지 도 13에서 설명된 처리를 행한다. 즉, 도 8에 도시한 색 필터의 배열에서, 4x2 화소중에서 색차 신호를 구하도록 하는 위치에 대응한 화소(x, y)의 x 및 y의 값에 따른 처리가 행해진다(단계 S 206 내지 S212).
매트릭스 회로(108)는 색차 신호 분리 회로(210)로부터의 출력을 수신하여 각 2x2 화소의 중앙 위치에 대응하는 삼원색 신호 R, G 및 B를 출력한다(단계 S 214).
이어서, 신호 처리 회로(220)는 삼원색 신호에 기초하여, Y, Cu, Cv 신호를 생성한다(단계 S 216).
출력 버퍼(230)는 신호 처리 회로(220)로부터 출력되는 영상 신호를 축적한다(단계 S 218).
이어서, 입력 버퍼(206)중에 격납되어 있는 1블럭분의 데이타 (9x11 화소분의 데이타)에 대한 색차 신호 분리 처리가 종료하고 있는지 아닌지의 판단이 행해진다(단계 S 220).
1블럭분의 데이타에 대한 처리가 종료하고 있지 않다고 판단된 경우, 처리는 S 202로 복귀한다(단계 S 220).
1블럭분의 데이타에 대한 처리가 종료하고 있다고 판단된 경우(단계 S 220), 출력 버퍼(230)로부터 8x8 화소분에 대응하는 각 신호 데이타가 출력되고, 이들 데이타를 수신하여 JPEG 부호화 회로가 JPEG 부호화 처리(화상 데이타 압축 처리)를 행한다(단계 S 222).
부호화된 데이타는 플래쉬 메모리에 저장된다(단계 S 224).
이상과 같은 처리가 프레임 메모리(110)중에 격납된 1프레임분의 데이타에 대해 반복되므로, 1프레임분의 화상 데이타에 대한 데이타 압축 및 데이타 보유가 행해진다.
따라서, CCD(10)에 있어서의 모든 화소 각각에 대응하여 RGB 신호를 생성할 수 있게 된다. 이 때문에, 제3 실시예와 동일하게 종래의 색 분리 회로와는 달리, 수평 해상도는 H-1, 수직 해상도는 V-1로 되어 해상도의 향상이 실현된다. 게다가, 제3 실시예와 동일하게 의사 색의 발생을 억제할 수 있다고 하는 효과가 있다.
본 명세서에 개시된 실시예는 모든 점에서 예시이며 제한적인 것은 아니라고 생각되어야 한다. 본 발명의 범위는 상기한 설명이 아니라 특허 청구의 범위에 의해 정의되며, 특허 청구의 범위와 균등의 의미 및 범위 내에서 모든 변경이 포함되는 것으로 의도되어야 한다.

Claims (5)

  1. 단판식 컬러 카메라에 있어서,
    화소에 각각 대응하여, 입사된 광을 아날로그 신호로 변환하는 광전 변환 소자가 어레이 형태로 배열된 고체 촬상 수단을 포함하고,
    상기 고체 촬상 수단은,
    수광면 측에 상기 광전 변환 소자에 대응하여 색 필터가 배열된 색 필터 어레이를 포함하고,
    상기 고체 촬상 수단으로부터 모든 화소 독립적으로 독출되는 출력 신호를 수신하여 디지털 신호로 변환하여 화소 신호로 하고, 상기 각 화소에 대응하는 휘도 신호 및 색 신호를, 상기 각 화소를 포함하는 2행 2열의 화소군으로부터의 상기 화소 신호에 기초하여 생성하는 색 분리 수단을 더 포함하고,
    상기 색 분리 수단은,
    상기 고체 촬상 수단으로부터 순차 출력되어, 디지털 신호로 변환된 상기 화소 신호를 보유하는 기억 수단과, 상기 기억 수단에 보유된, 하나의 화면 중의 y행 x열째의 화소(x, y)를 포함하는 상기 2행 2열의 화소군으로부터의 상기 화소 신호에 대한 선형 연산에 의해, 상기 화소(x, y)에 대응하는 상기 휘도 신호 및 상기 색 신호를 생성하는 연산 수단을 포함하는 단판식 컬러 카메라.
  2. 제1항에 있어서,
    상기 연산 수단은,
    y행 x열째의 상기 화소(x, y)에 대응하는 상기 광전 변환 소자로부터의 상기 출력 신호를 D(x, y)로 할 때,
    상기 화소군에 대응하는 색 필터 어레이의 배열에 따른 선형 연산에 의해 상기 화소군으로부터의 출력 신호 D(x, y), D(x+1, y), D(x, y+1) 및 D(x+1, y+1)로부터 휘도 신호 및 제1 및 제2 색차 신호를 생성하는 색차 신호 생성 수단과,
    상기 휘도 신호 및 상기 제1 및 상기 제2 색차 신호에 대한 소정의 선형 연산에 의해 삼원색 신호를 분리하는 분리 연산 수단을 포함하는 것을 특징으로 하는 단판식 컬러 카메라.
  3. 제2항에 있어서,
    상기 색 필터 어레이는,
    교호로 배치된 마젠타 색 필터와 녹색 필터를 포함하는 복수의 제1 행과,
    교호로 배치된 황색 필터와 시안색 필터를 포함하는 복수의 제2 행을 포함하고,
    n를 자연수라고 할 때,
    상기 제2 행은 y=4n-4 및 y=4n-2의 행에 속하고, 또한 x가 우수(偶數)의 열에 황색 필터를 포함하고,
    상기 제1 행은 y=4n-3 및 y=4n-1의 행에 속하고, 또한 y=4n-3의 행에 속하는 경우, x가 기수(奇數)의 열에 녹색 필터를 포함하고, y=4n-1의 행에 속하는 경우,x가 우수의 열에 녹색 필터를 포함하며,
    상기 색차 신호 생성 수단은,
    i) y행 x열의 화소(x, y)에 대응하는 휘도 신호 CL(x, y)를
    CL(x, y)=D(x, y)+D(x+1, y)+D(x, y+1)+D(x+1, y+1)로서 구하고,
    ⅱ) 상기 제1 색차 신호 CR(x, y)를
    CR(x, y)=KR (x, y)ㆍD(x, y)+KR (x+1, y)ㆍD(x+1, y)+KR (x, y+1)ㆍD(x, y+1)+KR (x+1, y+1)ㆍD(x+1, y+1)에서, 화소(X, Y)에 대응하는 색 필터가 황색 또는 마젠타인 때 KR (X, Y)=1, 시안색 또는 녹색인 때 KR (X, Y)=-1로서 구하고,
    ⅲ) 상기 제2 색차 신호 CB(x, y)를
    CB(x, y)=KB(x, y)ㆍD(x, y)+KB(x+1, y)ㆍD(x+1, y)+KB(x, y+1)ㆍD(x, y+1)+KB(x+1, y+1)ㆍD(x+1, y+1)에서, 화소(X, Y)에 대응하는 색 필터가 시안색 또는 마젠타인 때 KB(X, Y)=1, 황색 또는 녹색인 때 KB(X, Y)=-1로서 구하는 것을 특징으로 하는 단판식 컬러 카메라.
  4. 색차 순차 방식의 색 필터 어레이 및 대응하는 광전 변환 소자 어레이를 갖는 고체 촬상 소자를 포함하는 단판식 컬러 카메라에 있어서의 색 신호의 분리 방법으로서,
    y행 x열의 화소(x, y)에 대응하는 상기 고체 촬상 소자로부터의 출력 신호에 기초하여,
    상기 화소(x, y)에 대응하는 휘도 신호 CL(x, y)를 상기 화소(x, y)를 포함하는 2행 2열의 화소군으로부터의 상기 출력 신호의 소정의 선형 연산에 의해 구하는 단계,
    상기 화소(x, y)에 대응하는 제1 색차 신호 CR(x, y)를 상기 화소군으로부터의 상기 출력 신호에 대한 상기 화소군에 대응하는 상기 색 필터 어레이의 배열에 따른 제1 선형 연산에 의해 구하는 단계, 및
    상기 화소(x, y)에 대응하는 제2 색차 신호 CB(x, y)를, 상기 화소군으로부터의 상기 출력 신호에 대한, 상기 화소군에 대응하는 상기 색 필터 어레이의 배열에 따른 제2 선형 연산에 의해 구하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 휘도 신호 CL(x, y)을 구하는 소정의 선형 연산은,
    CL(x, y)=D(x, y)+D(x+1, y)+D(x, y+1)+D(x+1, y+1)이고,
    상기 제1 색차 신호 CR(x, y)를 구하는 제1 선형 연산은,
    CR(x, y)=KR (x, y)ㆍD(x, y)+KR (x+1, y)ㆍD(x+1, y)+KR (x, y+1)ㆍD(x, y+1)+KR (x+1, y+1)ㆍD(x+1, y+1)에서, 화소(X, Y)에 대응하는 색 필터가 황색 또는 마젠타인 때 KR (X, Y)=1, 시안색 또는 녹색인 때 KR (X, Y)=-1로 한 것이고,
    상기 제2 색차 신호 CB(x, y)를 구하는 제2 선형 연산은,
    CB(x, y)=KB(x, y)ㆍD(x, y)+KB(x+1, y)ㆍD(x+1, y)+KB(x, y+1)ㆍD(x, y+1)+KB(x+1, y+1)ㆍD(x+1, y+1)에서, 화소(X, Y)에 대응하는 색 필터가 시안색 또는 마젠타인 때 KB(X, Y)=1, 황색 또는 녹색인 때 KB(X, Y)=-1로 한 것을 특징으로하는 방법.
KR1019970011194A 1996-03-29 1997-03-28 고해상도이며의사색의발생을억제할수있는단판식컬러카메라 KR100447916B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP8077283A JPH09271029A (ja) 1996-03-29 1996-03-29 単板式カラーカメラおよび色信号の分離方法
JP96-077283 1996-03-29
JP96-201948 1996-07-31
JP20194896 1996-07-31

Publications (2)

Publication Number Publication Date
KR970067935A KR970067935A (ko) 1997-10-13
KR100447916B1 true KR100447916B1 (ko) 2004-11-06

Family

ID=26418389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970011194A KR100447916B1 (ko) 1996-03-29 1997-03-28 고해상도이며의사색의발생을억제할수있는단판식컬러카메라

Country Status (4)

Country Link
US (1) US6323901B1 (ko)
EP (1) EP0800317B1 (ko)
KR (1) KR100447916B1 (ko)
DE (1) DE69712969T2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925588B2 (ja) * 1997-11-25 2007-06-06 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP4006075B2 (ja) * 1998-01-30 2007-11-14 キヤノン株式会社 Ｃｍｏｓセンサ及び撮像システム
EP0969674A3 (en) 1998-07-03 2004-01-02 Canon Kabushiki Kaisha Image sensing device processing image signals in blocks
JP2001086516A (ja) 1999-09-10 2001-03-30 Sony Corp 撮像装置
US6900838B1 (en) * 1999-10-14 2005-05-31 Hitachi Denshi Kabushiki Kaisha Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
US7565007B2 (en) 2001-01-25 2009-07-21 Nikon Corporation Image processing method, image processing program, and image processing apparatus
KR100423616B1 (ko) * 2002-04-12 2004-03-22 주식회사 레이시스 영상 보정기능이 있는 ｃｃｄ 카메라
JP2005197922A (ja) * 2004-01-06 2005-07-21 Fuji Xerox Co Ltd 画像読取装置
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
DE202007019236U1 (de) 2007-11-02 2011-11-09 Valentina Anzupowa Farbteiler-Bildwandler-Gruppe mit teildurchlässigen Spiegeln und Mosaikfarbfiltern
DE102010030108B4 (de) 2010-06-15 2014-12-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Farbbildsensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03167989A (ja) * 1989-11-28 1991-07-19 Canon Inc 撮像装置
JPH06133319A (ja) * 1992-10-16 1994-05-13 Canon Inc カラー撮像装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2014397B (en) * 1978-02-10 1982-08-18 Hitachi Ltd Solid-state colour imaging device
EP0113462B1 (en) 1982-12-14 1990-08-16 Matsushita Electric Industrial Co., Ltd. Solid state color imaging apparatus
JPH0628450B2 (ja) * 1983-01-28 1994-04-13 松下電器産業株式会社 固体撮像装置
EP0119862B1 (en) * 1983-03-17 1990-12-27 Nec Corporation Solid-state color imaging apparatus
JPS6055781A (ja) * 1983-09-07 1985-04-01 Nec Corp 固体撮像素子
JPS60214183A (ja) * 1984-04-09 1985-10-26 Nec Corp カラ−撮像装置
US4697208A (en) * 1985-06-13 1987-09-29 Olympus Optical Co., Ltd. Color image pickup device with complementary color type mosaic filter and gamma compensation means
JPS631276A (ja) * 1986-06-20 1988-01-06 Olympus Optical Co Ltd カラ−撮像装置
US4998162A (en) * 1988-08-22 1991-03-05 Sony Corporation Video camera
US4945406A (en) * 1988-11-07 1990-07-31 Eastman Kodak Company Apparatus and accompanying methods for achieving automatic color balancing in a film to video transfer system
US5457494A (en) * 1988-11-21 1995-10-10 Canon Kabushiki Kaisha Image pickup signal processing apparatus
JP2733859B2 (ja) * 1989-09-28 1998-03-30 キヤノン株式会社 カラー撮像装置
JP3035930B2 (ja) * 1989-10-19 2000-04-24 ソニー株式会社 カラー固体撮像装置
KR920006601Y1 (ko) 1989-12-31 1992-09-21 삼성전자 주식회사 보색 필터 ccd를 이용한 원색 신호 출력회로
JP2942903B2 (ja) * 1990-11-05 1999-08-30 キヤノン株式会社 ディジタル・カメラ信号処理装置
EP0570204B1 (en) * 1992-05-13 1996-07-10 Matsushita Electric Industrial Co., Ltd. Solid state image pickup device using a colour filter array
JP3615778B2 (ja) * 1993-04-05 2005-02-02 日本フィリップス株式会社 カラー撮像装置
JP3647052B2 (ja) * 1993-04-15 2005-05-11 キヤノン株式会社 撮像装置
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
US6031569A (en) * 1994-02-28 2000-02-29 Canon Kabushiki Kaisha Image sensing method and apparatus utilizing the same
JPH07288824A (ja) * 1994-04-14 1995-10-31 Asahi Optical Co Ltd 輝度信号生成装置
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03167989A (ja) * 1989-11-28 1991-07-19 Canon Inc 撮像装置
JPH06133319A (ja) * 1992-10-16 1994-05-13 Canon Inc カラー撮像装置

Also Published As

Publication number Publication date
DE69712969T2 (de) 2003-01-09
KR970067935A (ko) 1997-10-13
EP0800317A3 (en) 1997-12-03
US6323901B1 (en) 2001-11-27
DE69712969D1 (de) 2002-07-11
EP0800317B1 (en) 2002-06-05
EP0800317A2 (en) 1997-10-08

Similar Documents

Publication Publication Date Title
US5734424A (en) Image pickup apparatus capable of providing moving video signal and still video signal
KR100468169B1 (ko) 위색(僞色)신호발생이억제가능한단판식컬러카메라
KR100447916B1 (ko) 고해상도이며의사색의발생을억제할수있는단판식컬러카메라
US6275261B1 (en) Method and apparatus for operating an image sensing device
EP1766966A1 (en) Image sensor for still or video photography
US6034724A (en) Imaging device utilizing a line-crawling correction coefficient
US4516154A (en) Solid state color imaging system
KR100552016B1 (ko) 디지탈 컬러 카메라 및 색 데이타 분리 방법
EP0570204B1 (en) Solid state image pickup device using a colour filter array
JP2000308076A (ja) 撮像装置
US7250967B2 (en) Apparatus for modifying reproduction frequency band of video signal
US5387931A (en) Carrier level balancing circuit for color camera
JP3925479B2 (ja) 撮像装置
JP2940820B2 (ja) 単板式カラーカメラおよび色信号の分離方法
JP3535623B2 (ja) カラー撮像装置
JP2692486B2 (ja) 固体撮像装置
JPWO2002085035A1 (ja) 固体撮像装置
JP3180191B2 (ja) 撮像装置
JPH03166875A (ja) 固体撮像装置の駆動方法
JPS6276884A (ja) 固体撮像装置
JP2000261817A (ja) 撮像装置
JP2725265B2 (ja) 固体撮像装置
JPS58105680A (ja) 固体カラ−撮像装置
JPH0834590B2 (ja) 固体カラー撮像装置
JPH09271029A (ja) 単板式カラーカメラおよび色信号の分離方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee