KR101696463B1

KR101696463B1 - 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치

Info

Publication number: KR101696463B1
Application number: KR1020100026131A
Authority: KR
Inventors: 이사오 히로타
Original assignee: 소니 주식회사
Priority date: 2009-03-31
Filing date: 2010-03-24
Publication date: 2017-01-23
Also published as: CN101854488A; KR20100109408A; JP5359465B2; CN101854488B; JP2010239337A; US8310573B2; US8754967B2; US8520103B2; TW201108734A; TWI423672B; US20130057735A1; US20100238330A1; US20130335604A1

Abstract

본 발명은 색해상도의 저하를 억제하면서 휘도의 감도 향상을 꾀하기 위해 필요한 화상 메모리의 용량을 줄이는 것에 의해 시스템 코스트를 낮출 수 있도록 한다.
색필터 어레이 (33A)의 칼라 코딩을, RGB 베이어 배열을 45도 회전시킨 체크 무늬 배열로, 상하 좌우 인접 4 화소가 동일한 색으로 한다, 즉, 동일색 4 화소 단위로 RGB의 각 필터가 정방 배열된 칼라 코딩으로 한다. 그리고, 다른색을 넘도록 4 화소(상하 2화소×좌우2 화소) 단위로 1개의 마이크로 렌즈(34A)를 공유하도록 한다.

Description

고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치{SOLID-STATE IMAGING DEVICE, SIGNAL PROCESSING METHOD THEREOF AND IMAGE CAPTURING APPARATUS}

본 발명은, 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치에 관한 것이다.

고체 촬상 장치에 대해, 색해상도의 저하를 억제하면서 휘도의 감도 향상을 꾀하기 위해서, 화소상에 적층되는 색필터 어레이의 칼라 코딩으로서 체크 무늬 배열로 상하 좌우의 인접 화소를 동일색으로 한 칼라 코딩이 제안되고 있다(예를 들면, 특허 문헌 1 참조).

이 칼라 코딩에 대해서는, 공간 샘플링점(즉, 광학적인 화소 중심) x, y가 다음식으로 표현된다. 즉, x=2*(2n－1＋oe)±1, y=2m－1(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)과 x=2*(2n－1＋oe), y=2m－1±1(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)으로 표현된다.

일반적으로, 고체 촬상 장치로부터는, 색필터 어레이의 칼라 코딩에 대응한 화소의 신호가 그대로 RAW 데이터(생 데이터)로서 출력된다. 그리고, 고체 촬상 장치로부터 출력되는 RAW 데이터에 대해서 데모자이크 처리가 행해진다. 데모자이크 처리는, 단색의 색정보 밖에 가지지 않는 각 화소의 신호에 대해서, 그 주변 화소의 신호로부터 부족한 색정보를 모아 주는 것으로 색정보를 보완해 풀 컬러 화상을 만들어 내는 처리이다.

일본국 특개 2007－235888호 공보

상기 종래 기술에서는, 데모자이크 처리에 의해 체크 무늬 배열로부터 정방 배열로 변환하는 때에, 4 화소의 중앙의 화소 정보에 대해 주위의 화소로부터의 데모자이크 처리에 의해 생성하고, 실질 화소수의 2배의 화소수가 되도록 하고 있다. 그 때, 화상 메모리에 화소 정보를 기록할 때의 공간 샘플링점 x, y는, x=n, y=m이 된다. 따라서, 화상 메모리로서 실질 화소수에 대응한 메모리 용량보다 많은 메모리 용량이 필요하게 되기 때문에, 화상 메모리를 포함한 시스템 전체의 코스트가 비싸진다는 문제가 있다.

상기에서, 본 발명은, 색해상도의 저하를 억제하면서 휘도의 감도 향상을 꾀하는 때에, 필요로 하는 화상 메모리의 용량을 줄이는 것에 의해 시스템 코스트의 저감을 가능하게 한 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치를 제공하는 것을 목적으로 한다.

본 발명에 의한 고체 촬상 장치는,

체크 무늬 배열에 준거해, 상하 좌우의 적어도 한쪽의 인접 2 화소가 동일색의 색필터 어레이를 가지고,

상기 색필터 어레이는,

근사적으로, 공간 샘플링점 x, y가 x=3*(2n－1＋oe)＋1±2, y=3m－2(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)와, x=3*(2n－1＋oe)＋1, y=3m－2±2(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)가 적어도 한쪽에 배열된 색배열로 된다.

상기의 각 식은, 체크 무늬 배열을 45번 경사시킨 공간적인 화소의 배열(체크 무늬적인 색배열)을 나타내고 있다. 그리고, n, m특정치 단위로, 상하 좌우의 적어도 한쪽의 인접 2 화소, 바람직하기는 상하 좌우 인접 4 화소가 동일색이 되는 색배열로 하는 것으로, 체크 무늬적인 색배열이면서, 데모자이크 처리 후의 화상 메모리에의 기록화소 배열을 x=2n, y=2m＋1으로 할 수가 있다. 기록화소 배열이 x=2n, y=2m＋1이라고 하는 것은, 화소가 행렬상으로 2차원 배치되는 화소 어레이부의 실질 화소수와 화상 메모리에 대한 기록 화소수가 동일한 정도인 것을 의미한다.

본 발명에 의하면, 화소 어레이부의 실질 화소수와 화상 메모리에 대한 기록 화소수를 동일한 정도로 할 수 있기 때문에, 화상 메모리의 불필요한 메모리 용량의 증가를 억제할 수가 있다. 그리고, 색해상도의 저하를 억제하면서 휘도의 감도 향상을 꾀하는 경우 데모자이크 처리로 필요로 하는 메모리 용량을 억제하는 것으로, 시스템 전체의 코스트 저감을 꾀할 수가 있다.

도 1은 본 발명이 적용되는 CMOS 이미지 센서의 구성의 개략을 나타내는 시스템 구성도.
도 2는 단위 화소의 회로 구성의 하나의 예를 나타내는 회로도.
도 3은 인접 4 화소 가산을 화소내에서 실시하는 경우의 회로 구성의 하나의 예를 나타내는 회로도.
도 4는 본 발명의 제1 실시 형태와 관련되는 색필터 어레이의 칼라 코딩을 나타내는 도면.
도 5는 제1 실시 형태와 관련되는 색필터 어레이의 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면.
도 6은 제1 실시 형태와 관련되는 칼라 코딩의 경우의 데모자이크 처리에 대한 설명도.
도 7은 휘도 신호의 주성분이 되는 녹색의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면.
도 8은 색신호의 주성분이 되는 적색/청색의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면.
도 9는 본 발명의 제2 실시 형태와 관련되는 색필터 어레이의 칼라 코딩을 나타내는 도면.
도 10은 제2 실시 형태와 관련되는 색필터 어레이의 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면.
도 11은 휘도 신호의 주성분이 되는 백색/녹색의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면.
도 12는 Gw=W－R－B로서 데모자이크 처리를 실시했을 때의 화소 배열을 나타내는 도면.
도 13은 Wg=G＋R＋B로서 데모자이크 처리를 실시했을 때의 화소 배열을 나타내는 도면.
도 14는 본 발명의 제3 실시 형태와 관련되는 색필터 어레이의 칼라 코딩을 나타내는 도면.
도 15는 제3 실시 형태와 관련되는 색필터 어레이의 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면.
도 16은 휘도 신호의 주성분이 되는 백색/녹색의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면.
도 17은 R/B/G의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면.
도 18은 제3 실시 형태와 관련되는 칼라 코딩의 경우의 공간 샘플링점에 대한 설명도.
도 19는 제3 실시 형태와 관련되는 칼라 코딩의 경우의 출력 샘플링점에 대한 설명도.
도 20은 종래 기술의 경우의 공간 샘플링점에 대한 설명도.
도 21은 제1 실시 형태와 관련되는 칼라 코딩에 있어서의 동일색 4 화소 가산에 대한 설명도.
도 22는 제1 실시 형태와 관련되는 색필터 어레이의 경우의 모들뜨기 배열에 대한 설명도.
도 23은 마이크로 렌즈의 높이(h) 및 곡률(r)에 대한 설명도.
도 24는 위상차이 검출의 원리에 대한 설명도.
도 25는 마이크로 렌즈의 형상의 변형예를 나타내는 도면.
도 26은 제1 변형예와 관련되는 칼라 코딩을 나타내는 도면.
도 27은 제1 변형예와 관련되는 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면.
도 28은 제1 변형예에서의 W화소의 정보를 모든 화소에 전개함에 의한 화소 시프트를 설명하는 설명도.
도 29는 제1 변형예에서의 RGB의 화소에 대해 W－RGB의 상관으로부터 RGB 보간 처리를 실시할 때의 설명도.
도 30은 제1 변형예에서의 W화소의 정보와 RGB의 화소의 정보를 합성할 때의 설명도.
도 31는 제1 변형예에서의 WR4 화소 가산 및 RB2 화소 가산을 실시할 때의 설명도.
도 32는 제1 변형예에서의 세로 가산 플래인에 대한 설명도.
도 33은 제1 변형예에서의 가로 가산 플래인에 대한 설명도.
도 34는 제2 변형예와 관련되는 칼라 코딩을 나타내는 도면.
도 35는 제2 변형예와 관련되는 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면.
도 36은 RGB의 실질 화소의 정보의 배열을 제1 플래인으로서 도시하는 도면.
도 37은 W의 실질 화소에 대한 화소 시프트 배열을 W플래인으로서 도시하는 도면.
도 38은 RGB의 보간 화소의 정보의 배열을 제2 플래인으로서 도시하는 도면.
도 39는 제1 플래인과 제2 플래인을 가산하는 것에 의해 복원된 베이어 배열을 나타내는 도면.
도 40은 세로 가산 플래인과 가로 가산 플래인을 가산한 결과를 가산 플래인으로서 도시하는 도면.
도 41은 제3 변형예와 관련되는 칼라 코딩을 나타내는 도면.
도 42는 제3 변형예와 관련되는 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면.
도 43은 RGB의 실질 화소의 정보의 배열을 제1 플래인으로서 도시하는 도면.
도 44는 W의 실질 화소에 대한 화소 시프트 배열을 W플래인으로서 도시하는 도면.
도 45는 RGB의 보간 화소의 정보의 배열을 제2 플래인으로서 도시하는 도면.
도 46은 제1 플래인과 제2 플래인을 가산하는 것에 의해 복원된 베이어 배열을 나타내는 도면.
도 47은 세로 가산 플래인과 가로 가산 플래인을 가산한 결과를 가산 플래인으로서 도시하는 도면.
도 48은 본 발명과 관련되는 촬상 장치의 구성의 하나의 예를 나타내는 블럭도.

이하, 본 발명을 실시하기 위한 형태(이하, 실시 형태라고 한다)에 대해 도면을 이용해 상세하게 설명한다. 덧붙여 설명은 이하의 순서로 실시한다.

1. 본 발명이 적용되는 고체 촬상 장치(CMOS 이미지 센서의 예)

2. 본 발명의 특징 부분의 요지

3. 제1 실시 형태(동일색 4 화소 단위의 RGB 베이어 배열을 45도 회전시킨 예)

4. 제2 실시 형태(동일색 4 화소 단위의 WRGB 체크 무늬 배열을 45도 회전시킨 예)

5. 제3 실시 형태(동일색 4 화소 단위의 W체크 무늬 배열을 45도 회전시킨 예)

6. 화소 배열의 변형예

7. 적용예(촬상 장치의 예)

＜1. 본 발명이 적용되는 고체 촬상 장치＞

［시스템 구성］

도 1은, 본 발명이 적용되는 고체 촬상 장치, 예를 들면 X－Y 어드레스형 고체 촬상 장치의 일종인 CMOS 이미지 센서의 구성의 개략을 나타내는 시스템 구성도이다.

본 적용예와 관련되는 CMOS 이미지 센서(10)는, 반도체 기판(이하, 단지 「센서 팁」이라고 기술하는 경우도 있다)(11)상에 형성된 화소 어레이부(12)와 해당 화소 어레이부(12)와 같은 반도체 기판(11)상에 집적된 주변 회로부를 가지는 구성으로 되어 있다. 주변 회로부로서는, 예를 들면, 수직 구동부(13), 컬럼 처리부(14), 수평 구동부(15) 및 시스템 제어부(16)이 설치되고 있다. 또한, 센서 팁(11)의 외부에는, 신호 처리계를 구성하는 DSP(Digital Signal Processor；디지탈 신호 처리 회로) 회로(31) 및 화상 메모리(32)가 설치되고 있다.

화소 어레이부(12)에는, 입사하는 가시광선을 그 광량에 대응한 전하량에 광전 변환하는 광전 변환 소자를 포함한 도시하지 않는 단위 화소(이하, 단지 「화소」라고 기술하는 경우도 있다)가 행렬상으로 2차원 배치되어 있다. 단위 화소의 구체적인 회로 구성에 대해서는 후술한다. 이 화소 어레이부(12)의 수광면(광입사면) 측에는, 색필터 어레이(33)가 적층되어 그 위에 한층 더 마이크로 렌즈 어레이(34)가 적층되고 있다.

화소 어레이부(12)에는 게다가 행렬상태의 화소 배열에 대해서 행 마다 화소 구동선(18)이 도면의 좌우 방향(화소행의 화소 배열 방향/수평 방향)에 따라 배선되어 열 마다 수직 신호선(19)가 도면의 상하 방향(화소열의 화소 배열 방향/수직 방향)에 따라 형성되어 있다. 화소 구동선(18)의 일단은, 수직 구동부(13)의 각 행에 대응한 출력단에 접속되고 있다. 도 1에서는, 화소 구동선(18)에 대해 1개로서 나타내고 있지만, 1개에 한정되는 것은 아니다.

수직 구동부(13)는, 시프트 레지스터 또는 어드레스 디코더 등에 의해 구성되 있다. 여기에서는, 구체적인 구성에 대해서는 도시를 생략 하지만, 수직 구동부(13)는, 판독 주사계와 스윕(sweep) 주사계를 가지는 구성으로 되어 있다. 판독 주사계는, 신호를 읽어내는 단위 화소에 대해 행 단위로 순서로 선택 주사를 실시한다.

한편, 스윕 주사계는, 판독 주사계에 의해 판독 주사를 행하는 판독행에 대해, 그 판독 주사보다 셔터 스피드의 시간분 만큼 선행하여 해당 판독행의 단위 화소의 광전 변환 소자로부터 불필요한 전하를 스윕(리셋트)하는 스윕 주사를 실시한다. 이 스윕 주사계에 의한 불필요 전하의 스윕(리셋트)에 의해, 이른바 전자 셔터 동작을 한다. 여기서, 전자 셔터 동작이란, 광전 변환 소자의 광전하를 버려, 새롭게 노광을 개시(광전하의 축적을 개시) 하는 동작을 말한다.

판독 주사계에 의한 판독 동작에 의해 판독되는 신호는, 그 직전의 판독 동작 또는 전자 셔터 동작 이후에 입사한 광량에 대응하는 것이다. 그리고, 직전의 판독 동작에 의한 판독 타이밍 또는 전자 셔터 동작에 의한 스윕 타이밍부터, 이번 판독 동작에 의한 판독 타이밍까지의 기간이, 단위 화소에 있어서의 광전하의 축적 시간(노광 시간)이 된다.

수직 구동부(13)에 의해 선택 주사된 화소행의 각 단위 화소로부터 출력되는 신호는, 수직 신호선(19)의 각각을 통해 컬럼 처리부(14)에 공급된다. 컬럼 처리부(14)는, 화소 어레이부(12)의 화소열 마다, 선택행의 각 화소로부터 출력되는 아날로그의 화소 신호에 대해서 미리 정해진 신호 처리를 실시한다.

컬럼 처리부(14)에서의 신호 처리로서는, 예를 들면, CDS(Correlated Double Sampling ; 상관 이중 샘플링) 처리를 들 수 있다. CDS 처리는, 선택행의 각 화소로부터 출력되는 리셋트 레벨과 신호 레벨을 포착하고, 이러한 레벨 차이를 취하는 것에 의해 1행 분의 화소의 신호를 얻는 것과 동시에, 화소의 고정 패턴 노이즈를 제거하는 처리이다. 컬럼 처리부(14)에, 아날로그의 화소 신호를 디지털화하는 A/D변환 기능을 갖게 하는 경우도 있다.

수평 구동부(15)는, 시프트 레지스터 또는 어드레스 디코더 등에 의해 구성되어 컬럼 처리부(14)의 화소열에 대응하는 회로 부분을 차례로 선택 주사한다. 이 수평 구동부(15)에 의한 선택 주사에 의해, 컬럼 처리부(14)에서 화소열 마다 신호 처리된 화소 신호가 차례로 센서 팁(11)의 외부에 출력된다. 즉, 센서 팁(11)으로부터는, 색필터 어레이(33)의 칼라 코딩(색 배열)에 대응한 화소 신호가 그대로 RAW 데이터(생 데이터)로서 출력된다.

시스템 제어부(16)는, 센서 팁(11)의 외부로부터 주어지는 클럭이나, 동작 모드를 지령하는 데이터 등을 수신하여, 또한, 본 CMOS 이미지 센서(10)의 내부 정보 등의 데이터를 출력한다. 시스템 제어부(16)는 또한, 각종의 타이밍 신호를 생성하는 타이밍 제네레이터를 가져, 해당 타이밍 제네레이터로 생성된 각종의 타이밍 신호를 기본으로 수직 구동부(13), 컬럼 처리부(14), 수평 구동부(15) 및 변환 처리부(16) 등의 구동 제어를 실시한다.

센서 팁(11)의 외부 회로인 DSP 회로(31)는, 센서 팁(11)으로부터 출력되는 예를 들면 1 프레임 분의 화상 데이터를 화상 메모리(32)에 일시적으로 저장하는 것과 동시에, 해당 화상 메모리(32)에 저장할 수 있었던 화소 정보를 기본으로 데모자이크 처리를 실행한다. 이상술한 바와 같이, 데모자이크 처리는, 단색의 색정보 밖에 가지지 않는 각 화소의 신호에 대해서, 그 주변 화소의 신호로부터 부족한 색정보를 모아 주는 것으로 색정보를 보완해 풀 컬러 화상을 만들어 내는 처리이다.

(단위 화소의 회로 구성)

도 2는, 단위 화소(20)의 회로 구성의 하나의 예를 나타내는 회로도이다. 도 2에 도시한 바와 같이, 본 회로예와 관련되는 단위 화소(20)는, 광전 변환 소자, 예를 들면 포토 다이오드(21)와 예를 들면 전송 트랜지스터(22), 리셋트 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)의 4개의 트랜지스터를 가지는 구성으로 되어 있다.

여기에서는, 4개의 트랜지스터(22~25)로서 예를 들면 N채널의 MOS 트랜지스터를 이용하고 있다. 다만, 여기서 예시한 전송 트랜지스터(22), 리셋트 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)의 도전형의 편성은 하나의 예에 지나지 않고, 이러한 편성에 한정되는 것은 아니다.

이 단위 화소(20)에 대해서, 화소 구동선(18)으로서 예를 들면, 전송선(181), 리셋트선(182) 및 선택선(183)의 3개의 구동 배선이 동일 화소행의 각 화소에 대해 공통으로 설치되고 있다. 이것들 전송선(181), 리셋트선(182) 및 선택선(183)의 각 일단은, 수직 구동부(13)의 각 화소행에 대응한 출력단에, 화소행 단위로 접속되고 있다.

포토 다이오드(21)는, 애노드 전극이 부측 전원(예를 들면, 그라운드)에 접속되어 있어 수광한 빛을 그 광량에 대응한 전하량의 광전하(여기에서는, 광전자)로 광전 변환한다. 포토 다이오드(21)의 음극 전극은, 전송 트랜지스터(22)를 개입시켜 증폭 트랜지스터(24)의 게이트 전극과 전기적으로 접속되고 있다. 증폭 트랜지스터(24)의 게이트 전극과 전기적으로 연결된 노드(26)를 FD(플로팅 디퓨전)부라고 부른다.

전송 트랜지스터(22)는, 포토 다이오드(21)의 음극 전극과 FD부(26)와의 사이에 접속되어 있다. 전송 트랜지스터(22)의 게이트 전극에는, 고레벨(예를 들면, Vdd 레벨)이 액티브(이하, 「High 액티브」라고 기술한다)의 전송 펄스(φTRF)가 전송선(181)을 개입시켜 주어진다. 전송 펄스(φTRF)가 주어지는 것으로, 전송 트랜지스터(22)는 온 상태가 되어 포토 다이오드(21)로 광전 변환된 광전하를 FD부(26)에 전송한다.

리셋트 트랜지스터(23)는, 드레인 전극이 화소 전원(Vdd)에, 소스 전극이 FD부(26)에 각각 접속되고 있다. 리셋트 트랜지스터(23)의 게이트 전극에는, 포토 다이오드(21)로부터 FD부(26)에의 신호 전하의 전송에 앞서, High 액티브의 리셋트 펄스(φRST)가 리셋트선(182)를 개입시켜 주어진다. 리셋트 펄스(φRST)가 주어지는 것으로, 리셋트 트랜지스터(23)는 온 상태가 되어, FD부(26)의 전하가 화소 전원(Vdd)에 스윕되어 해당 FD부(26)를 리셋트 한다.

증폭 트랜지스터(24)는, 게이트 전극이 FD부(26)에, 드레인 전극이 화소 전원(Vdd)에 각각 접속되고 있다. 그리고, 증폭 트랜지스터(24)는, 리셋트 트랜지스터(23)에 의해 리셋트 한 후의 FD부(26)의 전위를 리셋트 신호(리셋트 레벨) (Vreset)로서 출력한다. 증폭 트랜지스터(24)는 게다가 전송 트랜지스터(22)에 의해 신호 전하를 전송 한 후의 FD부(26)의 전위를 광축적 신호(신호 레벨)(Vsig)로서 출력한다.

선택 트랜지스터(25)는, 예를 들면, 드레인 전극이 증폭 트랜지스터(24)의 소스 전극에, 소스 전극이 수직 신호선(17)에 각각 접속되고 있다. 선택 트랜지스터(25)의 게이트 전극에는, High 액티브의 선택 펄스(φSEL)가 선택선(163)을 개입시켜 주어진다. 선택 펄스(φSEL)가 주어지는 것으로, 선택 트랜지스터(25)는 온 상태가 되어 단위 화소(20)를 선택 상태로 해, 증폭 트랜지스터(24)로부터 출력되는 신호를 수직 신호선(17)에 중계한다.

덧붙여 선택 트랜지스터(25)에 대해서는, 화소 전원(Vdd)와 증폭 트랜지스터(24)의 드레인과의 사이에 접속한 회로 구성을 채택하는 것도 가능하다.

또한, 단위 화소(20)로서는, 상기 구성의 4개의 트랜지스터로부터 되는 화소 구성의 것에 한정되는 것은 아니다. 예를 들면, 증폭 트랜지스터(24)로 선택 트랜지스터(25)를 겸용한 3개의 트랜지스터로 이루어지는 화소 구성일지라도 그 화소 회로의 구성은 묻지 않는다.

(화소 가산)

그런데, 일반적으로, 동영상 촬상 때에는 프레임 레이트를 올려 고속 동영상 촬상을 실현하기 위해서, 인접하는 복수의 화소의 신호를 가산해 판독 화소 가산을 한다. 이 화소 가산에 대해서는, 화소내, 수직 신호선(19)상, 컬럼 처리부(14), 후단의 신호 처리부 등에서 실시할 수가 있다. 여기서, 하나의 예로서 예를 들면 상하 좌우에 인접하는 4 화소의 신호를 화소내에서 가산하는 경우의 화소 구성에 대해 설명한다.

도 3은, 인접 4 화소 가산을 화소내에서 실시하는 경우의 회로 구성의 하나의 예를 나타내는 회로도이며, 도 중, 도 2와 동등 부분에는 동일 부호를 교부해 나타내고 있다.

도 3에 대해, 상하 좌우에 인접하는 4 화소의 포토 다이오드(21)를, 포토 다이오드(21－1, 21－2, 21－3, 21－4)로 한다. 이들 포토 다이오드(21－1, 21－2, 21－3, 21－4)에 대해서, 4개의 전송 트랜지스터(22－1, 22－2, 22－3, 22－4)가 설치되어 리셋트 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)가 1 개씩 설치되어 있다.

즉, 전송 트랜지스터(22－1, 22－2, 22－3, 22－4)는, 각 한편의 전극이 포토 다이오드(21－1, 21－2, 21－3, 21－4)의 각 음극 전극에 접속되어 각 한편의 전극이 증폭 트랜지스터(24)의 게이트 전극에 공통에 접속되고 있다. 이 증폭 트랜지스터(24)의 게이트 전극에는, 포토 다이오드(21－1, 21－2, 21－3, 21－4)에 대해서 공통의 FD부(26)가 전기적으로 접속되고 있다. 리셋트 트랜지스터(23)은, 드레인 전극이 화소 전원(Vdd)에, 소스 전극이 FD부(26)에 각각 접속되고 있다.

상기 구성의 인접 4 화소 가산에 대응한 화소 구성에 대해, 4개의 전송 트랜지스터(22－1, 22－2, 22－3, 22－4)에 대해서 같은 타이밍에 전송 펄스(φTRF)를 주는 것으로, 인접하는 4 화소간에서의 화소 가산을 실현할 수 있다. 즉, 포토 다이오드(21－1, 21－2, 21－3, 21－4)로부터 전송 트랜지스터(22－1, 22－2, 22－3, 22－4)에 의해 FD부(26)에 전송 된 신호 전하는, 해당 FD부(26)에 대해 가산(이하, 「FD가산」이라고 기술하는 경우도 있다)되게 된다.

한편, 전송 트랜지스터(22－1, 22－2, 22－3, 22－4)에 대해서 다른 타이밍에 전송 펄스(φTRF)를 주는 것으로, 화소 단위에서의 신호 출력도 실현될 수 있다. 즉, 동영상 촬상시에는 화소 가산을 실시하는 것에 의해 프레임 레이트의 향상을 꾀할 수가 있는 것에 대해서, 정지화면 촬상시에는 모든 화소의 신호를 독립해 판독해 내는것으로, 해상도의 향상을 꾀할 수가 있다.

＜2. 본 발명의 특징 부분의 요지＞

이상 설명한 CMOS 이미지 센서(10)에 대해, 색해상도의 저하를 억제하면서 휘도의 감도 향상을 꾀하는 경우에, 화상 메모리(32)의 용량을 저감하기 위한 색필터 어레이(33)의 칼라 코딩 및 DSP 회로(31)에서의 데모자이크 처리를 특징으로 하고 있다. 화상 메모리(32)는, DSP 회로(31)에서의 데모자이크 처리 등의 신호 처리에 이용된다.

색필터 어레이(33)은, 체크 무늬 배열에 준거해, 상하 좌우의 적어도 한쪽의 인접 2 화소가 동일색이 되고 있다. 그리고, 본 발명에서는, 색필터 어레이(33)의 칼라 코딩(색배열)을, 근사적으로, 공간 샘플링점(즉, 광학적인 화소 중심) x, y가 다음식으로 표현되는 칼라 코딩으로 한다.

즉, 색필터 어레이(33)의 색배열을, x=3*(2n－1＋oe)＋1±2, y=3m－2와, x=3*(2n－1＋oe)＋1, y=3m－2±2의 적어도 한쪽에 배열된 색배열로 한다. 여기서, n, m는 정수, oe는 m이 홀수일 때에 0, m가 짝수일 때에 1이 되는 계수이다. 또한, x의 식에 있어서의±2는 좌우의 2 화소를 의미하고, y의 식에 있어서의±2는 상하의 2 화소를 의미하고 있다. 상기의 각 식은, 체크 무늬 배열을 45번 경사시킨 공간적인 화소의 배열(체크 무늬적인 색배열)을 나타내고 있다.

n, m특정치 단위에서, 상하 좌우의 적어도 한쪽의 인접 2 화소, 바람직하기는 상하 좌우 인접 4 화소가 동일색이 되는 색배열로 하는 것으로써, 체크 무늬적인 색배열이면서, 데모자이크 처리 후의 화상 메모리(32)에의 기록화소 배열을 x=2n, y=2m＋1으로 할 수가 있다. 기록화소 배열이 x=2n, y=2m＋1이라고 하는 것은, 화소 어레이부(12)의 실질 화소수와 화상 메모리(32)에 대한 기록 화소수가 동일한 정도인 것을 의미한다.

이와 같이, 화소 어레이부(12)의 실질 화소수와 화상 메모리(32)에 대한 기록 화소수를 동일한 정도로 하는 것으로, 화상 메모리(32)의 불필요한 메모리 용량의 증가를 억제할 수가 있다. 그리고, 색해상도의 저하를 억제하면서 휘도의 감도 향상을 꾀하게 되어, DSP 회로(31)에서의 데모자이크 처리로 필요로 하는 화상 메모리(32)의 메모리 용량을 억제하는 것으로, 시스템 전체의 코스트 저감을 꾀할 수가 있다.

이하에, 색필터 어레이(33)의 칼라 코딩 및 그 신호 처리에 대한 구체적인 실시 형태에 대해 설명한다.

＜3. 제1 실시 형태＞

(칼라 코딩)

도 4는, 본 발명의 제1 실시 형태와 관련되는 색필터 어레이(33A)의 칼라 코딩을 나타내는 도면이다.

도 4에 도시된 바와 같이, 제1 실시 형태와 관련되는 색필터 어레이(33A)는, 동일색(RGB)의 인접하는 4화소(n, m=2, 2)를 단위로 하는 체크 무늬 배열로, 해당 체크 무늬 배열을 45도 회전시킨 칼라 코딩으로 된다. 환언하면, 색필터 어레이(33A)의 칼라 코딩은, RGB 베이어 배열을 45도 회전시킨 체크 무늬 배열로, 상하 좌우 인접 4 화소가 동일색이 되고 있다. 여기서, RGB 베이어 배열은, 녹색(G；Green) 필터를 체크 무늬장에 배치해, 나머지의 부분에 적색(R；Red) 필터, 청색(B；Blue) 필터를 체크 무늬 상태로 배열한 칼라 코딩이다.

RGB 베이어 배열을 45도 회전시켜, 게다가 상하 좌우 인접 4 화소가 동일색이 되도록 RGB 베이어 배열을 체크 무늬 상태로 배열하는 것으로, 도 4에 나타내는 것 같은 칼라 코딩이 된다. 즉, 제1 실시 형태와 관련되는 색필터 어레이(33A)는, 동일색 4화소 단위로 RGB의 각 필터가 정방 배열된 칼라 코딩이 되고 있다.

또한, 마이크로 렌즈 어레이(34)에 대해서는, 서로 상이한 색이 덮이도록 4 화소(상하 2 화소×좌우 2 화소) 단위로 1개의 마이크로 렌즈(34A)를 공유하는 구성으로 되어 있다. 이러한 마이크로 렌즈 어레이(34)의 구성에 의해, 광학적인 화소 중심의 배열은, 도 5에 나타내게 된다. 도 5는, 색필터 어레이(33A)의 칼라 코딩에 관해서 광학적 중심을 xy 공간에 배치한 도면이다.

(데모자이크 처리)

제1 실시 형태와 관련되는 색필터 어레이(33A)의 칼라 코딩에 대응한 화소 신호는, 화상 메모리(32)에 일시적으로 기록한 화소 신호를 기본으로 DSP 회로(31)에 대해, RGB 베이어 배열을 45도 회전시킨 체크 무늬 배열을 정방 배열로 하는 데모자이크 처리를 한다.

이 데모자이크 처리에 대해, 휘도 신호의 주성분이 되는 녹색의 해상도를 중시하는 경우는, 먼저 상하 좌우에 인접하는 G필터의 4 화소의 중심으로, 해당 4 화소의 G신호로부터, 예를 들면 가산 평균을 취하는 등의 보간 처리에 의해 G신호를 생성한다. 그리고, 나머지의 상하 좌우에 인접하는 R/B필터의 화소 부분에서는, 동일색 기울기 2 화소를 가산 평균해, 그 중심에 화소 중심을 설정한다.

제1 실시 형태와 관련되는 칼라 코딩의 경우의 데모자이크 처리에 대해, 도 6을 이용해 보다 구체적으로 설명한다.

먼저, 탈색의 G부분에 대해서는, 방향성(세로 방향의 상관, 횡방향의 상관, 경사 방향의 상관)을 판단해 주위의 G화소, 구체적으로는 2개의 G화소 또는 4개의 G화소의 화소 정보를 기본으로 탈색의 G부분의 화소 정보를 생성한다. 나머지의 상하 좌우에 인접하는 R/B의 화소 부분에 대해서는, 동일색 기울기 2 화소를 가산 평균 또는 단순 가산해, 그 중심에 화소 중심을 설정한다(중심 이동한다).

그 다음에, 마이크로 렌즈(34A)내의 RGB의 필터를 근사적으로 동일 개소로서 색상관을 요구한다. 그리고, 색상관으로부터 G필터의 화소 정보를 모든 화소에 전개해, 그 후에 R/B필터의 화소 정보를 전개한다. 이상의 일련의 처리에 의해, RGB 베이어 배열을 45도 회전시킨 체크 무늬 배열을 정방 배열로 하는 데모자이크 처리가 완료한다.

실행된 데모자이크 처리의 결과, 도 7에 나타난 바와 같이, RGB 필터의 각 화소의 신호가 정방 균등하게 배열된 칼라 코딩에 대응한 화소 신호를 생성할 수가 있다. 도 7은, 휘도 신호의 주성분이 되는 녹색의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면이다.

한편, 색신호의 주성분이 되는 적색이나 청색의 해상도를 중시하는 경우는, 도 8에 나타낸 바와 같이, 먼저 상하 좌우에 인접하는 R/B필터의 4 화소의 중심으로, 해당 4 화소의 R/B필터의 화소의 신호로부터, 예를 들면 가산 평균을 취하는 등의 보간 처리에 의해 R/B의 신호를 생성한다. 그리고, 나머지의 상하 좌우에 인접하는 G필터의 화소 부분에서는, 동일색 기울기 2 화소를 가산 평균해, 그 중심에 화소 중심을 설정한다.

실행딘 데모자이크 처리의 결과, 도 8에 나타난 바와 같이, RGB의 각 신호가 정방 균등하게 배열된 칼라 코딩에 대응한 화소 신호를 생성할 수가 있다. 도 8은, 색신호의 주성분이 되는 적색/청색의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면이다.

이와 같이, RGB 베이어 배열을 45도 회전시킨 체크 무늬 배열로 해서, 상하 좌우 인접 4 화소를 동일색으로 한 칼라 코딩의 색필터 어레이(33A)를 이용하는 것으로, 화상 메모리(32)의 용량의 불필요한 증대를 억제할 수가 있다. 구체적으로는, 화상 메모리(32)에 화소 신호를 기록할 때의 기록 화소수는, 화소 어레이부(12)의 화소수(이하, 「실질 화소수」라고 한다)에 대해서, 상하 좌우의 화소로부터 보간 되는 화소 부분이 증가한 만큼(9/8=1.125배)만 증가한다.

그러나, 화상 메모리(32)에 대한 기록 화소수의 증가분은 얼마 안되는 것이어서, 해당 기록 화소수는 실질 화소수와 거의 동일한 정도라고 할 수가 있다. 따라서, DSP 회로(31)에서의 데모자이크 처리에 해당되어 필요로 하는 화상 메모리(32)의 용량을 적게 억제할 수가 있기 때문에, 시스템 전체의 코스트 저감을 꾀할 수가 있다.

＜4. 제2 실시 형태＞

(칼라 코딩)

도 9는, 본 발명의 제2 실시 형태와 관련되는 색필터 어레이(33B)의 칼라 코딩을 나타내는 도면이다.

제2 실시 형태와 관련되는 색필터 어레이(33B)는, 휘도 신호의 주성분이 되는 색, 예를 들면 백색(W；White)을 포함한 칼라 코딩이 되고 있다. 백색을 포함한 칼라 코딩의 색필터 어레이는, RGB 베이어 배열의 색필터 어레이에 비해 출력전압이 높아지기 때문에, CMOS 이미지 센서(10)의 고감도화를 꾀할 수가 있다.

구체적으로는, 제2 실시 형태와 관련되는 색필터 어레이(33B)는, 동일색(WRGB)의 인접하는 4 화소를 단위로 한 체크 무늬 배열로, 해당 체크 무늬 배열을 45도 회전시킨 칼라 코딩이 되고 있다. 환언하면, 색필터 어레이(33B)는, 동일색 4 화소 단위의 RGB 베이어 배열에 있어서의 G필터의 한편에 대신해 W필터를 이용해 WRGB 체크 무늬 배열을 45도 회전시킨 칼라 코딩이 되고 있다. 제1 실시 형태와 관련되는 색필터 어레이(33A)와의 차이는, G필터가 4 화소 단위로 정방에 배열되고 있던 칼라 코딩을, G필터와 W필터로 체크 무늬장에 배열한 칼라 코딩으로 한 점에 있다.

G필터가 4 화소 단위로 정방에 배열되고 있던 칼라 코딩을, G필터와 W필터로 체크 무늬 상태로 배열한 칼라 코딩과 하는 것으로써, 도 9에 나타내는 것 같은 칼라 코딩이 된다. 즉, 제2 실시 형태와 관련되는 색필터 어레이(33B)는, 동일색 4 화소 단위로 WRGB의 각 필터가 정방 배열된 칼라 코딩이 되고 있다.

또한, 마이크로 렌즈 어레이(34)에 대해서는, 서로 상이한 색이 덮이도록 4 화소 단위로 1개의 마이크로 렌즈(34) B를 공유하는 구성으로 되어 있다. 이러한 마이크로 렌즈 어레이(34)의 구성에 의해, 광학적인 화소 중심의 배열은, 도 10에 나타내게 된다. 도 10은, 색필터 어레이(33B)의 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면이다.

(데모자이크 처리)

제2 실시 형태와 관련되는 색필터 어레이(33B)의 칼라 코딩에 대응한 화소 신호는, 화상 메모리(32)에 일시적으로 기록한 화소 신호를 기본으로 DSP 회로(31)에 대해, WRGB 체크 무늬 배열을 45도 회전시킨 칼라 코딩(체크 무늬 배열)을 정방 배열로 하는 데모자이크 처리를 한다.

이 데모자이크 처리에 대해, 휘도 신호의 주성분이 되는 백색이나 녹색의 해상도를 중시하는 경우는, 먼저 상하 좌우에 인접하는 W/G의 4 화소의 중심으로, 해당 4 화소의 W/G의 화소의 신호로부터, 예를 들면 가산 평균을 취하는 등의 보간 처리에 의해 G신호를 생성한다. 그리고, 나머지의 상하 좌우에 인접하는 R/B의 화소 부분에서는, 동일색 기울기 2 화소를 가산 평균해, 그 중심에 화소 중심을 설정한다.

실행된 데모자이크 처리의 결과, 도 11에 나타난 바와 같이, WRGB의 각 신호가 정방 균등하게 배열된 칼라 코딩에 대응한 화소 신호를 생성할 수가 있다. 도 11은, 휘도 신호의 주성분이 되는 백색/녹색의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면이다. 색신호의 주성분이 되는 R이나 B의 해상도를 중시하는 경우는, 제1 실시 형태와 관련되는 색필터 어레이(33A)의 경우와 같다.

WRGB의 칼라 코딩에 있어서는, 휘도 신호를 녹색과 백색의 화소 신호로부터 생성하는 것이 일반적이다. 이 경우, 해상도의 저하나 색재현성의 악화를 부르지 않게 하기 위해서는, 도 10에 나타내는 색배열로부터 정방 배열에 데모자이크 처리할 때에, 다음과 같은 데모자이크 처리를 실시하는 것이 바람직하다. 즉, 동일 마이크로 렌즈(33B)내의 WRGB의 필터를 근사적으로 같은 공간 위치로 간주해, 도 12에 나타난 바와 같이 Gw=W－R－B로서 또 도 13에 나타난 바와 같이 Wg=G＋R＋B로서 데모자이크 처리를 실시하도록 한다.

도 12에 나타난 바와 같이 Gw=W－R－B로서 데모자이크 처리를 실시했을 때는 도 7의 화소 배열이 되기 때문에, 이후의 신호 처리를 공통화할 수 있는 메리트가 있다. 한편, 도 13에 나타난 바와 같이 Wg=G＋R＋B로서 데모자이크 처리를 실시했을 때는, R/B성분을 포함하는 것에 의해 W/Wg의 출력 신호 레벨이 커지기 때문에, 휘도 S/N가 양호해지는 메리트가 있다.

상술한 제2 실시 형태와 관련되는 칼라 코딩의 색필터 어레이(33B)를 이용했을 경우에도, 제1 실시 형태와 관련되는 칼라 코딩의 색필터 어레이(33A)를 이용했을 경우와 같은 작용 효과를 얻을 수 있다. 즉, DSP 회로(31)에서의 데모자이크 처리에 해당되어 필요로 하는 화상 메모리(32)의 용량을 적게 억제할 수가 있기 때문에, 시스템 전체의 코스트 저감을 꾀할 수가 있다.

＜5. 제3 실시 형태＞

(칼라 코딩)

도 14는, 본 발명의 제3 실시 형태와 관련되는 색필터 어레이(33C)의 칼라 코딩을 나타내는 도면이다.

도 14에 나타난 바와 같이, 제3 실시 형태와 관련되는 색필터 어레이(33C)는, 동일색(WRGB)의 인접하는 4 화소를 단위로 한 W체크 무늬 배열로, 해당 W체크 무늬 배열을 45도 회전시킨 칼라 코딩이 되고 있다. 즉, 색필터 어레이(33C)는, 제1 실시 형태와 관련되는 색필터 어레이(33A)의 동일색 4 화소 단위로 녹색이 정방 배열이 되고 있는 부분을 백색으로 옮겨놓은 것이다. 그 외의 RGB의 정방 배열의 부분에 대해서는 각종 배열이 생각된다. 여기서 도시된 칼라 코딩은, 일반적으로 제안되고 있는 것 중의 하나의 예이다.

마이크로 렌즈 어레이(34)에 대해서는, 제1, 제2 실시 형태의 경우와 같게, 서로 상이한 색이 덮이도록 4 화소 단위로 1개의 마이크로 렌즈(34C)를 공유하는 구성으로 되어 있다. 이러한 마이크로 렌즈 어레이(34)의 구성에 의해, 광학적인 화소 중심의 배열은, 도 15에 나타내게 된다. 도 15는, 색필터 어레이(33C)의 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면이다.

(데모자이크 처리)

DSP 회로(31)에 대해, 제1 실시 형태의 경우와 같은 데모자이크 처리가, 제3 실시 형태와 관련되는 색필터 어레이(33C)의 칼라 코딩에 대응한 화소 신호에 대해서 행해진다. 이 데모자이크 처리에 대해, 휘도 신호의 주성분이 되는 백색이나 녹색의 해상도를 중시하는 경우는, 먼저 상하 좌우에 인접하는 W/G의 4 화소의 중심으로, 해당 4 화소의 W/G의 신호로부터, 예를 들면 가산 평균을 취하는 등의 보간 처리에 의해 G신호를 생성한다. 그리고, 나머지의 상하 좌우에 인접하는 R/B의 화소 부분에서는, 동일색 기울기 2 화소를 가산 평균해, 그 중심에 화소 중심을 설정한다.

실행된 데모자이크 처리의 결과, 도 16에 나타난 바와 같이, WRGB의 각 신호가 정방 균등하게 배열된 칼라 코딩에 대응한 화소 신호를 생성할 수가 있다. 도 16은, 휘도 신호의 주성분이 되는 W/G의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면이다.

한편, 적색/청색/녹색의 해상도를 중시하는 경우는, 기본적으로 제1 실시 형태의 경우와 같은 데모자이크 처리를 한다. 구체적으로는, 먼저 상하 좌우에 인접하는 적색/청색/녹색의 4 화소의 중심으로, 해당 4 화소의 R/B/G의 신호로부터, 예를 들면 가산 평균을 취하는 등의 보간 처리에 의해 R/B/G의 신호를 생성한다.

걸리는 데모자이크 처리의 결과, 도 17에 나타난 바와 같이, WRGB의 각 신호가 정방 균등하게 배열된 칼라 코딩에 대응한 화소 신호를 생성할 수가 있다. 도 17은, 적색/청색/녹색의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타내는 도면이다.

제1 실시 형태와 제3 실시 형태에서는, 도 7과 도 16의 화소 배열로부터 모든 색 데모자이크 처리를 실시할 때에, 최초로 녹색이나 백색을 모든 화소 부분에 보간 전개해, 그 후에 색상관을 판단해 녹색이나 백색의 부분에 부족한 적색이나 청색이나 녹색의 각 성분을 생성하는 것이 생각된다. 이 때, 도 7/도 16에서의 마이크로 렌즈(34A)/(34C) 내의 RGB의 화소나 WRG/WGB의 화소의 수광 중심이, 이른바 모들뜨기(시프트)가 되어 있는 것으로, 근사적으로 같은 공간 위치로 간주할 수가 있다. 여기서, 모들뜨기(시프트)란, 수광 중심인 광학적 화소 중심을 마이크로 렌즈(34A)/(34C)의 중심으로 접근시킨 상태를 말한다.

이와 같이, 마이크로 렌즈(34A)/(34C)내의 RGB의 화소나 WRG/WGB의 화소를 근사적으로 같은 공간 위치로 간주할 수가 있는 것으로, 데모자이크 처리하기 전에 간이하게 색상관을 요구할 수가 있기 때문에, 데모자이크 처리를 위한 회로 규모를 축소할 수 있다. 특히, 백색은 RGB의 각 성분을 포함하기 때문에, 도 16/도 17의 WGR/WGB의 화소로부터 모든 화소 부분에의 모든 색 데모자이크 처리의 정밀도를 높계 취할 수가 있다.

상술한 제3 실시 형태와 관련되는 칼라 코딩의 색필터 어레이(33C)를 이용했을 경우에도, 제1 실시 형태와 관련되는 칼라 코딩의 색필터 어레이(33A)를 이용했을 경우와 같은 작용 효과를 얻을 수 있다. 즉, DSP 회로(31)에서의 데모자이크 처리에 해당되어 필요로 하는 화상 메모리(32)의 용량을 적게 억제할 수가 있기 때문에, 시스템 전체의 코스트 저감을 꾀할 수가 있다.

여기서, 제3 실시 형태와 관련되는 칼라 코딩의 경우를 예에 들어, 색필터 어레이(33)의 공간 샘플링점 x, y와 출력 샘플링점 x, y에 대해 설명한다.

도 18은, 공간 샘플링점 x, y에 대한 설명도이며, (A)는 색필터 어레이(33A)의 광학적 중심을 x, y공간에 배치한 도 15에 대응하고, (B)는 공간 샘플링점 x, y를 나타내고 있다.

상술한 바와 같이, 색필터 어레이(33)의 칼라 코딩은, 근사적으로, 공간 샘플링점(즉, 광학적인 화소 중심) x, y가, x=3*(2n－1＋oe)＋1±2, y=3m－2와 x=3*(2n－1＋oe)＋1, y=3m－2±2로 표현된다. 여기서, n, m는 정수이며, m이 홀수일 때에 oe=0, 짝수일 때에 oe=1이 된다.

도 18의 B에 대해, 1행째, 2행째는 m=1, oe=0 때의 W필터의 공간 샘플링점이 도시되고 있다. 3행째, 4행째는 m=2, oe=1 때의 G/R필터의 공간 샘플링점이 도시되고 있다. 5행째, 6행째는 m=3, oe=0 때의 W필터의 공간 샘플링점이 도시되고 있다. 7행째, 8행째는 m=4, oe=1 때의 B/G필터의 공간 샘플링점이 도시되고 있다. 9행째, 10행째는 m=5, oe=0 때의 W필터의 공간 샘플링점이 도시되고 있다.

덧붙여서, 예를 들면 1행째, 2행째에 있어, 최초의 4개의 공간 샘플링점 x, y는, 도 18의 A에 파선으로 둘러싼 상하 좌우에 인접하는 4 화소의 W필터에 대한 공간 샘플링점을 나타내고 있다. 즉, 파선으로 둘러싼 4 화소에 대해, 왼쪽의 화소의 공간 샘플링점 x, y가 (2, 1), 위의 화소의 공간 샘플링점 x, y가 (4,－1)이 된다. 또한, 오른쪽의 화소의 공간 샘플링점 x, y가 (6, 1), 아래의 화소의 공간 샘플링점 x, y가 (4, 3)이 된다.

도 19는, 출력 샘플링점 x, y에 대한 설명도이며, (A)는 W/G의 해상도를 중시했을 때의 정방 배열에의 데모자이크 처리 후의 화소 배열을 나타낸 도 16에 대응하고, (B)는 출력 샘플링점 x, y(2n, 2m＋1)를 나타내고 있다.

공간 샘플링에서의 1점 쇄선으로 가리키는 8 화소에 대해서, 출력 샘플링에서는 상하 좌우의 화소로부터 보간 되는 1 화소분이 증가하는 것에 의해 1점 쇄선으로 가리키는 9 화소가 된다. 이 때문에, 앞서 언급한 것처럼, 화상 메모리(32)에 대한 기록 화소수는, 실질 화소수에 대해서 1.125배(=9/8)만 증가한다. 그러나, 앞서 언급한 것처럼, 기록 화소수의 증가분은 얼마 안되는 것이어서, 데모자이크 처리에 해당되어 필요로 하는 화상 메모리(32)의 용량의 증량을 적게 억제할 수가 있다.

덧붙여서, 특허 문헌 1 기재의 종래 기술에서는, 체크 무늬 배열로부터 정방 배열로 변환하는 것에 해당되어, 4 화소의 중앙의 화소 정보에 대해 주위의 화소로부터의 데모자이크 처리에 의해 생성하도록 하고 있다. 도 20은, 종래 기술의 경우의 공간 샘플링점 x, y에 대한 설명도이며, (A)는 색필터 어레이의 광학적 중심을 x, y공간에 배치한 색배열을, (B)는 공간 샘플링점 x, y를 나타내고 있다.

종래 기술의 경우, 공간 샘플링점 x, y는, x=2*(2n－1＋oe)±1, y=2m－1과 x=2*(2n－1＋oe), y=2m－1±1으로 표현된다. 여기서, n, m는 정수이며, m이 홀수일 때에 oe=0, 짝수일 때에 oe=1이 된다. 공간 샘플링에서의 화소수를 50 화소(=수평 5 화소×수직 10 화소)로 했을 때, 4 화소의 중앙의 화소 정보에 대해 주위의 화소로부터의 데모자이크 처리에 의해 생성하는 것으로써, 출력 샘플링에서는 실질 화소수의 2배의 100 화소(=수평 10 화소×수직 10 화소)가 된다. 즉, 화상 메모리(32)의 메모리 용량으로서 실질 화소수에 대응한 용량의 2배의 용량이 필요하게 된다.

이상 설명한 제1 내지 제 3 실시 형태에서는, 마이크로 렌즈 어레이(34)를 구성하는 개개의 마이크로 렌즈를, 서로 상이한 색이 덮이도록 4 화소 단위로 공유하는 경우를 예로 들었지만, 이것에 한정되는 것은 아니다. 즉, 마이크로 렌즈를 화소 단위로 가지는 구성을 택하는 경우에도, 제1 내지 제 3 실시 형태와 관련되는 칼라 코딩을 채용하는 것으로, 화상 메모리(32)의 용량을 적게 억제해 시스템 코스트의 저감을 꾀할 수가 있다.

또한, 단위가 되는 4 화소가, 광학적 화소 중심(수광 중심)을 마이크로 렌즈의 중심으로 접근시킨 모들뜨기(시프트)인 것으로 4 화소의 한가운데에 공간 영역이 생기기 때문에, 해당 공간 영역을 배선 영역으로서 사용할 수 있는 메리트도 있다.

［동일색 4 화소 가산］

계속하여, 제1, 제2, 제3 실시 형태와 관련되는 색필터 어레이(33A),(33 B),(33C)에 관해서, 상하 좌우 인접 4 화소가 동일색이 되는 칼라 코딩에 대해, 동일색 4 화소의 신호를 가산하는 화소 가산(동일색 4 화소 가산)에 대해 말한다.

이 동일색 4 화소 가산을 실시하는데 있어서는, 가산 대상의 4 화소가 인접하고 있기 때문에, 예를 들면 앞서 언급한 FD가산(도 3 참조)을 이용하는 것에 의해 4 화소 가산을 실현할 수 있다. 여기서, 동일색 4 화소 가산에 대해, 제1 실시 형태와 관련되는 칼라 코딩의 경우를 예로 들어, 도 21을 이용해 구체적으로 설명한다. 도 21은, 제1 실시 형태와 관련되는 칼라 코딩에 있어서의 동일색 4 화소 가산에 대한 설명도이다. 제3 실시 형태와 관련되는 칼라 코딩의 경우에 대해서도, 기본적으로, 제1 실시 형태와 관련되는 칼라 코딩의 경우와 같은 것을 말할 수 있다.

도 4에 나타내는 제1 실시 형태와 관련되는 칼라 코딩에 대해, RGB의 화소 각각에 붙어서 인접 4 화소간에 화소 가산(예를 들면, FD가산)을 실시하는 것으로, 화소 가산 후의 색배열은 체크 무늬 배열이 된다. 따라서, 동일색 4 화소 가산 후의 신호 처리에 대해서는, 일반적인 체크 무늬 배열의 주지의 신호 처리계를 적응할 수 있다. 또한, 화소 가산을 실시하는 것으로, 상술한 바와 같이, 고속 동영상 촬상을 실현할 수 있는 것과 동시에 감도를 올릴 수가 있다. 4 화소 가산의 경우에는, 기본적으로, 감도는 화소 가산을 실시하지 않는 경우의 4배가 된다.

덧붙여 4 화소 가산을 실시했을 경우에는, 일반적으로, 해상도가 1/4로 저하한다. 그러나, 4 화소 가산을 실시한 시점에서 체크 무늬 배열이 되는 것으로, 상술한 종래 기술의 설명으로부터 분명한 것 처럼, 데모자이크 처리를 실시하는 것에 의해 정보량이 2배가 된다. 따라서, 화상 메모리(32)에 대한 기록 화소수(기록 해상도)가 4 화소 가산임에도 관계없이, 화소 가산을 실시하지 않는 풀 화소의 경우의 1/2의 저하로 끝난다. 즉, 상하 좌우 인접 4 화소가 동일색이 되는 칼라 코딩에 대해, 동일색 4 화소의 신호를 가산하는 4 화소 가산을 실시하는 것으로, 화소 가산시에 문제가 되는 색해상도의 저하를 최소한으로 억제하면서 휘도의 감도 향상을 꾀할 수가 있다.

여기에서는, 인접 4 화소간에 화소 가산을 화소내에서 FD가산에 의해 실시한다고 했지만, 화소내에서의 화소 가산에 한정되는 것은 아니고, 상술한 바와 같이, 수직 신호선(19)상이나, 컬럼 처리부(14)나, 후단의 신호 처리부등에서도 실시할 수가 있다. 어느 화소 가산을 이용했을 경우에서도, 상술한 작용 효과, 즉 색의 해상도 저하를 최소한으로 억제하면서 휘도의 감도 향상을 꾀할 수가 있다.

덧붙여 본 예에서는, 인접하는 4 화소에 대해서 공통으로 설치된 FD부(26)(도 2 참조)에서 동일색 4 화소 가산을 실시하는 경우에 대해 설명했지만, 4 화소 가운데 점대상의 위치 관계에 있는 동일색 2 화소 가산을 실시하는 일도 가능하다.

［모들뜨기(시프트) 배열］

여기서, 앞서 언급한, 광학적 화소 중심을 마이크로 렌즈의 중심으로 접근시킨 모들뜨기(시프트)의 화소 배열(모들뜨기 배열)에 대해 설명한다.

제1 실시 형태와 관련되는 색필터 어레이의 경우를 예로 들어 도 22를 이용해 설명한다. 도 22에 대해, (A)는 제1 실시 형태와 관련되는 색필터 어레이(33A)의 칼라 코딩을, (B)는 해당 칼라 코딩의 일부의 확대도를 각각 가리키고 있다.

마이크로 렌즈 어레이(34)의 개개의 마이크로 렌즈(34A)의 평면시의 형상이 예를 들면 원형인 경우, 마이크로 렌즈(34A) 상호간에 갭이 생긴다. 이 마이크로 렌즈(34A) 상호간의 갭이나 마이크로 렌즈(34A)의 데드 존을, 단위 화소(20)의 포토 다이오드 이외의 회로 소자, 특히 앞서 언급한 FD가산을 실현하는 도 3에 나타내는 화소 구성을 선택하는 경우의 화소 구성 소자를 배치하는에 해당되어 유효하게 이용할 수가 있다.

구체적으로는, 4 화소간에 공유하는 FD부(26)을 마이크로 렌즈(34A) 상호간의 갭의 중앙부에 배치해, 그 주위에 화소 구성 소자, 구체적으로는 전송 트랜지스터(22－1~22－4), 리셋트 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)를 배치한다. 또한, 마이크로 렌즈(34A) 상호간의 갭을 화소 구성 소자의 배치 영역으로서 뿐만이 아니고, 배선 영역이라고 해도 이용할 수가 있다.

이와 같이, 마이크로 렌즈(34A) 상호간의 갭이나 데드 존을 이용해, 포토 다이오드(21－1 ~ 21－4) 이외의 화소 구성 소자를 배치하는 것으로, 마이크로 렌즈(34A)의 집광에 방해가 되지 않는 회로 소자의 레이아웃을 실현할 수 있다. 또한, 1개의 마이크로 렌즈(34A)내에서 4개의 포토 다이오드(21－1 ~ 21－4)를, 그 광학 중심을 마이크로 렌즈(A34)의 중심으로 접근시킨 모들뜨기로 배치할 수가 있다.

포토 다이오드(21－1 ~ 21－4)의 광학 중심을 마이크로 렌즈(34A)의 중심으로 접근시킨 모들뜨기의 배치로 하는 것으로, 마이크로 렌즈(34A)의 높이(h)를 낮게 할 수 있는 것과 동시에, 렌즈의 곡률(r)을 작게 할 수 있다. 마이크로 렌즈(34A)의 포토 다이오드(21－1 ~ 21－4)의 수광면으로부터의 높이(h) 및 곡률(r)는, 포토 다이오드 상호간의 거리에 대응해 결정할 수 있다.

도 23에, 도 22의 B의 X－X′선에 따른 단면 구조를 나타낸다. 도 23으로부터 명확하듯이, 모들뜨기의 배치 구조를 선택하지 않는 경우(A)에 비해, 모들뜨기의 배치 구조를 선택하는 경우(B)가, 포토 다이오드 상호간의 거리가 짧아지는 분만큼, 마이크로 렌즈(34A)의 높이를 낮게(h2＜h1), 곡률(r)을 작게 할 수 있다(r2＜r1). 그리고, 마이크로 렌즈(34A)의 높이(h)가 낮은 경우가 높은 경우보다, 마이크로 렌즈 어레이(34)를 온 칩(on-chip)화 하기 쉽다고 하는 메리트가 있다.

모들뜨기의 포토 다이오드(21－1 ~ 21－4) 상호간에는, 필요에 따라서 혼합색 방지용의 차광 구조를 필요 치수로 구성할 수가 있다. 예를 들면, 포토 다이오드(21－1 ~ 21－4)의 수광면측에 적층되는 다층 배선의 1상째의 배선을 이용해 차광층으로 하거나 우로 비스듬히 방향과 왼쪽 경사 방향으로 배선층으로서 다른 메탈층을 이용하거나 하는 것으로, 혼합색 방지용의 차광 구조를 실현할 수 있다.

한편, 인접하는 4개의 마이크로 렌즈(34A) 상호간의 갭은, 동일색 필터를 가지는 4개의 화소의 중심 위치가 된다. 따라서, 전송 트랜지스터(22－1 ~ 22－4)를 개입시켜 4 화소 공유의 FD부(26)으로 하는 것으로, 앞서 언급한 것처럼, FD부(26)에서의 전하 가산에 의한 4 화소 가산이 가능해진다. 그리고, 상술한 바와 같이, 화소 가산에 의해 화소수를 가산 압축한 고속 동영상 촬상을 실현될 수 있게 된다.

여기에서는, 제1 실시 형태와 관련되는 색필터 어레이(33A)의 경우를 예로 들어 설명했지만, 제1, 제2 실시 형태와 관련되는 색필터 어레이(33B),(33B)의 경우에도, 제1 실시 형태와 관련되는 색필터 어레이(33A)의 경우와 같은 일을 말할 수 있다.

［위상차이 검출］

제1 내지 제 3 실시 형태에서는, 서로 상이한 색이 덮이도록 4 화소(상하 2 화소×좌우 2 화소) 단위로 1개의 마이크로 렌즈(34A),(34B),(34C)를 공유하는 구성을 택하고 있다. 이러한 실시 형태 가운데, 제1, 제3 실시 형태에서는, 단위가 되는 4 화소 가운데, 2 화소가 동일색이 되고 있다.

구체적으로는, 제1 실시 형태와 관련되는 칼라 코딩의 경우는, 도 4로부터 분명한 것 처럼, R필터와 B필터가 각각 1 화소로, G필터가 2 화소가 되고 있다. 제3 실시 형태의 경우는, 도 14로부터 분명한 것 같이, G필터와 B필터/G필터와 R필터가 각각 1 화소로, W필터가 2 화소가 되고 있다. 즉, R/B화소에 비해 신호 출력량이 큰 휘도 신호의 주성분이 되는 G/W화소가 4 화소 가운데 2 화소가 되고 있다.

이와 같이, 휘도 신호의 주성분이 되는 W/G화소가, 체크 무늬 인접 4 화소 동일색을 단위에 정방에 배열되고 있는 경우는, 마이크로 렌즈 어레이(34)의 행렬 단위로 G/W화소가 2 화소씩 1개의 마이크로 렌즈내에서 세로나 가로에 줄서 배열된다. 이 화소 배열에 대해, 1개의 마이크로 렌즈내의 동일색의 2개의 화소를, 2개의 입사광의 위상차이를 검출하는 위상차이 센서로서 이용할 수가 있다.

구체적으로는, 옆에 줄선 2개의 G/W화소가 속하는 마이크로 렌즈가 횡방향에 줄지어 있는 행에서는, 2개의 G/W화소의 각 신호에 근거해 횡방향(행방향)으로부터 마이크로 렌즈에 입사하는 2살의 빛의 위상차이를 검출할 수가 있다. 또한, 세로에 줄선 2개의 G/W화소가 속하는 마이크로 렌즈가 세로 방향에 줄지어 있는 열에서는, 2개의 G/W화소의 각 신호에 근거해 세로 방향(열방향)으로부터 마이크로 렌즈에 입사하는 2살의 빛의 위상차이를 검출할 수가 있다.

여기서, 위상차이 검출의 원리에 대해

를 이용해 설명한다. 여기에서는, R필터의 2개의 화소의 신호를 이용해 위상차이 검출을 실시하는 경우를 예로 들어 설명하는 것으로 한다. G/B/W필터의 2개의 화소를 이용하는 경우에도 같다.

CMOS 이미지 센서(10)을 촬상 디바이스로서 이용하는 촬상 장치에서는, CMOS 이미지 센서(10)의 수광면측에 촬상 렌즈(41)이 배치되어 해당 촬상 렌즈(41)에 의해 피사체(42)로부터의 상광(입사광)이 받아들여진다.

촬상 렌즈(41)와 피사체(42)와의 사이의 거리가 도 24의 B 상태일 때, 2개의 입사광이 2개의 R화소의 수광면에 결상 한다. 이 도 24의 B 상태를 합초상태(포커싱 상태)로 하고, 이 때의 2개의 R화소의 각 출력 신호의 피크간의 간격이 합초상태에 있어서의 촬상 렌즈(41)으로 피사체(42)와의 사이의 거리가 된다. 2개의 R화소의 각 출력 신호의 피크간의 간격은, 2개의 입사광의 위상차이를 나타낸다.

그리고, 촬상 렌즈(41)와 피사체(42)와의 사이의 거리가 합초상태 때의 거리보다 가깝게 된 상태 (A)에서는, 2개의 R화소의 각 출력 신호의 피크간의 간격이 합초상태 때의 간격보다 좁아진다. 또한, 촬상 렌즈(41)으로 피사체(42)와의 사이의 거리가 합초상태 때의 거리보다 멀어진 상태(C)에서는, 2개의 R화소의 각 출력 신호의 피크간의 간격이 합초상태 때의 간격보다 넓어진다.

이것으로부터 분명하듯이, 동일색 필터의 2개의 화소의 각 출력 신호의 피크간의 간격으로부터 2개의 입사광의 위상차이를, 촬상 렌즈(41)의 광축 방향에 대한 정보, 즉 촬상 렌즈(41)으로 피사체(42)와의 사이의 거리 정보로서 검출할 수 있다. 따라서, 동일색 필터의 2개의 화소를 위상차이 센서로서 이용하는 것으로써, 촬상 렌즈(41)으로 피사체(42)와의 사이의 거리 정보에 근거해 촬상 렌즈(41)의 광축 방향의 위치를 제어하는 AF(오토 포커스) 기능을 실현할 수 있다. 동일색 필터의 2개의 화소를 위상차이 센서로서 이용해 해당 위상차이 센서를 AF센서로서 겸용하는 것으로써, AF기능을 실현하는데 전용의 AF센서를 이용하지 않아도 되는 메리트가 있다.

여기에서는, R필터의 화소를 위상 검출에 이용하는 경우를 예로 들었지만, 위상차이 검출은 입사광의 특정 각도를 검출하는 것이므로, 입사광의 일부를 버리게 되기 때문에, 휘도 신호의 주성분이 되는 고출력의 색필터(G/W필터)의 화소가 위상 검출에 적절하고 있다. 특히, 휘도 신호의 주성분을 백색 W로 하는 제3 실시 형태가 관계되는 칼라 코딩이 바람직하다. G/W필터의 화소를 위상차이 센서로서 이용하는 경우는, 색신호의 주성분이 되는 R/B필터의 화소는 집광이 최대가 되는 조건이 적합한다.

따라, R/B필터의 화소의 각각에 붙어, 포토 다이오드의 수광 면적(광학적인 면적)과 마이크로 렌즈의 곡률이 최적치가 되도록 하는 것으로써, 동일 프로세스에서 위상차이 검출에 적절한 구조와 집광에 적절한 구조를 양립할 수 있다. 최적치로 하는 구체적인 수법으로서는, 색화소 R/B나 G/R나 G/B와 다른 포토 다이오드의 수광 면적으로 하거나 마이크로 렌즈의 곡률을 n방향과 m방향(종횡)으로 바꾸는 등의 방법이 생각된다. 게다가 도 25에 나타난 바와 같이, 마이크로 렌즈의 형상을 타원(A)이나 팔각형(B)이나 육각형(C)으로 하거나 하는 것도 생각할 수 있다.

［시차 화상］

상술한 위상차이 검출에서는, 1개의 마이크로 렌즈내에 속하는 동일색 2 화소의 신호를 이용하다고 하고 있다. 이것에 대해서, 1개의 마이크로 렌즈내에 속하는 모든 색의 화소의 신호를 이용한 처리를 실시하는 것으로, 2차원 시차 화상을 얻는 주지의 「Light Field Photography」라고 불리는 수법을 이용한 촬상 장치를 구축할 수가 있다.

위상차이 검출에서 언급한 바와 같이, 1개의 마이크로 렌즈 내에 속하는 2개의 화소의 신호로부터, 촬상 렌즈의 광축 방향에 대한 정보를 얻을 수 있다. 그리고, 상기 수법을 이용하는 것으로, 1개의 마이크로 렌즈내에 속하는 4 화소로부터 얻을 수 있는 신호는, 시차에 대한 정보를 포함하게 된다. 여기에, 시차란, 다른 이와 같이, 1개의 마이크로 렌즈내에 속하는 4 화소로부터 얻을 수 있는 신호가 시차에 대한 정보를 포함하기 때문에, 1개의 마이크로 렌즈내에 속하는 모든 색의 화소의 신호를 이용한 처리를 실시하는 것으로, 2차원 시차 화상을 얻는 촬상 장치를 구축할 수 있게 된다. 또한, 2차원 시차 정보를 이용한 리포커스가 가능하게 된다.

＜6. 화소 배열의 변형례＞

제1 내지 제 3 실시 형태에서는, 색배열의 단위가 되는 상하 좌우 인접 4 화소가 동일색이 되는 화소 배열(색배열)로 하고 있지만, 본 발명은 이 색배열에의 적용에 한정되는 것은 아니고, 예를 들면, 동일색 4 화소와 동일색 2 화소가 혼재하는 색배열에도 적용 가능하다. 이하에, 동일색 4 화소와 동일색 2 화소가 혼재하는 변형예에 대해 설명한다.

［제1 변형례］

(칼라 코딩)

도 26은, 제1 변형예와 관련되는 칼라 코딩을 나타내는 도면이다. 본 변형예와 관련되는 칼라 코딩은, 제3 실시 형태와 관련되는 색필터 어레이(33C)의 칼라 코딩, 즉 4 화소를 단위로 하는 W체크 무늬 배열을 45도 회전시킨 칼라 코딩을 기본으로 하고 있다.

그리고, 제3 실시 형태와 관련되는 칼라 코딩에 대해, B필터의 4 화소에 대해서는, 상하 2 화소가 R필터, 좌우 2 화소가 B필터의 편성으로 옮겨놓고 있다. 또한, R필터의 4 화소에 대해서는, 상하 2 화소가 B필터, 좌우 2 화소가 R필터의 편성으로 옮겨놓고 있다. W/G필터의 4 화소에 대해서는 각각, 4 화소가 모두 동일색이 되고 있다.

즉, 제1 변형예와 관련되는 칼라 코딩은, 4 화소를 단위로 하는 W체크 무늬 배열을 45도 회전시킨 칼라 코딩에 대해, W/G필터에 대해서는 4 화소가 모두 동일색이 되어, R/B필터에 대해서는 점대칭의 위치 관계에 있는(대향한다) 2 화소가 동일색이 되고 있다.

마이크로 렌즈 어레이(34)에 대해서는, 제1 내지 제 3 실시 형태와 같게, 서로 상이한 색이 덮이도록 4 화소 단위로 1개의 마이크로 렌즈를 공유한다. 도 27은, 제1 변형예와 관련되는 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면이다.

(데모자이크 처리)

계속하여, 제1 변형예와 관련되는 칼라 코딩의 체크 무늬 배열을 정방 배열로 하는 데모자이크 처리에 대해 설명한다.

W화소에 대해서는, 도 28에 나타난 바와 같이, 실제로 존재하는 화소(이하, 「실질 화소」라고 기술한다)의 정보로부터 방향성(세로 방향의 상관, 횡방향의 상관, 경사 방향의 상관)을 판단해 실질 화소가 존재하지 않는 부분의 화소 정보를 그 주위의 실질 화소의 정보를 기본으로 생성해 모든 화소에 전개한다. 도 28에 대해, 흑색의 다이아몬드형상이 W의 실질 화소를, 회색의 다이아몬드 형상이 연산으로 요구한 W의 화소를 각각 가리키고 있다.

하나의 예로서 x, y=6,(11)의 공간 위치에는 W화소가 존재하지 않고, 해당 공간 위치의 W정보를 요구하려면 , 그 주위에 위치하는 8개의 W화소(실질 화소)의 정보를 이용한다. 또한, x, y=10, 7의 공간 위치에는 W화소가 존재하지 않고, 해당 공간 위치의 W정보를 요구하려면 , 그 주위에 위치하는 4개의 W화소의 정보를 이용한다.

그 후, 인접하는 4개의 W화소의 정보로부터 해당 4개의 W화소의 한가운데의 위치의 화소 정보를 연산에 의해 요구한다. 이 4개의 W화소의 정보로부터 한가운데의 화소 정보를 요구하는 처리를, 「화소 시프트」라고 부르기로 한다. 이 화소 시프트에 의해 요구한, 4개의 W화소의 한가운데의 W화소의 중심은 RGB의 색화소의 중심과 일치한다.

RGB의 화소에 대해서는, 도 29에 나타난 바와 같이, W－RGB의 상관으로부터 주지의 보간 처리에 의해 화소 정보를 요구한다. 도 29에 대해, 다이아몬드 형태가 RGB의 실질 화소의 정보를 나타내, 작은 원이 보간 처리로 요구한 화소(이하, 「보간 화소」라고 기술한다)의 정보를 나타내고 있다. 상술한 화소 시프트의 결과, W화소의 중심과 RGB의 색화소의 중심이 일치하는 것으로, W화소와 RGB의 화소와의 색생관을 잡을 수 있다.

예를 들면, W화소와 R화소와의 색상관을 잡는 것으로, 그 상관계수로부터 R화소가 실재하지 않는 공백 부분의 R화소의 정보를 요구할 수가 있다. 즉, 화소 시프트에 의해 구할 수 있던 W화소의 정보는, 색화소가 실재하지 않는 공백 부분의 색정보를 요구하는, 이른바 색정보의 보충에 사용된다. 이러한 처리에 의해 색정보가 재현 된다. 그리고, 도 30에 나타난 바와 같이, W화소의 정보와 RGB의 화소의 정보를 합성한다.

상술한 것처럼, W화소의 정보를 모든 화소에 전개함과 함께, 공간적으로 중간 위치의 W화소로 변환하는 화소 시프트를 실시해, 그 중간위치의 W화소와 RGB의 화소와의 상관을 취하는 것으로, 제1 변형예와 관련되는 칼라 코딩의 색배열을 베이어 배열에 복원할 수가 있다.

그리고, 이 베이어 배열의 신호에 대해서 공간 대역 로우패스 필터를 걸치는 신호 처리를 실시하는 것으로, 화상 메모리(32)에 대한 독립 판독시의 표준 기록 화소수가 원의 색배열의 화소수(실질 화소수)의 1.125배(=9/8)가 된다. 다만, 이 때의 화상 메모리(32)의 메모리 용량의 증가분은 얼마 안되는 것이다. 또한, 화소 시프트에 의해 인접하는 4개의 W화소의 정보로부터 해당 4개의 W화소의 한가운데의 위치의 정보를 생성하는 것에 의해 화소수가 원의 색배열의 4. 5배(=36/8)가 된다. 즉, 데이터량으로서는, 표준 기록 화소수 때의 4배(=4. 5/1.(12)5)가 된다.

W화소의 정보와 RGB의 화소의 정보를 합성한 후, 도 3)에 나타난 바와 같이, W/G에 대해서는, 인접하는 4 화소간에 가산 처리를 실시한다(4 화소 가산). 하나의 예로서, x, y=7, 4의 공간 위치에 대해서는, 도 30에 대해, x, y=7, 2의 G화소와 x, y=7, 6의 G화소와 x, y=5, 4의 G화소와 x, y=5, 9의 G화소의 각 정보를 4 화소 가산한다. 한편, R/B의 색정보에 대해서는, 상하 또는 좌우의 2 화소간에 가산 처리를 실시한다(2 화소 가산).

여기에서는, W/G에 대해 4 화소 가산, R/B에 대해 2 화소 가산을 실시한다고 했지만, 이 가산 방식으로 한정되는 것은 아니다. 예를 들면, WGRB의 모두에 대해 세로 2 화소 가산, 가로 2 화소 가산에서 데모자이크 처리를 실시해, 그 후에 양자를 가산하는 것으로, 결과적으로, WGRB의 모두에 대해 4 화소 가산의 효과를 얻을 수 있다.

도 32에 세로(상하) 가산 플래인에 대해, 도 33에 옆(좌우) 가산 플래인에 대해 각각 가리킨다. 세로 가산 플래인과 가로 가산 플래인을 가산해, 결과적으로, WGRB의 모두에 대해 4 화소 가산을 실시하는 것으로, 실효 화소수는 0. 25 화소(=2/8)가 되어, 기록 화소수는 0. 5 화소(=4/8)가 된다.

［제2 변형례］ (칼라 코딩)

도 34는, 제2 변형예와 관련되는 칼라 코딩을 나타내는 도면이다. 본 변형예와 관련되는 칼라 코딩은, 제1 변형예와 관련되는 칼라 코딩, 즉 W/G필터에 대해서는 4 화소가 모두 동일색이 되어, R/B필터에 대해서는 R2화소와 B2화소의 편성이 되는 칼라 코딩을 기본으로 하고 있다.

그리고, 제2 변형예와 관련되는 칼라 코딩에 대해, 먼저, G필터의 4 화소에 대해서는, 가로 2 화소에 비해 세로 2 화소의 감도가 낮아지고 있다. 즉, 상대적으로, 가로 2 화소가 고감도, 세로 2 화소가 저감도가 되고 있다. W필터에 대해서도, G필터와 같게, 가로 2 화소가 고감도, 세로 2 화소가 저감도가 되고 있다.

한편, R2화소와 B2화소의 편성으로부터 되는 4 화소에 대해서는, 상하 좌우의 4 화소중 상과 왼쪽의 화소에 비해 아래와 오른쪽의 화소의 감도가 낮아지고 있다. 구체적으로는, 상하 2 화소가 R, 좌우 2 화소가 B의 4 화소에 대해, 상대적으로, 위의 R화소가 고감도, 아래의 R화소가 저감도, 왼쪽의 B화소가 고감도, 오른쪽의 B화소가 저감도가 되고 있다. 또한, 상하 2 화소가 B, 좌우 2 화소가 R의 4 화소에 대해, 상대적으로, 위의 B화소가 고감도, 아래의 B화소가 저감도, 왼쪽의 R화소가 고감도, 오른쪽의 R화소가 저감도가 되고 있다.

마이크로 렌즈 어레이(34)에 대해서는, 제1 내지 제 3 실시 형태와 같게, 서로 상이한 색이 덮이도록 4 화소 단위로 1개의 마이크로 렌즈를 공유한다. 도 35는, 제2 변형예와 관련되는 칼라 코딩에 관해서 광학적 중심을 xy공간에 배치한 도면이다.

(데모자이크 처리)

계속하여, 제2 변형예와 관련되는 칼라 코딩의 체크 무늬 배열을 정방 배열로 하는 데모자이크 처리에 대해 설명한다.

먼저, RGB의 각 화소에 대해 실질 화소의 정보를 추출해 배열한다. 도 36은, RGB의 실질 화소의 정보의 배열을 제1 플래인으로서 도시하는 도면이다. 다음에, W의 실질 화소에 대해, 제1 변형 예의 W화소의 경우와 같게, 실질 화소의 정보로부터 방향성을 판단해 주위의 실질 화소의 정보를 기본으로 실질 화소가 존재하지 않는 부분의 화소 정보를 생성해 모든 화소에 전개한다.

또한, 앞서 언급한 화소 시프트의 처리를 실시하는 것으로, 인접하는 4개의 W화소의 정보로부터 해당 4개의 W화소의 한가운데의 위치의 화소 정보를 연산에 의해 요구한다. 도 37은, W의 실질 화소에 대한 화소 시프트 배열을 W플래인으로서 도시하는 도면이다.

RGB의 화소에 대해서는, 제1 변형 예의 RGB 화소의 경우와 같게, W－RGB의 상관으로부터 주지의 보간 처리에 의해 화소 정보(보간 화소의 정보)를 요구한다. 도 38은, RGB의 보간 화소의 정보의 배열을 제2 플래인으로서 도시하는 도면이다. 도 38에 대해, 다이아몬드형이 RGB의 보간 화소의 정보를 나타내고 있다.

그리고, 도 36의 제1 플래인과 도 38의 제2 플래인을 가산하는 것으로, 도 39에 나타난 바와 같이, 제2 변형예와 관련되는 칼라 코딩의 색배열을 베이어 배열에 복원할 수가 있다. 이 가산시, 실효 화소수는 5/16 화소가 되어, 기록 화소수는 0. 5 화소(=4/8)가 된다.

도 39에 나타내는 색배열의 각 화소의 신호에 대해서는, 주지의 SVE(Spatially Varying Exposure) 방식으로 불리는 기술(예를 들면, 국제 공개 제 02/056603호 팜플렛 참조)을 적용할 수가 있다. SVE 방식은, 공간적인 감도 패턴을 이용해 해상도를 저하시키는 일 없이, 다이나믹 레인지를 향상시키는 기술의 하나이다.

상기 SVE 방식으로는, 각 화소는 1 종류의 감도만을 가진다. 따라서, 촬상된 화상의 각 화소는, 본래의 촬상 소자가 가지는 다이나믹 레인지의 정보 밖에 취득할 수가 없다. 이것에 대해서, 얻을 수 있던 화상 신호에 소정의 화상 처리를 베풀어, 모든 화소의 감도가 균일하게 되도록 하는 것으로써, 결과적으로, 다이나믹 레인지가 넓은 화상을 생성할 수가 있다.

제2 변형예에 대해도, 제1 변형 예의 경우와 같게, 세로 2 화소 가산에 의한 세로 가산 플래인과 가로 2 화소 가산에 의한 가로 가산 플래인을 생성해, 이것들 플래인을 가산하는 수법을 뽑을 수가 있다. 도 40은, 세로 가산 플래인과 가로 가산 플래인을 가산한 결과를 가산 플래인으로서 도시하는 도면이다.

［제3 변형례］

(칼라 코딩)

도 41은, 제3 변형예와 관련되는 칼라 코딩을 나타내는 도면이다. 본 변형예와 관련되는 칼라 코딩은, 각 화소의 감도의 높낮이의 편성을 제2 변형예와 관련되는 칼라 코딩과 달리한 칼라 코딩이 되고 있다.

구체적으로는, 제3 변형예와 관련되는 칼라 코딩에 대해, G필터의 4 화소에 대해서는, 가로 2 화소에 비해 세로 2 화소의 감도가 높아지고 있다. 즉, 상대적으로, 가로 2 화소가 저감도, 세로 2 화소가 고감도가 되고 있다. W필터에 대해서도, G필터와 같게, 가로 2 화소가 저감도, 세로 2 화소가 고감도가 되고 있다.

한편, R2화소와 B2화소의 편성으로부터 되는 4 화소에 대해서는, 가로 2 화소에 비해 세로 2 화소의 감도가 높아지고 있다. 즉, 세로 2 화소가 R, 가로 2 화소가 B의 편성에서는, B의 2 화소에 비해 R의 2 화소의 감도가 높아지고 있다. 또한, 세로 2 화소가 B, 가로 2 화소가 R의 편성에서는, R의 2 화소에 비해 B의 2 화소의 감도가 높아지고 있다.

(데모자이크 처리)

계속되어, 제3 변형예와 관련되는 칼라 코딩의 체크 무늬 배열을 정방 배열로 하는 데모자이크 처리에 대해 설명한다. 제2 변형 예의 경우와는 각 화소의 감도의 높낮이의 편성이 다른 것만으로 있어, 기본적인 데모자이크 처리에 대해서는 같다.

먼저, RGB의 각 화소에 대해 실질 화소의 정보를 추출해 배열한다. 도 43은, RGB의 실질 화소의 정보의 배열을 제1 플래인으로서 도시하는 도면이다. 다음에, W의 실질 화소에 대해, 제1 변형 예의 W화소의 경우와 같게, 실질 화소의 정보로부터 방향성을 판단해 주위의 실질 화소의 정보를 기본으로 실질 화소가 존재하지 않는 부분의 화소 정보를 생성해 모든 화소에 전개한다.

또한, 앞서 언급한 화소 시프트의 처리를 실시하는 것으로, 인접하는 4개의 W화소의 정보로부터 해당 4개의 W화소의 한가운데의 위치의 화소 정보를 연산에 의해 요구한다. 도 44는, W의 실질 화소에 대한 화소 시프트 배열을 W플래인으로서 도시하는 도면이다.

RGB의 화소에 대해서는, 제1 변형 예의 RGB 화소의 경우와 같게, W－RGB의 상관으로부터 주지의 보간 처리에 의해 화소 정보(보간 화소의 정보)를 요구한다. 도 45는, RGB의 보간 화소의 정보의 배열을 제2 플래인으로서 도시하는 도면이다. 도 45에 대해, 다이아몬드형이 RGB의 보간 화소의 정보를 나타내고 있다.

그리고, 도 43의 제1 플래인과 도 44의 제2 플래인을 가산하는 것으로, 도 46에 나타난 바와 같이, 제2 변형예와 관련되는 칼라 코딩의 색배열을 베이어 배열에 복원할 수가 있다. 이 가산시, 실효 화소수는 5/16 화소가 되어, 기록 화소수는 0. 5 화소(=4/8)가 된다.

제3 변형예에 대해도, 제1 변형 예의 경우와 같게, 세로 2 화소 가산에 의한 세로 가산 플래인과 가로 2 화소 가산에 의한 가로 가산 플래인을 생성해, 이것들 플래인을 가산하는 수법을 뽑을 수가 있다. 도 47은, 세로 가산 플래인과 가로 가산 플래인을 가산한 결과를 가산 플래인으로서 도시하는 도면이다.

＜7. 적용예＞

［촬상 장치］

도 48은, 본 발명과 관련되는 촬상 장치의 구성의 하나의 예를 나타내는 블럭도이다.

도 48에 나타난 바와 같이, 본 발명과 관련되는 촬상 장치(100)은, 촬상 렌즈등의 렌즈군(101)을 포함한 광학계, 촬상 소자(102), 카메라 신호 처리 회로인 DSP 회로(103), 프레임 메모리(104), 표시 장치(105), 기록 장치(106), 조작계(107) 및 전원계(108) 등을 가지고 있다. 그리고, DSP 회로(103), 프레임 메모리(104), 표시 장치(105), 기록 장치(106), 조작계(107) 및 전원계(108)이 버스 라인(109)를 개입시켜 서로 접속된 구성으로 되어 있다.

렌즈군(101)은, 피사체로부터의 입사광(상광)을 포착하여 촬상 소자(102)의 촬상면에 결상한다. 촬상 소자(102)는, 렌즈군(101)에 의해 촬상면에 결상된 입사광의 광량을 화소 단위로 전기신호로 변환해 화소 신호로서 출력한다. 이 촬상 소자(102)로서 앞서 언급한 본 발명이 적용되는 CMOS 이미지 센서(10)이 이용된다. 이 CMOS 이미지 센서(10)는, 색필터 어레이(33)로서 앞서 언급한 제1 내지 제 3 실시 형태와 관련되는 칼라 코딩의 것 또는, 제1 내지 제 3 변형예와 관련되는 칼라 코딩의 것을 가지고 있다.

DSP 회로(103)는 도 1의 DSP 회로(31)에 상당하고, 센서 팁(11)으로부터 출력되는 예를 들면 1 프레임 분의 화상 데이터를 화상 메모리(32)에 상당하는 프레임 메모리(104)에 일시적으로 저장한다. 그리고, DSP 회로(103)는, 프레임 메모리(104)에 기억 보관 유지한 화상 데이터를 이용해 앞서 언급한 데모자이크 처리를 포함한 각종의 신호 처리를 실시한다.

표시 장치(105)는, 액정 표시 장치나 유기 EL(electroluminescence) 표시 장치 등의 패널형 표시 장치로 구성되어, 촬상 소자(102)로 촬상된 동영상 또는 정지화면을 표시한다. 기록 장치(106)는, 촬상 소자(102)로 촬상된 동영상 또는 정지화면을, 비디오 테잎이나 DVD(Digital Versatile Disk) 등의 기록 매체에 기록한다.

조작계(107)는, 유저에 의한 조작하에, 본 촬상 장치가 가지는 여러가지 기능에 대해 조작 지령을 발표한다. 전원계(108)는, DSP 회로(103), 프레임 메모리(104), 표시 장치(105), 기록 장치(106) 및 조작계(107)의 동작 전원이 되는 각종의 전원을, 이것들 공급 대상에 대해서 적절히 공급한다.

이러한 촬상 장치(100)는, 비디오 카메라나 디지털 카메라, 또 휴대전화기 등의 모바일 기기용의 카메라 모듈에 적용된다. 그리고, 촬상 소자(102)로서 앞서 언급한 제1 내지 제 3 실시 형태와 관련되는 칼라 코딩이나, 제1 내지 제 3 변형예와 관련되는 칼라 코딩의 색필터 어레이(33)을 가지는 CMOS 이미지 센서를 이용하는 것으로, 다음과 같은 작용 효과를 얻을 수 있다.

즉, RGB 베이어 배열을 45도 회전시킨 체크 무늬 배열로 해, 상하 좌우 인접 4 화소를 동일색으로 한 칼라 코딩의 색필터 어레이(33)을 이용하는 것으로, 프레임 메모리(104)의 용량의 불필요한 증대를 억제할 수가 있다. 따라서, DSP 회로(103)에서의 데모자이크 처리에 해당되어 필요로 하는 화상 메모리(32)의 용량을 적게 억제할 수가 있기 때문에, 본 촬상 장치의 시스템 전체의 코스트 저감을 꾀할 수가 있다.

10…CMOS 이미지 센서
11…반도체 기판(센서 팁)
12…화소 어레이부
13…수직 구동부
14…컬럼 처리부
15…수평 구동부
16…시스템 제어부
20…단위 화소
21…포토 다이오드
22…전송 트랜지스터
23…리셋트 트랜지스터
24…증폭 트랜지스터
25…선택 트랜지스터
26…FD(플로팅 디퓨전)부
31…DSP 회로
32…화상 메모리
33, 33A, 33B, 33C…색필터 어레이
34, 34A, 34B, 34C…마이크로 렌즈 어레이

Claims

체크 무늬 배열에 준거해, 상하 좌우의 적어도 한쪽의 인접 2 화소가 동일색의 색필터 어레이를 가지고, 상기 색필터 어레이는, 근사적으로, 공간 샘플링점 x, y가 x=3*(2n－1＋oe)＋1±2, y=3m－2(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)와, x=3*(2n－1＋oe)＋1, y=3m－2±2(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)가 적어도 한쪽에 배열되고,
n, m단위로 m값이 홀수 또는 짝수의 공간 샘플링점끼리가 동일색이 되고, 해당 동일색이 휘도 신호의 주성분이 되는 녹색 또는 백색이 되는 색배열인 것을 특징으로 하는 고체 촬상 장치.
제1항에 있어서,
상기 색필터 어레이는, 상하 좌우에 인접하는 4개의 화소 가운데, 해당 4개의 화소의 모두가 동일색이 되는 색배열인 것을 특징으로 하는 고체 촬상 장치.
제1항에 있어서,
상기 색필터 어레이는, 상하 좌우에 인접하는 4개의 화소 가운데, 적어도 점대칭의 위치 관계에 있는 2 화소가 동일색이 되는 색배열인 것을 특징으로 하는 고체 촬상 장치.
제1항에 있어서,
상기 색필터 어레이는, 상기 동일색이 녹색이며, 해당 녹색 이외의 부분이 상하 좌우에 인접하는 4개의 화소로 적색과 청색의 동일색이 되는 색배열인 것을 특징으로 하는 고체 촬상 장치.
제1항에 있어서,
상기 색필터 어레이는, 상기 동일색이 녹색 또는 백색이며, 해당 녹색 또는 백색 이외의 부분이 상하 좌우에 인접하는 4개의 화소로 적색과 청색의 동일색이 되는 색배열인 것을 특징으로 하는 고체 촬상 장치.
제1항에 있어서,
상기 색필터 어레이는, 상기 동일색이 백색이며, 해당 백색 이외의 부분이 상하 좌우에 인접하는 4개의 화소로 녹색과 적색과 청색의 동일색이 되는 색배열인 것을 특징으로 하는 고체 촬상 장치.
제1항에 있어서,
상기 색필터 어레이는, 상기 동일색이 백색이며, 해당 백색 이외의 부분이 상하 좌우에 인접하는 4개의 화소로 녹색의 동일색과, 상하 좌우에 인접하는 4개의 화소로 적색과 청색이 점대칭의 위치 관계에 있는 2 화소로 동일색이 되는 색배열인 것을 특징으로 하는 고체 촬상 장치.
제4항에 있어서,
상기 색필터 어레이는, 상기 4개의 화소 가운데, 점대칭의 위치 관계에 있는 2 화소끼리의 감도가 다른 것을 특징으로 하는 고체 촬상 장치.
제1항에 있어서,
n, m값이 다른 인접하는 4 화소를 단위로 하고, 해당 4 화소 마다 1개의 마이크로 렌즈가 배치되는 마이크로 렌즈 어레이를 가지는 것을 특징으로 하는 고체 촬상 장치.
제9항에 있어서,
상기 4 화소는, 각 광학적 화소 중심이 1개의 마이크로 렌즈의 중심에 접근하여 배치되고 있는 것을 특징으로 하는 고체 촬상 장치.
제9항에 있어서,
상기 마이크로 렌즈 어레이는, 마이크로 렌즈의 곡률이 n방향과 m방향으로 다른 것을 특징으로 하는 고체 촬상 장치.
제2항 또는 제3항에 있어서,
상하 좌우에 인접하는 4개의 화소 마다 해당 4개의 화소의 중앙부에 플로팅 디퓨전부를 가지고, 해당 플로팅 디퓨전부에 있어 인접하는 4개의 동일색 화소간 또는 점대칭의 위치 관계에 있는 2개의 동일색 화소간에 전하의 가산을 실시하는 것을 특징으로 하는 고체 촬상 장치.
제9항에 있어서,
상하 좌우에 인접하는 4개의 화소 마다 해당 4개의 화소의 중앙부에 플로팅 디퓨전부를 가지고,
상기 플로팅 디퓨전부는, 상기 마이크로 렌즈 어레이의 마이크로 렌즈 상호간의 갭에 배치되어 있는 것을 특징으로 하는 고체 촬상 장치.
제9항에 있어서,
상기 4개의 화소를 구성하는 소자는, 상기 마이크로 렌즈 어레이의 마이크로 렌즈 상호간의 갭에 배치되어 있는 것을 특징으로 하는 고체 촬상 장치.
제7항 있어서,
백색의 화소에 대해서는, 실제로 존재하는 화소의 정보로부터 화소가 존재하지 않는 부분의 화소 정보를 그 주위의 화소 정보를 기본으로 생성해 모든 화소에 전개해, 인접하는 4개의 백색의 화소의 정보로부터 해당 4개의 백색의 화소의 한가운데의 위치의 백색의 화소 정보를 요구하는 신호 처리 회로를 가지는 것을 특징으로 하는 고체 촬상 장치.
제15항에 있어서,
상기 신호 처리 회로는, 녹색, 적색, 청색의 각 화소에 대해서는, 해당 각 화소의 정보와 상기 한가운데의 위치의 백색의 화소 정보와의 색상관으로부터 화소 정보를 요구하는 것에 의해 색정보를 재현하고, 해당 색정보와 상기 백색의 화소 정보를 합성하고, 합성한 신호에 대해서 공간 대역 로우패스 필터를 가하는 것을 특징으로 하는 고체 촬상 장치.
체크 무늬 배열에 준거해, 상하 좌우의 적어도 한쪽의 인접 2 화소가 동일색의 색필터 어레이를 가지고, 상기 색필터 어레이는, 근사적으로, 공간 샘플링점 x, y가 x=3*(2n－1＋oe)＋1±2, y=3m－2(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)와, x=3*(2n－1＋oe)＋1, y=3m－2±2(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)가 적어도 한쪽에 배열되고,
n, m단위로 m값이 홀수 또는 짝수의 공간 샘플링점끼리가 동일색이 되고, 해당 동일색이 휘도 신호의 주성분이 되는 녹색 또는 백색이며, 해당 백색 이외의 부분이 상하 좌우에 인접하는 4개의 화소로 녹색의 동일색과, 상하 좌우에 인접하는 4개의 화소로 적색과 청색이 점대칭의 위치 관계에 있는 2 화소로 동일색이 되는 색배열인 고체 촬상 장치의 신호 처리에 해당되어,
백색의 화소에 대해서는, 실제로 존재하는 화소의 정보로부터 화소가 존재하지 않는 부분의 화소 정보를 그 주위의 화소 정보를 기본으로 생성해 모든 화소에 전개해, 인접하는 4개의 백색의 화소의 정보로부터 해당 4개의 백색의 화소의 한가운데의 위치의 백색의 화소 정보를 요구하는 것을 특징으로 하는 고체 촬상 장치의 신호 처리 방법.
제17항에 있어서,
녹색, 적색, 청색의 각 화소에 대해서는, 해당 각 화소의 정보와 상기 한가운데의 위치의 백색의 화소 정보와의 색상관으로부터 화소 정보를 요구하는 것에 의해 색정보를 재현하고, 해당 색정보와 상기 백색의 화소 정보를 합성해, 합성한 신호에 대해서 공간 대역 로우패스 필터를 가하는 것을 특징으로 하는 고체 촬상 장치의 신호 처리 방법.
체크 무늬 배열에 준거해, 상하 좌우의 적어도 한쪽의 인접 2 화소가 동일색의 색필터 어레이를 가지고, 상기 색필터 어레이는, 근사적으로, 공간 샘플링점 x, y가 x=3*(2n－1＋oe)＋1±2, y=3m－2(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)와, x=3*(2n－1＋oe)＋1, y=3m－2±2(n, m=정수, oe=m이 홀수일 때 0/짝수일 때 1)가 적어도 한쪽에 배열되고,
n, m단위로 m값이 홀수 또는 짝수의 공간 샘플링점끼리가 동일색이 되고, 해당 동일색이 휘도 신호의 주성분이 되는 녹색 또는 백색이 되는 색배열인 고체 촬상 장치를 가지는 것을 특징으로 하는 촬상 장치.
삭제