KR20070102398A

KR20070102398A - 촬상 장치

Info

Publication number: KR20070102398A
Application number: KR1020070034156A
Authority: KR
Inventors: 마사아키 사토; 신이치로 사이토; 히로타케 초
Original assignee: 소니 가부시끼 가이샤
Priority date: 2006-04-14
Filing date: 2007-04-06
Publication date: 2007-10-18
Also published as: TWI339064B; US20080123943A1; CN101080023B; TW200818885A; JP4241754B2; EP1845712A1; CN101080023A; US7792356B2; KR101354128B1; JP2007288394A

Abstract

본 발명은 촬상 장치에 관한 것으로서, 유채색 화소와 고감도 화소를 서로 체크 무늬형으로 배치한 지그재그 화소 배열에 있어서, 단순 평균 화소 보간보다 주파수 대역을 늘려서, 유채색 피사체의 위색의 억제를 가능하게 하는 것을 과제로 한다.

상기 과제를 해결하기 위하여, 본 발명은, 복수색의 유채색 화소와, 유채색 화소보다 입사광에 대한 감도가 높은 고감도 화소가 서로 체크 무늬형으로 배치된 이미지 센서를 가지는 촬상 장치로서, 고감도 화소의 신호 성분과 유채색 화소의 신호 성분으로부터, 촬상한 피사체의 상관 관계를 검출하는 상관 관계 검출부(25, 27, 29)와, 유채색 화소의 신호 성분으로부터, 촬상한 피사체가 유채색인지의 여부를 판별하는 색 판별 블록(12)과, 색 판별 블록(12)에서 판별된 신호에 의해, 피사체가 유채색인지의 여부에 따라서 화소 보간 방법을 전환하는 처리를 행하고, 색 판별 블록(12)에서 유채색으로 판별된 경우, 상관 관계 검출부의 정보를 기초로 하여 상관 관계가 높은 화소부터 우선적으로 보간 처리를 행하는 화소 보간 블록(13)(화소 보간부(26, 28, 30)를 구비한다.

촬상 장치, 유채색, 위색, 화소, 신호 성분, 필터, 화소 보간

Description

촬상 장치{IMAGING DEVICE}

도 1은 본 발명의 촬상 장치에 관한 일실시예(제1 실시예)를 나타낸 블록도이다.

도 2는 화소 보간 블록의 일례를 상세하게 나타낸 블록도이다.

도 3은 보간 처리 A부의 일례를 나타낸 블록도이다.

도 4는 보간 처리 A부의 화소 보간 이미지의 일례를 나타낸 레이아웃 도면이다.

도 5는 보간 처리 B부의 일례를 나타낸 블록도이다.

도 6은 수평 방향으로 상관이 강한 경우 및 수직 방향으로 상관이 강한 경우의 보간 처리 B부의 화소 보간 이미지예를 나타낸 레이아웃 도면이다.

도 7은 보간 처리 B의 일례를 나타낸 알고리즘이다.

도 8은 본 발명이 적용되는 촬상 장치의 일례를 나타낸 블록도이다.

도 9는 촬상 장치의 센서에 있어서의 색 배열의 일례를 나타낸 화소 레이아웃 도면이다.

도 10은 보간 대상 위치의 화소가 B 화소일 경우, R 화소 배열과의 상관 계수의 일례를 나타낸 레이아웃 도면이다.

도 11은 상관 관계 검출 처리의 일례를 나타낸 알고리즘이다.

도 12는 상관 계수 산출식이다.

도 13은 화소 보간 처리의 일례를 나타낸 알고리즘이다.

도 14는 보간 대상 위치의 화소가 B 화소일 경우, G 화소 배열과의 상관 계수를 나타낸 레이아웃이다.

도 15는 상관 관계 검출 처리의 일례를 나타낸 알고리즘이다.

도 16은 상관 계수 산출식이다.

도 17은 화소 보간 처리의 일례를 나타낸 알고리즘이다.

도 18은 레벨 밸런스 처리 후의 신호 배열의 일례를 나타낸 레이아웃 도면이다.

도 19는 저역 통과 필터의 일례를 나타낸 알고리즘이다.

도 20은 휘도형의 식 및 채도형의 식이다.

도 21은 W 화소가 존재하는 위치에 R/G/B 화소의 보간의 일례를 나타낸 레이아웃 도면 및 보간식이다.

도 22는 W 화소를 상관 관계 검출 신호로 한 보완 처리의 일례를 나타낸 레이아웃 도면이다.

도 23은 화소가 존재하지 않는 위상으로의 화소 보완의 일례를 나타낸 레이아웃 도면이다.

도 24는 W 화소를 각각 수평/수직 방향으로 통과시키는 저역 통과 필터의 일례를 나타낸 알고리즘이다.

도 25는 상관 계수 산출식이다.

도 26은 화소 보간 처리의 일례를 나타낸 알고리즘이다.

[부호의 설명]

1: 촬상 장치 12: 색 판별 블록

13: 화소 보간 블록 25, 27, 29: 상관 관계 검출부

26, 28, 30: 화소 보간부

[특허 문헌 1] 일본국 특개 2001-218073호 공보

본 발명은, 휘도 정보를 포함하는 화소가 배치된 촬상 장치에 관한 것이다.

종래의 RGB 정방 베이어 배열의 이미지 센서는, 상하 좌우에 배치된 G(Green) 화소의 상관 정보를 기초로 하여, 화소 보간을 행하고 있었다(예를 들면, 특허 문헌 1 참조). 또한, 휘도 정보를 포함하는 화소가 배치되고, 또한 정방에 대하여 45° 경사진 배열을 가지는 이미지 센서에서는, G 화소가 상하 좌우에 배치되어 있지 않으므로, 종래의 화소 보간 방법을 적용할 수 없다. 그래서, 이와 같은 화소 배열의 이미지 센서에 있어서의 화소 보간의 상관 관계 검출에서는, 동일한 색화소로부터의 평균에 의해 구하는 것이 일반적이다. 그러나, 전술한 바와 같은 보간 방법으로는, 고역의 공간 주파수가 늘어나지 않는 문제점과 위색이 발생하는 문제점이 있다. 또한, 상기 상관 관계 검출 방법으로는, 휘도계 신호 Y와 채 도(chroma)계 신호 Cr/Cb의 신호 처리에 있어서, 정확한 색 분리를 행할 수 없다.

본 발명은, 상관 관계 검출에 있어서, 고역의 공간 주파수가 신장되지 않는 문제점과 위색이 발생하는 문제점을 해결한다. 또한, 휘도계 신호 Y와 채도계 신호 Cr/Cb의 신호 처리에 있어서, 정확한 색 분리를 행할 수 없는 점을 해결한다.

본 발명은, 유채색 피사체의 위색을 억제하고, 단순 평균 화소 보간에 비하여, 주파수 대역을 늘리는 것을 과제로 한다.

본 발명은, 복수 색의 유채색 화소와, 상기 유채색 화소에 비해 입사광에 대한 감도가 높은 고감도 화소가 서로 체크 무늬형으로 배치된 이미지 센서를 구비하는 촬상 장치로서, 상기 고감도 화소의 신호 성분과 상기 유채색 화소의 신호 성분으로부터 촬상한 피사체의 상관 관계를 검출하는 상관 관계 검출부와, 상기 유채색 화소의 신호 성분으로부터 촬상한 피사체가 유채색인지의 여부를 판별하는 색 판별 블록과, 상기 색 판별 블록에서 판별된 신호에 의해, 피사체가 유채색인지의 여부에 따라서 화소 보간 방법을 전환하는 처리를 행하고, 상기 색 판별 블록에서 유채색으로 판별된 경우, 상기 상관 관계 검출부의 정보를 기초로 하여 상관 관계가 높은 화소부터 우선적으로 보간 처리하는 화소 보간부를 구비한 것을 특징으로 한다.

본 발명에서는, 촬상한 피사체가 유채색인지의 여부를 판별하는 색 판별 블록과, 상기 색 판별 블록에서 판별된 신호에 의해, 피사체가 유채색인지의 여부에 따라서 화소 보간 방법을 전환하는 처리를 행하고, 상기 색 판별 블록에서 유채색 으로 판별된 경우, 상기 상관 관계 검출부의 정보를 기초로 하여 상관 관계가 높은 화소부터 우선적으로 보간 처리를 행하는 화소 보간부를 구비하였으므로, 유채색 화소의 보간이 가능하게 된다.

[실시예]

본 발명의 촬상 장치에 관한 일실시예(제1 실시예)를, 도 1 내지 도 9로 설명한다.

먼저, 본 발명이 적용되는 촬상 장치의 일례를, 도 8의 블록도로 설명한다. 도 8에서는, 일례로서, 이미지 센서를 사용한 카메라 시스템의 전체 도면을 나타낸다.

도 8에 나타낸 바와 같이, 촬상 장치(1)는, 상을 결상하는 렌즈계(2)와. 광전 변환을 행하는 화소부를 가지는 센서(3)와, 전기 신호를 받아, 1/f 노이즈를 제거하고, 신호 성분만 추출하는 상관 관계 2중 샘플링(CDS)부(4)와, 아날로그 신호인 센서의 화소 신호를 디지털 신호로 변환하는 아날로그 디지털 변환기(ADC)(5)와, 디지털 신호화된 센서 신호를 최종적인 영상 신호로서 출력하는 신호 처리 블록(6)을 구비하고 있다.

상기 촬상 장치(1)에서는, 렌즈계(2)에 의해 집광된 상은, 센서(3)의 화소부에서 결상하고, 전기 신호로서 CDS부(4)에 출력된다. CDS부(4)에서 1/f 노이즈를 제거하고, 신호 성분만 추출하여, ADC(5)에 의해 아날로그 신호인 센서의 화소 신호를 디지털 신호로 변환한다. 디지털 신호로 변환된 센서 신호는, 또한 신호 처리 블록(6)에 입력되어 최종적인 영상 신호로서 처리된다.

다음에, 상기 촬상 장치(1)의 센서(3)에 있어서의 색 배열의 일례를 도 9로 설명한다.

도 9에 나타낸 바와 같이, 센서(3)의 색 배열은, 종래의 RGB 정방 베이어의 화소 배열에 비하여, 공간 위상이 1/2만큼 어긋난 위상 위치에 휘도 정보를 얻기 위한 화소(본 예에서는, 유채색 화소에 비해 입사광에 대한 감도가 높은 고감도 화소)를 배치한 배열이 되어 있다. 상기 고감도 화소는, 예를 들면, 백색 화소 또는 회색 화소로 이루어진다. 이하, 백색(W) 화소를 배열한 일례로 설명한다.

다음에, 본 발명의 주요부에 대하여 설명한다.

도 1은 상기 신호 처리 블록(6)을 상세하게 나타낸 블록도이며, 도 2는 도 1에 나타낸 카메라 시스템의 신호 처리부에 있어서의 화소 보간 블록(13) 내를 나타낸 블록도이다.

도 1에 나타낸 바와 같이, 아날로그 디지털 변환기(ADC)에 의해 디지털 신호로 변환된 센서의 화소 신호는, 화이트 밸런스(WB) 블록(11)에서, 센서의 화소 출력을 유채색 화소의 G(Green) 화소 또는 고감도 화소의 W 화소로 정규화한다. 여기에서는, 일례로서, W 화소로 정규화했지만, 회색 화소로 정규화할 수도 있다. 이하, W 화소로 설명한다.

정규화된 신호는, 색 판별 블록(12)과 화소 보간 블록(13)의 각각에, 독립적으로 입력된다. 색 판별 블록(11)에서는 대상이 되는 화소 및 그 주변이 유채색인지의 여부를 판정하고, 그 결과를 화소 보간 블록(13)으로 전달한다.

화소 보간 블록(13)에서는, R/G/B 화소가 존재하는 위상에 보간하여 모자라 는 2색을 보간한다. 예를 들면, G 화소가 존재하는 위치에는 B/R 화소를 보간한다. 그리고, 화소 보간 블록(13)은 상기 색 판별 블록(12)의 판정 결과에 의하여, 보간 처리를 동적으로 변경한다. 유채색이 아닌 경우에는, 보간하는 화소를 생성할 때, 존재하고 있는 화소의 화소 신호를 적극적으로 이용함으로써 해상도를 향상시키고, 유채색의 경우에는 보간하는 화소와 동일한 색의 화소 신호를 주위 화소로부터 보간하여 해상도를 향상시킨다.

화소 보간을 실시한 후에는, 휘도 생성과 채도 생성의 2계통으로 나누어서 처리한다. 먼저, 휘도 생성의 처리계에 대하여 설명한다.

화소 보간 블록(13)에 의해 생성된 R/G/B 화소 신호에 대하여, NTSC의 휘도 변환식 등으로 대표되는 변환을 행하고, Y 신호를 생성한다. 생성된 Y 신호와 W 화소는, 신호 레벨이 맞지 않으므로 레벨 밸런스 블록(14)에서 레벨을 맞춘다. 상기 레벨 밸런스 블록(14)에 의해 W 신호와 Y 신호의 레벨 차가 없는 휘도 신호(고역)가 생성된다.

그러나, 공간적으로는 휘도 신호가 존재하는 화소와, 그렇지 않은 화소가 교대(공간 위상으로 1/2)로 나타나므로, 화소가 존재하지 않는 위상에 화소를 보완한다. 이것을 휘도 보간 블록(16)에서 행한다. 이 보완 처리의 판정을 상관 관계 검출 블록(15)에서 행한다. 상기 상관 관계 검출 블록(15)은, 휘도 신호를 검출 신호로 하여 처리를 행한다. 이 검출 결과는 휘도 생성 및 채도 생성 시에 각각 이용된다.

채도 보간 블록(17)에서는, 먼저 W 화소가 존재하는 위상에 R/G/B 화소를 보 간한다. 보간은 주위의 W 화소와 R/G/B 화소로부터 비율 연산 등에 의해 산출한다. 또한, 공간적으로 R/G/B 화소가 존재하지 않는 위상에 화소 보완을 행하므로, 휘도 생성에서 설명된 상관 관계 검출 블록(15)의 검출 결과를 반영시켜서, 화소를 보완한다.

휘도 보간 블록(18)은, 전술한 고역의 휘도 신호와 채도 생성 처리에 의해 연산된 R/G/B 신호로부터 Y 생성된 저역의 휘도 신호를 재합성하는 블록이다. 이 처리에 의해 저역 부분의 휘도 재현성의 열화를 억제한다.

이상에 의해, Y/Cr/Cb 신호를 생성하여 화소 보간 처리를 완료한다.

다음에, 상기 화소 보간 블록(13)을 상세하게 설명하면, 일례로서, 도 2에 나타낸 바와 같이, 색식별 블록(21)에 의해 보간 대상이 되는 위상에 있는 화소의 색 필터를 식별하고, 멀티플렉스(MPX)(22)로 각각에 적절한 보간 처리(예를 들면, 보간 처리 A부(23) 또는 보간 처리 B부(24))로 신호를 전환하도록 구성되어 있다.

다음에, 보간 대상이 되는 위상의 화소의 색 필터가 R(Red) 또는 B(Blue)의 경우의 보간 처리(예를 들면, 보간 처리 A부(23))를 도 3 및 도 4에서 설명한다. 도 3은 보간 처리 A부(23)의 블록도를 나타내고, 도 4는 보간 처리 A부(23)의 화소 보간 이미지를 나타낸다.

도 4에 나타낸 바와 같이, 보간 대상이 되는 위상의 화소는 B 화소이며, 보간하는 화소는 R 화소와 G 화소가 된다. 보간에 이용할 수 있는 R 화소는 B 화소에 대하여, 경사진 4방향(도 4의 (1) 참조)에 위치하고 있으므로, 도 3에 나타낸 상관 관계 검출부(25)에 의해, 경사 방향으로 상관 관계 검출을 행하고, 상관 관계 검출부(25)로부터 출력된 상관 관계 강도에 따라, 화소 보간부(26)에 의해, 4방향의 R 화소의 혼합비를 바꿈으로써 R 화소의 보간을 행한다. G 화소도 마찬가지로, 상하 좌우 4방향(도 4의 (2) 참조)으로부터, 도 3에 나타낸 상관 관계 검출부(27)에 의해, 수평·수직 방향으로 상관 관계 검출을 행하고, 상관 관계 검출부(27)로부터 출력된 상관 관계 검출 결과에 따라, 화소 보간부(28)에 의해, 4방향의 G 화소의 혼합비에 의해 G 화소의 보간을 행한다.

또한, 보간 대상이 되는 위상의 화소가 R일 경우에는, B를 R로, R을 B로 바꾸어서 판독하면 동일한 처리가 가능하다. 즉, 보간 대상이 되는 위상의 화소는 R 화소이며, 보간하는 화소는 B 화소와 G 화소가 된다. 보간에 이용할 수 있는 B 화소는 R 화소에 대하여, 4방향으로 경사져서 위치하고 있으므로, 경사 방향으로 상관 관계 검출을 행하고, 상관 강도에 따라 4방향의 B 화소의 혼합비를 바꿈으로써 B 화소의 보간을 행한다. G 화소도 마찬가지로, 상하 좌우 4방향으로부터 상관 관계 검출 결과에 따라, 4방향의 G 화소의 혼합비에 의해 G 화소의 보간을 행한다.

다음에, 보간 대상이 되는 위상의 화소의 색 필터가 G일 경우의 처리(보간 처리 B부(24))를 도 5 및 도 6에 의해 설명한다. 도 5는 보간 처리 B부(24)의 블록도를 나타내고, 도 6의 (1)은 수평 방향으로 상관 관계가 강한 경우의 보간 처리 B부(24)의 화소 보간 이미지를 나타내고, 도 6의 (2)는 수직 방향으로 상관 관계가 강한 경우의 보간 처리 B부(24)의 화소 보간 이미지를 나타낸다. 그리고, 보간하는 화소는 R 화소 및 B 화소이며, G 화소의 위상에 따라서 R 화소 및 B 화소의 배치 방향이 상이하게 된다.

도 6에 나타낸 바와 같이, 수평 방향으로 6 화소분 R 화소가 존재하고, 수직 방향으로 6화소분 B 화소가 존재하지만, G 화소의 위상에 따라서, 이 관계가 반대가 된다. 그리고, 도 5에 나타낸 바와 같이, G 화소 및 W 화소를 상관 관계 검출 신호로서 상관 관계 검출부(29)에 입력하고, 상하 좌우의 상관 관계의 강도를 구한다.

상관 관계 검출부(29)의 상관 관계의 결과로서 좌우 방향이 강할 경우, 도 6의 (1)에 나타낸 바와 같이, R 화소의 보간은, 보간 대상 위치의 G 화소의 상하의 수평 방향 6화소분의 R 화소로부터 산출하고, B 화소는 보간 대상 위치의 G 화소의 좌우의 2화소분의 B 화소로부터 보간한다. 이 보간을 도 5에 나타낸 화소 보간부(30)에서 행한다.

상관 관계 검출부(29)의 상관 관계 결과로서 상하 방향의 상관 관계가 강한 경우도 마찬가지로 처리한다. 즉, 도 6의 (2)에 나타낸 바와 같이, B 화소의 보간은 보간 대상 위치의 G 화소의 좌우의 수직 방향 6화소분의 B 화소로부터 산출하고, R 화소의 보간은 보간 대상 위치의 G 화소의 상하의 2화소분의 R 화소로부터 보간한다. 이 보간을 도 5에 나타낸 화소 보간부(30)에서 행한다.

상기 도 5에 나타낸 실제의 처리는, 도 7에 나타낸 바와 같은 필터에 의해 연산하여 행한다. 상관 결과에 따라서, ｖk와 hk의 계수를 1 또는 0로 설정함으로써, 전술한 처리를 실현한다.

이상의 처리에 의해, 동일한 색에서의 화소 보간을 높은 정밀도로 행할 수 있게 된다.

다음에, 상관 관계 검출의 일실시예를 도 10 내지 도 17에 의해 설명한다.

도 10은, 보간 대상 위치의 화소가 B 화소일 경우, R 화소 배열과의 상관 계수를 도시한 것이다. 또한, 도 11은 상관 관계 검출 알고리즘을 도시한 것이다.

도 10에 나타낸 바와 같이, R 화소는 B 화소에 대하여 45° 방향으로 경사진 4화소가 배치되어 있고, 우상측의 R 화소를 R0로 하여, 시계 방향으로 R3까지 편의상 명칭을 붙인다. 또한, 상관 게인을 RTGain, RBGain, LBGain, LTGain으로서 R0부터 차례로 대응시킨다.

도 11에 나타낸 바와 같이, 본 예의 경우, 보간 대상 위치의 B 화소를 중심으로 경사 방향으로 각각 저역 통과 필터(LPF)를 필터링한다. 이 때 저역 통과 필터(LPF)를 통과하는 대상은 W 화소(Wwb)로 가정한다. 그 다음에, 그 결과에 대하여 고역 통과 필터(HPF)로 필터링하여, 차분값 RT, LB, LT, RB를 산출한다. 상관 관계가 강할 수록이 차분값은 작아진다.

다음에, 상관 계수 산출식을 도 12에 나타낸다. 상기 상관 계수 산출식에 상기 차분치 RT, LB, LT, RB를 대입하여, 상관 계수를 구한다. 이 계산식에 의해, 4방향의 합성 비율을 1로 설정하고, 또한 상관 관계가 강한 방향의 계수가 커지도록 한다.

마지막에 화소 보간 처리를 행한다. 상기 화소 보간 처리는 도 13에 나타낸 알고리즘에 따라서 행한다. 도 10을 예로 나타내면 다음과 같이 된다.

B 화소 위치에 보간하는 R 화소 = R0*RTGain ＋ R1*RBGain ＋ R2*LBGain ＋ R3*LTGain

다음에, 보간 대상 위치의 화소가 B 화소일 경우, G 화소 배열과 상관 계수를 도 14에 나타낸다.

도 14에 나타낸 바와 같이, G 화소는 B 화소에 대하여 상하 좌우 방향으로 위치하고 있고, 이들의 상관 관계는 도 15에 나타낸 상관 관계 검출 알고리즘 회로로 검출한다.

G 화소의 상관 관계를 구하는 경우에는 G 화소의 반복 주기가 4주기이므로, B 화소에 인접하는 W 화소도 이용하여 검출 정밀도를 높인다. 저역 통과 필터(LPF)를 통과한 후에 고역 통과 필터(HPF)를 통과시켜서 차분값을 구하는 방법은 상기와 마찬가지이지만, W 화소에서의 산출 결과와 G 화소에서의 산출 결과로, 피사체의 색에 의한 영향을 억제할 목적으로 가중치를 부여하고 있다. 이 결과 구해진 차분값 SR, SL, ST, SB를 도 16에 나타낸 상관 계수 산출식에 대입하여, 상관 계수를 구한다.

마지막에 화소 보간 처리를 행한다. 이 화소 보간 처리는, 예를 들면, 도 17에 나타낸 알고리즘에 따라 행하고, B 화소 위치에 보간하는 G 화소를 구한다.

다음에, 본 발명의 촬상 장치에 관한 일실시예(제2 실시예)를, 도 18 내지 도 26에 의해 설명한다. 먼저, 상기 도 1에서 설명한 신호 처리부의 레벨 밸런스 블록(14)에 의해 W 신호와 Y 신호의 레벨 차가 없는 휘도 신호(고역)를 생성한다. 이 레벨 밸런스 처리 후의 신호 배열을 도 18에 나타낸다.

도 18에서는, W는 W 화소(백색 사각형으로 나타낸 화소)를 나타내고, Y는 보간 처리에 의해 구해진 R/G/B 화소의 신호량으로부터 산출한 휘도(사선의 사각형으 로 나타낸 화소)를 나타낸다. 또한, 파선은 화소가 존재하지 않는 위상을 나타낸다. 상기 위상의 정보는 후술하는 처리에 의해 보완된다.

그리고, W와 Y의 신호 레벨은 그대로 두면 레벨 차가 발생하므로, 도 19에 일례를 나타낸 바와 같은 저역 통과 필터(LPF)를 통하여, 도 20의 휘도형의 식 및 채도형의 식에 나타낸 바와 같이, W의 평균을 Wave로 하고, Y의 평균을 Yave로 하여 Wave/Yave의 비율을 Y에 곱하여 W의 레벨로 정규화하는 처리를 행한다.

또한, 이 처리에 의해 휘도가 변경되므로, 색차의 레벨도 맞도록(듯이R)/G/B에 대해도, 마찬가지의 정규화를 행한다.

즉, W의 평균을 Wave로 하고, R의 평균을 Rave로 하여 Wave/Rave의 비율을 R에 곱하여 W의 레벨로 정규화하는 처리를 행한다.

G 및 B의 경우도 마찬가지로, R을 G, B로 바꿈으로써, 정규화를 행한다.

다음에, W 화소가 존재하는 위치에 R/G/B 화소의 보간을 행한다.

도 21에 나타낸 바와 같이, W 화소는 화소가 있는 위상에 모두 존재하므로, W 화소를 이용함으로써 R/G/B 화소를 보간한다.

도 21에 R 화소의 보간식을 나타낸다.

또한, B 화소 및 G 화소에 대해서도, R 화소와 마찬가지의 연산에 의해 산출할 수 있다.

마지막으로, 화소가 존재하고 있지 않은 위상에 대한 화소 보완을 행한다. 이 처리는, 도 22에 나타낸 바와 같이, W 화소를 상관 관계 검출 신호로 하여, 상하 좌우의 4화소를 상관 강도에 따라 동적으로 보완 처리를 행한다.

이상의 처리에 의해, 휘도 및 채도 신호의 생성을 행한다.

다음에, 상기 상관 관계 검출의 일실시예를 도 23 내지 도 26에서 설명한다. 도 23은 화소가 존재하지 않는 위상으로의 화소 보완의 관계도를 나타낸다.

도 23에 나타낸 바와 같이, 사선으로 나타낸 화소는, 보간에 의해 구해진 R/G/B 화소로부터 Y를 생성하고, 또한 W 화소로 정규화한 것이며, 백색 사각형으로 나타낸 화소는 W 화소를 나타내고 있다. 이 상태에서 도면의 중앙에 위치하는 화소가 존재하지 않는 위상으로의 화소 보완을 행하기 위하여, 이하의 처리를 행한다.

도 24에 나타낸 바와 같이, 본 예의 경우, W 화소를 각각 수평/수직 방향으로 저역 통과 필터(LPF)를 통과시킨다. 다음에, 고역 통과 필터(HPF)를 통과시켜서, 차분값 SR, SL, ST, SB를 산출한다.

다음에, 상관 계수 산출식을 도 25에 나타낸다.

상기 상관 계수 산출식에 상기 차분치 SR, SL, ST, SB를 대입하여, 상관 계수 RGain, LGain, TGain, BGain을 각각 구한다. 마지막으로 화소 보간 처리를 행한다. 상기 화소 보간 처리는 도 26에 나타낸 알고리즘에 의해, 화소가 존재하지 않는 위상으로의 화소 보완을 행한다. 그리고, 이 보완 처리는 W 화소 뿐만아니라, R, G, B의 각 화소의 보완에도 적용한다.

이상, 설명한 바와 같이, 본 발명에 의하면, 촬상한 피사체가 유채색인지의 여부를 판별하는 색 판별 블록(12)과, 상기 색 판별 블록(12)에서 판별된 신호에 의해, 피사체가 유채색인지의 여부에 따라서 화소 보간 방법을 전환하는 처리를 행 하고, 색 판별 블록(12)에서 유채색으로 판별된 경우, 상관 관계 검출부(25, 27, 29) 등의 정보를 기초로 하여 상관 관계가 높은 화소부터 우선적으로 보간 처리를 행하는 화소 보간부(26, 28, 30) 등을 구비하였으므로, 유채색 화소의 보간이 가능하게 되므로, 단순 평균 화소 보간의 경우보다 주파수 대역이 늘어난다. 또한, 유채색 피사체의 위색이, 단순 평균에 의한 화소 보간에 비하여, 억제될 수 있다.

이상의 설명에 있어서는 고감도 화소의 예로서 「화이트(백색) 화소」를 사용하여 설명하였으나, 엄밀한 의미에서의 (이상적인) 백색이나 투명한 화소로 한정되는 것은 아니고, 종래의 색 재현용의 각 색성분을 얻기 위한 원색 화소나 보색 화소에 비해 감도가 높은 화소이면 되고, 예를 들면, 이상적인 백색이나 투명 상태의 광을 통하지 않는 성분이 조금 섞인 회색 필터가 설치된 화소나, 소량의 색소 성분이 섞여 있는 필터가 설치된 화소라도 된다.

단, 특정한 색소 성분이 치우쳐서 섞인 필터보다, 회색 필터 등과 같이 투과하는 광의 색성분의 밸런스가 좋은 필터가, 신호 처리를 행하는 관점에서는 바람직하다.

본 발명에 의하면, 색 판별 블록에서 유채색으로 판별된 경우, 상관 관계 검출부의 정보를 기초로 하여 상관 관계가 높은 화소부터 우선적으로 보간 처리를 행하는 화소 보간부를 구비하고, 유채색 화소의 보간이 가능하므로, 단순 평균 화소 보간에 비하여, 주파수 대역이 늘어나는 이점이 있다. 또한, 유채색 피사체의 위색이, 단순 평균에 의한 화소 보간에 비해 억제되는 이점이 있다.

Claims

복수의 유채색(chromatic color) 화소와, 상기 유채색 화소에 비해 입사광에 대한 감도가 높은 고감도 화소가 서로 체크 무늬형으로 배치된 이미지 센서를 구비하는 촬상 장치에 있어서,

상기 고감도 화소의 신호 성분과 상기 유채색 화소의 신호 성분으로부터, 촬상한 피사체의 상관 관계를 검출하는 상관 관계 검출부와,

상기 유채색 화소의 신호 성분으로부터, 촬상한 피사체가 유채색인지의 여부를 판별하는 색 판별 블록과,

상기 색 판별 블록에서 판별된 신호에 의해, 피사체의 색상이 유채색인지의 여부에 따라서 화소 보간 방법을 전환하는 처리를 행하고, 상기 색 판별 블록에서 유채색으로 판별된 경우, 상기 상관 관계 검출부의 정보를 기초로 하여 상관 관계가 높은 화소부터 우선적으로 보간 처리를 행하는 화소 보간부

를 구비한 것을 특징으로 하는 촬상 장치.
제1항에 있어서,

상기 고감도 화소는 백색 화소 또는 회색 화소인 것을 특징으로 하는 촬상 장치.
제1항에 있어서,

휘도 신호를 검출 신호로 하여, 화소 보간 처리의 판정을 행하는 상관 관계 검출 블록으로부터 출력된 고감도 화소로부터 검출한 상관 결과를 적용하여 채도 신호를 생성하는 채도 보간 블록을 더 구비한 것을 특징으로 하는 촬상 장치.