KR100398564B1

KR100398564B1 - 고체 컬러 촬상 장치

Info

Publication number: KR100398564B1
Application number: KR10-2000-7012440A
Authority: KR
Inventors: 미즈키히로마사; 야마시타마사아키; 기요시게야스시; 와타나베히데히코
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 1998-05-08
Filing date: 1999-05-07
Publication date: 2003-09-19
Also published as: WO1999059345A1; TW420956B; KR20010043406A; ID28202A; CN1171462C; CN1300505A

Abstract

종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 색 분리 필터로서, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 되는 반복 패턴을 갖는 색 분리 필터 부착 고체 촬상 소자(2)와, 상기 각 화소가 출력하는 색 신호를 각각 취입하여 기억하는 수단(5)과, 상기 기억수단에 기억된 시안색 신호 화소 및 황색 신호 화소를 피보간 화소로써, 상기 피보간 화소 주변에 있는 복수개의 화소에 대한 상관도를 산출하는 상관도 산출 수단(6)과, 상관도가 큰 방향으로부터 보간을 실행하고 상기 피보간 화소 위치의 전체색 투과 신호를 계산하는 보간 처리 수단(7)을 구비한 것으로 하였다.

Description

고체 컬러 촬상 장치{SOLID-STATE COLOR IMAGER}

영상 신호는 통상 적색(R),녹색(G),청색(B)의 빛의 3원색으로 나타내어지는 경우가 많고, 그 이외에도 휘도 신호(Y), 2종류의 색차 신호(R-Y, B-Y)로 나타내는 경우도 많다. RGB의 3원색은 통상 컴퓨터용의 모니터로의 입력 신호의 형태로 되고, 휘도 및 색차는 TV계의 기기에 있어서의 디지털 부분의 형태로 된다. 또, 최근, 고체 컬러 촬상 장치의 영상 신호는 화상 표시뿐만 아니라 디지털 기록이나 기기 사이의 영상 통신에 이용되고 있다. 영상 신호는 정보량이 많고, 기록 용량이나 통신 용량의 제약에 의해 통상적으로 화상 압축 처리가 실행된다. 이 때 취해지는 영상 신호의 형식은 4:2:0 또는 4:1:1 형식으로 불리우며, 종래부터 이용되는 4:2:2 형식에 비해서 색 정보는 절반으로 되는 경우가 많다.

이하, 종래의 고체 컬러 촬상 장치에 대해서 도 2를 참조하면서 설명한다.

도 2a는 종래의 고체 컬러 촬상 장치를 도시한 것으로서, 참조부호 1은 피사체를 고체 촬상 소자 표면상에 결상시키는 광학계, 참조부호 2는 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변환하는 색 분리 필터 부착 고체 촬상 소자, 참조부호 3은 고체 촬상 소자에 의해 변환된 화상 신호를 디지털 화상 신호로 변환하는 AD 변환기, 참조부호 4는 디지털 화상 신호로부터 휘도 신호와 색차 신호로 변환하는 화상 신호 처리 회로이다. 상기 고체 촬상 소자(2)의 표면상에 구비하는 색 분리 필터는 마젠타색(Mg:Magenta), 녹색(G), 시안색(Cy:Cyan), 황색(Ye)으로 이루어지는 도 2b에 도시한 보색 체크무늬 패턴의 색 분리 필터가 이용되는 경우가 많다.

이상과 같이 구성되는 고체 컬러 촬상 장치의 동작을 이하에 설명한다.

도 2에 있어서, 피사체상(광학상)은 광학계(1)에 의해 고체 촬상 소자(2) 상에 결상된다. 고체 촬상 소자(2)는 결상된 피사체상을 색 분리 필터에 의해서 색분해한 화상 신호로서 출력한다. 화상 신호는 AD 변환기(3)에 의해 디지털 신호로 변환되어 신호 처리 회로(4)로 공급되고, 휘도 신호 Y와 2종류의 색차 신호로 변환되어 컬러 영상 신호로 된다. 화상 신호 처리 회로에서는 Mg, G, Cy, Ye의 보색계4화소로부터 1화소분의 휘도 신호(Y) 및 1쌍의 색차 신호(R-Y, B-Y)를 만든다.

이하에 그 휘도 신호의 생성 과정의 일례를 나타내면, Y(h,v)는

로 되고, 고체 촬상 소자의 4화소의 출력으로부터 휘도 신호가 생성된다.

색차 신호 R-Y(h,v)는

로 되고, B-Y(h,v)는

로 된다.

출력되는 휘도 및 1쌍의 색차 신호는 고체 촬상 소자의 화소수와 동수로 되고, 4:4:4 형식으로 된다. 대상으로 되는 출력 기기에 맞춰 4:2:2 형식, 4:2:0, 4:1:1 형식으로의 변환이 실행된다.

또, 휘도의 에지부에는 위색이 발생하기 때문에 상기 합성된 휘도 신호의 에지 신호로부터 에지 판정을 실행하고, 에지라고 판정된 화소에 대응하는 색차 신호의 이득(gain)을 낮추는 것에 의해 위색 억제를 실행하고 있었다.

그러나, 종래의 고체 컬러 촬상 장치에 있어서는 화상 압축에 대해서는 전혀 고려되어 있지 않으며, 색 분리 필터는 4:4:4 형식의 출력이 전제로 되어, 4:2:0형식, 4:1:1형식과 같은 화상 압축을 전제로 한 기기로 출력하는 경우에 색 정보에 대해서는 3/4의 정보가 불필요해진다. 또, 휘도 신호는 4화소 평균이 실행되어, 예를 들어, 도 2b에 있어서의 Y(0,0)와 Y(0,1)을 만드는 경우에는 G(1,0)과 Ye(1,1)이 중복되어 이용되기 때문에 휘도 신호가 순수하게 샘플링 정보로 되지 않아, 수직과 수평 방향 모두 저역 통과 필터를 통과한 것으로 되기 때문에, 순수하게 화소 단위의 샘플링을 실행하는 3판 방식의 고체 촬상 소자 등에 비하면 해상도가 열화된다. 색차 신호에 대해서도 인접 4화소로부터 변환되어 있어 순수한 샘플링 정보가 아니라 수직, 수평 방향 모두 저역 통과 필터를 통과한 것으로 되며, 마찬가지로 해상도가 열화한다.

상기 과제를 해결하기 위해, 본 발명의 고체 컬러 촬상 장치에서는 고체 촬상 소자 표면상의 색 분리 필터를 전체색(全色) 투과 필터 2개, 시안색 투과 필터 1개, 황색 투과 필터 1개의 4화소를 1개의 배열 패턴으로 하고 상기 배열 패턴을 반복하는 구성으로 하여, 상기 배열 패턴으로부터 4개의 휘도 정보와 2종류의 색 정보 각 1개, 혹은 각 2개, 혹은 각 4개를 출력하도록 하고, 또, 휘도 신호 및 색차 신호로의 변환시에 상관 검출 처리에 의해서 그 피사체가 결상되는 화소의, 주변 화소와의 관계를 구하여, 상관이 높은 방향에 존재하는 화소를 연산에 이용해서 휘도 신호와 색차 신호로 변환하도록 한 것이다.

또, 이러한 본 발명의 고체 촬상 소자에서는 복수색의 색 투과 필터에 의해복수개의 색 신호가 출력된다. 이 색 신호는 각 색마다 신호가 독립되어 있고, 특정한 색 신호에 주목하면, 그 샘플링 레이트는 전체 신호의 샘플링 레이트보다 저하되어 있다. 이 때문에, 각 색의 신호에는 각각 앨리어싱(aliasing)이 발생하고 반환 왜곡을 가진 주파수 성분을 포함하고 있을 가능성이 있다.

도 15에 특정한 색 신호를 보간한 경우의 반환 왜곡 상태를 도시한다. 도 15에 있어서, 횡축은 주파수로서 2π가 전체 신호의 샘플링 주파수를 나타내고, 종축이 신호의 진폭을 나타내고 있다. 또, 실선으로 색 신호를, 점선으로 반환 왜곡 성분을 나타내고 있다. 고주파 성분을 포함한 색 신호를 이용해서 색차 신호를 보간 합성하는 경우, 반환 왜곡 성분이, 도 15에 도시한 바와 같이, π/2까지의 통과 대역에 포함되어 버린다. 이 때문에, 보간 정밀도가 좋지 않아 위색 신호를 발생한다는 새로운 과제가 발생한다.

상기한 과제를 해결하기 위해, 본 발명에 따른 고체 컬러 촬상 장치는 주파수 특성 조정 수단에 의해 전체색 투과, 시안색 투과, 황색 투과의 각 색 분리 필터를 이용한 고체 촬상 소자로부터 출력하는 각 색 신호의 주파수 특성을 조정하고, 그 특성 조정을 실시한 색 신호를 이용해서 색차 신호를 보간합성하는 것을 특징으로 한 것이다.

또, 상관 검출 처리에 있어서 에지 판정 기능을 갖게 하고, 색차 신호에 부가할 이득을 결정하여 대응하는 색차 신호에 부가함으로써 가짜색 억제를 실행하도록 한 것이다.

이에 따라, 본 발명에 있어서는 휘도 해상도의 열화가 적고 위색이 적은 고체 컬러 촬상 장치를 제공할 수 있다.

본 발명은 전체 화소 판독 고체 촬상 소자에 관한 것으로, 특히 색 분리 필터로부터의 정보를 매트릭스 계산할 때에 발생하는 휘도 신호의 해상도 열화를 적게 하기 위한 색 분리 필터의 배치 방법 및 매트릭스 계산 방법에 관한 것이다. 또, 특히, 화소간의 보간 처리를 실행해서 고해상도를 얻는 고체 컬러 촬상 장치의 신호 처리 방법에 관한 것으로서, 고체 촬상 소자에서 출력하는 색 신호로부터 색차 신호를 합성하는 경우에, 각 색 신호에 대해서 색 분리 필터의 색마다 주파수 특성을 조정하고 위색(僞色)의 원인으로 되는 반환 왜곡을 포함한 주파수 성분을 저감하는 특징을 갖는 것이다.

도 1a는 본 발명의 고체 컬러 촬상 장치의 블럭도,

도 1b는 도 1a의 고체 촬상 소자 상에 배치하는 색 분리 필터의 패턴도,

도 1c는 도 1a의 고체 촬상 소자 상에 배치하는 색 분리 필터의 패턴도,

도 2a는 종래의 고체 컬러 촬상 장치의 블럭도,

도 2b는 도 2a의 고체 촬상 소자 상에 배치하는 색 분리 필터의 패턴도,

도 3a는 본 발명의 실시예 1에 있어서의 고체 컬러 촬상 장치의 4:2:0 형식의 휘도 색차 신호의 위치를 도시한 도면,

도 3b는 본 발명의 실시예 2에 있어서의 고체 컬러 촬상 장치의 4:1:1 형식의 휘도 색차 신호의 위치를 도시한 도면,

도 4는 본 발명의 실시예 1에 있어서의 4:2:0 형식으로 출력하기 위해서 적합한 색 분리 필터 배열 패턴도의 예를 나타내는 도면,

도 5는 본 발명의 실시예 2에 있어서의 4:1:1 형식으로 출력하기 위해서 적합한 색 분리 필터 배열 패턴도의 예를 나타내는 도면,

도 6은 본 발명의 실시예 3∼실시예 7에 따른 고체 컬러 촬상 장치의 설명도로서, a는 고체 컬러 촬상 장치의 구성도, b는 고체 촬상 소자 상의 색 분리 필터의 구성도,

도 7은 본 발명의 실시예 6에 있어서의 상관도 산출, 상관 방향(종방향, 횡방향) 및 보간 처리를 설명하는 도면,

도 8은 본 발명의 실시예 8에 있어서의 상관도 산출, 상관 방향(우하측 경사방향, 좌하측 경사방향) 및 보간 처리를 설명하는 도면,

도 9는 본 발명의 실시예 5에 있어서의 상관도 산출, 상관 방향(L자 4방향) 및 보간 처리를 설명하는 도면,

도 10는 본 발명의 실시예 9에 있어서의 상관도와 색차 신호에 부가하는 이득의 관계를 설명하는 도면,

도 11은 본 발명의 실시예 9에 있어서의 상관도와 색차 신호에 부가하는 이득의 관계를 설명하는 도면,

도 12는 본 발명의 실시예 10에 따른 고체 컬러 촬상 장치의 구성도,

도 13은 본 발명의 실시예 10에 있어서의 주파수 특성 조정 동작을 설명하는 도면,

도 14는 본 발명의 실시예 10에 있어서의 주파수 특성 조정 동작을 설명하는 도면,

도 15는 본 발명의 실시예 10에 있어서의 주파수 특성 조정 동작을 설명하는 도면,

도 16은 본 발명의 실시예 11에 따른 고체 컬러 촬상 장치의 구성도이다.

상기한 과제를 해결하기 위해서, 본 발명의 청구항 제 1 항에 따른 고체 컬러 촬상 장치는 종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 색 분리 필터를 갖고, 상기 배열 패턴의 색 분리 필터는 2화소가 전체색 투과 필터, 1화소가 시안색 투과 필터, 1화소가 황색 투과 필터이며, 상기 4화소의 배열 패턴을 종횡 모두 반복하는 구성이고, 또한 상기 색 분리 필터의 각 화소마다의 정보를 개별적으로 추출하는 수단을 갖는 고체 촬상 소자, 및 상기 고체 촬상 소자로부터 개별적으로 추출된 화상 정보 중 상기 배열 패턴의 1개에 대해서 4개의 휘도 신호와 2종류의 색 신호를 추출하고, 이 때, 상기 4개의 휘도 신호 중, 2개의 상기 전체색 투과 필터 위치의 휘도 신호는 해당 위치로부터 얻어지는 정보만을 이용하여 작성하고, 나머지의 상기 시안색 및 황색 투과 필터 위치의 휘도 신호는 각각 해당 위치로부터 얻어지는 색정보와 해당 화소의 주변 화소로부터 얻어지는 정보를 이용하여 작성하고, 색 신호는 상기 시안색 또는 황색 투과 필터 위치로부터 얻어지는 정보를 포함하는 해당 화소의 주변 화소로부터 얻어지는 정보를 이용하여 작성하는 신호 처리 회로를 구비한 것을 특징으로 하는 것이다. 이에 따라, 휘도 신호 4개에 대하여 2개는 전체색 투과 필터만의 정보로 작성하고, 나머지 2개는 시안색 및 황색 투과 필터 위치의 색정보도 포함한 주변 화소의 정보로부터 보간 합성하여 작성하므로, 휘도 해상도가 향상한다는 작용을 갖는다.

또, 본 발명의 청구항 제 2 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 1 항에 따른 고체 컬러 촬상 장치에 있어서, 종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 상기 색 분리 필터가 세로에 2화소, 가로에 2화소로 되는 구성이며, 상기 배열 패턴에서 추출되는 정보로부터 4개의 휘도 신호와 2종류의 색 신호가 각 1개로 이루어지는 합계 6개의 신호를 만들어 4:2:0 방식의 기기로 출력하는 것을 특징으로 하는 것이다. 이에 따라, 4:2:0 방식의 기기에 있어서 휘도 해상도가 향상된다는 작용을 갖는다.

또, 본 발명의 청구항 제 3 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 1 항에 따른 고체 컬러 촬상 장치에 있어서, 종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 상기 색 분리 필터가 세로에 1화소, 가로에 4화소로 되는 구성이며, 상기 배열 패턴에서 추출되는 정보로부터 4개의 휘도 신호와 2종류의 색 신호가 각 1개로 이루어지는 합계 6개의 신호를 만들어 4:1:1 방식의 기기로 출력하는 것을 특징으로 하는 것이다. 이에 따라, 4:1:1 방식의 기기에 있어서 휘도 해상도가 향상한다는 작용을 갖는다.

또, 본 발명의 청구항 제 4 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 1 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 고체 촬상 소자의 각 화소가 출력하는 색 신호를 각각 취입하여 기억하는 기억 수단과, 상기 기억수단에 기억된 시안색 신호 화소 및 황색 신호 화소를 피보간 화소로써 상기 각 피보간 화소의, 상기 각 피보간 화소의 주변에 있는 복수개의 화소에 대한 상관도를 산출하는 상관도 산출 수단, 및 상기 산출된 상관도가 큰 방향에 있어서 화소의 보간을 실행하고, 상기 피보간 화소 위치의 휘도 신호를 계산하는 보간 처리 수단을 구비한 것을 특징으로 하는 것이다. 이에 따라, 입력 화상을 상관이 높은 화소로 보간을 한 후에 휘도 신호로 변환하기 때문에, 휘도 해상도의 열화를 저감하는 작용을 갖는다.

또, 본 발명의 청구항 제 5 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 횡 방향 또는 종 방향의 상관도를 산출하는 것을 특징으로 하는 것이다. 이에 따라, 종방향 및 횡방향의 휘도 해상도의 열화를 저감하는 작용을 갖는다.

또, 본 발명의 청구항 제 6 항에 따른 고체 컬러 촬상 장치는 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그의 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 횡방향 또는 종방향의 상관도, 및 경사방향의 상관도를 더 산출하는 것을 특징으로 하는 것이다. 이에 따라, 종방향, 횡방향 및 경사방향의 휘도 해상도의 열화를 저감하는 작용을 갖는다.

또, 본 발명의 청구항 제 7 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 횡방향 또는 종방향의 상관도, 및 우측 상방향, 또는 우측 하방향, 또는 좌측 상방향, 또는 좌측 하방향의 상관도를 산출하는 것을 특징으로 하는 것이다. 이에 따라, 종방향, 횡방향 및 우측 상단의 L자 방향, 우측 하단의 L자 방향, 좌측 상단의 L자 방향, 좌측 하단의 L자 방향의 휘도 해상도의 열화를 저감하는 작용을 갖는다.

또, 본 발명의 청구항 제 8 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 횡방향 또는 종방향의 상관도, 경사방향의 상관도, 및 우측 상방향, 또는 우측 하방향, 또는 좌측 상방향, 또는 좌측 하방향의 상관도를 더 산출하는 것을 특징으로 하는 것이다. 이에 따라, 종방향, 횡방향, 경사방향 및 우측 상단의 L자 방향, 우측 하단의 L자 방향, 좌측 상단의 L자 방향, 좌측 하단의 L자 방향의 휘도 해상도의 열화를 저감하는 작용을 갖는다.

또, 본 발명의 청구항 제 9 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그 주변에 있는 화소간에 있어서의, 동색 신호끼리의 연산에 의해서 상관도를 산출하는 것을 특징으로 하는 것이다. 이에 따라, 동색 신호로 상관도를 산출함으로써, 상관도의 산출 정밀도가 향상된다는 작용을 갖는다.

또, 본 발명의 청구항 제 10 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소의 주변에 있는 화소간에 있어서의, 이색(異色) 신호로 되는 인접 화소간의 연산에 의해서 상관도를 산출하는 것을 특징으로 하는 것이다. 이에 따라, 피보간 화소에 의해 가까운 인접 화소로 산출함으로써, 이색 신호이더라도 상관도의산출 정밀도가 향상된다는 작용을 갖는다.

또, 본 발명의 청구항 제 11 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해서 산출된 상관도가 큰 방향에 있어서의, 피보간 화소의 색 신호를 이용하지 않고 상기 피보간 화소 주변의, 생성하고자 하는 색 신호와 동색의 신호만을 이용해서 보간 처리를 실시하는 것을 특징으로 하는 것이다. 이에 따라, 보간 정밀도가 향상되고 휘도 해상도가 향상된다는 작용을 갖는다.

또, 본 발명의 청구항 제 12 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해서 산출된 상관도가 큰 방향에 있어서의, 피보간 화소의 색 신호를 이용해서 생성하고자 하는 색 신호의 부족분을 상기 피보간 화소 주변의 화소에서 산출하고, 보간 처리를 실시하는 것을 특징로 하는 것이다. 이에 따라, 부족한 색 성분만을 보간하고 다른 성분은 피보간 화소점의 색 신호 성분을 이용함으로써 보간 처리가 실시되므로, 보간 정밀도가 향상되고 휘도 해상도가 열화되기 어렵다고 하는 작용을 갖는다.

또, 본 발명의 청구항 제 13 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 5 항 내지 청구항 제 10 항 중 어느 하나에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도가 주어진 임계값보다 작으면, 그 화소에 대응하는 색 신호의 이득을 낮추는 처리를 실시하는 것을 특징으로 하는 것이다. 이에 따라, 휘도 신호의 에지부에 발생하는 위색을 저감한다는 작용을 갖는다.

또, 본 발명의 청구항 제 14 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 5 항 내지 청구항 제 10 항 중 어느 하나에 기재된 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도가 주어진 임계값보다 작으면, 그 화소에 대응하는 색 신호의 이득을 상기 상관도에 따라 단계적으로 낮추는 처리를 실시하는 것을 특징으로 하는 것이다. 이에 따라, 휘도 신호의 에지부에 발생하는 위색을 적응적으로 저감한다는 작용을 갖는다.

또, 본 발명의 청구항 제 15 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 고체 촬상 소자에서 출력되는 각 색 신호의 주파수 특성을 조정하는 주파수 특성 조정 수단을 구비하고, 그 주파수 특성 조정을 실시한 색 신호를 이용해서 색차 신호를 보간합성하는 것을 특징으로 하는 것이다. 이에 따라, 고주파 성분을 포함한 색 신호를 이용한 보간에 의해 색차 신호를 보간합성했을 때에 나타나는 위색 신호를 저감한다는 작용을 갖는다.

또, 본 발명의 청구항 제 16 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 15 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 고체 촬상 소자에서 출력되는 각 색 신호의 주파수 특성을 조정하는 주파수 특성 조정 수단을 구비하고, 그 주파수 특성 조정을 실시한 색 신호를 이용해서 시안색 투과 필터 위치에 R-Y 색차 신호를, 황색 투과 필터 위치에 B-Y 색차 신호를 보간합성하는 것을 특징으로 하는 것이다. 이에 따라, 고주파 성분을 포함한 색 신호를 이용한 보간에 의해 색차 신호를 보간합성했을 때에 나타나는 위색 신호를 저감한다는 작용을 갖는다.

또, 본 발명의 청구항 제 17 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 15 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도로부터 상관 방향을 판정하고, 상관이 큰 방향이 있을 때에는 주파수 특성 조정을 실행하고, 상관이 큰 방향이 없을 때에는 주파수 특성 조정을 실행하지 않는 것을 특징으로 하는 것이다. 이에 따라, 상관 방향이 없는 색 신호를 이용한 색차의 보간합성에 있어서 주파수 성분이 보존되고, 화상의 색 재현성이 유지된다는 작용을 갖는다.

또, 본 발명의 청구항 제 18 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 16 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도로부터 상관 방향을 판정하고, 상관이 큰 방향이 있을 때에는 주파수 특성 조정을 실행하고, 상관이 큰 방향이 없을 때에는 주파수 특성 조정을 실행하지 않는 것을 특징으로 하는 것이다. 이에 따라, 상관 방향이 없는 색 신호를 이용한 색차의 보간합성에 있어서 주파수 성분이 보존되어, 화상의 색의 재현성이 유지된다는 작용을 갖는다.

이상과 같이, 본 발명은 고체 촬상 소자 표면의 색 분리 필터의 인접하는 종횡 4화소 중에 전체색 투과 필터 2개, 시안색 투과 필터 1개, 황색 투과 필터 1개를 갖고, 그 4화소를 반복하는 패턴을 갖으며, 그 반복 패턴인 4화소로부터 휘도 정보 4개, 2종류의 색정보를 각 1개, 혹은 각 2개, 혹은 각 4개를 추출하는 회로를 마련함으로써, 휘도 해상감이 높고, 색 해상도에 있어서도 열화가 없는 우수한 고체 컬러 촬상 장치를 실현할 수 있는 것이다. 또, 상기 장치에 각 화소가 출력하는 신호를 각각 취입하여 기억하는 수단과, 상기 기억수단에 기억된 시안색 신호 화소 및 황색 신호 화소를 피보간 화소로써 상기 피보간 화소 주변에 있는 복수개의 화소에 대한 상관도를 산출하는 상관도 산출 수단, 및 상관도가 큰 방향에 있어서 보간을 실행하고 상기 피보간 화소의 위치의 전체색 투과 신호를 계산하는 수단을 부가함으로써, 휘도 해상도의 열화를 저감할 수 있고, 또 휘도 신호의 에지부에 발생하는 위색을 억제하는 처리를 큰 처리 회로의 추가없이 실현할 수 있는 고체 컬러 촬상 장치를 제공하는 것이 가능하게 된다.

이하, 본 발명의 실시예에 대해서 설명한다.

(실시예 1)

이하, 본 발명의 청구항 제 1 항, 청구항 제 2 항에 대응하는 실시예 1에 대해서 설명한다.

도 1a는 본 발명의 실시예 1에 따른 고체 컬러 촬상 장치를 나타낸다. 도면에 있어서, 참조부호 1은 피사체를 고체 촬상 소자 표면 상에 결상시키는 작용을 실행하는 것으로서, 렌즈 등으로 구성되어 있는 광학계이다. 참조부호 2는 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변환하는 작용을 실행하는 것으로서, 색 분리 필터 부착 고체 촬상 소자로 구성되어 있다. 참조부호 3은 고체 촬상 소자에서 얻어지는 화상 신호를 디지털 화상 신호로 변환하는 작용을 실행하는 것으로서, AD 변환기로 구성되어 있다. 참조부호 4는 AD 변환기에서 얻어지는 디지털 화상 신호를 휘도 신호와 색차 신호로 변환하는 작용을 실행하는 것으로서, 화상신호 처리 회로로 구성되어 있다.

도 1b는 도 1a에 있어서의 고체 촬상 소자(2)의 표면에 부수하는 고체 컬러 촬상 소자의 색 분리 필터를 도시한 도면으로서, 세로 2화소, 가로 2화소로 반복되는 일례의 패턴을 나타내며, 필터의 배치는, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 구성되어 있다.

도 3a는 본 실시예 1의 도 1a에 있어서의 화상 신호 처리 회로(4)의 입출력 신호를 도시한 도면이다.

도 1a에 있어서, 광학계(1)을 통해서 피사체를 고체 촬상 소자 표면 상에 결상시키고, 색 분리 필터 부착 고체 촬상 소자(2)에 의해 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변환하고, AD 변환기(3)에 의해 고체 촬상 소자에서 얻어지는 화상 신호를 디지털 화상 신호로 변환하며, 화상 신호 처리 회로(4)에 의해 AD 변환기에서 얻어지는 디지털 화상 신호를 휘도 신호와 색차 신호로 변환한다. 또, 고체 촬상 소자(2)에 부수하는 색 분리 필터의 배열이, 도 1b에 도시한 바와 같이, 세로 2화소, 가로 2화소의 패턴을 반복하는 구성이고, 이 패턴의 색 분리 필터는, 상부 2화소가 좌측부터 전체색 투과 필터, 시안색 투과 필터로, 하부 2화소가 좌측부터 황색 투과 필터, 전체색 투과 필터로 되는, 4화소 중 2화소가 전체색 투과 필터를 갖고, 다른 2화소가 시안색 투과 필터, 황색 투과 필터로 되는 구성으로 한다. 이 때, 고체 촬상 소자에서 얻어지는 화상 신호는 전체색 정보 2개, 시안색 정보 1개, 황색 정보 1개의 합계 4개로 되고, 이 4개를 매트릭스 계산해서 화상 신호 처리 회로(4)로부터는 휘도 신호 4개, R-Y 색차 신호 1개, B-Y 색차 신호 1개를 출력한다.

이하에, 화상 신호 처리 회로(4)에서의 휘도 신호, 색차 신호로의 변환 동작에 대해서 도 3a를 참조하면서 설명한다.

각 투과 필터를 빛의 원색 성분(적색, 녹색, 청색, 각각 R, G, B)으로 나타내면, 통상은 W=R+G+B, Cy=G+B, Ye=R+G로 된다. 휘도 정보가 R, G, B 성분 모두로 이루어져 있고, 전체색 투과 필터가 있는 위치의 휘도 신호 Y에 대해서는 순수한 샘플링 정보로 되는 전체색 투과 필터로부터의 신호만으로 만들고,

로 근사(近似)된다. 여기서, a는 다이나믹(동적) 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 우수로 된다.

또, 전체색 투과 필터가 없는 위치의 휘도 신호 Y에 대해서는 주변 위치의 정보도 이용해서 작성하고, 간단한 작성 방법으로서는

로 근사된다. 여기에서, a는 다이나믹 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 기수로 된다.

다만, 본 발명에서는, 상기와 같은 간단한 작성 방법은, 전체색 투과 필터가 없는 위치의 휘도 신호 Y의 해상도 열화가 커지기 때문에, 순수한 샘플링 정보인 해당 위치의 색 정보를 활용해서, 시안색 필터가 있는 위치의 휘도 신호 Y이면, Cy가 휘도 신호 성분 중의 R성분이 없기 때문에 주변 화소로부터 보간하여,

로 근사된다. 황색 필터가 있는 위치의 휘도 신호 Y이면, Ye가 휘도 신호 성분 중의 B성분이 없기 때문에 주변 화소로부터 보간하여,

로 근사된다. 여기서, b, c는 다이나믹 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 기수로 되며, 시안색 필터가 있는 위치의 h는 기수, v는 우수로 되고, 황색 필터가 있는 위치의 h는 우수, v는 기수로 된다.

Cy 화소 및 Ye 화소에서 구한 휘도 신호 Y는 R 및 B 성분은 주변 화소의 정보를 이용한 보간에 의해 작성하였으며 고체 촬상 소자에 의한 순수한 샘플링 정보에서 구한 것으로는 되지 않는다. 그러나, Cy 화소에 대해서는 G+B 성분이, 또 Ye 화소에 대해서는 R+G 성분이 순수한 샘플링 정보로서 남아 있고, 보간되는 R 및 B 성분은 휘도 신호 Y 중에서 최대 3분의 1로서 영향이 적어 높은 해상도를 유지한 채로의 휘도 신호 Y로 된다.

또, 색차 신호(R-Y, B-Y)에 대해서는 휘도 신호 4개에 대해서 각 1개의 정보를 추출하고 휘도 신호의 세로 2화소, 가로 2화소를 1개의 패턴으로 하여, 간단한계산 방법으로서는 우선 R, G, B로 변환한다. 색차 신호 변환용의 R, B 성분은

로 한다. 또, G는

로 한다. 이 RGB로부터 색차 신호는 근사적으로

로 근사된다. 여기서, a, b, c는 다이나믹 범위를 조정하기 위한 계수로 하고, div는 정수의 제산의 몫만을 추출하여 절사하는 계산을 나타내며, *는 승산을 나타낸다.

이렇게 해서 얻어진 1쌍의 색차 신호는 인접하는 다른 색차 신호에 대해서 고체 촬상 소자의 출력을 중복해서 변환되지 않기 때문에 색 해상감은 향상된다.

이상의 연산을 실행함으로써, 도 3a에 도시한 바와 같이, 세로 2화소, 가로 2화소의 4개의 휘도 신호 Y에 대해 2종류의 색차 신호 R-Y, B-Y 각 1개가 얻어지게 되고, 도 3a에 도시한 4:2:0 형식의 기기로의 입력 신호로서 적합한 형태의 것이 얻어지게 된다.

또한, 상기한 것에 부가해서, 또 전체색 투과 필터의 투과율을 R에 대해서는 0.3, B에 대해서는 0.59, G에 대해서는 0.11의 비율로 설정함으로써, 상기 전체색 투과 필터의 투과율의 비는 휘도 신호 Y의 원색 혼합비와 동등한 것이므로, 순수한휘도 신호가 얻어져 해상감을 더욱 향상시킬 수 있다. 즉, 통상은 각 투과 필터를 원색 성분(적색, 녹색, 청색, 각각 R, G, B)로 나타내면, W= R+G+B, Cy=G+B, Ye=R+G로 되지만, 상기한 설정을 실행하면, 휘도 신호 Y의 RGB의 혼합비는

로 표시되게 되고, 본 실시예 1에 있어서 이용하는 각 투과 필터는 투과율을 조정하여,

로 한다.

이 때, 전체색 투과 필터가 있는 위치의 휘도 신호 Y에 대해서는 순수한 샘플링 정보로 되는 전체색 투과 필터로부터의 신호만으로 만들고,

로 한다. 여기서, a는 다이나믹 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 우수로 된다. 또, 전체색 투과 필터가 없는 위치의 휘도 신호 Y에 대해서는 주변 위치의 정보도 이용해서 작성하고, 순수한 샘플링 정보인 해당 위치의 색 정보를 활용해서, 시안색 필터가 있는 위치의 휘도 신호 Y이면,

황색 필터가 있는 위치의 휘도 신호 Y이면,

로 한다. 여기서, b, c는 다이나믹 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 기수로 되고, 시안색 필터가 있는 위치의 h는 기수, v는 우수로 되며, 황색 필터가 있는 위치의 h는 우수, v는 기수로 된다.

또, 색차 신호(R-Y, B-Y)에 대해서는 휘도 신호 4개에 대해서 각 1개의 정보를 추출하고, 휘도 신호의 세로 2화소, 가로 2화소를 1개의 패턴으로 하며, 간단한 계산 방법으로서는

로 한다. 또는, 색차 신호의 샘플링 위치를 고려하여

로 해도 좋다.

또, 상기 실시예 1에서는 전체색 필터의 배치는 체크무늬 배치로 되도록 설정했지만, 도 4a와 같이 세로 2화소, 가로 2화소의 반복 패턴 중의 상부 2화소를 전체색 투과 필터, 하부 2화소를 시안색 투과 필터, 황색 투과 필터로 하여, 전체색 투과 필터가 가로로 연속되는 배치로 해도 좋고, 이점으로서는 수평 해상감이 향상된다. 또, 전체색 필터의 배치는 도 4b와 같이 세로 2화소, 가로 2화소의 반복 패턴 중의 상부 2화소는 좌측부터 전체색 투과 필터, 시안색 투과 필터의 반복 패턴을 갖고, 하부 2화소는 좌측부터 전체색 투과 필터, 황색 투과 필터로 하고, 전체색 투과 필터가 세로로 연속되는 배치로 해도 좋고, 이점으로서는 수직 해상도가 향상된다는 효과가 얻어진다. 또, 상기 4화소의 패턴을 패턴마다 교체하는 구조로 해도 동일한 해상감이 얻어진다.

또, 상기 실시예 1에서는 4:2:0 출력을 실행하는 경우에 대해서 설명했지만, 색차 신호 변환 시에 색 해상감은 떨어지지만 주변 화소의 이용 방법에 따라 어느 위치에도 R, G, B 성분을 배치할 수 있기 때문에, 이 4:2:0 출력뿐만 아니라 4:4:4, 4:2:2, 4:1:1 출력을 실행하는 것도 가능하다.

또, 상기 실시예 1에서는 전체색 투과 필터 이외를 시안색 투과 필터 및 황색 투과 필터로 했지만, 이 전체색 투과 필터 이외는 적색 투과 필터, 청색 투과 필터로 해도 무방하다. 이점은 R성분 및 B성분을 필터에서 추출할 필요가 없어 계산을 간략화할 수 있다는 점이다. 결점은 녹색 성분 G가 적색 필터, 청색 필터에는 포함되지 않기 때문에 G성분도 주변 화소에서 보충하게 되므로, 휘도 정보의 해상감이 떨어지게 된다는 점이다.

또, 상기 실시예 1에 있어서의 설명에서는 세로 2화소, 가로 2화소의 색 분리 필터를, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 구성한 예를 설명했지만, 그 밖의 필터의 투과색은 그대로이고 배열 방법을 바꾼 구성, 또는 전체색 투과 필터 2개는 그대로이고 시안색과 황색의 투과 필터의 투과색을 시안색과 마젠타색이나 마젠타색과 황색으로, 또는 적색과 청색이나 적색과 녹색이나 녹색과 청색으로 바꾼 구성에 대해서도 마찬가지로 실시 가능하다.

(실시예 2)

이하, 본 발명의 청구항 제 1 항, 청구항 제 3 항에 대응하는 실시예 2에 대해서 설명한다.

도 1c는 도 1a에 있어서의 고체 촬상 소자(2)의 표면에 부수하는 고체 컬러 촬상 소자의 색 분리 필터를 도시한 도면으로서, 세로 1화소, 가로 4화소로 반복되는 일례의 패턴을 나타내며, 필터의 배치는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 전체색 투과 필터, 황색 투과 필터로 구성되어 있다.

도 3b는 본 실시예 2에 있어서의 도 1a의 화상 신호 처리 회로(4)의 입출력 신호를 도시한 도면이다.

도 1a에 있어서, 광학계(1)을 통해서 피사체를 고체 촬상 소자 표면 상에 결상시키고, 색 분리 필터 부착 고체 촬상 소자(2)에 의해 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변환하고, AD 변환기(3)에 의해 고체 촬상 소자에서 얻어지는 화상 신호를 디지털 화상 신호로 변환하며, 화상 신호 처리 회로(4)에 의해AD 변환기에서 얻어지는 디지털 화상 신호를 휘도 신호와 색차 신호로 변환한다. 또, 고체 촬상 소자(2)에 부수하는 색 분리 필터의 배열이, 도 1c에 도시한 바와 같이, 세로 1화소, 가로 4화소의 패턴을 반복하는 구성이고, 이 패턴의 색 분리 필터는 좌측부터 전체색 투과 필터, 시안색 투과 필터, 전체색 투과 필터, 황색 투과 필터로 되는, 4화소 중 2화소가 전체색 투과 필터를 갖고 다른 2화소가 시안색 투과 필터, 황색 투과 필터로 되는 구성으로 한다. 이 때, 고체 촬상 소자에서 얻어지는 화상 신호는 전체색 정보 2개, 시안색 정보 1개, 황색 정보 1개의 합계 4개로 되고, 이 4개를 매트릭스 계산해서 화상 신호 처리 회로(4)로부터는 휘도 신호 4개, R-Y 색차 신호 1개, B-Y 색차 신호 1개를 출력한다.

이하에 화상 신호 처리 회로에서의 휘도 신호, 색차 신호로의 변환 동작에 대해서 도 3b를 참조하면서 설명한다.

각 투과 필터를 빛의 원색 성분(적색, 녹색, 청색, 각각 R, G, B)로 나타내면, 통상은 W= R+G+B, Cy=G+B, Ye=R+G로 된다. 휘도 정보가 R, G, B 성분 모두로 이루어져 있고, 전체색 투과 필터가 있는 위치의 휘도 신호 Y에 대해서는 순수한 샘플링 정보로 되는 전체색 투과 필터로부터의 신호만으로 만들어,

로 근사된다. 여기서, a는 다이나믹 범위를 조정하기 위한 계수로 하고, h는 도 3b의 예에 있어서는 항상 우수로 된다.

또, 전체색 투과 필터가 없는 위치의 휘도 신호 Y에 대해서는 주변 위치의정보도 이용해서 작성하고, 간단한 작성 방법으로서는

로 근사된다. 여기서, a는 다이나믹 범위를 조정하기 위한 계수로 하고, h는 도 3b의 예에 있어서는 항상 기수로 된다.

또는, 순수한 샘플링 정보인 해당 위치의 색 정보를 활용해서, 시안색 필터가 있는 위치의 휘도 신호 Y이면, Cy가 휘도 신호 성분 중의 R성분이 없기 때문에 주변 화소로부터 보간하고,

로 근사되며, 황색 필터가 있는 위치의 휘도 신호 Y이면, Ye가 휘도 신호 성분 중의 B성분이 없기 때문에 주변 화소로부터 보간하여,

로 근사되어도 좋다. 여기서, b, c는 다이나믹 범위를 조정하기 위한 계수로 하고, mod를 정수의 제산의 잉여만을 추출하는 계산이라고 하면, 시안색 필터가 있는 위치의 h는 (h mod 4)=1로 되고, 황색 필터가 있는 위치의 h는 (h mod 4)=3으로 된다.

Cy 화소 및 Ye 화소에서 상기 휘도 신호 Y를 구할 때에 필요한 R 및 B성분은 주변 화소의 정보를 이용한 보간에 의해 작성하고 있고, 따라서, 상기 휘도 신호 Y는 고체 촬상 소자에 의한 순수한 샘플링 정보로부터 구한 것으로는 되지 않는다.그러나, Cy 화소에 대해서는 G+B 성분이, Ye화소에 대해서는 R+G 성분이 순수한 샘플링 정보로서 남아 있고, 보간되는 R 및 B성분은 휘도 신호 Y 중에서 최대 3분의 1로서 영향이 적어 높은 해상도를 유지한 채로의 휘도 신호 Y로 된다.

또, 색차 신호(R-Y, B-Y)에 대해서는 휘도 신호 4개에 대해서 각 1개의 정보를 추출하고, 휘도 신호의 세로 1화소, 가로 4화소를 1개의 패턴으로 하며, 간단한 계산 방법으로서는 우선 R, G, B로 변환한다.

색차 신호 변환용의 R, B 성분은

로 한다. 또 G는

로 한다. 이 RGB로부터 색차 신호는 근사적으로

로 근사된다. 여기서, a, b, c는 다이나믹 범위를 조정하기 위한 계수로 한다.

이렇게 해서 얻어진 1쌍의 색차 신호는 인접하는 다른 색차 신호에 대해서 고체 촬상 소자의 출력을 중복해서 변환하고 있지 않기 때문에 색 해상감은 향상한다.

이상의 연산을 실행함으로써, 도 3b에 도시한 바와 같이, 세로 1화소, 가로 4화소의 4개의 휘도 신호 Y에 대해 2종류의 색차 신호 R-Y, B-Y 각 1개가 얻어지게되고, 도 3b에 도시한 4:1:1 형식의 기기로의 입력 신호로서 적합한 형태의 것이 얻어지게 된다.

또한, 상기한 것에 부가해서, 또 전체색 투과 필터의 투과율을 R에 대해서는 0.3, B에 대해서는 0.59, G에 대해서는 0.11의 비율로 설정함으로써, 상기 전체색 투과 필터의 투과율의 비는 휘도 신호 Y의 원색 혼합비와 동등한 것이므로, 순수한 휘도 신호가 얻어져 해상감을 더욱 향상시킬 수 있다. 이것에 대해서는 실시예 1과 매트릭스는 다르지만, 마찬가지의 방법으로 계산할 수 있다.

또, 상기 실시예 1과 마찬가지로, 색차 신호 변환 시에 색 해상감은 떨어지지만, 주변 화소의 이용 방법에 따라 어떤 위치에도 R, G, B 성분을 배치할 수 있기 때문에, 4:1:1 출력뿐만 아니라 4:4:4, 4:2:2, 4:2:0 출력을 실행하는 것도 가능하다.

또한, 전체색 필터의 배치는 도 1c, 도 3a의 배치에 대해서 도 5a와 같이 세로 1화소, 가로 4화소의 반복 패턴의 종방향의 반복 시에 투과 필터를 1화소씩 어긋나게 해서 전체색 투과 필터를 체크무늬 형상으로 배치함으로써, 휘도 신호의 경사의 해상도를 향상시킬 수 있다. 또, 도 5b에 도시한 바와 같이 도 1c의 전체색 투과 필터와 전체색 이외의 투과 필터의 배치를 교체하고, 또 시안색과 황색의 투과 필터를 교체한 8화소의 패턴의 반복 배치로 함으로써, 세로 1화소, 가로 4화소의 4:1:1 방식, 세로 2화소, 가로 2화소의 4:2:0 방식의 양쪽에 대응하는 색 해상감이 있는 필터 배치를 실현할 수 있다.

또, 실시예 2에 있어서의 설명에서는 세로 1화소, 가로 4화소의 색 분리 필터를 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 전체색 투과 필터, 황색 투과 필터로 구성한 것을 예로 설명했지만, 그 밖에 필터의 투과색은 그대로이고 배열 방법을 바꾼 구성, 또는 전체색 투과 필터 2개는 그대로이고 시안색과 황색의 투과 필터의 투과색을 시안색과 마젠타색이나 마젠타색과 황색, 또는 적색과 청색이나 적색과 녹색이나 녹색과 청색으로 바꾼 구성에 대해서도 마찬가지로 실시 가능하다. 투과 필터의 반복 패턴에 있어서, 4화소를 반복 패턴으로 해서 전체색 투과 필터 2개와 전체색이 아닌 색을 투과하는 필터 2종류 각 1개를 배치하면, 동일한 효과가 얻어진다. 또, 세로 1화소, 가로 4화소의 색 분리 필터의 패턴을 종방향으로 4패턴 준비하고, 그 4패턴의 색 분리 필터의 배열 방법이 각기 다른 구성에 대해서도 마찬가지로 실시 가능하다.

(실시예 3)

이하, 본 발명의 청구항 제 4 항, 제 5 항, 제 9 항, 제 12 항에 대응하는 실시예 3에 대해서 도 6, 도 7을 이용해서 설명한다.

도 6a에 있어서, 참조부호 1은 광학계로서 피사체상을 고체 촬상 소자형상으로 결상시키는 작용을 실행하는 것이고, 렌즈 등으로 구성되어 있다. 참조부호 2는 색 분리 필터 부착 고체 촬상 소자로서, 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변화시키는 작용을 실행한다. 참조부호 3은 AD 변환기로서, 고체 촬상 소자(2)에서 얻어지는 화상 신호를 디지털 화상 신호로 변환한다. 참조부호 5는 기억 회로로서, AD 변환기(3)에 의해 변환된 디지털 화상 신호를 1화면분 기억한다. 참조부호 6은 상관도 산출 회로로서, 기억 회로(5)에 축적된 디지털 화상 신호의 임의의 화소에 있어서의 주변 화소와의 상관도를 산출한다. 참조부호 7은 보간 처리 회로로서, 상관도 산출 회로(6)에서 산출된 상관도에 따라서 보간 처리를 실행하고, 휘도 신호와 색차 신호를 출력한다. 이들 광학계(1), 색 분리 필터 부착 고체 촬상 소자(2), AD 변환기(3), 기억 회로(5), 상관도 산출 회로(6), 보간 처리 회로(7)의 각 회로에 의해 휘도 신호와 색차 신호를 만들어 낸다.

도 6b에 고체 촬상 소자(2) 상의 색 분리 필터의 구성을 도시한다. 종횡으로 인접하는 4화소를 1개의 배열 단위로 하고, 필터의 배치는, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터로, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 구성되어 있다. 이 배열 단위가 종횡 방향으로 연속해서 반복 배치되어 있다.

기억 회로(도시하지 않음)에 취입된 W화소, Cy화소, Ye화소를 RGB 성분으로 나타내면 W=(R+G+B)/3, Cy=(G+B)/3, Ye=(R+B)/3으로 표현할 수 있고, W화소를 W≒Y라고 하면 W화소의 출력 신호를 그대로 휘도 신호로 표현할 수 있다. Cy화소, 및 Ye화소에 대해서는 보간 연산에 의해 R성분과 B성분을 구하고, 각각 Cy화소, Ye화소에 부가함으로써 휘도 신호를 표현할 수 있게 된다. 보간에는 주변 화소의 신호를 이용하지만, 보간에 이용하는 주변 화소는 상관도 산출 회로(6)에 의해 피보간 화소와의 상관도를 산출해서 결정한다. 우선 먼저, 상관도의 산출 방법에 대해서 설명한다.

도 7은 시안색 화소 Cyn을 피보간 화소로 한 경우에 주변 화소의 배치를 도시한 도면으로서, ●표와 ○표는 이 화소 Cyn의 보간 처리에서 필요로 하지 않는 Ye화소와 W화소이다. 도 7에 도시한 ①-①′방향인 종방향의 상관도를 Vc, ②-②′방향인 횡방향의 상관도를 Hc로 하고, 각각 다음식을 이용해서 산출한다.

이 결과를 이용해서 다음 조건식에 의해 상관 방향을 결정한다.

또한, Th는 임계값으로서 특정 정수이다. 상관 방향은 수학식 3이 성립된 경우에는 종방향, 수학식 4가 성립된 경우에는 횡방향이라고 판단한다. 수학식 3, 수학식 4의 양쪽 모두 성립되지 않은 경우에는 상관 방향 없슴이라고 판단한다.

다음에, 보간 처리에 대해서 설명한다.

상관 방향이 종방향이라고 판단된 경우에는 보간 처리에 이용하는 화소는 피보간 화소 Cyn에 대해서 종방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.

횡방향이라고 판단된 경우에는 보간 처리에 이용하는 화소는 피보간 화소 Cyn에 대해서 횡방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.

또, 상관 방향 없슴이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 횡방향 및 종방향 양쪽의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.

수학식 5∼수학식 7에 의해서 얻어진 부족 성분 RCy를 이용해서, 다음식에 의해 피보간 화소 Cyn의 W성분을 W′= Cyn+RCy로 구할 수 있다.

모든 피보간 화소 Cyn에 대해 마찬가지로 해서 상기한 조작에 의해 W′를 산출한다.

Ye 화소가 피보간 화소인 경우에는 수학식 1∼수학식 2의 수학식 중의 Cy를 Ye로 치환해서 상관도 산출을 실행할 수 있고, 수학식 5∼수학식 7의 수학식 중의 우변의 Cy를 Ye로 치환해서 부족 성분 BYe를 구한다. 구해지는 부족 성분은 R성분이 아니라 B성분으로 바뀔 뿐이고, W′= Yen+BYe로 함으로써 Ye 화소의 W성분을 구할 수 있다. 모든 피보간 화소 Yen에 대해 마찬가지로 해서 상기한 조작을 실행한다.

이 보간 처리를 실시함으로써, Cy화소 및 Ye화소에서의 휘도 W′가 구해져 모든 휘도 신호를 얻을 수 있다. 이 방법에서는 W화소의 신호는 그대로 이용하고, Cy화소와 Ye화소에서는 각각 상관이 높은 주변 화소에 의해 보간하고 있으므로, 해상도의 저하를 저감할 수 있다.

이상과 같이, 본 실시예 3에서는 피보간 화소와 그 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 종방향 및 횡방향의 상관도를 검출하고 보간을 실행하도록 했으므로, 고정밀도의 휘도 신호를 얻는 수 있어 해상도의 저하를 방지할 수 있다.

(실시예 4)

다음에, 본 발명의 청구항 제 6 항에 대응하는 실시예 4에 대해서 도 8을 이용해서 설명한다.

본 실시예 4의 구성은 기본적으로 상기 실시예 3의 구성과 동일하며, 본 실시예 4에 있어서는 상관도 산출 회로(6)에서의 상관도 산출에 경사방향의 상관도도 산출하는 처리가 부가되고, 또한 보간 처리 회로(7)에 경사방향 상관 시의 보간 처리가 더 부가되어 있다.

이하, 우선, 상관도의 산출 방법에 대해서 설명한다.

도 8은 시안색 화소 Cyn을 피보간 화소로 한 경우의 주변 화소의 배치를 도시한 도면으로서, ●표와 ○표는 이 화소 Cyn의 보간 처리에서 필요로 하지 않는 Ye화소와 W화소이다.

상기 실시예 3에 있어서는 도 7에 도시한 ①-①′방향과 ②-②′방향의 상관도만을 구했다. 여기서는 또 도 8에 도시한 ③-③′방향인 우하측 경사방향의 상관도를 Nr, ④-④′방향인 좌하측 경사방향의 상관도를 Nl로 하고, 각각 다음식을 이용해서 산출한다.

이 결과와 수학식 1∼수학식 2에서 구한 Vc, Hc를 이용해서 다음 조건식에 의해 상관 방향을 결정한다.

또한, Th는 임계값으로서 특정 정수, min은 괄호 안의 각 요소 내의 최소값을 취하는 함수이다. 상관 방향은 수학식 10이 성립된 경우에는 종방향, 수학식 11이 성립한 경우에는 횡방향, 수학식 12가 성립된 경우에는 우하측 경사방향, 수학식 13이 성립된 경우에는 좌하측 경사방향이라고 판단한다. 수학식 10∼수학식 13 중의 어느 것도 성립하지 않는 경우에는 상관 방향 없슴이라고 판단한다.

다음에, 보간 처리에 대해서 설명한다.

상기 실시예 3에서는 상관 방향이 종횡이라고 판단된 경우와 상관 방향 없슴이라고 판단된 경우의 보간 처리에 대해 설명했지만, 여기서는 또 상관 방향이 경사방향이라고 판단된 경우의 처리가 더 추가된다.

상관 방향이 우하측 경사방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우하측 경사방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.

좌하측 경사방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌하측 경사방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.

이 이하는 상기 실시예 3과 마찬가지로 해서 보간 처리를 실행하여 모든 휘도 신호를 얻는다.

본 실시예 4에서는 이와 같이 종횡뿐만 아니라 경사방향의 상관도 검출하여 보간을 실행함으로써, 종횡뿐만 아니라 경사방향의 해상도의 저하도 저감할 수 있다.

(실시예 5)

다음에, 본 발명의 청구항 제 7 항에 대응하는 실시예 5에 대해서 도 9를 이용해서 설명한다.

본 실시예 5의 구성은 기본적으로 상기 실시예 3의 구성과 동일하며, 본 실시예 5에 있어서는 상관도 산출 회로(6)에서의 상관도 산출에 L자 방향의 상관도도 산출하는 처리가 부가되고, 보간 처리 회로(7)에 L자 방향 상관 시의 보간 처리가 더 부가되어 있다.

우선, 상관도의 산출 방법에 대해서 설명한다.

도 9는 시안색 화소 Cyn을 피보간 화소로 한 경우에 주변 화소의 배치를 도시한 도면으로서, ●표와 ○표는 이 화소 Cyn의 보간 처리에서 필요로 하지 않는 Ye화소와 W화소이다.

상기 실시예 3에서는 도 7에 도시한 ①-①′방향과 ②-②′방향의 상관도만을 구했다. 여기서는 또, 도 9에 도시한 ⑤-⑤′방향인 좌상측 L자 방향의 상관도를 Lul, ⑥-⑥′방향인 우상측 L자 방향의 상관도를 Lur, ⑦-⑦′방향인 좌하측 L자 방향의 상관도를 Ldl, ⑧-⑧′방향인 우하측 L자 방향의 상관도를 Ldr로 하고,각각 다음식을 이용해서 산출한다.

또한, Th는 임계값으로서 특정 정수, min은 괄호안의 각 요소 중 최소값을 취하는 함수이다. 상관 방향은 수학식 20이 성립한 경우에는 종방향, 수학식 21이 성립한 경우에는 횡방향, 수학식 22가 성립한 경우에는 좌상측 L자 방향, 수학식 23이 성립한 경우에는 우상측 L자 방향, 수학식 24가 성립한 경우에는 좌하측 L자 방향, 수학식 25가 성립한 경우에는 우하측 L자 방향이라고 판단한다. 수학식 20∼수학식 25 중의 어느 것도 성립하지 않는 경우에는 상관 방향 없슴이라고 판단한다.

다음에, 보간 처리에 대해서 설명한다.

상기 실시예 3에서는 상관 방향이 종횡이라고 판단된 경우와 상관 방향 없슴이라고 판단된 경우의 보간 처리에 대해 설명했지만, 여기서는 상관 방향이 L 방향이라고 판단된 경우의 처리가 더 추가된다.

상관 방향이 좌상측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌상측 L자 방향만의 주변 화소를 이용하고, 부족 성분 Rcy를 다음식을 이용해서 산출한다.

우상측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우상측 L자 방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.

좌하측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌하측 L자 방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.

우하측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우하측 L자 방향만의 주변 화소를 이용하고 부족 성분 RCy를 다음식을 이용해서 산출한다.

본 실시예 5에서는 이와 같이 종횡뿐만 아니라 L자 방향의 상관도 검출하여 보간을 실행함으로써, 종횡뿐만 아니라 L자 방향의 해상도의 저하도 저감할 수 있다.

(실시예 6)

다음에, 본 발명의 청구항 제 8 항에 대응하는 실시예 6에 대해서 설명한다.

본 실시예 6의 구성은 기본적으로 상기 실시예 3과 동일하며, 상관도 산출 회로(6)에서의 상관도 산출에 경사방향과 L자 방향의 상관도도 산출하는 처리가 부가되고, 보간 처리 회로(7)의 처리에 경사방향 상관 시와 L자 방향 상관 시의 보간 처리가 부가되어 있다.

우선, 상관도의 산출 방법에 대해서 설명한다.

상기 실시예 3에서는 도 7에 도시한 ①-①′방향과 ②-②′방향의 상관도 Vc, Hc 만을 구했다. 여기서는 또 도 8에 도시한 ③-③′방향인 우하측 경사방향의 상관도 Nr 및 ④-④′방향인 좌하측 경사방향의 상관도 Nl을 상기 실시예 4와 마찬가지로 구하고, 도 9에 도시한 ⑤-⑤′방향인 좌상측 L자 방향의 상관도 Lul, ⑥-⑥′방향인 우상측 L자 방향의 상관도 Lur, ⑦-⑦′방향인 좌하측 L자 방향의 상관도 Ldl, ⑧-⑧′방향인 우하측 L자 방향의 상관도 Ldr을 상기 실시예 5와 마찬가지로 구한다.

또한, Th는 임계값으로서 특정 정수, min은 괄호안의 각 요소 중 최소값을 취하는 함수이다. 상관 방향은 수학식 30이 성립한 경우에는 종방향, 수학식 31이 성립한 경우에는 횡방향, 수학식 32가 성립한 경우에는 우하측 경사방향, 수학식 33이 성립한 경우에는 좌하측 경사방향, 수학식 34가 성립한 경우에는 좌상측 L자 방향, 수학식 35가 성립한 경우에는 우상측 L자 방향, 수학식 36이 성립한 경우에는 좌하측 L자 방향, 수학식 37이 성립한 경우에는 우하측 L자 방향이라고 판단한다. 수학식 30∼수학식 37 중의 어느 것도 성립하지 않는 경우에는 상관 방향 없슴이라고 판단한다.

다음에, 보간 처리에 대해서 설명한다.

상기 실시예 3에서는 상관 방향이 종횡이라고 판단된 경우와 상관 방향 없슴이라고 판단된 경우의 보간 처리에 대해서 설명했지만, 여기서는 또 상관 방향이 경사방향 및 L자 방향이라고 판단된 경우의 처리가 더 추가된다.

상관방향이 우하측 경사방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우하측 경사방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 14를 이용해서 산출한다. 좌하측 경사방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌하측 경사방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 15를 이용해서 산출한다. 상관 방향이 좌상측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌상측 L자 방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 26을 이용해서 산출한다. 우상측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우상측 L자 방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 27을 이용해서 산출한다. 좌하측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌하측 L자 방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 28을 이용해서 산출한다. 우하측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우하측 L자 방향만의 주변 화소를 이용하고, 부족 성분 RCy를 수학식 29를 이용해서 산출한다.

본 실시예 6에서는 이와 같이 종횡뿐만 아니라 경사방향 및 L자 방향의 상관도 검출하여 보간을 실행함으로써, 종횡뿐만 아니라 경사방향 및 L자 방향의 해상도의 저하도 저감할 수 있다.

(실시예 7)

다음에, 본 발명의 청구항 제 10 항에 대응하는 실시예 7에 대해서 설명한다.

본 실시예 7의 구성은 상기 실시예 3∼6의 구성과 동일하며, 상관도 산출 회로(6)에서의 상관도 산출 방법이 그들과 다를 뿐이다. 상기 실시예 3∼6에 있어서 구한 종방향 상관도 Vc, 횡방향 상관도 Hc, 우하측 경사방향의 상관도 Nr, 좌하측 경사방향의 상관도 Nl, 좌상측 L자 방향의 상관도 Lul, 우상측 L자 방향의 상관도 Lur, 좌하측 L자 방향의 상관도 Ldl, 우하측 L자 방향의 상관도 Ldr에서는 동색 화소끼리 연산하였지만, 여기서는 인접하는 이색 화소와의 연산에 의해 이하에 나타내는 수학식을 이용해서 구한다.

이 이하는 상관 방향의 판단과 보간 처리에 대해서는 상기 실시예 3∼6에 있어서의 그것과 동일하다.

이와 같은 본 실시예 7에서는 인접하는 이색 화소와의 연산에 의해 상관도를 구할 수 있기 때문에, 상관도의 산출 정밀도를 향상시킬 수 있다.

(실시예 8)

다음에, 본 발명의 청구항 제 11 항에 대응하는 실시예 8에 대해서 설명한다.

본 실시예 8의 구성은 상기 실시예 3∼6의 구성과 동일하며, 보간 처리 회로(7)에 있어서의 보간 처리 방법이 그들과 다를 뿐이다.

즉, 본 실시예 8은 상기 실시예 3∼6에 있어서 구한 피보간 화소 Cyn에 관해서 보간 처리에 있어서 해당 피보간 화소 Cyn의 휘도 W′를 구할 때에 Cyn 자신은 이용하지 않고, 주변 W화소만을 이용해서 다음식과 같이 해서 보간을 실행하는 것이다.

상관 방향이 종방향인 경우에는

상관 방향이 횡방향인 경우에는

상관 방향이 좌상측 L자 방향인 경우에는

상관 방향이 좌하측 L자 방향인 경우에는

상관 방향이 우상측 L자 방향의 경우에는

상관 방향이 우하측 L자 방향의 경우에는

상관 방향이 상기한 것 이외인 경우에는

로서 보간을 실행한다.

이와 같은 본 실시예 8에 있어서는 W만을 이용해서 휘도 신호를 산출하기 때문에, 보간 정밀도가 향상되고 휘도 불균일이 없는 고해상도의 화상을 얻을 수 있다.

(실시예 9)

다음에, 본 발명의 청구항 제 13 항 및 청구항 제 14 항에 대응하는 실시예 9에 대해서 도 10, 도 11을 이용해서 설명한다.

본 실시예 9는 상술한 실시예에 있어서의 상관도 검출에 의해서 그 피보간 화소가, 특정 방향에 상관이 있다고 판정된 경우, 그 상관도에 의존하지 않고 그 피보간 화소의 위치의 색차 신호(R-Y, B-Y)에 1이하의 이득을 부가하도록 처리한 것이다.

도 10에 가장 상관이 강하다고 판정된 방향의 상관도와 색차 신호에 부가하는 이득의 관계를 도시한다. 휘도의 에지부에는 위색신호가 나타나기 쉽지만, 상기 1이하의 이득을 부가하는 처리를 보간 처리 회로(7)에서 실시하도록 함으로써 휘도의 에지부에 발생하는 위색을 억제할 수 있다. 또, 상관도 검출 회로(6)이 에지 검출 기능을 겸하게 할 수 있으므로, 별도로 휘도 에지 검출 회로를 부가하는 일 없이 위색 억제 처리를 실시할 수 있다.

또, 가장 상관이 강하다고 판정된 방향의 상관도의 크기에 따라서 색차 신호에 부가하는 이득을 변화시키도록 해도 좋다. 도 11에 이 경우의 가장 상관이 강하다고 판정된 방향의 상관도와 색차 신호에 부가하는 이득의 관계의 일례를 도시한다. 단, 여기서는 상관이 강할 수록 상관도는 작아진다.

도 11에서는 상관도에 대해서 임의의 폭 Th1을 부여하고, 이 폭마다 색차에 부가하는 이득을 서서히 작게 하고 있다. 일반적으로, 휘도의 단차가 큰 에지부일 수록 짙은 위색으로 된다. 즉, 상관이 없어질수록 짙은 위색이 나타날 가능성이 크기 때문에, 그 가능성에 따라서 색차 신호의 레벨을 낮출 수 있어 효율적으로 위색을 억제할 수 있다.

(실시예 10)

이하에, 본 발명의 청구항 제 15 항 및 청구항 제 16 항에 대응하는 실시예 10에 대해서 도 12, 도 13, 도 14, 도 15를 이용해서 설명한다. 또한, 상술한 실시예와 동일 구성에 대해서는 동일한 부호를 이용하고, 설명을 생략한다.

도 12는 본 실시예 10에 의한 고체 컬러 촬상 장치의 구성을 도시한 도면으로서, 기본적으로는 도 6에 도시한 구성과 동일하며, 주파수 특성 조정 회로(10)가 도 6의 구성에 추가된 구성으로 되어 있다. 도 6의 보간 처리 회로(7)은 도 12에 있어서는 휘도 신호 보간 처리 회로(8)과 색차 신호 보간 처리 회로(9)로 분해해서 도시되어 있고, 색차 신호 보간 처리 회로(9)의 전단에 주파수 특성 조정 회로(10)이 삽입된 구성으로 되어 있다. 기억 회로(5)에 기억되어 있는 화상 신호는 그 주파수 특성이 주파수 특성 조정 회로(10)에 있어서 조정되어 색차 신호 보간 처리 회로(9)에 입력된다.

도 13은 주파수 특성 조정 회로(10)에 있어서의 주파수 대역을 저역 통과로 제한하고, 색 신호의 주파수 특성을 조정하는 동작을 설명하기 위한 모식도이다. 저역 통과 필터 처리를 행하는 주파수 특성 조정은 종방향, 횡방향, 종횡방향 및 경사방향으로 실행할 수 있다. 종방향으로 저역 통과 필터 처리를 하기 위해서는 피주파수 특성 조정 화소를 중심으로 해서 종방향의 동색 신호 2n+1점(n=1, 2···)을 이용해서 각 점에 필터의 특성을 결정하는 계수를 부가한 것의 평균을 산출한다. 예를 들어, 도 13의 Cy23을 피주파수 특성 조정 화소로 해서 종방향의 동색 신호 3점을 이용하여 저역 통과 필터 처리를 한 경우의 주파수 특성 조정 회로(10)의 출력 신호 Cy23′는 수학식 53과 같이 표현된다.

마찬가지로, 횡방향으로 저역 통과 필터를 통과시키기 위해서는 피주파수 특성 조정 화소를 중심으로 해서 횡방향의 동색 신호 2n+1점(n=1, 2···)을 이용해서 각 점에 필터의 특성을 결정하는 계수를 부가한 것의 평균을 산출한다. 예를 들어, 도 13의 Cy23을 피주파수 특성 조정 화소로써 횡방향의 동색 신호 3점을 이용하여 계수를 모두 1로 하면, 저역 통과 필터 처리를 한 경우의 주파수 특성 조정 회로(10)의 출력 신호 Cy23′는 수학식 54와 같이 표현된다.

마찬가지로, 종횡 방향으로 저역 통과 필터를 통과시키기 위해서는 피주파수 특성 조정 화소를 중심으로 해서 종횡 방향의 동색 신호(2n+1)×(2m+1)점(n,m=1, 2···)을 이용해서 각 점에 필터의 특성을 결정하는 계수를 부가한 것의 평균을 산출한다. 예를 들어, 도 13의 Cy23을 피주파수 특성 조정 화소로써 종횡 방향의 동색 신호 9점을 이용해서 계수를 모두 1로 하면, 저역 통과 필터 처리를 한 신호는 수학식 55와 같이 표현된다.

마찬가지로, 경사방향으로 저역 통과 필터 처리를 하기 위해서는 피주파수 특성 조정 화소를 중심으로 해서 종횡 십자 방향의 동색 성분 2n+2m+1점(n,m=1,2···)을 이용해서 각 점에 필터 특성을 결정하는 계수를 부가한 것의 평균을 산출한다. 예를 들어, 도 13의 Cy23을 피주파수 특성 조정 화소로써 종횡 십자 방향의 동색 신호 5점을 이용해서 계수를 모두 1로 하면, 저역 통과 필터 처리를 한 신호는 수학식 56과 같이 표현된다.

이 주파수 특성을 조정하는 조작은 색차 신호를 보간합성하기 위해 필요한모든 색 신호에 대해서 실행한다.

예를 들어, Cy23을 피보간 화소로써 W22와 W24의 주변 화소를 이용하여 색차 신호를 합성하는 경우, 종횡 방향으로 저역 통과 필터 처리를 하기 위해서는 수학식 57, 수학식 58, 수학식 59와 같이 해서 보간에 필요한 색 신호를 산출한다.

도 12의 색차 신호 보간 처리 회로(9)에 있어서, 상기 Cy23′, W22′, W24′를 이용해서 다음식에 의해 R-Y 색차 신호를 출력한다.

여기서, A, B는 화이트 밸런스 등에 의해 결정되는 정수이다. Ye 위치에 있어서도 마찬가지의 위치관계로 상기한 주파수 특성 조정과 색차 신호 보간 처리를 실시함으로써 B-Y 색차 신호를 출력할 수 있다.

도 14에 색 신호의 주파수 특성 조정으로서 3점 평균을 이용했을 때의 진폭 특성(11)과 색차 신호의 보간 처리로서 직선 보간을 이용했을 때의 진폭 특성(12)를 합친 것을 실선으로 나타낸다. 횡축은 주파수로서 각각의 색 신호의 샘플링 주파수가 π로 표시되어 있다. 도 14에 도시한 바와 같이, 주파수 특성 조정을 실시한 색 신호를 이용해서 직선 보간하면, 도 15 중에 점선으로 도시한 색 신호의 π/2 부근에 포함되어 있는 반환 왜곡을 포함한 주파수 성분이 저감되어 보간된다.

본 실시예 10에서는 이러한 구성에 의해 기억 회로(5)에 기억되어 있는 색 신호에 고주파 성분이 포함되어 있는 경우, 주파수 특성 조정 회로(10)에 의해 반환 왜곡을 포함한 주파수 성분이 저감되고, 색차 신호 보간 처리 회로(9)에 의해 이 주파수 특성 조정된 색 신호를 이용해서 색차 신호가 보간합성되므로, 위색신호가 저감된다.

(실시예 11)

이하에, 본 발명의 청구항 제 17 항 및 청구항 제 18 항에 따른 발명의 실시예에 대해서 도 16을 이용해서 설명한다. 또한, 상술한 실시예와 동일한 구성에 대해서는 동일한 부호를 이용하고, 설명을 생략한다.

도 16은 본 실시예 11에 의한 고체 컬러 촬상 장치의 구성을 도시한 도면으로서, 기본적으로는 도 12에 도시한 구성과 동일하며, 주파수 특성 조정 회로(10)이 상관도 검출 회로(6)의 출력에 의해 제어되도록 구성되어 있다.

이러한 구성에 따르면, 상관도 검출 회로(6)에 있어서 상관 방향 있슴이라고 판정된 경우, 피보간 화소의 색 신호는 주파수 특성 조정 회로(10)에 있어서 주파수 특성이 조정된다. 또, 주파수 특성이 조정된 상기 피보간 화소의 색 신호를 이용해서 색차 신호 보간 처리 회로(9)에 의해 색차 신호가 연산된다. 이 경우의 처리는 상기 실시예 10의 그것과 완전히 동일하다.

반대로, 상관도 검출 회로(6)에 있어서 상관 방향 없슴이라고 판정된 경우, 피보간 화소의 색 신호는 주파수 특성 조정 회로(10)에서는 아무런 처리도 실행되지 않고 그대로 색차 신호 보간 처리 회로(9)로 출력되고, 휘도 신호 보간 처리 회로(8)로부터의 휘도 신호를 이용해서 색차 신호가 보간 연산된다.

이와 같이, 본 실시예 11에서는 고주파 성분을 포함한 상관 방향이 있는 색 신호는 주파수 특성 조정 회로(10)에 의해서 그 주파수 특성이 조정되고, 상기 실시예 10에서 설명한 바와 같이 위색신호의 발생이 저감된다. 한편, 상관 방향이 없는 색 신호에서는 원래 위색 성분을 포함하지 않기 때문에 주파수 특성을 조정할 필요가 없고, 색 신호의 주파수 성분은 주파수 특성 조정에 의해서 감쇠되지 않기 때문에 색의 재현성이 유지된다.

이상과 같이, 본 발명에 따른 고체 컬러 촬상 장치는 고체 촬상 소자 표면의 색 분리 필터의 인접하는 종횡 4화소에서 휘도 정보 4개, 색 정보 2개를 취출함으로써, 휘도 해상도가 높고 색 해상도에 있어서도 열화를 적게 할 수 있으며, 화소간의 보간 처리를 실행하여 고해상도를 얻는 고체 컬러 촬상 장치의 신호 처리 방법으로서 유용하다.

Claims

종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 색 분리 필터를 갖고, 해당 배열 패턴의 색 분리 필터는 2화소가 전체색 투과 필터, 나머지 2화소는 상이한 2종류의 색을 투과하는 필터가 각각 1개씩이며, 상기 4화소의 배열 패턴을 종횡 모두 반복하는 구성이고 또한 상기 색 분리 필터의 각 화소마다의 화상 정보를 개별적으로 추출하는 수단을 갖는 고체 촬상 소자와,

상기 고체 촬상 소자로부터 개별적으로 추출된 화상 정보에 기초하여, 상기 배열 패턴의 1개에 대하여, 4개의 휘도 신호와 2종류의 색신호를 작성하는 신호 처리 회로를 구비하되,

상기 신호 처리 회로는,

상기 4개의 휘도 신호 중, 2개의 상기 전체색 투과 필터 위치의 휘도 신호를, 해당 위치로부터 얻어지는 정보만으로부터 작성하고, 나머지의 상기 상이한 2종류의 색을 투과하는 필터 위치의 휘도 신호를, 각각 해당 위치로부터 얻어지는 색 정보와 해당 화소의 주변 화소로부터 얻어지는 정보로부터 작성하고, 2종류의 색 신호를, 상기 상이한 2종류의 색을 투과하는 필터 위치로부터 얻어지는 정보를 포함하는 해당 화소의 주변 화소로부터 얻어지는 정보로부터 작성하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 1 항에 있어서,

종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 상기 색 분리 필터가 세로에 2화소, 가로에 2화소로 되는 구성이며, 상기 배열 패턴에서 추출되는 정보로부터 4개의 휘도 신호와 2종류의 색 신호가 각 1개로 이루어지는 합계 6개의 신호를 만들어 4:2:0 방식의 기기로 출력한 것을 특징으로 하는 고체 컬러 촬상 장치.
제 1 항에 있어서,

종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 상기 색 분리 필터가 세로에 1화소, 가로에 4화소로 되는 구성이며, 상기 배열 패턴에서 추출되는 정보로부터 4개의 휘도 신호와 2종류의 색 신호가 각 1개로 이루어지는 합계 6개의 신호를 만들어 4:1:1 방식의 기기로 출력하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 1 항에 있어서,

상기 신호 처리 회로는,

상기 고체 촬상 소자의 각 화소가 출력하는 색 신호를 각각 취입하여 기억하는 기억 수단과,

상기 기억 수단에 기억된 상기 상이한 2종류의 색을 투과하는 필터 위치의 화소를 피보간 화소로 하고, 당해 피보간 화소에 대해 소정의 방향으로 인접하는 주변 화소의 색 신호에 기초하여 당해 피보간 화소의 상관도를 산출하는 상관도 산출 수단과,

상기 산출된 상관도를 비교하고, 상관도가 큰 방향에 있어서 화소의 보간을 행하여, 상기 피보간 화소 위치의 휘도 신호를 계산하는 보간 처리 수단

을 구비한 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 상관도 산출 수단은 상기 피보간 화소와 그의 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 상기 피보간 화소의 횡방향 또는 종방향의 상관도를 산출하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 상관도 산출 수단은 상기 피보간 화소와 그의 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 상기 피보간 화소의 횡방향 또는 종방향의 상관도 및 경사방향의 상관도를 더 산출하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 상관도 산출 수단은 상기 피보간 화소와 그의 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 상기 피보간 화소의 횡방향 또는 종방향의 상관도, 및 우상측 방향, 또는 우하측 방향, 또는 좌상측 방향, 또는 좌하측 방향의 상관도를 산출하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 상관도 산출 수단은 상기 피보간 화소와 그의 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 상기 피보간 화소의 횡방향 또는 종방향의 상관도, 경사방향의 상관도, 및 우상측 방향, 또는 우하측 방향, 또는 좌상측 방향, 또는 좌하측 방향의 상관도를 산출하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 상관도 산출 수단은 상기 피보간 화소와 그의 주변에 있는 화소간에 있어서의 동색 신호끼리의 상관도를 산출하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 상관도 산출 수단은 상기 피보간 화소의 주변에 있는 화소간에 있어서의 이색 신호로 되는 인접 화소간의 상관도를 산출하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 보간 처리 수단은 상기 상관도 산출 수단에 의해서 산출된 상관도가 큰 방향에 있어서의 피보간 화소의 색 신호를 이용하지 않고 상기 피보간 화소의 주변의, 생성하고자 하는 색 신호와 동색의 신호만을 이용해서 보간 처리를 실시하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 보간 처리 수단은 상기 상관도 산출 수단에 의해서 산출된 상관도가 큰 방향에 있어서의 피보간 화소의 색 신호를 이용해서, 생성하고자 하는 색 신호의 부족분을 상기 피보간 화소 주변의 화소로부터 산출하여 보간 처리를 실시하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 5 항 내지 제 10 항 중 어느 한 항에 있어서,

상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도가 주어진 임계값보다 작으면, 그 화소에 대응하는 색 신호의 이득을 낮추는 처리를 실시하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 5 항 내지 제 10 항 중 어느 한 항에 있어서,

상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도가 주어진 임계값보다 작으면, 그 화소에 대응하는 색 신호의 이득을 상기 상관도에 따라 단계적으로 낮추는 처리를 실시하는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 4 항에 있어서,

상기 보간 처리 수단은,

주파수 대역을 저역 통과로 제한하여, 반환 왜곡을 포함한 주파수 성분을 저감하도록, 상기 고체 촬상 소자로부터 출력되는 각 색 신호의 주파수 특성을 조정하는 주파수 특성 조정 수단과,

상기 주파수 특성 조정을 실시한 색 신호를 이용해서 색차 신호를 보간합성하는 색차 신호 보간 처리 수단

구비한 것을 특징으로 하는 고체 컬러 촬상 장치.
제 15 항에 있어서,

상기 보간 처리 수단은,

주파수 대역을 저역 통과로 제한하여, 반환 왜곡을 포함한 주파수 성분을 저감하도록, 상기 고체 촬상 소자에서 출력되는 각 색 신호의 주파수 특성을 조정하는 주파수 특성 조정 수단과,

상기 주파수 특성 조정을 실시한 색 신호를 이용하여, 상기 상이한 2종류의 색을 투과하는 필터 위치 각각에 R-Y 색차 신호와 B-Y 색차 신호를 보간합성하는 색차 신호 보간 처리 수단

을 구비한 것을 특징으로 하는 고체 컬러 촬상 장치.
제 15 항에 있어서,

상기 주파수 특성 조정 수단은 상기 상관도 산출 수단에 의해 산출된 상관도로부터 상관 방향을 판정하여, 상관이 큰 방향이 있을 때에는 상기 주파수 특성 조정을 실행하고, 상관이 큰 방향이 없을 때에는 상기 주파수 특성 조정을 실행하지 않는 것을 특징으로 하는 고체 컬러 촬상 장치.
제 16 항에 있어서,

상기 주파수 특성 조정 수단은 상기 상관도 산출 수단에 의해 산출된 상관도로부터 상관 방향을 판정하여, 상관이 큰 방향이 있을 때에는 상기 주파수 특성 조정을 실행하고, 상관이 큰 방향이 없을 때에는 상기 주파수 특성 조정을 실행하지 않는 것을 특징으로 하는 고체 컬러 촬상 장치.