KR100785596B1

KR100785596B1 - 색 신호 처리 방법

Info

Publication number: KR100785596B1
Application number: KR1020060016589A
Authority: KR
Inventors: 히사시 마쯔야마
Original assignee: 산요덴키가부시키가이샤
Priority date: 2005-02-22
Filing date: 2006-02-21
Publication date: 2007-12-13
Also published as: CN1825973A; TW200701761A; US20060188155A1; JP2006237738A; KR20060093658A

Abstract

본원 발명은, 외광에 의한 오프셋 신호 성분을 포함하는 색 성분 신호에 대한 색 신호 처리의 처리 부하를 경감하는 것을 목적으로 한다. 각 색 성분 신호 <R>, <G>, 가 실질적으로 <IR>과 동일한 경우(S30)에는, 색 성분 신호는 대부분 오프셋 신호 성분이고, 본래의 RGB의 파장 영역에 대응하는 신호 성분은 미소하다. 이 경우에는, 색차 신호 Cr, Cb를 구하는 연산을 생략하고, 휘도 신호 Y만으로 이루어지는 모노크롬 신호를 생성한다(S35). 한편, <IR>이 실질적으로 0인 경우에는, Y, Cr, Cb를 생성할 때에, 오프셋 신호 성분에 기인하는 영향을 제거하는 보정 처리를 생략한다.

오프셋, 색 성분 신호, CCD 이미지 센서, 색차 신호, 모노크롬 신호

Description

색 신호 처리 방법{COLOR SIGNAL PROCESSING METHOD}

도 1은 실시예에 따른 촬상 장치의 개략적인 구성을 도시하는 블록도.

도 2는 실시예에 따른 색 신호 처리 방법을 설명하는 개략적인 흐름도.

도 3은 RGB 각 수광부의 분광 감도 특성을 나타내는 그래프.

<도면의 주요 부분에 대한 부호의 설명>

2 : CCD 이미지 센서

4 : 아날로그 신호 처리 회로

6 : A/D 변환 회로

8 : 디지털 신호 처리 회로

10, 12, 14, 16 : 수광부

본 발명은, 서로 다른 색 성분에 대응한 색 성분 신호가, 목적 외의 파장에 관련되는 오프셋 신호 성분을 갖는 경우에 대응한 색 신호 처리 방법에 관한 것이다.

비디오 카메라나 디지털 카메라에 탑재되는 CCD(Charge Coupled Device) 이 미지 센서 등의 고체 촬상 소자는 이차원 배열된 수광부를 갖고, 이 수광부에서 입사광을 광전 변환하여 전기적인 화상 신호를 생성한다. 수광부는 반도체 기판에 형성된 포토다이오드를 포함하고, 이 포토다이오드 자체는, 어느 수광부에서도 공통의 분광 감도 특성을 갖는다. 그 때문에, 컬러 화상을 취득하기 위해, 투과광의 색, 즉 투과 파장 영역이 서로 다른 복수 종류의 컬러 필터를 포토다이오드 상에 배치한다.

컬러 필터에는, 투과광이 적(R), 녹(G) 및 청(B)인 원색계의 필터 세트나, 시안(Cy), 마젠타(Mg) 및 옐로우(Ye)인 보색계의 필터 세트가 있다. 이들 컬러 필터는 예를 들면, 유기 재료를 기재로 하며, 이것을 착색하여 형성되고, 각각 대응하는 색의 가시광을 투과시키지만, 그 재질상, 적외광도 투과시킨다. 각 색의 컬러 필터의 투과율은, 가시광 영역에서는 각각의 착색에 따라 고유의 분광 특성을 나타내지만, 적외광 영역에서는 거의 공통의 분광 특성을 나타낸다.

한편, 포토다이오드는, 파장이 380~780㎚ 정도인 가시광 영역 전반 외에, 또 장파장의 근적외 영역까지 감도를 갖는다. 그 때문에, 적외광 성분(IR 성분)이 수광 화소에 입사하면, 해당 적외광 성분은 컬러 필터를 투과하여, 포토다이오드에서 신호 전하를 발생시킨다. 도 3은 각각 RGB 각 필터가 배치된 RGB 각 수광부의 분광 감도 특성을 나타내는 그래프이다. 도 3에도 도시되는 바와 같이, 각 수광부가 IR 성분에도 감도를 갖기 때문에, IR 성분을 포함하는 입사광에 대하여 올바른 색 표현을 할 수 없다. 그 때문에, 종래에는, 카메라의 렌즈와 고체 촬상 소자 사이에, 별도로 적외 컷트 필터를 배치하였다.

이 적외 컷트 필터는, 적외광을 컷트함과 동시에, 가시광도 10~20% 정도 감쇠시킨다. 그 때문에, 수광부에 입사하는 가시광의 강도가 감소하고, 그것에 따라 출력 신호의 S/N비가 저하되어, 화질의 열화를 초래한다고 하는 문제가 있었다.

이 문제의 대처로서, 적외 컷트 필터를 없애는 한편, RGB 등의 특정색의 광 성분을 투과시키는 컬러 필터가 배치된 수광부(특정색 수광부) 외에, 기본적으로 입사광 중의 IR 성분만을 검출하는 수광부(IR 수광부)를 가진 고체 촬상 소자가 제안되어 있다.

IR 수광부가 출력하는 신호(참조 신호)는, 각 수광부에서 IR 성분에 기인하여 발생하는 신호량에 관한 정보를 제공한다. 이 참조 신호를 이용하여, 특정색 수광부로부터 출력되는 각 색 신호에 포함되는 IR 성분의 영향을 제거하는 색 신호 처리를 행할 수 있다.

IR 성분을 제거하는 색 신호 처리는, 각 특정색 수광부에서 얻어지는 색 성분 신호에 오프셋 신호로서 중첩되는 IR 성분을, IR 수광부로부터 얻어지는 참조 신호에 기초하여 추정한다. 그 때문에, 각 색 성분 신호 중의 IR 성분의 비율이 커지면, 그 추정의 오차에 기인하여, 해당 성분을 제거한 후의 미소한 신호에 의해 표시되는 색이 부정확하게 되기 쉽다. 이와 같이 IR 성분 제거 연산은 항상 유효하다고는 할 수 없다고 하는 문제가 있었다.

본 발명은 상기 문제점을 해결하기 위해 이루어진 것으로, 목적 외의 파장에 관련되는 오프셋 신호 성분을 포함하는 색 성분 신호에 대하여, 처리의 부하 경감 및 고속화가 도모된 적합한 색 신호 처리를 제공하는 것을 목적으로 한다.

본 발명에 따른 색 신호 처리 방법은, 오프셋 성분 대역의 광 성분에 대응한 참조 신호 및, 각각 서로 다른 특정색의 광 성분에 대응한 신호 성분과 상기 오프셋 성분 대역의 광 성분에 대응한 오프셋 신호 성분이 합성된 복수 종류의 색 성분 신호를 이용하는 방법으로서, 상기 각 색 성분 신호에 차지하는 상기 오프셋 신호 성분의 비중을, 상기 참조 신호에 기초하여 평가하고, 상기 각 색 성분 신호마다의 상기 비중이 제1 임계값 이상인 오프셋 우세 상태를 검출하는 오프셋 우세 상태 검출 스텝과, 상기 오프셋 우세 상태의 경우에, 상기 각 색 성분 신호에 기초하여 단색의 모노크롬 신호를 생성하는 모노크롬 신호 생성 스텝과, 상기 오프셋 우세 상태 이외의 경우에, 상기 각 색 성분 신호에 따른 유채색 신호를 생성하는 색 신호 생성 스텝을 갖는다.

다른 본 발명에 따른 색 신호 처리 방법에서는, 상기 색 신호 생성 스텝이, 상기 참조 신호에 기초하여, 상기 오프셋 신호 성분에 따른 보정 처리를 행하고, 보정된 상기 유채색 신호를 생성하는 스텝을 갖는다.

또한 다른 본 발명에 따른 색 신호 처리 방법에서는, 상기 색 신호 생성 스텝이, 상기 참조 신호가 제2 임계값 이하인 미소 오프셋 상태를 검출하는 스텝과, 상기 미소 오프셋 상태의 경우에, 상기 보정 처리를 행하지 않고 상기 유채색 신호를 생성하는 스텝을 더 갖는다.

본 발명의 바람직한 양태는, 상기 오프셋 우세 상태 검출 스텝에서, 상기 각 색 성분 신호가 상기 참조 신호와 일치하는 값인 경우를 상기 오프셋 우세 상태로서 검출하는 색 신호 처리 방법이다.

<실시예>

이하, 본 발명의 실시예에 대하여, 도면에 기초하여 설명한다.

도 1은 본 실시예에 따른 촬상 장치의 개략적인 구성을 도시하는 블록도이다. 이 촬상 장치는, CCD 이미지 센서(2), 아날로그 신호 처리 회로(4), A/D 변환 회로(6) 및 디지털 신호 처리 회로(8)를 구비하고 있다.

도 1에 도시하는 CCD 이미지 센서(2)는 프레임 전송형으로, 반도체 기판 상에 형성되는 촬상부(2i), 축적부(2s), 수평 전송부(2h), 및 출력부(2d)를 포함하여 구성된다.

촬상부(2i)를 구성하는 수직 시프트 레지스터의 각 비트는, 각각 화소를 구성하는 수광부로서 기능한다.

각 수광부에는 컬러 필터가 배치되며, 그 컬러 필터의 투과 특성에 따라, 수광부가 감도를 갖는 광 성분이 정해진다. 여기서는, 2×2 화소의 배열이 수광부의 배열의 단위를 구성한다. 예를 들면, 수광부(10, 12, 14, 16)가 이 단위를 구성한다.

수광부(10, 12, 14)에는 각각 G 필터, R 필터, B 필터가 배치된다. 수광부(10)는 G 수광부로서, 가시광뿐만 아니라 IR 성분도 포함하는 입사광에 대하여, 도 3의 라인(30)으로 나타내는 바와 같이, 해당 수광부는 G 성분(32) 및 IR 성분(34)에 따른 신호 전하를 발생시킨다. 또한, 마찬가지로, 도 3의 라인(50)으로 나타내 는 바와 같이, 수광부(12)는 R 성분(52) 및 IR 성분(54)에 따른 신호 전하를 발생시키는 R 수광부이고, 라인(40)으로 나타내는 바와 같이, 수광부(14)는 B 성분(42) 및 IR 성분(44)에 따른 신호 전하를 발생시키는 B 수광부이다.

수광부(16)는, IR 성분을 선택적으로 투과시키는 IR 필터(적외광 투과 필터)가 배치되어, 입사광 중의 IR 성분에 따른 신호 전하를 발생시키는 IR 수광부이다. 이 IR 필터는, R 필터와 B 필터를 적층하여 구성할 수 있다. 왜냐하면, 가시광 중 B 필터를 투과하는 B 성분은 R 필터를 투과하지 않고, 한편, R 필터를 투과하는 R 성분은 B 필터를 투과하지 않기 때문에, 양 필터를 통과시킴으로써, 기본적으로 가시광 성분이 제거되어, 오로지 투과광에는 양 필터를 투과하는 IR 성분이 남기 때문이다.

촬상부(2i)에는, 해당 2×2 화소의 구성이 수직 방향, 수평 방향 각각에 반복해서 배열된다.

CCD 이미지 센서(2)는, 도시하지 않은 구동 회로로부터 공급되는 클럭 펄스 등에 의해 구동되고, 촬상부(2i)의 각 수광부에서 발생한 신호 전하는, 축적부(2s), 수평 전송부(2h)를 통해 출력부(2d)에 전송된다. 출력부(2d)는, 수평 전송부(2h)로부터 출력되는 신호 전하를 전압 신호로 변환하여, 화상 신호로서 출력한다.

아날로그 신호 처리 회로(4)는, 출력부(2d)가 출력하는 아날로그 신호의 화상 신호에 대하여, 증폭이나 샘플 홀드 등의 처리를 실시한다. A/D 변환 회로(6)는 아날로그 신호 처리 회로(4)로부터 출력되는 화상 신호를, 소정의 양자화 비트 수의 디지털 데이터로 변환함으로써, 화상 데이터를 생성하고, 이것을 출력한다. 예를 들면, A/D 변환 회로(6)는 8비트의 디지털값으로의 A/D 변환을 행하고, 이에 의해 화상 데이터는 0 내지 255까지의 범위 내의 값으로 표시된다.

디지털 신호 처리 회로(8)는 A/D 변환 회로(6)로부터 화상 데이터를 취득하여, 각종 처리를 행한다. 예를 들면, 디지털 신호 처리 회로(8)는 촬상부(2i)에서의 R, G, B, IR 각 수광부의 배열에 대응하여 각각 서로 다른 샘플링점에서 얻어진 R, G, B, IR 각 데이터에 대하여 보간 처리를 행하고, 화상을 구성하는 각 샘플링점 각각에서 R, G, B, IR 데이터를 정의한다. 이들 R, G, B, IR에 대응하는 데이터를 각각 <R>, <G>, , <IR>로 나타낸다. 디지털 신호 처리 회로(8)는, 또한 이들 데이터를 이용하여, 각 샘플링점에서의 휘도 데이터(휘도 신호) Y 및 색차 데이터(색차 신호) Cr, Cb를 생성하는 처리를 행한다.

이하, Y, Cr, Cb를 생성하는 색 신호 처리 방법에 대하여 설명한다. 도 2는, 해당 색 신호 처리 방법을 설명하는 개략적인 흐름도이다. <R>, <G>, 중 입사광의 R, G, B 성분에 따른 신호 성분을 R₀, G₀, B₀, 적외광에 따른 오프셋 신호 성분을 Ir, Ig, Ib로 하면, 다음 수학식이 성립한다.

디지털 신호 처리 회로(8)는, <R>, <G>, 에 차지하는 오프셋 신호 성분 Ir, Ig, Ib의 비중을, <IR>에 기초하여 평가하고, 또한, 이 비중이 소정의 임계값 이상인 오프셋 우세 상태를 검출한다. 이 오프셋 상태를 검출하는 처리에서는, RGB 각 수광부에 각각 배치된 컬러 필터 및 IR 수광부에 배치된 IR 필터 각각의 투과 특성이나, RGB 각 수광부와 IR 수광부의 면적의 차이 등이 고려된다. 이들 요인에 관한 정보는 미리 취득되어, 디지털 신호 처리 회로(8)에서의 처리에 반영된다. 여기서는, IR 필터는 상술한 바와 같이 RGB 필터와 동일한 기재로 구성되며, 이들 각 필터의 적외광에 대한 투과 특성은 기본적으로 동일하다. 또한, 각 수광부의 면적도 기본적으로 동일하게 구성된다. 이들로부터, 실질적으로,

로 할 수 있다. 이 관계를 이용하여, 디지털 신호 처리 회로(8)는, 실질적으로 다음 수학식이 성립하는지의 여부를 판정한다(S30).

이 수학식이 성립한다고 간주할 수 있는 경우에는, <R>, <G>, 의 대부분의 비율이 Ir, Ig, Ib이고, 입사광의 R, G, B 각각의 파장 영역에 대응하는 신호 성분 R₀, G₀, B₀은 미소한 경우이다. 디지털 신호 처리 회로(8)는, 상기 수학식이 성립한다고 간주할 수 있는 경우를 오프셋 우세 상태라고 판정하고, 모노 컬러 연산(S35)을 실행한다.

예를 들면, 디지털 신호 처리 회로(8)는, 처리(S30)로서, 각 샘플링점에 대하여 각 비 <IR>/<R>, <IR>/G>, <IR>/를 산출하고, 이들 각 비의 1화면 내에서의 평균값이 모두, 미리 설정된 임계값 γ 이상이면, 오프셋 우세 상태로 판정한다. 임계값 γ는 1 미만이고, 또한 1에 가까운 값으로 설정된다. 한편, 어느 하나의 비의 평균값이 임계값 γ보다 작은 경우에는, 오프셋 우세 상태가 아니다라고 판정된다.

모노 컬러 연산(S35)에서는, <R>, <G>, 를 이용하여, 휘도 데이터 Y만이 생성되며, 색차 데이터 Cr, Cb를 생성하는 연산은 생략된다. 이에 의해, 모노 컬러 연산(S35)에서는 처리의 부하 경감 및 고속화가 도모된다. 이 모노 컬러 연산(S35)에 의해 생성된 화상 데이터는, 적외광 화상을 나타내는 모노크롬 화상 신호로 된다.

한편, 디지털 신호 처리 회로(8)는, 처리(S30)에서 오프셋 우세 상태가 아니다라고 판단한 경우에는, 입사광의 R, G, B 각각의 파장 영역에 대응하는 신호 성분에 기초하는 가시광 화상을 나타내는 컬러 화상 신호를 생성한다. 이 컬러 화상 신호를 생성하는 처리에서, 디지털 신호 처리 회로(8)는, 우선, 오프셋 신호 성분 Ir, Ig, Ib가 미소한 미소 오프셋 상태인지의 여부를 판정한다. 여기서는 수학식 2를 이용하여, 실질적으로 <IR>이 미소한지의 여부에 기초하여, 미소 오프셋 상태의 판정을 행한다(S40).

예를 들면, 디지털 신호 처리 회로(8)는, 처리(S40)로서, <IR>의 1화면 내에서의 평균값이, 미리 설정된 임계값 ξ 이하이면, 미소 오프셋 상태로 판정한다. 임계값 ξ은 0에 가까운 양수로 설정된다. 한편, <IR>의 평균값이 임계값 ξ보다 큰 경우에는, 미소 오프셋 상태가 아니다라고 판정된다.

디지털 신호 처리 회로(8)는, 미소 오프셋 상태로 판정한 경우에는, <R>, <G>, 에 대하여 통상 색 연산(S45)을 실시한다. 또한, 통상의 색 연산은, Y, Cr, Cb를, RGB 각 성분에 대한 다음 수학식에 의해 구한다.

여기서, α, β, γ, λ, μ는 계수이고, 특히 α, β, γ 사이에는,

α+β+γ=1

인 관계가 있다.

본래 이 연산 수학식 4~수학식 6은 R, G, B로서, 오프셋 신호 성분을 제거하고 남는 R₀, G₀, B₀을 이용하여 행해야 하지만, 디지털 신호 처리 회로(8)는 미소 오프셋 상태로 판정한 경우에는, R, G, B로서 <R>, <G>, 를 이용하여 수학식 4~수학식 6에 의해 Y, Cr, Cb를 산출한다. 즉, 통상 색 연산(S45)에서는, <R>, <G>, 에 포함될 수 있는 오프셋 신호 성분 Ir, Ig, Ib를 무시하고, <R>, <G>, 가 각각, 입사광의 R, G, B 각 파장 영역에 대응하는 신호 성분 R₀, G₀, B₀ 그 자체인 것으로 간주하여, 휘도 데이터 Y 및 색차 데이터 Cr, Cb가 생성된다.

디지털 신호 처리 회로(8)는, 처리(S40)에서 미소 오프셋 상태가 아니다라고 판정한 경우에는, IR 제거 색 연산(S50)을 실행하여 Y, Cr, Cb를 산출한다. 이 IR 제거 색 연산(S50)은, <IR>에 기초하여 오프셋 신호 성분 Ir, Ig, Ib에 따른 보정 처리를 행하여, 오프셋 신호 성분 Ir, Ig, Ib에 의해 발생하는 영향이 제거, 완화된 Y, Cr, Cb를 생성한다.

IR 제거 색 연산(S50)에서는, 보정 처리를 행하는 데 대하여, 통상 색 연산(S45)에서는, 그 보정 처리가 생략되므로, 처리의 부하 경감 및 고속화가 도모된다.

본 발명에 따르면, 색 성분 신호에 차지하는 오프셋 신호 성분의 비중이 큰 경우에는, 해당 오프셋 신호 성분을 포함한 색 성분 신호에 기초하여 모노크롬 신호가 생성된다. 따라서, 색 신호 처리에서 얻어진 신호에 의해 부정확한 색에 의한 표시가 이루어지는 것이 회피됨과 함께, 그 때, 오프셋 신호 성분을 제거하는 처리가 생략되어, 처리의 부하 경감 및 고속화가 도모된다. 또한, 오프셋 신호 성분이 작은 경우에는 해당 성분을 제거하는 등의 보정 처리를 생략하고, 색 성분 신호에 따른 색차 신호 등의 색 신호의 생성이 행해진다. 보정 처리가 생략되는 만큼, 처리의 부하 경감 및 고속화가 도모된다.

Claims

오프셋 성분 대역의 광 성분에 대응한 참조 신호 및, 각각 서로 다른 특정색의 광 성분에 대응한 신호 성분과 상기 오프셋 성분 대역의 광 성분에 대응한 오프셋 신호 성분이 합성된 복수 종류의 색 성분 신호를 이용하는 색 신호 처리 방법으로서,

상기 각 색 성분 신호에 차지하는 상기 오프셋 신호 성분의 비중을, 상기 참조 신호에 기초하여 평가하고, 상기 각 색 성분 신호마다의 상기 비중이 제1 임계값 이상인 오프셋 우세 상태를 검출하는 오프셋 우세 상태 검출 스텝과,

상기 오프셋 우세 상태의 경우에, 상기 각 색 성분 신호에 기초하여 단색의 모노크롬 신호를 생성하는 모노크롬 신호 생성 스텝과,

상기 오프셋 우세 상태 이외의 경우에, 상기 각 색 성분 신호에 따른 유채색 신호를 생성하는 색 신호 생성 스텝

을 갖는 것을 특징으로 하는 색 신호 처리 방법.
제1항에 있어서,

상기 색 신호 생성 스텝은, 상기 참조 신호에 기초하여, 상기 오프셋 신호 성분에 따른 보정 처리를 행하고, 보정된 상기 유채색 신호를 생성하는 스텝을 갖는 것을 특징으로 하는 색 신호 처리 방법.
제2항에 있어서,

상기 색 신호 생성 스텝은,

상기 참조 신호가 제2 임계값 이하인 미소 오프셋 상태를 검출하는 스텝과,

상기 미소 오프셋 상태의 경우에, 상기 보정 처리를 행하지 않고 상기 유채색 신호를 생성하는 스텝

을 더 갖는 것을 특징으로 하는 색 신호 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 오프셋 우세 상태 검출 스텝은, 상기 각 색 성분 신호가 상기 참조 신호와 일치하는 값인 경우를 상기 오프셋 우세 상태로서 검출하는 것을 특징으로 하는 색 신호 처리 방법.