KR100376958B1

KR100376958B1 - 화상 데이타 처리 방법 및 화상 데이타 처리 장치

Info

Publication number: KR100376958B1
Application number: KR10-1999-0058115A
Authority: KR
Inventors: 나까꾸끼도시오
Original assignee: 산요 덴키 가부시키가이샤
Priority date: 1998-12-18
Filing date: 1999-12-16
Publication date: 2003-03-26
Also published as: JP3443344B2; US6373532B1; KR20000052488A; JP2000184392A; TW453123B

Abstract

컬러 필터의 각 성분의 감도의 변동에 기인하는 거짓 신호의 발생을 방지한다.

승산 회로(23a ∼ 23c)에 의해 보색 데이타 C[Ye], C[Mg], C[Cy] 내의 2개를 승산하여 곱 P[r], P[g], P[b]를 산출하고, 감산 회로(25a, 25b)에 의해 곱 P[r], P[g]의 차 S[r]과 곱 P[g], P[b]의 차 S[b]를 산출한다. 절대치 회로(26a, 26b), 개평(開平) 회로(27a, 27b) 및 부호 부가 회로(28a, 28b)에 의해 차 S[r], S[b]의 평방근 R2[r], R2[b]를 생성한다. 색차 매트릭스 회로(29)에 의해, 근 R2[r], R2[b]를 합성하여 색차 데이타 U, V를 생성한다.

Description

화상 데이타 처리 방법 및 화상 데이타 처리 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE DATA}

본 발명은 보색 성분을 나타내는 보색 데이타로부터, 색차 데이타를 생성하는 화상 데이타의 처리 방법 및 그 방법을 채용한 화상 데이타 처리 장치에 관한 것이다.

도 6은 CCD 이미지 센서를 이용한 촬상 장치의 구성을 나타낸 블럭도이며, 도 7은 CCD 이미지 센서에 장착되는 모자이크형 컬러 필터의 일례를 나타내는 평면도이다.

CCD 이미지 센서(1)는 복수의 수광 화소, 복수의 수직 시프트 레지스터 및 통상 1개의 수평 시프트 레지스터를 구비하고 있다. 복수의 수광 화소는 수광면에 일정한 간격으로 행렬 배치되며, 각각 수광한 피사체 화상에 대응하여 정보 전하를 발생하여 축적한다. 복수의 수직 시프트 레지스터는 수광 화소의 각 열에 대응하여 배치되며, 각 수광 화소에 축적된 정보 전하를 순차 수직 방향으로 전송한다. 그리고 수평 시프트 레지스터는 수직 시프트 레지스터의 출력측에 배치되며, 복수의 수직 시프트 레지스터로부터 전송 출력되는 정보 전하를 받아들여서 1행 단위로 전송 출력한다. 이에 따라, 각 수광 화소에 축적된 정보 전하량에 따라서 전압치를 변화시키는 화상 신호 IO가 출력된다.

아날로그 처리 회로(2)는 CCD(1)로부터 입력되는 화상 신호 IO에 대하여 샘플 홀드, 레벨 클램프 등의 처리를 실시하고, 소정의 포맷에 따르는 화상 신호 I1을 생성한다. 예를 들면, 샘플 홀드 처리에서는 CCD(1)의 출력 동작에 동기하여 리셋트 레벨과 신호 레벨이 교대로 반복되는 화상 신호 IO로부터 신호 레벨만이 추출된다. 또한, 레벨 클램프 처리에서는 화상 신호 IO의 수평 주사 기간의 종단에설정되는 흑기준 레벨이 각 수평 주사 기간마다 소정의 레벨로 클램프된다. A/D 변환 회로(3)는 아날로그 처리 회로(2)로부터 입력되는 화상 신호 I1을 아날로그 처리 회로(2)의 동작 즉 CCD(1)의 출력 동작에 따르는 타이밍으로 양자화하고, CCD(1)의 각 수광 화소에 대응하는 정보를 디지탈값으로 나타내는 화상 데이타 D를 생성한다.

디지탈 처리 회로(4)는 A/D 변환 회로(3)로부터 입력되는 화상 데이타 D에 대하여 색분리, 매트릭스 연산 등의 처리를 실시하고 휘도 데이타 Y 및 색차 데이타 U, V를 생성한다. 예를 들면, 색분리 처리에서는 CCD(1)의 각 수광면에 장착되는 컬러 필터의 색 배열에 따라서 화상 데이타 D가 분류되며 복수의 색 성분 데이타가 생성된다. 또한, 매트릭스 연산 처리에서는 분류된 각 색 성분 데이타로부터 빛의 삼원색에 대응한 원색 데이타가 생성되며 또한 그 원색 데이타를 소정의 비율로 합성함으로써 색차 데이타가 생성된다.

구동 회로(5)는 후술하는 타이밍 제어 회로(6)로부터의 각 종 타이밍 신호에 응답하고 CCD(1)의 각 시프트 레지스터에 대하여 다상의 구동 클럭을 공급한다. 예를 들면, 수직 시프트 레지스터에 대하여, 4상의 수직 전송 클럭 φv를 공급하고 수평 시프트 레지스터에 대하여 2상의 수평 전송 클럭 φh를 공급한다. 타이밍 제어 회로(6)는 일정 주기의 기준 클럭에 따라서 CCD(1)의 수직 주사의 타이밍을 결정하는 수직 타이밍 신호와 수평 주사의 타이밍을 결정하는 수평 타이밍 신호를 생성하고 구동 회로(5)에 공급한다. 동시에, 아날로그 처리 회로(2), A/D 변환 회로(3) 및 디지탈 처리 회로(4)에 대하여 각 회로의 동작을 CCD(1)의 출력 동작에동기시키기 위한 타이밍 클럭 CT를 공급한다.

그런데, 컬러 촬상을 행하는 경우, CCD(1)의 각 수광 화소를 소정의 색 성분에 대응시키기 위해, 수광면에 색분리용 컬러 필터가 장착된다. 이 컬러 필터는 수직 방향으로 이어지는 복수의 세그멘트가 배치되는 스트라이프형 및 각 수광 화소마다 대응되어 복수의 세그멘트가 배치되는 모자이크형을 예로 들 수 있다. 예를 들면, 모자이크형 컬러 필터는 도 8에 도시한 바와 같이, CCD(1)의 수광부의 각 화소에 대응하여 복수의 세그멘트로 분할되며, 각 세그멘트에 Ye(옐로우), Cy(시안), W(화이트) 및 G(그린)의 각 색 성분이 주기적으로 할당된다. 여기서는, W 및 G의 각 성분이 홀수행에 교대로 배치되며 Ye 및 Cy의 각 성분이 짝수행에 교대로 배치되어 있다. 이러한 컬러 필터가 장착된 CCD(1)로부터 얻어지는 화상 신호는 홀수행의 판독으로 W 및 G의 각 성분이 반복되며, 짝수행의 판독에서는 Ye 및 Cy의 각 성분이 반복된다.

도 8은 영상 신호 처리 장치로서의 디지탈 신호 처리부(4)의 구성을 나타내는 블럭도이며 도 9는 그 동작을 설명하는 타이밍도이다. 이 도면에서는 도 7에 도시하는 모자이크형의 컬러 필터가 CCD(1)에 장착된 경우에 대응하고 있다.

색분리 회로(11)는 각 색 성분이 컬러 필터의 각 세그멘트의 배열에 대응하는 순서로 연속하는 화상 데이타 D를 각 색 성분마다 분류하여 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]를 생성한다. A/D 변환 회로(3)로부터 입력되는 화상 데이타 D는 도 9에 도시한 바와 같이, 홀수행(ODD)의 판독 동작에서는 G 성분 및 W 성분이 교대로 연속하고, 짝수행(EVEN)의 판독에서는 Ye 성분 및 Cy 성분이 교대로연속한다. 그래서, 색분리 회로(11)는 화상 데이타 D를 적어도 1행분 유지함으로써 각 행의 판독 시에 모든 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]의 출력을 가능하게 하고 있다. 즉, 홀수행의 판독이 행해지고 있을 때 그 행의 화상 데이타 D를 분류하여 색 성분 데이타 C[G], C[W]를 출력하고, 동시에 1행 전의 화상 데이타 D를 분류하여 색 성분 데이타 C[Ye], C[Cy]를 출력하도록 구성된다. 또한, 직렬로 출력되는 화상 데이타 D의 분류에 의해서 간헐적으로 되는 각 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]는 동일 데이타를 연속하여 2회 출력함으로써 보간된다.

색 연산 회로(12)는 색분리 회로(11)로부터 입력되는 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]에 대하여 예를 들면,

Ye-G=R

Cy-G=B

G=G

의 식에 따르는 색연산 처리를 실시하고, 빛의 삼원색(R : 적, G : 녹, B : 청)에 대응하는 원색 데이타 P[R], P[G], P[B]를 생성한다.

화이트 밸런스 제어 회로(13)는 색연산 회로(12)로부터 입력되는 원색 데이타 P[R], P[G], P[B]에 대하여, 각 색마다 설정되는 고유의 게인을 부여함으로써 각 색의 밸런스를 조정한다. 즉, 화이트 밸런스 제어 회로(13)에서는 CCD의 수광 화소에서 생기는 색 성분마다의 감도의 차를 보상하기 때문에, 원색 데이타 P[R], P[G], P[B]의 게인을 색마다 개별로 설정함으로써 재생 화면의 색 재현성을 향상시키고 있다.

색차 매트릭스 회로(14)는 화이트 밸런스 제어 회로(13)로부터 입력되는 원색 데이타 P[R], P[G], P[B]에 대하여 색차 데이타 U, V를 생성한다. 즉, 각 원색 데이타 P[R], P[G], P[B]를 3 : 6 : 1의 비율로 합성함으로써 휘도 정보를 생성하고, 이 휘도 정보를 B 성분에 대응하는 원색 데이타 P[B]로부터 뺌으로써 색차 데이타 U를 생성하고, R 성분에 대응하는 원색 데이타 P[R]로부터 뺌으로써 색차 데이타 V를 생성한다.

한편, 휘도 연산 회로(15)는 색분리 회로(11)에 입력되는 화상 데이타 D에 포함되는 4개의 색 성분을 합성함으로써 휘도 데이타 Y를 생성한다. 즉, Ye, Cy, G, W의 각 성분을 합성하면,

Ye+Cy+G+W=(B+G)+(R+G)+G+(R+G+B)

=2R+4G+2B

가 되며, R, G 및 B의 각 성분이 1 : 2 : 1의 비율로 합성된 휘도 데이타 Y를 얻을 수 있다. 원래 휘도 신호는 NTSC 방식의 규격에 따르면, R, G 및 B의 각 성분을 3 : 6 : 1의 비율로 합성하여 생성되는 것이지만, 이에 가까운 비율로 합성하여 생성한 것이면 실용상 문제는 없다.

개구 회로(16)는 휘도 데이타 Y에 포함되는 특정한 주파수 성분을 강조하여 개구 데이타를 생성하고, 이 개구 데이타를 휘도 데이타 Y에 가산한다. 즉, 피사체 화상의 윤곽을 강조하기 때문에, 화상 신호 I1로부터 화상 데이타 D를 얻을 때의 샘플링 주파수의 1/4의 주파수 성분을 강조하도록 화상 데이타 D에 대하여 필터링 처리를 실시하고 개구 데이타를 생성하도록 구성된다. 이와 같이 하여 생성되는 휘도 데이타 Y는 색차 데이타 U, V와 함께 외부의 표시 기기 혹은 기록 기기로 공급된다.

색 연산 회로(12)의 색연산 처리에서는 Ye 및 Cy의 각 성분으로부터 각각 G 성분을 뺌으로써 R 및 B의 성분을 생성하도록 하고 있기 때문에, 컬러 필터의 분광 특성의 변동에 의해서는 R 혹은 B의 성분이 마이너스의 값을 나타내는 경우가 발생할 수 있다. 예를 들면, G 성분이 강하고, R, B 성분이 약한 빛인 경우, 원래, Ye, Cy 성분이 G 성분보다도 약간 큰 값을 나타내고, R, B 성분은 「0」에 가까운 플러스의 값을 나타낼 것이다. 그러나, Ye, Cy 필터가 원하는 빛을 투과할 수 없으며, Ye, Cy 성분이, G 성분보다도 작은 값으로밖에 얻어지지 않으면, 연산 처리의 결과, R, B 성분이 마이너스의 값으로 표시된다. 이러한 마이너스의 값은 원래 색 성분으로서 취할 수 없는 값이며 거짓 신호가 되어 재생 화면의 화질을 열화시키는 원인이 된다.

그래서 본 발명은 컬러 필터의 각 색 성분마다의 분광 감도에 변동이 있는 경우에도 색연산 처리에서 영향을 받기 어렵게 하는 것을 목적으로 한다.

본 발명의 화상 데이타의 처리 방법은 빛의 삼원색의 보색을 나타내는 제1 내지 제3 보색 데이타로부터, 제1 및 제2 색차 데이타를 생성하는 화상 데이타 처리 방법에 있어서, 상기 제1 보색 데이타와 상기 제2 보색 데이타를 승산하여 제1 곱을 생성하고, 상기 제1 보색 데이타와 상기 제3 보색 데이타를 승산하여 제2 곱을 생성함과 함께, 상기 제2 보색 데이타와 상기 제3 보색 데이타를 승산하여 제3곱을 생성하는 단계, 상기 제1 및 제3 곱으로부터 상기 제2 곱을 각각 감산하여 제1 및 제2 차를 생성하는 단계, 상기 제1 및 제2 차의 각 절대치를 개평(開平)하여 제1 및 제2 근을 생성함과 함께, 상기 제1 및 제2 근에 상기 제1 및 제2 차의 부호를 각각 부가하는 단계, 및 상기 부호가 부가된 상기 제1 및 제2 근을 합성하여 상기 제1 및 제2 색차 데이타를 생성하는 단계를 구비하는 것을 특징으로 한다.

그리고, 본 발명의 화상 데이타 처리 장치는 빛의 삼원색에 대한 보색을 나타내는 제1 내지 제3 보색 성분이 소정의 규칙으로 반복되는 화상 데이타를 받아들이고, 제1 및 제2 색차 데이타를 생성하는 화상 데이타 처리 장치에 있어서, 상기 화상 데이타를 성분별로 분리하여 제1 내지 제3 보색 성분 데이타를 생성하는 분리 회로, 상기 제1 내지 제3 색성분 데이타 내의 2개를 서로 승산하여 제1 내지 제3 곱을 생성하는 승산 회로, 상기 제1 및 제3 곱으로부터 상기 제2 곱을 각각 감산하여 제1 및 제2 차를 생성하는 감산 회로, 상기 제1 및 제2 차의 절대치의 평방근을 산출하여 제1 및 제2 근을 생성하는 개평 회로, 상기 제1 및 제2 근에 상기 제1 및 제2 차의 부호를 각각 부가하는 부호 부가 회로, 및 상기 부호가 부가된 상기 제1 및 제2 근을 합성하여 상기 제1 및 제2 색차 데이타를 생성하는 색차 매트릭스 회로를 구비한 것을 특징으로 한다.

본 발명에 따르면, 2종류의 보색 데이타를 승산하는 것으로 양 보색 데이타에 공통으로 포함되는 원색 성분이 강조되며, 그 밖의 원색 성분이 감쇠된다. 그리고, 이들의 곱의 차를 취하여, 그 절대치의 평방근을 취함으로써, 그 근과 원래의 보색 데이타와의 차수가 맞춰진다. 보색계로부터 원색계로의 변환을 위한 연산 과정에서는 감산 처리를 이용하지 않기 때문에, 원색계의 정보가 마이너스의 값으로 표시되는 일은 없다.

도 1은 본 발명의 화상 데이타 처리 장치의 구성을 나타내는 블럭도.

도 2는 본 발명의 화상 데이타 처리 장치의 동작을 설명하는 타이밍도.

도 3은 컬러 필터의 분광 특성을 나타내는 도면.

도 4는 모자이크형 컬러 필터의 일례를 나타내는 구성도.

도 5는 모자이크 필터에 대응한 색분리부의 구성을 나타내는 블럭도.

도 6은 종래의 고체 촬상 소자의 구성을 나타내는 블럭도.

도 7은 모자이크형 컬러 필터의 일례를 나타내는 구성도.

도 8은 종래의 화상 데이타 처리 장치의 구성을 나타내는 블럭도.

도 9는 종래의 화상 데이타 처리 장치의 동작을 설명하는 타이밍도.

<도면의 주요 부분에 대한 부호의 설명>

1 : CCD 이미지 센서

2 : 아날로그 처리 회로

3 : A/D 변환 회로

4 : 디지탈 처리 회로

5 : 구동 회로

6 : 타이밍 제어 회로

11, 21 : 색분리 회로

12 : 색연산 회로

13 : 화이트 밸런스 제어 회로

14, 29 : 색차 매트릭스 회로

15 : 휘도 연산 회로

16 : 개구 회로

22a ∼ 22c : 래치 회로

23 : 색 밸런스 제어 회로

24a ∼ 24c : 승산 회로

25a, 25b : 감산 회로

26a, 26b : 절대치 회로

27a, 27b : 개평 회로

28a, 28b : 부호 부가 회로

31a ∼ 31c : 라인 메모리

32 : 필터 연산 회로

33 : 셀렉터 회로

도 1은 본 발명의 화상 데이타 처리 장치의 구성을 나타내는 블럭도이며, 도 2는 그 동작을 설명하는 타이밍도이다. 여기서, 장치에 입력되는 화상 데이타 D는 예를 들면, 빛의 삼원색의 보색 (Ye : 옐로우, Mg : 마젠타, Cy : 시안)으로 이루어지는 스트라이프 필터가 장착된 이미지 센서로부터 얻어지는 것이며 3종류의 보색 성분이 반복되게 한다.

색분리 회로(21)는 1화소 단위로 입력되는 화상 데이타 D를 색 성분마다 분류하여 Ye, Mg, Cy에 대응하는 보색 데이타 C[Ye], C[Mg], C[Cy]를 생성한다. 즉, 화상 데이타 D에서는 각 보색 성분이 예를 들면, Ye, Mg, Cy의 순으로 1화소 단위로 반복되기 때문에, 일정한 순서로 3개로 분류함으로서 각 보색 성분을 나타내는 보색 데이타 C[Ye], C[Mg], C[Cy]가 생성된다. 제1 ∼ 제3 래치 회로(22a ∼ 22c)는 색분리 회로(21)에 대하여 병렬로 접속되며, 색분리 회로(21)로부터 입력되는 보색 데이타 C[Ye], C[Mg], C[Cy]를 각각 래치하고, 색분리 회로(21)로부터 다음의 데이타가 출력될 때까지 래치한 데이타를 반복 출력한다. 화상 데이타 D를 3개로 분리하여 얻어지는 보색 데이타 C[Ye], C[Mg], C[Cy]의 경우, 데이타량이 화상 데이타 D의 1/3이며, 각각 3화소마다 1회 갱신되기 때문에, 연속하는 3화소는 동일한 데이타로 나타내게 된다.

색 밸런스 제어 회로(23)는 제1 ∼ 제3 래치 회로(22a ∼ 22c)로부터 입력되는 보색 데이타 C[Ye], P[Mg], P[Cy]에 대하여, 각 색마다 설정되는 고유의 게인을 부여하여 각 색의 밸런스를 조정하고, 흰 피사체가 재생 화면 상에서 동일하도록 희게 재생되도록 한다. 각 색에 대한 게인은 보색 데이타 C[Ye], P[Mg], P[Cy]를 소정의 기간 적분하고 각각의 적분치가 같아지도록 결정된다.

제1 승산 회로(24a)는 색 밸런스 제어 회로(23)를 통하여 제1 및 제2 래치 회로(22a, 22b)로부터 입력되는 보색 데이타 C[Ye], C[Mg]를 승산하여, 제1 곱 P[r]을 생성한다. 그리고, 제2 승산 회로(24b)는 색 밸런스 제어 회로(23)를 통하여 제1 및 제3 래치 회로(22a, 22c)로부터 입력되는 보색 데이타 C[Ye], C[Cy]를 승산하여 제2 곱 P[g]를 생성한다. 또한, 제3 승산 회로(24c)는, 색 밸런스 제어 회로(23)를 통하여 제2 및 제3 래치 회로(22b, 22c)로부터 입력되는 보색 데이타 C[Mg], C[Cy]를 승산하여 제3 곱 p[b]를 생성한다. 제1 감산 회로(25a)는 제1 및 제2 승산 회로(24a, 24b)에 접속되며, 제1 승산 회로(24a)로부터 입력되는 제1 곱 P[r]로부터 제2 승산 회로로부터 입력되는 제2 곱 P[g]를 감산하여 제1 차 S[r]을 생성한다. 제2 감산 회로(25b)는 제2 및 제3 승산 회로(24b, 24c)에 접속되며 제3 승산 회로(24c)로부터 입력되는 제3 곱 P[b]로부터 제2 승산 회로로부터 입력되는 제2 곱 P[g]를 감산하여 제2 차 S[b]를 생성한다.

제1 및 제2 절대치 회로(26a, 26b)는 각각 제1 및 제2 감산 회로(25a, 25b)에 접속되며, 제1 및 제2 차 S[r], S[b]를 생성한다. 동시에 제1 및 제2 절대치 회로(26a, 26b)는 제1 및 제2 차 S[r], S[b]의 플러스/마이너스를 나타내는 제1 및 제2 부호 Q[r], Q[b]를 각각 추출하고, 후술하는 부호 부가 회로(28a, 28b)로 각각공급한다. 제1 및 제2 개평 회로(27a, 27b)는 각각 제1 및 제2 절대치 회로(26a, 26b)에 접속되며 각 절대치 회로(26a, 26b)로부터 입력되는 제1 및 제2 절대치 A[r], A[b]의 평방근을 산출하고, 제1, 제2 근 R1[r], R1[b]를 생성한다. 그리고, 제1 및 제2 부호 부가 회로(28a, 28b)는 제1 및 제2 개평 회로(27a, 27b)로부터 입력되는 제1, 제2 근 R1[r], Rl[b]에 제1 및 제2 절대치 회로(26a, 26b)로부터 공급되는 제1 및 제2 부호 Q[r], Q[b]를 부가하고 극성을 가지는 제1, 제2 근 R2[r], R2[b]를 생성한다.

색차 매트릭스 회로(29)는 제1 및 제2 부호 부가 회로(28a, 28b)에 접속되며, 극성이 부가된 제1, 제2 근 R2[r], R2[b]를 합성하여 색차 데이타 U, V를 생성한다. 이 색차 매트릭스 회로(29)에서는 예를 들면, 제2 근 R2[b]에 소정의 승수를 승산하고, 그 곱을 제1 근 R2[r]에 가산하여 색차 데이타 V를 생성하고, 제1 근 R2[r]에 소정의 승수를 승산하고, 그 곱을 제2 근 R2[g]에 가산하여 색차 데이타 U를 생성하도록 구성된다.

여기서, 본 발명의 화상 데이타의 처리 방법에 대하여 설명한다.

도 3은 빛의 삼원색과 이들의 보색에 대응된 컬러 필터의 분광 특성을 나타내는 도면이다.

일반적으로, 빛의 삼원색 (R : 레드, G : 그린, B : 블루)에 대응하는 컬러 필터는 도 3의 파선으로 나타낸 바와 같은 분광 특성을 나타낸다. R 필터는 파장이 긴 적색의 빛에 대응하는 부분으로 투과율이 극대치를 나타내고, 적색보다도 파장이 짧은 빛에 대해서는 투과율이 저하한다. 반대로 B 필터는 파장이 짧은 청색의 빛에 대응하는 부분으로 투과율이 극대치를 나타내고, 청색보다도 파장이 긴 빛에 대해서는 투과율이 저하한다. 그리고, G 필터는 R 필터와 G 필터와의 중간의 특성을 나타낸다.

이것에 대하여, R, G, B의 보색(Ye, Mg, Cy)에 대응하는 필터는 도 3의 실선에 나타낸 바와 같은 분광 특성을 나타낸다. 즉, R의 보색이 되는 Cy 필터는 R 필터와 상반하는 특성을 나타내고, 적색의 빛에 대응하는 부분을 제외한 단파 길이측에서 투과율이 커진다. 또한, B의 보색이 되는 Ye 필터는 B 필터와 상반하는 특성을 나타내고, 청색의 빛에 대응하는 부분을 제외한 장파 길이측에서 투과율이 커진다. 그리고, G의 보색이 되는 Mg 필터는 녹색의 빛에 대응하는 부분을 제외하여 투과율이 커진다.

여기서, Ye 필터를 투과한 빛에 따라서 얻어진 Ye 성분과, Mg 필터를 투과한 빛에 따라서 얻어진 Mg 성분을 승산하면, 양 성분에 포함되고 있는 R 성분이 강조되며, 한쪽 성분밖에 포함되지 않은 B 성분 및 G 성분은 감쇠된다. 마찬가지로, Mg 필터를 투과한 빛에 따라서 얻어진 Mg 성분과, Cy 필터를 투과한 빛에 따라서 얻어진 Cy 성분을 승산함으로써, 양 성분에 포함되고 있는 B 성분이 강조되며, 한쪽의 성분밖에 포함되지 않은 G 성분 및 R 성분은 감쇠된다. 또한, Cy 필터를 투과한 빛에 따라서 얻어진 Cy 성분과, Ye 필터를 투과한 빛에 따라서 얻어진 Ye 성분을 승산함으로써, 양 성분에 포함되고 있는 G 성분이 강조되며 한쪽 성분밖에 포함되지 않은 R 성분 및 B 성분은 감쇠된다. 이와 같이 하여 얻어지는 각 보색 성분의 곱은 특정한 원색 성분에 대응된다.

따라서, 제1 내지 제3 승산 회로(24a ∼ 24c)에서 얻어지는 P[r], P[g], P[b]는 각각 각 원색 성분의 제곱(R², G², B²)에 대응된다. 또한, 제1 및 제2 감산 회로(26a, 26b)로부터 얻어지는 제1 및 제2 차 S[r], S[b]는 각각 원색 성분의 제곱의 차(R²-G², B²-G²)에 대응되게 된다. 그리고, 원색 성분의 차(R-G, B-G)가 제1 및 제2 차 S[r], S[b]의 평방근에 의해서 근사된다. 이 때, 제1 및 제2 차 S[r], S[b]에서 생기는 플러스/마이너스의 부호가 그대로 원색 성분의 차(R-G, B-G)에 부여된다. 즉, 제1 및 제2 차 S[r], S[b]에 대한 제1 및 제2 절대치 A[r], A[b]로부터 각각의 평방근이 산출되며, 그 결과 얻어진 제1 및 제2 근 R1[r], R1[b]에 대하여 제1 및 제2 차 S[r], S[b]의 플러스/마이너스를 나타내는 부호 Q[r], Q[b]가 부가된다. 이에 따라, 평방근의 산출에서 허수가 생기지 않도록 하고 있다. 이상의 연산 처리에서 산출되는 제1 및 제2 근 R2[r], R2[b]는 원색 성분의 차(R-G, B-G)에 대응된다.

여기서, 특정한 색에 대응하여 얻어지는 화상 데이타에 대하여 전술한 연산 처리의 정확함을 검증한다.

예 1 : R 성분의 빛이 조사될 때

R 성분만의 단색광은 R 성분의 정보량을 k로 하면 G 성분 및 B 성분이 함께 0이 되기 때문에 각 보색 성분의 정보량은 각각,

C[Ye]=k+0=k

C[Mg]=k+0=k

C[Cy]=0+0=0

으로서 얻어진다. 그래서, 이들의 값을 승산하여 얻어지는 곱은,

P[r]=k＊k=k²

P[g]=k＊0=0

P[b]=k＊0=0

이 된다. 그리고, 각각의 차는,

S[r]=k²-0=k²

S[b]=0-0=0

이 되며 각각의 절대치의 평방근을 취하면,

R1[r]=k

R1[b]=0

이 된다. 차의 부호는 각각 플러스 (또는 0)이기 때문에 이 값이 그대로,

R2[r]=k

R2[b]=0

이 된다. 이들의 값은 원색 성분으로부터 직접 얻어지는 값과 일치한다. G 성분 혹은 B 성분에 대해서도 마찬가지의 연산 결과를 얻을 수 있다.

예 2 : Ye 성분의 빛이 조사될 때

Ye 성분의 빛으로서는, R 성분 및 G 성분의 정보량을 각각 k로 하면, B 성분이 0이 되기 때문에 각 보색 성분의 정보량은 각각,

C[Ye]=k+k=2k

C[Mg]=k+0=k

C[Cy]=0+k=k

로서 얻어진다. 그래서, 이들의 값을 승산하여 얻어지는 곱은,

P[r]=2k＊k=2k²

P[g]=2k＊k=2k²

P[b]=k＊k=k²

이 된다. 그리고, 각각의 차는,

S[r]=2k²-2k²=0

S[b]=k²-2k²=-k²

이 되며 각각의 절대치의 평방근을 취하면,

R1[r]=0

R1[b]=k

가 된다. 차의 부호는 0 및 마이너스이기 때문에,

R2[r]=0

R2[b]=-k

가 된다. 이들의 값은 원색 성분으로부터 직접 얻어지는 값과 일치한다. Mg 성분 혹은 Cy 성분에 대해서도 마찬가지의 연산 결과를 얻을 수 있다.

예 3 : 백색광이 조사될 때

백색광으로는 R 성분, G 성분 및 B 성분이 서로 같아지기 때문에 각각 k로 하면, 각 보색 성분의 정보량은 각각,

C[Ye]=k+k=2k

C[Mg]=k+k=2k

C[Cy]=k+k=2k

P[r]=2k＊2k=4k²

P[g]=2k＊2k=4k²

P[b]=2k＊2k=4k²

이 된다. 그리고, 각각의 차는,

S[r]=2k²-2k²=0

S[b]=2k²-2k²=0

이 되며 각각의 절대치의 평방근을 취하면,

R1[r]=0

R1[b]=0

이 된다. 차의 부호는 0이기 때문에, 그대로,

R2[r]=0

R2[b]=0

이 된다. 이들의 값은 원색 성분으로부터 직접 얻어지는 값과 일치한다.

이상의 처리 방법에서는 보색계의 정보로부터 원색계의 정보를 산출할 때, 감산 처리를 이용하지 않기 때문에, 각 컬러 필터의 분광 특성에 변동이 생겼다고해도 색 연산 처리의 과정에서 마이너스의 값이 생기는 일은 없다. 또한, 삼원색, 보색혹은 백색 이외의 색의 빛에 대해서는 연산 처리의 과정에서 얼마간의 오차가 생기게 되지만, 이들의 오차는 재생 화면 상에서는 시각적으로 눈에 띄기 어려우며 사실 상 문제는 적다.

도 4는 본 발명의 처리 방법을 채용하는데 알맞은 모자이크형 컬러 필터의 구성을 나타내는 평면도이며, 도 5는 그 컬러 필터를 장착한 이미지 센서로부터 얻어진 화상 신호를 각 보색 성분으로 분리하는 분리부의 구성을 나타내는 블럭도이다. 이 분리부는 도 1에 도시하는 처리 장치에서 색분리 회로(21) 및 제1 ∼ 제3 래치 회로(22a ∼ 22c)로 대체하여 이용하는 것이다.

컬러 필터는 각 세그멘트가 Ye, Mg, Cy 및 G의 각 성분에 대응되어 있다. 이 중 Mg 성분 및 G 성분이 홀수행에 교대로 배치되며 Ye 성분 및 Cy 성분이 짝수행에 교대로 배치된다. 여기서, Ye, Mg, Cy의 각 성분은 색정보의 생성 외에, 휘도 정보의 생성에 이용되며, G 성분은 휘도 정보의 생성에만 이용된다. 이러한 컬러 필터를 장착한 이미지 센서에서는 홀수행에서부터 판독된 화상 신호에서 Mg 성분과 G 성분이 교대로 연속하고, 짝수행에서부터 판독된 화상 신호에서 Ye 성분과 Cy 성분이 교대로 연속하게 된다.

분리부는 제1 ∼ 제3 라인 메모리(31a ∼ 31c), 필터 연산 회로(32) 및 셀렉터 회로(33)로 구성된다. 제1 ∼ 제3 라인 메모리(31a ∼ 31c)는 직렬로 접속되며, 화상 데이타 D를 3행분 기억함과 함께, 각 행의 화상 데이타 D[L1], D[L2], D[L3]를 동시에 판독하여 필터 연산 회로(32)로 공급할 수 있도록 구성된다.

필터 연산 회로(32)는 제1 ∼ 제3 라인 메모리(31a ∼ 31c)로부터 입력되는 화상 데이타 D[L1], D[L2], D[L3]를 3열분 유지하여, 3행 × 3열 단위의 필터 연산에 의해서, 컬러 필터의 각 세그멘트에 대응하는 색 성분 데이타 C[1], C[2], C[3], C[4]를 생성한다. 예를 들면, 도 4에서 파선으로 나타내는 9화소에 대해서는 중심의 화소를 목표 화소로 하고 목표 화소의 Mg 성분은 그대로 색 성분 데이타 C[1]로서 출력된다. 그리고, 목표 화소의 좌우에 위치하는 G 성분의 2화소로부터 이들의 평균치가 색 성분 데이타 C[2]로서 출력되며, 목표 화소의 상하에 위치하는 Ye 성분의 2화소로부터 이들의 평균치가 색 성분 데이타 C[3]으로서 출력된다. 또한, 4각에 위치하는 Cy 성분의 4화소는 이들의 평균치가 색 성분 데이타 C[4]로서 출력된다. 이러한 색 성분 데이타 C[1], C[2], C[3], C[4]와 각 색 성분 Ye, Mg, Cy, G와의 대응 관계는 목표 화소가 어긋날 때마다 전환된다.

셀렉터 회로(33)는 색 성분 데이타 C[1], C[2], C[3], C[4] 내, 항상 Ye, Mg 및 Cy의 각 성분을 나타내는 것을 선택하고, 보색 데이타 C[Ye], C[Mg], C[Cy]로서 출력한다. 이 선택 동작은 목표 화소의 색 성분에 따라서 4개의 패턴이 전환된다. 따라서, 도 1에 도시하는 제1 ∼ 제3 래치 회로(22a ∼ 22c)와 마찬가지로, 모든 기간에서 누락하는 일 없는 3종류의 보색 데이타 C[Ye], C[Mg], C[Cy]가 출력되며,도 1에 나타내는 처리 장치에서 제1 ∼ 제3 승산 회로(23a ∼ 23c)에 각각 입력된다. 이러한 분리부에 따르면, 모자이크형 컬러 필터에서는 본원 발명의 처리 장치를 적용하는 것이 가능해진다.

이상의 실시예에서는 이미지 센서로서 CCD를 예시하고 있지만, 이미지 센서로서는 그 외에 MOS 센서를 이용하는 것도 가능하다. 또한, 컬러 필터의 구성으로서는 적어도 3종류의 보색(Ye, Mg, Cy)을 구비하고 있으면 적용 가능하며 그 외의 색 성분과 조합하는 것도 가능하다.

본 발명에 따르면, 보색 성분으로부터 원색 성분을 생성하기 위한 연산 처리의 과정에서 감산 처리를 이용하지 않기 때문에, 색 성분마다의 감도에 변동이 생겼다고해도 마이너스의 값이 나타나는 일 없이 거짓 신호의 발생을 방지할 수 있다.

Claims

빛의 삼원색의 보색을 나타내는 제1 내지 제3 보색 데이타로부터 제1 및 제2 색차 데이타를 생성하는 화상 데이타 처리 방법에 있어서,

상기 제1 보색 데이타와 상기 제2 보색 데이타를 승산하여 제1 곱을 생성하고, 상기 제1 보색 데이타와 상기 제3 보색 데이타를 승산하여 제2 곱을 생성함과 함께, 상기 제2 보색 데이타와 상기 제3 보색 데이타를 승산하여 제3 곱을 생성하는 단계,

상기 제1 및 제3 곱으로부터 상기 제2 곱을 각각 감산하여 제1 및 제2 차를 생성하는 단계,

상기 제1 및 제2 차의 각 절대치를 개평(開平)하여 제1 및 제2 근을 생성함과 함께, 상기 제1 및 제2 근에 상기 제1 및 제2 차의 부호를 각각 부가하는 단계, 및

상기 부호가 부가된 상기 제1 및 제2 근을 합성하여 상기 제1 및 제2 색차 데이타를 생성하는 단계

를 포함하는 것을 특징으로 하는 화상 데이타의 처리 방법.
제1항에 있어서, 상기 제1, 제2 및 제3 보색 데이타는 각각 옐로우, 마젠타 및 시안의 각 색을 나타내는 것을 특징으로 하는 화상 데이타의 처리 방법.
빛의 삼원색에 대한 보색을 나타내는 제1 내지 제3 보색 성분이 소정의 규칙으로 반복되는 화상 데이타를 읽어들여, 제1 및 제2 색차 데이타를 생성하는 화상 데이타 처리 장치에 있어서,

상기 화상 데이타를 성분별로 분리하여 제1 내지 제3 보색 성분 데이타를 생성하는 분리 회로,

상기 제1 내지 제3 색 성분 데이타 내의 2개를 서로 승산하여 제1 내지 제3 곱을 생성하는 승산 회로,

상기 제1 및 제3 곱으로부터 상기 제2 곱을 각각 감산하여 제1 및 제2 차를 생성하는 감산 회로,

상기 제1 및 제2 차의 절대치의 평방근을 산출하여 제1 및 제2 근을 생성하는 개평 회로,

상기 제1 및 제2 근에 상기 제1 및 제2 차의 부호를 각각 부가하는 부호 부가 회로, 및

상기 부호가 부가된 상기 제1 및 제2 근을 합성하여 상기 제1 및 제2 색차 데이타를 생성하는 색차 매트릭스 회로

를 포함하는 것을 특징으로 하는 화상 데이타 처리 장치.
제3항에 있어서, 상기 분리 회로는, 각 성분마다 분리된 제1 내지 제3 보색 성분 데이타를 각각 소정 기간 유지하고, 각각의 성분이 누락하는 기간에 반복 출력하여 보간하는 필터 회로를 포함하는 것을 특징으로 하는 화상 데이타 처리 장치.