KR100811965B1

KR100811965B1 - 화소 신호 처리 장치 및 화소 신호 처리 방법

Info

Publication number: KR100811965B1
Application number: KR1020067012365A
Authority: KR
Inventors: 준코 마키타; 쇼타로 모리야; 히로아키 스기우라; 고이치 야마시타; 다카시 이토우; 데츠야 구노
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2003-12-22
Filing date: 2004-12-10
Publication date: 2008-03-10
Also published as: CN1898967A; US20070126896A1; US7719575B2; JPWO2005062626A1; JP4128585B2; TWI277945B; KR20060101778A; CN100574454C; TW200527376A; WO2005062626A1

Abstract

주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 제 K 분광 감도 특성의 화소 신호와 제 L 분광 감도 특성의 화소 신호를 각각 설명 변수, 목적 변수로 하여 회귀 분석을 실시하고(8), 제 L 분광 감도 특성의 화소 신호를 구한다(9). 촬상 소자의 출력 신호에 대하여 로우패스 필터링하는(7a∼7c) 것에 의해 얻어진 화소 신호를 상기 설명 변수 및 목적 변수로서 이용하여도 좋다. 상기한 바와 같이 하는 것에 의해, 2차원 평면 상에 배열된 복수의 분광 감도 특성 중 어느 하나를 갖는 화소 신호의 조(組)의, 각 화소 위치에서의 부족색의 보간을 하는 경우에, 위색의 발생을 감소시킬 수 있다.

Description

화소 신호 처리 장치 및 화소 신호 처리 방법{PIXEL SIGNAL PROCESSING DEVICE AND PIXEL SIGNAL PROCESSING METHOD}

본 발명은 화소 신호 처리 장치 및 화소 신호 처리 방법에 관한 것이며, 특히, 2차원 평면상에 배열되고, 각각이 복수의 분광 감도 특성 중 어느 하나를 갖는 화소 신호의 조(組)에 근거하여, 상기 복수의 분광 감도 특성 중 하나의 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에서의 다른 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치 및 화소 신호 처리 방법에 관한 것이다.

이러한 화소 신호 처리 장치는, 예컨대, 각각이 복수의 분광 감도 특성, 예컨대, 적(R), 녹(G), 청(B) 중 어느 하나의 분광 감도 특성, 즉 색을 갖는 복수 종류의 광전 변환 소자가 2차원 평면상에, 예컨대, 베이어(bayer)형으로 배열된 촬상 소자를 더 구비한 것이고, 컬러 촬상 장치의 일부로서 이용되며, 촬상 소자로부터 출력된 화소 신호 중, 각 화소 위치에서 누락되는 분광 감도 특성의 화소 신호를 보간하기 위해 이용된다.

종래의 적, 녹, 청의 3원색의 색 필터가 베이어형으로 배치된 촬상 소자를 갖는 촬상 장치에서는, 예컨대, 하기의 특허 문헌 1에 나타내는 바와 같이, 해상감을 높이기 위해, 색마다의 국소적인 출력 신호의 분포에 근거하여 각 화소의 출력 신호를 평균치로 치환하고, 이것에 의해 상정되는 기지색 기하학 도형과 부족색 기하학 도형의 선형 상사비(相似比)에 근거하는 보간 방법을 이용하고 있다.

특허 문헌 1 : 일본 공개 특허 공보 제2001-197512호. 단락 0048∼0049(도 7)

(발명이 해결하고자 하는 과제)

이 종래 방법에서는, 국소적인 영역에서는 색 신호에 상관이 있는 것에 근거하는 보간 처리를 행하고 있지만, 색의 상관 관계를 잘못 인식해 버림으로써, 고유의 위색(僞色)을 발생시켜 버리는 문제가 있었다. 예컨대, 출력 신호가 급격히 변화되는 개소의 부근, 즉 어느 색과 별도 색의 경계 부근에서는, 생성된 신호의 레벨이 신호 변화 곡선으로부터 벗어나 버려, 본래 화상 중에 없는 불균일한 흑색이나 백색이나 위색이 발생해 버린다고 하는 문제가 있었다.

(과제를 해결하기 위한 수단)

본 발명에 따른 촬상 장치는,

2차원 평면상에 배열되어, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 조에 근거하여, 제 K(K는 1부터 N 중 어느 하나)의 분광 감도 특성의 화소 신호가 존재하는 제 1 주목 화소 위치에서의 제 L(L은 K를 제외한 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치에 있어서,

상기 제 1 주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 상기 제 K 분광 감도 특성의 화소 신호를 설명 변수, 상기 제 L 분광 감도 특성의 화소 신호를 목적 변수로 하여 회귀 분석을 실시하고, 상기 제 K 분광 감도 특성의 화소 신호와 제 L 분광 감도 특성의 화소 신호의 상관을 나타내는 회귀식을 산출하는 회귀 분석 수단과,

상기 주목 화소 위치에서의 상기 제 K 분광 감도 특성의 화소 신호에 대하여 상기 회귀식에 근거하는 변환식을 이용함으로써, 상기 주목 화소 위치에서의 상기 제 L 분광 감도 특성의 화소 신호를 구하는 연산 수단

을 갖는 것이다.

(발명의 효과)

본 발명에 따른 화소 신호 처리 장치는, 상기한 바와 같이 구성되어 있기 때문에, 제 1 주목 화소 위치의 근방 영역 내의 화소 위치에서의, 제 K와 제 L 분광 감도 특성의 화소 신호의 상관 관계에 따른 생성 신호를 산출할 수 있다. 따라서, 제 1 주목 화소가 색의 경계 부근에 있는 경우에도, 제 1 주목 화소 위치의 근방 영역 내의 화소의 상관 관계를 나타내는 회귀식으로부터 제 L의 생성 신호를 산출하기 때문에, 색의 경계 부분에 있는 화소의 출력 신호의 영향을 직접 받는 일은 없다. 또한, 상관 관계를 수학식으로 나타내기 때문에, 임의의 상관 관계에 대응할 수 있다. 이상에 의해, 종래의 수법에서 볼 수 있던 불균일한 흑색이나 백색과 같은 위색의 발생을 감소시킬 수 있다.

도 1은 본 발명의 실시예 1의 화소 신호 처리 장치를 구비한 디지털 스틸 카메라 등의 촬상 장치의 구성을 나타내는 블럭도,

도 2는 베이어형으로 배치된 R, G, B 3원색의 색 필터를 나타내는 설명도,

도 3은 색 필터가 베이어형으로 배열되어 있는 2차원 촬상 소자의 출력 신호를 모식적으로 나타내는 2차원 배열도,

도 4는 도 3의 2차원 배열도를 각 색마다 분할한 상태를 나타내는 설명도,

도 5는 본 발명의 실시예 1 내지 3에 있어서의 보간 순서를 나타내는 흐름도,

도 6은, 본 발명의 실시예 1에 있어서, R색의 출력 신호를 갖는 화소에서의 G색의 신호를 생성하는 순서를 나타내는 흐름도,

도 7은 R색, G색 로우패스 필터 출력으로 이루어지는 9조의 데이터로부터 얻어지는 회귀 직선을 모식적으로 나타내는 설명도,

도 8은 본 발명의 실시예 1∼3에 있어서, 회귀 직선의 기울기와 절편을 산출하는 흐름도,

도 9는 촬상 소자의 출력을 A/D 변환함으로써 얻어지는 출력 신호의 값의 일 례를 나타내는 설명도,

도 10은, 본 발명의 실시예 1에 있어서, 도 9의 출력 신호로부터 산출되는 로우패스 필터 출력을 나타내는 설명도,

도 11은, 본 발명의 실시예 1에 있어서, 도 10의 로우패스 필터 출력으로부터 얻어지는 회귀 직선을 나타내는 설명도,

도 12는 본 발명의 실시예 2의 화소 신호 처리 장치를 구비한 디지털 스틸 카메라 등의 촬상 장치의 구성을 나타내는 블럭도,

도 13은, 본 발명의 실시예 2에 있어서, R색의 출력 신호를 갖는 화소에서의 G색의 신호를 생성하는 순서를 나타내는 흐름도,

도 14는, 본 발명의 실시예 2에 있어서, 회귀 분석 수단이 화상의 상관성을 평가하는 흐름도,

도 15는, 본 발명의 실시예 2에 있어서, 주목 화소가 R색의 출력 신호를 갖는 경우에, 부족색의 G색을 생성하기 위해 참조하는 화소의 배열을 설명하기 위한 설명도,

도 16은, 본 발명의 실시예 2에 있어서, G색의 출력 신호를 갖는 화소에서의 R색의 신호를 생성하는 순서를 나타내는 흐름도,

도 17은, 본 발명의 실시예 2에 있어서, 주목 화소가 G색의 출력 신호를 갖는 경우에, 부족색의 R, B색을 생성하기 위해서 참조하는 화소의 배열을 설명하기위한 설명도,

도 18은, 본 발명의 실시예 2에 있어서, R색의 출력 신호를 갖는 화소에서의 B색의 신호를 생성하는 순서를 나타내는 흐름도,

도 19는, 본 발명의 실시예 2에 있어서, 주목 화소가 R색의 출력 신호를 갖는 경우에, 부족색의 B색을 생성하기 위해 참조하는 화소의 배열을 설명하기 위한 설명도,

도 20은 본 발명의 실시예 3의 화소 신호 처리 장치를 구비한 디지털 스틸 카메라 등의 촬상 장치의 구성을 나타내는 블럭도,

도 21은, 본 발명의 실시예 3에 있어서, G색의 출력 신호를 갖는 화소에서의 R색의 신호를 생성하는 순서를 나타내는 흐름도,

도 22는, 본 발명의 실시예 3에 있어서, 주목 화소가 G색의 출력 신호를 갖는 경우에, 부족색의 R, B색을 생성하기 위해서 참조하는 화소의 배열을 설명하기위한 설명도,

도 23은, 본 발명의 실시예 3에 있어서, R색의 출력 신호를 갖는 화소에서의 B색의 신호를 생성하는 순서를 나타내는 흐름도,

도 24는, 본 발명의 실시예 3에 있어서, 주목 화소가 R색의 출력 신호를 갖는 경우에, 부족색의 B색을 생성하기 위해서 참조하는 화소의 배열을 설명하기 위한 설명도.

도면의 주요 부분에 대한 부호의 설명

2 : 2차원 촬상 소자 7a∼7c : 로우패스 필터

8, 10, 12 : 회귀 분석 수단 9, 13 : 연산 수단

이하, 도면을 참조하여 본 발명의 실시예를 설명한다. 이하에 설명하는 실시예는 디지털 스틸 카메라의 일부로서 이용하는데 적합한 것이지만, 본 발명은 이것에 한정되지 않는다.

(실시예 1)

도 1은 본 발명의 실시예 1의 화소 신호 처리 장치를 구비한 촬상 장치의 구성을 나타내는 블럭도이다. 렌즈로부터 입사한 광은 적(R), 녹(G), 청(B) 3원색에 대응하는 분광 감도 특성을 갖는 색 필터가, 예컨대, 도 2에 나타내는 바와 같이, 베이어(Bayer)형으로 배치된 2차원 촬상 소자(2)에 결상된다.

2차원 촬상 소자(2)는 입사광을 광전 변환하여 입사광량에 따른 레벨의 아날로그 화소 신호를 화소마다 출력한다. 이 아날로그 화소 신호는 A/D 변환기(3)에서 디지털 화소 신호로 변환되고, 출력되어, 프레임 메모리(4)에 기억된다.

프레임 메모리(4)에 기억된 화소 신호는 디멀티플렉서(5)에서 R, G, B색마다 2차원 메모리(6a∼6c)에 분배되어, 기억된다. 즉, R색의 화소 신호가 메모리(6a)에, G색의 화소 신호가 메모리(6b)에, B색의 화소 신호가 메모리(6c)에 각각 기억된다. 로우패스 필터(7a∼7c)는 각각 메모리(6a∼6c)에 대응하여 마련된 것이며, 메모리(6a∼6c)로부터 판독된 화소 신호에 대하여 로우패스 필터링을 행하여, 그 결과를 출력한다.

2차원 촬상 소자(2)는, R, G, B의 색 필터가, 각각의 화소의 위치에 대응하 여, 예컨대, 도 2에 나타내는 바와 같이, 베이어형으로 배치된 것이므로, 각 화소 위치로부터는 하나의 색의 화소 신호만이 얻어지고, 다른 2개의 색의 화소 신호는 얻어지지 않는다. 환언하면, 각 화소 위치에는 하나의 색의 화소 신호만이 존재하고, 다른 색의 화소 신호는 존재하지 않는다.

이하, 각 화소 위치에서 화소 신호가 존재하지 않는 색을 「부족색」이라고 한다. 예컨대, 촬상 소자(2)의 출력에서, R색의 화소 신호가 존재하는 화소 위치의 부족색은 G색과 B색이다.

본 실시예에서는, 회귀 분석 수단(8)과 연산 수단(9)은 로우패스 필터(7a∼7c)로부터 출력되는 화소 신호에 근거하여, 각 화소 위치의 부족색의 화소 신호를 보간에 의해 구한다.

이 보간은 이하의 6개의 처리를 포함한다.

(P1) R색의 화소 신호가 존재하는 화소 위치에서의 G색의 화소 신호를 구하기 위한 처리.

(P2) B색의 화소 신호가 존재하는 화소 위치에서의 G색의 화소 신호를 구하기 위한 처리.

(P3) G색의 화소 신호가 존재하는 화소 위치에서의 R색의 화소 신호를 구하기 위한 처리.

(P4) G색의 화소 신호가 존재하는 화소 위치에서의 B색의 화소 신호를 구하기 위한 처리.

(P5) R색의 화소 신호가 존재하는 화소 위치에서의 B색의 화소 신호를 구하 기 위한 처리.

(P6) B색의 화소 신호가 존재하는 화소 위치에서의 R색의 화소 신호를 구하기 위한 처리.

이들 6개의 처리는,

「K 색(K=R, G, 또는 B)의 화소 신호가 존재하는 화소 위치에서의 L색(L=R, G, 또는 B, 단 L은 K와는 다름)의 화소 신호를 구하기 위한 처리」

라고 일반화하여 말할 수 있다.

이들 6개의 처리의 각각은 화면상(1 프레임 내)의 모든 화소 위치에 대하여 행해진다.

상기한 6개의 처리의 각각은, 예컨대, 순서대로 행해진다. 상기한 6개의 처리를 각 화소 위치 (주목 화소 위치)에 대하여 함에 따라, 회귀 분석 수단(8)은 주목 화소 위치 (보간 대상 화소 위치) 근방의 영역(즉, 제 1 주목 화소와 그 주변의(해당 주목 화소로부터의 거리가 소정 거리 이내의) 화소를 포함하는 영역) 내의 화소 위치에서의 K 색의 화소 신호와, L 색의 화소 신호를 해당하는 로우패스 필터(7a∼7c 중의 2개)로부터 수취하고, 수취한 화소 신호의 상관을 나타내는 회귀식을 산출한다.

연산 수단(9)은 회귀 분석 수단(8)에서 산출한 회귀식의 정수와 프레임 메모리(4)에 저장되어 있는 주목 화소 위치의 K 색의 화소 신호(촬상 소자(2)의 출력)를 이용하여, 주목 화소 위치에서의 L 색의 화소 신호를 산출하고, 산출 결과 얻어진 화소 신호를, 결과 메모리(14)에 받아들인다. 이하, 상기한 바와 같이 산출 결 과 얻어진 화소 신호를, 「생성 화소 신호」 또는 단지 「생성 신호」라고 한다. 이에 대하여, 로우패스 필터(7a∼7c)에서의 필터링 결과로서 얻어진 화소 신호를 단지 「로우패스 필터 출력」이라고 부른다. 또한, 로우패스 필터링 전의 화소 신호, 즉, 촬상 소자의 출력을 A/D 변환함으로써 얻어진 화소 신호)를 단지 「출력 신호」라고 부른다. 또, A/D 변환은 신호의 형태를 바꿀 뿐이므로, 프레임 메모리(4)에 저장된 화소 신호를, 촬상 소자(2)로부터 출력된 화소 신호, 혹은 촬상 소자의 출력 신호라고 부르는 경우도 있다.

상기한 6개의 처리가 모두 완료되었을 때에, 1화면 상의 모든 화소 위치의 모든 부족색의 화소 신호가 정돈된다. 결과 메모리(14)에 저장된 생성 신호와, 프레임 메모리(4)에 저장되어 있는 출력 신호를 조합한 것은, 1화면상의 모든 화소 위치에서의 모든 색(R, G, B)의 화소 신호의 조를 이룬다. 연산 수단(9)은, 이러한 화소 신호의 조, 즉 프레임 메모리(4)에 저장된 출력 신호와 결과 메모리(14)에 저장된 생성 신호를 합친 것을 RGB의 컬러 신호로서 출력한다.

이하 상세히 설명한다.

도 3은 촬상 소자(2)의 출력을 A/D 변환함으로써 얻어지는 화소 신호를 모식적으로 나타낸 2차원 배열도이다. 도면에서, 각 그룹은 각 화소 위치를 나타내고, 그 안에 기재되어 있는 R, G, B가 각 화소 위치에서의 화소 신호의 색을 나타내며, 괄호 내의 숫자가 각 화소 위치의 좌표값(l=행, m=열)을 각각 나타내고 있다.

출력 신호는, 도 3에 나타내는 바와 같이, 각 화소 위치에 하나의 색의 화소 신호만이 존재하고, 같은 화소 위치에는 다른 색의 화소 신호는 존재하지 않는다. 환언하면, 같은 화소 위치를 차지하는 일이 없도록 배열된 것이다.

A/D 변환기(3)의 출력은, 상기한 바와 같이, 프레임 메모리(4)에 저장되고, 프레임 메모리(4)로부터 판독된 신호는 디멀티플렉서(5)로 분할되어, 색마다 2차원 메모리(6a∼6c)에 저장된다.

도 4(a)∼(c)는 2차원 메모리(6a∼6c)의 각각에 기억된 화소 신호를 및 그 화소 위치를 모식적으로 나타낸다.

도시한 바와 같이, 각 색의 출력 신호는 모든 화소 위치를 차지하는 것은 아니고, 예컨대, R색의 출력 신호는 4개의 화소 위치마다 하나의 화소 위치만을 차지하고, 나머지 3개의 화소 위치에서는 부족색의 화소 신호로 되어 있으며, G색의 출력 신호는 2개의 화소 위치마다 1개의 화소 위치를 차지하고, 나머지 1개의 화소 위치에서는 부족색의 화소 신호로 되어 있으며, B색의 출력 신호는 4개의 화소 위치마다 하나의 화소 위치를 차지하고, 나머지 3개의 화소 위치에서는 부족색의 화소 신호로 되어 있다.

본 발명의 화소 신호 처리 장치는 각 화소 위치에서의 모든 부족색의 화소 신호를 보간에 의해 구하기 위한 것이다.

이하, 로우패스 필터(7a∼7c), 회귀 분석 수단(8) 및 연산 수단(9)에서 행해지는 각 화소 위치의 부족색의 화소 신호를 생성하는 보간 처리에 대하여 더욱 자세히 설명한다. 도 5는 보간의 순서를 나타내는 흐름도이다.

이하의 설명에서, 촬상 소자(2)의 출력에서, 어떤 화소 위치에 화소 신호가 존재할 때에, 그 「화소는 출력 신호를 갖는다」고 하고, 반대의 화소 위치에 화소 신호가 존재하지 않을 때에 그 「화소는 출력 신호를 갖지 않는다」고 한다.

우선, R색의 출력 신호를 갖는 화소의 위치에서의 G색의 신호를 생성하고(단계 ST9), 다음에 B색의 출력 신호를 갖는 화소의 위치에서의 G색의 신호를 생성하고(단계 ST10), 다음에 G색의 출력 신호를 갖는 화소의 위치에서의 R색의 신호를 생성하고(단계 ST11), 다음에 G색의 출력 신호를 갖는 화소의 위치에서의 B색의 신호를 생성하고(단계 ST12), 다음에 R색의 출력 신호를 갖는 화소의 위치에서의 B색의 신호를 생성하며(단계 ST13), 마지막으로 B색의 출력 신호를 갖는 화소의 위치에서의 R색의 신호를 생성한다(단계 ST14).

다음에, R색의 출력 신호를 갖는 화소를 주목 화소로 하여, 주목 화소에서의 부족색의 하나인 G색의 신호를 생성하는 처리(단계 ST9)에 대하여 상세히 설명한다. 도 4는 단계 ST9의 순서를 나타내는 흐름도이다.

예컨대, 주목 화소로서, 도 3의 R색의 출력 신호를 갖는 화소 위치 (2, 2)의 화소를 선택했다고 한다(단계 ST16). 또, 화소 위치 (2, 2)가 R색의 출력 신호를 갖는 것을 나타내기 위해, 도 6의 단계 ST16과 같이, 「R(2, 2)」라고 표기하는 경우가 있다. 이하, 다른 색의 출력 신호를 갖는 화소에 대해서도 마찬가지이다.

상기한 바와 같이, 주목 화소로서 도 3의 R색의 출력 신호를 갖는 화소 위치 (2, 2)의 화소가 선택되면, 회귀 분석 수단(8)은 도 3 중 주목 화소 위치 (2, 2)의 근방의 영역 내의 화소 위치, 즉 주목 화소 위치 (2, 2)의 주목 화소와 그 주변의 8개의 화소 위치 (1, 1), (1, 2), (1, 3), (2, 1), (2, 3), (3, 1), (3, 2), (3, 3)에서의 R색의 로우패스 필터 출력과 G색의 로우패스 필터 출력으로 이루어지는 데이터를, 로우패스 필터(7a, 7b)로부터 수취한다.

또, 도 3에 나타내는 예에서는, 주목 화소 위치로부터의 수직 방향 및 수직 방향의 거리가 1 화소인 화소 위치를 주변 화소 위치로 하고 있다.

로우패스 필터 출력으로는, 예컨대, 소정 범위 내에 있는 같은 색의 화소의 출력 신호의 평균치 등이 있다. 구체적으로는, 3×3 영역 내에 포함되는 같은 색의 화소의 출력 신호의 평균치를 그 영역의 중심 위치에서의 로우패스 필터 출력으로 하는 경우, 도 4(a)의 굵은 선으로 둘러싸인 3×3 영역 내에 포함되는 4개의 R색 화소의 출력 신호의 평균치가 3×3 영역의 중심 위치 (l=1, m=1)에서의 R색의 로우패스 필터 출력으로 된다. 따라서, 도 3의 9개의 화소 위치 (1, 1), (1, 2), (1, 3), (2, 1), (2, 2), (2, 3), (3, 1), (3, 2), (3, 3)에서의 R색의 로우패스 필터 출력은 이하의 식 (4)∼(12)에 의해 얻어진다. 여기서, R_LPF는 R색의 로우패스 필터 출력을 나타낸다.

마찬가지로, 도 3의 9개의 화소 위치 (1, 1), (1, 2), (1, 3), (2, 1), (2, 2), (2, 3), (3, 1), (3, 2), (3, 3)에 있어서의 G색의 로우패스 필터 출력은 이하의 식 (13)∼(21)에 의해 얻어진다. 여기서, G_LPF는 G색의 로우패스 필터 출력을 나타낸다.

그리고 회귀 분석 수단(8)은 식 (4)∼(12)에서 얻어진 R색의 로우패스 필터 출력 R_LPF를 설명 변수 e(i)로 하고(단계 ST17), 식 (13)∼(21)에서 얻어진 G색의 로우패스 필터 출력 G_LPF를 목적 변수 p(i)로 하고(단계 ST18), 회귀 분석을 하여, 식 (22)로 나타내는 회귀 직선을 산출한다(단계 ST19).

회귀 직선의 일례가 도 7에 나타내어져 있다. 이러한 회귀 직선을 나타내는 회귀식은 G_LPF를 목적 변수, R_LPF를 설명 변수로 하여, 최소 제곱법에 의해 얻어지는 것이다. 도 8은 회귀 직선의 정수 a(절편), b(기울기)를 산출하기 위해, 단계 ST19가 실시하는 상관 산출 처리의 상세를 나타내는 흐름도이다. 설명 변수를 e(i), 목적 변수를 p(i), 데이터 총수를 N(상기한 예에서는 N=9), 데이터 번호를 i=1∼N으로 한다.

도 8에 나타내는 바와 같이, 최초에 데이터수 설정 단계 ST1에서, 연산에 사용하는 데이터의 총수를 설정하고, 다음에 곱합 연산 단계 ST2에서, 설명 변수와 목적 변수를 이용한 곱합 연산을 행하여 k1, k2, k3을 산출하고, 다음에 기울기 산출 단계 ST3에서, 단계 ST2에서 얻어진 k1, k2를 이용하여 회귀 직선의 경사 a를 산출하고, 다음에 절편 산출 단계 ST4에서, 단계 ST2로 얻어진 k2, k3을 이용하여 회귀 직선의 절편 b의 값을 산출한다.

이렇게 하여 얻어진 회귀 직선은 주목 화소 근방의 영역에서의 R색과 G색의 상관을 표시하고 있기 때문에, 주목 화소에서의 R색과 G색의 신호도 이 회귀 직선상의 값과 가까운 값이라고 생각된다.

연산 수단(9)은 회귀 분석 수단(8)에서 산출한 회귀 직선의 기울기와 절편을 나타내는 정수 a, b와, 프레임 메모리(4)에 저장되어 있는 주목 화소의 출력 신호 R(2, 2)를 수취하고, 식 (23)에 근거하는 변환을 함으로써 주목 화소 위치에서의 G 색의 신호 g(2, 2)를 생성한다(단계 ST20). 또, 상기한 예와 같이, G, R, B색의 생성 신호는 각각 소문자 「g」, 「r」, 「b」로 나타낸다.

생성한 신호는 결과 메모리(14)에 저장된다(단계 ST21).

이상의 처리를, 주목 화소를 변경하면서, 즉 다른 화소를 주목 화소로 하여, 반복 실행한다(단계 ST22). 또, 당연히, 주목 화소를 변경할 때마다 그 주위의 화소가 변하고, 다른 화소를 이용하여 회귀 분석을 실행하므로, 다른 값의 정수 a, b를 얻을 수 있고, 이것을 이용하여 각 화소의 생성 신호가 구해진다.

이상에 의해, 도 5의 단계 ST9의 처리가 종료된다.

도 5의 단계 ST10 내지 ST14의 각각에 있어서도, 단계 ST9와 마찬가지로, 단지 다른 색에 대해서, 상기한 바와 같은 일련의 처리가 행해진다.

도 5의 단계 ST9로부터 ST14가 전부 완료되면, 모든 화소의 부족색에 대하여 보간이 완료되고, 출력 신호(촬상 소자(2)의 출력을 A/D 변환함으로써 얻어진 화소 신호)와 생성 신호(보간에 의해 구해진 화소 신호)를 합하면, 모든 화소의 모든 색의 화소 신호가 갖추어진 것으로 된다. 즉, 1 화면분의 컬러 화상을 얻을 수 있다. 그래서, 연산 수단(9)은 결과 메모리(14)에 저장된 생성 신호와 프레임 메모리(4)에 저장된 출력 신호를 합하여, RGB의 색 신호로서 출력한다(단계 ST15).

또한, 상기한 예에서, 각 색의 신호를 생성하는 순서는 도 5에 나타낸 순서에 한정되는 것이 아니라, 신호를 생성하는 순서를 교체하여도 관계없다.

상기한 방식으로 보간을 행하면, 주목 화소와 그 주위 화소에서의 각 색 신 호의 임의의 상관 관계를 나타내는 회귀 직선에 따른 생성 신호로 보간할 수 있다. 이 때문에, 상기 특허 문헌 1(일본 공개 특허 공보 제2001-197512호)에 개시된 방법이 포함된, 색의 경계 부근에서의 불균일한 흑색이나 백색 등의 화상 열화가 발생한다고 하는 문제가 현저히 개선된다.

예컨대, 도 9 중의 수치로 나타내는 바와 같은 출력 신호가 각 화소로부터 얻어지고, 파선 부분에 색의 경계가 존재하는 경우에는, 중앙에 위치하는 주목 화소 및 주목 화소의 주위에 위치하는 주변의 화소의 위치에서의 R색과 G색의 로우패스 필터 출력은 도 10과 같이 된다. 이들 값으로부터 회귀 직선을 구한 결과를 도 11에 나타낸다. 이 때 회귀 직선의 경사는 0.0807, 절편은 74.591이었다. 이 결과와 주목 화소의 출력 신호인 R(2, 2)=9를 식 (23)에 대입하여, 부족색의 G색의 신호를 산출하면, 식 (24)와 같이 된다.

이와 같이 산출된 g(2, 2)는 주변의 화소의 G색과 가까운 값이 되고, 색의 경계 부근 부분에서 불균일한 흑색이나 백색 등의 화상 열화를 발생하는 경우가 없게 된다.

또, 상기한 예에서는 로우패스 필터가 각 화소 주위의 출력 신호의 단순 평균치를 구하고 있지만, 가중치 부여 가산 평균치를 구하도록 하여도 좋다.

(실시예 2)

도 12는 본 발명의 실시예 2의 화소 신호 처리 장치를 구비한 촬상 장치의 구성을 나타내는 블럭도이다.

실시예 2는 회귀 분석 수단(10) 및 로우패스 필터(7a∼7c) 이외의 구성은 실시예 1과 마찬가지이다.

본 실시예의 회귀 분석 수단(10)은, 회귀 직선의 산출에 앞서, 주목 화소의 주위에서의 화상의 상관성을 판정한다. 구체적으로는, 예컨대, 주목 화소의 부족색 중 생성하고자 하는 색과 같은 색의 출력 신호를 갖는 화소 중에서, 주목 화소를 사이에 두고 상하, 좌우 또는 경사 방향 등 반대쪽에 위치하는 2개의 화소의 출력 신호(촬상 소자(2)의 출력을 A/D 변환함으로써 얻어진 화소 신호)의 차를 각각 산출하고, 비교한다. 그리고, 출력 신호의 차가 가장 작아지는 2개의 화소를 연결하는 직선 방향에 강한 상관이 있다고 판정한다.

회귀 분석 수단(10)은 상관이 강하다고 판정된 방향에 있는 화소 중에서, 주목 화소의 출력 신호와 같은 색의 화소를 복수 선택하고, 선택한 화소에서의 출력 신호를 프레임 메모리(4)로부터 수취하고, 로우패스 필터 출력을 로우패스 필터(7a∼7c)로부터 각각 수취한다.

그리고, 선택한 화소에서의 출력 신호를 설명 변수, 로우패스 필터 출력을 목적 변수로 하여 회귀 분석을 행하여, 색의 상관을 나타내는 회귀 직선을 산출한다.

다음에 동작에 대하여 설명한다. 보간의 순서는 실시예 1과 마찬가지이고, 도 5의 흐름도에 따른다. 최초에, 도 5의 단계 ST9의 처리, 즉 R색의 출력 신호를 갖는 화소를 주목 화소로 하고, 주목 화소에서의 부족색의 하나인 G색의 신호를 생 성하는 처리에 대하여 설명한다. 도 13은 그 수순을 나타내는 흐름도이다.

우선, 주목 화소로서 R색의 출력 신호를 갖는 화소 위치 (l, m)의 화소를 선택한다(ST23).

다음에, 주목 화소의 주위에서의 화상의 상관성을 판정한다(ST24, ST25, S26, ST27).

도 13의 단계 ST24, ST25, S26, ST27와 같은 단계가 도 14에도 나타내어져 있다. 단, 도 14에는, 화소의 위치에 대하여 구체적인 좌표값의 예가 나타내어져 있다. 이하, 도 13의 단계 ST24, ST25, S26, ST27 및 이들 각각에 대응하는 도 14의 단계 ST5, ST6, S7, ST8, 및 주목 화소 주위의 화소를 나타내는 도 15를 참조하여 설명한다.

예컨대, 주목 화소로서 R색의 출력 신호를 갖는 화소 위치 (l, m), 예컨대, 도 15의 (3, 3)의 화소가 선택되었을 때(도 13의 단계 ST23), 주목 화소의 상하 좌우에 있는 화소(상하 또는 좌우 방향으로 정렬한 화소) 중, 생성하고자 하는 부족색과 같은 G색의 출력 신호를 갖는 화소의 신호를 이용하여 주목 화소에서의 세로 방향과 가로 방향의 화상의 상관성을 비교한다. 그 때문에 우선 주목 화소의 상하에 있는 G색 화소의 차분값 G(V)및 좌우에 있는 G색 화소의 차분값 G(H)를 산출한다(단계 ST24, ST5). 다음에 이들 차분값 G(V), G(H)의 대소 관계를 비교하고(단계 ST25, ST6), 차분값이 작은 방향(수평 방향(가로 방향) 또는 수직 방향(세로 방향))으로 강한 상관성이 있다고 판정한다. 그리고, 강한 상관성이 있는 방향에 있는 화소 중, 주목 화소 근방에 있고, 주목 화소의 색과 같은 R색의 출력 신호를 갖 는 화소를 선택 화소로 한다(단계 ST26, ST27, ST7, ST8).

구체적으로는, 값 G(V)≤ G(H)일 때는, 수직 방향의 상관성이 강하다고 판단하고, 수직 방향으로 나란한 화소 중, 주목 화소의 색과 같은 R색의 출력 신호를 갖는 화소 R(l-2, m), R(l, m) R(l+2, m), 예컨대, R(1, 3), R(3, 3), R(5, 3)를 선택 화소로 한다(단계 ST26, ST7). 한편, 값 G(V)> G(H)일 때는, 수평 방향의 상관성이 강하다고 판단하고, 수평 방향으로 나란한 화소 중, 주목 화소의 색과 같은 R색의 출력 신호를 갖는 화소 R(l, m-2), R(l, m) R(l, m+2), 예컨대, R(3, 1), R(3, 3), R(3, 5)를 선택 화소로 한다(단계 ST27, ST8).

이상과 같이 하여 상관성의 판정이 이루어진 후, 회귀 분석 수단(10)은 선택된 화소에서의 R색의 출력 신호를 프레임 메모리(4)로부터 수취하여 설명 변수 e(i)(i=1∼3)로 하고(단계 ST28), G색의 로우패스 필터 출력을 로우패스 필터(7b)로부터 수취하여 목적 변수 p(i)(i=1∼3)로 한다(단계 ST29).

로우패스 필터(7a∼7c)는, 회귀 분석 수단(10)으로부터 상관성의 판정의 결과를 수취하여, 각 화소 위치에 대하여 상관성이 강하다고 판정된 방향으로 나란한 화소의 출력 신호에만 기인하여 로우패스 필터링을 실행한다. 예컨대, 상기한 상관성 판정에서 수직 방향으로 상관이 강하다고 판단된 경우는, 각 화소를 중심으로 하는 세로 3 화소×가로 1 화소의 영역에 있는 화소의 출력 신호의 평균치를 로우패스 필터 출력으로 하여, 상기한 상관성의 판정으로 수평 방향에 상관이 강하다고 판단된 경우는, 세로 1 화소×옆 3 화소의 영역에 있는 화소의 출력 신호의 평균치를 로우패스 필터 출력으로 한다. 구체적으로는, 수직 방향에 상관이 강하다고 판 단된 경우에는, 예컨대, 도 15 중 화소 위치 (1, 3)에 대한 로우패스 필터 출력은, 굵은 선으로 나타낸 영역에 포함되는 화소의 출력 신호의 평균치로 된다. 다른 화소 위치 (3, 3), (5, 3)에 대해서도 마찬가지이다. 따라서, 수직 방향으로 상관이 강한 경우에 각 선택 화소에서의 G색의 로우패스 필터 출력은, 이하의 식 (25)∼(27)에 의해 산출된다.

회귀 분석 수단(10)은 설명 변수 e(i)(R색의 출력 신호) 및 목적 변수 p(i)(G색의 로우패스 필터 출력)를 이용하여 회귀 분석을 행하고(단계 ST30), R색과 G색의 상관을 나타내는 회귀 직선의 기울기와 절편의 값을 산출하며, 실시예 1과 마찬가지로, 주목 화소에서의 G색의 생성 신호를 산출한다(단계 ST31). 생성한 신호는 결과 메모리(14)에 저장한다(단계 ST32).

이상의 처리를, 주목 화소를 변경하면서, 즉 다른 화소를 주목 화소로 하여, 반복 실행한다(단계 ST33).

이에 따라 도 5의 단계 ST9의 처리가 종료된다.

도 5의 단계 ST10에 있어서는, 단계 ST9와 마찬가지로, 단지 R색을 B색으로 변경하여, 즉, B색의 출력 신호를 갖는 화소의 G색 신호를 구하기 때문에, 상기와 마찬가지의 일련의 처리가 행해진다.

도 5의 단계 ST11에 있어서는, G색의 출력 신호를 갖는 화소의 R색 신호를 구하기 위해, 일련의 처리가 행해진다. 이 처리는 단계 ST9나 ST10과는 이하와 같이 다르다. 이하, 도 16 및 도 17을 참조하여 단계 ST11의 상세를 설명한다.

우선, 주목 화소로서 예컨대, 도 17 중 G색의 출력 신호를 갖는 화소 위치 (3, 3)의 화소를 선택한다(ST34).

G색 출력 신호를 갖는 화소 주변에, 부족색인 R색의 출력 신호를 갖는 화소는 수평 방향 또는 수직 방향의 어느 한쪽에 정렬한 위치에만 존재한다. 따라서, 회귀 분석 수단(10)은 상관 방향의 판정은 실행하지 않고, 해당하는 색의 화소가 존재하는 방향이 수평 방향인지 수직 방향인지의 판정을 하여(ST35), 존재하는 방향을 선택한다(단계 ST36, ST37). 예컨대, 도 17에 나타내는 바와 같이, 수평 방향으로 존재하는 경우에는, 수평 방향에 나란한 G색의 화소 신호를 갖는 화소 위치 (l, m-2), (l, m), (l, m+2)의 화소를 선택한다(ST36). 또, 도 17과는 달리 수직 방향에 존재하는 경우에는, 수직 방향에 나란한 G색의 화소 신호를 갖는 화소 위치 (l-2, m), (l, m), (l+2, m)의 화소를 선택한다(ST37).

상기 이외의 처리(ST38 내지 ST43)는 도 13의 ST28 내지 33을 참조하여 설명한 바와 마찬가지이다.

즉, 도 13을 참조하여 설명한, R색의 출력 신호를 갖는 화소의 G색의 신호를 생성하는 경우와 마찬가지로, 선택 화소의 출력 신호(촬상 소자(2)의 출력을 A/D 변환함으로써 얻어진 신호)를 설명 변수 e(i)로 하고(단계 ST38), R색의 로우패스 필터 출력을 목적 변수 p(i)로 하여(단계 ST39) 회귀 분석을 행하고(단계 ST40), 얻어진 회귀 직선과 주목 화소의 출력 신호로부터 주목 화소에서의 R색의 생성 신 호를 산출한다(단계 ST41). 생성한 신호는 결과 메모리(14)에 저장한다(단계 ST42).

이상의 처리를, 주목 화소를 변경하면서, 즉 다른 화소를 주목 화소로 하여, 반복 실행한다(단계 ST43).

이에 따라 도 5의 단계 ST11의 처리가 종료한다.

도 5의 단계 ST12에서는, 단계 ST11과 마찬가지로, 단지 R색을 B색으로 변경하여, 즉, G색의 출력 신호를 갖는 화소의 B색의 신호를 구하기 위해, 상기와 마찬가지의 일련의 처리가 행해진다.

도 5의 단계 ST13에서는, R색의 출력 신호를 가진 화소의 B색의 신호를 구하기 위해, 일련의 처리가 행해진다. 이 처리에 있어서는 단계 ST9 내지 ST12는 이하와 같이 다르다. 이하, 도 18 및 도 19를 참조하여 단계 ST13의 상세를 설명한다.

우선, 주목 화소로서 도 19 중 R색의 출력 신호를 갖는 화소 위치 (3, 3)의 화소를 선택한다(ST44).

다음에, 주목 화소 주위에서의 화상의 상관성을 판정한다(ST45, ST46, ST47, ST48). 이 경우는, 도 13의 경우와 달리, 수평·수직 방향으로부터 45도 경사진 2개의 경사 방향의 상관성을 구한다(단계 ST45∼48).

즉, 주목 화소의 우상의 경사 방향으로 정렬한 화소 및 우하의 경사 방향으로 정렬한 화소 중, 생성하고자 하는 부족색과 같은 R색의 출력 신호를 갖는 화소의 신호를 이용하여 주목 화소에서의 우상의 경사 방향과 좌/상의 경사 방향의 화 상의 상관성을 비교한다. 그 때문에 우선 주목 화소의 우상의 경사 방향으로 나란하게, 주목 화소를 사이에 두고 반대쪽에 위치하는 B색의 화소 상호간의 차분값 B(D1)=｜B(l-1, m+1)-B(1+1, m-1)｜과, 우하의 경사 방향으로 나란하게, 주목 화소를 사이에 두고 반대쪽에 위치하는 B색의 화소 상호간의 차분값 B(D2)=｜B(1-1, m-1)-B(1+1, m+1)｜을 산출한다(단계 ST45). 다음에 이들 차분값 B(D1), B(D2)의 대소 관계를 비교하고(단계 ST46), 차분값이 작은 방향(우상 경사 방향 또는 우하 경사 방향)에 강한 상관성이 있다고 판정한다. 그리고, 강한 상관성이 있는 방향에 위치하는 화소 중, 주목 화소 근방에 있고, 주목 화소의 색과 같은 R색의 출력 신호를 갖는 화소를 선택 화소로 한다(단계 ST47, ST48).

구체적으로는, 값 B(D1)≤B(D2)일 때는, 우상의 경사 방향의 상관성이 강하다고 판단하고, 우상의 경사 방향에 나란한 화소 중, 주목 화소의 색과 같은 R색의 출력 신호를 갖는 화소 위치 (l-2, m+2), (l, m), (l+2, m-2)의 화소를 선택 화소로 한다(단계 ST47). 한편, 값 B(D1)>B(D22)일 때는, 우하의 경사 방향의 상관성이 강하다고 판단하고, 우하의 경사 방향에 나란한 화소 중, 주목 화소의 색과 같은 R색의 출력 신호를 갖는 화소 위치 (l-2, m-2), (l, m), (l+2, m+2)의 화소를 선택 화소로 한다(단계 ST48).

이상과 같이 하여 상관성의 판정이 이루어진 후, 회귀 분석 수단(10)은 선택된 화소에서의 R색의 출력 신호를 프레임 메모리(4)로부터 수취하여 설명 변수 e(i)(i=1∼3)로 하고(단계 ST49), B색의 로우패스 필터 출력을 로우패스 필터(7c)로부터 수취하여 목적 변수 p(i)(i=1∼3)로 한다(단계 ST50).

이 때의 각 화소 위치에 대한 로우패스 필터 출력은 그 화소를 중심으로 하는 경사 방향으로 나란한 2화소의 화소 위치의 화소의 출력 신호의 평균치로 한다.

회귀 분석 수단(10)은 설명 변수 e(i)(R색의 출력 신호) 및 목적 변수 p(i)(B색의 로우패스 필터 출력)를 이용하여 회귀 분석을 행하고(단계 ST51), R색과 B색의 상관을 나타내는 회귀 직선의 기울기와 절편의 값을 산출하며, 실시예 1과 마찬가지로, 주목 화소에서의 B색의 생성 신호를 산출한다(단계 ST52). 생성된 신호는 결과 메모리(14)에 저장된다(단계 ST53).

이상의 처리를, 주목 화소를 변경하면서, 즉 다른 화소를 주목 화소로 하여, 반복 실행한다(단계 ST54).

이에 따라 도 5의 단계 ST13의 처리가 종료한다.

도 5의 단계 ST14에서는, 단계 ST13과 마찬가지로, 단지 R색과 B색을 교체하여, 즉, R색의 출력 신호를 갖는 화소의 B색의 신호를 구하기 위해, 상기와 마찬가지의 일련의 처리가 행해진다.

도 5의 단계 ST9 내지 ST14가 모두 종료되면, 모든 화소의 부족색에 대하여 보간이 완료되고, 출력 신호(촬상 소자(2)의 출력을 A/D 변환함으로써 얻어진 화소 신호)와 생성 신호(보간에 의해 구해진 화소 신호)를 합하면, 모든 화소의 모든 색의 화소 신호가 갖추어진 것으로 된다. 즉, 1화면 분량의 컬러 화상이 얻어진다. 그래서, 연산 수단(9)은 결과 메모리(14)에 저장된 생성 신호와 촬상 소자(2)로부터의 출력 신호를 합하여, RGB의 색 신호로서 출력한다(단계 ST15).

본 실시예 2에서는, 주목 화소 주위에서의 화상의 상관성을 판정하여, 상관 성이 강하다고 판단된 방향으로 나란한 화소의 출력 신호만을 설명 변수로서 이용하고 있다. 그 결과, 예컨대, 휘도차가 적은 에지의 능선 방향의 화소를 선택하는 것으로 된다. 따라서, 상관성이 낮은 방향(상관성이 강한 방향에 대하여 수직인 방향)으로부터의 영향, 예컨대, 에지의 능선의 법선 방향으로부터의 영향을 배제할 수 있다.

또한, 실시예 2에서는, 설명 변수로서 로우패스 필터 출력 대신 출력 신호(촬상 소자(2)의 출력을 A/D 변환함으로써 얻어진 화소 신호)의 값 그 자체를 이용하여 회귀 직선을 산출하기 때문에, 국소적인 색의 상관성을 보다 정확히 나타내는 회귀 직선이 얻어진다. 그 결과, 보다 정확한 부족색의 신호의 생성이 가능해진다.

또한, 주목 화소 주위에서의 출력 신호의 상관성을 판정하여, 상관성이 강하다고 판단된 방향으로 나란한 화소의 출력 신호만을 설명 변수로서 이용하고 있지만, 상관성을 판정하지 않고, 로우패스 필터 출력 대신 출력 신호를 이용하는 것으로 하여도 좋다. 즉, 주목 화소 주위의 모든 방향의 (방향을 한정하는 일 없이) 화소의 출력 신호를 설명 변수로서 이용하여도 좋다.

(실시예 3)

도 20은 본 발명의 실시예 3의 화소 신호 처리 장치를 구비한 촬상 장치의 구성을 나타내는 블럭도이다.

실시예 3은 회귀 분석 수단(12)과 연산 수단(13) 이외의 구성은 실시예 2와 마찬가지이다.

본 실시예에서는, 어떤 색에 대하여 상기 실시예 1이나 실시예 2에서 설명한 회귀 분석 및 연산을 포함하는 보간에 의해 생성된 화소 신호를, 다른 색의 보간을 위한 회귀 분석에서 설명 변수나 목적 변수로서 이용한다. 이하 그 일례로서, 상기한 실시예 2에서 산출된 G색의 생성 신호를, R색 및 B색의 생성 신호의 산출을 위해 이용하는 경우에 대하여 설명한다.

다음에 동작에 대하여 설명한다. 보간 순서는 실시예 2와 마찬가지로, 도 5의 흐름도에 따른다. 단계 ST9 및 ST10의 처리는 실시예 2에 대하여 설명한 것과 마찬가지이다. 단계 ST9의 처리에 의해, R색의 출력 신호를 갖는 화소 위치의 G색의 생성 신호가 얻어지고, 단계 ST10의 처리에 의해, B색의 출력 신호를 갖는 화소 위치의 G색의 생성 신호가 얻어지며, 이들이 결과 메모리(14)에 저장된다. 결과 메모리(14)에 저장된 G색의 생성 신호와 프레임 메모리(4)에 저장된 G색의 출력 신호를 합하면, G색의 화소 신호가 1화면 분량만큼 갖추어진다.

도 5의 단계 ST11에서는, G색의 출력 신호를 갖는 화소의 R색의 신호를 구하기 위해, 일련의 처리가 행해진다. 도 21은 그 수순을 나타내는 흐름도이다.

우선, 주목 화소로서 G색의 출력 신호를 갖는 화소 위치 (l, m)의 화소를 선택한다(ST55). 예컨대, 도 22 중 화소 위치 (3, 3)의 화소를 선택한 경우를 상정한다.

회귀 분석 수단(12)은 (ST9, ST10과는 달리) 상관 판정을 하지 않고, 대신 주목 화소 좌우에 주목 화소의 부족색인 R색의 화소가 존재하는지 여부의 판정을 행하여(단계 ST56), 존재하는 경우에는, 주목 화소 근방에 있고, R색의 출력 신호를 갖는 도 22 중 6개의 화소 위치 (l-2, m-1), (l-2, m+1), (l, m-1), (l, m+1), (l+2, m-1), (l+2, m+1)의 화소를 선택 화소로 하고(단계 ST57), 한편 존재하지 않는 경우에는, 주목 화소 근방에 있고, R색의 출력 신호를 갖는 도 22 중 6개의 화소 위치 (l-1, m-2), (l+1, m-2), (1-1, m), (l+1, m), (l-1, m+2), (l+1, m+2)의 화소를 선택 화소로 한다(단계 ST58). 도 22의 경우, 주목 화소의 좌우에 R색의 화소가 존재하므로, 단계 ST56의 판정 결과가 「Y」로 되어, 단계 ST57로 진행하고, 화소 위치 (1, 2), (1, 4), (3, 2), (3, 4), (5, 2), (5, 4)의 화소를 선택 화소로 한다.

단계 ST59에서는, 선택 화소 위치에서의 G색의 생성 신호 g(1-2, m-1), g(l-2, m+1), g(l, m-1), g(l, m+1), g(l+2, m-1), g(l+2, m+1)을 설명 변수 e(i)(i=1∼6)로 하고(단계 ST57에서 Y인 경우), 또는 g(l-1, m-2), g(l+1, m-2), g(l-1, m), g(1+1, m), g(l-1, m+2), g(l+1, m+2)을 설명 변수 e(i)(i=1∼6)로 한다(단계 ST57에서 N인 경우). 도 22의 경우, g(1, 2), g(1, 4), g(3, 2), g(3, 4), g(5, 2), g(5, 4)를 설명 변수 e(i)(i=1∼6)로 한다.

단계 ST60에서는, 선택 화소 위치에서의 R색의 출력 신호 R(l-2, m-1), R(l-2, m+1), R(l, m-1), R(l, m+1), R(l+2, m-1), R(l+2, m+1)을 목적 변수 p(i)(i=1∼6)로 하고(단계 ST57에서 Y인 경우), 또는 R(l-1, m-2), R(l+1, m-2), R(l-1, m), R(l+1, m), R(l-1, m+2), R(l+1, m+2)을 목적 변수 p(i)(i=1∼6)로 한다(단계 ST57에서 N인 경우). 도 22에 나타내는 예의 경우에는, 단계 ST57에서 Y로 하였기 때문에, 선택 화소 위치에서의 R색의 출력 신호 R(1, 2), R(1, 4), R(3, 2), R(3, 4), R(5, 2), R(5, 4)를 목적 변수 p(i)(i=1∼6)로 한다.

그리고 이와 같이 하여 정한 설명 변수 및 목적 변수를 이용하여 회귀 분석을 행하고, 주목 화소의 근방 영역 내에서의 G색과 R색의 상관을 나타내는 회귀 직선을 산출한다(단계 ST61). 이 때, 국소적인 색의 상관을 보다 정확하게 구하기 위해, 상기한 6개의 화소 위치 (l-2, m-1), (l-2, m+1), (l, m-1), (l, m+1), (l+2, m-1), (l+2, m+1), 또는 (l-1, m-2), (l+1, m-2), (l-1, m), (l+1, m), (l-1, m+2), (l+1, m+2), 예컨대, 도 22 중 6개의 화소 위치 (1, 2), (1, 4), (3, 2), (3, 4), (5, 2), (5, 4)의 선택 화소 중, 출력 신호 혹은 생성 신호가 다른 선택 화소나 주목 화소가 갖는 값과 크게 다른 화소를 선택 화소로부터 제외하여 회귀 직선을 산출하여도 좋다.

연산 수단(13)에서는, 얻어진 회귀 직선과 주목 화소의 출력 신호 G(3, 3)로부터, 주목 화소의 부족색인 R색의 신호를 생성한다(단계 ST62). 생성한 신호는 결과 메모리(14)에 저장된다(단계 ST63).

이상의 처리를, 주목 화소를 변경하면서, 즉 다른 화소를 주목 화소로 하여, 반복 실행한다(단계 ST64).

이에 따라 도 5의 단계 ST11의 처리가 종료한다.

도 5의 단계 ST12에서는, 단계 ST11과 마찬가지로, 단지 R색을 B색으로 변경하여, 즉, G색의 출력 신호를 갖는 화소의 B색 신호를 구하기 위해, 상기와 마찬가지의 일련의 처리가 행해진다. 이 처리도 도 21과 마찬가지이다. 단, 도 21의 단 계 ST55 내지 ST64에서 「R」인 것을 「B」로 고쳐 읽을 필요가 있다.

우선, 주목 화소로서 G색의 출력 신호를 갖는 화소 위치 (l, m)의 화소를 선택한다(ST55). 예컨대, 도 22 중 (3, 3)을 선택한 경우를 상정한다.

회귀 분석 수단(12)은 주목 화소의 좌우에 주목 화소의 부족색인 B색의 화소가 존재하는지 여부의 판정을 행하여(단계 ST56), 존재하는 경우에는, 주목 화소의 근방에 있고, B색의 출력 신호를 갖는 도 22 중 6개의 화소 위치 (l-2, m-1), (l-2, m+1), (l, m-1), (l, m+1), (l+2, m-1), (l+2, m+1)의 화소를 선택 화소로 하고(단계 ST57), 한편 존재하지 않는 경우에는, 주목 화소의 근방에 있고, B색의 출력 신호를 갖는 도 22 중 6개의 화소 위치 (l-1, m-2), (l+1, m-2), (l-1, m), (l+1, m), (l-1, m+2), (l+1, m+2)의 화소를 선택 화소로 한다(단계 ST58). 도 22의 경우, 주목 화소의 좌우에 B색의 화소가 존재하지 않으므로, 단계 ST56의 판정 결과가 「N」으로 되고, 단계 ST58로 진행하여, 화소 위치 (2, 1), (2, 3), (2, 5), (4, 1), (4, 3), (4, 5)의 화소를 선택 화소로 한다.

단계 ST59에서는, 선택 화소 위치에서의 G색의 생성 신호 g(l-2, m-1), g(l-2, m+1), g(l, m-1), g(l, m+1), g(l+2, m-1), g(l+2, m+1)을 설명 변수 e(i)(i=1∼6)로 하고(단계 ST57에서 Y인 경우), 또는 g(l-1, m-2), g(l+l, m-2), g(l-1, m), g(l+1, m), g(l-1, m+2), g(l+1, m+2)를 설명 변수 e(i)(i=1∼6)로 한다(단계 ST57에서 N인 경우). 도 22의 경우, g(2, 1), g(2, 3), g(2, 5), g(4, 1), g(4, 3), g(4, 5)를 설명 변수 e(i)(i=1∼6)로 한다.

단계 ST60에서는, 선택 화소의 B색의 출력 신호 B(l-2, m-1), B(l-2, m+1), B(l, m-1), B(l, m+1), B(l+2, m-1), B(l+2, m+1)를 목적 변수 p(i)(i=1∼6)로 하고(단계 ST57에서 Y인 경우), 또는 B(l-1, m-2), B(l+1, m-2), B(l-1, m), B(l+1, m), B(l-1, m+2), B(l+1, m+2)를 목적 변수 p(i)(i=1∼6)로 한다(단계 ST57에서 N인 경우). 도 22에 나타내는 예의 경우에는, 단계 ST57에서 N이었기 때문에, 선택 화소의 B색의 출력 신호 B(2, 1), B(2, 3), B(2, 5), B(4, 1), B(4, 3), B(4, 5)를 목적 변수 p(i)(i=1∼6)로 한다.

그리고 이와 같이 하여 정한 설명 변수 및 목적 변수를 이용해 회귀 분석을 행하여, 주목 화소의 근방 영역에서의 G색과 B색의 상관을 나타내는 회귀 직선을 산출한다(단계 ST61). 이 때, 국소적인 색의 상관을 보다 정확하게 구하기 위해, 상기한 6개의 화소 위치 (l-2, m-1), (l-2, m+1), (l, m-1), (l, m+1), (l+2, m-1), (l+2, m+1), 또는 (l-1, m-2), (l+1, m-2), (l-1, m), (l+1, m), (l-1, m+2), (l+1, m+2), 예컨대, 도 22 중 6개의 화소 위치 (2, 1), (2, 3), (2, 5), (4, 1), (4, 3), (4, 5)의 선택 화소 중, 출력 신호, 혹은 생성 신호가 다른 선택 화소나 주목 화소가 갖는 값과 크게 다른 화소를 선택 화소로부터 제외하여 회귀 직선의 산출을 행하여도 좋다.

연산 수단(13)에서는, 얻어진 회귀 직선과 주목 화소의 출력 신호 G(3, 3)으로부터, 주목 화소의 부족색인 B색의 신호를 생성한다(단계 ST62). 생성한 신호는 결과 메모리(14)에 저장된다(단계 ST63).

이에 따라 도 5의 단계 ST12의 처리가 종료한다.

도 5의 단계 ST13에서는, B색의 출력 신호를 갖는 화소의 R색 신호를 구하기 위해, 일련의 처리가 행해진다. 도 23은 그 수순을 나타내는 흐름도이다.

우선, 주목 화소로서 R색의 출력 신호를 갖는 화소 위치 (l, m)의 화소를 선택한다(단계 ST65). 예컨대, 도 24 중 (3, 3)을 선택한 경우를 상정한다.

회귀 분석 수단(12)은 주목 화소 주위의 B색의 출력 신호를 갖는 4개의 화소 위치 (l-1, m-1), (l-1, m+l), (l+1, m-1), (l+1, m+1), 도 24의 경우, (2, 2), (2, 4), (4, 2), (4, 4)의 B색 화소를 제 1 조의 선택 화소(선택 화소 1)라 한다(단계 ST66).

그리고, 결과 메모리(14)에 저장되어 있는 선택 화소(1)의 화소 위치의 G색의 생성 신호 g(2, 2), g(2, 4), g(4, 2), g(4, 4)를 설명 변수 e(i)(i=1∼4)로 하는 것으로(단계 ST67) 하고, 선택 화소 1의 화소 위치의 B색의 출력 신호 B(2, 2), B(2, 4), B(4, 2), B(4, 4)를 목적 변수 p(i)(i=1∼4)(단계 ST67)로 한다.

또한, G색의 출력 신호를 갖는 4개의 화소 위치 (l-1, m), (l, m-1), (l, m+1), (l+1, m), 도 24의 경우, (2, 3), (3, 2), (3, 4), (4, 3)의 화소를 제 2 조의 선택(선택 화소 2)으로 한다(단계 ST69).

그리고, 선택 화소 2의 G색의 출력 신호 G(2, 3), G(3, 2), G(3, 4), G(4, 3)을 설명 변수 e(i)(i=5∼8)로 하고(단계 ST70), 결과 메모리(14)에 저장되어 있는 선택 화소 2의 B색의 생성 신호 b(2, 3), b(3, 2), b(3, 4), b(4, 3)를 목적 변수 p(i)(i=5∼8)로 한다(단계 ST7l).

그리고 이와 같이 하여 정한 설명 변수 e(i)(i=1∼8) 및 목적 변수 p(i)(i=1∼8)를 이용하여 회귀 분석을 행하고, 주목 화소의 근방 영역 내에서의 B색과 G색의 상관을 나타내는 회귀 직선을 산출한다(단계 ST72). 이 때, 국소적인 색의 상관을 보다 정확하게 구하기 위해, 상기한 8개의 화소 위치 (l-1, m-1), (l-1, m+1), (l+1, m-1), (l+1, m+1), (l-1, m), (l, m-1), (l, m+1), (l+1, m), 예컨대, 도 24의 경우, (2, 2), (2, 4), (4, 2), (4, 4), (2, 3), (3, 2), (3, 4), (4, 3) 선택 화소 중, 출력 신호 혹은 생성 신호가 다른 선택 화소나 주목 화소가 갖는 값과 크게 다른 화소를 선택 화소로부터 제외하여 회귀 직선을 산출을 하여도 좋다.

연산 수단(13)에서는, 얻어진 회귀 직선과 주목 화소의 생성 신호 g(3, 3)으로부터, 주목 화소의 부족색인 B색 신호를 생성한다(단계 ST73). 생성한 신호는 결과 메모리(14)에 저장된다(단계 ST74).

이상의 처리를, 주목 화소를 변경하면서, 즉 다른 화소를 주목 화소로 하여, 반복 실행한다(단계 ST75).

이에 따라 도 5의 단계 ST13의 처리가 종료된다.

도 5의 단계 ST14에서는, 단계 ST13과 마찬가지로, 단지 R색과 B색을 교체하고, 즉, B색의 출력 신호를 갖는 화소의 R색 신호를 구하기 위해, 상기와 마찬가지의 일련의 처리가 행해진다. 이 처리도 도 23과 마찬가지이다. 단지, 도 23의 단계 ST65 내지 ST74에서 「B」인 것을 「R」로 고쳐 읽을 필요가 있다.

도 5의 단계 ST9 내지 ST14가 전부 종료되면, 모든 화소의 부족색에 대하여 보간이 완료되고, 출력 신호와 생성 신호를 합하면, 모든 화소의 모든 색의 화소 신호가 갖추어진 것으로 된다. 즉, 1화면 분량의 컬러 화상이 얻어진다. 그래서, 연산 수단(9)은 결과 메모리(14)에 저장된 생성 신호와 프레임 메모리(4)에 저장된 출력 신호를 합하여, RGB의 색 신호로서 출력한다(단계 ST15).

실시예 3의 단계 ST11 내지 ST14에서는, 로우패스 필터 출력을 사용하는 대신, 각 화소의 출력 신호에 더하여, 보간에 의해 얻어진 생성 신호도 이용함으로써 주목 화소 주변의 화소가 갖는 신호를 그대로의 형태로 이용할 수 있다. 또한, 주목 화소의 근방에 있는 화소 신호를 이용할 수 있다. 그 때문에, 국소적인 색의 상관성을 보다 정확하게 나타내는 회귀 직선이 얻어진다. 그 결과, 보다 정확하게 부족색의 신호를 생성할 수 있다.

상기한 실시예 1, 2 및 3의 설명에서는, 2차원 촬상 소자가 R, G, B 3개의 색의 색 필터가 베이어형으로 배치된 것이지만, 본 발명은, 일반적으로 말하면, 각각이 제 1 내지 제 N(상기한 실시예에서는 N=3) 분광 감도 특성 중 어느 하나의 분광 감도 특성을 갖는 N 종류의 광전 변환 소자가 2차원 평면상에 배열된 촬상 소자를 구비하는 경우에 적용 가능하다.

회귀 분석 수단(8, 10, 12)은, 실시예 1, 2 및 3 중 어느 것이더라도, 제 1 주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 제 K(상기한 예에서는 K=R, G 또는 B) 분광 감도 특성의 화소 신호와 제 L(상기한 예에서는 L=R, G 또는 B, 단 L은 K와는 다름) 분광 감도 특성의 화소 신호를 수취하고, 제 K 분광 감도 특성의 화소 신호를 설명 변수, 제 L 분광 감도 특성의 화소 신호를 목적 변수로 하여 회귀 분석을 실시하고, 제 K 분광 감도 특성의 화소 신호와 제 L 분광 감도 특성의 화소 신호의 상관을 나타내는 회귀식을 산출하며, 연산 수단(9, 13)은, 제 1 주목 화소 위치에서의 제 K 분광 감도 특성의 화소 신호에 대하여 상기 회귀식에 근거하는 변환식을 이용하는 것에 의해, 제 1 주목 화소 위치에서의 제 L 분광 감도 특성의 화소 신호를 구한다.

상기한 실시예 1, 2 및 3 중 어느 것이더라도, 로우패스 필터(7 a∼7c)는 N 종류의 광전 변환 소자로부터의 출력 신호에 대하여 로우패스 필터링을 행하여, 제 1 내지 제 N 분광 감도 특성에 대응한 로우패스 필터 출력을 생성한다.

그리고, 실시예 1에서는, 설명 변수 및 목적 변수의 쌍방에, 로우패스 필터링에 의해 얻어진 화소 신호가 이용되고, 실시예 2에 있어서는, 설명 변수로서 출력 신호가 이용되고, 목적 변수로서 로우패스 필터링에 의해 얻어진 화소 신호가 이용된다.

실시예 3에서는, 실시예 2와 마찬가지의 회귀 분석 및 연산에 의해 생성한 임의 화소에 대한 임의 색의 화소 신호를, 그 근방의 다른 화소에 대한 다른 색의 화소 신호의 보간을 위한 회귀 분석 시에 설명 변수로서 이용하고 있다.

이와 같이 하는 대신, 실시예 1과 마찬가지의 회귀 분석 및 연산에 의해 생성한 임의 화소에 대한 임의 색의 화소 신호를, 그 근방의 다른 화소에 대한 다른 색의 화소 신호의 보간을 위한 회귀 분석 시에 설명 변수로서 이용하여도 좋다.

또한, 실시예 1이나 실시예 2의 회귀 분석 및 연산에 대신하여, 공지의 보간 수단을 이용하여도 좋다. 그와 같은 보간 수단은, 일반적으로 말하면, 제 1 주목 화소의 근방 영역 내에 있고, 제 M(M은 K를 제외하는 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호가 존재하는 제 2 주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 제 M 분광 감도 특성의 화소 신호와 제 K 분광 감도 특성의 화소 신호에 기인하여, 제 2 주목 화소 위치에서의 제 K 분광 감도 특성의 화소 신호를 보간에 의해 구하는 것이다.

이 보간 수단이 실시예 1이나 실시예 2에서 설명한 것과 마찬가지의 회귀 분석 및 연산에 의해 보간을 실행하는 경우의 구성을 일반화하여 말하면 이하와 같다. 즉, 회귀 분석 수단은 제 2 주목 화소 위치와 제 2 주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 제 M 분광 감도 특성의 화소 신호와 제 K 분광 감도 특성의 화소 신호를 수취하고, 제 M 분광 감도 특성의 화소 신호를 설명 변수, 제 K 분광 감도 특성의 화소 신호를 목적 변수로 하여 회귀 분석을 실시하고, 제 M 분광 감도 특성의 화소 신호와 제 K 분광 감도 특성의 화소 신호의 상관을 나타내는 회귀식을 산출하며, 연산 수단은 제 2 주목 화소 위치에서의 제 M 분광 감도 특성의 화소 신호에 대하여 회귀식에 근거하는 변환식을 이용하는 것에 의해, 제 2 주목 화소 위치에서의 제 K 분광 감도 특성의 화소 신호를 구하고, 이와 같이 하여 구해진 화소 신호가 「보간에 의해 구해진 제 K 분광 감도 특성의 화소 신호」라고 하여, 제 L 화소 신호의 보간을 위해 설명 변수로서 이용된다.

실시예 3에서는 회귀 분석 및 연산에 의해 구한 화소 신호를, 다른 색의 화소 신호의 보간을 위한 회귀 분석에서 목적 변수의 일부로서 더욱 이용하고 있다. 이것을 색이 제 1 내지 제 N 분광 감도 특성을 갖는 경우에 일반화하여 표현하면 이하와 같아진다.

즉, 제 2 주목 화소 위치와 제 2 주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 제 M(M은 L을 제외하는 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호와 제 L 분광 감도 특성의 화소 신호에 기인하여, 제 2 주목 화소 위치에서의 제 L 분광 감도 특성의 화소 신호를 보간에 의해 구하는 보간 수단을 더 갖고, 회귀 분석 수단은 상기 보간에 의해 구해진 화소 신호를 목적 변수의 일부로서 더 이용한다.

그리고, 이러한 보간 수단은 상기한 실시예 3에서 설명한 회귀 분석 수단 및 연산 수단으로 구성되어 있는 경우의 구성을 일반화하여 말하면 이하와 같아진다. 즉, 회귀 분석 수단은 제 2 주목 화소 위치와 제 2 주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 제 M 분광 감도 특성의 화소 신호와 제 L 분광 감도 특성의 화소 신호를 수취하고, 제 M 분광 감도 특성의 화소 신호를 설명 변수, 제 L 분광 감도 특성의 화소 신호를 목적 변수로 하여 회귀 분석을 실시하고, 제 M 분광 감도 특성의 화소 신호와 제 L 분광 감도 특성의 화소 신호의 상관을 나타내는 회귀식을 산출하며, 연산 수단은 제 2 주목 화소 위치에서의 제 M 분광 감도 특성의 화소 신호에 대하여 회귀식에 근거하는 변환식을 이용하는 것에 의해, 제 2 주목 화소 위치에서의 제 L 분광 감도 특성의 화소 신호를 구하고, 이와 같이 하여 구해진 화소 신호가 「보간에 의해 구해진 제 L 분광 감도 특성의 화소 신호」라고 하여 목적 변수의 일부로서 이용된다.

실시예 1 내지 3 중 어느 것이더라도, 회귀 분석 수단(8, 10, 12)은 회귀식으로서 y=a·x+b(y는 목적 변수로서의 제 Y 분광 감도 특성의 화소 신호, x는 설명 변수로서 제 X 분광 감도 특성의 화소 신호, a 및 b는 정수)인 직선을 선택하고, 연산 수단(9, 13)은 주목 화소 위치에서의 제 X 분광 감도 특성의 화소 신호 X를 상기 직선에 근거하는 변환식,

Y'=a·X+b

에 대입하여 변환함으로써, 주목 화소 위치에서의 제 Y 분광 감도 특성의 화소 신호 Y'를 얻는다. 여기서, 제 K 분광 감도 특성의 화소 신호가 존재하는 제 1 주목 화소 위치에서의 제 L 분광 감도 특성의 화소 신호를 생성할 때는, X=K, Y=L, Y'=L'이며, 제 M 분광 감도 특성의 화소 신호가 존재하는 제 2 주목 화소 위치에서의 제 K 분광 감도 특성의 화소 신호를 생성할 때는, X=M, Y=K, Y'=K'이다.

제 M 분광 감도 특성의 화소 신호가 존재하는 제 2 주목 화소 위치에서의 제 L 분광 감도 특성의 화소 신호를 생성할 때는, X=M, Y=L, Y'=L'이다.

도 8의 단계 ST2에서는, k1, k2, k3을 설명 변수 e(i), 목적 변수 p(i)에 의해 구하고 있지만, 상기한 바와 같이, 설명 변수를 x(i), 목적 변수를 y(i)로 나타내는 경우에는, k1, k2, k3을 구하는 식은 이하와 같아진다.

Claims

2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 화소 신호의 조(組)에 근거하여, 제 K(K는 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에서의 제 L(L은 K를 제외한 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치에 있어서,

상기 주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 상기 제 K 분광 감도 특성의 화소 신호를 설명 변수, 상기 제 L 분광 감도 특성의 화소 신호를 목적 변수로 하여 회귀 분석을 실시하고, 상기 제 K 분광 감도 특성의 화소 신호와 제 L 분광 감도 특성의 화소 신호의 상관을 나타내는 회귀 직선

y=ax+b

(y는 제 L 분광 감도 특성의 화소 신호, x는 제 K 분광 감도 특성의 화소 신호, a 및 b는 회귀 직선의 기울기와 절편을 나타내는 정수)

을 산출하는 회귀 분석 수단(regression analysis means)과,

상기 주목 화소 위치에서의 상기 제 K 분광 감도 특성의 화소 신호에 대하여 상기 회귀 직선에 근거하는 변환식을 이용하는 것에 의해, 상기 주목 화소 위치에서의 상기 제 L 분광 감도 특성의 화소 신호를 구하는 연산 수단과,

상이한 화소를 순차적으로 주목 화소로서 선택하고, 선택한 주목 화소마다, 상기 회귀 분석 수단과 상기 연산 수단을 이용하여 상기 제 L 분광 감도 특성의 화소 신호를 구하는 선택 수단

을 갖는 화소 신호 처리 장치.
제 1 항에 있어서,

상기 선택 수단은, 분광 감도 특성간의 상관이 강한 조합 순으로 상기 제 K와 제 L 분광 감도 특성을 결정하는

것을 특징으로 하는 화소 신호 처리 장치.
제 2 항에 있어서,

N 종류의 광전 변환 소자를 갖는 촬상 소자를 더 구비하고,

상기 촬상 소자는 R(적색), G(녹색), B(청색) 중 어느 하나의 분광 감도 특성을 갖고,

상기 선택 수단은, 먼저 처음에, R의 화소 신호가 존재하는 화소 위치에서의 G색의 화소 신호와 B색의 화소 신호가 존재하는 화소 위치에서의 G색의 화소 신호를 구하고,

다음에, G색의 화소 신호가 존재하는 화소 위치에서의 R색의 화소 신호와 G색의 화소 신호가 존재하는 화소 위치에서의 B색의 화소 신호를 구하며,

마지막으로, R의 화소 신호가 존재하는 화소 위치에서의 B색의 화소 신호와 B의 화소 신호가 존재하는 화소 위치에서의 R색의 화소 신호를 구하는

것을 특징으로 하는 화소 신호 처리 장치.
2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 화소 신호의 조(組)에 근거하여, 제 K(K는 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에서의 제 L(L은 K를 제외한 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 방법에 있어서,

상기 주목 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 상기 제 K 분광 감도 특성의 화소 신호를 설명 변수, 상기 제 L 분광 감도 특성의 화소 신호를 목적 변수로 하여 회귀 분석을 실시하고, 상기 제 K 분광 감도 특성의 화소 신호와 제 L 분광 감도 특성의 화소 신호의 상관을 나타내는 회귀 직선

y=ax+b

(y는 제 L 분광 감도 특성의 화소 신호, x는 제 K 분광 감도 특성의 화소 신호, a 및 b는 회귀 직선의 기울기와 절편을 나타내는 정수)

을 산출하는 회귀 분석 단계와,

상기 주목 화소 위치에서의 상기 제 K 분광 감도 특성의 화소 신호에 대하여 상기 회귀 직선에 근거하는 변환식을 이용하는 것에 의해, 상기 주목 화소 위치에서의 상기 제 L 분광 감도 특성의 화소 신호를 구하는 연산 단계와,

상이한 화소를 순차적으로 주목 화소로서 선택하고, 선택한 주목 화소마다, 상기 회귀 분석 단계와 상기 연산 단계를 이용하여 상기 제 L 분광 감도 특성의 화소 신호를 구하는 선택 단계

를 포함하는 화소 신호 처리 방법.
제 4 항에 있어서,

상기 선택 단계는, 분광 감도 특성간의 상관이 강한 조합 순으로 상기 제 K와 제 L 분광 감도 특성을 결정하는

것을 특징으로 하는 화소 신호 처리 방법.
제 5 항에 있어서,

상기 화소 신호는, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 N 종류의 광전 변환 소자가 2차원 평면 상에 배열된 촬상 소자와 연관되어 있고,

상기 촬상 소자는 R(적색), G(녹색), B(청색) 중 어느 하나의 분광 감도 특성을 갖고,

상기 선택 단계는, 먼저 처음에, R의 화소 신호가 존재하는 화소 위치에서의 G색의 화소 신호와 B색의 화소 신호가 존재하는 화소 위치에서의 G색의 화소 신호를 구하고,

다음에, G색의 화소 신호가 존재하는 화소 위치에서의 R색의 화소 신호와 G색의 화소 신호가 존재하는 화소 위치에서의 B색의 화소 신호를 구하며,

마지막으로, R의 화소 신호가 존재하는 화소 위치에서의 B색의 화소 신호와 B의 화소 신호가 존재하는 화소 위치에서의 R색의 화소 신호를 구하는

것을 특징으로 하는 화소 신호 처리 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제