KR20070042493A

KR20070042493A - 화소 신호 처리 장치 및 화소 신호 처리 방법

Info

Publication number: KR20070042493A
Application number: KR1020067013924A
Authority: KR
Inventors: 데츠야 구노; 쥰코 마키타; 히로아키 스기우라; 나리히로 마토바; 마사시 다무라
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2004-11-04
Filing date: 2005-07-22
Publication date: 2007-04-23
Also published as: WO2006048962A1; TW200616465A; JP2006135468A; US7554583B2; US20070019087A1; KR100755601B1; JP3926363B2; TWI267309B

Abstract

2차원 평면상에 배열되고, 각각이 복수의 수의 분광감도 특성 중 하나를 갖는 화소 신호의 조에 근거하여, 제 h 분광감도 특성의 화소 신호가 존재하는 보간 대상 화소 위치에 있어서의 제 k 분광감도 특성의 화소 신호를 생성하는 경우에, 보간 대상 화소 위치의 근방에 있어서의 제 k 및 제 h 분광감도 특성의 화소 신호 상호간의 상관의 정도에 대응한 저주파수 성분의 차를 산출하고(8r, 8g, 8b, 24k, 24h, 26), 보간 대상 화소 위치의 근방의 영역 내에 있어서의 제 k 및 제 h 분광감도 특성의 화소 신호 상호간의 비상관의 정도에 대응한 비상관값을 산출하며(7r, 7g, 7b, 23k, 23h, 25), 산출된 차와, 비상관값을 이용하여 보간 대상 화소 위치에 있어서의 제 k 분광감도 특성의 화소 신호를 구한다(27, 28, 29). 색 성분값 상호간의 상관 관계가 여러 가지로 다르더라도, 정확한 보간을 행할 수 있다.

Description

화소 신호 처리 장치 및 화소 신호 처리 방법{PIXEL SIGNAL PROCESSOR AND PIXEL SIGNAL PROCESSING METHOD}

본 발명은 화소 신호 처리 장치 및 방법에 관한 것으로, 특히 2차원 평면상에 배열된 화소의 각각이 복수의 색 성분값 중 적어도 하나의 색 성분값을 갖고 있지 않을 때, 그 화소가 갖고 있지 않은 색 성분값을 보간(interpolation)에 의해 생성함으로써 컬러 화상을 얻는 화소 신호 처리 장치 및 방법에 관한 것이다.

이러한 화소 신호 처리는, 예컨대, 각각이 복수의 색 성분값, 예컨대, 적(R), 녹(G), 청(B)의 3원색 중 어느 하나의 색 성분값을 발생하는 복수 종류의 광전 변환 소자가 2차원 평면상에, 예컨대, 베이어(Bayer)형으로 배열된 촬상 소자를 또한 구비하는 컬러 촬상 장치의 일부로서 이용되고, 촬상 소자로부터 출력된 화소 신호에 근거해, 각 화소 위치에 있어서의 누락되어 있는 색 성분값(부족색 성분값)을 보간하기 위해서 이용된다.

적, 녹, 청의 컬러 필터가 베이어형으로 배치된 촬상 소자를 갖는 종래의 촬상 장치에서는, 각각의 화소에 대하여 G, B 또는 B, R 또는 R, G의 색 성분값이 부 족하였으며, 예컨대, 하기 특허 문헌 1에 나타낸 바와 같이, 해상도를 높이기 위해서, 색마다의 국소적인 화소 신호의 분포에 근거하여, 각 화소의 화소 신호를 평균치로 치환하고, 이것에 의해서 상정되는 기지색(known color) 기하학 도형과 부족색(missing color) 기하학 도형의 선형 상사비에 근거하는 보간 방법을 이용하고 있다.

(특허문헌 1) 특허 공보 제 2001-197512호(단락 0048∼0049, 도 7)

(발명이 해결하고자 하는 과제)

이 종래의 방법은 보간 처리 대상 화소의 근방의 영역 내에서, 각각의 색 성분값(예컨대, 베이어형 배열에 있어서의 R, G, B 성분값) 사이에 정의 상관(positive correlation)이 있다고 가정하고 있다. 그 때문에, 색 성분값 상호간에 정의 상관이 없는 영역(예컨대, 어떤 색과 다른 색의 경계 등), 예컨대, 상관이 없는 경우나 부의 상관(negative correlation)이 있는 영역에서는, 보간을 적절히 행할 수 없고, 보간 오차가 커진다고 하는 문제가 있었다.

본 발명은 보간 처리 대상 화소의 근방의 영역 내에서의 색 성분값의 변화의 방법에 관계없이, 항상 최적의 보간 방법으로 보간을 행할 수 있는 화소 신호 처리 장치를 제공하는 것을 목적으로 한다.

(과제를 해결하기 위한 수단)

본 발명은 2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 조(set)에 근거하여, 제 h(h는 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호가 존재하는 보간 대상 화소 위치에 있어서의 제 k(k는 h를 제외한 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치에 있어서, 상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호의 저주파수 성분과의 차를 산출하는 차 산출 수단과, 상기 보간 대상 화소 위치의 근방의 영역 내에서의 상기 제 k 분광감도 특성의 화소 신호와, 상기 제 h 분광감도 특성의 화소 신호와의 비상관의 정도에 대응한 비상관값을 산출하는 비상관값 산출 수단과, 상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 차와, 상기 비상관값에 따라서 상기 보간 대상 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 보간값 산출 수단을 갖는 화소 신호 처리 장치를 제공한다.

(발명의 효과)

본 발명에 의하면, 보간 대상의 화소가 색의 경계 부근에 있는 경우 등, 색 성분값 상호간의 상관 관계가 여러 가지로 다르더라도, 정확한 보간을 행할 수 있다.

도 1은 본 발명의 실시예 1의 화소 신호 처리 장치를 구비한 촬상 장치의 구성을 나타내는 블럭도,

도 2는 베이어형으로 배치된 R, G, B의 3원색의 색 필터를 나타내는 설명도,

도 3은 이미지 센서의 촬상면상에 있어서의 R 화소의 배치를 나타내는 도면,

도 4는 이미지 센서의 촬상면상에 있어서의 G 화소의 배치를 나타내는 도면,

도 5는 이미지 센서의 촬상면상에 있어서의 B 화소의 배치를 나타내는 도면,

도 6은 R 신호의 LPF 값을 나타내는 도면,

도 7은 G 신호의 LPF 값을 나타내는 도면,

도 8은 B 신호의 LPF 값을 나타내는 도면,

도 9는 R 신호의 HPF 값을 나타내는 도면,

도 10은 G 신호의 HPF 값을 나타내는 도면,

도 11은 B 신호의 HPF 값을 나타내는 도면,

도 12는 실시예 1의 연산 수단의 구성을 나타내는 블럭도,

도 13은 k 신호와 h 신호 사이에 정의 상관이 있는 경우, 실시예 1의 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 14는 k 신호와 h 신호 사이에 상관이 없는 경우, 실시예 1의 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 15는 k 신호와 h 신호 사이에 상관이 없는 경우, 실시예 1의 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 16은 k 신호와 h 신호 사이에 부의 상관이 있는 경우, 실시예 1의 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 17은 본 발명의 실시예 1, 2에 있어서의 보간 절차를 나타내는 흐름도,

도 18은 R 화소 위치에 있어서의 화소 보간한 G 신호의 배열을 나타내는 도면,

도 19는 B 화소 위치에 있어서의 화소 보간한 G 신호의 배열을 나타내는 도면,

도 20은 G 화소 위치에 있어서의 화소 보간한 R 신호의 배열을 나타내는 도면,

도 21은 G 화소 위치에 있어서의 화소 보간한 B 신호의 배열을 나타내는 도면,

도 22는 B 화소 위치에 있어서의 화소 보간한 R 신호의 배열을 나타내는 도면,

도 23은 R 화소 위치에 있어서의 화소 보간한 B 신호의 배열을 나타내는 도면,

도 24는 실시예 2의 연산 수단의 구성을 나타내는 블럭도,

도 25는 k 신호와 h 신호 사이에 정의 상관이 있는 경우, 실시예 2의 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 26은 k 신호와 h 신호 사이에 상관이 없는 경우, 실시예 2의 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 27은 k 신호와 h 신호 사이에 상관이 없는 경우, 실시예 2의 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 28은 k 신호와 h 신호 사이에 부의 상관이 있는 경우, 실시예 2의 화소 보간의 원리를 모식적으로 나타내는 설명도이다.

도면의 주요 부분에 대한 부호의 설명

1 : 렌즈 2 : 이미지 센서

3 : A/D 변환기 4 : 프레임 메모리

5 : 디멀티플렉서 6r : R 신호용 2차원 메모리

6g : G 신호용 2차원 메모리 6b : B 신호용 2차원 메모리

7r : R 신호용 HPF 8r : R 신호용 LPF

7g : G 신호용 HPF 8g : G 신호용 LPF

7b : B 신호용 HPF 8b : B 신호용 LPF

10 : 연산 수단 11 : 출력 단자

21, 23h, 23k, 24h, 24k : 선택 수단

25, 26 : 차 계산 수단 27, 28 : 계수 승산 수단

29 : 가산 수단 30 : 제어 수단

32 : 비 계산 수단 33 : 가산 수단

34 : 승산 수단

이하, 도면을 참조하여 본 발명의 실시예를 설명한다. 이하에 설명하는 실시예는 디지털 스틸 카메라의 일부로서 이용하는데 적합한 것이지만, 본 발명은 이것에 한정되지 않는다.

(실시예 1)

도 1은 본 발명의 실시예 1의 화소 신호 처리 장치를 구비한 촬상 장치의 구성을 나타내는 블럭도이다.

렌즈(1)로부터 입사한 광은, 예컨대, 고체 촬상 소자로 구성되는 2차원 이미지 센서(2)의 촬상면에 결상된다. 이미지 센서(2)는 2차원적으로 배열된 복수의 광전 변환 소자를 갖고, 이 복수의 광전 변환 소자는, 예컨대, 도 2에 나타내는 바와 같이, 베이어형으로 배치된 적(R), 녹(G), 청(B)의 3원색에 대응하는 분광감도 특성을 갖는 컬러 필터로 덮여 있고, 각 광전 변환 소자로부터는, 컬러 필터의 색에 대응한 색성분의 아날로그 신호가 출력된다.

도 2에 있어서, 가로, 세로는 각각 촬상면의 수평 방향(H), 수직 방향(V)을 나타낸다. 광전 변환 소자는 화소를 구성하고, 촬상면상에서 각 광전 변환 소자가 차지하는 위치가 화소 위치에 대응한다. 각 화소는 촬상 소자의 촬상면상에 2차원적으로 배열되어 있기 때문에, 그들의 위치는 HV 좌표면(또는 HV 면) 위의 좌표값으로 나타낼 수 있다. 도 2는 이미지 센서의 일부만, 즉, 7행 7열의 범위를 나타낸다. 중심의 화소의 수평 방향 위치를 i, 수직 방향 위치를 j, 따라서, 좌표값을 (i, j)로 나타내고, 그 주위의 화소의 수평 방향(행 방향)의 위치를, i-3, i-2, …i+3으로, 수직 방향(열 방향)의 위치를, j-3, j-2, …j+3으로 나타내고 있다.

또한, 이하의 설명에서, R의 컬러 필터로 덮힌 광전 변환 소자에 대응한 화소를 R 화소, G의 컬러 필터로 덮힌 광전 변환 소자에 대응한 화소를 G 화소, B의 컬러 필터로 덮힌 광전 변환 소자에 대응한 화소를 B 화소라 부른다.

이미지 센서(2)는 입사광을 광전 변환하고 입사 광량에 따른 레벨의 아날로그 신호를 화소마다 출력한다. 이 아날로그 신호는 A/D 변환기(3)에서 디지털 신호로 변환되고, 출력되며, 각 화소가 갖는 색 성분값(화소 신호)으로서, 프레임 메모리(4)에 기입된다. 이 때, 각 신호는 각 화소의 촬상면상에서의 위치, 따라서 HV 좌표면상에서의 위치에 대응시켜 기입된다.

상기한 바와 같이, 각 화소를 구성하는 광전 변환 소자의 각각은 필터에 의해 덮여 있기 때문에, 적, 녹, 청 중 어느 하나의 색의 광을 수광한다. 각 광전 변환 소자에서 수광하는 광의 색을「수광색」이라 하고, 각 화소에 대하여 수광색 이외의 색을「부족색」이라 하는 경우가 있다.

각 화소를 구성하는 광전 변환 소자의 각각으로부터는 수광색에 대응하는 한 개의 색 성분값을 나타내는 신호밖에 얻을 수 없다. 즉, R 화소에 관해서는, R 성분값이 기지인 한편, G 및 B 성분값이 미지이며, G 화소에 관해서는, G 성분값이 기지인 한편, B 및 R 성분값이 미지이며, B 화소에 관해서는, B 성분값이 기지인 한편, R 및 G 성분값이 미지이다. 각 화소에 대하여 R, G, B 모든 색 성분값을 가짐으로써, 컬러 화상을 얻을 수 있기 때문에, 프레임 메모리(4)에 기입되어 있는, 각 화소 위치에 있어서의 미지의 색 성분값은 부족색 성분값이라고도 말하여진다. 본 발명의 화소 신호 처리는 각 화소에 있어서의 미지인 색 성분값(부족색 성분값)을 보간에 의해 구하는 것이다.

프레임 메모리(4)에 기억된 화소 신호는 디멀티플렉서(5)에서 R, G, B 신호마다 2차원 메모리(6r, 6g, 6b)에 분배되어, 기억된다. 즉, R 신호가 2차원 메모리 6r에, G 신호가 2차원 메모리 6g에, B 신호가 2차원 메모리 6b에 각각 기억된다.

도 3, 도 4, 도 5는 각각 이미지 센서(2)의 촬상면상에 있어서의, R 화소, G 화소, B 화소의 배치를 색마다 따로따로 나타낸다. 2차원 메모리(6r, 6g, 6b)의 각각에 있어서도, 각 화소의 신호(색 성분값)는 촬상면상에서의 위치, 따라서, HV 좌표면상에서의 위치에 대응하여 기입된다. 따라서, 도 3, 도 4, 도 5는 디멀티플렉서(5)로부터 분배되어, 기억된 화소 신호의 HV 좌표면상에서의 위치를 나타내는 것이기도 하다.

또, 프레임 메모리(4)는 이미지 센서(2)가 2행에 l행씩 판독을 하는, 이른바, 인터레이스 판독 방식의 것이며, 1장(프레임)의 화소 신호가 전부 얻어지기 위해서 2번의(2필드의) 판독을 행하지 않으면 안 되는 경우에 필요하다. 도 2에 나타내는, 화소 배열에 있어서의 화소를 위로부터 순차적으로 한 줄씩 판독하는, 이른바, 프로그레시브 판독 방식의 이미지 센서(2)의 경우에는, 이미지 센서(2)로부터 보내져 온 화소의 신호를 그대로 디멀티플렉서(5)에서 배분해 가면 되기 때문에, 프레임 메모리(2)가 없더라도 마찬가지의 동작을 실현할 수 있다.

로우 패스 필터(8r, 8g, 8b)는 각각 메모리(6r, 6g, 6b)에 대응하여 마련된 것으로, 메모리(6r, 6g, 6b)로부터 판독된 화소 신호에 대하여 각 색성분의 저주파수 성분을 출력한다. 즉, 로우 패스 필터(8r, 8g, 8b)의 각각은 각 화소에 대하여 그 화소 위치의 근방의 영역(그 화소 위치를 포함하는 영역) 내의 복수의 화소 위치에 있어서의 각 색의 화소 신호의 저주파수 성분을 산출한다. 그 산출 방법에 대하여는 뒤에 자세히 설명한다. 도 6, 도 7, 도 8에 로우 패스 필터(8r, 8g, 8b)의 출력예를 나타낸다.

마찬가지로, 하이 패스 필터(high-pass filter)(7r, 7g, 7b)도 각각 메모리(6r, 6g, 6b)에 대응하여 마련된 것으로, 메모리(6r, 6g, 6b)로부터 판독된 화소 신호에 대하여 각 색성분의 고주파수 성분을 출력한다. 즉, 하이 패스 필터(7r, 7g, 7b)의 각각은 각 화소에 대하여 그 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 각 색의 화소 신호의 변화 성분을 산출한다. 그 산출 방법에 대하여는 뒤에 자세히 설명한다. 도 9, 도 10, 도 11에 하이 패스 필터(7r, 7g, 8r)의 출력예를 나타낸다.

도 6, 도 7, 도 8, 도 9, 도 l0, 도 11에 나타내는 바와 같이, 로우 패스 필터(8r, 8g, 8b)의 출력(RLPF, GLPF, BLPF) 및 하이 패스 필터(7r, 7g, 7b)의 출력(RHPF, GHPF, BHPF)은 모든 화소에 대하여 구해진다.

연산 수단(10)은 2차원 메모리(6r, 6g, 6b)로부터 판독된 화소 신호와 로우 패스 필터(8r, 8g, 8b)의 출력 및 하이 패스 필터(7r, 7g, 7b)의 출력에 기초하여, 각 화소에 대하여 저주파수 성분의 차와 비상관값을 구하고, 또한, 보간값을 구한 다.

연산 수단(10)은, 예컨대, 도 12에 나타내는 바와 같이, 선택 수단(23k, 23h, 24k, 24h, 21)과, 차 계산 수단(25, 26)과, 계수 승산 수단(27, 28)과, 가산 수단(29)과, 제어 수단(30)을 갖는다.

선택 수단(21)은 2차원 메모리(6r, 6g, 6b) 중의 하나를 선택하고, 선택된 2차원 메모리(6r, 6g, 6b)로부터 판독된 화소 신호를 가산 수단(29)에 공급한다.

선택 수단(23k)은 하이 패스 필터(7r, 7g, 7b)의 출력 RHPF, GHPF, BHPF를 입력받고, 이들 중의 하나를 선택하여 출력한다. 선택 수단(23h)은 하이 패스 필터(7r, 7g, 7b)의 출력 RHPF, GHPF, BHPF를 입력받고, 이들 중의 다른 하나를 선택하여 출력한다.

선택 수단(24k)은 로우 패스 필터(8r, 8g, 8b)의 출력 RLPF, GLPF, BLPF를 입력받고, 이들 중의 하나를 선택하여 출력한다. 선택 수단(24h)은 로우 패스 필터(8r, 8g, 8b)의 출력 RLPF, GLPF, BLPF를 입력받고, 이들 중의 다른 하나를 선택하여 출력한다.

선택 수단(21, 23k, 23h, 24k, 24h)에 의한 선택은 제어 수단(30)에 의해 제어된다. 보간 대상 화소가 R, G, B 중의 제 h 색의 색 성분값을 갖고, 보간 대상 화소의 제 k 색의 색 성분값을 보간에 의해 구할 때는, 선택 수단(21)이 제 h 색의 색 성분값을 기억하고 있는 2차원 메모리를 선택하고, 보간 대상 화소의 제 h 색의 색 성분값(예컨대, h(i, j)로 표시된다)을 판독하고, 선택 수단(23k)이 제 k 색의 하이 패스 필터의 출력 kHPF를 선택하고, 선택 수단(23h)이 제 h 색의 하이 패스 필터의 출력 hHPF를 선택하고, 선택 수단(24k)이 제 k 색의 로우 패스 필터의 출력 kLPF를 선택하고, 선택 수단(24h)이 제 h 색의 로우 패스 필터의 출력 hLPF를 선택한다.

차 계산 수단(25)은 제 k HPF신호 kHPF와 제 h HPF신호 hHPF와의 차(전자로부터 후자를 뺀 것) (kHPF-hHPF)를 비상관값으로서 구한다.

차 계산 수단(26)은 제 k LPF신호 kLPF와 제 h LPF신호 hLPF와의 차(전자로부터 후자를 뺀 것) (kLPF-hLPF)를 구한다.

LPF(8r, 8g, 8b)와, 선택 수단(24k, 24h)과, 차 계산 수단(26)에 의해, 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 제 h 분광감도 특성의 화소 신호의 저주파수 성분과의 차를 산출하는 차 산출 수단이 구성되어 있다.

계수 승산 수단(27)은 차 계산 수단(25)의 출력 (kHPF-hHPF)에 소정의 정수 q를 곱하여, 곱 q(kHPF-hHPF)를 출력한다.

계수 승산 수단(28)은 차 계산 수단(26)의 출력 (kLPF-hLPF)에 소정의 정수 r을 곱하여, 곱 r(kLPF-hLPF)를 출력한다.

가산 수단(29)은 선택 수단(21)으로부터 출력되는 화소값 h와, 계수 승산 수단(27)으로부터 출력되는 값 q(kHPF-hHPF)와, 계수 승산 수단(28)으로부터 출력되는 값 r(kLPF-hLPF)를 가산하여, 그 합 h+q(kHPF-hHPF)+r(kLPF-hLPF)를 출력한다.

가산 수단(29)의 출력이 보간 대상 화소의 제 k 색의 색 성분값(보간값)으로서 이 용된다.

상기에서, 하이 패스 필터(7r, 7g, 7b)와 선택 수단(23k, 23h)에 의해, 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 제 k 분광감도 특성의 화소 신호의 변화 성분과, 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 제 h 분광감도 특성의 화소 신호의 변화 성분을 생성하는 변화 성분 생성 수단이 구성되어 있다.

또한, 로우 패스 필터(8r, 8g, 8b)와 선택 수단(24k, 24h)에 의해, 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 제 h 분광감도 특성의 화소 신호의 저주파수 성분을 생성하는 저주파수 성분 생성 수단이 구성되어 있다.

또한, 선택 수단(21)과 계수 승산 수단(27, 28)과 가산 수단(29)에 의해, 보간 대상 화소 위치에 있어서의 제 h 색의 화소 신호와 저주파수 성분의 차 (kLPF-hLPF)와 비상관값 (kHPF-hHPF)에 기초해서, 보간 대상 화소 위치에 있어서의 제 k 색의 화소 신호(보간값)를 구하는 보간값 산출 수단이 구성되어 있다. 보다 자세히 말하면, 이 보간값 산출 수단은 보간 대상 화소의 위치에 있어서의 하나의 색(제 h 색)의 화소 신호와, 차 계산 수단(25)에서 구한 비상관값 (kHPF-hHPF)에 제 1 소정 계수 q를 곱한 것과, 차 계산 수단(26)에서 구한 차 (kLPF-hLPF)에 제 2 소정 계수 r을 곱한 것을 가산함으로써, 보간 대상 화소 위치에 있어서의 다른 색(제 k 색)의 화소 신호를 구한다.

보간값 산출 수단에서 산출된 보간값은, 예컨대, 제 k 색의 화소 신호를 위한 2차원 메모리(6r, 6g, 6b 중 어느 하나)에 기억되거나, 혹은, 출력 단자(11)로부터 출력된다.

이하, 상기한 보간 방법에 대하여, 더욱, 자세히 설명한다.

상기한 바와 같이, 도 4는 HV 좌표면상에 있어서의 G 신호의 배열을 나타내는 것이다.

도면에 기재되어 있는 G 신호는 원래 이미지 센서(2)상에 G의 색 필터가 배치되어 있기 때문에, 그 색 필터를 통해 얻어지는 신호이며, 공백의 개소는 다른 R, B의 색 필터가 배치되어 있기 때문에, G의 색 신호가 누락된 곳이다. 이 누락된 곳에 있어서의 G 신호를 보간할 필요가 있다.

보간을 위한 종래의 방법으로서, 주변 화소의 평균치를 이용하는 평균 보간 방법(바이리니어(bilinear) 보간)이 있지만, 신호의 변화가 큰 개소에서는 정밀도가 높은 보간을 기대할 수 없다.

그래서, 본 실시예에서는, 보간 처리 대상 화소의 근방의 영역 내에서의 색 성분값의 변화의 상태에 상사의 관계가 없는 영역에 있어서도 정확히 보간을 행할 수 있고, 또한, 보간 처리 대상 화소의 근방의 영역 내에서의 색 성분값의 변화의 방법에 관계없이, 항상 최적의 보간 방법으로 보간을 행하는 것으로, 상기한 연산 수단(10)에 있어서의 보간 연산은 이하의 식(1)에 의해 표시된다.

…(1)

식(1)에 있어서, k(i, j)는 이미지 센서(2)상의 좌표 (i, j)에 있어서, 누락된 색 신호로서, 보간되는 색 신호이다. h(i, j)는 (i, j)의 위치에 미리 존재하는(기지값의) 색 신호이다. kHPF, hHPF는 각각 (i, j)의 위치와 그 주변의 화소 위치에 있어서의 k 신호 및 h 신호로부터 소정의 연산에 의해 산출된 HPF 값이다. kLPF, hLPF는 각각 (i, j)의 위치와 그 주변의 화소 위치에 있어서의 k 신호 및 h 신호로부터 별도의 소정의 연산에 의해 산출된 LPF 값이다.

여기서 HPF 값이란, 기지의 화소 신호(이미지 센서 출력)로부터 추측되는 참값의 공간 고주파 성분이며, LPF 값이란, 기지의 화소 신호(이미지 센서 출력)로부터 추측되는 참값의 공간 저주파 성분이다. 여기서 말하는 참값은 이미지 센서의 화소 간격이 무한소이고, 광전 변환 오차가 없을 때에 얻어질, 공간적으로 연속한 화소 신호의 값을 의미한다.

q 및 r은 미리 정한 정수이다.

식(1)에 나타내는 산출식의 의미에 대하여 도 13 내지 도 16을 참조하여 설명한다. 이들 도면에는, 각 화소에 있어서의 색 신호 레벨과 이미지 센서(2)상의 각 화소의 위치가 도시되고 있다. 또한, 이들 도면에서는, 설명을 간단히 하기 위해, 이미지 센서(2)의 한 행만을 기재하고, 일차원 방향만으로 연산을 한정하여 나타낸다. 상부에 기재한 것은 각 색 필터의 배열이며, h는 h 화소, k는 k 화소, 각 화소의 괄호 ( ) 안은 화소 위치를 나타내는 좌표이다. 또한, 곡선 a는 k 신호의 참값이며, 곡선 b는 h 신호의 참값이다. 곡선 a, b 상에 있어, 검은 원(●)으로 나타내는 개소는 이미지 센서(2)로부터 얻어진 k 신호 및 h 신호의 화소 신호 값이다. 곡선 c, d는 각각 k 신호, h 신호의 LPF 값이며, 곡선 e, f는 각각 k 신호, h 신호의 HPF 값이다. 이들 도면을 참조하여, 화소 위치 (i, j)에 있어서의 k 신호의 화소 보간을 행하는 방법을 구체적으로 설명한다.

도 13은 k 신호와 h 신호 사이에 정의 상관이 있는 경우를 나타내고, 도 14 및 도 15는 k 신호와 h 신호 사이에 상관이 없는 경우를 나타내며, 도 16은 k 신호와 h 신호 사이에 부의 상관이 있는 경우를 나타낸다.

먼저, 도 13을 참조하여 k 신호와 h 신호 사이에 정의 상관이 있는 경우에 대하여 설명한다. 화소 위치 (i, j)에 있어서의 곡선 c와 d의 차가 저주파수 성분의 차 (kLPF-hLPF)에 비례하는 값 r(kLPF-hLPF)로 된다. 또한, 화소 위치 (i, j)에 있어서의 곡선 e와 f의 차가 비상관값 (kHPF-hHPF)로 된다. 곡선 e와 f로 나타내는 HPF 값은 k 신호와 h 신호의 변화가 동일한 경우, 같은 값으로 되기 때문에 겹쳐져 묘사되어 있고, 비상관값 (kHPF-hHPF)은 "0"이다.

종래 기술에 의한 바이리니어 방법에서는, 화소 위치 (i-1, j)와 (i+1, j)에 있어서의 k 신호를 이용하여 그 평균치를 화소 위치 (i, j)에 있어서의 k 신호로 한다. 바이리니어 방법에 의해서 보간된 신호 레벨을 도 13에 있어서, 흰 삼각형(△)으로 나타냈지만, 구해야 할 참값과의 사이에 보간 오차가 발생하고 있다.

본 실시예에 의한 보간 방법에서는, 화소 위치 (i, j)에 있어서의 기지의 값 h(i, j)에 비상관값 (kHPF-hHPF)와 저주파수 성분의 차 (kLPF-hLPF)를 각각 계수 q, r을 곱한 후 가산하지만, 도 13에 나타내는 바와 같이, k 신호와 h 신호 사이에 상관이 있는 경우, 비상관값은 약 "0"이며, 결국, 화소 위치 (i, j)에 있어서의 기지의 값 h(i, j)에 저주파수 성분의 차 (kLPF-hLPF)를 계수 r을 곱한 후 가산한 것이 보간 신호 k(i, j)가 된다. 이 보간 신호 k(i, j)를 도 13에 흰 원(○)으로 나타낸다. 참값에 대하여 정밀도 좋게 화소 보간이 실현 가능함을 알 수 있다. 이와 같이, 본 실시예에 의해, 색 신호 사이의 상관이 큰 경우에도 정밀도 좋게 화소 보간을 행할 수 있다.

다음에, 색 신호 사이에 상관이 없는 경우에 대하여 설명한다. 도 14와 도 15에 각 화소에 있어서의 색 신호 레벨과 이미지 센서(2)상의 각 화소의 위치를 나타낸다. 도 14 및 도 15에 나타낸 신호에서는, k 신호는 일정하며, k 신호와 h 신호의 변화에 상관이 없다.

우선, 도 14를 참조하여 설명한다. 도 14의 예에서는, k 신호에 변화가 없기 때문에, 곡선 e로 나타내는 k 신호의 HPF 값 kHPF는 "0"이다. 상기 특허 문헌 1(특허 공보 제 2001-197512호)에 개시된 방법에 의한 색의 상관 변화만을 이용한 보간은 h(i, j)의 신호에 (kLPF-hLPF)에 비례한 값을 가산하는 것에 상당한다.

이 경우, 화소 보간된 신호 레벨은 도 14에 있어서의 흰 사각형(□)으로 나타내는 신호 레벨이 된다. 흰 사각형으로 나타내는 신호 레벨은 k 신호의 참값으로부터 떨어진 위치의 값이 되기 때문에 보간 오차가 발생하고 있는 것을 알 수 있다. 이것은, 화소 위치 (i, j)에 있어서의 보간 대상의 k 신호는 참조로 하는 h 신호와의 사이에 상관이 없기 때문이다.

한편, 본 실시예에 의한 화소 보간 방법에서는, 화소 위치 (i, j)에 있어서 의 h 신호 h(i, j)에, (kLPF-hLPF)에 계수 r을 곱한 것을 가산하며, 또한, (kHPF-hHPF)에 계수 q를 곱한 것을 가산한다. kHPF는 "0"이기 때문에, 화소 위치 (i, j)에 있어서의 (kHPF-hHPF)는 부의 값이 된다. 따라서, 본 실시예에 의한 보간 방법에서는, 보간된 신호 레벨은 흰 원(○)의 위치가 되며, k 신호의 참값에 대하여 정밀도 높게 보간된다. 본 실시예에서는, k 신호와 h 신호의 신호 변화에 얼마만큼 상관이 없는가는 (kHPF-hHPF)의 값으로서 구해지게 된다. (kHPF-hHPF)를「비상관값」이라고 부르는 것은 이것 때문이다. 다른 한편, 저주파수 성분의 차 (kLPF-hLPF)는 상관의 정도를 나타내며, 상관의 정도가 높을수록 일정한 값에 가까워진다. 따라서, (kLPF-hLPF)와 (kHPF-hHPF)의 양쪽의 값이, 각각의 계수 r, q를 곱한 뒤에 h(i, j)에 가산되는 것에 의해, 신호 사이에 상관이 없는 경우라도, 정밀도 높게 화소 보간을 행할 수 있다.

도 15에는, 도 14와는 반대로, k 신호가 변화하고, h 신호에 변화가 없는, 2개의 색 신호 사이에 상관이 없는 별도의 예를 나타낸다. 상기 특허 문헌 1(특허 공보 제 2001-197512호)에 개시된 방법에 의한 색의 상관 변화만을 이용한 보간은 h(i, j)의 신호에 (kLPF-hLPF)의 신호 레벨을 가산하는 것에 상당한다.

이 경우, 화소 보간된 신호 레벨을 도 15에 있어서의 흰 사각형(□)으로 나타내는 신호 레벨이 된다. 흰 사각형으로 나타내는 신호 레벨은 k 신호의 참값으로부터 떨어진 위치의 값이 되기 때문에 보간 오차가 발생하고 있는 것을 알 수 있다.

한편, 본 실시예에 의한 화소 보간 방법에서는, 화소 위치 (i, j)에 있어서 의 h 신호 h(i, j)에, (kLPF-hLPF)에 계수 r을 곱한 것을 가산하며, 또한, (kHPF-hHPF)에 계수 q를 곱한 것을 가산한다. hHPF는 "0"이기 때문에, 화소 위치 (i, j)에 있어서의 (kHPF-hHPF)는 정의 값이 된다. 따라서, 본 실시예에 의한 보간 방법에서는, 보간된 신호 레벨은 흰 원(○)의 위치가 되며, k 신호의 참값에 대하여 정밀도 높게 보간된다. 본 실시예에서는, (kLPF-hLPF)와 (kHPF-hHPF)의 양쪽의 값이, h(i, j)에 각각의 계수 r, q를 곱한 뒤에 가산되는 것에 의해 도 15에 나타내는 신호 사이에 상관이 없는 경우에 있어서도, 정밀도 높게 화소 보간을 행할 수 있다.

도 14 및 도 15에서는, 색 신호 사이에 상관이 없는 경우에 대하여 설명했지만, 다음에, 색 신호 사이에 부의 상관이 있는 경우에 대하여 설명한다. 도 16에 k 신호와 h 신호 사이에 부의 상관이 있는 경우를 나타낸다. 화소 위치 (i, j)에 있어서의 곡선 a와 쇄선 c의 차 Δ(a-c)와, 곡선 d와 곡선 b의 차 Δ(d-b)의 합이 비상관값 (kHPF-hHPF)에 비례하는 값 q(kHPF-hHPF)와 같다. 바이리니어 보간 방법에 의한 화소 보간은 흰 삼각형(△)으로 나타내는 신호 레벨이며, 도 13과 같이 참값에 대하여 보간 오차가 발생하고 있다. 또한, 부의 상관 관계인 경우, 상기 특허 문헌 1(특허 공보 제 2001-197512호)에 개시된 방법에 의한 색의 상관 변화만을 이용한 화소 보간에서는, 흰 사각형(□)으로 나타내는 바와 같이, 더욱, 보간 오차가 확대된다. 본 실시예에 의한 보간 방법에서는, 흰 원(○)으로 나타내는 바와 같이, 정밀도 높게 화소 보간이 실현될 수 있다.

이상과 같이, 색 신호 사이에 정의 상관이 있는 경우, 상관이 없는 경우, 부 의 상관이 있는 경우 중 어느 쪽에 있어서도 정밀도가 높은 화소 보간을 행할 수 있다.

화소 보간의 연산 처리에 대하여 이하에 구체적으로 설명한다. 도 17에 연산 수단(10)의 연산의 순서를 흐름도로서 나타낸다. 흐름도에 기재하는 바와 같이, 보간값의 산출은 이하의 6개의 처리를 포함한다.

단계 S1 : R 화소 위치에 있어서의 G 신호(GonR)를 구하기 위한 처리.

단계 S2 : B 화소 위치에 있어서의 G 신호(GonB)를 구하기 위한 처리.

단계 S3 : G 화소 위치에 있어서의 R 신호(RonG)를 구하기 위한 처리.

단계 S4 : G 화소 위치에 있어서의 B 신호(BonG)를 구하기 위한 처리.

단계 S5 : R 화소 위치에 있어서의 B 신호(BonR)를 구하기 위한 처리.

단계 S6 : B 화소 위치에 있어서의 R 신호(RonB)를 구하기 위한 처리.

이들 6개의 처리는 「h 색(h=R, G, 또는 B)의 화소 신호가 존재하는 화소 위치에 있어서의 k 색(k=R, G, 또는 B, 단, h는 k와 다르다)의 화소 신호를 구하기 위한 처리」라고 일반화하여 말할 수 있다. 이들 6개의 처리의 각각은 화면상(1 프레임 내)의 모든 화소 위치에 대하여 행하여진다.

상기 6개의 처리가 전부 끝난 때에, 한 화면상의 모든 화소 위치의 모든 화소에 있어서의 부족한 색의 화소 신호가 갖추어진다.

우선, 단계 S1의 연산 처리에 대하여 설명한다. 도 4에 있어서, G 신호가 미리 존재하지 않는(값이 미지의) 화소의 좌표 (i, j)에 주목한다. 좌표 (i, j)의 G 신호의 LPF 값 GLPF는, 예컨대, 다음 식(2)에 의해 산출된다.

…(2)

각 신호의 괄호 ( ) 안은 화소의 좌표를 의미하고 있다.

G 신호가 미리 존재하고 있는 화소 위치 (i+1, j)의 G 신호의 LPF 값 GLPF는 다음 식(3)에 의해 산출된다.

…(3)

G 화소의 배열은 모두 같은 화소 간격의 반복이기 때문에, 상기 식(2) 및 식(3)에 의해 G 신호의 LPF 값을 산출할 수 있다. G 신호의 LPF 값의 연산은 도 1의 LPF(8g)에 의해서 산출되며, 연산 수단(10)에 입력된다.

또한, G 신호가 미리 존재하지 않는 화소 위치 (i, j)의 G 신호의 HPF 값 GHPF는 다음 식(4)에 의해 산출된다.

…(4)

G 신호가 미리 존재하고 있는 화소 위치 (i+1, j)의 G 신호의 HPF 값 GHPF는 다음 식(5)에 의해 산출된다.

…(5)

G 화소의 배열은 모두 같은 화소 간격의 반복이기 때문에, 상기 식(4) 및 식(5)에 의해 G 신호의 HPF 값을 산출할 수 있다. G 신호의 HPF 값의 연산은 도 l의 HPF(7g)에 의해서 산출되며, 연산 수단(l0)에 입력된다.

R 신호의 LPF 값, HPF 값은 다음 식에 의해서 산출된다. 우선, 어떤 화소에도 R 신호가 존재하지 않는 j행에 있어서는, 상하의 행으로부터 값을 산출한다. 화소의 좌표 (i, j)의 R 신호의 LPF 값 RLPF는 다음 식(6)에 의해 산출된다.

…(6)

좌표 (i+1, j)의 R 신호의 LPF 값 RLPF는 다음 식(7)에 의해 산출된다.

…(7)

한편, R 신호가 미리 존재하는 행, 예컨대, j+1행의 화소 위치 (i, j+1)의 R 신호의 LPF 값 RLPF는 다음 식(8)에 의해 산출된다.

…(8)

또한, R 신호가 미리 존재하는 행, 예컨대, j-1행의 화소 위치 (i+1, j+1)의 R 신호의 LPF 값 RLPF는 다음 식(9)에 의해 산출된다.

…(9)

R 화소의 배열은 (i, j), (i+1, j), (i, j+1), (i+1, j+1)의 반복이기 때문에, 상기 식(6) 내지 식(9)에 의해 R 신호의 LPF 값을 산출할 수 있다. R 신호의 LPF 값의 연산은 도 l의 LPF(8r)에 의해서 산출되며, 연산 수단(10)에 입력된다.

또한, 좌표 (i, j)에 있어서의 R 신호의 HPF 값 RHPF는 다음 식(10)에 의해 산출된다.

…(10)

좌표 (i+1, j)에 있어서의 R 신호의 HPF 값 RHPF는 다음 식(11)에 의해 산출 된다.

…(11)

한편, R 신호가 미리 존재하는 행, 예컨대, j+1행의 화소 위치 (i, j+1)의 R 신호의 HPF 값 RHPF는 다음 식(12)에 의해 산출된다.

…(12)

또한, R 신호가 미리 존재하는 행, 예컨대, j-1행의 화소 위치 (i+1, j+1)의 R 신호의 HPF 값 RHPF는 다음 식(13)에 의해 산출된다.

…(13)

R 화소의 배열은 (i, j), (i+1, j), (i, j+1), (i+1, j+1)의 반복이기 때문에, 상기 식(10) 내지 식(13)에 의해 R 신호의 HPF 값도 산출할 수 있다. R 신호의 HPF 값의 연산은 도 l의 HPF(7r)에 의해서 산출되며, 연산 수단(10)에 입력된 다.

마지막으로, B 신호의 LPF 값, HPF 값인데, B 화소의 배열은 R 화소의 배열과 좌표값이 다를 뿐이며, 동일한 배열을 하고 있다. 따라서, 식(6) 내지 식(13)에 나타내는 R 신호의 LPF, HPF의 산출식과 같이, 그 좌표를 바꾸는 것만으로 산출할 수 있으므로 그 상세식은 생략한다. B 신호의 LPF 값의 연산은 도 1의 LPF(8b)에 의해서 산출되며, 연산 수단(10)에 입력된다. 또한, B 신호의 HPF 값의 연산은 도 1의 HPF(7b)에 의해서 산출되며, 연산 수단(10)에 입력된다.

이상 나타낸 LPF 및 HPF의 산출식은 식(1)에 이용하기 위한 값을 산출하는 식이지만, 일례에 지나지 않고, 예컨대, LPF 값의 연산식 및 HPF 값의 연산식에 있어서 이용하는 화소수나 계수는 화상의 크기나 해상도에 따라 다른 값을 적절히 마련하더라도 좋다.

상술한 식(2) 내지 식(13)에 의해, R, G, B 신호의 화상 전체의 화소 위치에 대한 LPF 값과 HPF 값이 구해진다. 단계 S1에서는, R 화소의 위치에 있어서의 누락된 G 신호를 산출한다. R 화소의 위치에 있어서의 G 신호는 식(1)에 따라서 다음 식(14)에 의해 산출된다. R 화소는 (i+n, j+m)(n, m은 홀수)의 위치에 존재하기 때문에, 이것에 따라 식(1)과는 좌표값이 다른 것이 된다.

…(14)

식(14)에 나타낸 GHPF, GLPF, RHPF, RLPF는 상술한 식(2) 내지 식(13)에 의 해 산출한 HPL 출력 및 LPF 값이다. 정수 q, r은 화상이 적절히 보간되도록 미리 정하여 놓으면 좋다. 예컨대, q=0.25, r=1로 양호하게 화소 보간을 할 수 있지만, 이 값에 한정되는 것은 아니다. 도 18은 식(14)에 의한 보간의 결과 얻어진 G 신호(gr)를 각각 대응하는 R 화소 위치에 2차원적으로 나타낸다.

다음에, 단계 S2의 연산 처리로 넘어간다. 단계 S2는 B 화소의 위치에 있어서의 누락된 G 신호를 보간한다. B 화소의 위치에 있어서의 G 신호는 식(1)에 따라서 다음 식(15)에 의해 산출된다. B 화소는 (i+s, j+t)(s, t는 짝수)의 위치에 존재하기 때문에, 이것에 따라 식(1)과는 좌표값이 다른 것이 된다.

…(15)

도 19는 식(15)에 의한 보간의 결과 얻어진 G 신호(gb)를 각각 대응하는 B 화소 위치에 2차원적으로 나타낸다. 도 19에서는, 식(14)에 의한 보간의 결과(gr)도 나타내고 있다. 식(14)에 의한 R 화소 위치의 G 신호의 보간 및 식(15)에 의한 B 화소 위치에 있어서의 G 신호의 보간에 의해, 전체 화소 위치에 있어서의 G 신호가 얻어진다.

다음에, 단계 S3의 연산 처리로 넘어간다. 단계 S3은 G 화소의 위치에 있어서의 누락된 R 신호를 보간한다. G 화소의 위치에 있어서의 R 신호는 식(1)에 따라서 다음 식(16), 식(l7)에 의해 산출된다. G 화소는 (i+s, j+m)(s는 짝수, m은 홀수)의 위치와 (i+n, j+t)(n은 홀수, t는 짝수)에 존재하기 때문에, 이것에 따라 식(1)과는 좌표값이 다른 것이 된다.

…(16)

…(17)

도 20은 식(16) 및 식(17)에 의한 보간의 결과 얻어진 R 신호(rg)를 각각 대응하는 G 화소 위치에 2차원적으로 나타낸다.

또, 식(16) 및 식(17)에 있어서도 RLPF, RHPF, GLPF, GHPF는 상술한 식(2) 내지 식(13)에 나타낸 LPF 및 HPF의 출력값이지만, GLPF 및 GHPF에 관해서는, 단계 S1 및 단계 S2에서 산출한 보간값(gr, gb)을 이용하여 새롭게 산출하여도 좋다. 그 경우, 도 1에 나타내는 바와 같이, 연산 수단(10)에서 산출한 보간값 (gr, gb)을 한 번 2차원 메모리(6g)로 출력하여, 일시적으로 기억 유지한 후, 재차 HPF(7g), LPF(8g)에서 산출하는 것이 된다.

다음에, 단계 S4의 연산 처리로 넘어간다. 단계 S4는 G 화소의 위치에 있어서의 누락된 B 신호를 보간한다. G 화소의 위치에 있어서의 B 신호는 식(1)에 따라서 다음 식(18), 식(19)에 의해 산출된다. G 화소는 (i+s, j+m)(s는 짝수, m은 홀수)의 위치와 (i+n, j+t)(n은 홀수, t는 짝수)에 존재하기 때문에, 이것에 따라 식(1)과는 좌표값이 다른 것이 된다.

…(18)

…(19)

도 21은 식(18) 및 식(19)에 의한 보간의 결과 얻어진 B 신호(bg)를 각각 대응하는 G 화소 위치에 2차원적으로 나타낸다.

또, 본 식(18) 및 식(19)에 있어서도 BLPF, BHPF, GLPF, GHPF는 상술한 LPF 및 HPF의 출력값이지만 GLPF 및 GHPF에 관해서는, 단계 S1 및 단계 S2에서 산출한 보간값(gr, gb)을 이용하여 새롭게 산출하여도 좋다.

다음에, 단계 S5의 연산 처리로 넘어간다. 단계 S5는 B 화소의 위치에 있어서의 누락된 R 신호를 보간한다. B 화소의 위치에 있어서의 R 신호는 식(1)에 따라서 다음 식(20)에 의해 산출된다. B 화소는 (i+s, j+t)(s, t는 짝수)의 위치에 존재하기 때문에, 이것에 따라 식(1)과는 좌표값이 다른 것이 된다.

…(20)

도 22는 식(20)에 의한 보간의 결과 얻어진 R 신호(rb)를 각각 대응하는 B 화소 위치에 2차원적으로 나타낸다. 도 22에는, 또, 식(16) 및 식(17)에 의한 보간의 결과 얻어진 R 신호(rg)를 각각 대응하는 G 화소 위치에 나타내고 있다. 식(16) 및 식(17)에 의한 보간과 식(31)에 의한 보간의 결과, 모든 화소의 R 신호가 얻어진다.

또, 식(20)에 있어서도, RLPF, RHPF, GLPF, GHPF는 상술한 LPF 및 HPF의 출력값이지만, GLPF 및 GHPF에 관해서는, 단계 S1 및 단계 S2에서 산출한 보간값(gr, gb)을 이용하여 새롭게 산출하여도 좋다. 또한, RLPF, RHPF도 단계 S3에서 산출한 보간값(rg)을 이용하여 새롭게 산출해도 좋다.

다음에, 단계 S6의 연산 처리로 넘어간다. 단계 S6는 R 화소의 위치에 있어서의 누락된 B 신호를 보간한다. R 화소의 위치에 있어서의 B 신호는 식(1)에 따라서 다음 식(21)에 의해 산출된다. R 화소는 (i+n, j+m)(n, m은 홀수)의 위치에 존재하기 때문에, 이것에 따라 식(1)과는 좌표값이 다른 것이 된다.

…(21)

도 23은 식(21)에 의한 보간의 결과 얻어진 B 신호(br)를 각각 대응하는 R 화소 위치에 2차원적으로 나타낸다. 도 23에는, 또, 식(18) 및 식(19)에 의한 보간의 결과 얻어진 B 신호(bg)가 각각 대응하는 G 화소 위치가 표시되어 있다. 식(18) 및 식(19)에 의한 보간과 식(21)에 의한 보간의 결과, 모든 화소의 B 신호가 갖추어진다.

또, 식(21)에 있어서도, BLPF, BHPF, GLPF, GHPF는 상술한 LPF 및 HPF의 출력값이지만, GLPF 및 GHPF에 관해서는, 단계 S1 및 단계 S2에서 산출한 보간값(gr, gb)을 이용하여 새롭게 산출하여도 좋다. 또한, BLPF, BHPF도, 단계 S4에서 산출한 보간값(bg)을 이용하여 새롭게 산출해도 좋다.

이상 단계 S1 내지 단계 S6의 연산에 의해, 각 화소에 있어서의 누락된 색 신호를 보간하고, 전체 화소의 R, G, B 신호를 얻을 수 있다.

(실시예 2)

다음에, 실시예 2의 화상 신호 처리 장치를 설명한다. 실시예 2의 화상 신호 처리 장치를 구비한 촬상 장치의 전체적 구성은 도 1에 나타내는 것과 같지만, 연산 수단(10)의 구성이 실시예 1과는 다르다. 도 24는 실시예 2의 연산 수단의 구성을 나타낸다. 도 24에 나타내는 연산 수단은 대체로 도 12의 연산 수단과 마찬가지이지만, 차 계산 수단(26)의 대신에 비 계산 수단(ratio calculating means)(32)을 구비하고, 가산 수단(29)의 대신에 가산 수단(33)과 승산 수단(34)의 조합을 갖는 점에서 다르다.

비 계산 수단(32)은 선택 수단(24k)의 출력과 선택 수단(24h)의 출력의 비 kLPF/hLPF를 구한다.

본 실시예 2에서는, LPF(8r, 8g, 8b)와, 선택 수단(24k, 24h)과, 비 계산 수단(32)에 의해, 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 제 h 분광감도 특성의 화소 신호의 저주파수 성분과의 비를 산출하는 비 산출 수단이 구성되어 있다.

계수 승산 수단(28)은 비 계산 수단(32)의 출력 kLPF/hLPF에 소정 계수 r을 곱하고, 그 곱 r(kLPF/hLPF)을 출력한다.

가산 수단(33)은 선택 수단(21)으로부터 출력되는 화소값 h와, 계수 승산 수단(27)으로부터 출력되는 값 q(kHPF-hHPF)를 가산하여, 그 합 h+q(kHPF-hHPF)를 출력한다.

승산 수단(34)은 가산 수단(33)의 출력 h+q(kHPF-hHPF)와, 계수 승산 수단(28)의 출력 r(kLPF/hLPF)를 승산하고, 그 곱 {h+q(kHPF-hHPF)}×r(kLPF-hLPF)를 출력한다.

승산 수단(34)의 출력이 보간 대상 화소의 제 k 색의 색 성분값(보간값)으로서 이용된다.

상기에서, 선택 수단(21)과, 계수 승산 수단(27, 28)과, 가산 수단(33)과, 승산 수단(34)에 의해, 보간 대상 화소 위치에 있어서의 제 h 색의 화소 신호와, 저주파수 성분의 비 (kLPF/hLPF)와, 비상관값 (kHPF-hHPF)에 근거해서, 보간 대상 화소 위치에 있어서의 제 k 색의 화소 신호(보간값)를 구하는 보간값 산출 수단이 구성되어 있다. 보다 자세히 말하면, 이 보간값 산출 수단은 보간 대상 화소의 위치에 있어서의 하나의 색(제 h 색)의 화소 신호와, 차 계산 수단(25)에서 구한 비상관값 (kHPF-hHPF)에 제 1 소정 계수(q)를 곱한 것과의 합과, 비 계산 수단(32)에서 구한 저주파수 성분의 비(kLPF/hLPF)에 제 2 소정 계수(r)를 곱한 것을 승산함으로써, 보간 대상 화소 위치에 있어서의 다른 색(제 k 색)의 화소 신호를 구한다.

보간값 산출 수단에서 산출된 보간값은, 예컨대, 제 k 색의 화소 신호를 위 한 2차원 메모리(6r, 6g, 6b 중 어느 하나)에 기억되거나, 혹은 출력 단자(11)로부터 출력된다.

상기한 연산 수단(10)에 의한 보간 연산은 다음 식(22)로 나타낸다.

…(22)

식(22)에 있어서, 식(1)과 같이, k(i, j)는 이미지 센서(2)상의 좌표 (i, j)에 있어서, 누락된 색 신호이며, 보간되는 색 신호이다. h(i, j)는 (i, j)의 위치에 미리 존재하는 색 신호이다. kHPF, hHPF는 k 신호 및 h 신호의 (i, j)의 위치의 주변의 화소로부터 소정의 연산에 의해 산출된 HPF 값이다. kLPF, hLPF는 k 신호 및 h 신호의 (i, j)의 위치의 주변의 화소로부터 별도의 소정의 연산에 의해 산출된 LPF 값이다. q 및 r은 미리 정한 정수이다.

식(22)에 나타낸 산출식의 의미에 대하여 도 25 ∼ 도 28을 참조하여 설명한다. 이들 도면에는, 도 13 ∼ 도 16과 같이, 각 신호 레벨과 이미지 센서(2)상의 각 화소의 위치가 표시되어 있다. 또한, 설명을 간단히 하기 위해서, 이미지 센서(2)의 한 행만을 기재하며, 1차원 방향만으로 연산을 한정하여 나타낸다. 상부에 기재한 것은 각 색 필터의 배열이며, h는 h 화소, k는 k 화소, 각 화소의 괄호 ( ) 안은 화소 위치를 나타내는 좌표이다. 또한, 곡선 a는 k 신호의 참값이며, 곡선 b는 h 신호의 참값이다. 곡선 a, b 상에 있어서, 검은 원(●)으로 나타내는 개소는 이미지 센서(2)로부터 출력된 k 신호 및 h 신호의 화소 신호 값이다. 곡선 c, d는 각각 k 신호, h 신호의 LPF 값이며, 곡선 e, f는 각각 k 신호, h 신호의 HPF 값이다. 이들 도면을 참조하여, 화소 위치 (i, j)에 있어서의 k 신호의 화소 보간을 행하는 방법을 구체적으로 설명한다.

도 25는 k 신호와 h 신호 사이에 정의 상관이 있는 경우를 나타내며, 도 26 및 도 27은 k 신호와 h 신호 사이에 상관이 없는 경우를 나타내고, 도 28은 k 신호와 h 신호 사이에 부의 상관이 있는 경우를 나타낸다.

먼저, 도 25를 참조하여 k 신호와 h 신호 사이에 정의 상관이 있는 경우에 대하여 설명한다. 곡선 e와 f로 표시되는 HPF 값은 k 신호와 h 신호의 변화가 동일한 경우, 같은 값이 되기 때문에 겹쳐져 묘사되어 있다.

종래 기술에 의한 바이리니어 방법에서는, 화소 위치 (i-1, j)와 (i+1, j)에 있어서의 k 신호를 이용하여 그 평균치를 화소 위치 (i, j)에 있어서의 k 신호로 한다. 바이리니어 방법에 의해서 보간된 신호 레벨을 도 25에 있어서의 흰 삼각형(△)으로 나타냈지만, 구해져야 할 참값과 보간 오차가 발생하고 있다.

한편, 본 실시예에 의한 보간 방법에서는, 화소 위치 (i, j)에 있어서의 기지의 값 h(i, j)에 비상관값 (kHPF-hHPF)를 계수 q를 곱한 후 가산하고, 가산 결과에 비 kLPF/hLPF에 계수 r을 곱한 것을 승산함으로써 얻어진 값이 보간 신호 k(i, j)로 된다. kLPF/hLPF는 LPF 값의 비를 나타내는 것이며, 이 비는 상관의 정도를 나타내고, 상관의 정도가 높을수록 「1」에 가까워진다.

실시예 1에서 설명한 것처럼, 화상의 국소적인 영역에서는 신호의 변화에는 강한 상관이 있다. 따라서, 신호가 완만한 변화를 나타내는 LPF 값과 각각의 신호 와의 사이에는 다음 식(23)이 성립한다.

…(23)

식(23)을 변형하면, h 화소가 있는 (i, j)에 있어서의 k(i, j)의 신호는 다음 식(24)로 나타낼 수 있다.

…(24)

식(24)는 화상의 국소적인 영역에서는 신호의 변화에 강한 상관을 가진다고 가정하고 있으며, 화상의 대부분의 영역에서는 상기 가정이 성립하기 때문에, 신호의 변화에 정의 상관이 높은 영역에서는 정밀도가 높은 화소 보간을 가능하게 한다. 그러나, 실시예 1과 같이 화상의 에지(edge) 등 상관이 없는 영역이나, 부의 상관을 갖는 영역에서는 화소 보간 오차가 발생한다.

도 25에서는, 화소 위치 (i, j)에 있어서의, 곡선 c와 d의 비가 kLPF/hLPF가 된다. 화소 위치 (i, j)에 있어서의 곡선 e와 f의 차가 (kHPF-hHPF)가 된다. 본 실시예에 의한 보간 방법에서는, 화소 위치 (i, j)에 있어서의 기지의 값 h(i, j)로부터 (kHPF-hHPF)에 계수 q를 곱한 것을 가산하고, kLPF/hLPF에 계수 r을 곱한 것을 곱한다. 식(22)로 나타내는 본 방법에 의해서 산출된 보간 신호 k(i, j)를 도 25에 흰 원(○)으로 나타낸다. 참값에 대하여 정밀도 좋게 화소 보간이 실현 가능하다. 도 25에 나타낸 바와 같이, k 신호와 h 신호의 신호의 변화가 동일한 경우, (kHPF-hHPF)는 "0"에 근접하기 때문에, LPF로부터 구해지는 변화의 신호 사 이의 비에 비례한 값을 곱하는 것에 의해 보간 신호가 산출되게 된다. 본 방법에 의해, 색 신호 사이의 상관이 큰 경우, 정밀도 좋게 화소 보간을 할 수 있다.

다음에, 색 신호 사이에 상관이 없는 경우에 대하여 설명한다. 화상의 에지등에서는, 각 색 사이의 상관이 낮아지기 때문에, 식(24)에서는, 보간오차가 발생해 버린다. 그래서, 에지부에서는, 상관이 낮아지는 것을 고려하여, 식(24)에 HPF의 신호차 (kHPF-hHPF)를 삽입하고, 상기 식(22)의 보간 방법으로 함으로써 상기 문제를 해결할 수 있다. 식(22)에 있어서, (kHPF(i, j)-hHPF(i, j))는 화상 에지부의 신호 성분의 차이며, k 신호와 h 신호의 변화에 에지부에서도 강한 상관이 있는 경우에는, "0"이 되기 때문에, 식(22)에서 r=1이면, 식(24)와 같은 식이 된다. 각 색의 상관이 없는 경우에는, (kHPF(i, j)-hHPF(i, j))가 각 색의 신호의 고유의 값에 관계하기 때문에, 각 색에 대하여 고정밀도의 화소 보간을 실현할 수 있다.

도 26 및 도 27에 각 신호 레벨과 이미지 센서(2)상의 각 화소의 위치를 나타낸다. 도 26 및 도 27에 나타낸 신호에서는, k 신호와 h 신호의 변화에 상관이 없다.

우선, 도 26을 참조하여 설명한다. 도 26의 예에서는, k 신호에 변화가 없기 때문에, 곡선 e로 나타내는 k 신호의 HPF 값 kHPF는 "0"이다.

식(24)에서 나타내는 색의 상관 변화만을 이용한 보간을 행하는 경우, 화소 위치 (i, j)에 있어서의 보간 대상의 k 신호는 변화하지 않음에도 불구하고, 참조로 하는 h 신호가 변화하고 있기 때문에, 흰 사각형(□)으로 나타내는 신호 레벨에 화소 보간되어, 보간 오차가 발생한다. 그러나, k 신호와 h 신호의 신호 변화에 얼마만큼 상관이 없을지는 (kHPF-hHPF)의 값으로서 구할 수 있게 된다. 따라서, (kHPF-hHPF)의 값에 계수 q를 곱한 것이, h(i, j)의 값에 가산되고, 가산 결과에 r(kLPF/hLPF)가 승산된다. 도 26의 경우, kHPF는 "0"이며, 화소 위치 (i, j)에 있어서의 (kHPF-hHPF)는 부의 값이 되기 때문에, h(i, j)의 값에서 어떤 값이 공제되게 된다. 본 실시예에 의한 연산(식(24))의 화소 보간의 신호 레벨을 흰 원(○)으로 나타낸다. 참값과 비교해 정밀도 높게 보간 가능하다. 이와 같이 신호 사이에 상관이 없는 경우라도, 정밀도 높게 화소 보간을 행할 수 있다.

도 27에는, 도 26과는 반대로, k 신호가 변화하고, h 신호에 변화가 없는, 2개의 색 신호 사이에 상관이 없는 별도의 예를 나타낸다. 식(22)에 의한 색의 상관 변화만을 이용한 보간을 행하는 경우, h(i, j)의 신호에 kLPF/hLPF의 신호 레벨비에 계수 r을 곱한 것이 승산되게 된다. 이 경우, 화소 보간된 신호 레벨이 도 27에 있어서 흰 사각형(□)으로 나타내는 신호 레벨로 한다. 흰 사각형으로 나타내는 신호 레벨은 k 신호의 참값으로부터 떨어진 위치의 값이 되기 때문에, 보간 오차가 발생하고 있는 것을 알 수 있다.

한편, 본 실시예에 의한 화소 보간 방법에서는, 화소 위치 (i, j)에 있어서의 h 신호 h(i, j)에 (kLPF-hLPF)에 계수 r을 곱한 것이 가산되고, 가산 결과에 r(kLPF/hLPF)가 승산된다. 도 27의 경우, hHPF는 "0"이며, 화소 위치 (i, j)에 있어서의 (kHPF-hHPF)는 정의 값이 된다. 본 실시예에 의한 보간 방법에서는, 보간된 신호 레벨은 흰 원(○)의 위치로 되며, k 신호의 참값에 대하여 정밀도 높게 보간된다.

도 26 및 도 27에서는, 색 신호 사이에 상관이 없는 경우에 대하여 설명했지만, 다음에, 색 신호 사이에 부의 상관이 있는 경우에 대하여 설명한다. 도 28에 k 신호와 h 신호 사이에 부의 상관이 있는 경우를 나타낸다. 바이리니어 보간 방법에 의한 화소 보간은 흰 삼각형(△)으로 나타내는 신호 레벨이며, 도 25와 마찬가지로 참값에 대하여 보간 오차가 발생하고 있다. 또한, 부의 상관 관계인 경우, 식(24)에 의한 색의 상관 변화만을 이용한 화소보간에서는, 흰 사각형(□)으로 나타내는 바와 같이, 더욱, 보간 오차가 확대된다. 본 실시예에 의한 보간 방법에서는, 흰 원(○)으로 나타내는 바와 같이, 정밀도 높게 화소 보간이 실현 가능하다.

이상과 같이, 색 신호 사이에 정의 상관이 있는 경우, 상관이 없는 경우, 부의 상관이 있는 경우 중 어느 경우에 있어서도 정밀도가 높은 화소 보간을 할 수 있다.

화소 보간의 연산 처리에 관해서는, 실시예 1과 같이, 도 17에 나타내는 흐름도의 절차에 의해 실행한다. 흐름도에 나타낸 6개의 처리가 전부 끝났을 때에, 한 화면상의 모든 화소 위치의 모든 화소에 있어서의 부족한 색의 화소 신호가 갖추어진다.

각 절차에 있어서의 연산 처리를 구체적으로 설명한다. 우선, 각 색 신호 R, G, B의 HPF, LPF 값은 실시예 l과 같이 식(2) 내지 식(13)에 나타내는 연산으로 구할 수 있다.

우선, 단계 S1의 연산 처리에 대하여 설명한다. 단계 S1에서는, R 화소의 위치에 있어서의 누락된 G 신호를 산출한다. R 화소의 위치에 있어서의 G 신호는 식(22)에 따라서 다음 식(25)에 의해 산출된다. R 화소는 (i+n, j+m)(n, m은 홀수)의 위치에 존재하기 때문에, 이것에 따라 식(22)와는 좌표값이 다른 것으로 된다.

…(25)

정수 q, r은 화상이 최적으로 보간되도록 미리 정해 놓으면 좋다. 예컨대, q=O.25, r=1로도 양호히 화소 보간을 행할 수 있다. 도 18은 식(25)에 의한 보간의 결과(gr)를 각각 대응하는 R 화소 위치에 나타낸다.

다음에, 단계 S2의 연산 처리로 넘어간다. 단계 S2는 B 화소의 위치에 있어서의 누락된 G 신호를 보간한다. B 화소의 위치에 있어서의 G 신호는 식(22)에 따라서 다음 식(26)에 의해 산출된다. B 화소는 (i+s, j+t)(s, t는 짝수)의 위치에 존재하기 때문에, 이것에 따라 식(22)와는 좌표값이 다른 것이 된다.

…(26)

도 19는 식(26)에 의한 보간의 결과(gb)를 각각 대응하는 B 화소 위치에 나타낸다. 도 19에는, 식(25)에 의한 보간의 결과(gr)도 표시되어 있다. 식(25)에 의한 R 화소 위치의 G 신호의 보간 및 식(26)에 의한 B 화소 위치에 있어서의 G 신호의 보간에 의해, 전체 화소 위치에 있어서의 G 신호가 얻어진다.

다음에, 단계 S3의 연산 처리로 넘어간다. 단계 S3은 G 화소의 위치에 있어 서의 누락된 R 신호를 보간한다. G 화소의 위치에 있어서의 R 신호는 식(22)에 따라서 다음 식(27), 식(28)에 의해 산출된다. G 화소는 (i+s, j+m)(s는 짝수, m은 홀수)의 위치와 (i+n, j+t)(n은 홀수, t는 짝수)에 존재하기 때문에, 이것에 따라 식(22)와는 좌표값이 다른 것이 된다.

…(27)

…(28)

도 20은 식(27) 및 식(28)에 의한 보간의 결과 얻어진 R 신호(rg)를 각각 대응하는 G 화소 위치에 2차원적으로 나타낸다.

또, 식(27) 및 식(28)에 있어서도, RLPF, RHPF, GLPF, GHPF는 상술한 LPF 및 HPF의 출력값이지만, GLPF 및 GHPF에 있어서는, 단계 S1 및 단계 S2에서 산출한 보간값(gr, gb)을 이용하여 새롭게 산출하여도 좋다.

다음에, 단계 S4의 연산 처리로 넘어간다. 단계 S4는 G 화소의 위치에 있어서의 누락된 B 신호를 보간한다. G 화소의 위치에 있어서의 B 신호는 식(22)에 따라서 다음 식(29), 식(30)에 의해 산출된다. G 화소는 (i+s, j+m)(s는 짝수, m은 홀수)의 위치와 (i+n, j+t)(n은 홀수, t는 짝수)에 존재하기 때문에, 이것에 따라 식(22)와는 좌표값이 다른 것이 된다.

…(29)

…(30)

도 21은 식(29) 및 식(30)에 의한 보간의 결과 얻어진 B 신호(bg)를 각각 대응하는 G 화소 위치에 2차원적으로 나타낸다.

또, 본 식(29) 및 식(30)에 있어서도 BLPF, BHPF, GLPF, GHPF는 상술한 LPF 및 HPF의 출력값이지만, GLPF 및 GHPF에 관해서는, 단계 S1 및 단계 S2에서 산출한 보간값(gr, gb)을 이용하여 새롭게 산출하여도 좋다.

다음에, 단계 S5의 연산 처리로 넘어간다. 단계 S5는 B 화소의 위치에 있어서의 누락된 R 신호를 보간한다. B 화소의 위치에 있어서의 R 신호는 식(22)에 따라서 다음 식(31)에 의해 산출된다. B 화소는 (i+s, j+t)(s, t는 짝수)의 위치에 존재하기 때문에, 이것에 따라 식(22)와는 좌표값이 다른 것이 된다.

…(31)

도 22는 식(31)에 의한 보간의 결과 얻어진 R 신호(rb)를 각각 대응하는 B 화소 위치에 2차원적으로 나타낸다. 도 22에는, 또, 식(27) 및 식(28)에 의한 보간의 결과 얻어진 R 신호(rg)가 각각 대응하는 G 화소 위치에 표시되어 있다. 식(27) 및 식(28)에 의한 보간과 식(31)에 의한 보간의 결과, 모든 화소의 R 신호가 갖추어진다.

또, 식(31)에 있어서도, RLPF, RHPF, GLPF, GHPF는 상술한 LPF 및 HPF의 출력값이지만, GLPF 및 GHPF에 관해서는, 단계 S1 및 단계 S2에서 산출한 보간값(gr, gb)을 이용하여 새롭게 산출하여도 좋다. 또한, RLPF, RHPF도, 단계 S3에서 산출한 보간값(rg)을 이용하여 새롭게 산출해도 좋다.

다음에, 단계 S6의 연산 처리로 넘어간다. 단계 S6는 R 화소의 위치에 있어서의 누락된 B 신호를 보간한다. R 화소의 위치에 있어서의 B 신호는 식(22)에 따라서 다음 식(32)에 의해 산출된다. R 화소는(i+n, j+m)(n, m은 홀수)의 위치에 존재하기 때문에, 이것에 따라 식(22)와는 좌표값이 다른 것이 된다.

…(32)

도 23은 식(32)에 의한 보간의 결과 얻어진 B 신호(br)를 각각 대응하는 R 화소 위치에 2차원적으로 나타낸다. 도 23에는, 또, 식(18) 및 식(19)에 의한 보간의 결과 얻어진 B 신호(bg)가 각각 대응하는 G 화소 위치에 표시되어 있다. 식(18) 및 식(19)에 의한 보간과 식(32)에 의한 보간의 결과, 모든 화소의 B 신호가 갖추어진다.

또, 식(32)에 있어서도, BLPF, BHPF, GLPF, GHPF는 상술한 LPF 및 HPF의 출력값이지만, GLPF 및 GHPF에 관해서는, 단계 S1 및 단계 S2에서 산출한 보간값(gr, gb)을 이용하여 새롭게 산출하여도 좋다. 또한, BLPF, BHPF도, 단계 S4에서 산출한 보간값(bg)을 이용하여 새롭게 산출해도 좋다.

이상, 단계 S1 내지 단계 S6의 연산에 의해, 각 화소에 있어서의 누락된 색 신호를 보간하여, 전체 화소의 R, G, B 신호를 얻을 수 있다.

실시예 1 및 2에 있어서, 각 색의 신호를 생성하는 순서는 도 17에 나타낸 순서에 한정되는 것이 아니고, 신호를 생성하는 순서를 교체하더라도 지장이 없다. 예컨대, 단계 S1과 단계 S2, 단계 S3와 단계 S4, 단계 S5와 단계 S6는 연산의 순서를 바꿀 수 있다.

또한, 실시예 1 및 2에 있어서, LPF 및 HPF를 2차원의 필터링을 행하는 연산식을 기재했지만, 보간 대상 화소의 주위에 있어서의 출력 신호의 상관성의 판정을 행하고, 상관성이 강하다고 판단된 방향으로 나열된 화소의 출력 신호만을 이용하여 HPF 및 LPF의 출력값으로서 이용하여도 좋다.

또한, 실시예 1 및 2에서 설명한 HPF(7r, 7g, 7b), LPF(8r, 8g, 8b) 및 연산 수단(10)은 적어도 그 일부를 소프트웨어에 의해, 즉 프로그램된 컴퓨터에 의해 실현할 수 있다. 또한, 이상 본 발명에 따른 화소 신호 처리 장치에 대해 설명했지만, 이들 장치에 관한 설명에 의해 명확히 한 화소 신호 처리의 방법도 또한 본 발명의 일부를 이룬다.

실시예 1 및 2에서 설명한 방법으로 보간을 행하면, 각 신호(R, G, B) 사이에 상관이 있을 때는, 상관을 이용한 화소 보간을 행할 수 있고, 화상의 에지 부분 등 상관이 없는 개소에서도, 정밀도 높은 화소 보간을 행할 수 있으며, 상기 특허 문헌 1(특허 공보 제 2001-197512호)에 개시된 방법이 안고 있는, 색의 경계 부근에서의 거무스름해지거나 흰색이 빠지는 등의 화상 열화가 발생한다고 하는 문제를 현저히 개선할 수 있다.

Claims

2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 조(set)에 근거하여, 제 h(h는 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호가 존재하는 보간 대상 화소 위치에 있어서의 제 k(k는 h를 제외한 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치에 있어서,

상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호의 저주파수 성분과의 차를 산출하는 차 산출 수단과,

상기 보간 대상 화소 위치의 근방의 영역 내에서의 상기 제 k 분광감도 특성의 화소 신호와, 상기 제 h 분광감도 특성의 화소 신호와의 비상관의 정도에 대응한 비상관값을 산출하는 비상관값 산출 수단과,

상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 차와, 상기 비상관값에 근거하여, 상기 보간 대상 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 보간값 산출 수단

을 갖는 화소 신호 처리 장치.
제 1 항에 있어서,

상기 보간값 산출 수단은 상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 비상관값에 제 1 소정 계수를 곱한 것과 상기 차에 제 2 소정 계수를 곱한 것을 가산함으로써, 상기 보간 대상 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 것을 특징으로 하는 화소 신호 처리 장치.
제 1 항에 있어서,

상기 차 산출 수단은

제각기 상기 제 1 내지 제 N 분광감도 특성의 화소 신호의 저주파수 성분을 생성하는 복수의 로우 패스 필터와,

상기 로우 패스 필터로부터 출력되는 저주파수 성분 중, 상기 제 k 분광감도 특성의 화소 신호의 주파수 성분과 상기 제 h 분광감도 특성의 화소 신호의 주파수 성분을 선택하는 선택 수단과,

상기 선택 수단에 의해 선택된 상기 제 k 분광감도 특성의 화소 신호의 저주파수 성분과 상기 제 h 분광감도 특성의 화소 신호의 저주파수 성분의 차를 구하는 차 계산 수단

을 갖는 것을 특징으로 하는 화소 신호 처리 장치.
2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 조에 근거하여, 제 h(h는 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호가 존재하는 보간 대상 화소 위치에 있어서의 제 k(k는 h를 제외한 l ~ N 중 어느 하나) 분광감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치에 있어서,

상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호의 저주파수 성분과의 비를 산출하는 비 산출 수단과,

상기 보간 대상 화소 위치의 근방의 영역 내에서의 상기 제 k 분광감도 특성의 화소 신호와, 상기 제 h 분광감도 특성의 화소 신호와의 비상관의 정도에 대응한 비상관값을 산출하는 비상관값 산출 수단과,

상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 비와, 상기 비상관값에 근거하여, 상기 보간 대상 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 보간값 산출 수단

을 갖고,

상기 보간값 산출 수단은 상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 비상관값에 제 1 소정 계수를 곱한 것과의 합에, 상기 비에 제 2 소정 계수를 곱한 것을 승산함으로써, 상기 보간 대상 화소 위 치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 것을 특징으로 하는 화소 신호 처리 장치.
제 1 항에 있어서,

상기 비상관값 산출 수단은

상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호의 변화 성분과, 상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호의 변화 성분을 생성하는 변화 성분 생성 수단과,

상기 변화 성분 생성 수단에서 생성된 상기 제 k 분광감도 특성의 화소 신호의 변화 성분과, 상기 h 분광감도 특성의 화소 신호의 변화 성분의 차를 상기 비상관값으로서 구하는 차 계산 수단

을 갖는 것을 특징으로 하는 화소 신호 처리 장치.
2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 조에 근거하여, 제 h(h는 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호가 존재하는 보간 대상 화소 위치에 있어서의 제 k(k는 h를 제외한 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호를 생성하는 화소 신호 처 리 방법에 있어서,

상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호의 저주파수 성분과의 차를 산출하는 차 산출 단계와,

상기 보간 대상 화소 위치의 근방의 영역 내에서의 상기 제 k 분광감도 특성의 화소 신호와, 상기 제 h 분광감도 특성의 화소 신호와의 비상관의 정도에 대응한 비상관값을 산출하는 비상관값 산출 단계와,

상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 차와, 상기 비상관값에 근거하여, 상기 보간 대상 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 보간값 산출 단계

를 갖는 화소 신호 처리 방법.
제 6 항에 있어서,

상기 보간값 산출 단계는 상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 비상관값에 제 1 소정 계수를 곱한 것과, 상기 차에 제 2 소정 계수를 곱한 것을 가산함으로써, 상기 보간 대상 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 것을 특징으로 하는 화소 신호 처리 방법.
제 6 항에 있어서,

상기 차 산출 단계는

제각기 상기 제 1 내지 제 N 분광감도 특성의 화소 신호의 저주파수 성분을 생성하는 복수의 로우 패스 필터링 단계와,

상기 로우 패스 필터링 단계에 있어서의 필터링에 의해 얻어지는 저주파수 성분 중, 상기 제 k 분광감도 특성의 화소 신호의 주파수 성분과, 상기 제 h 분광감도 특성의 화소 신호의 주파수 성분을 선택하는 선택 단계와,

상기 선택 단계에서 선택된 상기 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 상기 제 h 분광감도 특성의 화소 신호의 저주파수 성분의 차를 구하는 차 계산 단계

를 갖는 것을 특징으로 하는 화소 신호 처리 방법.
2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 조에 근거하여, 제 h(h는 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호가 존재하는 보간 대상 화소 위치에 있어서의 제 k(k는 h를 제외한 1 ~ N 중 어느 하나) 분광감도 특성의 화소 신호를 생성하는 화소 신호 처리 방법에 있어서,

상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호의 저주파수 성분과, 상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호의 저주파수 성분과의 비를 산출하는 비 산출 단계와,

상기 보간 대상 화소 위치의 근방의 영역 내에서의 상기 제 k 분광감도 특성의 화소 신호와, 상기 제 h 분광감도 특성의 화소 신호와의 비상관의 정도에 대응한 비상관값을 산출하는 비상관값 산출 단계와,

상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 비와, 상기 비상관값에 근거하여, 상기 보간 대상 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 보간값 산출 단계

를 갖고,

상기 보간값 산출 단계는 상기 보간 대상 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호와, 상기 비상관값에 제 1 소정 계수를 곱한 것과의 합에, 상기 비에 제 2 소정 계수를 곱한 것을 승산함으로써, 상기 보간 대상 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호를 구하는 것을 특징으로 하는 화소 신호 처리 방법.
제 6 항에 있어서,

상기 비상관값 산출 단계는

상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 k 분광감도 특성의 화소 신호의 변화 성분과, 상기 보간 대상 화소 위치의 근방의 영역 내의 복수의 화소 위치에 있어서의 상기 제 h 분광감도 특성의 화소 신호의 변화 성분을 생성하는 변화 성분 생성 단계와,

상기 변화 성분 생성 단계에서 생성된 상기 제 k 분광감도 특성의 화소 신호의 변화 성분과, 상기 제 h 분광감도 특성의 화소 신호의 변화 성분의 차를 상기 비상관값으로서 구하는 차 계산 단계

를 갖는 것을 특징으로 하는 화소 신호 처리 방법.