KR100768619B1 - 화소 신호 처리 장치 및 방법 - Google Patents

Abstract

k 신호 비선형 로우 패스 필터(8g)의 출력과, h 신호 비선형 로우 패스 필터(8r)의 출력의 차(43)를, 주목 화소 위치에서의 제 h 화소 신호 (h(i, j))의 값에 가산하여(44), 주목 화소 위치에서의 제 k 화소 신호 (k(i, j))를 구한다. 색 신호의 상관이 없는 부분에서도 정밀도가 높은 화소 보간을 행하며, 또한 노이즈의 영향을 받기 어려운 화소 보간을 행할 수 있다.

Description

화소 신호 처리 장치 및 방법{PIXEL SIGNAL PROCESSING DEVICE AND METHOD}

본 발명은 화소 신호 처리 장치 및 방법에 관한 것이며, 특히 2차원 평면상에 배열되어, 각각이 복수의 분광 감도 특성 중 어느 하나를 갖는 화소 위치로부터 얻어지는 화소의 화소 신호의 그룹(group)에 근거하여, 상기 복수의 분광 감도 특성 중 하나의 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에 있어서의 다른 분광 감도 특성의 화소 신호(이후, 색 신호라 칭함)를 생성하는 화소 신호 처리 장치 및 방법에 관한 것이다.

이러한 화소 신호 처리 장치는 예컨대, 각각이 복수의 분광 감도 특성, 예컨대, 적색(R), 녹색(G), 청색(B) 중 어느 하나의 분광 감도 특성, 즉 색을 갖는 복수 종류의 광전 변환 소자가 2차원 평면상에, 예컨대, 베이어(Bayer)형으로 배열된 촬상 소자(이미지 센서)를 더 구비하는 컬러 촬상 장치의 일부로서 이용되고, 이미지 센서로부터 출력된 화소 신호 중, 각 화소 위치에서 누락되어 있는 색 신호를 보간하기 위해서 이용된다.

종래의 적색, 녹색, 청색의 컬러 필터가 베이어형으로 배치된 이미지 센서를 갖는 촬상 장치에서는, 각각의 화소에 대하여, G, B 또는 B, R 또는 R, G의 색성분값이 부족하고, 예컨대, 하기의 특허문헌 1에서 나타내는 바와 같이, 해상도를 높이기 위해, 각 색의 국소적인 화소 신호의 분포에 근거하여 각 화소의 화소 신호를 평균값으로 치환하고, 이것에 의해 상정되는 기지색(旣知色) 기하학 도형과 부족색(不足色) 기하학 도형의 선형 상사비(相似比)에 근거하는 보간 방법을 이용하고 있다.

(특허문헌 1) 일본 공개 특허 공보 제 2001-197512호(0048∼0049단락, 도 7)

(발명이 해결하고자 하는 과제)

이 종래의 방법은 보간 처리 대상 화소의 근방 영역 내에서, 각각의 색성분값(예컨대, 베이어형 배열에 있어서의 R, G, B 성분값)간에 강한 정의 상관이 있다고 가정하고 있다. 그 때문에, 색성분값 상호간에 정의 상관이 없는 영역(예컨대, 어떤 색과 다른 색과의 경계 등) 예컨대, 상관이 없거나, 부의 상관이 있는 영역에서, 보간을 적절히 실행할 수 없어, 보간 오차가 커진다고 하는 문제가 있었다.

또한, 노이즈가 신호에 가산된 경우, 색 신호간의 상관을 선형 상사비에 의해 산출하고 있기 때문에, 다른 쪽의 색 신호에 발생한 노이즈에 대하여 상관이 있도록 보간을 행하는 것에 의해, 비보간 대상의 색 신호까지 노이즈에 의한 영향을 받게 되어 보간 오차가 발생한다고 하는 문제가 있었다.

본 발명은 보간 처리 대상 화소의 근방 영역 내에서의 색성분값의 변화의 방법에 관계없이 항상 최적의 보간 방법으로 보간을 행할 수 있는 화소 신호 처리 장치를 제공하는 것을 목적으로 한다.

(과제를 해결하기 위한 수단)

본 발명은 2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 그룹 중 제 h(h는 1부터 N 중 어느 하나)의 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에서의 제 k(k는 h를 제외한 1부터 N 중 어느 하나)의 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치에 있어서, 상기 주목 화소 위치 근방의, 상기 제 h 분광 감도 특성을 갖는 제 1 복수의 화소(이하, 「제 1 근방 화소」라고 함)의 각각에 대하여, 그 신호값과, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호 각각의 신호값의 차(이하, 「제 1 차(差)」라고 함)의 절대값이 미리 정한 제 1 임계값보다 큰지 여부를 판정하여, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 클 때는, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호의 신호값을 선택하고, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 작을 때는 상기 제 1 근방 화소의 신호값을 선택하는 제 1 비교 선택 수단과, 상기 제 1 비교 선택 수단에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 1 평균값 연산 수단을 갖고, 상기 평균값 연산 수단에 의해 연산된 결과를, 주목 화소 위치에서의, 상기 제 h 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 h 신호 비선형 로우 패스 필터와, 상기 주목 화소 위치 근방의, 상기 제 k 분광 감도 특성을 갖는 제 2 복수의 화소(이하, 「제 2 근방 화소」라 함)의 각각에 대하여, 그 신호값과, 상기 주목 화소 위치에 인접하는 복수의 상기 제 k 분광 감도 특성의 화소 신호의 평균값과의 차(이하, 「제 2 차」라고 함)의 절대값이 미리 정한 제 2 임계값보다 큰지 여부를 판정하여, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 클 때는, 상기 복수의 제 k 분광 감도 특성의 화소 신호의 상기 평균값을 선택하고, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 작을 때는 상기 제 2 근방 화소의 신호값을 선택하는 제 2 비교 선택 수단과, 상기 제 2 비교 선택 수단에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 2 평균값 연산 수단을 갖고, 상기 평균값 연산 수단에 의해 연산된 결과를, 주목 화소 위치에서의, 상기 제 k 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 k 신호 비선형 로우 패스 필터와, 상기 k 신호 비선형 로우 패스 필터와 상기 h 신호 비선형 로우 패스 필터에 의해 얻어진 값의 차를, 상기 주목 화소 위치에서의 상기 제 h 화소 신호의 값에 가산하여, 상기 주목 화소 위치에서의 상기 제 k 화소 신호를 구하는 연산 수단을 갖는 화소 신호 처리 장치를 제공한다.

(발명의 효과)

본 발명에 의하면, 보간 대상의 화소가 색의 경계 부근에 있는 경우 등, 색성분값 상호간의 상관 관계가 여러 가지로 다르더라도, 정확히 보간을 행할 수 있다. 또는, 노이즈의 영향을 받기 어려운 양호한 화소 보간을 행할 수 있다.

도 1은 본 발명의 실시예 1의 화소 신호 처리 장치를 구비한 촬상 장치의 구성을 나타내는 블록도,

도 2는 베이어형으로 배치된 R, G, B 3원색의 색필터를 나타내는 설명도,

도 3은 이미지 센서의 촬상면상에 있어서의, R 화소의 배치를 나타내는 도면,

도 4는 이미지 센서의 촬상면상에 있어서의, G 화소의 배치를 나타내는 도면,

도 5는 이미지 센서의 촬상면상에 있어서의, B 화소의 배치를 나타내는 도면,

도 6은 R 신호의 NF값을 나타내는 도면,

도 7은 G 신호의 NF값을 나타내는 도면,

도 8은 B 신호의 NF값을 나타내는 도면,

도 9은 비선형 로우 패스 필터의 구성예를 나타내는 블록도,

도 10은 도 9의 기지색(旣知色) 필터의 구성예를 나타내는 블록도,

도 11은 도 9의 미지색(未知色) 필터의 구성예를 나타내는 블록도,

도 12는 G 신호를 위한 비선형 로우 패스 필터의 미지색 필터의 연산에 이용하는 G 신호의 화소 위치를 나타내는 도면,

도 13은 G 신호를 위한 비선형 로우 패스 필터의 기지색 필터에서의 연산에 이용하는 G 신호의 화소 위치를 나타내는 도면,

도 14는 R 신호를 위한 비선형 로우 패스 필터의 미지색 필터에서의 연산에 이용하는 R 신호의 화소 위치를 나타내는 도면,

도 15는 R 신호를 위한 비선형 로우 패스 필터의 기지색 필터에서의 연산에 이용하는 R 신호의 화소 위치를 나타내는 도면,

도 16은 R 신호를 위한 비선형 로우 패스 필터의 미지색 필터에서의 연산에 이용하는 R 신호의 화소 위치를 나타내는 도면,

도 17은 R 신호를 위한 비선형 로우 패스 필터의 기지색 필터에서의 연산에 이용하는 R 신호의 화소 위치를 나타내는 도면,

도 18은 B 신호를 위한 비선형 로우 패스 필터의 미지색 필터에서의 연산에 이용하는 B 신호의 화소 위치를 나타내는 도면,

도 19는 B 신호를 위한 비선형 로우 패스 필터의 기지색 필터에서의 연산에 이용하는 B 신호의 화소 위치를 나타내는 도면,

도 20은 B 신호를 위한 비선형 로우 패스 필터의 미지색 필터에서의 연산에 이용하는 B 신호의 화소 위치를 나타내는 도면,

도 21은 B 신호를 위한 비선형 로우 패스 필터의 기지색 필터에서의 연산에 이용하는 B 신호의 화소 위치를 나타내는 도면,

도 22는 실시예 1의 연산 수단의 구성을 나타내는 블록도,

도 23은 k 신호, h 신호의 상관이 낮은 경우의 종래 기술에 의한 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 24는 k 신호, h 신호의 상관이 낮은 경우의 실시예 1에 의한 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 25는 k 신호, h 신호의 상관이 낮은 경우의 종래 기술에 의한 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 26은 k 신호, h 신호의 상관이 낮은 경우의 실시예 1에 의한 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 27은 본 발명의 실시예 1에 있어서의 보간 순서를 나타내는 흐름도,

도 28은 R 화소 위치에서의 화소 보간한 G 신호의 배열을 나타내는 도면,

도 29는 B 화소 위치에서의 화소 보간한 G 신호의 배열을 나타내는 도면,

도 30은 G 화소 위치에서의 화소 보간한 R 신호의 배열을 나타내는 도면,

도 31은 G 화소 위치에서의 화소 보간한 B 신호의 배열을 나타내는 도면,

도 32는 B 화소 위치에서의 화소 보간한 R 신호의 배열을 나타내는 도면,

도 33은 R 화소 위치에서의 화소 보간한 B 신호의 배열을 나타내는 도면,

도 34는 실시예 2의 연산 수단의 구성을 나타내는 블록도,

도 35는 k 신호, h 신호의 상관이 낮은 경우의 종래 기술에 의한 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 36은 k 신호, h 신호의 상관이 낮은 경우의 실시예 2에 의한 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 37은 k 신호, h 신호의 상관이 낮은 경우의 종래 기술에 의한 화소 보간의 원리를 모식적으로 나타내는 설명도,

도 38은 k 신호, h 신호의 상관이 낮은 경우의 실시예 2에 의한 화소 보간의 원리를 모식적으로 나타내는 설명도이다.

도면의 주요 부분에 대한 부호의 설명

1 : 렌즈 2 : 이미지 센서

3 : A/D 변환기 4 : 프레임 메모리

5 : 디멀티플렉서 6r : R 신호용 2차원 메모리

6g : G 신호용 2차원 메모리 6b : B 신호용 2차원 메모리

8r : R 신호용 비선형 로우 패스 필터

8g : G 신호용 비선형 로우 패스 필터

8b : B 신호용 비선형 로우 패스 필터 10 : 연산 수단

11, 14, 28, 38 : 출력 단자 13, 22, 32 : 입력 단자

15, 16, 25, 35a∼35d, 41, 42h, 42k : 선택 수단

21 : 기지색 필터 23a∼23d, 33a∼33c : 래치

24, 34a∼34d : 비교 수단 26a, 26e : 3비트 시프트기

26b, 26c, 26d, 37b : 2비트 시프트기 27, 36a, 37a, 44 : 가산 수단

31 : 미지색 필터 36b : 1비트 시프트기

43 : 차(差) 계산 수단 45 : 제어 수단

46 : 비(比) 계산 수단 47 : 승산 수단

이하, 도면을 참조하여 본 발명의 실시예를 설명한다. 이하에서 설명하는 실시예는 디지털 스틸 카메라의 일부로서 이용하는데 적합한 것이지만, 본 발명은 이것에 한정되지 않는다.

(실시예 1)

도 1은 본 발명의 실시예 1의 화소 신호 처리 장치를 구비한 촬상 장치의 구성을 나타내는 블록도이다.

렌즈(1)로부터 입사된 빛은, 예컨대, 고체 촬상 소자로 구성되는 2차원 이미지 센서(2)의 촬상면에 결상된다. 이미지 센서(2)는 2차원적으로 배열된 복수의 광전 변환 소자를 갖고, 이 복수의 광전 변환 소자는, 예컨대, 도 2에서 나타내는 바와 같이, 베이어(Bayer)형으로 배치된, 적색(R), 녹색(G), 청색(B)의 3원색에 대응하는 분광 감도 특성을 갖는 컬러 필터로 덮여 있으며, 각 광전 변환 소자로부터는, 컬러 필터의 색에 대응한 색성분의 아날로그 신호가 출력된다.

도 2에서, 가로, 세로는 각각 촬상면의 수평 방향(H), 수직 방향(V)을 나타낸다. 광전 변환 소자는 화소를 구성하고, 촬상면상에서 각 광전 변환 소자가 차지하는 위치가 화소 위치에 대응한다. 각 화소는 촬상 소자의 촬상면상에 2차원적으로 배열되어 있기 때문에, 그들의 위치는 HV 좌표면(또는 HV면) 위의 좌표값으로 나타낼 수 있다. 도 2는 이미지 센서의 일부만, 즉 7행 7열의 범위를 나타낸다. 중심 화소의 수평 방향 위치가 i, 수직 방향 위치가 j이고, 따라서, 좌표값을 (i, j)로 나타내며, 그 주위 화소의 수평 방향(행 방향)의 위치를 i-3, i-2, …, i+3으로, 수직 방향(열 방향)의 위치를 j-3, j-2, …, j+3으로 나타내고 있다.

또한 이하의 설명에서, R의 컬러 필터로 덮인 광전 변환 소자에 대응한 화소를 R 화소, G의 컬러 필터로 덮인 광전 변환 소자에 대응한 화소를 G 화소, B의 컬러 필터로 덮인 광전 변환 소자에 대응한 화소를 B 화소라 부른다.

이미지 센서(2)는 입사광을 광전 변환하여 입사광량에 따른 레벨의 아날로그 신호를 각 화소로 출력한다. 이 아날로그 신호는 A/D 변환기(3)에서 디지털 신호로 변환, 출력되고, 각 화소가 갖는 색성분값(화소 신호)으로서, 프레임 메모리(4)에 기입된다. 이 때, 각 신호는 각 화소의 촬상면상에서의 위치이고, 따라서, HV 좌표면상에서의 위치에 대응시켜 기입된다.

상기한 바와 같이, 각 화소를 구성하는 광전 변환 소자의 각각은 필터에 의해 덮여 있기 때문에, 적색, 녹색, 청색 중 어느 한 색의 빛을 수광한다. 각 광전 변환 소자에서 수광하는 빛의 색을 「수광색」 혹은 「기지색」이라 하고, 각 화소에 대하여 수광색 이외의 색을 「부족색」 혹은 「미지색」이라 한다.

각 화소를 구성하는 광전 변환 소자의 각각으로부터는, 수광색에 대응하는 하나의 색성분값을 나타내는 신호밖에 얻을 수 없다. 즉, R 화소에 대해서는, R 성분값이 기지인 한편, G 및 B 성분값이 미지이며, G 화소에 대해서는, G 성분값이 기지인 한편, B 및 R 성분값이 미지이며, B 화소에 대해서는, B 성분값이 기지인 한편, R 및 G 성분값이 미지이다. 각 화소에 대하여, R, G, B 모든 색성분값을 갖는 것에 의해, 컬러 화상을 얻을 수 있기 때문에, 프레임 메모리(4)에 기입되어 있 는, 각 화소 위치에서의 미지의 색성분값은 부족 색성분값이라고도 한다. 본 발명의 화소 신호 처리는 각 화소에서 미지인 색성분값(부족 색성분값)을 보간에 의해 구하는 것이다.

프레임 메모리(4)에 기억된 화소 신호는 디멀티플렉서(5)에서 각 R, G, B 신호로 2차원 메모리(6r, 6g, 6b)에 분배되어, 기억된다. 즉, R 신호가 2차원 메모리 6r에, G 신호가 2차원 메모리 6g에, B 신호가 2차원 메모리 6b에 각각 기억된다.

도 3, 도 4, 도 5는 각각, 이미지 센서(2)의 촬상면상에서의, R 화소, G 화소, B 화소의 배치를 색마다 개별적으로 나타낸다. 2차원 메모리(6r, 6g, 6b)의 각각에 있어서도, 각 화소의 신호(색성분값)는 촬상면상에서의 위치이고, 따라서, HV 좌표면상에서의 위치에 대응하여 기입된다. 따라서, 도 3, 도 4, 도 5는 디멀티플렉서(5)로부터 분배되고, 기억된 화소 신호의, HV 좌표면상에서의 위치를 나타내는 것이다.

또, 프레임 메모리(4)는 이미지 센서(2)가 2행마다 1행씩 판독을 행하는, 이른바 인터레이스 판독 방식이며, 1매(프레임)의 화소 신호를 모두 갖추기 위해 두 번(2필드)의 판독을 행해야 하는 경우에 필요하다. 도 2에 나타낸 화소 배열에서의 화소를 위로부터 순차적으로 1행씩 판독하는, 이른바 프로그레시브 판독 방식의 이미지 센서(2)의 경우에는, 이미지 센서(2)로부터 전송된 화소 신호를 그대로 디멀티플렉서(5)로 배분하면 좋기 때문에, 프레임 메모리(2)가 없더라도 동일한 동작을 실현할 수 있다.

비선형 로우 패스 필터(8r, 8g, 8b)는 각각 메모리(6r, 6g, 6b)에 대응하여 마련된 것이며, 메모리(6r, 6g, 6b)로부터 판독한 화소 신호에 대하여 각 색성분의 비선형 필터링을 행하여, 각각의 색 신호의 저주파수 성분을 출력한다. 즉, 로우 패스 필터(8r, 8g, 8b) 각각은, 각 화소에 대하여, 그 화소 위치 근방의 영역(그 화소 위치를 포함하는 영역) 내의 복수의 화소 위치에서의 각 색의 화소 신호의 저주파수 성분을 산출한다. 그 산출 방법에 대해서는 뒤에 상세히 설명한다. 도 6, 도 7, 도 8에서 비선형 로우 패스 필터(8r, 8g, 8b)의 출력예를 나타낸다.

도 6, 도 7, 도 8에서 나타내는 바와 같이, 로우 패스 필터(8r, 8g, 8b)의 출력(RNF, GNF, BNF)은 모든 화소에 대하여 구해진다.

비선형 로우 패스 필터(8g)의 구체적인 구성예를 도 9, 도 10, 도 11에 나타낸다. 또, 도 9, 도 10, 도 11에서 나타낸 구성예는 설명을 간단하게 하기 위해서 이미지 센서(2)의 1 수평 라인(행) 방향에서만 나타낸 구성예이다. 그 동작과 구성에 대하여 설명한다.

도 9는 비선형 로우 패스 필터(8g)의 구성 전체를 나타낸다. 도 9에서 나타내는 비선형 필터(8g)는 입력 단자(13)와, 출력 단자(14)와, 선택 수단(15, 16)과, 기지색 필터(21)와, 미지색 필터(31)를 갖는다. 입력 단자(13) 및 출력 단자(14)는 각각 비선형 필터(8g)의 입력 단자 및 출력 단자를 구성한다.

기지색 필터(21)는 G 신호가 존재하는 화소 위치(예컨대, 도 4의 (i-1, j))의 근방에서의 G 신호의 필터링을 행하는 것이며, 예컨대, 도 10에서 나타낸 바와 같이 구성되어 있다.

미지색 필터(31)는 G 신호가 존재하지 않는 화소 위치(예컨대, 도 4의 (i, j))의 근방에서의 G 신호의 비선형 필터링을 행하는 것이며, 예컨대, 도 11에서 나타낸 바와 같이 구성되어 있다.

선택 수단(15 및 16)은 필터링의 대상이 G 신호가 존재하지 않는 화소 위치의 근방인지 G 신호가 존재하는 화소 위치의 근방인지에 따라 미지색 필터(31) 및 기지색 필터(21)의 어느 하나를 선택하여 비선형 필터링을 행하고, 필터링의 결과를 선택하여 출력한다. 선택 수단(16)의 출력이, 도 7에 나타내는 출력값으로 된다.

우선, 도 10의 기지색 필터(21)에 대하여 설명한다. G 신호는 입력 단자(22)에서 화소의 판독 순서에 따라 입력되어 간다. 입력된 G 신호는 래치(23a∼23d)에 의해서 색 신호가 1 화소씩 지연되어, 순차적으로, 비교 수단(24a∼24e)으로 입력되어 간다. 여기서, G 신호는 1 화소 걸러 존재하기 때문에, 서로 전후하는 화소 신호는, HV 평면상에서는, 2 화소에 상당하는 거리(사이에 한 화소를 두어 이격된 화소끼리의 거리)를 갖는다. 예컨대, 래치(23d)로부터 비교 수단(24e)으로 출력되는 G 신호가 G(i-5, j)라고 하면, 래치(23c)로부터 비교 수단(24d)으로 출력되는 G 신호는 G(i-3, j), 래치(23b)로부터 비교 수단(24c)으로 출력되는 G 신호는 G(i-1, j), 래치(23a)로부터 비교 수단(24b)으로 출력되는 G 신호는 G(i+1, j), 입력 단자(22)로부터 비교 수단(24a)으로 출력되는 G 신호는 G(i+3, j)로 된다. 또, 래치(23a∼23d) 및 입력 단자(22)로부터 출력되는 이들 G 신호는 비교 수단(24a∼24d)으로 출력됨과 동시에 선택 수단(25a∼25e)으로도 출력된다. 한편, G(i-1, j) 도 선택 수단(25a∼25e)으로 출력된다.

비교 수단(24a∼24e)은 래치(23a∼23d) 및 입력 단자(22)로부터 입력된 G 신호와, G(i-1, j)에 미리 정하여 놓은 정수 s(제 1 임계값)를 가산한 값 및 정수 s를 감산한 값을 비교하여, 그 비교 결과를 선택 수단(25a∼25e)으로 출력한다.

선택 수단(25a∼25e)은 비교 수단(24a∼24e)의 비교 결과에 의해 신호를 선택한다. 비교 수단(24a∼24e)은 입력된 G 신호와, G(i-1, j)에 미리 정하여 놓은 임계값 s를 가산한 값 G(i-1, j)+s를, 또한 임계값 s를 감산한 G(i-1, j)-s를 비교하여, 그 비교 결과를 출력한다.

선택 수단(25a∼25e)은 비교 수단(24a∼24e)에 입력된 G 신호 쪽이 G(i-1, j)+s보다 작고, G(i-1, j)-s보다 클 때는 G 신호 쪽을 선택하고, G(i-1, j)+s보다 크거나, 또는 G(i-1, j)-s보다 작을 때는 G(i-1, j)를 선택한다. 즉, 그 위치에서의 G 신호와 G(i-1, j)의 차의 절대값이 임계값 s보다 크지 않을 때는 그대로 G 신호가 선택되고, 차의 절대값이 임계값 s보다 클 때는 G(i-1, j)가 선택되게 된다.

또, 선택 수단(25c)에서는, G 신호가 G(i-1, j)이기 때문에, 「G 신호와 G(i-1, j)의 차의 절대값이 임계값 s보다 크지 않다」라고 하는 조건이 항상 만족되고, 따라서 항상 G 신호가 선택되어 출력된다. 따라서, 비교 수단(24c)과 선택 수단(25c)을 생략하고, 래치(23b)의 출력을 직접 2비트 시프트기(26c)에 입력하더라도 좋다.

비교 수단(24a∼24e)과, 선택 수단(25a∼25e)에 의해, 주목 화소 위치 (i, j) 근방의, 제 h 분광 감도 특성을 갖는 제 1 복수의 화소(이하, 「제 1 근방 화소 」라 함)의 각각에 대하여, 그 신호값(제 1 근방 화소 각각의 신호값)과, 주목 화소 위치 (i, j)의 제 h 분광 감도 특성의 화소 신호 각각의 신호값 (h(i, j))의 차(이하「제 1 차」라 함)의 절대값이 미리 정한 제 1 임계값(s)보다 큰지 여부의 판정을 행하여, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 클 때는 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호의 신호값을 선택하고, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 작을 때는 제 1 근방 화소의 신호값을 선택하는 제 1 비교 선택 수단이 구성되어 있다.

선택 수단(25a)에 의해 선택된 신호는 3비트 시프트기(26a)에 의해 신호가 하위 방향으로 3비트 시프트하는 것에 의해 신호 레벨이 1/8로 된다. 선택 수단(25b, 26c, 26d)에 의해 선택된 신호는 2비트 시프트기(26b, 26c, 26d)에 의해 신호가 하위 방향으로 2비트 시프트하는 것에 의해 신호 레벨이 1/4로 된다. 선택 수단(25e)에 의해 선택된 신호는 3비트 시프트기(26e)에 의해 신호가 하위 방향으로 3비트 시프트하는 것에 의해 신호 레벨이 1/8로 된다. 상기 비트 시프트된 각각의 신호는 가산 수단(27)에 의해 가산된다.

상기의 연산을 행하는 것에 의해, 단순히 수평 5 화소의 가중 평균을 산출하는 이른바 선형 로우 패스 필터와 달리, 신호의 변화가 큰 화소의 신호는 이용하지 않는 비선형의 로우 패스 필터링을 행한다.

다음에, 도 11의 미지색 필터(31)에 대하여 설명한다. G 신호는 입력 단자(32)로부터 화소의 판독 순서에 따라 입력된다. 입력된 G 신호는 래치(33a∼33c)에 의해 1 화소씩 지연되고, 순차적으로, 비교 수단(34a)으로부터 비교 수 단(34d)으로 입력되어 간다. 예컨대, 래치(33c)로부터 비교 수단(34d)으로 출력되는 G 신호가 (i-3, j)의 화소 위치의 G 신호 G(i-3, j)(이후, 다른 화소 위치의 신호에 대해서도 마찬가지로, 예컨대, G(x, y)와 같이, 색 신호 이름과 화소 위치 (x, y)를 나타냄)라고 하면, 래치(33b)로부터 비교 수단(34c)으로 출력되는 G 신호는 G(i-1, j), 래치(33a)로부터 비교 수단(34b)으로 출력되는 G 신호는 G(i+1, j), 입력 단자(32)로부터 비교 수단(34a)으로 출력되는 G 신호는 G(i+3, j)로 된다. 또, 래치(33a∼33c) 및 입력 단자(32)로부터 출력되는 이들 G 신호는 비교 수단(34a∼34d)으로 출력됨과 동시에 선택 수단(35a∼35d)으로도 출력된다.

한편, G(i-1, j)와 G(i+1, j)는 가산 수단(36a)에도 입력되고, 가산 수단(36a)에 의해 신호 가산이 행하여진 후, 1비트 시프트기(36b)에 의해 하위 방향으로 1비트 시프트되는 것에 의해, 신호의 평균값 {G(i-1, j)+G(i+1, j)}/2가 산출되고, 선택 수단(35a∼35d)으로 출력된다.

비교 수단(34a∼34d)은 래치(33a∼33c) 및 입력 단자(32)로부터 입력된 G 신호와, 1비트 시프트기(36b)로부터 출력된 {G(i-1, j)+G(i+1, j)}/2로 미리 정해 둔 정수 s(제 2 임계값. 또, 본 실시예에서는, 제 1 임계값과 제 2 임계값이 같은 값 (s)를 갖지만, 서로 다른 값으로 하여도 좋다.)를 가산한 값 {G(i-1, j)+G(i+1, j)}/2+s를, 또한, 임계값 s를 감산한 값 {G(i-1, j)+G(i+1, j)}/2-s를 비교하여, 그 비교 결과를 선택 수단(35a∼35d)으로 출력한다.

선택 수단(35a∼35d)은 비교 수단(34a∼34d)의 비교 결과에 의해 신호를 선택한다. 비교 수단(34a∼34d)은 입력된 G 신호와, {G(i-1, j)+G(i+1, j)}/2+s 및 {G(i-1, j)+G(i+1, j)}/2-s를 비교하고, G 신호가 {G(i-1, j)+G(i+1, j)}/2+s보다 큰지, 또한 {G(i-1, j)+G(i+1, j)}/2-s보다 작은지, 비교 결과를 출력한다. 선택 수단(35a∼35d)은 비교 수단(34a∼34d)에 입력된 G 신호가 {G(i-1, j)+G(i+1, j)}/2+s보다 작고 {G(i-1, j)+ G(i+1, j)}/2-s보다 클 때는 G 신호 쪽을 선택하고, {G(i-1, j)+G(i+1, j)}/2+s보다 크거나, {G(i-1, j)+G(i+1, j)}/2-s보다 작을 때는 {G(i-1, j)+G(i+1, j)}/2를 선택한다. 즉, 로우 패스 필터의 연산에 이용하는 화소 위치에서의 G 신호와 {G(i-1, j)+G(i+1, j)}/2의 차의 절대값이 임계값 s보다 크지 않을 때는 그대로 G 신호가 선택되고, 차의 절대값이 임계값 s보다 클 때는, {G(i-1, j)+G(i+1, j)}/2가 선택되게 된다. 이에 따라 피연산 대상 위치의 신호값에 비해 크게 신호값이 변동하고 있는 화소의 값은 로우 패스 필터의 연산에 이용되지 않게 된다.

비교 수단(34a∼34d)과 선택 수단(35a∼35d)에 의해, 주목 화소 위치 (i, j) 근방의, 제 k 분광 감도 특성을 갖는 제 2 복수의 화소(이하, 「제 2 근방 화소」라 함) 각각에 대하여, 그 신호값(제 2 근방 화소 각각의 신호값)과, 주목 화소 위치 (i, j)에 인접하는 복수의 제 k 분광 감도 특성의 화소 신호의 평균값의 차(이하, 「제 2 차」라 함)의 절대값이 미리 정한 제 2 임계값 (s)보다 큰지 여부의 판정을 행하여, 상기 제 2 차의 절대값이 제 2 임계값보다 클 때는 상기 복수의 제 k 분광 감도 특성의 화소 신호의 상기 평균값을 선택하고, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 작을 때는 상기 제 2 근방 화소의 신호값을 선택하는 제 2 비교 선택 수단이 구성되어 있다.

상기한 바와 같이, 본 실시예에서는, 제 2 임계값이 제 1 임계값과 같은 값 (s)를 갖지만, 서로 다른 값으로 하여도 좋다.

선택 수단(35a∼35c)에 의해 선택된 네 개의 신호는 가산 수단(37a)에 의해 가산되고, 2비트 시프트기(37b)에 의해 신호의 2비트 시프트를 행함으로써 네 개의 화소의 평균값(단순 평균값)이 산출된다. 또, 본 구성에서는 2비트 시프트기(37b)를 가산 수단(37a)의 뒤에 마련하고 있지만, 가산 수단(37a)의 연산 비트 수를 감소시키기 위해 각 선택 수단(35a∼35d)의 뒤에 마련하여도 동일한 연산을 행할 수 있다.

상기한 연산을 행하는 것에 의해, 단순히 수평 4 화소의 가산값의 평균(단순 평균 또는 가중 평균)을 산출하는 이른바 선형 로우 패스 필터와 달리, 신호의 변화가 큰 화소의 신호는 이용하지 않는 비선형의 로우 패스 필터링을 행한다.

상기한 바와 같은, 비선형 필터(8g)에 의해, 도 4에서 나타내는 G 신호를 필터링할 때에 그 화소 위치(예컨대, (i, j))에서 G 신호가 존재하지 않을 때는 선택 수단(29)에 의해 도 11에 나타낸 미지색 필터(31)에 입력되고, 그 화소 위치(예컨대, (i-1, j))에서 G 신호가 존재할 때는 선택 수단(29)에 의해 도 10에 나타낸 기지색 필터(21)에 입력된다. 선택 수단(16)은 각각의 미지색 필터(31) 및 기지색 필터(21)로부터의 출력 신호를 순차 전환하여 출력한다.

그 결과, 출력 단자(14)로부터 도 7에 나타내는 비선형 필터 출력(GNF)을 얻을 수 있다.

비선형 로우 패스 필터(8r, 8b)도 비선형 로우 패스 필터(8g)와 마찬가지로 구성되어 있다.

이상은 설명을 간단하게 하기 위해 1차원인 경우에 대하여 설명했지만, 2차원의 경우에도 마찬가지로 복수의 라인 메모리와 도 9, 도 10, 도 11과 마찬가지의 회로를 이용하여, 비교 수단과 평균값(단순 평균값 또는 가중 평균값)을 산출하는 수단을 구비하는 것으로 비선형의 필터링을 행할 수 있다.

도 12∼도 21에서 각 색 신호에서의 2차원상에서 비선형 필터링을 위한 연산에 이용하는 화소 위치의 일례를 나타낸다. 도 12, 도 13은 G 신호의 경우이며, 도 12는 연산 대상 위치인 (i, j)에 G 신호가 없는 경우를 나타낸 일례이다. 도면 중 빗금으로 나타내는 부분이 연산에 이용하는 G 신호이다. 다만, 평균을 위한 가산을 행할 때에, (i, j) 위치의 G 신호, 예컨대 {G(i-1, j)+G(i+1, j)+G(i, j-1)+G(i, j+1)}/4와 각 G 신호를 비교하여 그 차의 절대값이 임계값 s보다 클 때에는, 연산에 이용하는 G 신호에 {G(i-1, j)+G(i+1, j)+G(i, j-1)+G(i, j+1)}/4를 이용한다. 또, 평균을 구할 때에 연산 대상 위치 (i, j)로부터의 거리에 따른 가중치 부여를 행하여, 가중 평균을 구하여도 좋다. 이 경우, 가중 계수는 거리가 멀수록 작은 값으로 한다.

또한, 도 13에 나타내는 바와 같이, 연산 대상 위치인 (i-1, j)에 G 신호가 존재하는 경우에는, (b) 중의 빗금으로 나타낸 화소 위치의 G 신호를 (i-1, j)로부터의 거리에 따라 가중 평균값을 구한다. 다만, 가중 평균에 있어서 가산을 행할 때에, G(i-1, j)와 각 G 신호를 비교하여 그 차가 임계값 s보다 클 때에는, 연산에 이용하는 G 신호로 G(i-1, j)를 이용한다. G 신호의 경우는, 도 12나 도 13의 가 중 평균에 의해 모든 화소 위치의 비선형 로우 패스 필터 출력을 연산할 수 있다.

한편, R 신호, B 신호는 2행에 1행씩 밖에 화소가 배치되어 있지 않기 때문에, R 신호의 경우는, 도 14 내지 도 17의 연산으로 된다. G 신호와 마찬가지로 가중 평균을 산출할 때에 연산 대상 위치의 신호에 비해 신호의 변화가 큰 R 신호는 이용하지 않는다. B 신호의 경우는 도 18 내지 도 21에서 나타내지만, R 신호와 마찬가지다.

상술한 비선형 로우 패스 필터에서의 가중 평균의 가중치 부여나, 이용하는 신호의 수는 일례이며, 일반식으로 나타내면 다음 수학식 1과 같이 된다.

수학식 1에서, C는 색 신호이고, G 신호, R 신호, B 신호 중 어느 하나이다. CNF(i, j)는 (i, j) 위치에서의 비선형 로우 패스 필터링된 출력 신호이고, C(i, j)는 입력 신호이다. -N부터 N은 정수이며 각각 화소 신호의 어떤 위치를 샘플링하는 값으로 된다. ai, j는 필터 계수이며, 가중치 부여를 행하거나, 단순 가산의 경우에도, 전체 신호 레벨이 변화하지 않도록 값을 미리 정한다. 상술한 도 11의 예에서는 1/4이며, 도 10의 예에서는 1/8과 1/4이 이용되고 있다. F[·]는 비선형 함수이며 그 함수값의 절대값이

로 한정되는 비선형 함수이다. s는 상술한 바와 같이 미리 정한 임계값이다. 이 필터는 입력과 출력의 차를 유한값 내로 유지하면서 신호의 평활을 행하기 때문에, 신호의 급격한 변화를 유지하면서 작은 신호의 랜덤 노이즈를 제거한다고 하는 특징이 있다.

다음에, 연산 수단(1O)에 대하여 설명한다.

연산 수단(10)은 2차원 메모리(6r, 6g, 6b)로부터 판독한 화소 신호와, 비선형 로우 패스 필터(8r, 8g, 8b)의 출력에 근거하여, 각 화소에 대하여 보간값을 구한다.

연산 수단(10)은 예컨대, 도 22에서 나타내는 바와 같이, 선택 수단(42k, 42h, 41)과, 차 계산 수단(43)과, 가산 수단(44)과, 제어 수단(45)을 갖는다.

선택 수단(41)은 2차원 메모리(6r, 6g, 6b) 중 하나를 선택하고, 선택된 2차원 메모리(6r, 6g, 6b)로부터 판독된 화소 신호를 가산 수단(44)에 공급한다.

선택 수단(42k)은 로우 패스 필터(8r, 8g, 8b)의 출력 RNF, GNF, BNF를 받아, 이들 중 하나를 선택하여 출력한다. 선택 수단(42h)은 로우 패스 필터(8r, 8g, 8b)의 출력 RNF, GNF, BNF를 받아, 이들 중 다른 하나를 선택하여 출력한다.

선택 수단(4l, 42k, 42h)에 의한 선택은 제어 수단(45)에 의해 제어된다.

보간 대상 화소가 R, G, B 중 제 h 색의 색성분값을 갖고, 보간 대상 화소의 제 k 색의 색성분값을 보간에 의해 구할 때는, 선택 수단(41)은 제 h 색의 색성분값을 기억하고 있는 2차원 메모리를 선택하여, 보간 대상 화소의 제 h 색의 색성분값(예컨대, h(i, j)로 나타냄)을 판독하고, 선택 수단(42k)은 제 k 색의 로우 패스 필터의 출력 kNF를 선택하며, 선택 수단(42h)은 제 h 색의 로우 패스 필터의 출력 hNF를 선택한다.

차 계산 수단(43)은 선택 수단(42k)에서 선택된 제 k 비선형 LPF 신호 kNF 와, 선택 수단(42h)에서 선택된 제 h 비선형 LPF 신호 hNF의 차(전자로부터 후자를 뺀 것) (kNF-hNF)를 구한다.

가산 수단(44)은 선택 수단(41)으로부터 출력되는 화소값 h와, 차 계산 수단(43)의 출력 (kNF-hNF)를 가산하여, 그 합 h+r(kNF-hNF)를 출력한다.

가산 수단(44)의 출력은 보간 대상 화소의 제 k 색의 색성분값(보간값)으로서 이용된다.

상기 중, 비선형 로우 패스 필터(8r, 8g, 8b)와, 선택 수단(42k, 42h)에서, 보간 대상 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 제 k 분광 감도 특성의 화소 신호의 저주파수 성분과, 보간 대상 화소 위치의 근방 영역 내의 복수의 화소 위치에서의, 제 h 분광 감도 특성의 화소 신호의 저주파수 성분을 생성하는 저주파수 성분 생성 수단이 구성되어 있다.

또한, 선택 수단(41)과, 차 계산 수단(43)과, 가산 수단(44)에 의해, 보간 대상 화소 위치에서의 제 h 색의 화소 신호와, 비선형 LPF 출력의 차 (kNF-hNF)에 근거하여, 보간 대상 화소 위치에서의 제 k 색의 화소 신호(보간값)를 구하는 보간값 산출 수단이 구성되어 있다. 보다 상세히 말하면, 이 보간값 산출 수단은 보간 대상 화소의 위치에서의 하나의 색(제 h 색)의 화소 신호 h와, 차 계산 수단(43)에서 구한 차 (kNF-hNF)를 가산함으로써, 보간 대상 화소 위치에서의 다른 색(제 k 색)의 화소 신호 k를 구한다.

보간값 산출 수단에서 산출된 보간값은, 예컨대, 제 k 색의 화소 신호를 위한 2차원 메모리(6r, 6g, 6b 중 어느 하나)에 기억되거나, 혹은 출력 단자(11)로부 터 출력된다.

이하, 상술한 보간 방법에 대하여 더욱 상세히 설명한다.

이미지 센서(2)는 R, G, B의 색필터가 각각의 화소 위치에 대응하여, 예컨대, 도 2에서 나타내는 바와 같이, 베이어형으로 배치된 것이다. 각 화소 위치로부터는 하나의 색의 화소 신호만을 얻을 수 있기 때문에, 각 화소에 있어서의 R, G, B 신호는 각각의 화소에서의 결핍된 색 신호를 생성하여 얻어야 하고, 통상 「화소 보간」이라고 칭해진다. 연산 수단(10)에 의해 각 화소 위치에서의 R, G, B 신호가 보간되어, 출력 단자(11)로부터 출력된다. 이하에, 본 발명에 있어서의 결핍된 색 신호의 생성 방법에 대하여 설명한다.

상술한 바와 같이, 도 4는 HV 좌표면상에서의 G 신호의 배열을 나타낸 것이다.

도면에서 나타내고 있는 G 신호는 원래 이미지 센서(2)상에 G색 필터가 배치되어 있기 때문에, 그 색 필터를 통해 얻어지는 신호이며, 공백 부분은 다른 R, B색 필터가 배치되어 있기 때문에, G색 신호가 결핍된 부분이다. 이 결핍된 부분에서 G 신호를 보간해야 한다.

보간을 위한 종래 방법으로서, 주변 화소의 평균값을 이용하는 평균 보간 방법(바이리니어 보간)이 있지만, 신호의 변화가 큰 부분에서는 정밀도가 높은 보간을 기대할 수 없다.

그래서, 화상의 국소적인 영역에서는, R, G, B의 색 신호의 변화에 상관이 있는 것을 이용하여 화소 보간을 행하는 것에 의해 보간 정밀도를 높일 수 있다. 또한, 상관의 정도가 변화하는 부분에서는, 정확히 상관의 정도를 산출하는 것에 의해 정밀도가 높은 화소 보간을 실현할 수 있다.

그래서, 본 실시예에서는, 보간 처리 대상 화소 근방의 영역 내에서의 색성분값의 변화의 모양에 상사(相似)의 관계가 없는 영역에서도 정확하게 보간을 행할 수 있고, 또한 보간 처리 대상 화소 근방의 영역 내에서의 색성분값의 변화의 방법에 관계없이 항상 최적의 보간 방법으로 보간을 행하는 것이며, 상술한 연산 수단(10)에서의 보간 연산은 이하의 수학식 2에 의해 나타내어진다.

수학식 2에서, k(i, j)는, 이미지 센서(2)상의 좌표 (i, j)에서, 결핍된 색 신호이며, 보간되는 색 신호이다. h(i, j)는 (i, j)의 위치에 미리 존재하는, 즉, 값이 기지인 색 신호이다. kNF, hNF는 각각 화소 위치 (i, j)와, 그 주변의 화소 위치에서의 k 신호 및 h 신호로부터 소정의 연산에 의해 산출된 비선형 로우 패스 필터의 출력값이다. 비선형 로우 패스 필터 값은, 도 1에 나타낸, 비선형 로우 패스 필터(8r, 8g, 8b)로부터 얻어진다.

수학식 2에 나타낸 산출식의 의미에 대하여, 도 23, 도 24, 도 25, 도 26을 참조하여 설명한다. 이들 도면에는, 각 화소에서의 색 신호 레벨과 이미지 센서(2)상의 각 화소의 위치가 나타내어져 있다. 또한, 이들 도면에서는, 설명을 간단히 하기 위해, 이미지 센서(2)의 1 행만을 기재하고, 1차원 방향으로만 연산을 한정하여 도면을 나타낸다. 상부에 기재한 것은 각 색 필터의 배열이며, h는 h 화 소, k는 k 화소, 각 화소의 괄호( ) 안은 화소의 위치를 나타내는 좌표이다. 또한, 곡선 a는 k 신호의 참값이며, 곡선 b는 h 신호의 참값이다. 곡선 a, b 상에 검은 원(●)으로 나타낸 부분은 이미지 센서(2)로부터 얻어진 k 신호 및 h 신호의 화소 신호값이다. 곡선 c, d는 각각 k 신호, h 신호의 LPF 값이다. 이들 도면을 참조하여, 화소 위치 (i, j)에서의 k 신호의 화소 보간을 행하는 방법을 구체적으로 설명한다.

도 23 및 도 24는 k 신호와 h 신호가 모두 위쪽으로 볼록하게 되도록 변화하고 있지만, 변화의 정도가 k 신호와 h 신호가 다른 경우를 나타내고, 도 25 및 도 26은 화소 신호에 노이즈가 혼합된 경우를 나타낸다. 또한, 도 23 및 도 25는 종래 기술에 의한 보간 결과를 나타내고, 도 24 및 도 26은 본 실시예에 의한 보간 결과를 나타낸다.

도 23은 종래 기술에 의한 상관을 이용한 보간 방식을 나타낸다. h(i, j) 위치에서의 k 신호의 보간에 있어서, 종래의 기술에서는 상관을 이용하기 때문에, 신호의 변화를 산출하기 위해 선형 로우 패스 필터(단순 평균값 또는 가중 평균값)를 이용하여 화소 보간을 행하고 있었다. 즉, k(i, j)를 산출하기 위해, 그 위치의 h(i, j) 신호에, (kLPF(i, j)-hLPF(i, j))를 가산하고 있었다. 여기서 kLPF(i, j)란, (i, j) 위치에서의 k 신호의 선형 로우 패스 필터 출력값이며, 마찬가지로 hLPF(i, j)란, (i, j) 위치에서의 h 신호의 선형 로우 패스 필터 출력값이다. 상기 화소 보간 방식에서는 색 신호간의 정의 상관도가 클 때는 양호한 정밀도로 화소 보간을 행할 수 있지만, 상관도가 작아지면 보간 오차가 발생한다.

도 23에서는, k 신호와 h 신호가 위쪽으로 볼록하게 되도록 변화하고 있지만, 변화의 정도가 k 신호와 h 신호에서는 다른 신호를 나타내고 있다. 화상의 에지나 화상 내에서 색이 변하는 부분의 색 신호는 때때로 이러한 신호 파형으로 되는 경우가 있다. 이 경우 두 신호간의 상관의 정도는 작다. 도 23 중 곡선 c는 k 신호의 선형 로우 패스 필터의 출력 kLPF를 나타내고, 곡선 d는 h 신호의 선형 로우 패스 필터 출력 hLPF를 나타낸다. 신호간의 상관도가 낮기 때문에 kLPF의 신호 파형과 hLPF의 신호 파형은 동형이 아니고, 상사성이 성립하지 않는다. 그 때문에, 보간된 k 신호를 도면에 흰 원(○)으로 나타내는 바와 같이, h(i-2, j)나 h(i+2, j) 위치 등 신호 변화의 에지 위치에서는 참값에 대하여 보간 오차가 발생한다.

본 실시예에 의한 화소 보간 방식에서는, 화소 보간에 비선형 로우 패스 필터(8r, 8g, 8b)의 값을 이용한다. 도 24에 구체적인 예를 나타낸다. 도 10, 도 11에 나타낸 비선형 로우 패스 필터에서는, 신호의 변화가 클 때 그 값 대신 연산 대상 위치의 신호를 그대로 이용한다. 따라서, 그 출력 파형은, 도 24에 곡선 e, 곡선 f로 나타내는 바와 같이, 급격한 신호 변화에 응답하는 것과 같은 파형으로 된다. 도면에서 곡선 e는 k 신호의 비선형 로우 패스 필터의 출력 kNF이며, 곡선 f는 h 신호의 비선형 로우 패스 필터의 출력 hNF이다. 따라서, 수학식 2에 나타낸 연산에서 구해지는 화소의 값은, 도 24 중 흰 원(○)으로 나타내는 바와 같이, 참값에 거의 일치한 값으로 되도록 화소 보간 되어 있다. 이와 같이 상술한 비선형 로우 패스 필터의 출력값으로부터 색 신호의 상관을 구하는 것에 의해, 정밀도가 높은 화소 보간을 행할 수 있다.

다른 예에 대하여 나타낸다. 도 25, 도 26에서는 신호에 노이즈가 혼합된 경우에 있어서의 화소 보간의 예를 나타낸다. 도 25는 종래 기술에 의한 화소 보간의 예를 나타내는 도면이다. 지금, (i-1, j)의 화소 위치에 노이즈가 발생했다고 한다. 이 노이즈는 k 신호에 가산되기 때문에, k 신호는 (i-1, j)의 위치에서 노이즈가 가산된다. 이 때, k 신호의 선형 로우 패스 필터의 값 kLPF는 동(同) 도면에 곡선 c로 나타내는 바와 같이, 노이즈에 의한 신호 변동이 포함된 형태의 신호 파형으로 된다. 곡선 d는 h 신호의 선형 로우 패스 필터 출력 hLPF이다. k 신호가 화소 보간된 값을 흰 원(○)으로 나타낸다. kLPF가 노이즈의 영향을 받고 있기 때문에, (i-2, j), (i, j) 위치에서의 화소 보간된 값은 참값으로부터 이격된 값으로 되어, 노이즈에 의한 오차가 커진 형태로 된다. 따라서, 선형 로우 패스 필터의 출력값을 이용한 경우, 노이즈 등이 신호에 가산된 경우에 노이즈의 영향이 화소 보간에도 영향을 미친다고 하는 문제가 있었다.

도 26에서는, 본 실시예에 의한 화소 보간의 예를 나타낸다. 도면에서 곡선 e는 k 신호의 비선형 로우 패스 필터의 값 kNF를, 곡선 f는 h 신호의 비선형 로우 패스 필터의 값 hNF를 나타낸다. 도 25와 같이 k 신호에는 (i-1, j)의 화소 위치에서 노이즈가 신호에 가산되어 있다. 도 10, 도 11에 나타낸 비선형 로우 패스 필터에서는 신호의 변화가 클 때 그 값 대신 연산 대상 위치의 신호를 그대로 이용하기 때문에, 도 26의 k 신호와 같이 짧은 영역에서의 큰 신호 변화(노이즈)는 제거되는 형태로 저주파수 신호 성분을 얻을 수 있다. 따라서, 도면에서 흰 원(○) 으로 나타내는 바와 같이, 노이즈가 신호에 가산된 경우에서도 정밀도가 높은 화소 보간을 행할 수 있다.

화소 보간의 연산 수단에 대하여 이하에 구체적으로 설명한다. 도 27에서 연산 수단(10)의 연산 순서를 흐름도로서 나타낸다. 도 27에 나타내는 바와 같이, 보간값의 산출은 이하의 여섯 단계의 처리를 포함한다.

단계 S1 ; R 화소 위치에서의 G 신호(GonR)를 구하기 위한 처리.

단계 S2 ; B 화소 위치에서의 G 신호(GonB)를 구하기 위한 처리.

단계 S3 ; G 화소 위치에서의 R 신호(RonG)를 구하기 위한 처리.

단계 S4 ; G 화소 위치에서의 B 신호(BonG)를 구하기 위한 처리.

단계 S5 ; R 화소 위치에서의 B 신호(BonR)를 구하기 위한 처리.

단계 S6 ; B 화소 위치에서의 R 신호(RonB)를 구하기 위한 처리.

이들 여섯 단계의 처리는, 「h 색(h=R, G, 또는 B)의 화소 신호가 존재하는 화소 위치에서의 k 색(k=R, G, 또는 B, 단, h는 k와는 다름)의 화소 신호를 구하기 위한 처리」라고 일반화하여 말할 수 있다. 이들 여섯 단계의 처리 각각은 화면상(1 프레임 내)의 모든 화소 위치에 대하여 행해진다.

상기 여섯 단계의 처리가 모두 끝났을 때에, 1 화면상의 모든 화소 위치의 모든 화소에서의 부족한 색의 화소 신호가 정리된다.

우선, 단계 S1의 연산 처리에 대하여 설명한다. G 신호의 비선형 로우 패스 필터 출력(이후, 「NF 출력」이라고도 함, 또, 「NF」는 「nonlinear low-pass filter」를 의미함)은 도 1의 비선형 로우 패스 필터(8g)에 의해 산출되고, 산출 결과가 연산 수단(10)에 입력된다.

마찬가지로 R 신호의 NF 출력도 도 1의 비선형 로우 패스 필터(8r)에 의해 산출되고, 산출 결과가 연산 수단(10)에 입력된다.

R 화소의 위치에서의 G 신호는 수학식 2에 따른 다음 수학식 3에 의해 산출된다. 또, R 화소는 (i+n, j+m)(n, m은 홀수)의 위치에 존재하기 때문에, 이에 따라 수학식 3은 수학식 2와는 좌표값이 다른 것으로 된다.

도 28은 수학식 3에 의한 보간 결과 얻어진 G 신호 gr을 각각 대응하는 R 화소 위치에 2차원적으로 나타낸다.

다음에, 단계 S2의 연산 처리로 넘어간다. 단계 S2는 B 화소의 위치에서 결핍된 G 신호를 보간한다. B 신호의 NF 출력은 도 1의 비선형 로우 패스 필터(8b)에 의해 산출되고, 산출 결과가 연산 수단(10)에 입력된다. B 화소의 위치에서의 G 신호는 수학식 2에 따른 다음 수학식 4에 의해 산출된다. 또, B 화소는 (i+u, j+v)(u, v는 짝수)의 위치에 존재하기 때문에, 이에 따라 수학식 4는 수학식 2와는 좌표값이 다른 것으로 된다.

도 29는 수학식 4에 의한 보간 결과 얻어진 G 신호 gb를 각각 대응하는 B 화소 위치에 2차원적으로 나타낸다. 도 29에서는, 수학식 3에 의한 보간 결과 gr도 나타내어져 있다. 수학식 3에 의한, R 화소 위치의 G 신호의 보간 및 수학식 4에 의한, B 화소 위치에서의 G 신호의 보간에 의해, 전 화소 위치에서의 G 신호를 얻을 수 있다.

다음에, 단계 S3의 연산 처리로 넘어간다. 단계 S3은 G 화소의 위치에서 결핍된 R 신호를 보간한다. G 화소의 위치에서의 R 신호는 수학식 2에 따른 다음 수학식 5, 수학식 6으로써 산출된다. G 화소는 (i+u, j+m)(u는 짝수, m은 홀수)위치와 (i+n, j+v)(n은 홀수, v는 짝수)에 존재하기 때문에, 수학식 5, 수학식 6은 수학식 2와는 좌표값이 다른 것으로 된다.

도 30은 수학식 5 및 수학식 6에 의한 보간 결과 얻어진 R 신호 rg를 각각 대응하는 G 화소 위치에 2차원적으로 나타낸다.

또, 수학식 5 및 수학식 6에서도 RNF, GNF는 도 1의 비선형 로우 패스 필터(8r, 8g)에 의해 산출된 값(도 6, 도 7)이지만, GNF에 대해서는, 단계 S1 및 단계 S2에서 산출한 gr, gb를 이용하여 새롭게 산출하여도 좋다. 그 경우, 도 1에 나타내는 바와 같이, 연산 수단(10)에서 산출한 gr, gb를 일단 2차원 메모리(6g)로 출력하고, 일시적으로 기억 유지한 후, 재차 비선형 로우 패스 필터(8g)에서 산출하는 것으로 된다.

다음에, 단계 S4의 연산 처리로 넘어간다. 단계 S4는 G 화소의 위치에서 결핍된 B 신호를 보간한다. G 화소의 위치에서의 B 신호는 수학식 2에 따른 다음 수학식 7, 수학식 8에 의해 산출된다. G 화소는 (i+u, j+m)(u는 짝수, m은 홀수)의 위치와 (i+n, j+v)(n은 홀수, v는 짝수)의 위치에 존재하기 때문에, 수학식 7 및 수학식 8은 수학식 2와는 좌표값이 다른 것이 된다.

도 31은 수학식 7 및 수학식 8에 의한 보간 결과 얻어진 B 신호 bg를 각각 대응하는 G 화소 위치에 2차원적으로 나타낸다.

또, 본 수학식 7 및 수학식 8에서도 BNF, GNF는 도 1의 비선형 로우 패스 필터(8g, 8b)에 의해 산출된 값(도 7, 도 8)이지만, GNF에 대해서는, 단계 S1 및 단계 S2에서 산출한 gr, gb를 이용하여 새롭게 산출하여도 좋다.

그 경우, 도 1에 나타내는 바와 같이, 연산 수단(10)에서 산출한 gr, gb를 일단 2차원 메모리(6g)로 출력하고, 일시적으로 기억 유지한 후, 재차 비선형 로우 패스 필터(8g)에서 산출하는 것으로 된다.

다음에, 단계 S5의 연산 처리로 넘어간다. 단계 S5는 B 화소의 위치에서 결핍된 R 신호를 보간한다. B 화소의 위치에서의 R 신호는 수학식 2에 따른 다음 수학식 9로써 산출된다. B 화소는 (i+u, j+v)(u, v는 짝수) 위치에 존재하기 때문 에, 수학식 9는 수학식 2와는 좌표값이 다른 것이 된다.

도 32는 수학식 9에 의한 보간의 결과 얻어진 R 신호 rb를 각각 대응하는 B 화소 위치에 2차원적으로 나타낸다. 도 32에서는, 또한, 수학식 5 및 수학식 6에 의한 보간 결과 얻어진 R 신호 rg를 각각 대응하는 G 화소 위치에 나타내고 있다. 수학식 5 및 수학식 6에 의한 보간과, 수학식 9에 의한 보간 결과, 모든 화소의 R 신호가 정리된다.

또, 수학식 9에서도 RNF, GNF는 상술한 도 1의 비선형 로우 패스 필터(8r, 8g)에 의해 산출된 값(도 6, 도 7)이지만, GNF에 대해서는, 단계 S1 및 단계 S2에서 산출한 gr, gb를 이용하여 새롭게 산출하여도 좋다. 또한, RNF도, 단계 S3에서 산출한 rg를 이용하여 새롭게 산출하여도 좋다.

다음에, 단계 S6의 연산 처리로 넘어간다. 단계 S6는 R 화소의 위치에서 결핍된 B 신호를 보간한다. R 화소의 위치에서의 B 신호는 수학식 2에 따른 다음 수학식 10에서 산출된다. R 화소는 (i+n, j+m)(n, m은 홀수) 위치에 존재하기 때문에, 이에 따라 수학식 10은 수학식 2와는 좌표값이 다른 것으로 된다.

도 33은 수학식 10에 의한 보간 결과 얻어진 B 신호 br을 각각 대응하는 R 화소 위치에 2차원적으로 나타낸다. 도 33에는, 또한, 수학식 7 및 수학식 8에 의 한 보간 결과 얻어진 B 신호 bg가 각각 대응하는 G 화소 위치가 나타내어져 있다. 수학식 7 및 수학식 8에 의한 보간과, 수학식 10에 의한 보간 결과, 모든 화소의 B 신호가 정리된다.

또, 수학식 10에 있어서도 BNF, GNF는 상술한 도 1의 비선형 로우 패스 필터(8g, 8b)에 의해 산출된 값(도 7, 도 8)이지만, GNF에 대해서는, 단계 S1 및 단계 S2에서 산출한 보간값 gr, gb를 이용하여 새롭게 산출하여도 좋다. 또한, BNF도, 단계 S4에서 산출한 보간값 bg를 이용하여 새롭게 산출하여도 좋다.

이상, 단계 S1 내지 단계 S6의 연산에 의해, 각 화소에서 결핍된 색 신호를 보간하여, 전체 화소의 R, G, B 신호를 얻을 수 있다.

상기 방식으로 보간을 행하면, 각 색 신호(R, G, B)간에 상관이 있을 때는, 상관을 이용한 화소 보간을 행할 수 있고, 또한 화상의 에지 부분 등 상관이 낮거나 또는 없는 부분에서도, 정밀도가 높은 화소 보간을 행할 수 있다.

또한, 상기 예에서, 각 색의 신호를 생성하는 순서는 도 24에 나타낸 순서에 한정되는 것이 아니고, 신호를 생성하는 순서를 변경하여도 관계없다. 예컨대, 단계 S1과 단계 S2, 단계 S3과 단계 S4, 단계 S5와 단계 S6은 연산의 순서를 변경할 수 있다.

또한, 본 실시예에서는 비선형 로우 패스 필터에서 2차원의 필터링을 행하는 연산식을 기재했지만, 주목 화소 주위에서의 출력 신호의 상관성 판정을 행하여, 상관성이 강하다고 판단된 방향으로 정렬된 화소의 출력 신호만을 이용하여 필터링을 행하여도 좋다.

또한, 연산 수단(10)에서 행하는 수학식 3 내지 수학식 1O에 나타낸 화소 보간에 관한 연산은 화상의 처리 속도를 고려하여 통상 하드웨어에 의해 구성되지만, 처리 시간이 허용되면, 그것에 한정되는 것은 아니고, 소프트웨어에 의해 연산을 실현하여도 좋다.

(실시예 2)

다음에, 실시예 2의 화소 신호 처리 장치를 설명한다. 실시예 2의 화소 신호 처리 장치를 구비한 촬상 장치의 전체적 구성은 도 1에서 나타내는 것과 같지만, 연산 수단(10)의 구성이 실시예 1과는 다르다. 도 34는 실시예 2의 연산 수단의 구성을 나타낸다. 도 34에 나타낸 연산 수단은, 대체로 도 22의 연산 수단과 마찬가지이지만, 차 계산 수단(43) 대신 비 계산 수단(46)을 구비하고, 가산 수단(44) 대신, 승산 수단(47)을 갖는 점에서 다르다.

비계산 수단(46)은 선택 수단(42k)에서 선택된 제 k 비선형 LPF 신호 kNF의, 선택 수단(42h)에서 선택된 제 h 비선형 LPF 신호 hNF에 대한 비 kNF/hNF를 구한다.

승산 수단(47)은 선택 수단(41)으로부터 출력되는 화소값 h와, 비계산 수단(46)의 출력 (kNF/hNF)를 승산하고, 그 곱 h×(kNF-hNF)를 출력한다. 승산 수단(47)의 출력이 보간 대상 화소의 제 k 색의 색성분값(보간값)으로서 이용된다.

상기 중, 선택 수단(41)과 비계산 수단(46)과 승산 수단(47)에 의해, 보간 대상 화소 위치에서의 제 h 색의 화소 신호와, 비선형 LPF 출력의 비 (kNF/hNF)에 근거하여, 보간 대상 화소 위치에서의 제 k 색의 화소 신호(보간값)를 구하는 보간값 산출 수단이 구성되어 있다. 더욱 상세히 말하면, 이 보간값 산출 수단은 보간 대상 화소의 위치에서의 하나의 색(제 h 색)의 화소 신호 h와, 비 계산 수단(46)에서 구한 비 (kNF/hNF)를 승산함으로써, 보간 대상 화소 위치에서의 다른 색(제 k 색)의 화소 신호 k를 구한다.

보간값 산출 수단에서 산출된 보간값은, 예컨대, 제 k 색의 화소 신호를 위한 2차원 메모리(6r, 6g, 6b 중 어느 하나)에 기억되거나, 혹은 출력 단자(11)로부터 출력된다.

본 실시예도 실시예 1과 마찬가지로, 보간 처리 대상 화소 근방의 영역 내에서의 색성분값의 변화의 모양에 서로 유사한 관계가 없는 영역에서도 정확히 보간을 행할 수 있고, 또한 보간 처리 대상 화소 근방의 영역 내에서의 색성분값의 변화의 방법에 관계없이 항상 최적의 보간 방법으로 보간을 행하는 것이며, 상기 연산 수단(10)에 의한 보간 연산은 다음 수학식 11로 나타내어진다.

수학식 11에서, 수학식 2와 마찬가지로 k(i, j)는 이미지 센서(2)상의 좌표 (i, j)에서, 결핍된 색 신호이며, 보간될 색 신호이다. h(i, j)는 (i, j)의 위치에 미리 존재하는, 즉, 값이 기지인 색 신호이다. kNF, hNF는 각각 화소 위치 (i, j)와, 그 주변의 화소 위치에서의 k 신호 및 h 신호로부터 소정의 연산에 의해 산출된 비선형 로우 패스 필터 출력값이다. 비선형 로우 패스 필터 값은 도 1에 나 타낸, 비선형 로우 패스 필터(8r, 8g, 8b)로부터 얻어진다.

수학식 11에 나타낸 산출식의 의미에 대하여, 도 35, 도 36, 도 37, 도 38을 참조하여 설명한다. 이들 도면에는, 각 화소에서의 색 신호 레벨과 이미지 센서(2)상의 각 화소의 위치가 나타내어져 있다. 또한, 이들 도면에서는, 설명을 간단히 하기 위해, 이미지 센서(2)의 1 행만을 기재하고, 1차원 방향으로만 연산을 한정한 도면을 나타낸다. 상부(上部)에 기재한 것은 각 색필터의 배열이며, h는 h 화소, k는 k 화소, 각 화소의 괄호( ) 안은 화소의 위치를 나타내는 좌표이다. 또한, 곡선 a는 k 신호의 참값이며, 곡선 b는 h 신호의 참값이다. 곡선 a, b 상에서 검은 원(●)으로 나타낸 부분은 이미지 센서(2)로부터 얻어진 k 신호 및 h 신호의 화소 신호값이다. 곡선 c, d는 각각 k 신호, h 신호의 LPF 값이다. 이들 도면을 참조하여, 화소 위치 (i, j)에서의 k 신호의 화소 보간을 행하는 방법을 구체적으로 설명한다.

도 35 및 도 36은 k 신호와 h 신호가 모두 위쪽으로 볼록하게 되도록 변화하고 있지만, 변화의 정도가 k 신호와 h 신호에서는 다른 경우를 나타내고, 도 37 및 도 38은 화소 신호에 노이즈가 혼합된 경우를 나타낸다. 또한, 도 35 및 도 37은 종래 기술에 의한 보간 결과를 나타내고, 도 36 및 도 38은 본 실시예에 의한 보간 결과를 나타낸다.

실시예 1에서 설명한 바와 같이, 화상의 국소적인 영역에서는 신호의 변화에는 강한 상관이 있다. 따라서, 신호의 완만한 변화를 산출하는 로우 패스 필터의 출력값과 각각의 신호 사이에는 다음 수학식 12가 성립된다.

수학식 12를 변형하면, h 화소의 어떤 (i, j)에서의 k(i, j)의 신호는 다음 수학식 13으로 나타낼 수 있다.

수학식 13은 화상의 국소적인 영역에서는 신호의 변화에 강한 상관을 갖는다고 가정하고 있으며, 화상 대부분의 영역에서는 상기 가정이 성립하기 때문에, 신호의 변화에 정의 상관이 높은 영역에서는 정밀도가 높은 화소 보간이 가능하게 된다. 그러나, 실시예 1과 마찬가지로 화상의 에지 등 상관이 없는 영역이나, 상관의 정도가 낮아지면 화소 보간 오차가 발생한다.

즉, 도 35에서는 k 신호와 h 신호가 위쪽으로 볼록하게 되도록 변화하고 있지만, 변화의 정도가 k 신호와 h 신호에서는 서로 다른 신호를 나타내고 있다. 화상의 에지나 화상 내에서 색이 변하는 부분의 색 신호는 때때로 이러한 신호 파형으로 되는 경우가 있다. 이 경우 두 신호간의 상관의 정도는 작다. 도 35 중 곡선 c는 k 신호의 선형 로우 패스 필터의 출력 kLPF를 나타내고, 곡선 d는 h 신호의 선형 로우 패스 필터의 출력 hLPF를 나타낸다. 신호간의 상관도가 낮기 때문에 kLPF의 신호 파형과 hLPF의 신호 파형은 동형이 아니라, 상사성이 성립되지 않는다. 그 때문에, 보간된 k 신호를 도면 중 흰 원(○)으로 나타내는 바와 같이, h(i-2, j)나 h(i+2, j) 위치 등 신호 변화의 에지 위치에서는 참값에 대하여 보간 오차가 발생한다.

본 실시예에 의한 화소 보간 방식에서는, 화소 보간에 비선형 로우 패스 필터(8r, 8g, 8b)의 값을 이용한다. 도 36에 구체적인 예를 나타낸다. 도 10, 도 11에 나타낸 비선형 로우 패스 필터에서는 신호의 변화가 클 때 그 값 대신 연산 대상 위치의 신호를 그대로 이용한다. 따라서, 그 출력 파형은, 도 36에 곡선 e, 곡선 f로 나타내는 바와 같이, 급격한 신호 변화에 응답하는 것과 같은 파형으로 된다. 도면에서 곡선 e는 k 신호의 비선형 로우 패스 필터의 출력 kNF이며, 곡선 f는 h 신호의 비선형 로우 패스 필터의 출력 hNF이다. 따라서, 수학식 l2에 나타낸 연산에 의해 구해지는 화소의 값은, 도 36 중 흰 원(○)으로 나타내는 바와 같이, 참값에 거의 일치한 값으로 되도록 화소 보간되어 있다. 이와 같이 상술한 비선형 로우 패스 필터의 출력값으로부터 색 신호의 상관을 구하는 것에 의해, 정밀도가 높은 화소 보간을 행할 수 있다.

다른 예에 대하여 나타낸다. 도 37, 도 38에는 신호에 노이즈가 혼합된 경우에서의 화소 보간의 예를 나타낸다. 도 37은 종래 기술에 의한 화소 보간의 예를 나타낸 도면이다. 지금, (i-1, j)의 화소 위치에 노이즈가 발생했다고 한다. 이 노이즈는 k 신호에 가산되기 때문에, k 신호는 (i-1, j)의 위치에서 노이즈가 가산된다. 이 때, k 신호의 선형 로우 패스 필터의 값 kLPF는 동 도면에 곡선 c로 나타내는 바와 같이 노이즈에 의한 신호 변동이 포함된 형태의 신호 파형으로 된다. 곡선 d는 h 신호의 선형 로우 패스 필터의 출력 hLPF이다. 수학식 13에 나타낸 연산에 의해 구해지는 k 신호가 화소 보간된 값을 흰 원(○)으로 나타낸다. kLPF가 노이즈의 영향을 받고 있기 때문에, (i-2, j), (i, j) 위치에서의 화소 보간된 값은 참값과는 다른 값이 되어, 노이즈에 의한 오차가 커지는 형태로 된다. 따라서, 선형 로우 패스 필터의 출력값을 이용한 경우, 노이즈 등이 신호에 가산된 경우에 노이즈의 영향이 화소 보간에도 영향을 미친다고 하는 문제가 있었다.

도 38에는 본 실시예에 의한 화소 보간의 예를 나타낸다. 도면에서 곡선 e는 k 신호의 비선형 로우 패스 필터의 값 kNF를, 곡선 f는 h 신호의 비선형 로우 패스 필터의 값 hNF를 나타낸다. 도 37과 같이 k 신호에는 (i-1, j)의 화소 위치에서 노이즈가 신호에 가산되어 있다. 도 10, 도 11에 나타낸 비선형 로우 패스 필터에서는 신호의 변화가 클 때 그 값 대신 연산 대상 위치의 신호를 그대로 이용하기 때문에, 도 38의 k 신호와 같이 짧은 영역에서의 큰 신호 변화(노이즈)는 제거되는 형태로 저주파수 신호 성분을 얻을 수 있다. 따라서, 수학식 11에 나타낸 연산에서 구해지는 화소 보간 신호는, 도면에서 흰 원(○)으로 나타내는 바와 같이, 참값에 가까운 값으로 보간되어 있어, 노이즈가 신호에 가산된 경우에서도 정밀도가 높은 화소 보간을 행할 수 있다.

화소 보간의 연산은, 실시예 1과 마찬가지로, 도 27의 흐름도에 나타내는 순서로 행해진다. 도 27에 나타내는 바와 같이, 보간값의 산출은 여섯 단계의 처리를 포함한다. 이 여섯 단계의 처리가 모두 종료되었을 때에, 한 화면상의 모든 화소 위치의 모든 화소에서의 부족한 색의 화소 신호가 정리된다.

각 순서에서의 연산 수단을 구체적으로 설명한다. 우선, 각 색 신호 R, G, B의 비선형 로우 패스 필터의 출력은 실시예 1과 마찬가지이다.

우선, 단계 S1의 연산 처리에 대하여 설명한다. G 신호의 NF 출력은 도 1의 비선형 로우 패스 필터(8g)에 의해 산출되고, 산출 결과가 연산 수단(10)에 입력된다.

마찬가지로 R 신호의 NF 출력도 도 1의 비선형 로우 패스 필터(8r)에 의해 산출되고, 산출 결과가 연산 수단(10)에 입력된다.

R 화소의 위치에서의 G 신호는 수학식 11에 따른 다음 수학식 14에 의해 산출된다. 또, R 화소는 (i+n, j+m)(n, m은 홀수)의 위치에 존재하기 때문에, 이에 따른 수학식 14는 수학식 11과는 좌표값이 다른 것으로 된다.

도 28은 수학식 14에 의한 보간 결과 얻어진 G 신호 gr을 각각 대응하는 R 화소 위치에 2차원적으로 나타낸다.

다음에, 단계 S2의 연산 처리로 넘어간다. 단계 S2는 B 화소의 위치에서 결핍된 G 신호를 보간한다. B 신호의 NF 출력은 도 1의 비선형 로우 패스 필터(8b)에 의해 산출되고, 산출 결과가 연산 수단(10)에 입력된다. B 화소의 위치에서의 G 신호는 수학식 11에 따른 다음 수학식 15에 의해 산출된다. 또, B 화소는 (i+u, j+v)(u, v는 짝수)의 위치에 존재하기 때문에, 이에 따른 수학식 15는 수학식 11과는 좌표값이 다른 것으로 된다.

도 29는 수학식 15에 의한 보간 결과 얻어진 G 신호 gb를 각각 대응하는 B 화소 위치에 2차원적으로 나타낸다. 도 29에는, 수학식 14에 의한 보간 결과 gr도 나타내어져 있다. 수학식 14에 의한, R 화소 위치의 G 신호의 보간 및 수학식 15에 의한, B 화소 위치에서의 G 신호의 보간에 의해, 전체 화소 위치에서의 G 신호를 얻을 수 있다. 수학식 15에 의해 B 화소 위치에서의 G 신호를 보간하고, 그 신호 배열의 도면을 2차원적으로 나타낸 것을 도 29에 gb로써 나타낸다. 이에 따라 전체 화소 위치에서의 G 신호를 산출할 수 있게 된다.

다음에, 단계 S3의 연산 처리로 넘어간다. 단계 S3는 G 화소의 위치에서 결핍된 R 신호를 보간한다. G 화소의 위치에서의 R 신호는 수학식 11에 따른 다음 수학식 16, 수학식 17에 의해 산출된다. G 화소는 (i+u, j+m)(u는 짝수, m은 홀수) 위치와 (i+n, j+v)(n은 홀수, v는 짝수)에 존재하기 때문에, 수학식 16, 수학식 17은 수학식 11과는 좌표값이 다른 것으로 된다.

도 30은 수학식 16 및 수학식 17에 의한 보간 결과 얻어진 R 신호 rg를 각각 대응하는 G 화소 위치에 2차원적으로 나타낸다.

또, 수학식 16 및 수학식 17에서도 RNF, GNF는 도 1의 비선형 로우 패스 필터(8r, 8g)에 의해 산출된 값(도 6, 도 7)이지만, GNF에 대해서는, 단계 S1 및 단 계 S2에서 산출된 gr, gb를 이용하여 새롭게 산출하여도 좋다. 그 경우, 도 1에 나타내는 바와 같이, 연산 수단(10)에서 산출한 gr, gb를 일단 2차원 메모리(6g)로 출력하여, 일시적으로 기억 유지한 후, 재차 비선형 로우 패스 필터(8g)에 의해 산출하는 것으로 된다.

다음에, 단계 S4의 연산 처리로 넘어간다. 단계 S4는 G 화소의 위치에서 결핍된 B 신호를 보간한다. G 화소의 위치에서의 B 신호는 수학식 11에 따른 다음 수학식 18, 수학식 19에 의해 산출된다. G 화소는 (i+u, j+m)(u는 짝수, m은 홀수) 위치와 (i+n, j+v)(n은 홀수, v는 짝수)에 존재하기 때문에, 수학식 18 및 수학식 19는 수학식 11과는 좌표값이 다른 것으로 된다.

도 31은 수학식 18 및 수학식 19에 의한 보간 결과 얻어진 B 신호 bg를 각각 대응하는 G 화소 위치에 2차원적으로 나타낸다.

또, 본 수학식 18 및 수학식 19에서도 BNF, GNF는 도 1의 비선형 로우 패스 필터(8g, 8b)에 의해 산출된 값(도 7, 도 8)이지만, GNF에 대해서는, 단계 S1 및 단계 S2에서 산출한 gr, gb를 이용하여 새롭게 산출하여도 좋다.

그 경우, 도 1에서 나타내는 바와 같이, 연산 수단(10)에서 산출한 gr, gb를 일단 2차원 메모리(6g)로 출력하고, 일시적으로 기억 유지한 후, 재차 비선형 로우 패스 필터(8g)에서 산출하는 것으로 된다.

다음에, 단계 S5의 연산 처리로 넘어간다. 단계 S5는 B 화소의 위치에서 결핍된 R 신호를 보간한다. B 화소의 위치에서의 R 신호는 수학식 11에 따른 다음 수학식 20에 의해 산출된다. B 화소는 (i+u, j+v)(u, v는 짝수) 위치에 존재하기 때문에, 수학식 20은 수학식 11과는 좌표값이 다른 것으로 된다.

도 32는 수학식 20에 의한 보간 결과 얻어진 R 신호 rb를 각각 대응하는 B 화소 위치에 2차원적으로 나타낸다. 도 32에는, 또한, 수학식 16 및 수학식 17에 의한 보간 결과 얻어진 R 신호 rg를 각각 대응하는 G 화소 위치에 나타내고 있다. 수학식 16 및 수학식 17에 의한 보간과, 수학식 20에 의한 보간 결과, 모든 화소의 R 신호가 정리된다.

또, 수학식 20에서 RNF, GNF는 상술한 도 1의 비선형 로우 패스 필터(8r, 8g)에 의해 산출된 값(도 6, 도 7)이지만, GNF에 대해서는, 단계 S1 및 단계 S2에서 산출한 gr, gb를 이용하여 새롭게 산출하여도 좋다. 또한, RNF도, 단계 S3에서 산출한 rg를 이용하여 새롭게 산출해도 좋다.

다음에, 단계 S6의 연산 처리로 넘어간다. 단계 S6은 R 화소의 위치에서 결핍된 B 신호를 보간한다. R 화소의 위치에서의 B 신호는 수학식 11에 따른 다음 수학식 21에 의해 산출된다. R 화소는 (i+n, j+m)(n, m은 홀수) 위치에 존재하기 때문에, 이에 따른 수학식 21은 수학식 11과는 좌표값이 다른 것으로 된다.

도 33은 수학식 21에 의한 보간 결과 얻어진 B 신호 br을 각각 대응하는 R 화소 위치에 2차원적으로 나타낸다. 도 33에는 또, 수학식 18 및 수학식 19에 의한 보간 결과 얻어진 B 신호 bg가 각각 대응하는 G 화소 위치가 나타내어져 있다. 수학식 18 및 수학식 19에 의한 보간과, 수학식 21에 의한 보간 결과, 모든 화소의 B 신호가 정리된다.

또, 수학식 21에서도 BNF, GNF는 상술한 도 1 중 비선형 로우 패스 필터(8g, 8b)에 의해 산출된 값(도 7, 도 8)이지만, GNF에 대해서는, 단계 S1 및 단계 S2에서 산출한 gr, gb를 이용하여 새롭게 산출하여도 좋다. 또한, BNF도 단계 S4에서 산출한 bg를 이용하여 새롭게 산출해도 좋다.

이상 단계 S1 내지 단계 S6의 연산에 의해, 각 화소에서 결핍된 색 신호를 보간하여, 전체 화소의 R, G, B 신호를 얻을 수 있다.

상기한 방식으로 보간을 행하면, 각 신호(R, G, B)간에 상관이 있을 때는, 상관을 이용한 화소 보간을 행할 수 있고, 또한 화상의 에지 부분 등 상관이 낮거나 또는 없는 부분에서도 정밀도가 높은 화소 보간을 행할 수 있다.

또한, 상기의 예에서, 각 색의 신호를 생성하는 순서는 도 24에서 나타낸 순서에 한정되는 것이 아니라, 신호를 생성하는 순서를 변경하여도 관계 없다. 예컨대, 단계 S1과 단계 S2, 단계 S3과 단계 S4, 단계 S5와 단계 S6은 연산의 순서를 변경할 수 있다.

또한, 본 실시예에서는 비선형 로우 패스 필터에 있어서 2차원의 필터링을 행하는 연산식을 기재했지만, 주목 화소의 주위에서의 출력 신호의 상관성의 판정을 행하여, 상관성이 강하다고 판단된 방향으로 정렬된 화소의 출력 신호만을 이용하여 필터링을 행하여도 좋다.

또한, 연산 수단(10)에서 행하는 수학식 14 내지 수학식 21에 나타낸 화소 보간에 관한 연산은 화상의 처리 속도를 고려하여 통상 하드웨어로 구성되지만, 처리 시간이 허용되면 그것에 한정되는 것이 아니고 소프트웨어로 연산을 실현하여도 좋다.

또한, 이상 본 발명을 화소 신호 처리 장치로서 설명했지만, 이들 장치에 관한 설명에 의해 명백해진 화소 신호 처리 방법도 또한 본 발명의 일부를 이룬다.

Claims (12)

1. 2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 그룹 중 제 h(h는 1부터 N 중 어느 하나) 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에서의 제 k(k는 h를 제외한 1부터 N 중 어느 하나) 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치에 있어서,

   상기 주목 화소 위치 근방의, 상기 제 h 분광 감도 특성을 갖는 제 1 복수의 화소(이하, 「제 1 근방 화소」라고 함) 각각에 대하여, 그 신호값과, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호 각각의 신호값의 차(이하, 「제 1 차」라고 함)의 절대값이 미리 정한 제 1 임계값보다 큰지 여부의 판정을 행하여, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 클 때는, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호의 신호값을 선택하고, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 작을 때는, 상기 제 1 근방 화소의 신호값을 선택하는 제 1 비교 선택 수단과,

   상기 제 1 비교 선택 수단에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 1 평균값 연산 수단과,

   상기 제 1 평균값 연산 수단에 의해 연산된 결과를, 상기 주목 화소 위치에서의, 상기 제 h 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 h 신호 비선형 로우 패스 필터와,

   상기 주목 화소 위치의 근방의, 상기 제 k 분광 감도 특성을 갖는 제 2 복수의 화소(이하, 「제 2 근방 화소」라고 함) 각각에 대하여, 그 신호값과, 상기 주목 화소 위치에 인접하는 복수의 상기 제 k 분광 감도 특성의 화소 신호의 평균값과의 차(이하, 「제 2 차」라고 함)의 절대값이 미리 정한 제 2 임계값보다 큰지 여부의 판정을 행하여, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 클 때는, 상기 복수의 제 k 분광 감도 특성의 화소 신호의 상기 평균값을 선택하고, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 작을 때는, 상기 제 2 근방 화소의 신호값을 선택하는 제 2 비교 선택 수단과,

   상기 제 2 비교 선택 수단에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 2 평균값 연산 수단과,

   상기 제 2 평균값 연산 수단에 의해 연산된 결과를, 상기 주목 화소 위치에서의, 상기 제 k 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 k 신호 비선형 로우 패스 필터와,

   상기 k 신호 비선형 로우 패스 필터와 상기 h 신호 비선형 로우 패스 필터에 의해 얻어진 값의 차를, 상기 주목 화소 위치에서의 상기 제 h 화소 신호의 값에 가산하여, 상기 주목 화소 위치에서의 상기 제 k 화소 신호를 구하는 연산 수단

   을 갖는 화소 신호 처리 장치.
2. 2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 그룹 중 제 h(h는 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에서의 제 k(k는 h를 제외한 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 장치에 있어서,

   상기 주목 화소 위치 근방의, 상기 제 h 분광 감도 특성을 갖는 제 1 복수의 화소(이하, 「제 1 근방 화소」라고 함) 각각에 대하여, 그 신호값과, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호 각각의 신호값의 차(이하, 「제 1 차」라고 함)의 절대값이 미리 정한 제 1 임계값보다 큰지 여부의 판정을 행하여, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 클 때는, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호의 신호값을 선택하고, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 작을 때는, 상기 제 1 근방 화소의 신호값을 선택하는 제 1 비교 선택 수단과,

   상기 제 1 비교 선택 수단에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 1 평균값 연산 수단과,

   상기 제 1 평균값 연산 수단에 의해 연산된 결과를, 상기 주목 화소 위치에서의, 상기 제 h 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 h 신호 비선형 로우 패스 필터와,

   상기 주목 화소 위치의 근방의, 상기 제 k 분광 감도 특성을 갖는 제 2 복수의 화소(이하, 「제 2 근방 화소」라고 함) 각각에 대하여, 그 신호값과, 상기 주목 화소 위치에 인접하는 복수의 상기 제 k 분광 감도 특성의 화소 신호의 평균값 의 차(이하, 「제 2 차」라고 함)의 절대값이 미리 정한 제 2 임계값보다 큰지 여부의 판정을 행하여, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 클 때는, 상기 복수의 제 k 분광 감도 특성의 화소 신호의 상기 평균값을 선택하고, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 작을 때는, 상기 제 2 근방 화소의 신호값을 선택하는 제 2 비교 선택 수단과,

   상기 제 2 비교 선택 수단에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 2 평균값 연산 수단과,

   상기 제 2 평균값 연산 수단에 의해 연산된 결과를, 상기 주목 화소 위치에서의, 상기 제 k 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 k 신호 비선형 로우 패스 필터와,

   상기 k 신호 비선형 로우 패스 필터와 상기 h 신호 비선형 로우 패스 필터에 의해 얻어진 값의 비를, 상기 주목 화소 위치에서의 상기 제 h 화소 신호의 값에 승산하여, 상기 주목 화소 위치에서의 상기 제 k 화소 신호를 구하는 연산 수단

   을 갖는 화소 신호 처리 장치.
3. 제 1 항에 있어서,

   상기 제 1 내지 제 N 분광 감도 특성을 갖는 화소는 R, G, B 화소의 세 종류의 화소인 것을 특징으로 하는 화소 신호 처리 장치.
4. 제 1 항에 있어서,

   상기 제 1 및 제 2 평균값 연산 수단의 각각은, 상기 제 1 비교 선택 수단에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는데 대하여, 상기 복수 화소 각각의, 상기 주목 화소로부터의 거리가 클수록 작은 가중 계수를 이용한 가중 평균을 구하는 것을 특징으로 하는 화소 신호 처리 장치.
5. 제 2 항에 있어서,

   상기 제 1 내지 제 N 분광 감도 특성을 갖는 화소는 R, G, B 화소의 세 종류의 화소인 것을 특징으로 하는 화소 신호 처리 장치.
6. 제 2 항에 있어서,

   상기 제 1 및 제 2 평균값 연산 수단의 각각은, 상기 제 1 비교 선택 수단에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는데 대하여, 상기 복수 화소 각각의, 상기 주목 화소로부터의 거리가 클수록 작은 가중 계수를 이용한 가중 평균을 구하는 것을 특징으로 하는 화소 신호 처리 장치.
7. 2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 그룹 중 제 h(h는 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에서의 제 k(k는 h를 제외한 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 방법에 있어서,

   상기 주목 화소 위치 근방의, 상기 제 h 분광 감도 특성을 갖는 제 1 복수의 화소(이하, 「제 1 근방 화소」라고 함) 각각에 대하여, 그 신호값과, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호 각각의 신호값의 차(이하, 「제 1 차」라고 함)의 절대값이 미리 정한 제 1 임계값보다 큰지 여부의 판정을 행하여, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 클 때는, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호의 신호값을 선택하고, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 작을 때는, 상기 제 1 근방 화소의 신호값을 선택하는 제 1 비교 선택 단계와,

   상기 제 1 비교 선택 단계에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 1 평균값 연산 단계와,

   상기 제 1 평균값 연산 단계에 의해 연산된 결과를, 상기 주목 화소 위치에서의, 상기 제 h 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 h 신호 비선형 로우 패스 필터링 단계와,

   상기 주목 화소 위치 근방의, 상기 제 k 분광 감도 특성을 갖는 제 2 복수의 화소(이하, 「제 2 근방 화소」라고 함) 각각에 대하여, 그 신호값과, 상기 주목 화소 위치에 인접하는 복수의 상기 제 k 분광 감도 특성의 화소 신호의 평균값의 차(이하, 「제 2 차」라고 함)의 절대값이 미리 정한 제 2 임계값보다 큰지 여부의 판정을 행하여, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 클 때는, 상기 복수의 제 k 분광 감도 특성의 화소 신호의 상기 평균값을 선택하고, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 작을 때는, 상기 제 2 근방 화소의 신호값을 선택하는 제 2 비교 선택 단계와,

   상기 제 2 비교 선택 단계에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 2 평균값 연산 단계와,

   상기 제 2 평균값 연산 단계에 의해 연산된 결과를, 상기 주목 화소 위치에서의, 상기 제 k 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 k 신호 비선형 로우 패스 필터링 단계와,

   상기 k 신호 비선형 로우 패스 필터링 단계와 상기 h 신호 비선형 로우 패스 필터링 단계에 의해 얻어진 값의 차를, 상기 주목 화소 위치에서의 상기 제 h 화소 신호의 값에 가산하여, 상기 주목 화소 위치에서의 상기 제 k 화소 신호를 구하는 연산 단계

   를 갖는 화소 신호 처리 방법.
8. 2차원 평면상에 배열되고, 각각이 제 1 내지 제 N 분광 감도 특성 중 어느 하나를 갖는 화소의 화소 신호의 그룹 중 제 h(h는 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호가 존재하는 주목 화소 위치에서의 제 k(k는 h를 제외한 1 내지 N 중 어느 하나) 분광 감도 특성의 화소 신호를 생성하는 화소 신호 처리 방법에 있어서,

   상기 주목 화소 위치 근방의, 상기 제 h 분광 감도 특성을 갖는 제 1 복수의 화소(이하, 「제 1 근방 화소」라고 함) 각각에 대하여, 그 신호값과, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호 각각의 신호값의 차(이하, 「제 1 차」라고 함)의 절대값이 미리 정한 제 1 임계값보다 큰지 여부의 판정을 행하여, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 클 때는, 상기 주목 화소 위치의 상기 제 h 분광 감도 특성의 화소 신호의 신호값을 선택하고, 상기 제 1 차의 절대값이 상기 제 1 임계값보다 작을 때는, 상기 제 1 근방 화소의 신호값을 선택하는 제 1 비교 선택 단계와,

   상기 제 1 비교 선택 단계에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 1 평균값 연산 단계와,

   상기 제 1 평균값 연산 단계에 의해서 연산된 결과를, 상기 주목 화소 위치에서의, 상기 제 h 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 h 신호 비선형 로우 패스 필터링 단계와,

   상기 주목 화소 위치 근방의, 상기 제 k 분광 감도 특성을 갖는 제 2 복수의 화소(이하, 「제 2 근방 화소」라고 함) 각각에 대하여, 그 신호값과, 상기 주목 화소 위치에 인접하는 복수의 상기 제 k 분광 감도 특성의 화소 신호의 평균값의 차(이하, 「제 2 차」라고 함)의 절대값이 미리 정한 제 2 임계값보다 큰지 여부의 판정을 행하여, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 클 때는, 상기 복수의 제 k 분광 감도 특성의 화소 신호의 상기 평균값을 선택하고, 상기 제 2 차의 절대값이 상기 제 2 임계값보다 작을 때는, 상기 제 2 근방 화소의 신호값을 선택하는 제 2 비교 선택 단계와,

   상기 제 2 비교 선택 단계에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는 제 2 평균값 연산 단계와,

   상기 제 2 평균값 연산 단계에 의해 연산된 결과를, 상기 주목 화소 위치에서의, 상기 제 k 분광 감도 특성의 화소 신호의 저주파수 성분으로 하는 k 신호 비선형 로우 패스 필터링 단계와,

   상기 k 신호 비선형 로우 패스 필터링 단계와 상기 h 신호 비선형 로우 패스 필터링 단계에 의해 얻어진 값의 비를, 상기 주목 화소 위치에서의 상기 제 h 화소 신호의 값에 승산하여, 상기 주목 화소 위치에서의 상기 제 k 화소 신호를 구하는 연산 단계

   를 갖는 화소 신호 처리 방법.
9. 제 7 항에 있어서,

   상기 제 1 내지 제 N 분광 감도 특성을 갖는 화소는 R, G, B 화소의 세 종류의 화소인 것을 특징으로 하는 화소 신호 처리 방법.
10. 제 7 항에 있어서,

    상기 제 1 및 제 2 평균값 연산 단계의 각각은 상기 제 1 비교 선택 단계에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는데 대하여, 상기 복수 화소 각각의, 상기 주목 화소로부터의 거리가 클수록 작은 가중 계수를 이용한 가중 평균을 구하는 것을 특징으로 하는 화소 신호 처리 방법.
11. 제 8 항에 있어서,

    상기 제 1 내지 제 N 분광 감도 특성을 갖는 화소는 R, G, B 화소의 세 종류의 화소인 것을 특징으로 하는 화소 신호 처리 방법.
12. 제 8 항에 있어서,

    상기 제 1 및 제 2 평균값 연산 단계의 각각은, 상기 제 1 비교 선택 단계에 의해 선택된 복수 화소의 신호값의 평균값을 산출하는데 대하여, 상기 복수 화소 각각의, 상기 주목 화소로부터의 거리가 클수록 작은 가중 계수를 이용한 가중 평균을 구하는 것을 특징으로 하는 화소 신호 처리 방법.

Images