KR20080016984A

KR20080016984A - 화상처리장치 및 화상처리방법, 촬상장치와컴퓨터·프로그램

Info

Publication number: KR20080016984A
Application number: KR1020077003122A
Authority: KR
Inventors: 다쿠야 치바; 료타 고사카이; 아키라 마츠이
Original assignee: 소니 가부시끼 가이샤
Priority date: 2005-06-21
Filing date: 2006-06-20
Publication date: 2008-02-25
Also published as: CN101006731B; US20070013786A1; CN101006731A; EP1793620A1; CN102256141B; JP2007037104A; WO2006137419A1; KR101253760B1; CN101924947B; EP1793620A4; CN101924947A; CN102256140A; US7982781B2; CN102256141A; JP5151075B2

Abstract

색코딩 된 RGB화상을 보다 높은 정밀도로 색필터 배열 보간을 실시하고, 보다 높은 휘도 해상도를 얻을 수 있도록 한다. 수평 및 수직방향으로 배치한 1그룹의 밴드패스필터의 출력으로부터 보간 대상 화소의 주위화소에 있어서 제 1의 상관치를 산출하는 동시에, 수직방향에 있어서 ±45도만큼 어긋나게 배치한 1그룹의 밴드패스필터의 출력으로부터 주위화소에 있어서 제 2의 상관치를 산출한다. 제 1 및 제 2의 상관치를 상관선과 비교하고, 보간 대상을 둘러싸는 전(全)방향(360도)에 걸쳐서 상관 방향을 판정하고, 특정된 방향으로 존재하는 주위화소의 정보를 토대로, 보간화소(X)의 보간을 행한다.

Description

화상처리장치 및 화상처리방법, 촬상장치와 컴퓨터·프로그램{Image processing device and method, imaging device, and computer program}

본 발명은, 소정의 색코딩의 필터(색필터)를 가지는 고체 촬상장치의 출력신호를 처리하는 화상처리장치 및 화상처리방법, 이들 화상처리장치 또는 화상처리방법을 이용한 촬상장치 및 컴퓨터·프로그램에 관한 것이다.

카메라는, 시각적인 정보를 기록하는 수단으로서 긴 역사를 가진다. 최근에는, 필름이나 감광판을 사용하여 촬영하는 은염 카메라를 대신하여, CCD(Charge Coupled Device)나 CMOS(Complementary Mental－Oxide　Semiconductor)등의 고체 촬상소자로 포착한 화상을 디지털화하는 디지털카메라가 광범위하게 보급되어 있다.

고체 촬상소자를 이용한 이미지·센서는, 2차원에 배열된 각 화소(포토 다이오드)가 광전효과를 이용하여 빛을 전하로 변환하는 구조에 의해 구성된다. 통상, 수광면에 R(적), 녹(G), 청(B)의 3색으로 이루어지는 색필터를 설치하고, 입사광을 인간의 눈으로 보이는 3원색으로 색분해 한다. 그리고, 각 화소에서는 색필터를 통한 입사 광량에 대응하여 축적된 신호전하를 독해하는 것으로, 인간의 눈에 보이는 RGB화상신호를 얻을 수 있다.

게다가 RGB화상신호를 YUV화상신호에 색공간 변환하고, 표시 출력이나 화상 기록에 사용된다. YUV는, 휘도신호(Y)와 빨강의 색차이(U) 및 파랑의 색차이(V)로 이루어지는 2개의 색도로 색을 표현하는 것이며, YUV변환하는 것으로, 휘도에 대한 해상도는 높지만 색에 대한 해상도가 낮다고 하는 인간의 시감도(視感度) 특성을 이용하고, 데이터 압축을 행하기 쉽게 된다. 예를 들면, NTSC(National　Television　Standards　Committee)규격에서는, 이하의 3식에 의해 RGB에서 YUV로 의 색공간변환이 실시된다.

Y=0.6G＋0.3R＋0.1B …(1)

Cr(R－Y)=R－(0.3R＋0.6G＋0.1 B) …(2)

Cb(B－Y)=B－(0.3R＋0.6G＋0.1 B) …(3)

예를 들면, R(빨강), G(초록), B(파랑)의 원색 필터를 3개의 고체 촬상장치에 있어서 동(同)공간위상에 배치하는 것으로 고해상도인 RGB신호를 얻고, 고화질화를 실현한 3판식 촬상장치가 알려져 있다. 그러나, 3판식 촬상장치는, 3개의 고체 촬상장치를 이용하여 입사광을 RGB의 색 마다 분해하는 프리즘을 이용할 필요가 있기 때문에, 장치의 소형화나 저비용화를 도모하는데 있어서 어려움이 있다.

한편, 1개의 고체 촬상장치에 RGB의 색필터를 화소 단위로 적당하게 배열하는 것으로, 소형화·저비용화를 도모한 단판식 촬상장치도 있다. 이 단판식 촬상장치에서는, R, G, B의 각 색필터를 화소 단위로 간헐적으로 배열한 색코딩이 실시되고 있다. 색코팅의 대표적인 것으로서, 종래부터 널리 이용되고 있는 베이어 배열을 들 수 있다(도 24를 참조).

색코딩 하면, R의 색필터가 배치된 화소에서는 G 및 B의 성분의 정보가 누락하고, G의 색필터가 배치된 화소에서는 R 및 B의 성분의 정보가 누락하고, B의 색필터가 배치된 화소에서는 G 및 R의 성분의 정보가 누락하게 된다. 나중의 신호처리에서 색공간변환을 행할 때, 각 화소에 있어서 RGB 모든 신호가 필요하다. 왜냐하면, 공간적으로 위상이 다른 RGB신호로부터 위의 식(1)~(2)을 이용하여 휘도신호(Y)나 색차이 신호(Cr, Cb)를 생성하면, 색위(色僞)신호를 만드는 원인이 되기 때문이다. 이 때문에, 색필터 배열 보간에 의해 각 화소에서 없어진 색신호를 복원하고, 같은 공간 위상의 RGB신호를 만든 다음(도 25를 참조), 색공간변환을 행할 필요가 있다. 이와 같은 보간기술은 「디모자이크」라고 불린다.

RGB신호의 보간 정밀도는 색코딩에 의존하기 때문에, 색코딩에 따라 고체 촬상장치의 특성이 다르게 된다. 도 24에 나타낸 베이어 배열은, 홀수행째에 R의 색필터와 G의 색필터를 교대로 배열하고, 짝수행째에 G의 색필터와 B의 색필터를 교대로 배열하고 있다. 베이어 배열에서는, RB의 각 색필터에 있어서 G의 색필터를 많이 배열한 구성을 채용하고 있으므로, RB보다 G를 보다 높은 정밀도로 보간 할 수 있다.

위의 식(1)에서 밝혀진 바와 같이, G는 휘도신호를 만드는데 있어서 주성분이며, 휘도신호의 해상도는 G의 해상도에 크게 의존한다. 화상신호의 해상도는 화소의 샘플링 레이트 1／fs에 비례하지만(fs는 화소의 샘플링 주파수), 베이어 배열에 의하면, G의 색필터 배열 보간의 정밀도를 향상시키는 것으로, RB의 해상도보다 G의 해상도가 높다고 하는 특성을 얻을 수 있다. 인간은 휘도에 대해서의 해상도 가 높고, 색에 대한 해상도가 낮다고 하는 시감도 특성을 가지므로, 베이어 배열은 인간의 시감 특성을 잘 이용한 색코딩이라고 말할 수 있다.

또, 보간 기술에 의하여, 공간적으로 위상이 다른 RGB신호로부터 동공간 위상의 RGB신호를 얼마나 최적으로 만들 수 있는지가 중요하다. 화상신호의 보간처리가 최적이 아니면, 고해상도의 화상을 얻을 수 없거나, 혹은, 색위신호가 발생하거나 하는 원인이 된다.

예를 들면, 베이어 배열로 색코딩 된 RGB화상신호의 보간처리를 행할 때에, 보간 해야 할 화소의 근방 8화소, 즉 주목(注目)화소 상, 하, 우, 좌, 우상(右上), 우하(右下), 좌상(左上), 좌하(左下)의 계 8화소의 변화량을 산출하고, 이 산출한 변화량에 중량 상관치를 산출하는 동시에, 이 산출한 상관치를 기본으로 하여 보간 계수를 결정하고, 보간 데이터에 있어서 보간 계수를 각각 곱한 후에 가산하는 화상처리장치에 있어서 제안이 이루어지고 있다(예를 들면, 특허 문헌 1을 참조).

이 화상처리장치에 의하면, 보간 계수에 근거하여 상기 4개의 화소 정보를 기본으로 보간처리를 행함으로써, 상관치의 산출 방향에 있어서 직교하고 있지 않은 방향의 에지에 대해서도 양호하게 상관의 정도를 판정할 수 있기 때문에, 보간처리 후의 기울기 에지가 희미해지지 않고 양호하게 재현할 수 있는 동시에, 구부러진 선이나, 직각으로 구부러진 각 부분 등에 있어서도 양호하게 보간 하는 것이 가능하게 된다.

그런데, 베이어 배열에 대해서는, 색필터의 배열에서 결정되는 G의 해상도와 RB의 해상도의 한계 해상도는 기울기 45도 방향으로 같다. G는 휘도신호를 만드는 데 있어서의 주성분이며 휘도 해상도에 크게 의존하고, RB는 색차이 신호의 해상도에 크게 의존하기 때문에, G의 해상도를 올리는 것이 고해상도인 화상을 생성하는 포인트로 된다. 또, 인간의 눈은, 휘도에 관하여는 높은 주파수까지 인식할 수 있지만, 색에 관하여는 높은 주파수를 인식하는 것이 곤란하다고 하는 성질이 있기 때문에, 베이어 배열은 색해상도와 휘도 해상도의 밸런스가 인간의 시감도 특성과 충분히는 매칭하고 있지 않다고 자료된다.

이러한 점에 감안하여, 본 출원인은, 휘도성분을 만드는데 있어서 주성분으로 되는 G성분을, 다른 RB성분의 각각의 주위를 둘러싸도록 배치하고, 베이어 배열에 있어서 RB의 화소수를 1／2로 하는 대신에 G를 늘리는 것으로, 색해상도를 약간 희생하지만 휘도 해상도를 약 2배로 올린 색코딩에 있어서 제안하고 있다(예를 들면, 특원 2005－107037호 명세서를 참조). 이와 같은 색코딩의 쪽이, 베이어 배열의 색코딩보다 인간의 시감도 특성에 매치하지만, 베이어 배열의 색코딩의 경우보다 높은 해상도를 낼 수 있도록, 보다 고도한 보간처리가 필요하게 된다.

[특허 문헌 1] 특개 평11－177994호 공보

본 발명의 목적은, 색코딩 된 RGB화상을 보다 높은 정밀도로 색필터 배열 보간을 실시하고, 보다 높은 휘도 해상도를 얻을 수 있도록 한, 뛰어난 화상처리장치 및 화상처리방법, 촬상장치 및 컴퓨터·프로그램을 제공하는 것에 있다.

도 1은, 본 발명에 관계되는 화상처리장치 또는 화상처리방법을 적용한 촬상 장치의 구성의 일례를 나타낸 블럭도이다.

도 2는, 베이어 배열에서 G만을 뽑아낸 화소 배열을 나타낸 도면이다.

도 3은, 해상도 차트를 나타낸 도면이다.

도 4는, 밴드패스필터의 주파수 특성을 나타내는 도면이다.

도 5는, 베이어 배열에 있어서의 G해상도와 RB해상도의 한계 해상도를 나타낸 도면이다.

도 6은, 본 발명의 실시예 1에 관계되는 보간처리의 대상이 되는 색코딩예를 나타낸 도면이다.

도 7은, 색코딩예에 있어서의 G해상도와 RB해상도의 한계 해상도를 나타낸 도면이다.

도 8은, 색코딩예에서 G만을 뽑아낸 화소 배열을 나타낸 도면이다.

도 9는, H방향, V방향, NH방향 및 NV방향의 관계를 나타낸 도면이다.

도 10은, 본 발명의 실시예 1에 관계되는 보간처리의 순서를 나타낸 플로차트이다.

도 11은, HV방향의 밴드패스필터의 주파수 특성을 나타낸 도면이다.

도 12는, NH, NV방향의 밴드패스필터의 주파수 특성을 나타낸 도면이다.

도 13은, 해상도 차트를 나타낸 도면이다.

도 14는, 주파수 차트에 있어서의 각 포인트와 그 상관치의 관계를 나타낸 상관 선도이다.

도 15는, 상관치와 보간치의 관계를 나타낸 도면이다.

도 16은, 실시예 1에 관계되는 보간처리를 실행하는 보간처리 회로의 구성의 일례를 나타낸 블럭도이다.

도 17은, 본 발명의 실시예 2와 관련되는 보간처리의 대상이 되는 색코딩예를 나타낸 도면이다.

도 18은, 색코딩예를 정방 격자로 표현한 도면이다.

도 19는, 실시예 2와 관련되는 보간처리를 실행하는 보간처리 회로의 구성의 일례를 나타낸 블럭도이다.

도 20은, 전단(前段)보간처리 회로에 의한 보간처리의 결과를 나타낸 도면이다.

도 21은, 후단(後段)보간처리 회로에 의한 보간처리의 결과를 나타낸 도면이다.

도 22는, 베이어 배열, 색코딩(1), 색코딩(2)에서의 공간 해상도 특성을 나타낸 도면이다.

도 23은, 실시예 2와 관련되는 보간처리를 실행하는 보간처리 회로의 변형예를 나타낸 블럭도이다.

도 24는, 베이어 배열의 색코딩을 나타낸 도면이다.

도 25는, 색코딩이 실시된 화상을 디모자이크처리하는 모양을 나타낸 도면이다.

도 26은, 보간화소(X)의 주위 4화소를 각각 중심으로 한 HV방향의 상관치를 산출하는 모양을 나타낸 도면이다.

도 27은, S_H_G(4)와 S_H_G(13)를 신뢰할 수 있는 상관치로서 선택한 모양을 나타낸 도면이다.

도 28은, 보간화소(X) 중심으로 한 HV방향의 상관치를 산출하는 모양을 나타낸 도면이다.

도 29는, 보간화소(X)의 주위 4화소를 각각 중심으로 한 NH 및 NV 방향의 상관치를 산출하는 모양을 나타낸 도면이다.

도 30은, S_NH_G(5)와 S_NH_G(9)를 신뢰할 수 있는 상관치로서 선택한 모양을 나타낸 도면이다.

도 31은, 보간화소(X)를 중심으로 한 NH 및 NV방향의 상관치를 산출하는 모양을 나타낸 도면이다

도 32는, S_H(도 14의 상관선(A))에서 0.5를 감산한 절대치로 이루어지는 상관선과, S_NH(도 14중의 상관선(B))에서 0.5를 감산한 절대치로 이루어지는 상관선을 각각 플롯(plot)한 상관선도이다.

11. 촬상렌즈 12. 촬상 디바이스

14. 카메라 신호처리회로 21. 광학계 보정회로

22. WB(화이트 밸런스)회로

23, 23A, 23B, 23B´. 보간처리 회로 24·감마 보정회로

25. Y(휘도)신호처리회로 　26. C(크로마)신호처리회로

27. 대역제한 LPF(로패스필터) 28·추출처리회로

31~34, 37~40. 상관치 산출회로 35, 41. 선택회로

36, 42. 평균치 산출회로 43. 비교회로

44. 판정회로 45. 보간회로

본 발명은, 상기 과제를 참작하여 이루어진 것이며, 그 제 1의 측면은, 색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상을 처리하는 화상처리장치에 있어서,

화상신호를 입력하는 수단과,

상기 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출수단과,

상기 제 1의 상관치와 상기 제 2의 상관치에 근거하여, 소망의 화소를 보간 할 때에 사용하는 다른 화소를 특정하는 보간용 화소특정수단과,

상기 보간용 화소특정수단에 의해 특정된 화소로부터 상기 소망의 화소를 보간 하는 보간수단을 구비하는 것을 특징으로 하는 화상처리장치이다.

본 발명에 관계되는 화상처리장치는, 예를 들면, 각 화소가 수평방향 및 수직방향으로 등간격이 되도록 정방 격자모양으로 배열된 화소 배열에 있어서, 휘도성분을 산출할 때에 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치한 색필터를 이용한 색코딩이 실시된 화상신호에 있어서, 색필터 배열 보간을 행하는 것이다. 혹은, 색코딩용의 색필터상에는, 각 화소가 1행마다 및 1열마다 화소 피치의 1／2씩 어긋난 기울기 화소 배열에 있어서, 휘도성분을 산출할 때에 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치되 어 있다.

이와 같은 색코딩은, 베이어 배열에 있어서 RB의 화소수를 1／2로 하는 대신에 G를 늘림으로써, 이론적인 G의 한계 해상도가 상승한다. 따라서, G의 고정밀도에 보간처리함으로써 G의 해상도가 한계 해상도 부근까지 향상하므로, 색해상도를 약간 희생하기는 하지만, 휘도 해상도를 약 2배로 향상시킬 수 있다.

상관치 산출수단은, 보간 대상으로 되는(즉 휘도신호의 주성분으로 되는 G가 누락했다) 공간위치의 화소에 있어서 G를 보간 할 때, 그 화소를 둘러싸는 주위의 화상신호에 있어서, 화소간에 G의 상관의 강함을 나타내는 상관치를 적어도 2이상의 방향으로 산출한다.

화소간의 상관치는, 화상의 수평방향과 수직방향이라는 상태로, 직교하는 2 방향으로 화상신호를 필터링하고, 그 필터 출력으로부터 1개의 방향 특성에 있어서 상관치를 산출할 수 있다. 여기서 말하는 필터는, 바람직하게는 DC성분을 제거하는 밴드패스필터이며, 미분 필터를 비롯하여 하이패스필터를 사용할 수 있다.

수평방향의 밴드버스필터 출력을 BPF(H), 수직방향의 밴드패스필터 출력을 BPF(V)로 두면, 수평수직방향(HV)의 상관치(S(HV))는 BPF(H)／｛BPF(H)＋BPF(V)｝로 나타내진다. 그리고, S(HV)는 0~1의 값을 취하지만, 1에 가까워지면 수평방향으로 화상신호의 웨이브가 있고, 수직방향에 있어서 화소간의 상관이 높은 것을 나타내기 때문에, 소망 화소를 둘러싸는 주위화소 중 수직방향에 위치하는 화소를 보간용의 화소로서 특정하는 것이 바람직하다. 반대로 S(HV)가 0에 가까워지면, 수직방향으로 화상신호의 웨이브가 있고, 수평방향에 있어서 화소간의 상관이 높은 것을 나타내기 때문에 소망 화소의 수평방향에 위치하는 화소를 보간용의 화소로서 특정하는 것이 바람직하다.

상관치 산출수단은, 수평수직방향의 상관치(S(HV))를 제 1의 상관치로서 산출할 수 있다. 단, 단일 방향 특성으로 산출한 상관치만을 사용하는 경우, 상관치(S(HV))가 0.5 부근의 값이 될 때는, 수직 축에 있어서 ＋45도의 방향으로 화소간의 상관이 높은지, 혹은 -45도의 방향으로 화소간의 상관이 높은지가 불명으로 되어, 보간용의 화소를 특정할 수 없게 된다.

그래서, 상관치 산출수단은, 한층 더 제 1의 상관치와는 다른 방향 특성에 있어서 제 2의 상관치를 요구하고, 제 1의 상관치가 중간적인 값으로 될 때를 보충하고, 보간용 화소특정수단에 있어서 화소를 보간 할 방향을 특정하는 분해능을 향상시키도록 했다.

상관치 산출수단은, 제 1의 상관치를 산출할 때에 이용하는 1그룹의 직교하는 필터와는 방향 특성이 다른, 또 다른 1그룹의 직교하는 필터를 배치하고, 이들 필터 출력에 근거하여 제 2의 상관치를 산출한다.

상술한 바와 같이 제 1의 상관치로서 수평수직방향(HV)의 상관치(S(HV))를 산출하는 경우, 제 2의 상관치로서, 비수평방향(NH)의 밴드패스필터 출력 BPF(NH)와, BPF(HN)와는 직교하는 비수평방향(NH)의 밴드패스필터 출력 BPF(NH)를 기본으로 산출되는 비수평비수직방향(NH／NV)의 상관치(S(NH／NV))를 이용할 수 있다. S(NH／NV)는, BPF(NH)／｛BPF(NH)＋BPF(NV)｝로 나타내진다.

수직방향(H)에 있어서 각각 ±45도만큼 회전시킨 방향을 비수평방향(NH), 비 수직방향(NV)으로서 직교하는 NH 및 NV방향으로 각각 배치한 밴드패스필터의 출력으로부터 제 2의 상관치를 요구하는 경우, 제 1의 상관치와 제 2의 상관치는 한쪽이 0.5 부근의 상관치일 때 다른 쪽의 상관치에서 서로 보충할 수 있고, 보간 방향을 특정하기 위한 분해능이 최대한이 된다.

즉, 본 발명에 관계되는 화상처리장치에 의하면, 보간용 화소특정수단은, 상관치 산출수단에 의해 구한 복수의 상관치를 비교함으로써, 상관의 방향을 전방향(360도)에 걸쳐 판정하는 것이 가능하고, 보간 해야 할 방향을 보다 작은 입도로 특정할 수 있다. 그리고, 보간수단은, 그 특정된 방향으로 존재하는 화소의 주변 화소의 정보를 기본으로, 보간 대상으로 되는 화소에 있어서 보간처리를 행하도록 하면 좋다.

또, 본 발명의 제 2의 측면은, 색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상을 처리하는 화상처리장치에 있어서,

화상신호를 입력하는 수단과,

상기 상관치 산출수단에 의해 산출한 각 상관치에 관한 신뢰도를 산출하는 신뢰도 산출수단과,

상기 신뢰도에 따른 보간처리로 소망의 화소를 보간 하는 보간수단을 구비하는 것을 특징으로 하는 화상처리장치이다.

본 발명의 제 1의 측면에 의하면, 보간 대상이 되는 화소의 주위화소에 관하 여, 방향 특성이 다른 2이상의 상관치를 요구하고, 이들 복수의 상관치를 비교함으로써, 상관의 방향을 전방향(360도)에 걸쳐서 판정하고, 보간 해야 할 방향을 보다 작은 입도로 특정할 수 있다. 그렇지만, 이와 같은 보간 할 방향의 특정 방법은, 각 방향특성에 있어서 구한 상관치를 신뢰할 수 있는 것이 전제가 된다.

그래서, 본 발명의 제 2의 측면에 관계되는 화상처리장치에서는, 상기 제 1의 상관치와 상기 제 2의 상관치에 관한 신뢰도를 산출하고, 신뢰도에 따른 보간처리 방법을 이용하여 소망의 화소 신호를 보간 하도록 구성했다. 예를 들면, 상기 상관치 산출수단에 의해 산출된 각 상관치의 합에 근거하여 신뢰도를 산출할 수 있다.

여기서, 산출한 상관치가 신뢰성이 있는 경우에는, 본 발명의 제 1의 측면에 관계되는 화상처리장치와 동일하게, 구한 복수의 상관치를 상관선과 비교함으로써, 상관의 방향을 전방향(360도)에 걸쳐서 판정함으로써, 보간 해야 할 방향을 결정하고, 보다 정밀도가 높은 화소 보간을 행한다. 이 결과, 정밀도가 높은 G신호를 기초로, 해상도가 높은 휘도신호를 얻을 수 있다.

다른 한편, 산출한 상관치가 신뢰성이 부족할 때는, 보간 하는 대상으로 되는 화소의 주변 화소의 정보의 평균치를 이용하여 보간을 행한다. 이 경우, 보간 되는 화소의 정밀도는 억제되며, 해상도가 높은 휘도신호를 얻을 수 없는 반면, 평균화 처리에 의해 SN을 향상할 수 있다.

또, 본 발명의 제 3의 측면은, 색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상에 대한 처리를 컴퓨터상에서 실행하도록 컴퓨터가독형식으로 기술된 컴퓨터·프로그램에 있어서, 상기 컴퓨터에 있어서,

상기 촬상수단에 의한 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출 순서와,

상기 제 1의 상관치와 상기 제 2의 상관치에 근거하여, 소망의 화소를 보간 할 때에 사용하는 다른 화소를 특정하는 보간용 화소 특정 순서와,

상기 보간용 화소 특정 순서를 실행하고 특정된 화소로부터 상기 소망의 화소를 보간 하는 보간 순서를 실행시키는 것을 특징으로 하는 컴퓨터·프로그램이다.

또, 본 발명의 제 4의 측면은, 색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상에 대한 처리를 컴퓨터상에서 실행하도록 컴퓨터가독형식으로 기술된 컴퓨터·프로그램에 있어서, 상기 컴퓨터에 있어서,

상기 상관치 산출 순서를 실행하여 산출된 각 상관치에 관한 신뢰도를 산출하는 신뢰도 산출 순서와,

상기 신뢰도에 따른 보간처리로 소망의 화소를 보간 하는 보간 순서를 실행시키는 것을 특징으로 하는 컴퓨터·프로그램이다.

본 발명의 제 3 및 제 4의 각 측면에 관계되는 컴퓨터·프로그램은, 컴퓨터상에서 소정의 처리를 실현하도록 컴퓨터가독형식으로 기술된 컴퓨터·프로그램을 정의한 것이다. 바꾸어 말하면, 본 발명의 제 3 및 제 4의 각 측면에 관계되는 컴퓨터·프로그램을 컴퓨터에 인스톨함으로써, 컴퓨터상에서는 협동적 작용이 발휘되며, 본 발명의 제 1 및 제 2의 각 측면에 관계되는 화상처리장치와 동일 작용 효과를 각각 얻을 수 있다.

이하, 도면을 참조하면서 본 발명의 실시형태에 있어서 상세하게 풀이한다.

도 1에는, 본 발명에 관계되는 화상처리장치 또는 화상처리방법을 이용한 촬상장치의 구성의 일례를 나타내고 있다.

여기서 말하는 촬상장치, 촬상 디바이스로서의 고체 촬상장치, 당해 고체 촬상장치의 촬상면(수광면)상에 피사체의 상광을 결상시키는 광학계 및 당해 고체 촬상장치의 신호처리 회로를 포함하는 카메라 모듈, 당해 카메라 모듈을 탑재한 디지털 카메라나 비디오카메라 등의 카메라장치, 휴대전화 등의 전자기기를 포함하는 것으로 한다.

도 1에서, 피사체(도시하지 않음)로부터의 상광은, 광학계, 예를 들면 촬상 렌즈(11)에 의하여 촬상디바이스(12)의 촬상면상에 결상된다. 촬상디바이스(12)로서 광전변환소자를 포함하는 화소가 행렬형으로 다수 2원 배치되며, 휘도성분을 만드는데 있어서 주성분으로 되는 색성분과 다른 색성분을 포함하는 색필터가 화소의 표면상에 배치되어 이루어지는 고체 촬상장치가 이용된다.

색필터를 가지는 고체 촬상장치로서는, CCD(Charge　Coupled　Device：전하결합소자)로 대표되는 전하 전송형 고체 촬상장치나, MOS(Metal　Oxide　Semiconductor：금속 산화형 반도체)로 대표되는 X－Y어드레스형 고체 촬상장치 등 중 어느 것이어도 좋다.

또, 이하에서는, 색필터에 있어서, 휘도(Y)성분을 만드는데 있어서 주성분으로 되는 색성분으로서 예를 들면 녹색(G)을, 다른 색성분으로서 예를 들면 적색(R), 청색(B)을 각각 예로 들어 설명한다. 단, 본 발명의 요지는 이들 색성분의 조합에 한정되는 것이 아니고, Y성분을 만드는데 있어서 주성분으로 되는 색성분으로서, 예를 들면 화이트, 시안, 옐로 등을 이용하고, 다른 색성분으로서, 예를 들면 마젠타(magenta), 시안(cyan), 옐로 등을 이용하는 것도 가능하다.

촬상디바이스(12)에서는, 입사하는 상광(像光) 중, 각 색성분의 빛만이 색필터를 통과하여 각 화소에 입사한다. 화소의 각각에 입사한 빛은, 포토다이오드 등의 광전변환소자에 의하여 광전변환 된다. 그리고, 각 화소로부터 아날로그 화상신호로서 읽어내져, A／D변환기(13)에서 디지털 화상신호로 변환된 후, 본 발명에 관계되는 화상처리장치인 카메라 신호처리회로(14)에 입력된다.

카메라 신호처리회로(14)는, 광학계 보정회로(21), WB(화이트 밸런스)회로(22), 보간처리회로(23), 감마 보정회로(24), Y(휘도)신호처리회로(25), C(크로마)신호처리회로(26), 대역제한LPF(27), 추출처리회로(28) 등으로 구성된다.

광학계 보정회로(21)는, 카메라 신호처리회로(14)에 입력되는 디지털 화상신호에 있어서 흑레벨을 맞추는 디지털 클램프, 촬상디바이스(12)의 결함을 보정하는 결함보정, 촬상렌즈(11)의 주변 광량 누락을 보정하는 쉐이딩 보정 등, 촬상디바이스(12)나 광학계의 보정을 행한다.

WB회로(22)는, 광학계 보정회로(21)를 거친 화상신호에 있어서, 화이트 밸런스를 조정하는 처리를 실시하고, 흰 피사체에 있어서 RGB가 동일하게 되도록 한다. 보간처리회로(23)는, 공간 위상이 다른 화소를 보간에 의하여 만들어 내는 즉 각각 공간적으로 위상이 어긋난 RGB신호로부터 3장의 플레인(동일 공간위치의 RGB신호)을 만들어 낸다. 이 보간처리회로(23)에 있어서의 구체적인 보간처리가 본 발명의 특징으로 하지만, 그 상세한 것에 대해서는 후술로 넘긴다.

감마 보정회로(24)는, 같은 공간위치의 RGB신호에 있어서 감마 보정을 건 후, Y신호처리회로(25) 및 C신호처리회로(26)에 공급한다. 감마 보정은, 피사체의 색의 계조를 바르게 표현하기 위하여, 촬상디바이스(12) 및 후단의 영상재생수단 등을 포함하는 시스템 전체의 광전 변환 특성을 1로 하도록, WB회로(22)로부터 출력되는 R, G, B의 색신호에 있어서 각각 소정의 게인을 거는 처리이다.

Y신호처리회로(25)는 위의 식(1)에서 휘도(Y) 신호를 만들고, 또, C신호처리회로(26)는 위의 식(2) 및 (3)에서 색차이 신호(Cr(R－Y), Cb(B－Y))를 만든다.

대역제한LPF(27)는, 차단주파수가 샘플링 주파수(fs)의 1／8의 필터이며, 색 차이 신호(Cr 및 Cb)에 관하여 통과 대역을 (1／2)fs에서 (1／8)fs까지 떨어뜨린다. 이것은 TV신호 포맷에 맞춘 출력이며, 대역 제한을 행하지 않고 출력했을 경우에는, 1／8 fs이상의 주파수 신호가 위색신호로서 출력되게 된다. 추출처리회로(28)는, 색 차이 신호(Cr, Cb)의 샘플링의 추출을 행한다.

여기서, 포인트로 되는 것은, 색(C)신호(색 차이 신호(Cr, Cb))는, 휘도(Y)신호에 있어서 1／4 이하의 대역 밖에 필요하지 않는 것이다. 그 이유는, 인간의 눈의 특성으로서, 휘도에 관해서는 높은 주파수까지 인식할 수 있지만, 색에 관해서는 높은 주파수를 인식하는 것이 곤란하다고 하는 성질이 있기 때문이며(전술), TV신호의 포맷도 그처럼 결정되고 있다.

실제로, Y：Cr：Cb=4：4：4(Y와 C의 출력 대역이 같음)의 경우와 Y：Cr：Cb=4：1：1의 경우의 차분을 출력화로 관찰했을 때, 특수한 피사체, 예를 들면 적색, 청색의 점광원 이외의 통상의 피사체에서는 그 차이를 식별하는 것은 어렵다. 즉, TV신호 포맷으로 정해져 있는 바와 같이, C신호는 Y신호의 1／4의 대역을 가지는 것으로 충분한 해상도를 얻을 수 있는 것을 알 수 있다.

여기서, 본 발명의 특징 부분인 보간처리회로(23)에서의 보간처리에 대하여 설명한다.

보간처리는, 상술한 바와 같이, 색필터가 간헐적으로 배열되어 있기 때문에 화소에 부족한 색성분의 신호를, 그 주위의 화소 즉 공간 위상이 다른 화소의 신호를 이용한 보간에 의하여 만들어 낸다고 하는 색필터 배열 보간이며, 디모자이크라고도 불린다. 이 보간처리는, 해상도가 높은 화상을 얻기 위해서는 매우 중요한 처리가 된다. 왜냐하면, 보간처리에 의하여 잘 보간 할 수 없는 경우에는, 가짜 신호를 생성하고, 해상도의 저하나 가짜 색(色僞) 발생의 원인이 되기 때문이다. 또, 휘도신호의 주성분으로 되는 G성분을 높은 정밀도로 보간 할 수 없으면, 휘도신호의 해상도 저하를 초래한다.

높은 해상도를 내기 위한 보간처리로서, 종래부터, 상관 처리를 이용한 보간처리가 행해지고 있다. 여기서 말하는 「상관처리」란, 보간 대상으로 되는 화소에 있어서 상관이 높은 방향의 화소의 정보를 이용하여 보간 하는 처리이다.

예를 들면, 도 3에 나타내는 해상도 차트로 이루어지는 입력화상을 예로 들 고, 화소의 보간처리에 있어서 생각해 본다. 해상도 차트는, 중심부분이 저주파의 신호이며, 중심에서의 거리가 커지는 것에 따라 고주파의 신호로 되는 차트이다. 해상도 차트는, 같은 주파수의 신호에서도 다양한 방향을 가지고 있고, 해상도 차트의 신호를 신호처리 회로에 입력하는 것으로, 다양한 신호에 있어서 어떠한 처리가 적합한지를 분석할 수 있다. 동(同)도면에서, 세로축상의 A점과 같이 가로선의 피사체일때는, 세로 방향에서는 화상신호에 웨이브가 관찰되는 한편, 가로방향의 화상신호의 상관은 높기 때문에, 가로방향의 화소를 이용하여 보간 한다. 또, 횡축상의 C점과 같이 세로선의 피사체일때는, 가로방향에는 웨이브가 관찰되는 한편, 세로 방향의 화상신호의 상관이 높기 때문에, 세로 방향의 화소를 이용하여 보간 한다. 이와 같이 상관이 높은 방향의 주위 화상을 이용하여 보간처리를 행하는 것으로, 보다 높은 해상도를 실현할 수 있다.

상관 처리를 이용한 보간처리는, 예를 들면 도 2에 나타내는 바와 같이, 바둑판 무늬모양에 G를 배열한 베이어 배열과 같은 색코딩에 있어서, G가 존재하지 않는 공간위치의 화소, 예를 들면 도면중의 화소(X)의 공간위치의 G신호를 만들어 낼 때의 처리에 유효하다. 물론, G신호 뿐만이 아니라, 나머지의 R신호 및 B신호에 대해서도 통상은 보간처리를 행한다. 본 명세서에서는, 휘도신호에 관하여 고해상도를 실현하기 위한 G신호의 보간처리에 주목하여 설명하고 있지만, G와 동일 보간처리를 R이나 B, 혹은 기타 색, 예를 들면 시안, 옐로에 있어서 적용하는 것도 가능하다.

보간처리는, 보간 해야 할 화소의 신호를 공간 위상이 다른 주위화소의 신호 를 이용한 보간에 의하여 만들어 내는 처리이기 때문에, 보간처리의 순서는 주위화소의 레이아웃 즉 색코딩에도 의존한다. 우선, 베이어 배열에 대한 보간처리에 있어서 설명한다. 도 2에서 알 수 있는 바와 같이, 베이어 배열의 G는 바둑판 무늬모양으로 배치되어 있고, G신호의 이빠진 부분(이하, 「보간 화소」라고도 부른다)에 있어서 보간처리를 행한다.

공간위치(보간 화소)(X)를 중심으로 하여, 수평 및 수직방향으로 밴드패스필터에 의한 필터링을 각각 걸치는 것으로, 수평 및 수직방향에서 관찰할 때에 어느 정도의 진폭을 가지는 화상신호가 존재하는지(즉 수평 및 수직의 각 방향에 있어서의 화상신호의 웨이브)를 산출한다. 밴드패스필터는, 도 4에 나타내는 바와 같이, 1／4fs(단, fs는 샘플링 주파수)에 피크를 가지고, 1／2 fs의 한계 해상도 근방까지의 신호에 있어서 값을 출력하는 필터이다. 밴드패스필터의 출력이 큰 경우에는, 그 방향으로 진폭이 큰 신호가 존재한다. 반대로, 밴드패스필터의 출력이 작은 경우에는, 그 방향으로 신호의 변동이 작은, 즉 저주파의 신호가 존재한다고 하는 것이 된다. 예를 들면, 미분 필터를 비롯하여 하이패스필터를 이용할 수 있지만, DC성분을 제거하도록 대역 제한 특성을 가지는 필터이면 뭐든지 좋다.

여기서, 공간위치(보간 화소)(X)를 중심으로 하여 수평방향으로 배치된 밴드패스필터의 필터 출력을 Bpf_H로 하고, 동일하게 수직방향으로 배치된 밴드패스필터의 필터 출력을 Bpf_V로 하면, 이들 필터 출력은 각각 아래의 식과 같이 나타내진다.

Bpf_H=－(G3＋G8)＋2(G4＋G9)－(G5＋G10)

Bpf_V=－(G1＋G2)＋2(G6＋G7)－(G11＋G12)

도 3중의 각 점(A~C)에 있어서, 이 2개의 밴드패스필터의 출력(Bpf_H 및 Bpf_V)을 관찰해본다. A점에서는, 수평방향에는 화상신호의 진폭은 없기 때문에 Bpf_H=0로 되며, B점에서는 기울기 45도 방향으로 화상신호의 진폭이 있기 때문에 Bpf_H=Bpf_V로 되며, C점에서는 수직방향에는 화상신호의 신부는 없기 때문에 Bpf_V=0로 된다.

계속하여, 이 밴드패스필터의 출력(Bpf_H 및 Bpf_V)을 이용하는 것으로, 수평 및 수직방향의 각 상관치(S_H 및 S_V)를 아래 식에서 산출한다.

S_H=Bpf_V／(Bpf_H＋Bpf_V)

S_V=1－S_H

이들 수평 및 수직방향 상관치(S_H 및 S_V)는, 수평 및 수직방향의 인접 화소간에 있어서의 화상신호의 상관의 강함을 나타내고 있다. 여기서 말하는 「상관」이란 신호의 변동비이다. 위의 식에 나타낸 바와 같이, 상관치(S_H 및 S_V)는, 수평 및 수직방향으로 각각은 위치한 밴드패스필터의 필터 출력(Bpf_H 및 Bpf_V)의 비율로 나타내진다. 신호의 변동비가 큰 경우에는 상관이 낮게 되고, 신호의 변동비가 작을 때는 상관이 높게 된다.

도 3에 나타낸 예에서는, A점에 있어서는, S_H=1 및 S_V=0로 되며, 수평방향에는 직선 성분(변동이 없음, 혹은 플랫이다)으로 간주할 수 있기 때문에, 신호의 변동비가 작기 때문에 수평방향으로 상관이 높고, 수직방향으로 상관이 없다고 하는 것이 된다. 그리고, 상관치가 큰, 즉 상관이 높은 방향의 화소로 보간 하는 것으로, 보간의 정밀도는 향상한다. G신호에 있어서 정밀도가 좋은 보간이 실현되면, G를 주성분으로 하는 휘도신호의 해상도도 높아진다.

또, B점에 있어서는, S_H=S_V=0.5로 되며, 수평·수직방향의 상관이 동일, 즉 수평·수직 어느 쪽도 동일 화상의 변화가 있는 것을 나타내고 있다. 또, C점에 있어서는, S_H=0, S_V=1로 되며, 수직방향의 상관이 높은 것을 나타내고 있다.

계속하여, 보간화소(X)의 보간치(X)를, 아래 식에 따라서, 상하 및 좌우의 주위화소의 G신호를 이용하여 산출한다.

X=｛(G6＋G7)×S_H＋(G4＋G9)×S_V｝／2

위의 식에서 알 수 있는 바와 같이, 보간화소(X)에 있어서, 상관이 높은 방향에 있어서 보다 큰 중량을 걸어 보간처리를 행한다. 예를 들면, A점에 있어서는, X=(G6＋G7)／2로 되며, 수평방향의 화소를 이용하여 보간 한다. 또, B점에 있어서는, X=(G6＋G7＋G4＋G9)／4로 되며, 수평·수직방향의 화소를 이용하여 균등한 중량으로 보간 한다. 또, C점에 있어서는, X=(G4＋G9)／2로 되며, 수직방향의 화소를 이용하여 보간 한다.

이와 같이, 상관 처리를 이용하여 화상신호의 진폭의 변화가 적은 방향, 즉 상관이 높은 방향의 화소의 성분에 중량을 걸면서(중량부여하면서) 보간 하는 것으로, 높은 해상도를 실현할 수 있다고 하는 것을 충분히 이해했으면 좋겠다.

도 5에는, 베이어 배열에 있어서의 G해상도와 RB해상도의 각각의 한계 해상도를 나타내고 있다. 동(同)도면에서 알 수 있는 바와 같이, G의 해상도는 수평·수직방향으로 1／2fs, 기울기 45도 방향에는 (1／2

2)fs이며, 특히 기울기 45도 방향에서는 G의 해상도와 RB의 해상도가 동일하다.

색공간변환을 행하는 상술의 식(1)~(3)에서 알 수 있는 바와 같이, G는 휘도신호를 만드는데 있어서의 주성분이며 휘도 해상도에 크게 의존하고, RB는 색차이 신호의 해상도에 크게 의존한다. 따라서, G의 해상도를 올리는 것이 고해상도인 화상을 생성하는 포인트로 된다. 또, 인간의 눈에는, 휘도에 관해서는 높은 주파수까지 인식할 수 있지만, 색에 관해서는 높은 주파수를 인식하는 것이 곤란하다고 하는 성질이 있기 때문에, 베이어 배열은 색해상도와 휘도 해상도의 밸런스가 인간의 시감도 특성과 매칭하고 있지 않다.

이러한 점을 감안하여, 본 출원인에게 이미 양도되어 있는 특원 2005－107037호 명세서에서는, 휘도성분을 만드는데 있어서 주성분으로 되는 G성분을, RB성분의 각각의 주위를 둘러싸도록 배치한 색코딩을 제안하고 있다(전술). 이 색코딩에 의하면, 베이어 배열에 있어서 RB의 화소수를 1／2로 하는 대신에 G를 늘리는 것으로, 색해상도를 약간 희생하지만 휘도 해상도를 약 2배로 향상할 수 있다.

이와 같이 RB성분을 G성분으로 둘러싼다고 하는 색코딩은, 베이어 배열의 색코딩보다도 인간의 시감도 특성에 매칭한다라고 본 발명자들은 사료한다. 또, 특히 Y：Cr：Cb=4：1：1의 출력 포맷에 준거한 신호처리계, 예를 들면 비디오 카메라 등의 신호처리계에서는, 상기와 같은 대역의 색코딩 쪽이 바람직하다고 말할 수 있다. 단, G를 주성분으로 하는 휘도신호를 고해상도로 얻는데에는, 베이어 배열의 색코딩의 경우보다 한층 더 고도의 보간처리가 요구된다.

이하에서는, 휘도성분을 만드는데 있어서 주성분으로 되는 예를 들면 G를, 예를 들면 R, B의 각각의 주위를 둘러싸도록 배치한 색코딩으로서 2개의 색코딩예를 들어, 이들 2개의 색코딩 예의 각각에 대한 보간처리를 실시예 1 및 실시예 2로서 설명한다.

［실시예 1］

도 6에는, 본 발명의 실시예 1에 있어서 보간처리의 대상으로 하는 색코딩예(1)를 나타내고 있다. 동도면에 나타내는 색코딩예(1)는, 화소가 수평방향(화소행에 따른 행방향) 및 수직방향(화소열에 따른 열방향)으로 등간격(화소 피치)(d)이 되도록 정방 격자모양으로 배열되어 있는 화소 배열에 있어서, 1행째는 수평방향의 4화소를 단위로서 RGBG의 반복으로 배열되며, 2행째는 G만이 배열되며, 3행째는 수평방향의 4화소를 단위로서 BGRG의 반복하여 배열되며, 4행째는 G만이 배열되며, 이후, 이 4행을 단위로서 반복하여 배열된 구성으로 되어 있다. 동 도면에서 알 수 있는 바와 같이, 휘도(Y)성분을 만드는데 있어서 주성분으로 되는 색성분(본 예에서는 G)과, 다른 색성분(본 예에서는 R 및 B)이, G에서 R 및 B의 각각의 주위를 둘러싸도록 배치되며, 또 R 및 B가 수평·수직에 있어서 4d의 간격으로 배치되게 된다.

화소간의 샘플링 레이트를 화소 피치에 대응한 d로서, 샘플링 레이트를 수평 및 수직방향으로 생각했을 경우, R 및 B의 수평 및 수직방향의 샘플링 레이트는, G에 있어서 1／2의 레이트로 되도록 1열 걸러(본 실시예 1에서는 홀수열) 및 1행 걸러(후술하는 실시예 2에서는 홀수행)에 배치되어 있다. 즉, G의 샘플링 레이트는 d이며, R 및 B의 샘플링 레이트는 2d이며, G와 R 및 B의 사이에는 수평 및 수직방 향으로 2배의 해상도의 차이가 있다. 또, 샘플링 레이트를 기울기 45도 방향으로 생각하면, G의 샘플링 레이트는 d／2

2이며, R 및 B의 샘플링 레이트는 2d／

2이다.

여기서, 공간 주파수 특성에 대하여 고찰해 본다. 수평 및 수직방향에 대해서는, G의 샘플링 레이트가 d이기 때문에, 샘플링 정리(定理)에 근거하여 (1／2)fs의 주파수까지 G신호를 파악할 수 있다. 또, 기울기 45도 방향에 대해서는, G의 샘플링 레이트가 d／2

2이기 때문에, 샘플링 정리에 근거하여 (1／

2)fs까지 G신호를 파악할 수 있다.

동일하게 R 및 B의 공간 주파수 특성에 대해서도 고찰해 본다. 단, R과 B는 화소 배열의 간격이 같고 동일하게 생각할 수 있기 때문에, 이하에서는 R에만 대하여 서술한다. 수평 및 수직방향에 대해서는, R의 샘플링 레이트가 2d이기 때문에, 샘플링 정리에 근거하여 1／4fs의 주파수까지 R신호를 파악하는 것이 가능하다. 또, 기울기 45도 방향에 대해서는, R의 샘플링 레이트가 d／2

2이기 때문에, 샘플링 정리에 근거하여 (1／4

2)fs의 주파수까지 신호를 파악할 수 있다.

도 7에는, 도 6에 나타낸 색코딩예(1)에 있어서의 공간 주파수 특성을 나타내고 있다. G는 수평 및 수직방향에 관하여 (1／2)fs의 주파수까지 신호를 파악할 수 있고, 기울기 45도 방향에 관하여 (1／

2)fs까지의 신호를 파악할 수 있다. 또, R 및 B는 수평 및 수직방향에 관하여 (1／4)fs의 주파수까지 신호를 파악할 수 있고, 기울기 45도 방향에 관하여 (1／4

2)fs의 주파수까지의 신호를 파악할 수 있다. 즉, 도 5와 도 7의 대비에서 밝혀진 바와 같이, 도 6에 나타낸 색코딩예(1)를 이용하는 것으로, G한계 해상도가 베이어 배열에서 큰 폭으로 향상하기 때문에, G신호를 주성분으로 하는 휘도신호의 해상도는 약 2배로 된다.

계속하여, 도 6에 나타낸 색코딩예(1)에 대한 보정 처리에 있어서, 이하에서 구체적으로 설명한다. 도 8에는, 도 6에 나타낸 색코딩예(1)의 G만을 골라낸 화소 배열을 나타내고 있다.

도시한 바와 같이, 보간화소(X)를 둘러싸는 수평·수직·경사 방향의 합계 8개의 주위화소, 즉 화소(G4, G5, G6, G8, G9, G11, G12, G13)에 G신호가 존재하고 있고, 이들을 이용하여 보간화소(X)의 G신호의 보간처리를 행한다. 베이어 배열의 색코딩에서는, 수평 및 수직 4방향밖에 G의 화소가 존재하지 않는다. 이것에 대하여, 도 6에 나타낸 색코딩예(1)에서는, 수평, 수직 및 경사 방향에 8화소가 존재하고, 보간화소(X)를 관찰하면, G의 화소가 바둑판의 눈과 같이 배치되어 있는 것을 알 수 있다. 이것이 고해상도를 실현하는데 있어서도 매우 중요하다.

본 실시예(1)에서는, 보간처리회로(23)는, 수평 및 수직방향뿐만 아니라 경사방향에 대해서도 보간화소(X)와 주위화소와의 상관관계를 구하고, 수평 및 수직방향의 상관과 경사방향의 상관의 관계로부터, 실제로 어느 주위화소를 이용하여 보간을 행하면 좋은지를 판단하면서 보간처리를 행한다.

도 10에는, 보간처리회로(23)에 있어서 실시되는 보간처리의 순서를 플로차트의 형식으로 나타내고 있다. 이하에서는, 도 9에 나타내는 바와 같이, 수평방향을 H방향, 수직방향을 V방향, H방향에 있어서 45도만큼 오른쪽 회전한 축방향을 NH 방향, H방향에 있어서 45도만큼 좌회전한 축방향을 NV방향이라고 기술하는 것으로 한다. 이하, 도 10을 참조하면서, 보간처리에 있어서 상세하게 풀이한다.

도 8의 화소(X)를 보간 화소(보간 대상이 되는 화소)로 하고(스텝 S11), 먼저, 이 보간화소(X)의 각 주위화소에 있어서 HV방향의 상관치를 산출한다(스텝 S12). 구체적으로는, 보간화소(X)의 왼쪽 기울기상의 화소(G4)를 중심으로서 밴드패스필터에 의한 필터링을 HV방향으로 거는 것으로, HV방향의 상관치를 산출한다.도 11에는, 이 HV방향의 밴드패스필터의 주파수 특성(필터특성)을 나타내고 있다.

여기서, 밴드패스필터의 수평방향의 출력을 Bpf_H_G4, 수직방향의 출력을 Bpf_V_G4로 하면, 아래 식에서 나타내지는 필터링 결과가 얻어진다.

Bpf_H_G4=－G3＋2G4－G5

Bpf_V_G4=－G1＋2G4－G8

계속하여, 화소(G4)에 대한 H방향의 상관치(S_H_G4)를 아래 식에 따라 산출한다. H방향의 상관치(S_H_G4)는 필터 특성이 같은 밴드패스필터의 수평 및 수직방향의 필터 출력(Bpf_H 및 Bpf_V)의 비율을 나타낸다.

S_H_G4=Bpf_V／(Bpf_H＋Bpf_V)

V방향의 상관치(S_V_G4)는, S_V_G4=1－S_H_G4이며, H방향의 상관치(S_H_G4)마저 산출해버리면 용이하게 산출할 수 있기 때문에, 특히 산출할 필요는 없다. 즉, 이 시점에서, 화소(G4)를 중심으로 한 HV방향의 상관치(S_H_G4 및 S_V_G4)를 산출한 것으로 된다. 예를 들면, H방향의 상관치(S_H_G4)가 1.0에서 V방향 상관치(S_V_G4)가 0.0일 때는, V방향의 상관치(S_V_G4)로 화소(X)를 보간 하면, 좋은 보간 결과가 얻어진다.

보간화소(X)의 왼쪽 기울기상의 화소(G4)를 중심으로 한 H방향의 상관치(S_H_G4)의 산출과 동일하게 하고, 왼쪽 기울기상의 화소(G6), 왼쪽 기울기하의 화소(G11), 왼쪽 기울기하의 화소(G13)의 각각을 중심으로 한 각각의 H방향의 상관치(S_H_G6, S_H_G11, S_H_G13)에 대해서도 산출한다.

지금까지의 처리, 즉 스텝(S12)에서의 처리에 의해, 보간화소(X)를 둘러싸는 4점의 화소(G4, G6, G11, G13)의 각각을 중심으로 한 HV방향의 상관치(S_H_G4, S_H_G6, S_H_G11, S_H_G13)가 각각 산출된 것이 된다(도 26을 참조).

계속하여, 산출된 4개의 상관치(S_H_G4, S_H_G6, S_H_G11, S_H_G13)중에서, 보간화소(X)에 대용하는데에 상응하는 상관치를 2개만 선택한다. 구체적으로는, 4개의 상관치 중에서 가장 상관이 높은, 즉 산출한 상관치의 신뢰도가 높은 2를 보간화소(X)의 상관치로서 선택한다(스텝(S13)).

도 26에서도 알 수 있듯이, 스텝(S12)에서 산출한 각 상관치 상관치(S_H_G4, S_H_G6, S_H_G11, S_H_G13)는, 각각 주위 4 화소(G4, G6, G11, G13)를 중심으로 한 HV방향의 상관치이며, 소망의 보간화소(X)를 중심으로 한 HV방향의 상관치(S_H)는 아니다. 보간화소(X)를 중심으로 한 밴드패스필터를 구성할 수 없다고 한 실장상의 형편 등이 있는 경우에는, 보간화소(X)에 있어서의 상관치를 직접 산출할 수 없다. 그래서, 인접화소에 있어서 상관치는 거의 동등하다고 하는 사고방식에 근거하여, 주위화소에서 구한 신뢰도가 높은 HV방향의 상관치로써 보간화소(X)의 HV방향의 상관치(S_H)로 대용한다는 것이 스텝(S13)의 취지이다.

상관치를 선택하기 위한 신뢰도로서, 4개의 상관치를 산출하는 과정에서 산출한 밴드패스필터의 출력치를 이용하여 나타낼 수 있다. 예를 들면, 화소(G4)의 상관 신뢰치(Bpf_Max)를 아래 식에서 산출한다.

Bpf_Max=|Bpf_H_G4|＋|Bpf_V_G4|

이 상관 신뢰치(Bpf_Max)의 산출을 다른 3점의 주위화소(G6, G11, G13)에 대해서도 이와 같이 행한다. 밴드패스필터의 출력이 크다고 하는 것은, 그 화소 주위에서는 큰 진폭의 신호가 존재하고, 신호가 노이즈가 아닌 화상에 의한 것인 것을 말할 수 있다. 반대로, 밴드패스필터의 출력이 작은 경우에는 신호가 노이즈에 덮혀있는 상관의 신뢰성이 낮고, 상관치를 신뢰하는 것이 어렵다. 즉, 수평 및 수직의 직교하는 2방향의 밴드패스필터의 출력의 절대치의 합으로 이루어지는 상관 신뢰치(Bpf_Max)가 큰 경우는, 이들 밴드패스필터의 출력으로부터 산출되는 상관치의 신뢰성이 높다고 추정할 수 있다.

그리고, 4점의 주위화소로 구한 각 상관 신뢰치(Bpf_Max)를 대소 비교하여 큰쪽에서 2점의 주위화소를 선택하고, 이들 2점의 주위화소를 중심으로서 산출된 HV방향의 상관치를, 보간화소(X)를 중심으로 한 HV방향의 상관치로 대용하는 값으로서 선택한다. 도 27에는, S_H_G4와 S_H_G13를 신뢰할 수 있는 상관치로서 선택한 모습을 나타내고 있다.

또한, 상관의 신뢰도 산출에서는, 상관 신뢰치(Bpf_Max), 즉 필터 출력의 합계치가 아니고, |Bpf_H－Bpf_V|의 결과, 즉 필터 출력의 차분치가 큰 것을 선택하도록 해도 좋다. 이것에는, 밴드패스필터의 H방향의 출력(Bpf_H)과 V방향의 출 력(Bpf_V)의 차이가 큰, 즉 수평 및 수직방향으로 강한 상관을 가지고 있는 것을 말할 수 있으므로, 상관의 강한 부분의 상관치를 채용한다고 하는 목적이 있다.

계속하여, 채용한 상위 2개소의 상관치를 평균하여 1개의 상관치로 한다(스텝(S14)). 평균화된 상관치는, 이하의 처리 스텝에서는 보간화소(X)를 중심으로 하는 HV방향의 상관치로서 취급된다. 예를 들면, G4와 G6의 2개소에 있어서의 상관치의 신뢰도가 높다고 하여 선택되었을 경우에는, 이들 2점을 중심으로 하는 HV방향의 상관치가 평균화되어, 보간화소(X)에 대한 HV방향의 상관치로 간주된다(도 28을 참조).

이때, 상관 신뢰치(Bpf_Max)가 최대로 되는 1점의 주위화소의 상관치를 선택하는 것으로, 4개의 상관치에서 1개의 수평 및 수직방향의 상관치를 선택하는 것도 가능하지만, 상위 2개소의 상관치의 평균치를 채용하는 것으로, 좋은 결과를 얻을 수 있다. 또, 4개의 상관치로부터 상위 3개소의 상관치를 채용하여 그들의 평균치를 취하는 방법도 생각할 수 있다.

또한, 보간화소(X)를 중심으로 한 밴드패스필터를 구성하는 경우에는, 신뢰도가 높은 주위화소의 상관치의 평균이 아닌, 보간화소(X)에 있어서의 상관치를 직접 산출할 수 있고, 스텝(S12~S14)에 있어서의 처리는 간략화된다.

또, 스텝(S12~S14)에 있어서의 보간화소(X)의 HV방향의 상관치 산출의 처리와 병행하여, 스텝(S15~S17)에 있어서의 보간화소(X)의 NH 및 NV방향의 상관치 산출의 처리가 실행된다. 여기서 말하는 NH방향은 H방향에 있어서 45도만큼 오른쪽 회전한 축방향이며, NV방향은 H방향에 있어서 45도만큼 좌회전한 축방향이다(전술 ).

먼저, 보간화소(X)의 각 주위화소에 대하여 NH 및 NV방향의 상관치를 산출한다(스텝 S15). 구체적으로는, 보간화소(X) 상의 화소(G5)를 중심으로서 밴드패스필터에 의한 필터링을 경사 방향으로 거는 것으로, NH 및 NV방향의 상관치를 산출한다. 도 12에는, NH 및 NV방향의 밴드 펄스 필터의 주파수 특성(필터 특성)을 도 12에 나타내고 있다.

여기서, 밴드패스필터의 NH방향의 출력을 Bpf_NH_G5, NV방향의 출력을 Bpf_NV_G5로 하면, 아래 식에서 나타내지는 필터링 결과가 얻어진다.

Bpf_NH_G5=－G1＋2G5－G9

Bpf_NV_G5=－G2＋2G5－G8

계속하여, 화소(G5)에 대한 NH방향의 상관치(S_NH_G5)를 다음 식으로 산출한다. NH방향의 상관치(S_NH_G5)는 필터 특성이 동일 밴드패스필터의 NH 및 NV방향의 필터 출력(Bpf_NH 및 Bpf_NV)의 비율을 나타낸다.

S_NH_G5=Bpf_NV_G5／(Bpf_NH_G5＋Bpf_NV_G5)

NV방향의 상관치(S_NV_G5)는, S_NV_G5=1－S_NH_G5이며, NH방향의 상관치(S_NH_G5)마저 산출해버리면 용이하게 산출할 수 있기 때문에, 여기에서는 특히 산출할 필요는 없다. 즉, 이 시점에서, 화소(G5)를 중심으로 한 NH 및 NV방향의 상관치(S_NH_G5 및 S_NV_G5)를 산출한 것이 된다. 예를 들면, NH방향의 상관치(S_NH_G5)가 1.0에서 NV방향 상관(S_V_G5)이 0.0일 때는, NV방향의 상관치(S_NV_G5)에서 화소(X)를 보간 하면, 좋은 보간 결과가 얻어진다.

보간화소(X)상의 화소(G5)를 중심으로 한 NH방향의 상관치(S_NH_G5)의 산출의 경우와 동일하게 하여, 왼쪽의 화소(G8), 오른쪽의 화소(G9), 아래의 화소(G12)의 각각을 중심으로 한 각각의 NH방향의 상관치(S_NH_G8, S_NH_G9, S_NH_G12)에 대해서도 동일하게 하여 산출한다.

지금까지의 처리, 즉 스텝(S15)의 처리에 의해, 보간화소(X) 상, 좌, 우, 하에 위치하는 4점의 화소(G5, G8, G9, G12)의 각각을 중심으로 한 NH방향의 상관치(S_NH_G5, S_NH_G8, S_NH_G9, S_NH_G12)가 각각 산출된 것이 된다(도 29를 참조).

계속하여, 산출된 4개의 상관치(S_NH_G5, S_NH_G8, S_NH_G9, S_NH_G12)중에서, 보간화소(X)에 대용하는 상관치를 2개만 선택한다. 구체적으로는, 4개의 상관치 중에서 신뢰도가 높은 쪽에서 2개를 보간화소(X)의 상관치로서 채용한다(스텝 S16).

도 29에서 알 수 있는 바와 같이, 스텝(S15)에서 산출한 각 상관치 상관치(S_NH_G5, S_H_G8, S_H_G9, S_H_G12)는, 각각 주위 4화소(G5, G8, G9, G12)를 중심으로 한 HV방향의 상관치이며, 소망의 보간화소(X)를 중심으로 한 상관치는 아니다. 보간화소(X)를 중심으로 한 밴드패스필터를 구성할 수 없다고 한 실장상의 형편 등이 있는 경우에는, 보간화소(X)에 있어서의 상관치를 직접 산출할 수 없다. 그래서, 인접 화소에 있어서 상관치는 거의 동등하다고 하는 사고방식에 근거하여, 주위화소로 구한 신뢰도가 높은 NH방향의 상관치로써 보간화소(X)의 NH방향의 상관치에 대용한다는 것이 스텝(S16)의 취지이다.

상관치를 선택하기 위한 신뢰도를, 4개의 상관치를 산출하는 과정에서 산출한 밴드패스필터의 출력치를 이용하여 나타낸다. 예를 들면, 화소(G5)의 상관 신뢰치(Bpf_Max)를 아래 식에서 산출한다. 또, 다른 3점의 주위화소(G8, G9, G12)에 대해서도 동일하게 상관 신뢰치(Bpf_Max)의 산출을 행한다. NH 및 NV의 직교하는 2방향의 밴드패스필터의 출력의 절대치의 합으로 이루어지는 상관 신뢰치(Bpf_Max)가 큰 경우는, 이들 밴드패스필터의 출력으로부터 산출되는 상관치의 신뢰성이 높다고 추정할 수 있다(전술).

Bpf_Max=|Bpf_NH_G5|＋|Bpf_NV_G5|

계속하여, 채용한 상위 2개소의 상관치를 평균하여 1개의 상관치로 한다(스텝 S17). 도 30에는, S_NH_G5와 S_NH_G9를 신뢰할 수 있는 상관치로서 선택한 모습을 나타내고 있다.

평균화된 상관치는, 이하의 처리 스텝에서는 보간화소(X)를 중심으로 하는 NH 및 NV방향의 상관치로서 취급된다. 예를 들면, G5와 G9의 2개소에 있어서의 상관치의 신뢰도가 높다고 하여 선택되었을 경우에는, 이들 2점을 중심으로 하는 HV방향의 상관치가 평균화되며, 보간화소(X)를 중심으로 하는 NH 및 NV방향의 상관치로 간주된다(도 31을 참조).

또한, 보간화소(X)를 중심으로 한 밴드패스필터를 구성하는 경우에는, 신뢰도가 높은 주위화소의 상관치의 평균이 아니고, 보간화소(X)에 있어서의 상관치를 직접 산출할 수 있어 스텝(S15~S17)에 있어서의 처리는 간략화된다(전술).

지금까지의 처리에 의해, 보간화소(X)에 있어서 H방향의 상관치(S_H 및 NH) 방향의 상관치(S_NH)가 구해지게 된다(도 28 및 도 31을 참조).

계속하여, 보간화소(X)에 대해서의 H방향 및 NH방향의 각 상관치(S_H 및 S_NH)에 근거하여, 보간화소(X)가 어느 방향의 주위화소와 상관이 강한지, 즉 상관의 방향성을 구한다(스텝(S18)).

여기서, 도 13에 나타내는 해상도 차트로 이루어지는 입력화상을 예로 들고, 보간화소(X)에 있어서 H방향 및 NH방향 각각에 있어서 산출된 상관치(S_H 및 S_NH)와 보간화소(X)와 이것을 둘러싸는 주위화소의 상관의 정도에 있어서 고찰해 본다.해상도 차트는, 중심부분이 저주파의 신호이며, 중심으로부터의 거리가 커지는 것에 따라 고주파의 신호로 되는 차트이다. 해상도 차트는, 같은 주파수의 신호라도 다양한 방향을 가지고 있고, 해상도 차트의 신호를 신호처리 회로에 입력하는 것으로, 다양한 신호에 있어서 어떠한 처리가 적합한지를 분석할 수 있다.

예를 들면, 도 13의 (a)점~(e)점의 신호가 보간화소(X)로서 입력되며, 상술한 스텝(S12~S17)의 처리를 실행하면, 2개의 상관치(S_H 및 S_NH)는, (a)점에서는, S_H=1.0(S_V=0.0), S_NH=0.5(S_NV=0.5)로 된다. 지금부터, 보간화소(X)는, HV방향에서는 H방향의 주위화소와의 강한 상관이 있는 것을 알 수 있다. 또, NH 및 NV방향에서는 NH방향과 NV방향으로 같은 상관, 즉 보간화소(X)는 경사 방향에서는 주위화소와의 상관이 없는 것을 알 수 있다.

또, (b)점에서는, S_H=0.5(S_V=0.5), S_NH=1.0(S_NV=0.0)로 된다. 즉, 보간화소(X)는, HV방향에서는 주위화소와의 상관이 없지만, NH 및 NV방향에서는 NH방향의 주위화소와의 강한 상관이 있는 것을 알 수 있다.

또, (c)점에서는, S_H=0.0(S_V=1.0), S_NH=0.5(S_NV=0.5)로 된다. 즉, 보간화소(X)는, HV방향에서는 V방향의 주위화외 강한 상관이 있다. 또, NH 및 NV방향에서는 보간화소(X)는 주위화소와의 상관이 없는 것을 알 수 있다.

또, (d)점에서는, S_H=0.5(S_V=0.5), S_NH=0.0(S_NV=1.0)로 된다. 즉, 보간화소(X)는, HV방향에서는 주위화소와의 상관이 없지만, NH 및 NV방향에서는 NV방향의 주위화소와 강한 상관이 있는 것을 알 수 있다.

또, (e)점에서는, S_H=1.0(S_V=0.0), S_NH=0.5(S_NV=0.5)로 된다. 즉, (a)점과 동일하게, 보간화소(X)는, HV방향에서는 H방향의 주위화소와 강한 상관이 있지만, NH 및 NV방향에서는 주위화소와의 상관이 없는 것을 알 수 있다.

또, 도 14에는, 도 13에 나타낸 해상도 차트를 입력화상으로 했을 경우의 보간 화소의 공간 위상과 H 및 V방향 및 NH 및 NV방향의 주위화소와의 상관치의 관계를 나타낸 주파수 차트를 나타내고 있다. 이하에서는, 보간 화소와 HV방향 및 NH 및 NV방향의 주위화소와의 상관치의 관계를 나타내는 동도면중 직선을 「상관선」이라고도 부른다. 이 상관선은, 상관치를 다른 방향에 있어서 최저 2 패턴만 산출하고, 당해 최저 2패턴의 상관치를 다양한 각도의 직선에 있어서 플롯하여 얻을 수 있다. 도 14의 상관선도에 있어서, 1점 쇄선(A)이 HV방향의 상관치(S_H)에, 2점 쇄선(B)이 NH 및 NV방향의 상관치(S_NH)에, 각각 상당하고 있다. 상관선(A)과 (B)와는 45도만큼 위상이 어긋나 있다.

HV방향의 상관치(S_H)만을 이용했을 경우, S_H가 0 또는 1에 가까울 때에는 보간화소(X)가 H방향 또는 V방향으로 상관이 강한 것을 특정할 수 있지만, S_H가 0.5 부근의 값을 취할 때는, 보간화소(X)가 해상도 차트상에서 (a)점과 (c)점에 존재할 가능성이 있고, 상관선(A)을 참조한 것 만으로는 보간화소(X)가 강한 상관을 가지는 방향성을 특정할 수 없다. 이것에 대하여, H방향에 있어서 45도만큼 오른쪽 회전한 NH방향 및 H방향에 있어서 45도만큼 좌회전 한 NV방향이라고 하는, 수평 및 수직축에 있어서 45도만큼 회전시킨 직교하는 2개의 밴드패스필터의 출력으로부터 산출되는 상관치(S_NH)를 플롯 한 상관선(B)을 참조하는 것으로, S_H가 0.5 부근의 값을 취할 때에도, 보간화소(X)가 기울기의 어느 방향으로 강한 상관을 가질까를 높은 분해능으로 특정할 수 있다. 즉, S_H와 S_NH의 상관선을 비교함으로써, 보간화소(X)가 주변 화소와 강한 상관을 가지는 방향을 전방향(360도)에 걸쳐서 판정하는 것이 가능하다. 또한, 본 실시 형태에서는, 일례로서 소정의 각도로 하여 45도만큼 회전시킨 직교하는 2개의 밴드패스필터를 이용했지만, 40도~50도 등, HV방향과 NH／NV방향이 형성하는 각도가 다른 각도여도, 상기와 동일한 정도의 효과를 얻는 것이라면 상관없다.

도 13에 나타낸 해상도 차트를 입력화상으로 했을 경우, 스텝(S18)에서는, 도 14에 나타낸 주파수 차트상의 보간화소(X)가 위치하는 공간 위상에 있어서, 1점 쇄선(A)과 2점 쇄선(B)으로 나타낸 상관치를 비교함으로써, 보간 화소가 HV방향과 NH 및 NV방향의 주위화소와 각각 어느 정도의 상관을 가지는지, 즉 상관의 강한 방향성을 구할 수 있다.

스텝(S18)에 있어서 보간화소(X)가 가지는 상관의 방향성을 알면, 계속하여, 스텝(S12~S14) 및 스텝(S15~S17)에서 구해진 상관치(S_H 및 S_NH)의 신뢰도가 있는 지 없는지를 판단한다(스텝(S19)).

이미 서술한 바와 같이, 스텝(S12~S14) 및 스텝(S15~S17)에서는, 보간화소(X)를 중심으로 한 각방향의 상관치를 직접 산출하고 있지 않고, 보간화소(X)를 둘러싸는 각 주위화소를 중심으로 하여 산출된 H방향 및 NH방향의 상관치 중 신뢰도가 높은 것을 평균화하여, 보간화소(X)의 상관치로서 대용하고 있다. 이와 같은 경우는, 특히 상관의 신뢰도 체크는 중요하게 된다.

여기서, 상관의 신뢰도를 체크하는 구체적인 방법에 대하여 설명해 둔다. 도 13에 나타낸 해상도 차트를 입력화상으로 했을 경우의 주파수 차트, 즉 보간 화소와 HV방향과 NH 및 NV방향의 주위화소와의 상관치의 관계는, 도 14에 나타낸 바와 같다. 2그룹의 직교하는 밴드패스필터를 수평 수직방향 및 수평 수직방향에 대하여 45도만큼 회전시킨 방향으로 각각 배치하고, 각 그룹의 밴드패스필터의 출력으로부터 H방향의 상관치(S_H)와 NH방향의 상관치(S_NH)를 산출할 수 있다. S_H 및 S_NH 각각의 상관선(A)과 (B)는 45도만큼 위상이 어긋나 있다.

또, 도 32에는, S_H(도 14중의 상관선(A))에서 0.5를 뺄셈 한 절대치로 이루어지는 상관선과, S_NH(도 14중의 상관선(B))에서 0.5를 뺄셈 한 절대치로 이루어지는 상관선을 각각 플롯하고 있다. 동도면에서 알 수 있는 바와 같이, 상관치(S_H 및 S_NH)가 도 14에 나타낸 상관선상에 실리는 이상적인 것, 즉 신뢰도가 높은 것이면, S_H로부터 0.5를 뺄셈 한 절대치와 S_NH로부터 0.5를 뺄셈 한 절대치의 합은 0.5에 가까운 값으로 된다. 그래서, 스텝(S12~S14 및 스텝 S15~S17)에서 구해진 상관치(S_H 및 S_NH)를 이하의 부등식으로 이루어지는 조건식에 대입하여, 조건을 만족하는지 어떤지에 의하여, 상관치(S_H 및 S_NH)의 신뢰도를 판정할 수 있다. 단, TH1 및 TH2는, TH1＜TH2의 관계를 만족하는 0.5에 가까운 값이다(TH1 및 TH2를 0.5에 접근하면, 판정 조건이 보다 어려워진다).

TH1＜｜S_H－0.5｜＋｜S_NH－0.5｜＜TH2

스텝(S19)에서 상관의 신뢰도가 있다고 판정되었을 경우에는, 보간화소(X)를 보간 하는 화소를, 스텝(S18)에 있어서 상관이 강하다고 판단된 방향의 주위화소로부터 인출하여, 화소 보간을 행한다(스텝(S20)).

도 15에는, 보간화소(X)가 가지는 상관의 방향성과 보간에 이용하는 주위화소의 관계를 나타내고 있다. 예를 들면, 스텝(S18)에서 보간화소(X)가 가지는 상관의 방향성이 (a)점(즉, 주파수 차트상의 90도)에 있다고 판단되었을 경우에는, H방향의 상관이 강하기 때문에, 보간화소(X)의 G신호를 X=(G8＋G9)／2로 보간 한다. 또, 보간화소(X)의 상관의 방향성이 (b)점(즉, 주파수 차트상의 45도)으로 되는 경우에는, NH방향의 상관이 강하기 때문에, 보간화소(X)의 G신호를 X=(G4＋G13)／2로 보간 한다. 보간화소(X)의 상관의 방향성이 (c)점, (d)점, (e)점 취하는 경우도 마찬가지이다.

또, 보간화소(X)의 상관의 방향성이 (c)점과 (b)점 사이의 상관치가 산출되는 (f)점으로 되는 경우에는, S_H≒0.25로 또한 S_NH≒0.75를 나타내기 때문에, 그 방향의 화소를 이용하여 X=(G1＋G16)／2로 보간 한다.

또, 보간화소(X)의 상관의 방향성이 (b)점과 (f)점의 중간 등과 같이, 보간화소(X)의 상관의 방향성을 나타내는 직선상에 실리는 주위화소가 없는 경우에는, (b)점의 보간치와 (f)점의 보간치에 중량을 붙여 보간 한다고 하는, 상관치와 보간치의 관계에 근거하는 선형 보간을 행한다. 예를 들면, 도 15중의 P점에 상당하는 방향에 정확히 실리는 주위화소는 없지만, 그 방향에 인접하는 방향성에 있어서 적용되는 2개의 보간치(G6＋G11)／2 및 (G7＋G10)／2로 선형 보간 하는 이하의 식에 의해, 보간화소(X)의 상관치를 산출할 수 있다. 단, a는 중량 계수를 a이다.

X=｛(G6＋G11)／2｝×a＋｛(G7＋G10)／2｝×(1－a)

이와 같이, 본 실시예 1에서는, 보간화소(X)의 상관의 방향성을, 종래와 같이 HV방향의 상관치(S_H)에서만 구하는 것이 아니라, 수평 및 수직축에 대하여 45도만큼 회전시킨 직교하는 2개의 밴드패스필터의 출력으로부터 산출되는 상관치(S_NH)도 이용하도록 했다. HV방향의 상관치(S_H)가 정확히 0.5가 되면, S_H만으로는 상관의 방향성을 특정할 수 없게 된다. 이것에 대하여, NH 및 NV방향의 상관치(S_NH)의 상관선은 S_H에 대하여 45도만큼 위상이 어긋나 있기 때문에(도 14를 참조하는 것), 또한, S_NH를 참조하는 것으로, 보간화소(X)가 기울기의 어느 방향으로 강한 상관을 가지는지를 높은 분해능으로 특정하는 것이 가능하다. 따라서, 도 6에 나타낸 색필터를 이용하여 색코딩을 행하면, 종래의 베이어 배열에 비하여 보다 높은 정밀도로 G신호를 보간 할 수 있어 이 결과, 높은 해상도의 휘도신호를 얻을 수 있다.

한편, 스텝(S12~S14) 및 스텝(S15~S17)에서 구해진 상관치(S_H 및 S_NH)에 관하여, 충분한 신뢰도를 얻을 수 없었던 경우에는(스텝(S19)의 No), 주위화소의 평균치를 이용하여 S／N중시의 화소 보간을 행한다(스텝 S21).

2개의 상관치(S_H 및 S_NH)가 도 14에 나타낸 2개의 상관선(A 및 B)에 실리지 않는 경우는, 상관이 없다고 간주할 수 있다. 예를 들면, S_H=1.0, S_NH≒0.5 일때는 상관이 있다고 말할 수 있지만, S_H=1.0, S_NH≒1.0 일 때에는 도 14중의 어느 상관선(A 및 B)이 실리지 않기 때문에, 상관의 신뢰도가 낮다고 말할 수 있다. 후자의 경우, 어떤 방향의 화소를 이용하여 보간해도 올바르게 보간 할 수 있는 확립은 낮고, 반대로 잘못된 보간에 의해 위색신호를 생성할 가능성이 높다.

이와 같이, 스텝(S12~S17)에 있어서 산출된 상관치(S_H 및 S_NH)가 도 14에 나타낸 2개의 상관선(A 및 B)에 실리지 않고, 상관치의 신뢰도가 낮은 것이 판명되었을 경우에는, 보간화소(X)가 가지는 상관의 방향성에 근거하여 특정된 주위화소를 이용하여 해상도 중시의 보간을 행하는 것이 아니라, S／N중시의 보간처리를 적용한다. 예를 들면, 주위 4화소를 이용하여 X=(G5＋G8＋G9＋G12)／4에 의해 보간화소(X)의 G신호를 보간 하는 것으로, 촬상장치의 성능을 올릴 수 있다.

상술한 베이어 배열의 보간에서는, HV방향으로 배치한 1그룹의 직교하는 밴드패스필터의 출력을 기본으로 HV방향의 상관(S_H)밖에 구할 수 없다. 이 때문에, 상관의 신뢰도라는 것을 평가하지 못하고, 예를 들면 NH 및 NV방향에 대해서도, HV방향의 경우와 동일하게 보간을 행할 수밖에 없다.

이것에 대하여, 본 실시예 1에서는, RB성분을 G성분으로 둘러싼다고 하는 색코딩(도 6을 참조)을 행하므로, HV방향에 있어서 45도만큼 회전한 NH 및 NV방향으로 배치한 1그룹의 직교하는 밴드패스필터의 출력을 기본으로 NH방향의 상관을 또한 산출할 수 있다. 따라서, 보간화소(X)가 주변 화소와 강한 상관을 가지는 방 향을 전방향(360도)에 걸쳐서 판정하는 것이 가능하며, 그 보간처리에서는 경사 방향의 보간에 대응할 수 있다.

또, 도 5와 도 7에 각각 나타낸 화상신호의 한계 해상도의 대비에서 밝혀진 바와 같이, 본 실시예 1에 있어서의 색코딩에 의하면, G의 해상도에 관하여, 기울기 45도 방향에 있어서는, 베이어 배열에 비하여 2배의 해상도를 얻을 수 있다.

또, 스텝(S19)에서 상관의 신뢰도를 평가하고, 상관을 신뢰할 수 있을 때는 상관의 방향에서 해상도 중시의 보간을 행하지만, 상관을 신뢰할 수 없을 때는 S／N중시의 보간을 행한다고 하는 것처럼, 신뢰도에 따라 적응적으로 처리 방법을 전환하므로, 고정밀도의 보간처리를 실현할 수 있다.

예를 들면, 도 13에 나타내는 바와 같이 인공적인 해상도 차트에 있어서는, 기본적으로 전영역에 있어서 상관의 신뢰도는 높게 출력된다. 이것에 대하여, 일반화에 있어서의 자갈길이나, 나무의 숲이라고 하는 복잡한 곡선이 깊숙이 들어온 피사체에 있어서, 상관의 신뢰도가 낮아지는 사태가 일어날 수 있다. 이 경우는, 적응적으로 S／N를 중시한 보간처리로 전환하도록 하면 좋다.

본 실시예 1에 관계되는 일련의 보간처리를 실행하는 전용의 하드웨어 장치를 설계 제작할 수도 있지만, 예를 들면 컴퓨터상에서 소정의 컴퓨터·프로그램을 실행한다고 하는 소프트웨어 처리에 의하여 동일 보간처리를 실현하는 것도 가능하다.

도 16에는, 본 실시예 1에 관계되는 보간처리를 실행하는 하드웨어 구성의 보간처리회로(23A)의 구성예를 나타내고 있다.

G4HV방향 상관치 산출회로(31)는, 보간화소(X)의 왼쪽 기울기상의 화소(G4)를 중심으로 하여 HV방향에 대하여 필터링 처리를 행함으로써 HV방향의 상관치를 산출한다. 예를 들면, 도 11에 나타낸 주파수 특성을 가지는 밴드패스필터에 의하여 G4HV방향 상관치 산출회로(31)를 구성할 수 있다. 구체적으로는, G4HV방향 상관치 산출회로(31)는, 화소(G4)에 대한 H방향의 상관치(S_H_G4)를, 이하의 연산식에서 산출한다.

S_H_G4=Bpf_V／(Bpf_H＋Bpf_V)

그리고, G4HV방향 상관치 산출회로(31)는, 또한 V방향의 상관치(S_V_G4)를 이하의 연산식에서 산출한다.

S_V_G4=1－S_H_G4

보간화소(X)를 둘러싸는 그 외의 주위화소(G6, G11, G13)에 관해서도, 각 HV방향 상관치 산출회로(32, 33, 34)가 G4HV방향 상관치 산출회로(31)와 동일하게 하고, 보간화소(X)의 오른쪽 기울기상(上)의 화소(G6), 왼쪽 기울기하(下)의 화소(G11), 오른쪽 기울기하의 화소(G13)의 각각을 중심으로 한 H방향의 상관치(S_H_G6, S_H_G11, S_H_G13) 및 V방향의 상관치(S_V_G6, S_V_G11, S_V_G13) 각각을 산출한다. 각 상관치 산출회로(31~35)에 의하여, 도 10에 나타낸 플로차트의 스텝(S12)에 상당하는 처리가 실현된다.

선택회로(35)는, H방향 및 V방향의 각각에 대하여, 4개 중에서 보간화소(X)에 적용하는 상관치를 선택한다. 구체적으로는, 선택회로(35)는, 각 상관치 산출회로(31~34)에 있어서 각각 상관치를 산출하는 과정에서 산출한 밴드패스필터의 출 력치를 비교하고, 4개의 상관치 중에서 가장 상관 신뢰치(Bpf_Max)가 큰, 즉 가장 신뢰성이 높은 2개를 보간화소(X)의 상관치로서 채용한다. 선택회로(35)에 의하여, 도 10에 나타낸 플로차트의 스텝(S13)에 상당하는 처리가 실현된다.

평균치 산출회로(36)는, 선택회로(35)에서 선택한 상위 2개소의 상관치의 평균치를 산출하고, HV 각 방향에서 1개의 상관치(S_H 및 S_V)로서 출력한다. 평균치 산출회로(36)에 의하여, 도 10에 나타낸 플로차트의 스텝(S14)에 상당하는 처리가 실현된다.

G5NH 및 NV방향 상관치 산출회로(37)는, 보간화소(X)상의 화소(G5)를 중심으로서, 직교하는 NH방향 및 NV방향에 대하여 필터링 처리를 행함으로써, NH방향 및 NV방향의 상관치를 산출한다. 예를 들면, 도 12에 나타내는 주파수 특성을 가지는 밴드패스필터에 의하여 G5NH 및 NV방향 상관치 산출회로(37)를 구성할 수 있다. 구체적으로는, G5NH 및 NV방향 상관치 산출회로(37)는, 화소(G5)에 대한 NH방향의 상관치(S_NH_G5)를, 이하의 연산식에서 산출한다.

S_NH_G5=Bpf_NV_G5／(Bpf_NH_G5＋Bpf_NV_G5)

그리고, G5NH 및 NV방향 상관치 산출회로(37)는, 또한 NV방향의 상관치(S_NV_G5)를 이하의 연산식에서 산출한다.

S_NV_G5=1－S_NH_G5

보간화소(X)를 둘러싸는 그 외의 주위화소(G8, G9, G12)에 관해서도, 각 NH 및 NV방향 상관치 산출회로(38, 39, 40)가 G5NH, NV방향 상관치 산출회로(37)와 동일하게 하고, 보간화소(X)의 왼쪽의 화소(G8), 오른쪽의 화소(G9), 아래의 화 소(G12)의 각각을 중심으로 한 NH방향의 상관치(S_NH_G8, S_NH_G9, S_NH_G12 및 NV)방향의 상관치(S_NV_G8, S_NV_G9, S_NV_G12)를 각각 산출한다. 각 상관치 산출회로(37~40)에 의하여, 도 10에 나타낸 플로차트의 스텝(S15)에 상당하는 처리가 실현된다.

선택회로(41)는, NH방향 및 NV방향의 각각에 대하여, 4개 중에서 보간화소(X)에 적용하는 상관치를 선택한다. 구체적으로는, 선택회로(41)는, 4개의 상관치를 산출하는 과정에서 산출한 밴드패스필터의 출력치를 비교하고, 4개의 상관치 중에서 가장 상관 신뢰치(Bpf_Max)가 큰, 즉 가장 신뢰성이 높은 2개를 보간화소(X)의 상관치로서 채용한다. 선택회로(41)에 의하여, 도 10에 나타낸 플로차트의 스텝(S16)에 상당하는 처리가 실현된다.

평균치 산출회로(42)는, 선택회로(41)에서 선택한 상위 2개소의 상관치의 평균치를 산출하고, NH방향 및 NV방향의 각각으로부터 1개의 상관치(S_NH, S_NV)로 하여 출력한다. 평균치 산출회로(42)에 의하여, 도 10에 나타낸 플로차트의 스텝(S17)에 상당하는 처리가 실현된다.

비교회로(43)는, 보간화소(X)가 가지는 상관의 방향성, 즉 어느 방향에 있어서 보간화소(X)가 주위화소와의 상관이 강한가를 산출한다. 구체적으로는, 비교회로(43)는, 평균치 산출회로(36)에서 산출된 HV 각 방향 1개의 상관치(S_H 및 S_V)와, 평균치 산출회로(42)에서 산출된 NH방향 및 NV방향의 각각의 상관치(S_NH 및 S_NV)를 도 14에 나타낸 상관선도와 비교하는 것으로, 상관의 방향성을 특정한다. 비교회로(43)에 의하여, 도 10에 나타낸 플로차트의 스텝(S18)에 상당하는 처리가 실현된다.

판정회로(44)는, 비교회로(43)의 산출 결과, 즉 상관이 강한 방향성에 대하여, 그 상관의 신뢰도가 있는지 없는지를 판단한다. 구체적으로는, 판정회로(44)는, 평균화 산출회로(36 및 42)에 의하여 각각 산출된 2개의 상관치(S_H 및 S_NH)가 도 14에 나타낸 2개의 상관선(A 및 B)에 실리는 경우는 상관이 있는 것으로 간주하지만, 이들 2개의 상관치(S_H 및 S_NH)가 2개의 상관선(A 및 B)에 실리지 않는 경우에는 상관이 없는 것으로 간주한다. 판정회로(44)에 의한 판단 결과는, 보간회로(45)에 공급된다. 판정회로(44)에 의하여, 도 10에 나타낸 플로차트의 스텝(S19)에 상당하는 처리가 실현된다.

보간회로(45)는, 보간화소(X)에 대하여 해상도 중시의 보간처리를 행하는 제 1의 보간회로(451)와 S／N중시의 보간처리를 행하는 제 2의 보간회로(452)로 구성되며, 판정회로로부터 공급되는 상관의 신뢰도에 따라서 적응적으로, 어느 한쪽의 보간회로(451 또는 452)에 보간처리를 맡긴다.

제 1의 보간회로(451)는, 판정회로(44)로부터 상관의 신뢰도가 높다고 하는 판정 결과에 따라서, 상관이 있는 방향의 화소를 이용하여 보간 한다. 상관이 있는 방향의 화소에서 행하는 보간처리는, 해상도 중시의 보간처리이다. 제 1의 보간회로(451)에 의하여, 도 10에 나타낸 플로차트의 스텝(S20)에 상당하는 처리가 실현된다.

한편, 제 2의 보간회로(452)는, 판정회로(44)에서 상관의 신뢰도가 낮다고 하는 판정 결과에 따라서, 보간화소(X)의 주변 화소의 평균치를 이용하여 보간 한 다. 예를 들면, 보간화소(X)를 둘러싸는 주위 근접 4화소의 화상신호를 이용하여, 아래 식에 따라 보간화소(X)를 보간 한다. 이와 같이, 보간화소(X)의 주변 화소의 평균치를 이용하여 행하는 보간처리가 S／N중시의 보간처리이다. 제 2의 보간회로(452)에 의하여, 도 10에 나타낸 플로차트의 스텝(S21)에 상당하는 처리가 실현된다.

X=(G5＋G8＋G9＋G12)／4

또한, 각 HV방향 상관치 산출회로(31~34) 및 각 NH 및 NV방향 상관치 산출회로(37~40)를 밴드패스필터로 구성하는 것을 이미 서술했지만, 밴드패스필터에 한정되는 것은 아니다. 이들 상관치 산출회로를, 예를 들면, 미분 필터 등의 하이패스필터를 이용하여 구성하거나, 혹은 로패스필터와 당해 로패스필터의 출력을 반전시키는 인버터와의 조합에 의하여 하이패스필터 구성으로 하거나 하는 것도 가능하다.

도 6에 나타낸 색코딩은, 휘도성분을 만드는데 있어서 주성분으로 되는 G가, 보간화소(X)에 대하여 수평, 수직, 기울기 각각의 방향에 위치하는 8개의 주위화소, 즉 화소(G4, G5, G6, G8, G9, G11, G12, G13)에 배치되며, 종래의 베이어 배열에 비해 높은 휘도 해상도의 실현을 도모한 것이다. 지금까지 설명해 온 바와 같이, 본 실시예 1에 관계되는 보간처리에 의하면, 이와 같은 색코팅용의 필터를 가지는 고체 촬상장치에 대하여, 복수의 상관치를 구하고 상관 선도와 비교하는 것으로, 전방향(360도)에 대하여 상관성을 판단할 수 있다. 즉, 도 6에 나타낸 색코팅에 대하여 G신호를 보다 고정밀도에 보간처리할 수 있고, 종래의 베이어 배열에 비 하여 높은 해상도의 휘도신호를 얻을 수 있다.

특히, 본 실시예 1에서는, 도 32를 참조하면서 설명한 바와 같이, 복수의 상관치와 상관 선도와의 비교에 의해, 상관의 신뢰성이 높은지 낮은지에 따라서 보간처리의 방법을 적응적으로 전환하도록 되어 있다. 즉, 상관의 신뢰성이 높다고 판정했을 때는 그 판정한 방향의 화소의 정보를 이용하여 해상도를 중시한 보간처리를 행하고, 또, 상관의 신뢰성이 낮다고 판정했을 때는, 보정 화소의 주변 화소의 정보를 평균한 값을 이용하여 S／N중시의 보간을 행하는 것으로, 보다 고해상도에서, 또한 S／N에도 강한 고성능인 보간처리를 실현할 수 있다.

［실시예 2］

도 17에는, 본 발명의 실시예 2에 관계되는 보간처리의 대상이 되는 색코딩예를 나타내고 있다. 동 도면에 나타내는 색코딩은, 수평 및 수직방향의 각 화소 피치를

2d로 하고, 각 화소가 1행마다 및 1열마다 화소 피치

2d의 1／2씩 어긋난(홀수행과 짝수행으로 수평방향으로 화소 피치의 1／2만큼, 홀수열과 짝수열로 수직방향으로 화소 피치의 1／2만큼 화소가 어긋났다), 이른바 기울기 화소 배열에 대하여, 1행째는 G와 R이 교대로 배열된 GR라인, 2행째는 G만이 배열된 G라인, 3행째는 B와 G가 교대로 배열된 GB라인, 4행째는 G만이 배열된 G라인, 이후, 이 4행을 단위로서 반복하여 배열되어 있다.

도 17에 나타낸 색코딩예(2)는, 휘도(Y) 성분을 만드는데 있어서 주성분으로 되는 색성분(본 예에서는 G)과, 다른 색성분(본 예에서는 R 및 B)이, G에서 R 및 B의 주위를 둘러싸도록 배치되며, R 및 B가 수평·수직에 대하여 2

2 d의 간격으로 배치된 구성이다. 이 색코딩은, 도 6에 나타낸 색코딩예(1)에 있어서의 색배열을 45도 기울인 색코딩 그 자체이다.

도 17에 나타낸 색코딩예(2)에 있어서의 샘플링 레이트를 수평 및 수직방향으로 생각했을 경우, G의 샘플링 레이트는 d／

2이며, R 및 B의 샘플링 레이트는 2

2d이다. 즉, R 및 B는, 수평 및 수직방향의 샘플링 레이트가 G에 대하여 1／4로 되도록 1열 걸러(본 실시예에서는 홀수열) 및 1행 걸러(본 실시예에서는 홀수행)에 배치되어 있다. 따라서, G와 R 및 B의 사이에 수평 및 수직방향으로 4배의 해상도의 차이가 있다. 또, 샘플링 레이트를 기울기 45도 방향으로 생각하면, G의 샘플링 레이트는 d이며, R 및 B의 샘플링 레이트는 2d이다.

여기서, 공간 주파수 특성에 대하여 고찰해 본다. 수평 및 수직방향에 대해서는, G의 샘플링 레이트가 d／

2이기 때문에, 샘플링 정리에 근거하여 (1／

2)fs의 주파수까지 G신호를 파악할 수 있다. 기울기 45도 방향에 대해서는, G의 샘플링 레이트가 d이기 때문에, 샘플링 정리에 근거하여 (1／4)fs의 주파수까지 G신호를 파악할 수 있다.

동일하게 R 및 B에 대하여 고찰해 본다. 단, R과 B는 화소 배열의 간격이 같기 때문에, 여기에서는 R에만 대하여 서술한다. R의 공간 주파수 특성에 관하여, 수평 및 수직방향에 대해서는, R의 샘플링 레이트가 2

2d이기 때문에, 샘플링 정리에 근거하여 (1／4

2)fs의 주파수까지 R신호를 파악하는 것이 가능하다. 또, 기울기 45도 방향에 대해서는, R의 샘플링 레이트가 2d이기 때문에, 샘플링 정리에 근거하여 (1／2)fs의 주파수까지 R신호를 파악할 수 있다.

덧붙여서, 기울기 화소 배열의 고체 촬상장치는, 정방 격자모양의 화소 배열의 경우에 비하여, 화소 피치가 좁아지므로, 높은 해상도를 얻을 수 있다. 또, 정방 격자모양의 화소 배열과 같은 해상도로 하는 경우에는, 정방 격자모양의 화소 배열의 화소 피치보다도 넓은 화소 피치로 화소를 배열하는 것이 가능해지기 때문에, 화소의 개구를 넓게 취할 수 있고, 그 결과, S／N를 향상할 수 있다.

도 17에 나타낸 색코딩의 상세에 관해서는, 예를 들면 본 출원인에게 이미 양도되고 있는 특원 2005－107037호 명세서의 단락 0055~0072를 참조하고 싶다.

본 실시예 2에서는, 도 17에 나타낸 색코딩예에 대한 보간처리를 특징으로 하고 있다. 이하, 그 보간처리에 대하여 구체적으로 설명한다.

도 18에는, 도 17에 나타낸 색코딩예(2)를 정방 격자로 다시 표현한 것이다. 도 6에 나타낸 색코딩예(1)에 있어서의 G의 배열과 도 18에 있어서의 G의 배열은, 45도 방향 회전한 관계에 있는 것을 알 수 있다. 이것으로부터, 도 17에 나타낸 색코딩예(2)에 대하여, 상술한 실시예 1에 관계되는 보간처리를 45도 회전시킨 위치 관계에서, R 및 B화소의 공간위치에 있어서의 G화소를 고정밀도에 보간 할 수 있는 것을 이해할 수 있을 것이다.

도 19에는, 본 실시예 2에 관계되는 보간처리를 실행하는 보간처리회로(23B)의 구성예를 나타내고 있다. 동 도면에 나타내는 바와 같이, 본 실시예에 관계되는 보간처리회로(23B)는, 전단(前段)보간처리회로(231)와 후단(後段)보간처리회로(232)로 이루어지는 2단 구성으로 되어 있다.

전단보간처리회로(231)는, 기본적으로, 실시예 1와 동일 순서로 보간처리를 행하고, 이것에 의하여 도 18중 G의 화소 배열에 있어서 R 및 B화소의 공간위치의 G화소를 보간 할 수 있다. 도 20에는, 이 전단보간처리회로(231)에 의한 보간처리의 결과, 즉 도 18의 G의 화소 배열에 있어서 R 및 B화소의 공간위치의 G화소를 보간 한 결과를 나타내고 있다. 이 보간처리에 의해, 도 20중 G배열이 고정밀도로 보간 된다. 여기서, 도 20의 G 배열에 주목하면, G가 바둑판 무늬모양으로 배치되어 있는 것을 알 수 있다.

후단보간처리회로(232)는, 기본적으로, 상술한 베이어 배열에 대한 경우와 동일 순서로 보간처리를 행하고, 이것에 의하여 도 20중의 G의 화소 배열에 대하여 보간처리를 행한다. 이 베이어 배열의 보간처리에 의해, 바둑판 무늬모양으로 배치된 G에서 전화소에 대하여 G가 생성된다. 도 21에는, 후단보간처리회로(232)에 의한 보간처리의 결과, 즉 바둑판 무늬모양으로 배치된 G에서 전화소(G)에 보간 한 결과를 나타내고 있다.

이와 같이, 도 17에 나타낸 색코딩예(2)에 있어서, 전단보간처리회로(231)에 의한 보간처리 즉 실시예 1에 관계되는 보간처리와 후단보간처리회로(232)에 의한 보간처리 즉 베이어 배열의 보간처리를 조합하여 보간처리를 행하는 것으로, 한계 해상도에 이를 때까지 G의 해상도를 얻을 수 있다.

도 22에는, 베이어 배열, 도 6에 나타낸 색코딩예(1), 도 17에 나타낸 색코딩예(2)의 각각에 있어서의 공간 해상도 특성을 나타내고 있다. 도 6에 나타낸 색코딩예(1)의 해상도와 도 17에 나타낸 색코딩예(2)의 해상도를 비교하면, 수평·수 직방향에서는, 도 17에 나타낸 색코딩예(2)의 해상도쪽이 유리하다. 일반적으로, 카메라에서 피사체를 촬영하는 경우에는 직선 성분을 포함한 화상은 수평 및 수직방향으로 분포하고 있는 것이 많다. 이 관점으로부터 하면, 도 17에 나타낸 색코딩예(2)쪽이 도 6에 나타낸 색코딩예(1) 보다도 유리하다라고 말할 수 있다.

또, 카메라 신호처리회로(14)(도 1을 참조)의 출력으로서 화상신호를 정방 격자모양으로 출력할 필요가 있는 것을 고려하면, 도 17에 나타낸 색코딩에서는 화소수의 2배의 출력 사이즈로서 출력할 수 있다고 하는 메리트가 있다. 물론, 베이어 배열에 비하면 해상도가 현격히 오르고 있는 것을 도 22에서 이해할 수 있을 것이다.

카메라 신호처리회로(14)에 있어서, 본 실시예 2에 관계되는 보간처리회로(23B)를 그대로 보간처리회로(23)로서 이용하는 것으로, 상기와 같은 작용 효과를 얻을 수 있다. 또, 도 23에 나타내는 바와 같이, 보간처리회로(23B)를 변형한 보간처리회로(23B´)와 같은 구성을 채용하는 것도 가능하다.

도 23에 나타낸 보간처리회로(23B´)는, 후단보간처리회로(232)의 입력 측으로 전환 스위치(233)를 설치하고, 전단보간처리회로(231)의 출력신호와 WB회로(22)(도 1을 참조)의 출력신호(전단보간처리회로(231)의 입력신호)의 한쪽을 후단보간처리회로(232)에 선택적으로 입력 가능한 구성이다. 이러한 구성을 채용하는 것으로, 1개의 카메라 시스템에서 도 17에 나타낸 색코딩과 베이어 배열이라고 하는 2타입의 고체 촬상장치에 대응할 수 있게 된다.

본 발명에 의하면, 색코딩 된 RGB화상을 보다 높은 정밀도로 색필터 배열 보간을 실시하고, 보다 높은 휘도 해상도를 얻을 수 있도록 한, 뛰어난 화상처리장치 및 화상처리방법, 촬상장치 및 컴퓨터·프로그램을 제공할 수 있다.

본 발명에 의하면, 특히, 각 화소가 수평방향 및 수직방향으로 등간격이 되도록 정방 격자모양으로 배열된 화소 배열에 있어서, 휘도성분을 산출할 때에 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치한 색필터를 이용한 색코딩이 실시된 화상신호에 있어서, 휘도성분을 산출하는 주성분의 색필터 배열 보간을 고정밀도로 행할 수 있다.

또, 본 발명에 관계되는 화상처리장치는, 보간 대상이 되는 화소에 있어서 상관의 방향을 전방향(360도)에 있어서 판정할 수 있기 때문에, 그 판정한 방향을 기본으로 적절한 보간처리를 행할 수 있다.

본 발명의 또한 다른 목적, 특징이나 이점은, 본 발명의 실시 형태나 첨부하는 도면에 근거하여 보다 상세한 설명에 의하여 밝혀질 것이다.

이상, 특정의 실시 형태를 참조하면서, 본 발명에 대하여 상세하게 풀이해 왔다. 그렇지만, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 이 실시 형태의 수정이나 대용을 해낼 수 있는 일은 자명하다.

본 발명은, 특히, 각 화소가 수평방향 및 수직방향으로 등간격으로 되도록 정방 격자모양으로 배열된 화소 배열에 대하여, 휘도성분을 산출할 때에 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치한 색필터를 이용한 색코딩이 실시된 화상신호에 대하여, 휘도성분을 산출하는 주성분의 색필터 배 열 보간의 처리에 적합하게 적용할 수 있지만, 본 발명의 요지는 특정의 색코딩으로 한정되는 것은 아니다.

또, 본 명세서에서는, 휘도성분을 만드는데 있어서 주성분으로 되는 G에서, R 및 B의 각각의 주위를 둘러싸는 색코딩으로서, 도 8 및 도 17에 나타낸 2개의 색코딩예를 이용한 실시예를 중심으로 설명했지만, 본 발명이 적용 가능한 색코딩은 이들 2개의 색코딩예에 한정되는 것은 아니다. 예를 들면, 정방 격자모양의 화소 배열에 대하여, 1행째는 수평방향의 4화소를 단위로서 RGGG의 반복하여 배열하고, 2행째는 G만을 배열하고, 3행째는 수평방향의 4화소를 단위로서 GGBG의 반복하여 배열하고, 4행째는 G만을 배열하고, 이후는 이 4행을 단위로서 반복하여 배열한 색코딩 등이여도, 동일하게 본 발명에 관계되는 보간처리를 적용할 수 있다.

또, 본 명세서에서는 휘도신호에 관하여 고해상도를 실현하기 위한 G신호의 보간처리에 주목해 설명해 왔지만, G와 동일 보간처리를 R나 B, 혹은 그 외의 색, 예를 들면 시안, 옐로에 대하여 적용하는 것도 가능하다.

요컨데, 예시라고 하는 형태로 본 발명을 개시했기 때문에, 본 명세서의 기재 내용을 한정적으로 해석해서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 청구의 범위의 기재를 참작해야 한다.

Claims

색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상을 처리하는 화상처리장치에 있어서,

화상신호를 입력하는 수단과,

화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출수단과,

상기 제 1의 상관치와 상기 제 2의 상관치에 근거하여, 소망의 화소를 보간 할 때에 사용하는 다른 화소를 특정하는 보간용 화소특정수단과,

상기 보간용 화소특정수단에 의해 특정된 화소로부터 상기 소망의 화소를 보간하는 보간수단을 구비하는 것을 특징으로 하는 화상처리장치.
제 1항에 있어서,

상기 상관치 산출수단은, 직교하는 2개의 필터의 출력에 근거하여 상기 제 1의 상관치를 산출하는 동시에, 상기 제 1의 상관치의 산출때와는 다른 방향 특성을 가지는 직교하는 2개의 필터의 출력에 근거하여 상기 제 2의 상관치를 산출하는 것을 특징으로 하는 화상처리장치.
제 2항에 있어서,

상기 상관치 산출수단은, 상기 제 2의 상관치의 산출에 있어서, 상기 제 1의 상관치의 산출에 사용하는 필터와는 소정의 각도만 방향 특성이 어긋난 필터를 이용하는 것을 특징으로 하는 화상처리장치.
제 2항에 있어서,

상기 보간용 화소특정수단은, 상기 제 1의 상관치와 상기 제 2의 상관치와의 상관관계를 비교함으로써, 보간 하려고 하는 소망의 화소 회전 360도의 상관성에 근거하여, 소망의 화소를 보간할 때에 사용하는 다른 화소를 특정하는 것을 특징으로 하는 화상처리장치.
제 1에 있어서,

상기 색코딩용의 색필터상에는, 각 화소가 수평방향 및 수직방향으로 등간격이 되도록 정방 격자모양으로 배열된 화소 배열에 있어서, 휘도성분을 산출할 때에 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치되어 있는 것을 특징으로 하는 화상처리장치.
제 1항에 있어서,

상기 색코딩용의 색필터상에는, 각 화소가 1행마다 및 1열마다 화소 피치의 1／2씩 어긋난 기울기 화소 배열에 있어서, 휘도성분을 산출할 때에 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치되어 있는 것을 특징으로 하는 화상처리장치.
제 1항에 있어서,

상기의 기울기 화소 배열에 대한 색코딩을 보간처리에 의하여 베이어 배열의 색코딩으로 하는 전단(前段)보간처리수단과,

상기 베이어 배열의 색코딩에 있어서 보간을 이용한 베이어 보간처리를 행하는 후단(後段)보간처리수단을 가지는 것을 특징으로 하는 화상처리장치.
색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상을 처리하는 화상처리장치에 있어서,

화상신호를 입력하는 수단과,

상기 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출수단과,

상기 상관치 산출수단에 의해 산출한 각 상관치에 관한 신뢰도를 산출하는 신뢰도 산출수단과,

상기 신뢰도에 따른 보간처리에서 소망의 화소를 보간하는 보간수단을 구비하는 것을 특징으로 하는 화상처리장치.
제 8항에 있어서,

상기 신뢰도 산출수단은, 상기 상관치 산출수단에 의해 산출된 각 상관치의 합에 근거하여 신뢰도를 산출하는 것을 특징으로 하는 화상처리장치.
제 8항에 있어서,

상기 보간수단은, 상기 신뢰도가 소정의 범위 외에 있을 때는, 보간하는 상기 소망의 화소의 주변 화소의 정보의 평균치를 이용하여 보간을 행하는 것을 특징으로 하는 화상처리장치.
제 8항에 있어서,

상기 보간수단은, 상기 신뢰도가 소정의 범위 내에 들어갈 때는, 상기 제 1의 상관치와 상기 제 2의 상관치에 근거하여, 보간하는 상기 소망의 화소의 주변 화소중에서 보간에 사용하는 화소를 특정하고, 이 특정된 화소를 이용하여 보간을 행하는 것을 특징으로 하는 화상처리장치.
색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상을 처리하는 화상처리방법에 있어서,

상기 촬상수단에 의한 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출스텝과,

상기 제 1의 상관치와 상기 제 2의 상관치에 근거하여, 소망의 화소를 보간 할 때에 사용하는 다른 화소를 특정하는 보간용 화소 특정 스텝과,

상기 보간용 화소 특정 스텝에 있어서 특정된 화소로부터 상기 소망의 화소를 보간 하는 보간 스텝을 구비하는 것을 특징으로 하는 화상처리방법.
제 12항에 있어서,

상기 상관치 산출 스텝에서는, 직교하는 2개의 필터의 출력에 근거하여 상기 제 1의 상관치를 산출하는 동시에, 상기 제 1의 상관치의 산출때와는 다른 방향 특성을 가지는 직교하는 2개의 필터의 출력에 근거하여 상기 제 2의 상관치를 산출하는 것을 특징으로 하는 화상처리방법.
제 13항에 있어서,

상기 상관치 산출 스텝에서는, 상기 제 2의 상관치의 산출에 있어서, 상기 제 1의 상관치의 산출에 사용하는 필터와는 소정의 각도만 방향 특성이 어긋난 필터를 적용하는 것을 특징으로 하는 화상처리방법.
제 13항에 있어서,

상기 보간용 화소 특정 스텝에서는, 상기 제 1의 상관치와 상기 제 2의 상관치와의 상관관계를 비교함으로써, 보간 하려고 하는 소망의 화소 회전 360도의 상관성에 근거하여, 소망의 화소를 보간 할 때에 사용하는 다른 화소를 특정하는 것을 특징으로 하는 화상처리방법.
제 12항에 있어서,

각 화소가 수평방향 및 수직방향으로 등간격이 되도록 정방 격자모양으로 배 열된 화소 배열에 있어서, 휘도성분을 산출할 때에 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치된 색필터에 의해 색코딩이 실시된 화상신호에 있어서 상기의 본 각 스텝을 실시하고, 상기의 휘도성분을 산출할 때에 주성분으로 되는 색성분의 색필터 배열 보간을 행하는 것을 특징으로 하는 화상처리방법.
제 12항에 있어서,

각 화소가 1행마다 및 1열마다 화소 피치의 1／2씩 어긋난 기울기 화소 배열에 있어서, 휘도성분을 산출할 때에 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치된 색필터에 의해 색코딩이 실시된 화상신호에 있어서 상기의 각 스텝을 실시하고, 상기의 휘도성분을 산출할 때에 주성분으로 되는 색성분의 색필터 배열 보간을 행하는 것을 특징으로 하는 화상처리방법.
제 12항에 있어서,

상기의 기울기 화소 배열에 대한 색코딩을 보간처리에 의하여 베이어 배열의 색코딩으로 하는 전단(前段)보간처리 스텝과,

상기 베이어 배열의 색코딩에 있어서 보간을 이용한 베이어 보간처리를 행하는 후단(後段)보간처리 스텝을 가지는 것을 특징으로 하는 화상처리방법.
색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상을 처리하는 화상 처리방법에 있어서,

상기 촬상수단에 의한 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출 스텝과,

상기 상관치 산출 스텝에 있어서 산출한 각 상관치에 관한 신뢰도를 산출하는 신뢰도 산출 스텝과,

상기 신뢰도에 따른 보간처리에서 소망의 화소를 보간 하는 보간 스텝을 구비하는 것을 특징으로 하는 화상처리방법.
제 19항에 있어서,

상기 신뢰도 산출 스텝에서는, 상기 상관치 산출 스텝에 있어서 산출된 각 상관치의 합에 근거하여 신뢰도를 산출하는 것을 특징으로 하는 화상처리방법.
제 19항에 있어서,

상기 보간 스텝에서는, 상기 신뢰도가 소정의 범위 외에 있을 때는, 보간 하는 상기 소망의 화소의 주변 화소의 정보의 평균치를 이용하여 보간을 행하는 것을 특징으로 하는 화상처리방법.
제 19항에 있어서,

상기 보간 스텝에서는, 상기 신뢰도가 소정의 범위 내에 들어갈 때는, 상기 제 1의 상관치와 상기 제 2의 상관치에 근거하여, 보간 하는 상기 소망의 화소의 주변 화소중에서 보간에 사용하는 화소를 특정하고, 이 특정된 화소를 이용하여 보간을 행하는 것을 특징으로 하는 화상처리방법.
색코딩용의 색필터를 가지는 촬상수단과,

상기 촬상수단에 의해 촬상된 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출수단과,

상기 제 1의 상관치와 상기 제 2의 상관치에 근거하여, 소망의 화소를 보간 할 때에 사용하는 다른 화소를 특정하는 보간용 화소특정수단과,

상기 보간용 화소특정수단에 의해 특정된 화소로부터 상기 소망의 화소를 보간 하는 보간수단과,

상기 보간수단에 의해 화소가 보간 된 화상정보에 있어서, 색공간 분리 또는 그 외의 신호처리를 실시하는 신호처리수단을 포함하는 것을 특징으로 하는 촬상장치.
색코딩용의 색필터를 가지는 촬상수단과,

상기 촬상수단에 의해 촬상된 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출수단과,

상기 상관치 산출수단에 의해 산출한 각 상관치에 관한 신뢰도를 산출하는 신뢰도 산출수단과,

상기 신뢰도에 따른 보간처리에서 소망의 화소를 보간 하는 보간수단과,

상기 보간수단에 의해 화소가 보간 된 화상정보에 있어서, 색공간 분리 또는 그 외의 신호처리를 실시하는 신호처리수단을 포함하는 것을 특징으로 하는 촬상장치.
색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상에 대한 처리를 컴퓨터상에서 실행하도록 컴퓨터가독형식으로 기술된 컴퓨터·프로그램에 있어서, 상기 컴퓨터에 있어서,

상기 촬상수단에 의한 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출순서와,

상기 제 1의 상관치와 상기 제 2의 상관치에 근거하여, 소망의 화소를 보간 할 때에 사용하는 다른 화소를 특정하는 보간용 화소 특정 순서와,

상기 보간용 화소 특정 순서를 실행하여 특정된 화소로부터 상기 소망의 화소를 보간 하는 보간 순서를 실행시키는 것을 특징으로 하는 컴퓨터·프로그램.
색코딩용의 색필터를 가지는 촬상수단에 의해 촬상된 화상에 대한 처리를 컴퓨터상에서 실행하도록 컴퓨터가독형식으로 기술된 컴퓨터·프로그램에 있어서, 상기 컴퓨터에 있어서,

상기 촬상수단에 의한 화상신호에 있어서, 화소간의 상관 정도를 나타내는 적어도 제 1의 상관치 및 제 2의 상관치를 산출하는 상관치 산출 순서와,

상기 상관치 산출 순서를 실행하여 산출된 각 상관치에 관한 신뢰도를 산출 하는 신뢰도 산출 순서와,

상기 신뢰도에 따른 보간처리로 소망의 화소를 보간 하는 보간 순서를 실행시키는 것을 특징으로 하는 컴퓨터·프로그램.
소정의 색코딩의 필터를 가지는 고체 촬상장치상의 보간 대상의 화소에 관하여, 화상의 상관 정도를 나타내는 복수의 상관치를 산출하는 상관치 산출수단과,

상기 상관치 산출수단으로 산출된 상기 복수의 상관치를, 상관치를 다른 방향에 있어서 최저 2패턴 산출하고, 당해 최저 2 패턴의 상관치를 다양한 각도의 직선에 있어서 플롯(plot)하여 얻은 상관선과 비교함으로써, 보간 해야 할 방향을 판정하는 판정수단과,

상기 판정수단에 의하여 판정된 방향으로 존재하는 상기 보간 대상의 화소의 주변 화소의 정보를 토대로 당해 보간 대상의 화소에 있어서 보간처리를 행하는 보간수단을 구비하는 것을 특징으로 하는 화상처리장치.
제 27항에 있어서,

상기 상관치 산출수단은, 상기 보간 대상의 화소의 주변 화소를 중심으로서 상기 복수의 상관치를 산출하는 것을 특징으로 하는 화상처리장치.
제 27항에 있어서,

상기 상관치 산출수단은, 상기 복수의 상관치 중 상관이 높은 상위(上位) 복 수의 평균치를 산출하고,

상기 판정수단은, 상기 상위 복수의 평균치에 근거하여 보간 해야 할 방향을 판정하는 것을 특징으로 하는 화상처리장치.
제 27항에 있어서,

상기 상관치 산출수단은, 제 1의 방향에 있어서 제 1의 밴드패스필터에 의한 필터링 처리를 행함으로써 얻어지는 제 1의 필터 출력과, 상기 제 1의 방향과 직교하는 제 2의 방향에 있어서 상기 제 1의 밴드패스필터와 같은 필터 특성의 제 2의 밴드패스필터에 의한 필터링 처리를 행함으로써 얻어지는 제 2의 필터 출력과의 비율로부터 상기 복수의 상관치를 산출하는 것을 특징으로 하는 화상처리장치.
제 27항에 있어서,

상기 다른 방향은 45도만큼 어긋난 방향인 것을 특징으로 하는 화상처리장치.
제 31항에 있어서,

상기 판정수단은, 상기 다른 방향에 대한 2개의 상관치가 상기 상관선상에 있을 때는 상관의 신뢰성이 높다고 간주하고, 당해 2개의 상관치가 상기 상관선상에 없을 때는 상관의 신뢰성이 낮다고 간주하는 것을 특징으로 하는 화상처리장치.
제 32항에 있어서,

상기 보간수단은, 상기 판정수단이 상관의 신뢰성이 높다고 판정했을 때는, 당해 판정수단에 의하여 판정된 방향으로 존재하는 상기 보간 대상의 화소의 주변 화소의 정보를 이용하여 보간을 행하고, 상기 판정수단이 상관의 신뢰성이 낮다고 판정했을 때는, 상기 주변 화소의 정보의 평균치를 이용하여 보간을 행하는 것을 특징으로 하는 화상처리장치.
제 27항에 있어서,

상기 소정의 색코딩은, 화소가 수평방향 및 수직방향으로 등간격이 되도록 정방 격자모양으로 배열된 화소 배열에 있어서, 휘도성분을 만드는데 있어서 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치되어 있는 것을 특징으로 하는 화상처리장치.
제 27항에 있어서,

상기 소정의 색코딩은, 화소가 1행마다 및 1열마다 화소 피치의 1／2씩 어긋난 기울기 화소 배열에 있어서, 휘도성분을 만드는데 있어서 주성분으로 되는 색성분이, 다른 색성분의 각각의 주위를 둘러싸도록 배치되어 있는 것을 특징으로 하는 화상처리장치.
제 35항에 있어서,

상기 기울기 화소 배열에 대한 색코딩을 보간처리에 의하여 베이어 배열의 색코딩으로 하는 전단 보간처리 수단과,

상기 베이어 배열의 색코딩에 있어서 보간을 이용한 베이어 보간처리를 행하는 후단 보간처리 수단을 또한 갖추고,

상기 전단 보간처리 수단은,

보간 대상의 화소에 관하여, 화상의 상관 정도를 나타내는 복수의 상관치를 산출하는 상관치 산출수단과,

상기 상관치 산출수단으로 산출된 상기 복수의 상관치를, 상관치를 다른 방향에 있어서 최저 2 패턴 산출하고, 당해 최저 2 패턴의 상관치를 다양한 각도의 직선에 있어서 플롯하여 얻은 상관선과 비교함으로써, 보간 해야 할 방향을 판정하는 판정수단과,

상기 판정수단에 의하여 판정된 방향으로 존재하는 상기 보간 대상의 화소의 주변 화소의 정보를 토대로 당해 보간 대상의 화소에 있어서 보간처리를 행하는 보간수단을 갖추는 것을 특징으로 하는 화상처리장치.
소정의 색코딩의 필터를 가지는 고체 촬상장치상의 보간 대상의 화소에 관하여, 화상의 상관 정도를 나타내는 복수의 상관치를 산출하는 제 1 스텝과,

상기 제 1 스텝에서 산출한 상기 복수의 상관치를, 상관치를 다른 방향에 있어서 최저 2 패턴 산출하고, 당해 최저 2 패턴의 상관치를 여러가지 각도의 직선에 있어서 플롯하여 얻은 상관선과 비교함으로써, 보간 해야 할 방향을 판정하는 제 2 스텝과,

상기 제 2 스텝에서 판정한 방향으로 존재하는 상기 보간 대상의 화소의 주변 화소의 정보를 토대로 당해 보간 대상의 화소에 있어서 보간처리를 행하는 제 3 스텝을 구비하는 것을 특징으로 하는 화상처리방법.
소정의 색코딩의 필터를 가지는 고체 촬상장치와, 상기 고체 촬상장치의 출력신호를 처리하는 화상처리장치를 구비하는 촬상장치이며, 상기 화상처리장치는,

상기 고체 촬상장치상의 보간 대상의 화소에 관하여, 화상의 상관 정도를 나타내는 복수의 상관치를 산출하는 상관치 산출수단과,

상기 상관치 산출수단으로 산출된 상기 복수의 상관치를, 상관치를 다른 방향에 있어서 최저 2 패턴 산출하고, 당해 최저 2 패턴의 상관치를 다양한 각도의 직선에 있어서 플롯하여 얻은 상관선과 비교함으로써, 보간 해야 할 방향을 판정하는 판정수단과,

상기 판정수단에 의하여 판정된 방향으로 존재하는 상기 보간 대상의 화소의 주변 화소의 정보를 토대로 당해 보간 대상의 화소에 있어서 보간처리를 행하는 보간처리 수단을 구비하는 것을 특징으로 하는 촬상장치.