KR101578583B1 - 화상 처리 장치, 정보 처리 방법, 및 컴퓨터 판독 가능한 기억 매체 - Google Patents

Abstract

정보 처리 방법은, 화상의 분해능에 이방성을 갖는 유한의 제1 공간 필터와, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 이용하여, 화상의 블러 크기보다 큰 요소수를 갖는 제2 공간 필터를 산출하는 단계와, 상기 제2 공간 필터로부터, 미리 정해진 요소수 이하를 갖는 복수의 공간 필터를 생성하는 단계를 포함한다.

Description

화상 처리 장치, 정보 처리 방법, 및 컴퓨터 판독 가능한 기억 매체{IMAGE PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER-READABLE STORAGE MEDIUM}

본 발명은 화상 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

디지털 카메라 등으로 촬영된 화상의 분해능은 그 주변부에서 열화되는 경우가 있다. 구체적으로, 렌즈 광학계의 수차나 개구 사이즈의 화각(angle of view) 의존성 때문에, 광축 중심부에 대하여 주변부의 분해능이 열화되는 경향이 있다. 열화 요인의 하나로서 개구의 비네팅(vignetting)이 있다. 화각이 큰 영역에서는, 반경 방향의 개구가 비네팅되어, 타원의 개구가 형성됨으로써, 화상에 블러(blur)가 생긴다. 그 결과, 반경 방향의 분해능이 열화된다.

이 분해능의 열화에 대하여, 예컨대 입사하는 빛의 각도에 따른 PSF(Point Spread Function)의 변화에 대응하기 위해서, 화상의 주목 위치에 따라서 상이한 필터 데이터를 이용하여 화상을 필터링하고 보정하는 기술이 있다. 이에 대해서는 예컨대 일본 특허 공개 2012-23498호 공보를 참조할 수 있다.

분해능의 레벨은 방향에 따라서 달라지는 경향이 있고, 그 특성을 분해능의 이방성이라고 부른다. 예컨대, 광축을 중심으로 한 반경 방향과 원주 방향에 있어서 분해능의 레벨이 다르다.

그러나, 종래 기술에서는, 화상의 위치에 따라서 상이한 필터링을 수행하여 화상의 블러를 보정하지만, 이 방법으로는 분해능의 이방성을 개선할 수는 없다.

일본 특허 공개 2012-23498호 공보

개시된 일 양태에 있어서의 정보 처리 방법은, 화상의 분해능에 이방성을 갖는 유한의 제1 공간 필터와, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 이용하여, 화상의 블러 크기보다 큰 요소수를 갖는 제2 공간 필터를 산출하는 단계와, 상기 제2 공간 필터로부터, 미리 정해진 요소수 이하를 갖는 복수의 공간 필터를 생성하는 단계를 포함한다.

본 발명의 목적 및 이점은 청구항에 있어서 특별히 지적된 엘리멘트 및 조합에 의해 실현되고 또한 달성된다. 상기 일반적인 기술 및 하기 상세한 기술 모두 예시적이고 또한 설명적인 것이며, 청구항과 같이 본 발명을 한정하는 것은 아님을 이해해야 한다.

도 1은 광학계의 일례를 도시하는 도면이다.
도 2는 화상 위치에 따른 개구의 예를 도시하는 도면이다.
도 3은 화상 위치에 따른 블러의 방향을 도시하는 도면이다.
도 4는 쐐기형 차트를 이용하는 경우의 분해능을 설명하기 위한 도면이다.
도 5는 쐐기형 차트로 분해능을 계측한 결과를 도시하는 도면이다.
도 6은 촬영 화상의 위치에 따른 열화를 도시하는 도면이다.
도 7은 촬영 화상의 단부의 쐐기형 차트의 일례를 도시하는 도면이다.
도 8은 도 7에 도시하는 쐐기형 차트의 분해능 분석 결과를 도시하는 도면이다.
도 9는 촬영 화상의 중앙부의 쐐기형 차트의 일례를 도시하는 도면이다.
도 10은 도 9에 도시하는 쐐기형 차트의 분해능 분석 결과를 도시하는 도면이다.
도 11은 블러 함수를 푸리에 변환했을 때의 특성예를 도시하는 도면이다.
도 12는 K(ω)의 역수를 도시하는 도면이다.
도 13은 미리 정해진 값을 분모에 더한 경우의 역필터를 도시하는 도면이다.
도 14는 고주파일수록 게인이 점차 떨어지는 경우의 역필터를 도시하는 도면이다.
도 15는 타원의 PSF의 일례를 도시하는 도면이다.
도 16은 타원의 블러 함수를 푸리에 변환했을 때의 특성예를 도시하는 도면이다.
도 17은 K(ω,θ)의 역수를 도시하는 도면이다.
도 18은 미리 정해진 값을 분모에 더한 경우의 역필터를 도시하는 도면이다.
도 19는 고주파일수록 게인이 점차 떨어지는 경우의 역필터를 도시하는 도면이다.
도 20은 분해능의 이방성을 개선하기 위한 역필터의 일례를 도시하는 도면이다.
도 21은 공간 필터 생성 장치를 포함하는 촬상 장치의 개략 구성의 일례를 도시하는 블록도이다.
도 22는 회전을 설명하기 위한 도면이다.
도 23은 역필터(K_inv)의 공간 주파수 2차원 분포의 일례를 도시하는 도면이다.
도 24는 역필터(K_inv)의 공간 주파수 방향에 따른 분포의 일례를 도시하는 도면이다.
도 25는 계수 분석부의 기능의 일례를 도시하는 블록도이다.
도 26은 PSF를 산출하는 순서를 설명하기 위한 도면이다.
도 27은 12개의 차트를 촬영한 화상의 일례를 도시하는 도면이다.
도 28은 공간 필터 테이블의 일례를 도시하는 도면이다.
도 29는 공간 필터의 일례를 도시하는 도면이다.
도 30은 유한의 공간 필터의 강도를 도시하는 도면이다.
도 31은 보정 화상에 발생한 므와레의 일례를 도시하는 도면이다.
도 32는 유한 공간 필터로 보정된 화상의 분해능 분석 결과를 도시하는 도면이다.
도 33은 므와레의 발생을 억제하여 보정된 화상의 분해능 분석 결과를 도시하는 도면이다.
도 34는 화상의 블러를 나타내는 PSF의 일례를 도시하는 도면이다.
도 35는 PSF의 크기의 일례를 도시하는 도면이다.
도 36은 PSF의 크기가 요소수보다 작다고 상정하여 생성된 화상 보정의 구성예를 도시하는 도면이다.
도 37은 공간 필터의 요소수가 PSF의 크기보다 작은 경우에 보정 후의 분해능 분석 결과의 일례를 도시하는 도면이다.
도 38은 실시형태 1에 있어서의 복수 단의 필터의 일례를 도시하는 도면이다.
도 39는 실시형태 1에 있어서의 화상 처리 장치를 포함하는 촬상 장치의 개략 구성의 일례를 도시하는 블록도이다.
도 40은 실시형태 1에 있어서의 필터 제어부 및 필터 처리부의 개략 구성 (1)의 일례를 도시하는 블록도이다.
도 41은 주목 화소의 선형 보간을 설명하기 위한 도면이다.
도 42는 실시형태 1에 있어서의 필터 제어부 및 필터 처리부의 개략 구성 (2)의 일례를 도시하는 블록도이다.
도 43은 공간 필터(F9')의 각 화소에서의 강도 (1)을 도시하는 도면이다.
도 44는 공간 필터(F9')의 각 화소에서의 강도 (2)를 도시하는 도면이다.
도 45는 공간 필터(F9)의 각 화소에서의 강도를 도시하는 도면이다.
도 46은 분할 방법 1에 따른 복수 단의 공간 필터를 구하는 방법을 설명하는 도면이다.
도 47은 분할 방법 1에 대한 고찰을 설명하는 도면이다.
도 48은 분할 방법 1에 따른 보정 결과를 도시하는 도면이다.
도 49는 분할 방법 2를 설명하는 도면이다.
도 50은 분할 방법 3을 설명하는 도면이다.
도 51은 분할 방법 4를 설명하는 도면이다.
도 52는 분할 방법 5의 개요를 설명하는 도면이다.
도 53은 분할 방법 5에 따른 복수 단의 필터의 산출예를 설명하는 도면이다.
도 54는 공간 필터(F5)의 각 화소에서의 강도를 도시하는 도면이다.
도 55는 공간 필터(F5')의 각 화소에서의 강도를 도시하는 도면이다.
도 56은 실시형태 1에 있어서의 보정 화상의 생성을 설명하는 도면이다.
도 57은 분할 방법 5에 따른 보정 후의 화상의 분해능 분석 결과를 도시하는 도면이다.
도 58은 미리 정해진 요소수와 블러 크기 간의 관계 (1)을 도시하는 도면이다.
도 59는 미리 정해진 요소수와 블러 크기 간의 관계 (2)를 도시하는 도면이다.
도 60은 게인을 승산하는 경우의 보정 화상의 생성을 설명하는 도면이다.
도 61은 실시형태 1에 있어서의 필터 처리부의 개략 구성의 다른 예를 도시하는 블록도이다.
도 62는 실시형태 1에 있어서의 필터 생성 처리의 일례를 도시하는 흐름도이다.
도 63은 실시형태 1에 있어서의 게인 결정 처리의 일례를 도시하는 흐름도이다.
도 64는 분해능 보정 전후의 노이즈의 일례를 도시하는 도면이다.
도 65는 휘도 저하를 설명하는 도면이다.
도 66은 코어링 처리에 따른 진폭 열화를 설명하는 도면이다.
도 67은 코어링 처리를 적용한 화상의 분해능 분석 결과를 도시하는 도면이다.
도 68은 실시형태 2에 있어서의 휘도값의 입출력 관계의 일례를 도시하는 도면이다.
도 69는 실시형태 2에 있어서의 필터 처리부의 개략 구성의 일례를 도시하는 블록도이다.
도 70은 실시형태 2에 있어서의 보정 화상의 생성 처리 (1)을 설명하는 도면이다.
도 71은 실시형태 2에 있어서의 게인 결정 (1)을 설명하는 도면이다.
도 72는 실시형태 2에 따른 효과 (1)를 설명하는 도면이다.
도 73은 실시형태 2에 따른 효과 (2)를 설명하는 도면이다.
도 74는 실시형태 2에 있어서의 임계치 처리 후의 화상의 분해능 분석 결과를 도시하는 도면이다.
도 75는 실시형태 2에 있어서의 보정 화상 생성 처리의 일례를 도시하는 흐름도이다.
도 76은 실시형태 2에 있어서의 게인 결정 처리 (1)의 일례를 도시하는 흐름도이다.
도 77은 실시형태 2에 있어서의 게인 결정 처리 (2)의 일례를 도시하는 흐름도이다.
도 78은 실시형태 2에 있어서의 보정 화상의 생성 처리 (2)를 설명하는 도면이다.
도 79는 실시형태 2에 있어서의 보정 화상의 생성 처리 (3)을 설명하는 도면이다.
도 80은 실시형태 2에 있어서의 보정 화상의 생성 처리 (4)를 설명하는 도면이다.
도 81은 실시형태 2에 있어서의 게인 결정의 다른 예에 관해서 설명하는 도면이다.
도 82는 실시형태 3에 있어서의 화상 처리 장치의 개략 구성의 일례를 도시하는 블록도이다.
도 83은 차트 (1)의 예를 도시하는 도면이다.
도 84는 차트 (2)의 예를 도시하는 도면이다.
도 85는 차트 (3)의 예를 도시하는 도면이다.

푸리에 변환 등의 주파수 영역에서의 연산은 처리량이 크기 때문에, 디지털 카메라 등의 하드웨어에 필터링 기능을 실장하기 위해서, 통상 유한의 공간 필터로 컨벌루션 보정이 행해진다. 그러나, 이방성을 갖는 공간 필터를 유한의 요소수를 갖도록 제한함으로써, 고주파 성분의 열화가 방향에 따라 서로 달라, 방향에 따른 므와레가 발생해 버린다.

한편, 유한의 공간 필터로 컨벌루션 보정이 행해질 때, 처리의 저비용화를 위해 요소수를 더 삭감하고자 하는 요구가 있다. 예컨대, 하드웨어에 유한의 공간 필터를 실장하는 경우, 공간 필터의 크기를 미리 정해진 필터 요소수(예컨대, 5×5) 이하로 삭감하려는 요구가 있다. 필터 요소수가 2배가 되면, 계산량은 4배로 되어 버리기 때문에, 공간 필터의 크기는 미리 정해진 필터 요소수 이하로 제한하는 것이 바람직하다.

그러나, 공간 필터의 요소수가 작아지면, 블러를 나타내는 PSF의 크기가 공간 필터의 요소수보다 커지는 경우가 있다. 이 경우, 블러의 정보량이 소실되어 버려, 분해능의 이방성이나 므와레의 발생을 막을 수 없게 된다.

그래서, 개시된 기술에서는, 분해능의 이방성을 갖는 공간 필터를 미리 정해진 요소수 이하를 갖도록 제한할 때, 화질이 열화되는 것을 방지할 수 있는 화상 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.

개시된 일 양태에 있어서의 화상 처리 장치는, 화상의 분해능에 이방성을 갖는 유한의 제1 공간 필터와, 요소의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 이용하여, 화상의 블러 크기보다 큰 요소수를 갖는 제2 공간 필터를 산출하도록 구성된 산출부와, 상기 제2 공간 필터로부터, 미리 정해진 요소수 이하를 갖는 복수의 공간 필터를 생성하도록 구성된 생성부를 포함한다.

개시한 기술에 따르면, 분해능의 이방성을 갖는 공간 필터를 미리 정해진 요소수 이하를 갖도록 제한할 때, 화질이 열화되는 것을 방지할 수 있다.

분해능 열화의 하나의 요인에 관해서 도 1∼도 3을 이용하여 설명한다. 도 1은 광학계의 일례를 도시하는 도면이다. 도 2는 화상 위치에 따른 개구의 예를 도시하는 도면이다. 도 1에 도시하는 광학계를 이용하는 경우, 도 2에 도시한 바와 같이, 광축 중심에서의 개구는 원형이지만, 화각이 큰 경우의 개구는 비네팅이 생긴다. 도 2에 도시한 바와 같이, 화상 위치에 따라 개구는 타원으로 된다.

도 3은 화상 위치에 따른 블러 방향을 도시하는 도면이다. 도 1에 도시하는 광학계를 이용하는 경우, 도 3에 도시한 바와 같이, 개구가 좁아지면 분해능이 열화되기 때문에, 블러 방향은 반경 방향으로 열화되는 경향이 있다.

이어서, 본 개시의 발명자들이 행한 분해능의 분석에 관해서 설명한다. 방사상으로 엣지가 분포하는 시멘스 스타(Siemens star)를 촬영하여, 분해능의 열화 경향을 상세히 분석할 수 있다.

도 4는 쐐기형 차트를 이용하는 경우의 분해능을 설명하기 위한 도면이다. 도 4에 도시하는 예에서는, 화살표 방향으로 분해능을 계측하기 위해서는 이 방향에 대해 수직인 방향으로 복수의 데이터를 취득한다. 도 4에 도시하는 쐐기형의 시멘스 스타를 이용하는 경우, 단부로부터 중심부로 향할수록 라인 폭이 더 좁아지고, 단위 픽셀당 라인수는 더 많아진다. 중심부는 고주파 성분을 나타낸다. 또한, 단부로부터 중심부로 향할수록 휘도값의 진폭(강도: intensity)은 더 감소한다.

도 4에 도시한 바와 같이, 방사상으로 넓어지는, 예컨대 쐐기형 형상의 피사체를 이용함으로써, 방향에 따른 분해능(MTF: Modulation Transfer Function)을 분석할 수 있다.

도 5는 쐐기형 차트로 분해능을 계측한 결과를 도시하는 도면이다. 도 5는 도 4에 도시하는 방향으로 분해능을 계측한 그래프를 도시한다. 도 5에 도시하는 종축은 휘도값의 진폭을 나타내고, 횡축은 1 픽셀당 라인수(LP: Line Pair)를 나타낸다. 이 분석에서는, 진폭은 중심부로 향할수록 더 작아지고, 고주파 성분(횡축 우측 방향)이 될수록 더 열화되는 형태(MTF)를 볼 수 있다.

도 6은 촬영 화상 위치에 따른 열화를 도시하는 도면이다. 도 6에 도시하는 예에서는, 시멘스 스타를 여러 장 나란하게 배치하여 촬영하면, 중앙부에 대하여, 단부에서의 분해능의 열화를 분석할 수 있다. 도 6에 도시하는 예에서는, Dx 방향은 원주 방향, Dy 방향은 반경 방향을 각각 나타낸다. 이들 Dx 방향과 Dy 방향의 정의는 도 7 내지 도 85에도 적용된다.

도 6에 도시하는 분석 결과로부터, 화상 단부를 포함하는 주변부에서는, 단순히 분해능이 열화되고 있을 뿐만 아니라, 분해능에 이방성이 있음을 알 수 있다. 시멘스 스타의 분해능을 비교하면, 중앙부에서는 각도 의존이 적지만, 단부에서는 각도 의존이 있다.

도 7은 촬영 화상 단부의 쐐기형 차트의 일례를 도시하는 도면이다. 도 7에 도시하는 쐐기형 차트에 관해서, Dx 방향의 수직 방향(반경 방향), Dy 방향의 수직 방향(원주 방향)으로 분해능을 분석한다.

도 8은 도 7에 도시하는 쐐기형 차트의 분해능 분석 결과를 도시하는 도면이다. 도 8에 도시한 바와 같이, 반경 방향의 분해능이 원주 방향보다 더 많이 열화된다. 이에 따라, 화상 단부에서는 분해능에 이방성이 있음을 알 수 있으며, 그 분해능을 정량적으로 측정하는 것이 가능하다.

도 9는 촬영 화상 중앙부의 쐐기형 차트의 일례를 도시하는 도면이다. 도 7에 도시하는 쐐기형 차트에 관해서, Dx 방향의 수직 방향(반경 방향), Dy 방향의 수직 방향(원주 방향)으로 분해능을 분석한다.

도 10은 도 9에 도시하는 쐐기형 차트의 분해능 분석 결과를 도시하는 도면이다. 도 10에 도시한 바와 같이, 반경 방향의 분해능과 원주 방향의 분해능은 그다지 차이는 없다. 따라서, 화상 중앙부에서는 분해능의 이방성은 보이지 않는다.

여기서, 전술한 바와 같은 분해능 열화를 포함하는 블러를 보정하기 위해서는, 점 확산 함수(PSF)를 이용하여 보정하는 방법이 있다. PSF는 예컨대 블러를 나타내는 함수이다. 이후에서는, 블러를 나타내는 함수를 블러 함수라고도 부른다.

원화상을 x, PSF를 k라고 하면, 블러 화상(y)은 x와 k를 컨볼루션하여 얻은 화상이 되며, 이하의 식 (1)로 표현된다.

여기서,

는 컨볼류션 기호이다.

실제로는 노이즈(n)가 포함되지만, 여기서는 설명을 간단하게 하기 위해 생략한다.

식 (1)은 푸리에 변환되면, 식 (2)가 된다.

여기서, ω는 공간 주파수를 나타낸다.

이어서, 단순히 역필터(K_inv)를 구하고자 한다면, 역필터(K_inv)는 이하의 식 (3)으로 나타내는 바와 같이 K의 역수로 구해진다.

이로부터, 원화상의 푸리에 변환 X(ω)는 이하의 식 (4)로 구해지며, 이하의 식 (4)를 역푸리에 변환함으로써 원화상이 산출된다.

이와 같이, PSF를 푸리에 변환하여, 역수를 이용한 역필터 함수(이하, 단순히 역필터라고 칭함)를 산출할 때에, 공간 주파수로 나눗셈을 하기 때문에, 고주파 영역에서 0할(zero-dividing)이 생길 수도 있다. 0할이란, 0 또는 0에 가까운 값으로 나누는 것이다. 고주파가 0에 가까우면 역수가 지나치게 커져, 고주파의 노이즈가 강조되어 버린다.

도 11은 블러 함수를 푸리에 변환했을 때의 특성예를 도시하는 도면이다. 도 11은 K(ω)를 나타내며, 고주파에서는 K(ω)이 0에 가깝게 된다.

도 12는 K(ω)의 역수를 도시하는 도면이다. 도 12는 식 (3)에 따른 K_inv를 나타내며, 예컨대 고주파에서는 분모가 0에 가깝기 때문에 고주파에서의 노이즈가 확대되어 버린다.

그래서, 이 고주파에서의 노이즈를 저감하기 위해서, 이하의 식 (5)에 나타내는 바와 같이 분모에 보정항을 삽입하여 고주파에서의 강조를 막는다.

역필터는 복소수이기 때문에, 켤레복소수를 이용하여 이하의 식 (6)으로 나타낸다.

여기서,

는 켤레복소수이다.

도 13은 미리 정해진 값을 분모에 더한 경우의 역필터를 도시하는 도면이다. 도 14는 고주파일수록 게인이 점차 떨어지는 경우의 역필터를 도시하는 도면이다. 도 13이나 도 14에 도시한 바와 같이, 주파수 성분마다 가중치를 적용하여 노이즈를 저감한다.

여기서, PSF가 타원인 경우에 관해서 생각한다. 도 15는 타원의 PSF의 일례를 도시하는 도면이다. 도 15에 도시하는 예에서는, Dx 방향보다 Dy 방향 쪽이 분해능이 더 나쁨을 나타낸다. 즉, Dy 방향이 Dx 방향보다 분해능이 더 열화된다.

타원의 PSF는 k(r,θ)로 표현된다. "r"은 반경을 나타내고, θ는 방향을 나타낸다. 예컨대, 타원의 PSF는 반경 "r"과 방향 θ의 함수로서 표현된다. 타원의 PSF를 푸리에 변환하면, K(ω,θ)=fk(r,θ)으로 된다. "f"는 푸리에 변환을 나타낸다. 예컨대, 푸리에 변환 후의 K(ω,θ)는 공간 주파수 ω와 방향 θ의 함수이다.

도 16은 타원의 블러 함수를 푸리에 변환했을 때의 특성예를 도시하는 도면이다. 도 16은 도 15의 블러 함수를 이용하고 있으며, 방향 θ에 따라 특성이 다르다. 도 16에 도시한 바와 같이, Dx 방향의 특성은 분해능이 나쁜 Dy 방향과 다른 것을 알 수 있다.

도 17은 K(ω,θ)의 역수를 도시하는 도면이다. 도 17은 이하의 식 (7)로 나타내는 K_inv를 도시한다. 예컨대, 고주파에서는 분모가 0에 가깝기 때문에 고주파에서의 노이즈가 확대된다.

그래서, 이 고주파에서의 노이즈를 저감하기 위해서, 분모에 보정항을 삽입하여 고주파에서의 강조를 막는다. 이하의 식 (8)은 고주파의 노이즈를 저감하는 역필터를 나타낸다.

도 18은 미리 정해진 값을 분모에 더한 경우의 역필터를 도시하는 도면이다. 도 19는 고주파일수록 게인이 점차 떨어지는 경우의 역필터를 도시하는 도면이다. 도 18이나 도 19에 도시한 바와 같이, 주파수 성분마다 가중치를 적용하여 노이즈를 저감한다.

타원의 블러 함수(예컨대, PSF)의 경우에도, 보정된 가중치(λ)로 고주파의 노이즈를 저감할 수 있다. 그러나, 이 가중치에 의한 보정에서는, 분해능이 나쁜 방향(예컨대, Dy 방향)의 분해능은 보정하여 개선할 수 없다. 따라서, 단순히 가중하는 것만으로는 분해능의 이방성을 개선할 수는 없다. 그러므로, 발명자들은 방향에 따라서 적절한 가중 함수를 조정함으로써, 분해능의 이방성을 개선할 수 있음을 알아냈다.

도 20은 분해능의 이방성을 개선하기 위한 역필터의 일례를 도시하는 도면이다. 도 20에 도시하는 예는 고주파일수록 게인이 점차 떨어지지만, 분해능이 나쁜 Dy 방향에 대해서 개선을 보다 강조하는 예이다.

이어서, 분해능의 이방성을 개선하기 위한 공간 필터의 생성에 관해서 설명한다. 이하에 설명하는 장치에 대해서는, 도 20에 도시한 바와 같이 게인을 점자 떨어뜨리는 방법을 이용하여 설명하지만, 이것에 한정되지 않는다. 예컨대, 도 13 등과 같이, 미리 정해진 값을 더하는 방법으로도 분해능의 이방성을 개선할 수 있다. 이 방법에서는, Dy 방향을 Dx 방향보다 더 강조하여 미리 정해진 값을 더한다.

<공간 필터 생성 장치>

우선, 분해능의 이방성을 개선하기 위한 공간 필터 생성에 관해서 설명한다.

<구성>

도 21은 공간 필터 생성 장치를 포함하는 촬상 장치의 개략 구성의 일례를 도시하는 블록도이다. 도 21에 도시하는 촬상 장치는 광학계(1), 촬상 소자(2), AFE(Analog Front End)(3), 화상 처리부(4), 후처리부(5), 구동 제어 장치(6), 제어 장치(7), 화상 메모리(8), 표시부(9) 및 계수 분석부(10)를 포함한다.

광학계(1)는 방사상의 피사체(K)로부터의 빛을 촬상면에 집광한다. 예컨대, 광학계(1)는 렌즈(11a, 11b, 11c) 및 조리개(12)를 포함한다. 렌즈(11a, 11b, 11c) 및 조리개(12)는 피사체(K)로부터의 빛을 촬상 소자(2)의 촬상면에 집광시켜 피사체의 상을 결상한다. 구동 제어 장치(6)는 렌즈(11a, 11b, 11c)의 위치나 조리개(12)를 좁히는 정도 등을 제어할 수 있다. 한편, 광학계(1)의 구성은 특정한 것에 한정되지 않는다.

촬상 소자(2)는 광학계에 의해서 집광된 피사체(K)로부터의 빛을 전자 신호(아날로그 신호)로 변환한다. 촬상 소자(2)는 예컨대 CCD/CMOS 등의 2차원 촬상 소자를 포함하고, 2차원 촬상 소자는 피사체의 상을 전자 신호(화상 신호)로 변환하여 AFE(3)에 출력한다.

AFE(3)는 촬상 화상의 아날로그 신호를 디지털 신호로 변환한다. AFE(3)는 예컨대 A/D(아날로그 디지털) 컨버터(31) 및 타이밍 제너레이터(32)를 포함한다. 타이밍 제너레이터(32)는 제어 장치(7)로부터의 제어 신호에 기초해서, 촬상 소자(2)의 구동에 이용되는 타이밍 펄스를 생성하여, 촬상 소자(2) 및 A/D 컨버터(31)에 출력한다.

화상 처리부(4)는 디지털 신호의 화상을 유지하여 미리 정해진 화상 처리를 수행한다. 화상 처리부(4)는 예컨대 A/D 컨버터(31)에서 디지털 신호로 변환된 화상(RAW 화상)을 기록하는 RAW 메모리(41)를 포함한다. 화상 처리부(4)는 RAW 화상에 대하여 미리 정해진 처리를 실시할 수도 있다. 미리 정해진 처리가 실시된 화상은 화상 메모리(8)에 기록된다.

후처리부(5)는 미리 정해진 처리가 행해진 화상에 대하여 더 필요한 처리를 실시하여 표시 화상을 생성한다. 후처리부(5)는 예컨대, 미리 정해진 처리가 실시된 화상을 화상 메모리(8)로부터 판독하여, 필요한 처리를 하고, 표시하기 위한 화상을 생성하여, 표시부(9)에 출력한다.

화상 메모리(8)는 미리 정해진 처리 후의 화상을 기억한다. 표시부(9)는 예컨대 화상을 기록하는 VRAM 및 VRAM의 화상을 출력하는 디스플레이를 포함한다. 한편, 촬상 장치는 표시 기능을 반드시 포함할 필요는 없으며, 표시부(9) 대신에 표시용의 화상을 기록하는 기록부(예컨대, VRAM 등)가 설치될 수도 있다.

구동 제어 장치(6)는 광학계(1)를 제어한다. 제어 장치(7)는 AFE(3) 및 후처리부(5)를 제어한다.

계수 분석부(10)는 차트가 촬영된 화상으로부터 각 화상 위치에서의 각 방향의 분해능을 분석하여, 분해능의 이방성을 개선하기 위한 적절한 필터 데이터를 결정한다. 계수 분석부(10)의 상세한 것은 후술한다.

필터 데이터는 예컨대 디컨볼루션 커널(de-convolution Kernel)과 같이, 화상 보정을 위한 필터링에 필요한 파라미터의 집합으로 구성될 수 있다. 디컨볼류션 커널은 구체적으로 PSF에 따른 원형 또는 타원형의 피사체의 상이 분포하는 영역과, 영역에 있어서의 각 화소의 가중치를 나타내는 데이터(이러한 데이터를 디컨볼루션 분포라고 함)를 이용해서 나타낼 수 있다.

(역필터)

실시형태에서 이용하는 역필터에 관해서 설명한다. 이하에서는, 분해능의 이방성을 개선하는, 예컨대 분해능이 나쁜 방향에 대해 조정하는 역필터의 산출 순서에 관해서 설명한다. 또한, 역필터는 단순히 필터라고도 부른다.

식 (1)로 나타내는 바와 같이, 원화상 "x", PSF "k", 블러 화상 "y"를 고려한다. 이 원화상 "x"를 구할 때에, 역문제에 있어서 식 (9)가 최소가 되면, 원화상에 가까운 화상을 얻을 수 있다.

통상, 역문제를 풀 때에 정칙화항(regularisation term)의 유형이 적용된다. 따라서, 정칙화항을 가산하여, 이하의 식 (10)으로부터 역문제를 푼다.

해당 문제에서는 방향성을 필요로 하므로, 이하의 식 (11)에서 화상의 가로(수평) 방향(x 방향)의 미분항과 세로(수직) 방향(y 방향)의 미분항을 정칙화항으로 추가한다.

ε는 가중 계수이고, d_m, d_n은 행렬 방향의 미분 필터이다. 여기서, d_m는

이고, d_n은

이다.

전술한 식 (11)이 최소가 되기 위해서는, 식 (11)을 x로 편미분한 결과를 0으로 만들어야 한다. 또한 식 (11)을 푸리에 변환하여, X(ω)에 대해서 풀면 이하의 식 (12)을 얻을 수 있다.

여기서, X(ω), Y(ω), K(ω), Dm(ω), Dn(ω)는 각각 x, y, k, d_m, d_n의 푸리에 변환을 나타낸다.

주파수 영역에서의 역필터[K_inv(ω)]는 이하의 식 (13)을 만족한다.

따라서, 역필터[K_inv(ω)]는 이하의 식 (14)을 만족한다.

식 (14)은 켤레복소수를 이용하면 이하의 식 (15)로 된다.

여기서,

는 켤레복소수이다.

실시형태에서는, 분해능이 나쁜 방향에 있어서 분해능을 조정하기 위해서, 이하의 식 (16)과 식 (17)에 나타내는 바와 같이, 회전 행렬을 이용하여 각도 θ 방향으로 미분 계수의 축을 회전시키는 것이 특징적이다.

전술한 바와 같이, 역필터는 회전 행렬을 이용함으로써 방향성을 갖게 될 수 있다.

도 22는 회전을 설명하기 위한 도면이다. 도 22에 도시하는 예에서는, Dn 방향을 "θ" 회전시켜 Dy 방향으로 하고, Dm 방향을 θ 회전시켜 Dx 방향으로 한다.

여기서, 타원 PSF를 k(r,θ), 푸리에 변환 후의 타원 PSF를 K(ω,θ)=fk(r,θ)로 한다. 식 (15)에, 식 (16) 식 (17) 및 K(ω,θ)를 대입하고, 방향에 따른 가중치(γ)를 설정하면, 식 (18)이 성립된다.

여기서, γ는 역필터의 방향에 따른 가중 계수, ε는 전체의 가중 계수이다.

이 식 (18)에 의해, 각 실시형태에서 이용하는 역필터의 방향성의 가중치 조정을 실시하는 것이 가능하게 된다. 예컨대, 계수 분석부(10)는 분해능이 나쁜 방향(Dy 방향)의 가중치(γ)를 조정한다. 가중 계수(γ)를 작게 함으로써, 분해능이 나쁜 방향에 있어서 분해능을 개선할 수 있다.

도 23은 역필터(K_inv)의 공간 주파수 2차원 분포의 일례를 도시하는 도면이다. 도 23에 도시하는 예는 γ=1/300인 경우의 2차원 분포의 예이다. Dy 방향에 대해서, Dx 방향보다 분해능이 개선되도록 가중 계수 γ, ε(특히 γ)가 결정된다.

도 24는 역필터(K_inv)의 공간 주파수 방향에 따른 분포의 일례를 도시하는 도면이다. 도 24에서는 Dy 방향의 가중 계수를 작게 함으로써, Dy 방향의 개선을 강조할 수 있다. 또한, 도 24에 도시하는 Dy'는 γ=1인 경우의 분포를 나타낸다. 이에 따라, 실시형태에 따르면, 역필터의 필터 파라미터에 승산되는 가중 계수에도 이방성을 갖게 할 수 있다.

(계수 분석부)

이어서, 계수 분석부(10)에 관해서 설명한다. 계수 분석부(10)는 분해능의 이방성을 개선하기 위한 공간 필터를 결정한다.

도 25는 계수 분석부(10)의 기능의 일례를 도시하는 블록도이다. 도 25에 도시하는 계수 분석부(10)는 분해능 분석부(101) 및 결정부(102)를 포함한다. 계수 분석부(10)는 차트 화상이 촬영된 화상에 대해 계수 분석을 수행한다. 이하에 설명하는 예에서는, 예컨대 왼쪽 상측에 위치하여 차트 화상이 먼저 촬영된 쐐기형 화상에 대해 계수 분석을 수행한다.

분해능 분석부(101)는 방사상의 피사체가 촬상된 화상의 분해능 열화를 적어도 2개의 방향으로 분석한다. 분석 방법은 도 4와 도 5 등에 설명한 방법을 이용한다. 분해능 분석부(101)는, 횡축에 1 픽셀당 라인수, 종축에 진폭 강도를 정의할 경우 MTF를 분석할 수 있다. 1 픽셀당 라인수는 실제의 피사체 거리 위치에서의 단위 길이당 라인수를 이용할 수도 있다. 실시형태에서는, 쐐기형이며 방사상인 차트를 이용하기 때문에, 도 5에 도시한 바와 같이 방향에 따른 MTF를 분석할 수 있다.

도 26은 PSF를 산출하는 순서를 설명하기 위한 도면이다. 도 26에 도시하는 예에 있어서, 우선 결정부(102)는 화상의 위치에 따른 각도와 타원율을 산출한다. 결정부(102)는 미리 정해진 각도마다 산출된 MTF에 있어서, 일정한 임계치(최대 진폭의 반 정도)로 등고선을 그리면 타원을 구할 수 있다.

결정부(102)는 구한 타원의 장축과 단축으로부터 타원율을 산출할 수 있다. 결정부(102)는 화상의 위치에 기초하여 기하학적으로 각도 θ1을 산출한다. 또한, 결정부(102)는 분해능의 타원의 장축과 단축으로부터 각도 θ1을 산출할 수도 있다. 장축과 단축을 이용해 각도 θ1을 산출하면, 실제의 블러 상태에 맞춰 각도를 산출할 수 있다. 여기서, 도 3에서 설명한 바와 같이, 광축 중심으로부터 동심원을 그렸을 때에 반경 방향의 블러가 크다.

결정부(102)는 예컨대 세로 방향과 반경 방향 간의 각도를 산출하면 된다. 한편, 광축 중심은 기본적으로는 화상 중심이지만, 렌즈의 오프셋으로 인해 광축의 중심이 틀어지는 경우도 있다. 결정부(102)는 산출된 타원율과 각도를 이용해 PSF를 결정한다. 이때의 PSF의 타원은 MTF의 등고선으로부터 얻어진 타원으로부터 90도 회전하게 된다.

도 25로 되돌아가면, 결정부(102)는 화상의 블러 함수(PSF)에 따른 필터(예컨대, 전술한 역필터)에 의해 보정된 화상에 대하여, 이 보정 후의 화상의 분해능 분석 결과에 기초하여, 이 역필터의 이방성을 갖는 필터 데이터를 결정한다.

또한, 결정부(102)는 화상의 미분 방향에 대하여, 가중 계수(예컨대, γ)를 변경해서 결정한다. 예컨대, Dx 방향의 가중 계수는 1로 설정하고, Dy 방향의 가중 계수를 γ로 설정하여, 이 γ를 조정한다. 이에 따라, 분해능의 이방성을 개선할 수 있다.

또한, 결정부(102)는 미분 방향에 대하여 (화상을)회전(예컨대, θ)시켜 가중 계수를 결정한다. 이에 따라, 분해능이 나쁜 방향을 검출할 수 있어, 화상의 필터링이 이루어질 수 있다.

구체적으로, 결정부(102)는 예컨대 가중 계수 ε와 γ를 조정하여, 적절한 가중 계수 ε와 γ를 결정한다. 가중 계수 γ는 분해능이 나쁜 방향의 필터 파라미터의 가중 계수를 나타낸다. 분해능이 나쁜 방향의 필터 파라미터는 예컨대 식 (18)의 가중 계수 γ에 관한 Dy(ω,θ)와 그 Dy(ω,θ)의 켤레복소수이다.

가중 계수를 조정하여 결정하기 위해서, 결정부(102)는 조정부(121), 화상 보정부(122), 계수 결정부(123) 및 필터 결정부(124)를 포함한다.

조정부(121)는 예컨대 방향에 의존하지 않는 가중 계수 ε와, 방향에 의존하는 γ를 조정한다. 조정부(121)는 가중 계수 ε, γ의 초기치를 설정하여, 그 초기치를 화상 보정부(122)에 전달한다.

화상 보정부(122)는 조정부(121)로부터 취득된 가중 계수를 이용해 화상 보정을 수행한다. 화상 보정부(122)는 식 (18)에 나타내는 역필터를 이용해 화상을 필터링하여 보정한다. 화상 보정부(122)는 보정 후의 화상을 분해능 분석부(101)에 전달하여, 재차 분해능의 열화를 분석한다.

계수 결정부(123)는 보정 후의 화상에 대한 분해능 분석 결과에 기초하여, 2 방향의 분해능 열화의 차가 작아지도록 가중 계수를 결정한다. 계수 결정부(123)는 여러 가지 가중 계수에 의해 보정된 화상의 분석 결과를 유지하여, 예컨대 미리 정해진 진폭 강도에 있어서, 공간 주파수의 값의 차분이 최소가 되도록 가중 계수 ε와 γ를 결정한다(결정 처리 1).

또한, 계수 결정부(123)는 미리 정해진 공간 주파수에 있어서, 진폭 강도의 차가 최소가 되도록 가중 계수 ε와 γ를 결정할 수도 있다(결정 처리 2).

복수의 임계치 1과 임계치 2가 설정될 수도 있고, 계수 결정부(123)는 각 임계치에서의 차분의 제곱합이 최소가 되도록 가중 계수를 결정할 수 있다. 한편, 계수 결정부(123)는 미리 정해진 차분이 미리 설정된 임계치 이하가 되도록 가중 계수를 결정할 수 있다. 이 임계치는 사전 실험 등에 의해 설정될 수도 있다.

또한, 계수 결정부(123)는 화상 중심부에서의 2 방향의 분해능의 차분 제곱합과, 화상 중심부와는 다른 화상 주변부에서의 2 방향의 분해능의 차분 제곱합과의 차가 미리 정해진 값 이하가 되도록 가중 계수를 결정할 수 있다. 또한, 계수 결정부(123)는 화상 중심부와 화상 주변부 간의 차분 제곱합이 최소가 되도록 가중 계수를 결정할 수도 있다.

이것은, 분해능의 이방성을 저감시킬 때, 화상 중앙부의 분해능과 화상 주변부의 분해능을 같게 함으로써, 화상 전체의 분해능이 같게 되어, 화질의 향상을 도모할 수 있기 때문이다.

계수 결정부(123)에 의한 최소화의 판단은 최소화 함수를 이용하거나 사람에 의해 산출될 수 있다. 최소화 함수는 예컨대 심플렉스 서치법, 최급강하법(steepest descent method), 또는 공역구배법을 포함한다.

결정부(102)는 가중 계수를 변경하여 조정하고, 조정 후의 가중 계수로 역필터를 구하고, 구한 역필터로 화상을 보정하고, 보정 후의 화상의 분해능 분석 결과에 기초하여 최적의 가중 계수를 결정한다. 최적의 가중 계수가 결정될 때까지, 가중 계수의 조정, 역필터의 산출, 필터링에 의한 보정, 분해능 분석의 처리가 반복된다.

필터 결정부(124)는 계수 결정부(123)에 의해 결정된 최적의 가중 계수를 이용하는 역필터(K_inv)를 산출하여, 주파수 영역의 역필터(K_inv)로부터 공간 영역의 역필터(k_inv)를 구한다. 이후에는 공간 영역의 역필터를 공간 필터라고 부른다.

이 역필터(k_inv)로부터, 처리되는 여러 탭(요소)을 추출하여 유한화한다.

계수 분석부(10)는 전술한 처리를 차트가 존재하는 화상 내의 각 위치에서 수행한다. 계수 분석부(10)는 화상 내의 각 위치에서 분해능의 이방성을 분석하여, 그 이방성을 개선하기 위한 공간 필터를 결정한다.

이상의 처리를 함으로써, 미리 정해진 화상 위치에 대하여, 블러를 보정하면서 분해능의 이방성을 개선하는 공간 필터를 결정할 수 있다. 예컨대, 분해능이 다른 방향보다도 나쁜 방향을 검출하여, 그 나쁜 방향에 대하여 분해능이 보다 개선되는 가중 계수를 결정할 수 있다.

계수 분석부(10)는 화상의 각 위치에서 공간 필터의 산출을 수행한다. 도 27은 12개의 차트가 촬영된 화상의 일례를 도시하는 도면이다. 도 27에 도시하는 예는 일례이며, 차트수가 12개가 아니라도, 화상을 분할하여 형성된 복수의 영역에 각각의 차트가 존재하면 된다.

계수 분석부(10)는 각 차트가 존재하는 각 영역에서 필터 데이터를 결정하여, 공간 필터를 산출한다. 계수 분석부(10)는 화상의 위치와 공간 필터를 맵핑시킨 테이블을 작성한다. 또한, 계수 분석부(10)는 이 테이블에 대하여, 산출된 타원의 크기를 연관시킬 수 있다.

도 28은 공간 필터 테이블의 일례를 도시하는 도면이다. 도 28에 도시하는 공간 필터 테이블에서는, 각 영역의 왼쪽 상측의 화소 좌표와, 그 영역의 차트에 의해 산출된 공간 필터가 맵핑된다. 예컨대, 위치 (x₁,y1)에는 공간 필터(FIL1)가 맵핑된다.

이에 따라, 계수 분석부(10)를 포함하는 화상 처리 장치는 분해능의 이방성이 개선된 공간 필터를 결정할 수 있다. 분해능의 이방성이 개선된 공간 필터는 상기 예에 한정되지 않고, 예컨대 일본 특허 공개 2012-23498호 공보에 기재된 기술로 구해지는 공간 필터를 포함할 수도 있다. 이 경우, 공간 필터는 분해능의 이방성을 갖게 된다.

한편, 화상 처리부(4)는 예컨대 DSP(Digital Signal Processor)에 의해 구성될 수 있다. 이 경우, RAW 메모리(41)는 DSP의 내장 메모일 수도 있고, 외부 메모리일 수도 있다. 또한, 후처리부(5), 화상 메모리(8), 계수 분석부(10), 표시를 위한 VRAM이 화상 처리부(4)와 함께 일체의 DSP로 구성될 수 있다. 또한, 계수 분석부(10)는 단일체 또는 다른 처리부를 포함하는 화상 처리 장치로서 구성될 수도 있다.

혹은, DSP와 같은 특정 처리 전용 프로세서가 아니라, CPU 등의 범용 프로세서가 미리 정해진 프로그램을 실행함으로써 화상 처리부(4)나 계수 분석부(10)의 기능을 실현할 수도 있다. 구동 제어 장치(6), 제어 장치(7) 및 후처리부(5)도 마찬가지로, 적어도 하나의 특정 처리 전용 프로세서 또는 범용 프로세서에 의해 구성될 수 있다.

프로세서를 화상 처리부(4)나 계수 분석부(10)로서 기능시키는 프로그램 및 그 프로그램이 기록된 기록 매체도 본 발명의 실시형태에 포함된다. 이 기록 매체는 일과성이 아닌(non-transitory) 것으로, 신호 그 자체와 같은 일과성 매체는 포함되지 않는다.

<공간 필터의 유한화에 따른 문제>

이어서, 공간 필터의 유한화에 따른 문제에 관해서 설명한다. 이방성을 갖는 공간 필터를 유한화하면, 탭(요소)이 추출된 부분 이외의 부분에서 정보를 소실하게 된다. 공간 필터에는 이방성이 있기 때문에, 방향에 따라 소실 정보가 다르다. 또한, 요소를 더한 합계도 같지 않다.

소실 정보에는 고주파의 정보가 포함되어 있기 때문에, 유한의 공간 필터로 화상을 보정할 때, 보정의 방향에 따라 보정 정도가 달라져 버린다.

도 29는 공간 필터의 일례를 도시하는 도면이다. 도 29에 도시하는 공간 필터는 전술한 바와 같은 식 (20)에 기초한 이방성을 갖는 공간 필터이다. 도 29에서는 공간 필터의 요소의 값을 색으로 표현하고 있다.

도 30은 유한 공간 필터의 강도를 도시하는 도면이다. 도 30에 도시하는 예에서는, 예컨대 탭수를 9라고 하면, 중심으로부터 9×9 요소를 추출한다. 도 30에 도시하는 예에서는 유한의 공간 필터의 강도를 종축에 나타낸다. 공간 필터로부터 유한 개의 요소를 추출하면, a101 부분에서는 정보가 소실된다. 또한, 이 공간 필터는 이방성을 갖기 때문에, 방향에 따라 소실되는 고주파 정보가 다르다.

그 때문에, 유한 공간 필터를 이용하면, 방향에 따른 보정 정도가 다르다. 도 31에 도시한 바와 같은 9 탭의 공간 필터로 차트를 보정하면, 므와레가 발생한다. 도 31은 보정 화상에 발생한 므와레의 일례를 도시하는 도면이다. 도 31에 도시한 바와 같이, 공간 필터의 유한화로 인한 므와레가 발생한다.

도 32는 유한 공간 필터로 보정된 화상의 분해능 분석 결과를 도시하는 도면이다. 도 32에 도시한 바와 같이, 방향에 따라, 주파수 열화의 보정 정도가 다르다.

도 33은 므와레의 발생을 억제하여 보정된 화상의 분해능 분석 결과를 도시하는 도면이다. 도 33에 도시하는 예에서는, 므와레의 발생을 막기 위해서, 고주파의 개선을 억제했기 때문에, 분해능의 이방성이 남게 된다.

또한, 공간 필터를 실장하는 경우, 메모리 및 계산량의 관점에 있어서 공간 필터의 크기를 미리 정해진 필터 요소수의 이하로 제한하려고 요구가 있다. 현재는 예컨대 5×5 요소 이하의 크기를 갖는 공간 필터를 이용할 수 있다.

그러나, 공간 필터의 요소수를 작게 하면, 블러를 나타내는 PSF의 크기가 요소수보다도 커져, 정보량이 소실된다. 그렇기 때문에, 화질이 열화되는 경우가 있다.

도 34는 화상의 블러를 나타내는 PSF의 일례를 도시하는 도면이다. 도 34에 도시하는 예에서는, 화소의 밝기가 PSF의 휘도값을 나타낸다.

도 35는 PSF의 크기의 일례를 도시하는 도면이다. 도 35에 도시한 바와 같이, 5×5 화소의 크기보다 PSF가 크다고 하기로 한다. 한편, 필터의 1 요소는 화상의 1 화소에 상당한다.

도 35에 도시하는 예에서는, 블러의 크기보다 공간 필터의 요소수가 작기 때문에, 화상 보정을 할 때에, 블러의 정보가 소실된다.

도 36은 PSF 크기가 요소수보다 작다고 상정하여 생성된 화상 보정의 구성예를 도시하는 도면이다. 도 36a는 구성 1의 예를 도시한다. 도 36a는 원화상 "y"에 대하여, 산출된 공간 필터(F)를 컨벌루션하고, 그 결과를 원화상으로부터 감산함으로써, 이하의 식 (21)에 나타내는 바와 같이 보정 화상 "x"가 생성된다. 상기 식 (1)에서는 원화상을 "x"라고 하고, 이 원화상은 블러가 없는 실제 화상이다. 식 (21)에서의 "y"는 블러가 발생한 관찰된 원화상(observed original image)이며, 또한, 식 (21)에서의 "x"는 보정 화상을 지칭한다.

도 36b는 구성 2의 예를 도시한다. 도 36b는 원화상 "y"에 대하여, 산출된 공간 필터(F')를 컨볼루션함으로써, 이하의 식 (22), (23), (24) 및 (25)에 나타내는 바와 같이 보정 화상 "x"가 생성된다. 한편, 아래와 같이 중심 요소의 값이 1이며 이 중심 요소 이외의 요소의 값이 0인 필터를 I0라 한다.

도 37은 PSF 크기보다 공간 필터의 요소수가 작은 경우에, 분해능 분석 결과의 일례를 도시하는 도면이다. 도 37에 도시하는 예에서는, 요소수를 5×5 요소로 설정하고, PSF 크기보다 공간 필터의 요소수가 작기 때문에, 이방성의 보정 특성이 열화된다.

그래서, 이하에 나타내는 실시형태에서는, 분해능의 이방성을 갖는 공간 필터를 미리 정해진 요소수 이하로 유한화할 때, 실장에 따른 과제를 해결하여, 화질이 열화되는 것을 방지한다.

[실시형태 1]

우선, 므와레의 발생을 막는 개요에 관해서 설명한다. 전술한 바와 같이, 분해능에 이방성을 갖는 공간 필터를 유한화함으로써, 고주파 정보의 소실 레벨이 방향에 따라 다르기 때문에, 므와레가 발생한다. 즉, 방향에 따라서 주파수 열화의 보정 정도가 다르기 때문에, 므와레가 발생한다.

그래서, 유한의 하이 패스 필터를 통과시킴으로써, 급격히 휘도가 변하는 부분을 줄여, 방향에 따라서 다른 고주파 정보의 보정 정도의 차이를 작게 한다. 이에 따라, 방향에 따라 다른 주파수 정보의 열화를 원인으로 하는 므와레의 발생을 막을 수 있다.

한편, 유한의 하이 패스 필터는, 요소의 값의 총합이 0이고 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터면 된다. 이하에서는, 유한 필터로서 유한의 하이 패스 필터를 이용하여 설명한다.

또한, 산출된 공간 필터를 분할하여, 각각 미리 정해진 요소수 이하를 갖는 복수 단의 공간 필터를 생성함으로써, 실장에 따른 과제도 해결할 수 있다.

도 38은 실시형태 1에 있어서의 복수 단의 필터의 일례를 도시하는 도면이다. 도 38a에 도시하는 예에서는, 도 36a에 도시하는 공간 필터(F)가 복수 단의 공간 필터(5×5)로 분할되어 있다. 도 38b에 도시하는 예에서는, 도 36b에 도시하는 공간 필터(F')가 복수 단의 공간 필터(5×5)로 분할되어 있다.

이하에 나타내는 실시형태에서는, 공간 필터의 요소수보다 크기가 큰 이방성을 갖는 블러에 대하여, 이방성을 갖는 역필터를 복수개 구성하여, 복수의 공간 필터를 조합함으로써 이방성을 개선한다.

이어서, 실시형태 1에 있어서의 화상 처리 장치를 포함하는 촬상 장치에 관해서 설명한다. 실시형태 1에서는, 분해능의 이방성을 갖는 공간 필터의 크기를 미리 정해진 요소수 이하로 유한화할 때, 화질이 열화되는 것을 방지한다.

<구성>

도 39는 실시형태 1에 있어서의 화상 처리 장치를 포함하는 촬상 장치의 개략 구성의 일례를 도시하는 블록도이다. 도 39에 도시하는 구성에서, 도 21에 도시하는 구성과 같은 것은 동일한 부호를 붙인다. 이후에는 실시형태 1에 있어서의 화상 처리부(15)를 주로 설명한다.

화상 처리부(15)는 RAW 메모리(41), 필터 제어부(151) 및 필터 처리부(152)를 포함한다. 필터 제어부(151)는 도 28에 도시하는 공간 필터 테이블을 유지한다. 필터 제어부(151)는 공간 필터 테이블의 각 공간 필터에 대하여, 블러의 크기보다 큰 요소수를 갖는 공간 필터를 산출한다.

이어서, 필터 제어부(151)는 산출된 공간 필터를, 미리 정해진 요소수 이하가 되도록 복수 단의 공간 필터로 분할한다. 필터 제어부(151)는 복수 단의 공간 필터를 필터 처리부(152)에 출력한다. 즉, 필터 제어부(151)는 처리 대상 화상의 각 위치에 대응하는 복수 단의 공간 필터를 필터 처리부(152)에 출력한다.

필터 처리부(152)는 필터 제어부(151)로부터 취득된 복수 단의 공간 필터를 이용하여, 대응하는 화상 위치에서 필터링을 수행한다. 이에 따라, 화상의 각 위치에서 다른 분해능의 이방성을 개선하여, 므와레의 발생을 방지하여 화질을 향상시킬 수 있다.

(필터 제어부 및 필터 처리부)

이어서, 실시형태 1에 있어서의 필터 제어부(151) 및 필터 처리부(152)에 관해서 설명한다. 도 40은 실시형태 1에 있어서의 필터 제어부(151) 및 필터 처리부(152)의 개략 구성 (1)의 일례를 도시하는 블록도이다. 우선, 필터 제어부(151)에 관해서 설명한다. 필터 제어부(151)는 필터 기억부(201), 필터 취득부(202), 필터 산출부(203) 및 필터 생성부(204)를 포함한다.

필터 기억부(201)는 제1 공간 필터(211)와, 제2 공간 필터(212)와, 복수 단의 공간 필터(213)를 적어도 기억한다. 각 필터는 각각 다른 기억 영역에 기억되면 된다.

제1 공간 필터(211)는 분해능의 이방성을 갖는 공간 필터이다. 제1 공간 필터(211)는 예컨대 도 28에 도시하는 공간 필터 테이블의 각 필터에 해당한다. 제2 공간 필터(212)는 필터 산출부(203)에 의해 산출된 필터이다. 제2 공간 필터는 예컨대 제1 공간 필터(211)와 하이 패스 필터를 컨벌루션하여 얻은 필터이다. 복수 단의 공간 필터(213)는 필터 생성부(204)에 의해 생성된 공간 필터군이다.

필터 취득부(202)는 화상의 분해능에 이방성을 갖는 유한의 공간 필터를 취득한다. 필터 취득부(202)는 예컨대 필터 기억부(201)로부터 제1 공간 필터(211)를 취득한다. 필터 취득부(202)는 취득된 제1 공간 필터(211)를 필터 산출부(203)에 출력한다.

필터 산출부(203)는 필터 취득부(202)로부터 취득된 제1 공간 필터(211)에 대하여, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 컨벌루션함으로써 제2 공간 필터를 산출한다.

이 때, 필터 산출부(203)는 블러의 크기(PSF의 타원의 크기)보다 큰 요소수를 갖는 제2 공간 필터를 산출한다. 필터 산출부(203)는 판정부(231)를 포함하고, 판정부(231)는 예컨대 필터 기억부(201)에 기억된 PSF의 크기로부터 블러의 크기를 판정한다. 또한, 판정부(231)는 일본 특허 공개 2012-23498호 공보에 기재된 바와 같이, 렌즈 설계치로부터 시뮬레이션으로 PSF를 취득할 수 있는 경우에, 취득된 PSF로부터 블러의 크기를 판정할 수도 있다.

필터 산출부(203)는 예컨대 화상의 블러 크기보다 큰 요소수를 갖는 제1 공간 필터에 대해 유한의 하이 패스 필터를 컨벌루션하여 제2 공간 필터를 산출한다.

필터 산출부(203)는 유한의 하이 패스 필터를 미리 유지한다. 유한의 하이 패스 필터를 예컨대 3×3 요소를 갖는 필터로 정의한다면, 이하의 식 (26)과 식 (27)을 이용하여 유한의 하이 패스 필터를 구할 수 있다.

실시형태에서 기술하는 이방성은 임의 방향의 각도에서 필터에 종속되기 때문에, 식 (27)에 나타내는 바와 같이, 모든 요소가 0이 아닌 값을 갖는 계수를 갖는 필터를 이용할 수 있다.

필터 산출부(203)는 하이 패스 필터가 3×3 요소의 필터로서 정의될 경우, 공간 필터(k_inv)를 7×7 요소의 필터로 정의함으로써, 그 2개의 필터를 컨볼루션하여 9×9 요소의 필터를 산출한다. 이와 같이, 필터 산출부(203)는 하이 패스 필터와 공간 필터를 컨볼루션하여, 원하는 탭수를 갖는 필터를 산출한다.

여기서, 7×7 요소의 필터를 F7이라 표기하고, 하이 패스 필터를 "Lap"이라 표기하면, 필터 산출부(203)에서 산출된 9×9 요소의 필터(F9)는 이하의 식 (28)으로 표현된다.

필터 산출부(203)는 전술한 식 (28)에 의해 산출된 제2 공간 필터(F9)를 필터 기억부(201)에 기억한다.

필터 산출부(203)는 별도의 장치에 설치될 수 있고, 필터 제어부(151)는 별도의 장치로부터 구해진 제2 공간 필터(212)를 기억할 수 있다.

필터 생성부(204)는 필터 기억부(201)로부터 제2 공간 필터(212)를 취득하여, 이 제2 공간 필터(212)로부터 미리 정해진 요소수 이하를 갖는 복수 단의 공간 필터를 생성한다. 복수 단의 공간 필터의 생성에 대해서는 후술한다. 필터 생성부(204)는 생성된 복수 단의 공간 필터(213)를 필터 기억부(201)에 기억한다.

이어서, 필터 처리부(152)에 관해서 설명한다. 필터 처리부(152)는 컨볼루션 연산부(301)와 감산부(302)를 포함한다. 컨볼루션 연산부(301)는 RAW 메모리(41)로부터 화상을 취득하고, 그 화상에 대하여 복수 단의 공간 필터(213)에서 컨볼루션하여 필터 처리를 한다.

컨볼루션 연산부(301)는 복수 단의 공간 필터(213)가 단일 컨볼루션 회로에 대하여 복수회 컨볼루션을 수행하게 하거나, 복수의 컨볼루션 회로를 준비해서 컨벌루션을 수행하게 하여 화상에 대해 필터링을 수행할 수 있다. 컨볼루션 연산부(301)는 필터링 후의 화상을 감산부(302)에 출력한다.

감산부(302)는 RAW 메모리(41)로부터 취득된 화상으로부터, 필터링 후의 화상을 감산하여, 보정 후의 화상을 생성한다. 보정 화상은 후처리부(5)나 화상 메모리(8)에 출력된다.

여기서, 필터 처리부(152)는 화상의 각 영역의 각 화소에 대하여 단일 공간 필터를 이용하는 것이 아니라, 근방의 공간 필터를 이용해 선형 보간을 수행하여 주목 화소의 화소치를 구할 수도 있다.

도 41은 주목 화소의 선형 보간을 설명하기 위한 도면이다. 도 41에 도시한 바와 같이, 필터 처리부(152)는 예컨대 근방 4개의 공간 필터에서 산출된 각 영역의 중심 화소를 이용하여, 각 화소의 거리에 따른 선형 보간을 행함으로써 주목 화소의 화소치를 구할 수도 있다. 도 41의 예에서는, 필터 처리부(152)는 FIL1, FIL2, FIL5, 및 FIL6으로부터 각각 구해진 각 영역의 화소치를 선형 보간함으로써 주목 화소의 화소치를 산출한다.

또한, 필터 처리부(152)는 주목 화소에 대하여 공간 필터 자체를 선형 보간으로 구하고 나서 화소치를 산출할 수도 있다. 또한, 상기 예에서는 공간 필터의 수를 근방 4개로 설정하지만, 이것에 한정되지 않고, 다른 복수개의 공간 필터를 이용할 수도 있다. 추가로, 거리를 이용해 선형 보간을 수행하지만, 그 밖의 방법으로 보간할 수도 있다. 또한, 보간은 영역을 더욱 세분화한 소영역마다 행할 수도 있고, 화소마다 행할 수도 있다.

이어서, 다른 예의 필터 제어부(151) 및 필터 처리부(152)에 관해서 설명한다. 도 42는 실시형태 1에 있어서의 필터 제어부(151) 및 필터 처리부(152)의 개략 구성 (2)의 일례를 도시하는 블록도이다. 먼저, 필터 제어부(151)에 관해서 설명한다. 필터 제어부(151)는 필터 기억부(401), 필터 취득부(202), 필터 산출부(402) 및 필터 생성부(403)를 포함한다.

도 42에 도시하는 필터 제어부(151)의 구성에서, 도 40에 도시하는 구성과 같은 것은 동일한 부호를 붙인다.

필터 기억부(401)는 필터 산출부(402)에 의해 산출된 제3 공간 필터(411)와, 필터 생성부(403)에 의해 산출된 복수 단의 공간 필터(412)를 기억한다.

필터 산출부(402)는 전술한 화상들 간의 감산 처리를 불필요로 하는 제3 공간 필터(411)를 산출한다. 필터 산출부(402)는 식 (22), (23), (24) 및 (25)를 이용하여 식을 변형함으로써 감산 처리를 필요 없게 할 수 있다. 이 예에서는 9×9 요소의 제3 공간 필터(F9')를 상정한다.

이에 따라, 전술한 처리와 동일한 결과를 얻을 수 있어, 화상들 간의 감산 처리가 불필요한 유한 공간 필터(F9')를 생성할 수 있다.

필터 산출부(402)는 산출된 공간 필터(F9')를 필터 기억부(401)에 기억시킨다. 공간 필터(F9')는 제3 공간 필터(411)이다.

필터 생성부(403)는 필터 기억부(401)로부터 제3 공간 필터(411)를 취득하고, 이 제3 공간 필터(411)로부터 미리 정해진 요소수 이하를 갖는 복수 단의 공간 필터를 생성한다. 복수 단의 공간 필터의 생성에 관해서는 후술한다. 필터 생성부(403)는 생성된 복수 단의 공간 필터(412)를 필터 기억부(401)에 기억시킨다.

필터 처리부(152)는 컨볼루션 연산부(501)를 포함한다. 컨볼루션 연산부(501)는 복수 단의 공간 필터(412)에 대해 컨벌루션을 수행하여, 보정 후의 화상 "x"를 생성한다.

(공간 필터의 예)

도 43은 공간 필터(F9')의 각 화소에서의 강도 (1)을 도시하는 도면이다. 도 43에 도시하는 예에서는, 각 화소에서의 강도를 색으로 나타낸다.

도 44는 공간 필터(F9')의 각 화소에서의 강도 (2)를 도시하는 도면이다. 도 44에 도시하는 예에서는, 공간 필터(F9')의 2 방향(가로 방향 Dx, 세로 방향 Dy)의 강도 변화를 나타낸다. 이 때, 공간 필터(F9')의 요소의 총합은 1이 된다.

도 45는 공간 필터(F9)의 각 화소에서의 강도를 도시하는 도면이다. 도 45에 도시하는 예에서는, 공간 필터(F9)의 2 방향(가로 방향 Dx, 세로 방향 Dy)의 강도 변화를 나타낸다. 이 때, 공간 필터(F9)의 요소의 총합은 하이 패스 정보를 포함하여 0이 된다.

<복수 단의 공간 필터의 생성>

이어서, 복수 단의 공간 필터의 생성에 관해서 설명한다. 이하에서는, 도 42에 도시하는 필터 생성부(403)가 복수 단의 공간 필터를 생성하는 예에 관해서 설명하지만, 도 40에 도시하는 필터 생성부(204)에서도 같은 식으로 하여 공간 필터를 생성할 수 있다.

우선, 필터 생성부(403)는 블러의 크기보다 큰 요소수를 갖는 공간 필터를 미리 정해진 요소수를 갖는 필터군으로 나눌 때, 그 기준으로서 1개의 필터를 가정하고, 가정된 필터에 기초하여 다른 필터를 최적화로 구한다.

예컨대, 제3 공간 필터(F9')를 2개의 5×5 요소의 공간 필터(각각 F5A'와 F5B'라고 정의)로 나눈다고 상정하기로 한다. 이 때, 필터 생성부(403)는 이하의 식 (29)을 정의할 수 있다.

여기서, 항 "e"는 차분 에러이다. 이하, 발명자가 수행한 복수 단의 공간 필터에의 분할 방법에 관해서 설명한다.

(분할 방법 1)

분할 방법 1에서는, 공간 필터(F5A')를 제3 공간 필터(F9')의 중심 부분의 5×5 요소를 추출하여 형성된 필터로서 정의한다.

도 46은 분할 방법 1에 따른 복수 단의 공간 필터를 구하는 방법을 설명하는 도면이다. 도 46에 도시하는 예에서는, 필터 생성부(403)는 공간 필터(F5A')를 결정하여, 식 (30)으로 나타내는 평가 함수를 최소화함으로써, 공간 필터(F5B')를 구할 수 있다.

구해진 공간 필터(F5B')를 도 46에 도시한다.

도 47은 분할 방법 1에 대한 고찰을 설명하는 도면이다. 도 47a에 도시한 바와 같이, 분할 방법 1에서는, 공간 필터(F5A')는 단순히 공간 필터(F9')로부터 5×5 요소를 추출하여 형성된다. 이 때, 도 47b에 도시한 바와 같이, 원래의 하이 패스 정보를 소실하게 된다. 즉, 요소의 총합의 조건을 만족할 수 없게 된다.

도 48은 분할 방법 1에 따른 보정 결과를 도시하는 도면이다. 도 48a는 분할 방법 1에 따른 보정 화상을 도시한다. 도 48a에 도시하는 바와 같이, 하이 패스 정보는 소실되고, 방향에 따라서 보정 효과가 다르기 때문에, 므와레가 생긴다. 도 48b는 분할 방법 1에 따른 보정 후의 MTF의 결과를 도시한다. 도 48b에 도시하는 결과로부터도 므와레가 생기는 것을 알 수 있다.

(분할 방법 2)

분할 방법 2에서는, 제1단의 공간 필터(F5A')를 이방성을 갖는 필터로 정의한다. 예컨대, 공간 필터(F5A')는 이방성 PSF의 단순한 역수로 구성된다.

도 49는 분할 방법 2를 설명하는 도면이다. 도 49a는 공간 필터(F5A')의 일례를 도시하는 필터이다. 도 49b는 평가 함수를 최소화함으로써 구해진 공간 필터(F5B')이다.

도 49c는 분할 방법 2에 따른 보정 후의 MTF의 결과를 도시한다. 도 49c에 도시하는 결과에서는 각 방향에서의 분해능이 다르기 때문에, 므와레가 생긴다.

(분할 방법 3)

분할 방법 3에서는, 제1단의 공간 필터(F5A')를 등방성을 갖는 필터로 정의한다. 예컨대, 공간 필터(F5A')는 등방성 PSF의 단순한 역수로 구성된다.

도 50은 분할 방법 3을 설명하는 도면이다. 도 50a는 공간 필터(F5A')의 일례를 도시하는 필터이다. 도 50b는 평가 함수를 최소화함으로써 구해진 공간 필터(F5B')이다.

도 50c는 분할 방법 3에 따른 보정 후의 MTF의 결과를 도시한다. 도 50c에 도시하는 결과에서는, 므와레가 생기기 않을 정도의 결과이지만, 고주파의 개선이 불충분하다.

(분할 방법 4)

분할 방법 4에서는, 제1단의 공간 필터(F5A')를, 등방성을 갖는 필터이며 PSF의 역수와 하이 패스 필터를 컨볼루션하여 구성된 필터로 정의한다.

도 51은 분할 방법 4를 설명하는 도면이다. 도 51a은 공간 필터(F5A')의 일례를 도시하는 필터이다. 도 51b는 평가 함수를 최소화함으로써 구해진 공간 필터(F5B')이다.

도 51c는 분할 방법 4에 따른 보정 후의 MTF의 결과를 도시한다. 도 51c에 도시하는 결과에서는 이방성의 개선이 불충분하게 된다. 이것은, 제1단의 필터에서, 므와레가 발생하지 않도록 하이 패스 필터를 컨볼루션하지만, 등방성 필터이기 때문에, 제2단의 필터에서는 이방성을 개선할 수 없기 때문이다.

또한, 제1단의 공간 필터가 등방성일 경우, 이방성의 정보가 단일의 필터로 되어 버리기 때문에, 요소수가 부족하게 된다.

전술한 바와 같은 분할 방법에서는 바람직한 보정 결과를 얻을 수 없는 경우가 있다. 그래서, 이방성을 갖고 요소수가 큰 필터 정보를 보다 적절하게 복수 단으로 분할하기 위한 방법을 이하에 설명한다.

(분할 방법 5)

도 52는 분할 방법 5의 개요를 설명하는 도면이다. 도 52에 도시하는 예에서는, 필터 생성부(403)는, 이방성을 갖는 공간 필터(F3A)(예컨대, 제4 공간 필터)와 하이 패스 필터(F3)을 컨볼루션하고 그 결과를 I5₀로부터 감산함으로써, 제1단의 공간 필터(F5A')(예컨대, 제5 공간 필터)를 산출한다. 필터 생성부(403)는 평가 함수를 최소화함으로써 제2단의 공간 필터(F5B')(예컨대, 제6 공간 필터)를 산출한다.

이에 따라, 제1단에 하이 패스 필터를 구성함으로써 므와레의 발생을 막고, 또한, 필터를 복수 단의 필터로 분할하는 식으로 이방성을 개선하기 위한 구성으로 한다. 이에, 요소수보다 크기가 큰 블러의 개선에 대응할 수 있다.

도 53은 분할 방법 5에 따른 복수 단의 필터의 산출예를 설명하는 도면이다. 도 53에 도시하는 예에서는, 필터 생성부(403)는 제1 공간 필터(211)로부터 3×3 요소의 필터를 추출하고, 추출된 필터와 3×3 요소의 하이 패스 필터[예, 식 (26) 또는 식 (27)]를 컨볼루션하여, 5×5 요소의 공간 필터(F5A)를 산출한다. 필터 생성부(403)는 공간 필터(F5A)를 I0으로부터 감산함으로써 공간 필터(F5A')를 산출한다.

필터 생성부(403)는 제3 공간 필터(F9')와 공간 필터(F5A')를 이용해, 평가 함수를 최소화함으로써 제2단의 공간 필터(F5B')를 산출할 수 있다.

도 54는 공간 필터(F5)의 각 화소에서의 강도를 도시하는 도면이다. 도 54에 도시하는 예에서는, 공간 필터(F5)의 2 방향(가로 방향 Dx, 세로 방향 Dy)의 강도 변화를 나타낸다. 이 때, 공간 필터(F5)의 요소의 값의 총합은 0이 된다.

도 55는 공간 필터(F5')의 각 화소에서의 강도를 도시하는 도면이다. 도 55에 도시하는 예에서는, 공간 필터(F5')의 2 방향(가로 방향 Dx, 세로 방향 Dy)의 강도 변화를 나타낸다. 이 때, 공간 필터(F5')의 요소의 값의 총합은 1이 된다.

도 56은 실시형태 1에 있어서의 보정 화상의 생성을 설명하는 도면이다. 도 56a에 도시하는 예에서는, 필터 처리부(152)는 다음 식 (31)과 (32)를 이용하여 보정 화상 "x"를 생성한다.

도 56b에 도시하는 예에서는, 필터 처리부(152)는 다음 식 (33), (34), (35 및 (36)을 이용하여 보정 화상 "x"를 생성한다.

공간 필터(F5A')는 이방성을 갖는 공간 필터와 하이 패스 필터의 조합이며, 공간 필터(F5B')는 이방성을 갖는 공간 필터의 누락을 보충하는 역할을 담당한다. 또한, 필터의 컨볼루션 순서는 역으로 이루어질 수도 있다.

도 57은 분할 방법 5에 따른 보정 후의 화상의 분해능 분석 결과를 도시하는 도면이다. 도 57에 도시한 바와 같이, 분할 방법 5에 따르면, 분해능의 이방성을 갖는 공간 필터를 미리 정해진 요소수 이하로 유한화할 때, 화질이 열화되는 것을 방지할 수 있다. 즉, 분할 방법 5에서는, 복수 단의 공간 필터로 적절하게 나눌 수 있기 때문에, 이방성을 개선하면서 므와레의 발생을 막을 수 있다.

(단수)

필터 생성부(204, 403)는 공간 필터를 복수 단의 공간 필터로 나눌 때, 몇 개의 공간 필터로 나누는지를 제1 공간 필터의 크기와 미리 정해진 요소수에 기초해 결정한다.

도 58은 미리 정해진 요소수와 블러의 크기 간의 관계 (1)을 도시하는 도면이다. 도 58에 도시하는 예에서는, 미리 정해진 요소수를 5×5 요소로 하고, 블러의 크기를 9×9 요소보다 작다고 상정한다. 이 때, 필터 산출부(203, 402)는 9×9 요소의 제1 공간 필터를 산출한다. 필터 생성부(204, 403)는 9×9 요소의 제1 공간 필터에 기초하여, 5×5 요소의 2단의 공간 필터를 생성한다.

도 59는 미리 정해진 요소수와 블러의 크기 간의 관계 (2)를 도시하는 도면이다. 도 59에 도시하는 예에서는, 미리 정해진 요소수를 5×5 요소로 하고, 블러의 크기를 13×13 요소보다 작다고 상정한다. 이 때, 필터 산출부(203, 402)는 13×13 요소의 제1 공간 필터를 산출한다. 필터 생성부(204, 403)는 13×13 요소의 제1 공간 필터에 기초하여, 5×5 요소의 3단의 공간 필터를 생성한다.

우선, 필터 생성부(204, 403)는 13×13 요소의 제2 공간 필터 또는 13×13 요소의 제3 공간 필터를 9×9 요소의 공간 필터와 5×5 요소의 공간 필터로 분할한다. 이어서, 필터 생성부(204, 403)는 9×9 요소의 공간 필터를 같은 처리로 5×5 요소의 2단의 공간 필터로 분할한다.

한편, 미리 정해진 요소수가 3×3 요소인 경우에, 필터 생성부(204, 403)는 공간 필터를 복수 단으로 분할하면 된다. 또한, 필터 산출부(203)에 의해 생성된 제1 공간 필터의 요소수가 7×7 요소인 경우, 필터 생성부(204, 403)는 5×5 요소와 3×3 요소의 2단의 공간 필터로 분할한다. 이와 같이, 분할되는 필터의 크기가 서로 다를 수도 있다.

단, 복수 단의 공간 필터의 요소수가 같으면, 필터 처리부(152)는 컨볼루션 회로를 하나로 하여, 같은 처리를 적어도 2회 반복하면 된다. 따라서, 요소수가 동일하고 공간 필터의 크기가 큰 복수 단의 공간 필터가 더 효율적이다. 그 때문에, 필터 산출부(203)는 블러보다 큰 제1 공간 필터의 크기를 9×9 요소로 설정할 경우, 같은 요소수(예컨대, 5×5)의 2단의 공간 필터를 생성할 수 있다.

<게인 승산>

여기서, 이하의 식 (30)으로 나타내는 평가 함수에 관해서, 차분 에러 "e"는 0이 되지 않는다. 따라서, 평가 함수를 최소화하여 구한 복수 단의 공간 필터에 대하여, 각각 게인을 설정하여 승산함으로써, 정밀도의 향상을 도모할 수 있다.

도 60은 게인을 승산하는 경우의 보정 화상의 생성을 설명하는 도면이다. 도 60a에서는, 필터 처리부(152)는 각 공간 필터에서 처리된 값에 대하여, 미리 정해진 게인을 승산한다. 즉, 필터 처리부(152)는 다음 식 (37)과 (38)을 이용하여 보정 화상 "x"를 생성한다.

식 (37)과 (38)에 있어서, Gain1과 Gain2는 예컨대 도 4 등에 도시하는 차트를 이용하여, 게인 평가 함수를 최소화함으로써 구해진다. 게인 평가 함수는 예컨대 2 방향의 MTF의 거리를 나타내는 함수이며, 이 평가 함수를 최소로 하는 Gain1과 Gain2가 구해진다. 또한, 게인의 평가 함수는 예컨대 2 방향의 중앙의 MTF의 거리를 나타내는 함수일 수도 있다. 게인의 산출 처리는 후처리부(5)에 의해 행해질 수 있다.

도 60b는 필터 처리부(152)가 각 공간 필터에 게인을 승산하여, 새로운 공간 필터를 생성하는 예를 도시한다. 도 60b에 도시하는 예에서는, 필터 처리부(152)는 다음 식 (39)와 (40)을 이용하여 보정 화상 "x"를 생성한다.

도 61은 실시형태 1에 있어서의 필터 처리부의 개략 구성의 다른 예를 도시하는 블록도이다. 도 61에 도시하는 필터 처리부(152)는 컨볼루션 연산부(301), 게인 승산부(303) 및 감산부(302)를 포함한다. 도 61에 도시하는 구성에 있어서, 도 40에 도시하는 구성과 같은 것은 동일한 부호를 붙인다.

게인 승산부(303)는 복수 단으로 나누어진 각 공간 필터의 처리 후의 값에 대하여 미리 정해진 게인을 승산한다. 게인 승산부(303)는 미리 정해진 게인으로서, 게인을 승산하기 전후의 분해능을 분석하여, 이방성이 가장 개선될 수 있는 게인을 후처리부(5)로부터 취득한다.

한편, 도 61에 도시하는 구성은 도 60a에 기초한 구성이지만, 게인 승산부(303)는 컨볼루션 연산부(301)에 포함될 수도 있다(예컨대, 도 60b 참조).

<동작>

이어서, 실시형태 1에 있어서의 화상 처리부(15)의 동작에 관해서 설명한다. 도 62는 실시형태 1에 있어서의 필터 생성 처리의 일례를 도시하는 흐름도이다. 도 62에 도시하는 처리는 분할 방법 5에 의한 필터 생성 처리를 나타낸다.

단계 S101에서, 필터 취득부(202)는 필터 기억부(201)로부터 제1 공간 필터를 취득한다.

단계 S102에서, 판정부(231)는 PSF의 블러 크기를 판정한다. 판정부(231)는 예컨대 분해능의 분석으로 구해진 PSF의 타원의 장축과 단축에 기초하여 PSF의 블러 크기를 판정한다. 또한, 판정부(231)는 일본 특허 공개 2012-23498호 공보에 기재된 바와 같이, 렌즈 설계치로부터 시뮬레이션된 결과의 PSF를 취득할 수도 있다.

단계 S103에서, 필터 산출부(402)는 제1 공간 필터로부터 블러의 크기보다 큰 요소수를 갖는 공간 필터를 추출하고, 유한 하이 패스 필터를 컨볼루션하여 제2 공간 필터(예컨대, F9)를 산출한다.

또한, 필터 산출부(402)는 제2 공간 필터를, 중심 요소의 값이 1이며 이 중심 요소 이외의 요소의 값이 0인 필터로부터 감산하여, 제3 공간 필터(예컨대, F9')를 산출한다.

단계 S104에서, 필터 생성부(403)는 제3 공간 필터를 복수의 공간 필터로 분할한다. 예컨대, 필터 생성부(403)는 제1 공간 필터로부터 제4 공간 필터(예컨대, F3)를 추출한다.

또한, 필터 생성부(403)는 제4 공간 필터와, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 컨볼루션하여 구해진 필터(예컨대, F5A)를 생성한다. 필터 생성부(403)는 생성된 필터를, 중심 요소가 1이며 중심 요소 이외의 요소의 값이 0인 필터로부터 감산하여 제5 공간 필터(예컨대, F5A')를 산출한다.

또한, 필터 생성부(403)는 제3 공간 필터와 제5 공간 필터를 이용해, 평가 함수를 최소화하여, 제6 공간 필터(예컨대, F5B')를 산출한다.

단계 S105에서, 필터 생성부(403)는 제5 공간 필터와 제6 공간 필터가 미리 정해진 요소수 이하를 갖는 필터인지 여부를 판정한다. 생성된 각 공간 필터가 미리 정해진 요소수 이하를 갖는다고 판정되면(단계 S105에서 "YES"), 제5 공간 필터와 제6 공간 필터는 복수 단의 공간 필터로서 정의된다. 또한, 생성된 각 공간 필터 중 적어도 하나의 공간 필터가 미리 정해진 요소수보다 큰 요소수를 갖는다면, 처리는 단계 S104로 되돌아간다. 생성된 각 공간 필터가 미리 정해진 요소수 이하가 될 때까지 전술한 복수의 공간 필터를 생성하는 처리가 반복된다.

이어서, 게인을 결정하는 처리에 관해서 설명한다. 도 63은 실시형태 1에 있어서의 게인 결정 처리의 일례를 도시하는 흐름도이다. 도 63에 도시하는 단계 S201에서, 촬상 장치는 차트 화상을 촬상한다.

단계 S202에서, 후처리부(5)는 보정 전의 분해능을 분석한다. 단계 S203에서, 후처리부(5)는 초기치의 게인을 설정한다.

단계 S204에서, 화상 처리부(15)는 전술한 복수의 공간 필터에 대하여, 설정된 게인을 승산하여 화상을 보정한다.

단계 S205에서, 후처리부(5)는 보정 후의 분해능을 분석한다. 단계 S206에서, 후처리부(5)는 게인 평가 함수가 최소로 되는지를 판정한다. 게인 평가 함수가 최소라고 판정되면(단계 S205에서 "YES"), 처리는 단계 S207로 진행한다. 게인 평가 함수가 최소가 아니라면(단계 S205에서 "NO"), 처리는 단계 S203으로 되돌아가고, 게인이 변경된다.

단계 S207에서, 후처리부(5)는 게인 평가 함수가 최소로 되는 게인을 결정하고, 결정된 게인을 게인 승산부(303)에 설정한다.

이상, 실시형태 1에 따르면, 분해능에 이방성을 갖는 공간 필터를 미리 정해진 요소수 이하를 갖도록 유한화할 때, 화질이 열화되는 것을 방지할 수 있다.

[실시형태 2]

이어서, 실시형태 2에 있어서의 화상 처리 장치를 포함하는 촬상 장치에 관해서 설명한다. 실시형태 2에서는, 분해능을 개선하기 위해 행해진 보정에 의해 강조되는 노이즈를 저감시킨다.

촬상된 화상 중에는 평탄한 부분과 노이즈 성분이 포함되어 있다. 그 때문에, 평탄한 부분이라도 미세한 진폭 변화를 포함하는 화상이 되어 버린다.

여기서, 실시형태 1에 나타낸 바와 같이, 분해능을 개선하기 위해 화상에 보정이 행해지면, 진폭이 커지는 효과가 있지만, 미세한 진폭 변화를 포함하는 노이즈 성분도 진폭이 커지게 된다. 그 때문에, 평탄한 부분의 노이즈가 강조되어 버린다.

도 64는 분해능 보정 전후의 노이즈의 일례를 도시하는 도면이다. 도 64a는 촬상된 평탄한 부분의 노이즈의 예를 도시한다. 도 64b는 분해능을 보정한 후의 노이즈의 일례를 도시한다. 도 64b에 도시하는 예에서는, 분해능을 보정함으로써 노이즈가 강조된다.

노이즈를 저감하기 위해서 로우 패스 필터를 이용한다. 그러나, 로우 패스 필터는 화상 전체를 필터링하기 때문에, 평탄부의 노이즈를 저감하고자 하면, 원래 보정하고 싶은 엣지 부분이 완만한 형상으로 변하게 된다.

그래서, 평탄 부분과 엣지 부분에 대해, 비선형으로 노이즈를 저감하는 것이 중요하게 된다. 공지된 비선형의 노이즈 처리로서 코어링 처리(coring process)가 있다. 이에 대해서는 예컨대 일본 특허 공개 2008-199448호를 참조할 수 있다.

코어링 처리에서는, 입력치가 임계치 이하라면 출력을 0으로 하여, 노이즈의 강조를 막는다. 또한, 코어링 처리는 입력치가 임계치보다 크면, 불연속을 피하도록 츨력의 진폭이 작게 감소된다.

코어링 처리를 단순히 실시형태 1의 각 공간 필터 후에 적용할 경우, 다음의 해결 과제가 생긴다.

도 65는 휘도 저하를 설명하는 도면이다. 도 65에 도시한 바와 같이, 코어링 처리는 휘도가 저하한다. 따라서, 실시형태 1에 있어서의 복수 단의 공간 필터 중, 임의의 공간 필터에 코어링 처리를 적용할 경우에도, 공간 필터의 이방성에 의해, 코어링 처리의 진폭 열화에 대한 게인 밸런스가 방향에 따라 달라, 이방성을 개선할 수 없다.

도 66은 코어링 처리에 의한 진폭 열화를 설명하는 도면이다. 도 66에 도시한 바와 같이, 코어링 처리가 적용됨으로써 휘도값의 진폭이 열화된다.

도 67은 코어링 처리를 적용한 화상의 분해능 분석 결과를 도시하는 도면이다. 도 67a는 제1단의 공간 필터의 필터링 후의 휘도값에 코어링 처리를 적용한 경우의 분해능 분석 결과를 도시한다. 도 67b는 제2단의 공간 필터의 필터링 후의 휘도값에 코어링 처리를 적용한 경우의 분해능 분석 결과를 도시한다. 도 67c는 제1단 및 제2단의 공간 필터의 필터링 후의 휘도값에 코어링 처리를 적용한 경우의 분해능 분석 결과를 도시한다.

도 67에 도시한 바와 같이, 이방성을 갖는 복수 단의 필터의 필터링에 진폭 열화를 동반하는 코어링 처리를 적용하면, 방향에 따라 게인 열화가 달라져 버리기 때문에, 이방성을 개선할 수 없다.

그래서, 이하에 설명하는 실시형태 2에서는, 필터링 후의 값의 절대치에 대하여, 절대치가 하한 임계치 이하이면, 게인을 0으로 설정하는 식으로 미리 정해진 게인을 결정한다. 절대치가 상한 임계치 이상이면 게인은 일정치로 설정되고, 임계치가 하한 임계치와 상한 임계치 사이이면 게인은 단계적으로 변화하게 된다.

도 68은 실시형태 2에 있어서의 휘도값의 입출력 관계의 일례를 도시하는 도면이다. 도 68에 도시한 바와 같이, 입력[in(dy)]이 임계치(-Th0) 이상과 임계치(Th0) 이하 사이이면 출력을 0으로 설정하고, 입력[in(dy)]이 임계치(Th1)보다 큰 경우에는 입출력이 같다. 또한, 입력이 임계치(Th0)와 임계치(Th1) 사이이면 출력이 단계적으로 변화한다.

<구성>

실시형태 2에 있어서의 촬상 장치는 실시형태 1에 있어서의 촬상 장치와 마찬가지이기 때문에, 같은 구성요소에는 동일한 부호를 이용하여 설명한다.

(필터 처리부)

이어서, 실시형태 2에 있어서의 필터 처리부(152)에 관해서 설명한다. 도 69는 실시형태 2에 있어서의 필터 처리부(152)의 개략 구성의 일례를 도시하는 블록도이다. 필터 처리부(152)에 관해서 설명한다. 필터 처리부(152)는 컨볼루션 연산부(301), 게인 결정부(601), 게인 승산부(602), 감산부(603) 및 필터 분석부(604)를 포함한다.

한편, 실시형태 2에 있어서의 필터 처리부(152)의 구성에서, 도 40에 도시하는 실시형태 1에 있어서의 구성과 같은 것은 동일한 부호를 붙인다.

게인 결정부(601)는 컨볼루션 연산된 휘도값의 절대치에 대하여 임계치 판정을 하여, 게인을 결정한다. 게인의 결정 처리는 후술한다.

게인 승산부(602)는 게인 결정부(601)에 의해 결정된 게인을 필터링 후의 휘도값에 승산한다. 또한, 게인 승산부(602)는 컨볼루션이 복수 단에서 수행되는 경우, 적어도 1회의 게인 승산을 행할 수도 있고, 복수 단 전체에서 게인 승산을 행할 수도 있다.

감산부(603)는 게인이 승산된 화상과 원화상 간의 차분을 산출한다. 전술한 처리가 복수 단의 수만큼 행해진다.

필터 분석부(604)는 복수 단의 공간 필터에 대하여 필터 계수에 기초한 필터 강도를 분석하고, 분석 결과에 기초하여, 게인을 승산하는 공간 필터를 결정한다. 예컨대, 필터 분석부(604)는 필터 강도가 가장 강한 공간 필터에서 필터링된 값에 대하여, 게인을 승산하도록 공간 필터를 결정한다. 한편, 필터 분석부(604)는 필터 처리부(152)에게 있어서 반드시 필요한 구성은 아니다. 또한, 필터 분석부(604)는 최대의 필터 계수와 최소의 필터 계수 간의 차가 클수록 필터 강도가 강하다고 판정하면 된다.

도 70은 실시형태 2에 있어서의 보정 화상의 생성 처리 (1)를 설명하는 도면이다. 도 70에 도시하는 예에서는, 제1단의 5×5 요소의 필터를 원화상에 컨벌루션하여 얻은 휘도값을 dy(in)로 표기한다. 게인 결정부(601)는 값(dy)에 따라 게인을 결정한다. 게인 승산부(602)는 결정된 게인을 "dy"에 승산한다.

게인이 승산된 dy는 원화상으로부터 감산된다. 감산 후의 원화상은 제2단의 필터링이 행해진다. 보정 화상은 감산 후의 원화상으로부터 제2단의 필터 처리의 결과를 감산하여 생성된다.

도 71은 실시형태 2에 있어서의 게인 결정 (1)을 설명하는 도면이다. 도 71에 도시한 바와 같이, 필터를 컨볼루션하여 얻은 값의 절대치(예컨대, Cth를 임계치 식별 계수라고도 칭함)에 대하여 2개의 임계치가 준비된다. Cth가 하한 임계치(Th0) 이하이면, 게인 결정부(601)는 게인을 0으로 설정한다. Cth가 상한 임계치(Th1) 이상이면, 게인 결정부(601)는 게인을 일정치(예컨대, 게인=1)로 설정한다. 또한, 게인 결정부(601)는 Cth가 하한 임계치(Th0)와 상한 임계치(Th1) 사이이면 게인을 단계적으로 변화하도록 설정한다. 이 결과, 입력(dy)과 출력(out)의 관계는 도 68에 도시한 바와 같이 된다.

<효과>

이어서, 실시형태 2에 따른 효과에 관해서 설명한다. 도 72는 실시형태 2에 있어서의 효과 (1)를 설명하는 도면이다. 도 72에 도시하는 "임계치 처리 없음"은 실시형태 1에서 수행된 처리의 결과를 나타낸다. 도 72에 도시하는 "임계치 처리 있음"은 실시형태 2에서 수행된 처리 결과를 나타낸다.

도 72a에 도시한 바와 같이, 진폭이 큰 부분에서는, "임계치 처리 있음"은 "임계치 처리 없음"과 비교하여 진폭 열화는 그다지 없다. 도 72b는 진폭의 변화가 임계치보다 작은 부분(평탄한 부분)을 확대한 도면이다. 도 72b에 도시한 바와 같이, 평탄한 부분에서는 "임계치 처리 있음"은 "임계치 처리 없음"과 비교하여 진폭이 강조되지 않음을 알 수 있다.

도 73은 실시형태 2에 있어서의 효과 (2)를 설명하는 도면이다. 도 73에 도시하는 "보정 전"은 원화상을 나타낸다.

도 73a에 도시한 바와 같이, 진폭이 큰 부분에서는, "임계치 처리 있음"은 "보정 전"에 대하여 분해능이 향상된다. 또한, 도 73b에 도시한 바와 같이, 평탄한 부분에서는, "임계치 처리 있음"은 게인을 0으로 설정하기 때문에, "보정 전"과 같은 값이며, 노이즈는 강조되지 않는다.

도 74는 실시형태 2에 있어서의 임계치 처리 후의 화상의 분해능 분석 결과를 도시하는 도면이다. 도 74에 도시한 바와 같이, 방향에 따른 분해능의 이방성의 개선 효과가 있다. 즉, 실시형태 2에서는, 분해능의 이방성을 개선하여, 평탄 부분에 있어서의 노이즈의 강조를 방지할 수 있다.

<동작>

이어서, 실시형태 2에 있어서의 화상 처리부(15)의 동작에 관해서 설명한다. 도 75는 실시형태 2에 있어서의 보정 화상 생성 처리의 일례를 도시하는 흐름도이다. 도 75에 도시하는 단계 S301에서, 컨볼루션 연산부(301)는 제1단의 필터링을 원화상에 대하여 수행한다.

단계 S302에서, 게인 결정부(601)는 제1단의 필터링 후의 값에 기초하여 게인을 결정한다. 게인 결정 처리에 관해서는 후술한다.

단계 S303에서, 게인 승산부(602)는 게인 결정부(601)에서 결정된 게인을 값(dy)에 승산한다.

단계 S304에서, 감산부(603)는 게인이 승산된 dy를 원화상으로부터 감산한다.

단계 S305에서, 컨볼루션 연산부(301)는 감산 처리가 행해진 원화상에 대하여 제2단의 필터링을 수행한다.

단계 S306에서, 감산부(603)는 제2단의 필터링 결과를 감산 처리가 행해진 원화상으로부터 감산하여, 보정 화상을 생성한다.

한편, 상기 처리에서는, 제1단의 필터링 후에 게인을 승산했지만, 후술하는 바와 같이 제2단의 필터링 후나 각 필터링 후에 게인을 승산하도록 하더라도 좋다.

도 76은 실시형태 2에 있어서의 게인 결정 처리 (1)의 일례를 도시하는 흐름도이다. 도 76에 도시하는 단계 S401에서, 게인 결정부(601)는 컨볼루션 처리 후의 값(dy)의 절대치(Cth)를 구한다.

단계 S402에서, 게인 결정부(601)는 절대치(Cth)가 상한 임계치(Th1) 이상인지 여부를 판정한다. Cth가 Th1 이상(Cth≥Th1)이라고 판정되면(단계 S402에서 "YES"), 처리는 단계 S403으로 진행하고, Cth가 Th1보다 작으면(Cth<Th1)(단계 S402에서 "NO"), 처리는 단계 S404로 진행한다.

단계 S403에서, 게인 결정부(601)는 출력 게인(Gain_t)을 "Gain"에 설정한다. "Gain"은 미리 설정된 값이며, 예컨대 1일 수 있다.

단계 S404에서, 게인 결정부(601)는 절대치(Cth)가 하한 임계치(Th0) 이하인지 여부를 판정한다. Cth가 Th0 이하(Cth≤Th0)라고 판정되면(단계 S404에서 "YES"), 처리는 단계 S405로 진행하고, Cth가 Th0보다 크고 Th1보다 작으면(Th0<Cth<Th1)(단계 S404에서 "NO"), 처리는 단계 S406으로 진행한다.

단계 S405에서, 게인 결정부(601)는 출력 게인(Gain_th)를 다음 식 (41)로부터 구한다.

단계 S406에서, 게인 결정부(601)는 출력 게인(Gain_th)을 0으로 설정한다.

도 77은 실시형태 2에 있어서의 게인 결정 처리 (2)의 일례를 도시하는 흐름도이다. 도 77에 도시하는 단계 S501에서, 게인 결정부(601)는 컨볼루션 처리 후의 값(dy)의 절대치(Cth)를 구한다.

단계 S502에서, 게인 결정부(601)는 절대치(Cth)가 하한 임계치(Th0) 이하인지 여부를 판정한다. 절대치(Cth)가 하한 임계치(Th0) 이하(Cth≤Th0)라고 판정되면(단계 S502에서 "YES"), 처리는 단계 S503으로 진행한다. 절대치(Cth)가 하한 임계치(Th0)보다 크면(Cth>Th0)(단계 S502에서 "NO"), 처리는 단계 S504로 진행한다.

단계 S503에서, 게인 결정부(601)는 출력 게인(Gain_th)을 다음 식 (42)로부터 구한다.

여기서, 출력 게인(Gain_th)은 Max치로 클리핑된다. Keisya=1/(Th1-Th0)×Gain

단계 S504에서, 게인 결정부(601)는 출력 게인(Gain_th)을 0으로 설정한다.

이상, 실시형태 2에 따르면, 분해능의 이방성을 개선하여 평탄 부분에 있어서의 노이즈의 강조를 방지할 수 있다.

(실시형태 2에 있어서의 변형예)

우선, 실시형태 2에 있어서의 게인 처리의 다른 구성에 관해서 설명한다. 도 78은 실시형태 2에 있어서의 보정 화상의 생성 처리 (2)를 설명하는 도면이다. 도 78에 도시하는 예에서는, 제2단의 5×5 요소의 필터를, 감산 처리가 행해진 원화상에 대하여 컨볼루션하여 얻은 휘도값을 값[dy(in)]으로 표기한다. 게인 결정부(601)는 "dy"의 값에 따라 게인을 결정한다. 게인 승산부(602)는 결정된 게인을 값(dy)에 승산한다.

제1단의 필터링 후의 화상은 원화상으로부터 감산된다. 감산 후의 원화상은 제2단의 필터링이 행해진다. 제2단의 필터링 후의 휘도값은 게인이 승산된다. 보정 화상은 감산 후의 원화상으로부터 게인 승산 후의 화상을 감산하여 생성된다.

한편, 필터 분석부(604)에 의해, 필터 계수에 기초하여 강도가 큰 필터가 결정되고, 게인 결정부(601) 및 게인 승산부(602)는 필터 분석부(604)에 의해 결정된 필터의 필터링 후에 각각 게인 결정 및 게인 승산을 수행할 수도 있다.

도 79는 실시형태 2에 있어서의 보정 화상의 생성 처리 (3)을 설명하는 도면이다. 도 79에 도시하는 예에서는, 제1단의 5×5 요소의 필터를 원화상에 대하여 컨볼루션하여 얻은 휘도값을 값(dy), 및 제2단의 5×5 요소의 필터를 감산 처리가 행해진 원화상에 대하여 컨볼루션하여 얻은 휘도값을 값[dy'(in)]으로 표기한다. 게인 결정부(601)는 dy 및 dy'의 값에 따라 게인을 결정한다. 게인 승산부(602)는 결정된 각 게인을 값(dy) 및 값(dy')에 승산한다.

제1단의 필터링 후의 값(dy)은 게인이 승산된 후, 원화상으로부터 감산된다. 감산 후의 원화상은 제2단의 필터링이 행해진다. 제2단의 필터링 후의 값(dy')은 게인이 승산된다. 보정 화상은 감산 후의 원화상으로부터 게인 승산 후의 화상을 감산하여 생성된다. 한편, 도 79에 도시하는 예는 제1단과 제2단의 필터 강도가 같은 정도인 경우에 적용되면 된다.

도 80은 실시형태 2에 있어서의 보정 화상의 생성 처리 (4)를 설명하는 도면이다. 도 80에 도시하는 예에서는, 제1단의 5×5 요소의 필터를 원화상에 컨볼루션하여 얻은 휘도값을 값(dy)으로 표기한다. 게인 결정부(601)는 dy의 값에 따라 게인을 결정한다. 게인 승산부(602)는 결정된 게인을 값(dy)에 승산한다.

이 때, 보정 화상의 강조 정도가 제어되는 경우에 게인의 값이 제1단과 제2단에서 같게 되는 것이 바람직하다. 따라서, 예컨대, 제1단에만 게인 처리가 행해지는 경우에, 게인 승산부(602)는 제2단 필터링에 대하여 제1단 필터링과 동일한 최대 게인(Gain)을 승산하면 된다.

또한, 제2단 필터링에만 게인 처리가 행해지는 경우에, 게인 승산부(602)는 제1단 필터링에 대하여 제2단 필터링과 동일한 최대 게인(Gain)을 승산하면 된다. 또한, 제1단과 제2단 모두 게인 처리가 행해지는 경우에, 게인 결정부(601)는 양쪽의 최대 게인(Gain)을 같은 값으로 하면 된다.

도 81은 실시형태 2에 있어서의 게인 결정의 다른 예에 관해서 설명하는 도면이다. 도 81a는 실시형태 2에 있어서의 게인 결정 (2)을 설명하는 도면이다. 도 81a에 도시한 바와 같이, 하한 임계치(Th0)가 0으로 설정되는 경우도 있다.

도 81b는 실시형태 2에 있어서의 게인 결정 (3)을 설명하는 도면이다. 도 81b에 도시한 바와 같이, 최상한 임계치(Th2)를 정의하고, 절대치(Cth)가 최상한 임계치(Th2) 이상으로 된 경우에, 게인 결정부(601)는 게인을 단계적으로 작게 결정할 수도 있다.

[실시형태 3]

이어서, 실시형태 3에 있어서의 화상 처리 장치에 관해서 설명한다. 실시형태 3에서는, 전술한 계수 분석부(10)의 처리와 실시형태 1 또는 실시형태 2의 화상 처리부(15)의 처리가 예컨대 CPU나 DSP에 의해 각각 수행되게 된다.

<구성>

도 82는 실시형태 3에 있어서의 화상 처리 장치의 개략 구성의 일례를 도시하는 블록도이다. 도 82에 도시하는 화상 처리 장치는 제어부(702)와, 주기억부(704)와, 보조 기억부(706)와, 통신부(708)와, 기록 매체 I/F부(710)와, 카메라 I/F부(712)를 포함한다. 각 부는 버스를 통해 서로 데이터를 송수신할 수 있도록 접속되어 있다. 화상 처리 장치는 예컨대 PC(Personal Computer), 서버, 스마트폰, 및 태블릿 단말 등의 정보 처리 기능이 장착될 수 있다.

제어부(702)는 컴퓨터 중에서 각 장치의 제어나 데이터의 연산, 가공을 행하는 CPU(Central Processing Unit) 등이다. 또한, 제어부(702)는 주기억부(704)나 보조 기억부(706)에 기억된 프로그램을 실행하는 연산 장치일 수 있다.

또한, 제어부(702)는 예컨대 보조 기억부(706)에 기억되는 계수 분석 처리나 화상 처리를 하기 위한 프로그램을 실행함으로써, 전술한 바와 같은 각 처리를 실행할 수 있다.

주기억부(704)는 ROM(Read Only Memory)이나 RAM(Random Access Memory) 등을 포함할 수 있으며, 제어부(702)가 실행하는 기본 소프트웨어인 OS나 애플리케이션 소프트웨어 등의 프로그램이나 데이터를 기억 또는 일시 기억하는 기억 장치이다.

보조 기억부(706)는 HDD(Hard Disk Drive) 등을 포함할 수 있으며, 애플리케이션 소프트웨어 등에 관련된 데이터를 기억하는 기억 장치이다. 또한, 보조 기억부(706)는 기록 매체(714) 등으로부터 취득된 계수 분석 처리나 화상 처리를 위한 프로그램을 기억할 수도 있다.

통신부(708)는 유선 또는 무선 통신을 수행할 수 있다. 통신부(708)는 예컨대 서버 등으로부터 복수의 화상을 취득하여, 예컨대 보조 기억부(706)에 복수의 화상을 기억시킬 수 있다.

기록 매체 I/F(인터페이스)부(710)는 USB(Universal Serial Bus) 등의 데이터 전송로를 통해 접속된 기록 매체(714)(예컨대, 플래시 메모리 등)와 화상 처리 장치 사이의 인터페이스이다.

또한, 기록 매체(714)에, 실시형태 1과 실시형태 2에서 설명한 계수 분석 처리 프로그램이나 화상 처리 프로그램을 저장하고, 이 기록 매체(714)에 저장된 프로그램은 기록 매체 I/F부(710)를 통해 화상 처리 장치에 인스톨될 수 있다. 이에 따라, 인스톨된 계수 분석 처리 프로그램과 화상 처리 프로그램은 화상 처리 장치에 의해 실행될 수 있다.

카메라 I/F부(712)는 카메라(716)와 통신하는 인터페이스이다. 카메라(716)로부터 촬상된 차트 화상이나 보정될 통상의 화상 등은 카메라 I/F부(712)에 의해 카메라(716)로부터 취득되어, 보조 기억부(706) 등에 기억된다.

카메라(716)는 도 6에 도시한 바와 같은 차트 화상이나 통상의 풍경이나 인물 등을 촬영할 수 있다. 촬영된 화상은 카메라 I/F부(712)를 통해 화상 처리 장치에 수신된다. 한편, 카메라(716)는 화상 처리 장치에 내장될 수도 있다.

이에 따라, 화상 처리 장치는 차트 화상을 취득하여 각 위치에서의 공간 필터를 산출하여, 보정 대상 화상에 대하여, 산출한 공간 필터를 이용하여 보정할 수 있다.

따라서, 전술한 계수 분석 처리나 화상 처리를 실현하기 위한 프로그램을 기록 매체(714)에 기억함으로써, 전술한 계수 분석 처리나 화상 처리를 컴퓨터에 실시하게 할 수 있다.

예컨대, 이 프로그램을 기록 매체에 기록하고, 이 프로그램이 기록된 기록 매체를 컴퓨터나 휴대 단말, 스마트폰, 태블릿 단말 등에 판독되게 하여, 전술한 계수 분석 처리나 화상 처리를 실현하게 하는 것도 가능하다.

한편, 기록 매체는, CD-ROM, 플렉시블 디스크, 광자기 디스크 등과 같이 정보를 광학적, 전기적 혹은 자기적으로 기록하는 기록 매체, ROM, 플래시 메모리 등과 같이 정보를 전기적으로 기록하는 반도체 메모리 등, 여러 가지 타입의 기록 매체를 이용할 수 있다. 또한, 기록 매체는 반송파 등의 일과성인 것을 포함하지 않는다.

또한, 차트의 예로서 도 83 내지 도 85의 차트를 이용할 수도 있다. 도 83은 차트 (1)의 예를 도시하는 도면이다. 도 83에 도시하는 차트는 적어도 2 방향으로 분해능을 분석할 수 있는 차트이다.

도 84는 차트 (2)의 예를 도시하는 도면이다. 도 84에 도시하는 차트는 방사상으로 온갖 방향으로 분해능을 분석할 수 있는 차트이다. 도 84에 도시하는 차트가 분해능 분석에 적합하다.

도 85는 차트 (3)의 예를 도시하는 도면이다. 도 85에 도시하는 차트는 중심부와 외측부에서 분해능이 다른 차트이다. 도 84에 도시하는 차트가 분해능 분석에 적합하지만, 도 83이나 도 85에 도시하는 차트로도 분해능의 이방성을 분석할 수 있다.

여기에 예시된 모든 예 및 특정 용어는 독자가 본 발명 및 상기 기술의 촉진에 대한 본 발명자에 의해 기여된 개념을 이해하는 것을 돕는 교시적인 목적에서 의도된 것이며, 본 발명의 우위성 및 열등성을 나타내는 것에 관한, 본 명세서의 어떠한 예의 구성, 그와 같은 특정의 예시된 예 및 조건에 한정하지 않도록 해석되어야 할 것이다. 본 발명의 실시형태는 상세히 설명되어 있지만, 본 발명의 정신 및 범위에서 벗어나지 않고, 여러가지 변경, 치환 및 수정을 이것에 가하는 것이 가능함을 이해해야 한다.

Claims (12)

1. 화상의 분해능에 이방성을 갖는 유한의 제1 공간 필터와, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 이용하여, 화상의 블러(blur) 크기보다 큰 요소수(number of elements)를 갖는 제2 공간 필터를 산출하도록 구성된 산출부;
   상기 제2 공간 필터로부터, 미리 정해진 요소수 이하를 갖는 복수의 공간 필터를 생성하도록 구성된 생성부; 및
   상기 복수의 공간 필터를 이용해서 입력 화상에 대해 필터링을 수행하여 보정 화상을 생성하도록 구성된 필터 처리부
   를 포함하는, 화상 처리 장치.
2. 제1항에 있어서, 상기 생성부는, 상기 제2 공간 필터를, 중심 요소의 값이 1이며 이 중심 요소 이외의 요소의 값이 0인 필터로부터 감산하여 산출된 제3 공간 필터로부터 복수의 공간 필터를 생성하도록 구성된 것인, 화상 처리 장치.
3. 제2항에 있어서, 상기 생성부는, 상기 제1 공간 필터로부터 추출된 제4 공간 필터와, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 이용하여 생성된 필터를, 중심 요소의 값이 1이며 이 중심 요소 이외의 요소의 값이 0인 다른 필터로부터 감산하여 제5 공간 필터를 산출하도록 구성되며,
   상기 생성부는 상기 제5 공간 필터와 상기 제3 공간 필터를 이용하여, 복수의 공간 필터를 생성하는 것인, 화상 처리 장치.
4. 제3항에 있어서, 상기 생성부는, 상기 제3 공간 필터와, 상기 제5 공간 필터 및 제6 공간 필터를 이용하여 생성된 필터와의 차가 최소치가 되게 제6 공간 필터를 산출하도록 구성되고,
   상기 미리 정해진 요소수보다 큰 크기를 갖는 상기 제5 공간 필터 또는 상기 제6 공간 필터가 있다면, 상기 생성부는 상기 제5 공간 필터 또는 상기 제6 공간 필터의 크기가 상기 미리 정해진 요소수 이하가 될 때까지, 복수의 공간 필터의 생성을 반복하는 것인, 화상 처리 장치.
5. 제1항에 있어서, 상기 화상의 블러 함수에 의해 블러 크기를 판정하도록 구성된 판정부를 더 포함하고,
   상기 산출부는, 상기 판정부에 의해 판정된 블러 크기보다 큰 요소수의 크기를 갖는 상기 제2 공간 필터를 산출하도록 구성된 것인, 화상 처리 장치.
6. 화상의 분해능에 이방성을 갖는 유한의 제1 공간 필터와, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 이용하여, 화상의 블러(blur) 크기보다 큰 요소수(number of elements)를 갖는 제2 공간 필터를 산출하도록 구성된 산출부;
   상기 제2 공간 필터로부터, 미리 정해진 요소수 이하를 갖는 복수의 공간 필터를 생성하도록 구성된 생성부;
   입력 화상에 대해 필터링을 수행하고, 상기 입력 화상으로부터 필터 처리 후의 화상을 감산하여 보정 화상을 생성하도록 구성된 필터 처리부;
   상기 복수의 공간 필터 중 임의의 공간 필터에 의한 필터링 후에 얻어진 값에 미리 정해진 게인을 곱하도록 구성된 곱셈부; 및
   상기 필터링 후의 값의 절대치가 하한 임계치 이하이면 상기 게인을 0으로 설정하고, 상기 절대치가 상한 임계치 이상이면 상기 게인을 일정치로 설정하도록 구성된 게인 결정부
   를 포함하고,
   상기 게인 결정부는 또한, 상기 절대치가 상기 하한 임계치와 상기 상한 임계치 사이에 있다면 상기 게인을 단계적으로 변하게 하여, 상기 미리 정해진 게인을 결정하도록 구성된 것인, 화상 처리 장치.
7. 삭제
8. 삭제
9. 삭제
10. 제6항에 있어서, 필터 계수에 기초해 필터의 강도를 분석하여 얻은 결과에 따라, 상기 복수의 공간 필터 중, 게인을 곱하기 위한 대상 공간 필터를 결정하도록 구성된 분석부를 더 포함하는, 화상 처리 장치.
11. 화상의 분해능에 이방성을 갖는 유한의 제1 공간 필터와, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 이용하여, 화상의 블러 크기보다 큰 요소수의 크기를 갖는 제2 공간 필터를 산출하는 단계;
    상기 제2 공간 필터로부터, 미리 정해진 요소수 이하를 갖는 복수의 공간 필터를 생성하는 단계; 및
    상기 복수의 공간 필터를 이용해서 입력 화상에 대해 필터링을 수행하여 보정 화상을 생성하는 단계
    를 포함하는, 정보 처리 방법.
12. 컴퓨터에 의해 실행될 때에,
    화상의 분해능에 이방성을 갖는 유한의 제1 공간 필터와, 요소의 값의 총합이 0이며 적어도 2개의 요소가 0이 아닌 값을 갖는 유한 필터를 이용하여, 화상의 블러 크기보다 큰 요소수의 크기를 갖는 제2 공간 필터를 산출하는 단계;
    상기 제2 공간 필터로부터, 미리 정해진 요소수 이하를 갖는 복수의 공간 필터를 생성하는 단계; 및
    상기 복수의 공간 필터를 이용해서 입력 화상에 대해 필터링을 수행하여 보정 화상을 생성하는 단계
    를 수행하는 프로그램을 기억한 컴퓨터 판독 가능한 기억 매체.

Images