KR20160103902A - 영상 처리 장치, 영상 처리 방법, 및 영상 처리 프로그램 - Google Patents

Abstract

영상 저리 장치는 취득부, 엣지 강도 산출부, 및 혼합부를 포함한다. 상기 취득부는 영상 데이터를 취득한다. 상기 엣지 강도 주목 화소를 기준으로 소정의 범위에 포함되는 주변 화소들 각각의 화소 값에 기초하는 기울기와 상기 주목 화소와 상기 주변 화소들 각각의 화소 값에 기초하는 분산 사이의 괴리도를 나타내는 계단 조 강도에 기초하여 엣지 강도를 산출한다. 상기 혼합부는 상기 주목 화소의 화소 값, 상기 소정의 범위에 포함되는 화소들 각각의 화소 값의 평균값, 및 상기 엣지 강도에 기초하여 산출된 혼합비에 따라서 혼합한다.

Description

영상 처리 장치, 영상 처리 방법, 및 영상 처리 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM}

본 발명은 영상 처리 장치, 영상 처리 방법, 및 프로그램에 관한 것이다.

최근에는, 디지털 스틸 카메라와 같은 촬상 장치가 널리 보급되어 있다. 이와 같은 촬상 장치 중에는, 역광 보정이나 HDR(High Dynamic Range) 등과 같은 이른바 다이나믹 레인지 압축 기술을 이용한 것도 있다. 이와 같은 촬상 장치에서는, 촬상 소자의 다이나믹 레인지보다도, 밝기의 레인지가 보다 넓은 피사체의 영상을 암부 및 명부 중의 어느 하나 또는 양쪽 모두의레인지를 악화시킴으로써 촬상하고 있다.

또한, 앞서 설명한 일부의 레인지가 악화된 영상의 시인성을 향상시키는 기술로서, 당해 영상에 대해 Retinex 이론을 응용한 영상 처리를 실시함으로써, 국소적인 다이나믹 레인지 보정을 행하는 기술이 있다. Retinex 이론을 응용한 영상 처리에서는, 입력 영상의 밝기 성분을 조명 광 성분과 반사율 성분으로 분리하고, 조명 광 성분에 대하여 변조를 실시한 후에, 변조 후의 조명 광 성분과 반사율 성분을 재합성함으로써, 국소적으로 다이나믹 레인지가 보정된 출력 영상을 얻는다.

JP 2003-8935 A

전술한, Retinex 이론을 응용한 영상 처리에서는, 조명광 성분을 추출하기 위해서, 입력 영상에 대해 평활화 필터를 적용하는 경우가 있다. 한편으로, 입력 영상에 대한 평활화 필터의 적용에 의해, 피사체와 배경 사이 경계의 근방에 원래 영상에는 없는 부자연스러운 영상 패턴(이른바, Halo 현상)이 발생하는 경우가 있다.

이와 같은 과제에 대해, 특허 문헌 1에는, Halo 현상의 발생을 억제하기 위하여 영상 처리 기술의 한 예로서, 평활화 필터로서 ε 필터를 적용하고, ε 값을 제어함으로써, 엣지를 유지하면서, 평활화를 행하는 기술이 개시되어 있다.

한편으로, 특허 문헌 1에 관련한 발명에서는, 배경과 피사체 사이의 경계(이후에는, 「계단 조의 엣지」라 부르는 경우가 있다)와, 피사체의 모양에 의해 명암이(계조) 변화하는 경계(이후에는, 「모양 조의 엣지」라 부르는 경우가 있다)가 구별되지 않고 처리된다. 그러므로, 예를 들어, 피사체가 해당 피사체의 모양에는 의존하지 않고, 일정하게 조명되고 있는 상황에서도, 특허 문헌 1에 개시된 기술은 특히 명암이 강한 모양 부분에서 엣지가 유지되고, 모양 자체가 조명광 성분으로서 취급되는 경우가 있다. 그러므로, 특허 문헌 1에 관련한 발명에서는, Halo 현상의 발생이 억제된 영상이 얻어질 수 있지만, 피사체의 모양의 부분에 있어서 콘트라스트가 저하되는 경우가 있다.

그래서, 본 발명은 상기 문제를 감안하여 이루어진 것으로, 본 발명이 목적으로 하는 것은 영상 중의 계단 조의 엣지와 모양 조의 엣지를 식별하여, 해당 영상에 대해 비선형 평활화 처리를 실시하는 것이 가능한 영상 처리 장치, 영상 처리 방법, 및 영상 처리 프로그램을 제공하는 것에 있다.

상기 과제를 해결하기 위해, 본 발명의 소정의 관점에 의하면, 영상 데이터를 취득하는 취득부; 취득된 상기 영상 데이터 중 주목 화소를 기준으로 소정의 범위에 포함되는 주변 화소들 각각의 화소 값에 기초하는 기울기와 상기 주목 화소와 상기 주변 화소들 각각의 화소 값에 기초하는 분산 사이의 괴리도를 나타내는 계단 조 강도에 기초하여, 엣지 강도를 산출하는 엣지 강도 산출부; 및 상기 주목 화소의 화소 값, 상기 소정의 범위에 포함되는 화소들 각각의 화소 값의 평균값, 및 상기 엣지 강도에 기초하여 산출된 혼합비에 따라서 혼합하는 혼합부;를 포함하는 것을 특징으로 하는 영상 처리 장치가 제공된다.

상기 소정의 범위에 포함되는 화소들 각각의 화소 값을 기초하여 상기 평균값을 산출하고, 해당 평균값에 기초하여 상기 분산을 산출하는 분산 산출부를 포함하고, 상기 혼합부는 상기 주목 화소의 화소 값, 상기 분산 산출부에 의해 산출된 해당 평균값, 및 상기 혼합비에 따라서 혼합할 수 있다.

상기 혼합부는 상기 주목 화소의 화소 값에 대해, 상기 혼합비에 따른 제 1 계수를 곱셈하는 제 1 곱셈부; 상기 평균값에 대해, 상기 혼합비에 따른 제 2 계수를 곱셈하는 제 2 곱셈부; 및 상기 제 1 곱셈부의 출력과, 상기 제 2 곱셈부의 출력을 덧셈하는 덧셈부;를 포함할 수 있다.

또한, 상기 과제를 해결하기 위해, 본 발명의 별도의 관점에 의하면, 영상 데이터를 취득하는 단계; 취득된 상기 영상 데이터 중 주목 화소를 기준으로 소정의 범위에 포함되는 주변 화소들 각각의 화소 값에 기초하는 기울기와, 상기 주목 화소와 상기 주변 화소들 각각의 화소 값에 기초하는 분산 사이의 괴리도를 나타내는 계단 조 강도에 기초하여 엣지 강도를 산출하는 단계; 및 상기 주목 화소의 화소 값, 상기 소정의 범위에 포함되는 화소 각각의 화소 값의 평균값, 및 상기 엣지 강도에 기초하여 산출된 혼합비에 따라서 혼합하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법이 제공된다.

또한, 상기 과제를 해결하기 위해, 본 발명의 별도의 관점에 의하면, 컴퓨터에 결합되어, 영상 데이터를 취득하는 단계; 취득된 상기 영상 데이터 중의 주목 화소를 기준으로 소정의 범위에 포함되는 주변 화소들 각각의 화소 값에 기초하는 기울기와, 상기 주목 화소와 상기 주변 화소들 각각의 화소 값에 기초하는 분산 사이의 괴리도를 나타내는 계단 조 강도에 기초하여 엣지 강도를 산출하는 단계; 및 상기 주목 화소의 화소 값, 상기 소정의 범위에 포함되는 화소들 각각의 화소 값의 평균값, 및 상기 엣지 강도에 기초하여 산출된 혼합비에 따라서 혼합하는 단계를 실행시키기 위하여 기억 매체에 저장된 컴퓨터 프로그램이 제공된다.

이상 설명한 바와 같이 본 발명에 의하면, 영상 중의 계단 조의 엣지와 모양 조의 엣지를 식별하여, 해당 영상에 대해 비선형 평활화 처리를 실시하는 것이 가능한 영상 처리 장치, 영상 처리 방법, 및 프로그램이 제공된다.

도 1은 본 발명의 실시예에 따른 영상 처리 장치의 기능 구성의 일 예를 나타낸 블록도이다.
도 2는 조명광 생성부에 의한 평활화 처리의 처리 결과의 일 예를 나타낸 도면이다.
도 3은 비교예에 따른 조명광 생성부의 기능 구성의 일 예를 나타낸 블록도이다.
도 4는 ε 값 조정부가 엣지 강도(KG)- ε 값 변환을 행하기 위한 함수의 일 예를 나타내고 있다.
도 5는 입력(II)의 일 예를 나타낸 도면이다.
도 6은 도 5에 도시된 입력(II)에 대해, 일차 미분 필터를 적용하여 기울기(∇)를 산출한 경우, 입력 영상의 화소마다 기울기(∇)의 변화의 일 예를 나타내고 있다.
도 7은 본 발명의 제 1 실시예에 따른 조명광 생성부의 기능 구성의 일 예를 나타낸 블록도이다.
도 8은 도 5에 도시된 입력(II)에 기초하여 산출된 입력 영상의 화소마다의 분산(σ2)에 기초하는 표준 편차(σ)의 변화의 일 예를 나타내고 있다.
도 9는 도 5에 도시된 입력(II)에 기초하여 산출된 입력 영상의 화소마다 계단 조 강도(KS)의 변화의 일 예를 나타내고 있다.
도 10은 도 5에 도시된 입력(II)에 기초하여 산출된 입력 영상의 화소마다 엣지 강도(KG)의 변화의 일 예를 나타내고 있다.
도 11은 같은 실시예에 따른 ε 값 조정부에 의한 ε 값의 조정에 관한 처리의 내용을 설명하기 위한 설명도이다.
도 12는 ε 값 조정부가 엣지 강도(KG)에 따라 ε 값을 설정하는 함수의 일 예를 나타내고 있다.
도 13은 ε 값 조정부가 엣지 강도(KG)에 따라 ε 값을 설정하는 함수의 다른 일 예를 나타내고 있다.
도 14는 ε 값 조정부가 엣지 강도(KG)에 따라 ε 값을 설정하는 함수의 다른 일 예를 나타내고 있다.
도 15는 같은 실시예에 따른 조명광 생성부의 일련의 처리 흐름을도시한 플로우차트이다.
도 16은 본 발명의 제 2 실시예에 따른 조명광 생성부의 기능 구성의 일 예를 도시한 블록도이다.
도 17은 엣지 강도(KG)-혼합비(KE) 변환을 수행하기 위한 변환 함수의 일 예를 도시한 도면이다.
도 18은 엣지 강도(KG)-혼합비(KE)변환을 수행하기 위한 변환 함수의 다른 일 예를 도시한 도면이다.
도 19는 혼합부의 개략적인 구성의 일 예에 대하여 도시한 도면이다.
도 20은 같은 실시예에 따른 조명광 생성부의 일련의 동작의 흐름의 일 예에 대하여 도시한 플로우차트이다.
도 21은 실시예에 따른 조명광 생성부의 회로 규모의 견적량의 일 예에 대하여 설명하기 위한 도면이다.

이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 붙임으로써, 중복 설명을 생략한다.

<1. 개요 : Retinex 이론을 응용한 영상 처리 장치>

본 발명의 하나의 실시 형태에 따른 영상 처리 장치의 특징을 보다 쉽게 이해하기 위해, 먼저, Retinex 이론을 응용한 영상 처리의 개요에 대해서 설명한다.

일반적으로, 디지털 카메라와 같은 촬상 장치에 의해 영상이 촬상되는 경우에, 촬상되는 자연의 광(光)의 밝기 레인지가 해당 촬상 장치에 설치된 촬상 소자의 다이나믹 레인지를 초과하는 경우가 있다. 그러므로, 해당 촬상 장치 중에는, 역광 보정이나 HDR 등과 같은 이른바 다이나믹 레인지 압축 기술을 이용하여, 촬상 소자의 다이나믹 레인지보다도, 밝기 레인지가 더 넓은 피사체의 영상을 촬상하는 것도 있다. 이와 같은 다이나믹 레인지 압축 기술을 이용한 촬상 장치에서는, 촬상되는 영상의 암부 및 명부 중의 어느 하나 또는 모두의 레인지를 저하시킴으로써, 촬상 소자의 다이나믹 레인지 보다, 밝기 레인지가 더 넓은 피사체 영상의 촬상을 가능하게 하고 있다.

이와 같이 하여 촬상된, 이른바 다이나믹 레인지가 저하된 영상의 시인성을 향상시키는 기술로서, Retinex 이론을 응용하는 것으로, 영상 처리로서 국소적인 다이나믹 레인지 보정을 실시하는 기술이 알려져 있다.

구체적으로, Retinex 이론에서는, 영상 중에 촬상된 광은 조명광 성분과 반사율 성분을 곱한 것으로 간주된다. 즉, 조명광 성분을 L, 반사율 성분을 R이라 한 경우에, 입력 영상의 밝기 성분(II)은 이하에 나타내는 (식 1)로 나타내는 것으로 된다.

이하, 설명의 편의를 위해 I는 II, L은 LL, R은 RR로 표시한다.

Retinex 이론을 응용한 국소적인 다이나믹 레인지 보정을 행하는 경우에는, 영상 처리 장치는 입력 영상의 밝기 성분(II)으로부터, 조명광 성분(LL)과 반사율 성분(RR)을 분리하여 처리한다. 또한, 이후에는, 입력 영상의 밝기 성분(II)을, 단지, 「입력(II)」로 기재하는 경우가 있다.

여기서, 도 1을 참조하여, 본 실시예에 따른 영상 처리 장치의 기능 구성의 한 예로서, Retinex 이론을 응용한 국소적인 다이나믹 레인지 보정을 수행하는 영상 처리 장치의 기능 구성의 일 예에 대하여 설명한다. 도 1은 본 발명의 실시예에 따른 영상 처리 장치의 기능 구성의 일 예를 나타낸 블록도이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 영상 처리 장치(1)는 조명광 생성부(10), 나눗셈부(30), 조명광 변조부(50), 및 곱셈부(70)를 포함한다.

조명광 생성부(10)는 입력(II)에 기초하여 조명광 성분(LL)을 생성하기 위한 구성이다. 구체적으로는, 조명광 생성부(10)는 입력(II)에 대해 평활화 처리를 실시함으로써(예를 들어, 평활화 필터를 적용함으로써), 해당 입력(II)으로부터 조명광 성분(LL)을 생성한다. 그리고, 조명광 생성부(10)는 생성한 조명광 성분(LL)을 나타내는 데이터를, 나눗셈부(30) 및 조명광 변조부(50)로 출력한다. 또한, 조명광 생성부(10)에 대한 세부사항을 별도로 후술한다.

나눗셈부(30)는 입력(II)에 기초하여 반사율 성분(RR)을 생성하기 위한 구성이다. 구체적으로는, 나눗셈부(30)는 조명광 생성부(10)로부터 조명광 성분(LL)을 나타내는 데이터를 취득하고, 전술한 (식 1)에 기초하여, 입력(II)을 취득한 조명광 성분(LL)으로 나눗셈함으로써, 반사율 성분(RR)을 산출한다. 그리고, 나눗셈부(30)는 산출한 반사율 성분(RR)을 나타내는 데이터를 곱셈부(70)로 출력한다.

조명광 변조부(50)는 조명광 생성부(10)로부터 입력(II)에 기초하여 생성된 조명광 성분(LL)의 데이터를 취득한다. 조명광 변조부(50)는 조명광 성분(LL)에 대해 국소적인 변조를 실시함으로써, 새로운 조명광 성분(LL’)(즉, 조명광 성분(LL)에 대해 국소적인 변조가 실시된 조명광 성분(LL’)을 생성한다. 그리고, 조명광 변조부(50)는 생성한 새로운 조명광 성분(LL')을 나타내는 데이터를 곱셈부(70)로 출력한다.

곱셈부(70)는 나눗셈부(30)로부터 출력되는 반사율 성분(RR)과, 조명광 변조부(50)로부터 출력되는 조명광 성분(LL’)(즉, 조명광 성분(LL)에 대해 국소적인 변조가 실시된 조명광 성분(LL’)을 곱함으로써 재합성한다. 그리고, 곱셈부(70)는 반사율 성분(RR)과 조명광 성분(LL')이 재합성되어 생성된 밝기 성분(II')에 기초하는 영상을 소정의 출력 위치에 출력 영상으로서 출력한다.

이상과 같이 하여, 영상 처리 장치(1)는 입력 영상에 대해 국소적으로 다이나믹 레인지가 보정된 출력 영상을 생성하여 출력한다. 이상, 도 1을 참조하여, 본 실시예에 따른 영상 처리 장치(1)의 기능 구성의 한 예로서, Retinex 이론을 응용한 국소적인 다이나믹 레인지 보정을 행하는 영상 처리 장치의 기능 구성의 일 예에 대하여 설명하였다.

<2. 제 1 실시예>

[2. 1. 개요]

이어서, 본 발명의 제 1 실시예에 따른 조명광 생성부(10)에 대해서 설명한다. 또한, 본 설명에서는, 본 실시예에 따른 조명광 생성부(10)의 특징을 보다 쉽게 이해하기 위해서, 종래의 구성에 기초하는 조명광 생성부(10)의 과제에 대해서 정리한다.

전술한 바와 같이, 조명광 생성부(10)는 입력(II)에 대해 평활화 처리를 실시함으로써(예를 들어, 평활화 필터를 적용함으로써), 해당 입력(II)으로부터 조명광 성분(LL)을 생성한다. 한편, 이 입력(II)에 대한 평활화 처리에 의해, 이른바 Halo 현상이 발생하는 경우가 있다. 이 Halo 현상은 피사체와 배경 사이의 경계에 있어서 밝기의 급격한 변화가 평활화 처리에 의해 평활화되고, 해당 경계 부근의 콘트라스트가 완화됨으로써 발생한다.

예를 들어, 도 2는 조명광 생성부(10)에 의한 평활화 처리 결과의 일 예를 나타낸 도면이고, 피사체와 배경 사이의 경계에 대해 평활화 처리를 한 경우에, 영상 중의 화소마다 밝기 강도 변화의 일 예를 입출력의 각각에 대하여 나타내고 있다. 또한, 본 설명에 있어서 밝기 강도는 예를 들어, 화소 값, 휘도 값, 또는 명도 값 등을 나타내는 것으로 한다. 이후의 설명에서는, 단지 「밝기 강도」로 표기 한 경우에는, 이들 중 어느 것에도 해당할 수 있는 것으로 한다. 도 2에 있어서 가로축은 영상 중의 화소의 위치를 나타내고, 세로축은 밝기 강도를 나타내고 있다. 또한, 도 2에 있어서, 참조 부호(II)는 입력 영상의 밝기 성분을 나타내고 있다. 또한, 참조 부호(LL)는 입력(II)에 대해 평활화 처리를 실시한 경우의 출력(즉, 생성된 조명광 성분)을 나타내고 있다.

도 2에 도시된 바와 같이, 입력(II)중 피사체와 배경 사이의 경계에 대해 평활화 처리가 실시되면, 해당 경계에 있어서 급격한 밝기 변화가 완화된 조명광 성분(LL)이 생성된다. 이와 같이, 피사체와 배경 사이의 급격한 밝기 변화가 완화됨으로써, 피사체와 배경 사이의 콘트라스트가 완화되고, Halo 현상으로서 표면화 될 수 있다.

여기서, 도 3을 참조하여, 상기에 설명한 바와 같은 Halo 현상의 발생을 억제하여 조명광 성분(LL)을 생성하는 조명광 생성부(10)의 일 예에 대하여, 비교예로서 이하에 설명한다. 도 3은 비교예에 따른 조명광 생성부의 기능 구성의 일 예를 도시한 블록도이다. 또한, 비교예에 따른 조명광 생성부(10)를 본 실시예에 따른 조명광 생성부(10)와 구별하기 위해서, 이후에는, 「조명광 생성부(10’)」로 기재하는 경우가 있다.

도 3에 도시된 비교예에 따른 조명광 생성부(10’)는 평활화 처리를 위한 필터로서 ε 필터를 적용하고, 엣지 강도에 따라서 해당 ε 필터의 ε 값을 제어하여 입력(II)에 대해 엣지를 유지하면서 평활화 처리를 실시한다.

구체적으로는, 도 3에 도시된 바와 같이, 비교예에 따른 조명광 생성부(10’)는 평활화 처리부(11)와 ε 값 제어부(19)를 포함한다. 또한, 평활화 처리부(11)가 이른바 ε 필터에 해당한다. 또한, ε 값 제어부(19)는 기울기 산출부(191)와 ε 값 조정부(193)를 포함한다.

기울기 산출부(191)는 입력(II)에 기초하여 입력 영상 중의 각 화소를 순차적으로 주목 화소로 하고, 주목 화소의 주변에 위치하는 주변 화소들 각각의 밝기 강도에 기초하여 기울기(∇)를 주목 화소마다 산출한다.

또한, 기울기 산출부(191)가 기울기(∇)를 산출하는 방법의 한 예로서, 이하의 (식 2)로서 나타내는 바와 같이, 일차 미분 필터를 적용하는 방법(이른바, 하이 패스 필터를 적용하는 방법)을 들 수 있다.

또한, (식 2)에 있어서, n은 주변 화소를 특정하기 위한 오퍼레이터 길이를 나타내고 있다. 또한, I(x-n, y) 및 I(x+n, y)는 오퍼레이터 길이를 n으로 한 경우에, 주목 화소에 대한 x 방향(예를 들어, 가로 방향)의 주변 화소의 밝기 성분을 나타내고 있다. 마찬가지로, I(x, y-n) 및 I(x, y+n)는 오퍼레이터 길이를 n으로 한 경우에 있어서, 주목 화소에 대한 y 방향(예를 들어, 세로 방향)의 주변 화소의 밝기 성분을 나타내고 있다. 또한, 오퍼레이터 길이(n) = 1 한 경우에는 탭 수는 3으로 되고, 오퍼레이터 길이(n) = 2로 한 경우에는 탭 수는 5가 된다.

또한, 다른 한 예로서, 기울기 산출부(191)는 이하의 (식 3)로서 나타내는 바와 같은, 평활화 효과를 갖게 한 대역 제한 필터를 적용하여 산출할 수 있다.

이상과 같이 하여, 기울기 산출부(191)는 입력 영상 중의 주목 화소마다, 해당 주목 화소의 주변 화소들 각각의 밝기 강도에 기초하여, 기울기(∇)를 산출한다. 그리고, 기울기 산출부(191)는 주목 화소마다 산출한 기울기(∇)를 ε 값 조정부(193)로 출력한다.

ε 값 조정부(193)는 입력 영상 중 주목 화소마다 산출된 기울기(∇)를 기울기 산출부(191)로부터 취득한다. ε 값 조정부(193)는 주목 화소마다 취득한 기울기(∇)(구체적으로는, 기울기(∇)의 절대값)를 해당 주목 화소의 엣지 강도(KG)로서 인식한다. 주목 화소의 좌표를 (x, y)로 하고, 상기 주목 화소의 기울기를 ∇(x, y)로 한 경우에, 상기 주목 화소의 엣지 강도 (KG(x, y))는 이하의 (식 4)로서 나타내는 관계식에 기초하여 도출된다.

그리고, ε 값 조정부(193)는 엣지 강도(KG)가 높을수록 ε 값을 작게 하고, 엣지 강도(KG)가 낮을수록 ε 값이 크게 되도록 엣지 강도(KG)를 ε 값으로 변환한다(즉, 엣지 강도(KG)-ε 값 변환을 행한다). 예를 들어, 도 4는 ε 값 조정부(193)가 엣지 강도(KG)-ε 값 변환을 수행하기 위한 함수(fε(KG))의 일 예를 나타내고 있다.

따라서, ε 값 조정부(193)는 주목 화소마다 해당 주목 화소의 엣지 강도(KG)에 따라서 ε 값을 산출하고, 산출한 ε 값을 평활화 처리부(11)로 출력한다.

평활화 처리부(11)는 입력 영상의 주목 화소마다 산출된 ε 값을 ε 값 조정부(193)로부터 취득하고, 취득한 ε 값에 기초하여, 주목 화소와 상기 주목 화소의 주변 화소에 대해 ε 필터를 적용한다. 이상과 같이 하여, 평활화 처리부(11)는 입력(II)에 대해 ε 필터를 적용함으로써, 평활화 처리를 실시하고, 평활화 처리 후의 밝기 성분을 조명광 성분(LL)으로서 출력한다.

이상과 같은 구성에 의해, 비교예에 따른 조명광 생성부(10')는 엣지로 판단되는 부분에서는 평활화의 효과를 낮춤으로써 해당 엣지를 유지하고, 엣지 이외의 부분에 대하여는 평활화의 효과를 높이도록, 입력(II)에 대해 비선형 평활화 처리를 실시한다. 이것에 의해, 비교예에 따른 조명광 생성부(10')는 Halo 현상의 발생을 억제하여 조명광 성분(LL)을 생성하는 것이 가능하다.

한편, 상술한 비교예에 따른 조명광 생성부(10')는 배경과 피사체 사이의 경계(이후에는, 「계단 조의 엣지」라 부르는 경우가 있다)와, 피사체의 모양에 의해 명암(계조)이 변화하는 경계(이후에는, 「모양 조의 엣지」라 부르는 경우가 있다)를 구별하는 것이 곤란하다. 그러므로, 조명광 생성부(10')는 계단 조의 엣지와 모양 조의 엣지를 구별하지 않은채 일정하게 엣지 강도(KG)를 산출하고, 상기 엣지 강도(KG)에 따라서 평활화 처리를 실시한다.

예를 들어, 도 5는 입력(II)의 일 예를 도시한 도면이고, 입력 영상 중의 화소마다 밝기 강도의 변화의 일 예를 도시하고 있다. 또한, 도 5에 도시된 예에서는, 설명을 쉽게 하기 위해 입력 영상의 x 방향(예를 들어, 횡 방향)에 대해서만 촛점을 맞추어, 입력 영상의 화소마다의 밝기 강도 변화를 도시하고 있다. 즉, 도 5의 가로축은 입력 영상의 x 방향에 따른 화소의 위치를 나타내고 있다. 또한, 도 5의 세로축은 각 화소의 밝기 강도를 나타내고 있다.

또한, 도 6은 도 5에 도시된 입력(II)에 대해, 일차 미분 필터를 적용하여 기울기()를 산출한 경우에, 입력 영상의 화소마다 기울기()의 변화의 일 예를 도시하고 있다. 즉, 도 6의 가로축은 도 5의 가로축과 대응하고, 입력 영상의 x 방향에 따른 화소의 위치를 나타내고 있다. 또한, 도 6의 세로축은 화소마다 산출된 기울기()를 나타내고 있다.

도 5에 도시된 예에 있어서, 참조 부호(v11a, v11b, v13a, v13b, v15a, 및 v15b)로서 도시된 부분은 입력 영상 중에 있어서, 계단 조의 엣지에 의해 명암이 크게 변화하고 있는 부분을 모식적으로 나타내고 있다. 또한, 참조 부호(v17)로서 도시된 부분은 모양 조의 엣지에 의해 명암이 크게 변화하고 있는 부분을 모식적으로 나타내고 있다. 또한, 도 6에 있어서, 참조 부호(v11a, v11b, v13a, v13b, v15a, v15b, 및 v17)에서 도시된 부분은 도 5에 있어서, 동일한 참조 부호가 부여된 입력 영상의 위치와 같은 위치에 대응하는 부분을 나타내고 있다.

도 6에 도시된 예에서는, 참조 부호(v15a 및 v15b)에서 나타낸 계단 조의 엣지와 참조 부호(v17)로 나타낸 모양 조의 엣지는 기울기()의 값이 거의 동일하다. 그러므로, 기울기()를 엣지(KG)로서 인식한 경우에, 조명광 생성부(10')는 참조 부호(v15a 및 v15b)에서 나타낸 계단 조의 엣지와 참조 부호(v17)에서 나타낸 모양 조의 엣지를 구별하는 것은 곤란하다.

여기서, 피사체의 모양에 따라 명암이 변화하는 부분(즉, 모양 조의 부분)은 해당 모양에 의존하지 않고, 일정하게 조명되어 있는 것으로 간주되고, 많은 경우에는 상기 모양 조의 부분은 엣지가 유지되지 않고, 평활화 처리가 실시되는 것이 바람직하다. 그러나, 비교예에 따른 조명광 생성부(10')는 피사체의 모양에 의해 명암이 변화하는 부분(즉, 모양 조의 엣지)에 대해서도, 계단 조의 엣지와 같이 유지한다. 그러므로, 비교예에 따른 조명광 생성부(10')에 의해 입력 영상을 처리한 경우에는, 평활화 처리에 의해 입력 영상의 피사체의 모양의 콘트라스트가 저하하고, 그 결과로서, 모양이 옅어진 것 같은 출력 영상이 출력되는 경우가 있다.

본 실시예에 따른 조명광 생성부(10)는 상기 문제를 감안하여 이루어진 것으로, 그 목적은 입력 영상 중에 있어서 계단 조의 엣지와 모양 조의 엣지를 식별하여, 상기 입력 영상에 대해 비선형 평활화 처리를 실시하는 것이 가능한 구조를 제공하는 것이다. 그래서, 이후에는 본 실시예에 따른 조명광 생성부(10)에 대해서, 보다 상세하게 설명한다.

[2. 2. 기능 구성]

도 7을 참조하여, 본 발명의 제 1 실시예에 따른 조명광 생성부(10)의 기능 구성의 일 예에 대하여 설명한다. 도 7은 본 실시예에 따른 조명광 생성부(10)의 기능 구성의 일 예를 도시한 블록도이다.

도 7에 도시된 바와 같이, 본 실시예에 따른 조명광 생성부(10)는 평활화 처리부(11)와, ε 값 제어부(13)를 포함한다. 또한, 평활화 처리부(11)에 대하여는, 전술한 비교예에 따른 조명광 생성부(10’)(도 3 참조)와 동일하기 때문에 상세한 설명은 생략한다. 또한, ε 값 제어부(13)는 기울기 산출부(131), 분산 산출부(133), 및 ε 값 조정부(135)를 포함한다.

기울기 산출부(131)는 전술한 비교예에 따른 조명광 생성부(10’)의 기울기 산출부(191)와 동일하다. 즉, 기울기 산출부(131)는 입력(II)를 기초하여, 입력 영상의 각 화소를 순차적으로 주목 화소로하여, 주목 화소의 주변에 위치하는 주변 화소들 각각의 밝기 강도에 기초하여 기울기(∇)를 각각의 주목 화소마다 산출한다.

또한, 기울기 산출부(131)는 필터 오퍼레이터를 이용한 콘볼루션 적분에 의해, 주목 화소마다 기울기(∇)를 산출할 수 있다. 예를 들어, 이하에 나타내는 (식 5)는 전술한 (식 2 혹은 식 3)으로 나타낸 일차 미분 필터를 콘볼루션 적분에 의해 나타낸 경우의 일 예이다.

또한, 상기에 나타낸 (식 5)에 있어서, W는 기울기(∇)를 산출하기 위한 오퍼레이터(이후에는, 「기울기 오퍼레이터」라 기재하는 경우가 있다)를 나타내고 있다. 예를 들어, 이하에 나타내는 (식 6)은 오퍼레이터 길이(n) = 1 로 한 경우에 있어서, 기울기 오퍼레이터(W)의 일 예를 나타내고 있다.

또한, 다른 한 예로서, 이하에 나타내는 (식 7)은 오퍼레이터 길이(n) = 2 로 한 경우에 있어서, 기울기 오퍼레이터(W)의 일 예를 나타내고 있다.

또한, (식 6) 및 (식 7)에 나타낸 기울기 오퍼레이터는 어디까지나 일 예고, 오퍼레이터 길이(n)나, 오퍼레이터의 각 계수는 적절하게 변경할 수 있다.

이상과 같이 하여, 기울기 산출부(131)는 입력 영상 중의 주목 화소마다, 해당 주목 화소의 주변 화소들 각각의 밝기 강도에 기초하여 기울기(∇)를 산출한다. 그리고, 기울기 산출부(131)는 주목 화소마다 산출한 기울기(∇)를 ε 값 조정부(135)로 출력한다.

분산 산출부(133)는 입력(II)에 기초하여, 입력 영상의 각 화소를 순차적으로 주목 화소하여, 주목 화소와 상기 주목 화소의 주변에 위치하는 주변 화소들 각각의 밝기 강도에 기초하여, 분산(σ2)을 주목 화소마다 산출한다.

여기서, 주목 화소의 좌표를 (x, y)로 하고, 좌표(x-i, y-j)에 위치하는 화소의 밝기 강도를 Ix-j, y-i 로 한 경우에, 주목 화소의 분산(σ2(x, y))은 이하에 나타내는 (식 8)에 기초하여 산출된다.

또한, 상기에 나타낸 (식 8)을 이하에 나타내는 (식 9)과 같이 전개할 수 있다.

… (식 9)

예를 들어, 도 8은 도 5에 나타낸 입력(II)에 기초하여 산출된 입력 영상의 화소마다 분산(σ2)에 기초하는 표준 편차(σ) 변화의 일 예를 도시하고 있다. 또한, 도 8에 도시된 예에서는, 도 6에 도시된 입력 영상의 화소마다 기울기(∇)와 단위를 같게하기 위해, 입력 영상의 화소마다 산출된 분산(σ2)에 기초하는 표준 편차(σ)의 변화로서 나타내고 있다. 즉, 도 8의 가로축은 도 5 및 도 6의 가로축과 대응하고, 입력 영상의 x 방향에 따른 화소의 위치를 나타내고 있다. 또한, 도 8의 세로축은 화소마다 산출된 표준 편차(σ)를 나타내고 있다. 또한, 표준 편차(σ)는 분산(σ2)의 제곱근에 의해 산출된다. 분산 산출부(133)는 분산(σ2)에 대체하여 표준 편차(σ)를 산출할 수 있다.

이상과 같이 하여, 분산 산출부(133)는 입력 영상의 주목 화소마다, 상기 주목 화소와 상기 주목 화소의 주변 화소들 각각의 밝기 강도에 기초하여 분산(σ2)을 산출한다. 그리고, 분산 산출부(133)는 주목 화소마다 산출한 분산(σ2)을 ε 값 조정부(135)로 출력한다.

ε 값 조정부(135)는 기울기 산출부(131)로부터 주목 화소마다 산출된 기울기(∇)를 취득한다. 또한, ε 값 조정부(135)는 분산 산출부(133)로부터 주목 화소마다 산출된 분산(σ2)을 취득한다.

여기서, 도 6에 도시된 화소마다의 기울기(∇)의 변화와 도 8에 도시된 화소마다의 표준 편차(σ)(바꾸어 말하면, 분산(σ2))의 변화를 각각 비교함으로써, 본 실시예에 따른 ε 값 조정부(135)의 특징에 대해서 설명한다.

도 6을 참조하여 전술한 바와 같이, 화소마다 산출된 기울기(∇)에만 촛점을 맞춘 경우에는, 참조 부호(v15a 및 v15b)에서 나타낸 계단 조의 엣지와 참조 부호(v17)에서 나타낸 모양 조의 엣지는 기울기(∇)의 값이 거의 동일하여 이들을 구별하는 것이 곤란하다.

이것에 대해, 화소마다 산출된 표준 편차(σ)에만 촛점을 맞춘 경우에는, 도 8에 도시된 바와 같이, 참조 부호(v15a 및 v15b)에서 나타낸 계단 조의 엣지와 참조 부호(v17)에서 나타낸 모양 조의 각 엣지는 표준 편차(σ)의 값이 다르기 때문에, 이들을 구별하는 것이 가능하다. 한편으로, 참조 부호(v13a 및 v153)로 나타낸 계단 조의 엣지와, 참조 부호(v17)로 나타낸 모양 조의 각 엣지는 표준 편차(σ)의 값이 거의 동일하여 이들을 구별하는 것은 곤란하다.

한편으로, 도 6 및 도 8을 비교하면 알 수 있는 바와 같이, 기울기(∇)와 표준 편차(σ)에서는 계단 조의 엣지와 모양 조의 엣지의 판별이 곤란한 부분에 차이가 발생한다. 이 차이는 기울기(∇)와 표준 편차(σ) 사이의 특성 차에 의한 것이고, 본 실시예에 따른 ε 값 조정부(135)는 이 특성 차를 이용하여 계단 조의 엣지와 모양 조의 엣지를 판별한다.

구체적으로는, 기울기(∇)는 주목 화소의 인접 또는 근방의 화소들 간의 차이를 나타내고 있다. 또한, 표준 편차(σ)는 전술한 (식 8)에서, 오퍼레이터 길이(m)에 기초하여 정의되는 범위의 변화를 나타내고 있다. 이상적인 상태에서는, 계단 조의 엣지는 표준 편차(σ)의 최대 값(정점)과 기울기(∇)의 절대값의 최대 값은 거의 동일한 값을 나타내는 경향이 있다. 이것에 대해, 모양 조의 엣지는 기울기(∇)의 절대값 보다도 표준 편차(σ) 쪽이 큰 값을 나타내는 경향이 있다. 그래서, 본 실시예에 따른 ε 값 조정부(135)는 기울기(∇)와 표준 편차(σ) 사이의 괴리도를 계단 조 강도(KS)로서 산출하고, 해당 계단 조 강도(KS)에 기초하여 계단 조의 엣지와 모양 조의 엣지를 판별한다.

예를 들어, 주목 화소의 좌표를 (x, y)로 한 경우에, 상기 주목 화소의 계단 조 강도(KS(x, y))는, 해당 주목 화소의 기울기(∇(x, y))와 표준 편차(σ(x, y))에 기초하여, 이하에 나타내는 (식 10)에 따라 산출된다.

또한, (식 10)에 있어서, k∇ 및 kσ는 기울기(∇(x, y))의 절대값과 표준 편차(σ(x, y))의 최대 값과의 비가 1 로 되도록 설정된 것으로, 기울기(∇(x, y)) 및 표준 편차(σ(x, y))의 각각에 대한 보정 계수(바꾸어 말하면, 정규화를 위한 계수)이다. 또한, 보정 계수(k)는 보정 계수(k∇ 및 kσ)를 정리한 것에 해당한다.

보정 계수(k∇ 및 kσ)는 미리 산출된 정수일 수 있다. 또한, 다른 한 예로서, 밝기 강도 차가 다른 복수의 이상적인 계단 조의 엣지의 데이터에 기초하여, ｜∇｜/σ을 1로 보정하게 하는 함수를 사전에 산출하고, 상기 함수를 보정 계수(k∇ 및 kσ)로서 설정할 수 있다.

또한, 상기에 나타낸 (식 10)을 일반화하면, 계단 조 강도(KS)는 이하에 나타내는 (식 11)로 나타내는 것으로 된다.

여기서, 계단 조 강도(KS)는 1 이하의 값으로 되고, 1에 가까울수록, 대응하는 주목 화소의 근방에서 밝기가 보다 가파르게 변화하고 있는 것을 나타내고 있다. 즉, 계단 조 강도(KS)가 1에 가까울수록, 대응하는 주목 화소가 계단 조의 엣지에 해당할 수 있는 것을 나타내고 있다.

또한, 상기에 나타낸 계단 조 강도(KS)의 산출식은 어디까지나 일 예고, 기울기(∇)와 표준 편차(σ)(바꾸어 말하면, 분산(σ2)) 사이의 괴리도를 나타내고 있으면, 계단 조 강도(KS)의 산출 방법은 상기의 예에 한정되지 않는다.

구체적인 일 예로서, ε 값 조정부(135)는 기울기(∇)의 제곱과 분산(σ2)과의 괴리도에 기초하여 계단 조 강도(KS)를 산출할 수 있다. 이 경우에는, 주목 화소의 좌표를 (x, y)로 한 경우에, 상기 주목 화소의 계단 조 강도(KS(x, y))는 상기 주목 화소에 있어서 기울기(∇(x, y))와 분산(σ2(x, y))에 기초하여, 이하에 나타내는 (식 12)에 따라 산출된다.

여기서, 상기에 나타낸 (식 12)를 일반화하면, 계단 조 강도(KS)는 다음과 같은 (식 13)에 기초하여 산출된다.

또한, 다른 한 예로서, ε 값 조정부(135)는 기울기(∇)의 제곱과 분산(σ2)의 차를 괴리도로하고, 상기 괴리도에 기초하여 계단 조 강도(KS)를 산출할 수 있다. 이 경우에는, 주목 화소의 좌표를 (x, y)로 한 경우에, 상기 주목 화소에 있어서 계단 조 강도(KS(x, y))는 상기 주목 화소에 있어서 기울기(∇(x, y))와 분산(σ2(x, y))에 기초하여 이하에 나타내는 (식 14)에 따라 산출된다.

여기서, 상기에 나타낸 (식 14)를 일반화하면, 계단 조 강도(KS)는 다음과 같은 (식 15)로 나타내는 것으로 된다.

이상과 같이 하여, ε 값 조정부(135)는 기울기(∇)와 표준 편차(σ)(바꾸어 말하면, 분산(σ2)사이의 괴리도에 기초하여 계단 조 강도(KS)를 산출한다. 예를 들어, 도 9는 도 5에 나타낸 입력(II)에 기초하여 산출된(즉, 도 6에 도시된 화소마다 기울기(∇)와 도 8에 도시된 화소마다 표준 편차(σ)에 기초하여 산출된) 입력 영상의 화소마다의 계단 조 강도(KS) 변화의 일 예를 도시하고 있다. 즉, 도 9의 가로축은 도 5, 도 6, 및 도 8의 가로축과 대응하고, 입력 영상의 x 방향에 따른 화소의 위치를 나타낸다. 또한, 도 9의 세로축은 화소마다 산출된 계단 조 강도(KS)를 나타낸다.

도 9를 참조하면 알 수 있는 바와 같이, 계단 조의 엣지(v11a, v11b, v13a, v13b, v15a, 및 v15b)와 모양 조의 각 엣지(v17)는 계단 조 강도(KS)가 크게 괴리되어 있다.

구체적인 일 예로서, 계단 조 강도(KS)를 산출 할 때, 기울기(∇)를 산출할 때의 오퍼레이터 길이(n)(예를 들어, (식 2)에 나타낸 변수(n))와, 분산(σ2)를 산출할 때의 오퍼레이터 길이(m)(예를 들어, (식 8)에 나타낸 변수(m))를 같은 값으로 설정한 다. 이 경우에는, 계단 조의 엣지에서는, 보정 계수(k∇ 및 kσ) 각각을 1로 하여도, 기울기(∇)의 절대값과 표준 편차(σ)에서는 거의 차이가 없고, 계단 조 강도(KS)는 약 1을 나타낸다. 이것에 대해, 모양 조의 엣지에서는, 기울기(∇)의 절대값이 표준 편차(σ)보다도 낮아지고, 계단 조의 엣지에 비해 계단 조 강도(KS)가 낮은 값을 나타낸다.

이와 같은 특성을 이용하여, ε 값 조정부(135)는 입력 영상 중의 주목 화소마다, 상기 주목 화소의 기울기(∇)의 절대값에 상기 주목 화소에 대해서 산출한 계단 조 강도(KS)를 곱함으로써, 모양 조의 엣지에 있어서 엣지 강도가 억제된 엣지 강도(KG)를 산출한다. 즉, 주목 화소의 좌표를 (x, y)로 한 경우에, 상기 주목 화소의 엣지 강도((KG)(x, y))는 상기 주목 화소의 기울기(∇(x, y))와 계단 조 강도(KS)를 기초하여, 이하에 나타내는 (식 16)에 따라 산출된다.

또한, 기울기(∇)를 산출할 때의 오퍼레이터 길이(n)와, 분산(σ2)을 산출할 때의 오퍼레이터 길이(m)는 n ≤ m가 되도록 설정하는 것이 바람직하다.

또한, 다른 일 예로, ε 값 조정부(135)는 이하의 (식 17)로서 나타내는 바와 같이, 입력 영상의 주목 화소마다, 상기 화소의 기울기(∇2)에 계단 조 강도(KS)를 곱함으로써, 엣지 강도(KG)를 산출할 수 있다.

이상과 같이 하여, ε 값 조정부(135)는 입력 영상의 주목 화소마다, 상기 주목 화소의 기울기(∇)와, 상기 주목 화소에 대해서 산출된 계단 조 강도(KS)에 기초하여 엣지 강도(KG)를 산출한다. 예를 들어, 도 10은 도 5에 도시된 입력(II)에 기초하여 산출된(즉, 도 6에 도시된 화소마다의 기울기(∇)와 도 9에 도시된 화소마다의 계단 조 강도(KS)에 기초하여 산출된) 입력 영상의 화소마다의 엣지 강도(KG) 변화의 일 예를 도시하고 있다. 즉, 도 10의 가로축은 도 5, 도 6, 및 도 9의 가로축과 대응하고, 입력 영상의 x 방향에 따른 화소의 위치를 나타내고 있다. 또한, 도 10의 세로축은 화소마다 산출된 엣지 강도(KG)를 나타내고 있다.

도 10에 도시된 바와 같이, 주목 화소마다 기울기(∇) 및 계단 조 강도(KS)에 기초하여 엣지 강도(KG)를 산출함으로써, 모양 조의 엣지(v17)가 억제되고, 계단 조의 엣지(v11a, v11b, v13a, v13b, v15a, 및 v15b)가 해당 엣지 강도(KG)로서 추출된다. 즉, ε 값 조정부(135)는 상기 기술한 바와 같이 산출된 엣지 강도(KG)에 기초하여, 계단 조의 엣지 및 모양 조의 엣지 중 계단 조의 엣지만이 유지되도록 ε 값을 조정한다(바꾸어 말하면, 엣지 강도(KG)-ε 값 변환을 행한다).

여기서, ε 값 조정부(135)에 의한 엣지 강도(KG)에 기초하는 ε 값의 조정에 관한 처리에 대하여, 도 11을 참조하면서 구체적인 예를 들어 설명한다. 도 11은 본 실시예에서, ε 값 조정부(135)의 ε 값의 조정에 따른 처리 내용에 대하여 설명하기 위한 설명도이다.

도 11의 상측 도면은 입력 영상의 화소마다 밝기 강도 변화의 일 예를 도시하고 있다. 또한, 도 11의 하측의 도면은 입력 영상의 주목 화소마다의 엣지 강도(KG) 변화의 일 예를 도시하고 있다. 도 11의 상측 및 하측의 도면 각각의 가로축은 입력 영상의 x 방향에 따른 화소의 위치를 나타내고 있다. 또한, 도 11의 상측의 도면의 세로축은 밝기 강도를 나타내고 있다. 또한, 도 11의 하측의 도면의 세로축은 엣지 강도(KG)를 나타내고 있다.

또한, 도 11에 있어서, 참조 부호(n)는 오퍼레이터 길이를 나타내고, 도 11에 도시된 예에서는, 기울기(∇)를 산출할 때의 오퍼레이터 길이(n)와, 분산(σ2)을 산출할 때의 오퍼레이터 길이(m)가, m = n의 관계를 만족하는 것으로 한다. 또한, 도 11에 도시된 예에서는, 화소의 위치(x) = 0의 부분이 계단 조의 엣지의 부분에 해당하고, x = ±1, ±2의 위치는 위치(x) = 0의 화소를 주목 화소로 한 경우에, x 방향에 따른 주변 화소의 일 예에 해당한다.

도 11에 도시된 예에서, ε 필터(즉, 평활화 처리부(11)에 의한 평활화 처리)의 오퍼레이터 길이(n) = 2로 한 경우에는, 화소의 위치(x)가 -2~+2의 범위에 있어서 Halo 현상이 발생할 수 있다. 그러므로, 도 11에 도시된 실시예의 경우에는, 화소의 위치(x)가 -2~+2의 범위에 있어서, ε 필터의 ε 값이 보다 낮아지도록(예를 들어, 최소가 되도록) 조정되는 것이 바람직하다.

그래서, ε 값 조정부(135)는 도 11의 하측의 도면에 도시된 바와 같이, 엣지 강도(KG)의 문턱값(thG)을 설정하고, 주목 화소마다 산출된 엣지 강도(KG)를 상기 문턱값(thG)과 비교한다. 예를들어, ε 값 조정부(135)는 엣지 강도(KG)가 문턱값(thG)을 초과하는 화소에 대하여는 ε 값을 최소 값(εMIN)으로 설정하고, 엣지 강도(KG)가 문턱값(thG) 이하인 화소에 대하여는 ε 값을 최대 값(εMAX)로 설정한다.

예를 들어, 도 12는 ε 값 조정부(135)가 엣지 강도(KG)에 따라 ε 값을 설정하기(즉, 엣지 강도(KG)- ε 값 변환을 행하기) 위한 함수(fε(KG))의 일 예를 나타내고 있다.

여기서, 비교를 위해, 도 13에, ε 값 조정부(135)가 엣지 강도(KG)- ε 값 변환을 행하기 위한 함수(fε(KG))의 다른 일 예에 대하여 나타낸다. 도 13에 도시된 예는, 비교예로서 전술한 조명광 생성부(10’)의 ε 값 조정부(193)와 동일한 방법(도 2 참조)으로, 엣지 강도(KG)- ε 값 변환을 행하는 경우의 함수(fε(KG))에 해당한다.

도 13에 도시된 바와 같이, 비교예에 따른 ε 값 조정부(193)에서는, ε 값의 최대 값(εMAX)와 최소 값(εMIN) 사이를 문턱값(thG1와 thG2)으로 구분되는 범위에서 선형 변조하고 있다. 이것은 비교예에 따른 ε 값 조정부(193)가 계단 조의 엣지와 모양 조의 엣지를 판별하는 것이 곤란하기 때문에 계단 조의 엣지와 모양 조의 엣지와 판별하지 않고, 일정하게 엣지 강도(KG)에 의해 ε 값을 제어해야 되기 때문이다.

이와 같은 특성으로부터, 비교예에 따른 ε 값 조정부(193)에 의하면, 예를 들어, 엣지 강도가 강한 모양 조의 엣지는 평활화되지 않고 유지되고, 엣지 강도가 약한 계단 조의 엣지에 대하여는 평활화되어 유지되지 않는다는 결과도 출력될 수 있다. 또한, 비교예에 따른 ε 값 조정부(193)에 의하면, 예를 들어, 도 11에 있어서 x = ±1, ±2의 위치에서 표시된 엣지 강도가 중 정도에서 상대적으로 낮은 화소에서는, 약간이지만 평활화 처리가 실시된다. 그러므로, 상기 화소에 있어서, 엣지가 유지되는 정도가 낮아지고, 해당 화소 부근에, 평활화 처리에 따른 약한 Halo 현상이 발생하는 경우가 있다.

이것에 대해, 본 실시예에 따른 ε 값 조정부(135)는 주목 화소마다 기울기(∇) 및 계단 조 강도(KS)에 기초하여 산출된 엣지 강도(KG)에 따라 ε 값을 조정한다. 이 엣지 강도(KG)는 전술한 바와 같이, 계단 조의 엣지의 부분에 있어서 높은 수치를 나타내고, 모양 조의 엣지의 부분을 포함하는 그 외의 부분에서는 낮은 수치를 나타내는 특성을 갖는다. 그러므로, ε 값 조정부(135)는 도 12에 도시된 바와 같은 문턱값(thG)에 기초하는 문턱값 처리에 의해, 엣지 강도(KG)-ε 값 변환을 수행하는 것이 가능하게 된다.

또한, 전술한 엣지 강도(KG)의 특성으로부터, 본 실시예에 따른 ε 값 조정부(135)에서는, 문턱값(thG)을 비교적 낮은 값(적어도, 도 13에 나타내는 문턱값(thG2) 보다도 낮은 값)으로 설정하는 것이 가능하다. 그러므로, 본 실시예에 따른 ε 값 조정부(135)에 의하면, 예를 들어, 도 11에 있어서 x = ±1, ±2의 위치에 표시된 엣지 강도가 중간 정도로부터 비교적 낮은 화소에 있어서도 엣지를 유지하는 것이 가능하게 된다.

또한, 도 12에 나타내는 함수(fε(KG))는 어디까지나 일 예이고, 본 실시예에 따른 ε 값 조정부(135)는 주목 화소마다 기울기(∇) 및 계단 조 강도(KS)에 기초하여 산출된 엣지 강도(KG)에 대해, 도 13에 도시된 바와 같은 함수(fε(KG))를 적용할 수 있다. 또한, 다른 한 예로서, ε 값 조정부(135)는 주목 화소마다 기울기(∇) 및 계단 조 강도(KS)에 기초하여 산출된 엣지 강도(KG)에 대해, 도 14에 도시된 바와 같은 함수(fε(KG))를 적용함으로써, 엣지 강도(KG)-ε 값 변환을 수행할 수도 있다. 도 14는 ε 값 조정부(135)가 엣지 강도(KG)에 따라서 ε 값을 설정하기(즉, 엣지 강도(KG)- ε 값 변환을 행하기) 위한 함수(fε(KG))의 다른 일 예를 나타내고 있다.

이상과 같이 하여, ε 값 조정부(135)는 입력 영상의 주목 화소마다 산출된 엣지 강도(KG)에 따라서, 해당 주목 화소마다 ε 값을 설정하고, 설정된 ε 값을 평활화 처리부(11)로 출력한다.

또한, 이후의 처리에 대하여는, 전술한 비교예에 따른 조명광 생성부(10’)와 동일하다. 즉, 평활화 처리부(11)는 입력 영상의 주목 화소마다 산출된 ε 값을 ε 값 조정부(135)로부터 취득하고, 취득한 ε 값에 기초하여, 주목 화소와 상기 주목 화소의 주변 화소들에 대해 ε 필터를 적용한다. 이상과 같이 하여, 평활화 처리부(11)는 입력(II)에 대해 ε 필터를 적용함으로써 평활화 처리를 실시하고, 평활화 처리 후의 밝기 성분을 조명광 성분(LL)으로서 출력한다.

이상, 도 7 내지 도 14를 참조하여, 본 실시예에 따른 조명광 생성부(10)의 기능 구성의 일 예에 대하여 설명하였다.

[2. 3. 처리]

이어서, 도 15를 참조하여, 본 실시예에 따른 조명광 생성부(10)의 일련의 처리 흐름에 대하여 설명한다. 도 15는 본 실시예에 따른 조명광 생성부(10)의 일련의 처리 흐름을 나타낸 플로우차트이다.

(스텝 S101)

기울기 산출부(131)는 입력(II)에 기초하여 입력 영상의 각 화소를 순차적으로 주목 화소로하여, 주목 화소의 주변에 위치하는 주변 화소들 각각의 밝기 강도에 기초하여 기울기(∇)를 주목 화소마다 산출한다. 또한, 기울기 산출부(131)는 필터 오퍼레이터를 이용한 콘볼루션 적분에 의해, 주목 화소마다 기울기(∇)를 산출할 수 있다. 또한, 기울기(∇)에 대하여는, 예를 들어, 전술한 (식 2) 및 (식 3) 중의 어느 하나에 기초하여 산출하는 것이 가능하다. 그리고, 기울기 산출부(131)는 주목 화소마다 산출한 기울기(∇)를 ε 값 조정부(135)로 출력한다.

(스텝 S103)

분산 산출부(133)는 입력(II)에 기초하여, 입력 영상의 각 화소를 순차적으로 주목 화소로서, 주목 화소와 상기 주목 화소의 주변에 위치하는 주변 화소들 각각의 밝기 강도에 기초하여, 분산(σ2)을 주목 화소마다 산출한다. 또한, 분산(σ2)에 대하여는 예를 들어, 전술한 (식 8)에 기초하여 산출하는 것이 가능하다. 그리고, 분산 산출부(133)는 주목 화소마다 산출한 분산(σ2)을 ε 값 조정부(135)로 출력한다.

(스텝 S105)

ε 값 조정부(135)는 기울기 산출부(131)로부터 주목 화소마다 산출된 기울기(∇)를 취득한다. 또한, ε 값 조정부(135)는 분산 산출부(133)로부터 주목 화소마다 산출된 분산(σ2)을 취득한다. ε 값 조정부(135)는 주목 화소마다 취득한 기울기(∇)와 표준 편차(σ) 사이의 괴리도에 기초하여 계단 조 강도(KS)를 산출한다. 또한, 계단 조 강도(KS)에 대하여는, 예를 들어, 전술한 (식 10), (식 12), 및 (식 14) 중의 어느 하나에 기초하여 산출하는 것이 가능하다.

(스텝 S107)

이어서, ε 값 조정부(135)는 주목 화소마다, 해당 주목 화소에 있어서 기울기(∇)와 상기 주목 화소에 대해서 산출한 계단 조 강도(KS)에 기초하여, 엣지 강도(KG)를 산출한다. 또한, 엣지 강도(KG)에 대하여는, 예를 들어, 전술한 (식 16) 및 (식 17) 중의 어느 하나에 기초하여 산출하는 것이 가능하다.

(스텝 S109)

주목 화소마다 엣지 강도(KG)를 산출하면, ε 값 조정부(135)는 주목 화소마다 상기 엣지 강도(KG)를 소정의 문턱값(thG)과 비교하고, 상기 비교 결과에 따라서 상기 주목 화소에 대한 ε 값을 설정한다. 구체적인 한 예로서, ε 값 조정부(135)는 도 12에 나타낸 함수(fε(KG))에 기초하여, 엣지 강도(KG)가 문턱값(thG)을 초과하는 화소에 대하여는 ε 값을 최소 값(εMIN)으로 설정하고, 엣지 강도(KG)가 문턱값(thG) 이하인 화소에 대하여는 ε 값을 최대 값(εMAX)으로 설정한다.

상기 기술한바와 같이 하여, ε 값 조정부(135)는 입력 영상의 주목 화소마다 산출된 엣지 강도(KG)에 따라서, 상기 주목 화소마다 ε 값을 설정하고, 설정된 ε 값을 평활화 처리부(11)로 출력한다.

그리고, 평활화 처리부(11)는 입력 영상의 주목 화소마다 산출된 ε 값을 ε 값 조정부(135)로부터 취득하고, 취득한 ε 값에 기초하여, 주목 화소와, 해당 주목 화소의 주변 화소에 대해 ε 필터를 적용한다. 이상과 같이 하여, 평활화 처리부(11)는 입력(II)에 대해 ε 필터를 적용함으로써, 평활화 처리를 실시하고, 평활화 처리 후의 밝기 성분을 조명광 성분(LL)으로서 출력한다.

이상, 도 15를 참조하여, 본 실시예에 따른 조명광 생성부(10)의 일련의 처리 흐름의 일 예에 대하여 설명하였다.

또한, 상술한 일련의 동작, 즉, 입력 영상의 주목 화소마다 기울기(∇)와 분산(σ2) 사이의 괴리도를 나타내는 계단 조 강도(KS)에 기초하여 엣지 강도(KG)를 산출하고, 상기 엣지 강도(KG)에 따라서 설정된 ε 값에 기초하여, 상기 입력 영상에 대해 평활화 처리를 실시하는 방법이 「영상 처리 방법」의 일 예에 해당한다.

또한, 상술한 일련의 동작은 표시 장치(10)의 장치의 각 구성을 동작시키는 CPU를 작동시키기 위한 프로그램에 의해 달성할 수 있다. 이 프로그램은 그 장치에 인스톨된 OS(Operating System)를 통하여 실행되도록 구성할 수 있다. 또한, 이 프로그램은 상술한 처리를 실행하는 구성이 포함되는 장치가 읽기 가능하면, 저장되는 위치에 한정되지 않는다. 예를 들어, 장치의 외부로부터 접속되는 기록 매체에 프로그램이 저장될 수도 있다. 이 경우에는 프로그램이 저장된 기록 매체를 장치에 접속함으로써, 그 장치의 CPU가 상기 프로그램을 실행시키도록 구성하면 된다.

[2. 4. 정리]

이상 설명한 바와 같이, 본 발명의 제 1 실시예에 따른 조명광 생성부(10)는 주목 화소마다 기울기(∇)와 분산(σ2)(바꾸어 말하면, 표준 편차(σ))를 산출하고, 상기 기울기(∇)와 분산(σ2) 사이의 괴리도에 기초하여 계단 조 강도(KS)를 산출한다. 그리고, 조명광 생성부(10)는 상기 기울기(∇)와 상기 계단 조 강도(KS)에 기초하여 엣지 강도(KG)를 산출하고, 상기 엣지 강도(KG)에 기초하여 ε 값을 조정한다. 또한, 이 엣지 강도(KG)는 전술한 바와 같이, 계단 조의 엣지의 부분에 있어서 높은 수치를 나타내고, 모양 조의 엣지의 부분을 포함하는 그 외의 부분에서는 낮은 수치를 나타낸다는 특성을 갖는다. 그러므로, 조명광 생성부(10)는 입력 영상의 계단 조의 엣지와 모양 조의 엣지를 판별하고, 예를 들어, 계단 조의 엣지에 대하여는 평활화의 효과를 낮추고, 모양 조의 엣지를 포함하는 다른 부분에 대하여는 평활화의 효과를 높이도록, 비선형 평활화 처리를 실시하는 것이 가능하게 된다.

<3. 제 2 실시예>

[3. 1. 개요]

이어서, 본 발명의 제 2 실시예에 따른 조명광 생성부에 대해서 설명한다. 전술한 제 1 실시예에 따른 조명광 생성부(10)에서는 ε 필터의 출력 값을 조명광 성분으로 하고 있다.

ε 필터의 참조 화소 범위가 비교적 넓은 경우에는, 평활화 계수로서, 예를 들어, 통계학 등에서 사용되는 가우시안 특성에 기초하는 가중 평균 계수 등을 사용하는 경우가 있다. 그 한편으로, ε 필터의 참조 화소 범위가 넓어질수록 처리 코스트는 증대하는 경향이 있고, 해당 처리 코스트의 증대에 따라 회로 규모도 증대하는 경우가 있다.

여기서, 본 실시예에 따른 조명광 생성부의 특징에 대해서 보다 쉽게 이해하기 위해, 주목 화소(x, y)의 화소 값(Ix, y)에 기초하여 조명광 성분((LL)(x, y))을 산출하기 위한 ε 필터의 처리 내용을 나타내는 계산식의 일 예를 (식 18)로서 나타낸다.

또한, 상기에 나타낸 (식 18)에 있어서, 계수(W)는 계수 총합이 1이 되도록 가중치를 준 가중 평균 필터 계수이다. 또한, 함수 F(z)는 주목 화소와 참조 화소 사이의 차분 값을 수집하고, 주목 화소에 더함으로써, 평활화 필터로서 작용한다. 또한, 상기에 나타내는 (식 18)에서는, 차분 값이 ε 값보다도 큰 경우에 참조 화소 정보를 출력 결과에 반영시키지 않음으로써 엣지를 유지하고 있다.

상기에 나타내는 바와 같이, ε 필터는 주목 화소와 각 참조 화소 사이의 차분 값을 산출하는 공정과 차분 값과 ε 값과의 비교를 행하는 공정을 수반하기 때문에, 비교적 많은 코스트를 필요로 하고, 회로 규모도 비교적 커지는 경향이 있다.

최근에는, 스마트폰과 같이 휴대 가능한 소형의 단말이 보급되어 있고, 이와 같은 단말에서는 내장되는 회로의 규모도 제한되어 있다.

그래서, 본 발명의 제 2 실시예로서, 제 1 실시예에 따른 조명광 생성부(10)와 마찬가지로, 계단 조의 엣지와 모양 조의 엣지를 식별하여 비선형 처리를 실시하는 것이 가능하고, 회로 규모를 더 억제하는 것이 가능한 조명광 생성부의 일 예에 대하여 설명한다. 또한, 이후에는, 본 실시예에 따른 조명광 생성부를 전술한 제 1 실시예에 따른 조명광 생성부(10)와 구별하기 위해서, 「조명광 생성부(20)」라 기재하는 경우가 있다.

[3. 2. 기능 구성]

먼저, 도 16을 참조하여, 본 실시예에 따른 조명광 생성부(20)의 기능 구성의 일 예에 대하여 설명한다. 도 16은 본 실시예에 따른 조명광 생성부(20)의 기능 구성의 일 예를 나타낸 블록도이다.

도 16에 나타내는 바와 같이, 본 실시예에 조명광 생성부(20)는 혼합부(21)와 혼합비 제어부(23)를 포함한다. 또한, 혼합비 제어부(23)는 기울기 산출부(231), 분산 산출부(233), 엣지 강도 산출부(235), 및 혼합비 산출부(237)를 포함한다.

기울기 산출부(231)는 입력(II)에 기초하여, 입력 영상의 각 화소를 순차적으로 주목 화소로서, 주목 화소의 주변에 위치하는 주변 화소들 각각의 밝기 강도에 기초하여, 기울기 오퍼레이터(W)를 사용하여 기울기(∇)의 제곱 값을 주목 화소마다 산출한다. 또한, 기울기 산출부(231)가 기울기(∇)를 산출하는 기본적인 구조는 전술한 제 1 실시예에 따른 기울기 산출부(131)와 동일하다. 예를 들어, 이하에 나타내는 (식 19)는 오퍼레이터 길이(n) = 2로 한 경우의 기울기 오퍼레이터(W)의 일 예를 나타내고 있다.

또한, 이하에 나타내는 (식 20)은 오퍼레이터 길이(n) = 2로 한 경우의 기울기 오퍼레이터(W)의 다른 일 예를 나타내고 있다.

물론, 상기에 (식 19) 및 (식 20)로서 나타낸 기울기 오퍼레이터(W)는 어디까지나 일 예이고, 반드시 상기에 나타낸 식에는 한정되지 않는다. 즉, 통과 대역이 조정됨으로써, 기울기 오퍼레이터(W)로서, (식 19) 및 (식 20) 이외의 다른 계수 값이 사용될 수 있다.

또한, 기울기 산출부(231)는 상기에 나타낸 기울기 오퍼레이터(W)를 이용한 콘볼루션 적분에 의해, 주목 화소마다 기울기(∇)의 제곱 값인 ∇2를 산출한다. 또한, 이후의 설명에서는, 기울기(∇)의 제곱 값(∇2)을 단지, 「기울기(∇2)」로 기재하는 경우가 있다. 예를 들어, 이하에 나타내는 (식 21)은 기울기 오퍼레이터(W)를 이용한 콘볼루션 적분에 의해, 기울기(∇2)를 산출하는 계산식의 일 예를 나타내고 있다. 또한, (식 21)에 있어서 (W’)은 기울기 오퍼레이터(W)를 90도 회전시킨 계수를 나타내고 있다.

이상과 같이 하여, 기울기 산출부(231)는 입력 영상 중의 주목 화소마다, 해당 주목 화소의 주변 화소 각각의 밝기 강도에 기초하여 기울기(∇2)를 산출한다. 그리고, 기울기 산출부(231)는 주목 화소마다 산출한 기울기(∇2)를 엣지 강도 산출부(235)로 출력한다.

분산 산출부(233)는 입력(II)에 기초하여 입력 영상의 각 화소를 순차적으로 주목 화소로하여, 주목 화소와 상기 주목 화소의 주변에 위치하는 주변 화소들 각각의 밝기 강도의 평균값(AA)을 주목 화소마다 산출하고(즉, 이동 평균을 산출하고), 상기 평균값(AA)에 기초하여 분산(σ2)를 주목 화소마다 산출한다.

여기서, 주목 화소의 좌표를 (x, y)로 한 경우에, 상기 주목 화소(x, y)에 대응하는 평균값(A(x, y))은 오퍼레이터 길이를 n, 좌표(x, y)에 위치하는 화소의 밝기 강도를 Ix, y로 한 경우에, 콘볼루션 적분으로 나타내면, 이하에 나타내는 (식 22)로 나타내진다.

또한, 평균값(AA)을 산출할 때의 오퍼레이터 길이(n)(바꾸어 말하면, 참조 화소 범위)에 대하여는, 조명광 생성부(20)가 마련된 기기의 회로 규모에 따라서 설정할 수 있다.

또한, 주목 화소의 좌표를 (x, y)로 하고, 좌표(x-i, y-j)에 위치하는 화소의 밝기 강도를 Ix-j, y-i로 한 경우에, 해당 주목 화소(x, y)에 대응하는 분산(σ2)은 이하에 나타내는 (식 23)에 기초하여 산출된다.

이상과 같이 하여, 분산 산출부(233)는 입력 영상의 주목 화소마다 상기 주목 화소와 상기 주목 화소의 주변 화소들 각각의 밝기 강도에 기초하여 평균값(AA)을 주목 화소마다 산출하고, 상기 평균값(AA)에 기초하여 분산(σ2)을 주목 화소마다 산출한다. 그리고, 분산 산출부(233)는 주목 화소마다 산출한 분산(σ2)을 엣지 강도 산출부(235)로 출력한다. 또한, 분산 산출부(233)는 분산(σ2)을 산출하는 과정에 있어서, 주목 화소마다 산출한 평균값(AA)(즉, 이동 평균)을 혼합부(21)로 출력한다.

엣지 강도 산출부(235)는 기울기 산출부(231)로부터 주목 화소마다 산출된 기울기(∇2)를 취득한다. 또한, 엣지 강도 산출부(235)는 분산 산출부(233)로부터 주목 화소마다 산출된 분산(σ2)을 취득한다. 엣지 강도 산출부(235)는 취득한 기울기(∇2)와 분산(σ2) 사이의 괴리도를 계단 조 강도(KS)로서 산출한다.

예를 들어, 주목 화소의 좌표를 (x, y)로 한 경우에, 상기 주목 화소의 계단 조 강도(KS(x, y))는 해당 주목 화소의 기울기(∇2(x, y))와 분산(σ2(x, y))에 기초하여 이하에 나타내는 (식 24)에 따라 산출된다.

또한, 상기 (식 24)로서 나타낸 예에서는, 엣지 강도 산출부(235)는 ∇2(x, y)/σ2(x, y)가 1을 초과하지 않도록, 해당 ∇2(x, y)/σ2(x, y)의 산출 값을 1로 클립하고 있다. 또한, 다른 일 예로서, 엣지 강도 산출부(235)는 ∇2(x, y)/σ2(x, y)의 산출 값을 정규화함으로써, 상기 ∇2(x, y)/σ2(x, y)가 1을 초과하지 않도록 제어할 수 있다.

이어서, 엣지 강도 산출부(235)는 입력 영상의 주목 화소마다, 상기 주목 화소의 기울기(∇2)에 대해, 상기 주목 화소에 대해서 산출한 계단 조 강도(KS)를 곱합으로써, 모양 조의 엣지에 있어서 엣지 강도가 억제된 엣지 강도(KG)를 산출한다. 여기서, 주목 화소의 좌표를 (x, y)로 한 경우에, 상기 주목 화소의 엣지 강도((KG(x, y))는 상기 주목 화소의 기울기(∇2(x, y))와 계단 조 강도(KS)를 기초하여 이하에 나타내는 (식 25)에 기초하여 산출된다.

또한, 상기에 나타낸 (식 25)에 기초하여 산출되는 엣지 강도(KG)는 기울기(∇)의 제곱 값(즉, 기울기(∇2))에 기초하여 산출되기 때문에, 그 산출 결과가 보다 작은 값으로 되는 경향이 있다. 그러므로, 상기의 (식 25)에서는 α배 함으로써, 강도의 강조를 수행하고 있다. 또한, 다른 한 예로서, 엣지 강도 산출부(235)는 (식 16)으로서 전술한 바와 같이, 기울기(∇)의 절대값과 계단 조 강도(KS)에 기초하여 엣지 강도(KG)를 산출할 수 있다.

따라서, 엣지 강도 산출부(235)는 입력 영상의 주목 화소마다 상기 주목 화소의 기울기(∇2)와 상기 주목 화소에 대해서 산출된 계단 조 강도(KS)에 기초하여 엣지 강도(KG)를 산출한다. 그리고, 엣지 강도 산출부(235)는 입력 영상의 주목 화소마다 산출한 엣지 강도(KG)를 혼합비 산출부(237)로 출력한다.

혼합비 산출부(237)는 입력 영상의 주목 화소마다 산출된 엣지 강도(KG)를 엣지 강도 산출부(235)로부터 취득한다. 혼합비 산출부(237)는 주목 화소마다 취득한 엣지 강도(KG)를 미리 설정된 변환 함수(fE(KG))에 기초하여 혼합비(KE)로 변환한다. 예를 들어, 도 17은 혼합비 산출부(237)가 엣지 강도(KG)-혼합비(KE) 변환을 수행하기 위한 변환 함수(fE(KG))의 일 예에 해당한다. 또한, 도 17에 나타낸 변환 함수(fE(KG))는 이하의 (식 26)로서 나타낸다.

상기에 나타내는 (식 26)에서는, 혼합비 산출부(237)는 혼합비(KE)의 최대 값 1과 최소 값(min) 사이를, 문턱값(th1, th2)으로 구분되는 범위에서 선형 변조하고 있는 경우의 일 예를 나타내고 있다. 또한, 식 25에 있어서 α = 8로 한 경우에, (식 26)에 있어서 최소 값(min) = 0. 0~0. 2, 문턱값(th1, th2) = 0. 02~0. 8(th1 ≤ th2)의 범위로 조정을 수행함으로써, 좋은 조명 광 추출이 가능하다는 것을 알 수 있다.

또한, 도 17에 나타낸 변환 함수(fE(KG))는 어디까지나 일 예이고, 반드시 도 17에 도시된 예에 한정되지 않는다. 예를 들어, 도 18은 혼합비 산출부(237)가 엣지 강도(KG)-혼합비(KE) 변환을 수행하기 위한 변환 함수(fE(KG))의 다른 일 예에 상당한다. 도 18에 도시된 바와 같이, 혼합비 산출부(237)는 비선형 현상 특성을 사용하여 엣지 강도(KG)-혼합비(KE) 변환을 수행할 수도 있다.

따라서, 혼합비 산출부(237)는 입력 영상의 주목 화소마다 산출된 엣지 강도(KG)에 기초하여, 혼합비(KE)를 해당 주목 화소마다 산출한다. 그리고, 혼합비 산출부(237)는 입력 영상의 주목 화소마다 산출한 혼합비(KE)를 혼합부(21)로 출력한다.

혼합부(21)는 입력 영상의 주목 화소마다 산출된 평균값(AA)(즉, 이동 평균)을 분산 산출부(233)로부터 취득한다. 또한, 혼합부(21)는 입력 영상의 주목 화소마다 산출된 혼합비(KE)를 혼합비 산출부(237)로부터 취득한다. 혼합부(21)는 입력(II)에 기초하여 입력 영상의 각 화소를 순차 주목 화소로서, 주목 화소의 밝기 강도와 상기 주목 화소에 대응하는 평균값(AA)을, 상기 주목 화소에 대응하는 혼합비(KE)에 기초하여 혼합함으로써 상기 주목 화소에 대응하는 조명광 성분(LL)을 산출한다.

여기서, 주목 화소의 좌표를 (x, y)하고, 상기 주목 화소에 대응하는 평균값을 A(x, y)라 하면, 상기 주목 화소에 대응하는 조명광 성분((L(x, y))은 혼합비(KE)에 기초하여, 이하에 나타내는 (식 27)에 따라 산출된다.

또한, 도 19는 혼합부(21)의 개략적인 구성의 일 예에 대하여 나타낸 도면이고, 상기에 나타내는 (식 27)에 기초하여 조명광 성분(L(x, y))을 산출하는 경우에 있어서, 혼합부(21)의 구성의 일 예를 나타내고 있다.

도 19에 나타내는 바와 같이, 혼합부(21)는 예를 들어, 곱셈부(211, 215), 뺄셈부(213), 및 덧셈부(217)를 포함한다.

뺄셈부(213)는 혼합비 산출부(237)로부터 입력되는 주목 화소(x, y)에 대응하는 혼합비(KE)를 받아서, 상기 혼합비(KE)와 1과의 차분(1-KE)를 곱셈부(211)로 출력한다.

곱셈부(211)는 입력 영상의 주목 화소의 밝기 성분(I(x, y))과 뺄셈부(213)로부터 출력되는 혼합비(KE)와 1와의 차분(1-KE)를 곱하고, 곱셈 결과를 덧셈부(217)로 출력한다. 또한, 곱셈부(211)가, 「제 1 곱셈부」의 일 예에 해당하고, 주목 화소의 밝기 성분(I(x, y)) 곱해지는 차분(1-KE)이 「제 1 계수」의 일 예에 해당한다.

곱셈부(215)는 분산 산출부(233)로부터 입력되는 주목 화소(x, y)에 대응하는 평균값(A(x, y))과, 혼합비 산출부(237)로부터 입력되는 상기 주목 화소(x, y)에 대응하는 혼합비(KE)를 곱하고, 곱셈 결과를 덧셈부(217)로 출력한다. 또한, 곱셈부(215)가 「제 2 곱셈부」의 일 예에 해당하고, 평균값 A(x, y)에 곱해지는 혼합비(KE)가 「제 2 계수」의 일 예에 해당한다.

그리고, 덧셈부(217)는 곱셈부(211)로부터의 출력 결과(즉, I(x, y)와 1-KE와의 곱셈 결과)와, 곱셈부(215)로부터의 출력 결과(즉, A(x, y)와, KE와의 곱셈 결과)를 더하고, 덧셈 결과를 주목 화소(x, y)에 대응하는 조명광 성분(L(x, y))으로서 출력한다.

이상, 도 16 내지 도 19를 참조하여, 본 실시예에 따른 조명광 생성부(20)의 기능 구성의 일 예에 대하여 설명하였다.

[3. 3. 처리]

이어서, 도 20을 참조하여, 본 실시예에 따른 조명광 생성부(20)의 일련의 동작의 흐름의 일 예에 대하여 설명한다. 도 20은 본 실시예에 따른 조명광 생성부(20)의 일련의 동작의 흐름의 일 예에 대하여 나타낸 플로우차트이다.

(스텝 S201)

기울기 산출부(231)는 입력(II)에 기초하여, 입력 영상의 각 화소를 순차적으로 주목 화소로하여, 주목 화소의 주변에 위치하는 주변 화소들 각각의 밝기 강도에 기초하여 기울기 오퍼레이터(W)를 사용하여 기울기(∇2)를 주목 화소마다 산출한다. 구체적인 일 예로서, 기울기 산출부(231)는 전술한 (식 19) 내지 (식 21)에 나타내는 바와 같이, 기울기 오퍼레이터(W)를 이용한 콘볼루션 적분에 의해 주목 화소마다 기울기(∇2)를 산출하면 된다. 그리고, 기울기 산출부(231)는 주목 화소마다 산출한 기울기(∇2)를 엣지 강도 산출부(235)로 출력한다.

(스텝 S203)

분산 산출부(233)는 입력(II)에 기초하여, 입력 영상 중의 각 화소를 순차 주목 화소로서, 주목 화소와, 해당 주목 화소의 주변에 위치하는 주변 화소와의 각각의 밝기 강도의 평균값(AA)을 주목 화소마다 산출한다. 또한, 평균값(AA)에 대하여는, 전술한 (식 22)에 기초하여 산출하는 것이 가능하다. 그리고, 분산 산출부(233)는 주목 화소마다 산출한 평균값(AA)(즉, 이동 평균)을 혼합부(21)로 출력한다.

(스텝 S205)

또한, 분산 산출부(233)는 주목 화소마다 산출한 평균값(AA)에 기초하여, 상기 주목 화소에 대응하는 분산(σ2)을 산출한다. 또한, 분산(σ2)에 대하여는 전술한 (식 23)에 기초하여 산출하는 것이 가능하다. 그리고, 분산 산출부(233)는 주목 화소마다 산출한 분산(σ2)를 엣지 강도 산출부(235)로 출력한다.

(스텝 S207)

엣지 강도 산출부(235)는 기울기 산출부(231)로부터 주목 화소마다 산출된 기울기(∇2)를 취득한다. 또한, 엣지 강도 산출부(235)는 분산 산출부(233)로부터 주목 화소마다 산출된 분산(σ2)를 취득한다. 엣지 강도 산출부(235)는 취득한 기울기(∇2)와 분산(σ2) 사이의 괴리도를 계단 조 강도(KS)로서 산출한다. 또한, 계단 조 강도(KS)에 대하여는 전술한 (식 24)에 기초하여 산출하는 것이 가능하다.

(스텝 S209)

이어서, 엣지 강도 산출부(235)는 입력 영상의 주목 화소마다, 상기 주목 화소의 기울기(∇2)와 상기 주목 화소에 대해서 산출한 계단 조 강도(KS)를 곱합으로써, 모양 조의 엣지의 엣지 강도가 억제된 엣지 강도(KG)를 산출한다. 또한, 엣지 강도(KG)에 대하여는, 전술한 (식 25)에 기초하여 산출하는 것이 가능하다. 그리고, 엣지 강도 산출부(235)는 입력 영상 중의 주목 화소마다 산출한 엣지 강도(KG)를 혼합비 산출부(237)로 출력한다.

(스텝 S211)

혼합비 산출부(237)는 입력 영상의 주목 화소마다 산출된 엣지 강도(KG)를 엣지 강도 산출부(235)로부터 취득한다. 혼합비 산출부(237)는 주목 화소마다 취득한 엣지 강도(KG)를 미리 설정된 변환 함수(fE(KG))에 기초하여 혼합비(KE)로 변환한다. 예를 들어, 전술한 (식 26)은, 변환 함수 fE(KG)의 일 예다. 그리고, 혼합비 산출부(237)는 입력 영상 중의 주목 화소마다 산출한 혼합비(KE)를 혼합부(21)로 출력한다.

(스텝 S213)

혼합부(21)는 입력 영상 중의 주목 화소마다 산출된 평균값(AA)(즉, 이동 평균)을 분산 산출부(233)로부터 취득한다. 또한, 혼합부(21)는 입력 영상의 주목 화소마다 산출된 혼합비(KE)를 혼합비 산출부(237)로부터 취득한다. 혼합부(21)는 입력(II)에 기초하여, 입력 영상의 각 화소를 순차적으로 주목 화소하여, 주목 화소의 밝기 강도와 상기 주목 화소에 대응하는 평균값(AA)를, 상기 주목 화소에 대응하는 혼합비(KE)에 기초하여 혼합함으로써, 상기 주목 화소에 대응하는 조명광 성분(LL)을 산출한다. 또한, 조명광 성분(LL)에 대하여는 전술한 (식 27)에 기초하여 산출하는 것이 가능하다.

이상, 도 20을 참조하여, 본 실시예에 따른 조명광 생성부(20)의 일련의 동작의 흐름의 일 예에 대하여 설명하였다.

또한, 상술한 일련의 동작은 표시 장치(10)의 장치의 각 구성을 동작시키는 CPU를 작동시키기 위한 프로그램에 의해 수행할 수 있다. 이 프로그램은 그 장치에 인스톨된 OS(Operating System)를 통하여 실행되도록 구성할 수 있다. 또한, 이 프로그램은 상술한 처리를 실행하는 구성이 포함되는 장치가 읽기 가능하면, 기억되는 위치에 한정되지 않는다. 예를 들어, 장치의 외부로부터 접속되는 기록 매체에 프로그램이 저장될 수도 있다. 이 경우에는 프로그램이 저장된 기록 매체를 장치에 접속함으로써, 그 장치의 CPU에 해당 프로그램을 실행시키도록 구성하면 된다.

[3. 4. 실시예]

이어서, 실시예로서, 본 실시예에 따른 조명광 생성부(20)의 회로 규모의 견적량의 일 예에 대하여 정리한다. 또한, 본 설명에서는, 회로 규모의 비교 대상으로서, 도 3을 참조하여 전술한 조명광 생성부(10’)(비교예 1)와, 도 7을 참조하여 전술한 제 1 실시예에 따른 조명광 생성부(10)(비교예 2)에 대해서도, 회로 규모의 견적량의 일 예에 대하여 정리한다. 또한, 본 설명에서는 각 회로를 구성하는 게이트 회로에 기초하는 게이트 수에 따라서, 회로 규모를 어림잡을 수 있다. 구체적인 한 예로서, 회로 규모의 어림잡은 기준 값으로서, 덧셈기 및 뺄셈기를 「104」, 곱셈기를 「384」, 나눗셈기를 「1600」, 절대값 산출 회로를 「64」, 2 입력 선택기를 「40」으로 하고 있다.

예를 들어, 도 21은 실시예에 따른 조명광 생성부의 회로 규모의 견적량의 일 예에 대하여 설명하기 위한 도면이고, 본 실시 예에 따른 조명광 생성부와, 비교예 1 및 비교예 2에 따른 조명광 생성부 각각에 대하여, 견적량의 근사 값의 일 예를 나타내고 있다.

도 21에 나타내는 바와 같이, 비교예 1에 따른 조명광 생성부는 주로, ε 필터와, ε 값 조정부와, 기울기 산출부를 포함하여 구성되고, 특히, ε 필터의 회로 규모가 약 3800으로 가장 큰 것을 알 수 있다. 또한, 비교예 2에 따른 조명광 생성부는 비교예 1에 따른 조명광 생성부의 구성에 더하여, 분산 산출부와 엣지 강도 산출부가 추가되어 있고, 추가된 구성분만 비교예 1에 따른 조명광 생성부보다도 회로 규모가 커져 있다.

이것에 대해, 실시 예에 따른 조명광 생성부는 비교예 2에 따른 조명광 생성부에서 ε 필터 및 ε 값 조정부가 혼합부 및 혼합비 산출부로 치환되어 있다. 또한, ε 값 조정부와 혼합비 산출은 회로 규모가 거의 동등하지만, 혼합부(예를 들어, 도 19 참조)에 대하여는 회로 규모가 약 800으로 되고, ε 필터에 비해 회로 규모가 극히 작게 되어 있다.

따라서, 실시 예에 따른 조명광 생성부는 비교예 2에 따른 조명광 생성부에 비해 전체의 회로 규모를 작게 억제하는 것이 가능하게 된다. 구체적으로는, 비교예 1에 따른 조명광 생성부의 회로 규모를 기준으로 한 경우에, 비교예 2에 따른 조명광 생성부의 회로 규모는 약 60% 증가하는 반면, 실시 예에 따른 조명광 생성부는 회로 규모의 증가를 약 20%까지 억제하는 것이 가능하게 된다. 물론, 실시예에 따른 조명광 생성부(즉, 제 2 실시예에 따른 조명광 생성부(20))는 비교예 2에 따른 조명광 생성부(즉, 제 1 실시예에 따른 조명광 생성부(10))와 마찬가지로, 입력 영상의 계단 조의 엣지와 모양 조의 엣지를 식별하여, 상기 영상에 대해 비선형 평활화 처리를 실시하는 것이 가능한 것은 전술한 바와 같다.

[3. 5. 정리]

이상, 설명한 바와 같이, 본 발명의 제 2 실시예에 따른 조명광 생성부(20)는 주목 화소마다 기울기(∇2)와 분산(σ2)을 산출하고, 상기 기울기(∇2)와 분산(σ2) 사이의 괴리도에 기초하는 계단 조 강도(KS)를 산출한다. 조명광 생성부(20)는 산출한 계단 조 강도(KS)에 기초하여 엣지 강도(KG)를 산출하고, 산출한 엣지 강도(KG)에 기초하여 혼합비(KE)를 산출한다. 그리고, 조명광 생성부(20)는 주목 화소에 있어서 밝기 강도와 상기 주목 화소 및 주변 화소들 각각의 밝기 강도의 평균값(AA)(즉, 이동 평균)을 혼합비(KE)에 기초하여 혼합함으로써, 조명광 성분(LL)을 생성한다.

이와 같은 구성에 의해, 본 실시예에 따른 조명광 생성부(20)는 전술한 제 1 실시예에 따른 조명광 생성부(10)와 마찬가지로, 입력 영상의 계단 조의 엣지와 모양 조의 엣지를 식별하여, 상기 영상에 대해 비선형 평활화 처리를 실시하는 것이 가능하게 된다.

또한, 본 실시예에 따른 조명광 생성부(20)에는, ε 필터의 같은 비교적 규모가 큰 회로가 전술한 혼합부(21)와 같이 규모가 더 작은 회로로 치환된다. 이것에 의해, 본 실시예에 따른 조명광 생성부(20)는 전술한 제 1 실시예에 따른 조명광 생성부(10)에 비해 회로 규모를 더 작게 억제하는 것이 가능하게 된다.

특히, 조명 광의 성분은 완만하게 변화하기 때문에, HD(High Definition) 이상(예를 들어, HD, FHD : Full High Definition, UHD : Ultra High Definition 등)의 해상도에 있어서, 오퍼레이터 길이(n) = 2(즉, 5 화소) 정도의 참조 화소 범위 내에서 조명광 성분의 변화는 극히 미량이고, 거의 직선적으로 변화하는 것으로 간주(즉, 근사)할 수 있다. 그러므로, 본 실시예에 따른 조명광 생성부(20)에서는, 이와 같은 특성에 기초하여, 주목 화소를 기준으로 한 소정의 참조 화소 범위 내에서 화소의 밝기 강도(II)의 평균값(AA)(즉, 이동 평균)을 이용하여 조명광 성분(LL)을 산출함으로써, 회로 규모를 보다 작게 억제하고 있다.

또한, 본 실시예에 따른 조명광 생성부(20)는 분산(σ2)의 도출 과정에서 산출한 평균값(AA)을, 혼합비(KE)에 기초하는 조명광 성분(LL)의 산출 시에 재이용하고 있다. 그러므로, 조명광 성분(LL)의 산출 시에, 새롭게 평균값(AA)을 산출할 필요가 없기 때문에, 회로 규모를 더 작게 억제하는 것이 가능하게 된다.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예에 대해서 상세하게 설명하였으나, 본 발명은 이러한 예에 한정되지 않는다. 본 발명의 속하는 기술의 분야에 있어서 통상의 지식을 갖는 자이면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에 있어서 각종의 변경 예 또는 수정 예에 착안하여 얻는 것은 명확하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 해석된다.

1 : 영상 처리 장치 10 : 조명광 생성부
11 : 평활화 처리부 13 : ε 값 제어부
131 : 기울기 산출부 133 : 분산 산출부
135 : ε 값 조정부 20 : 조명광 생성부
21 : 혼합부 211 : 곱셈부
213 : 뺄셈부 215 : 곱셈부
217 : 덧셈부 23 : 혼합비 제어부
231 : 기울기 산출부 233 : 분산 산출부
235 : 엣지 강도 산출부 237 : 혼합비 산출부
30 : 나눗셈부 50 : 조명광 변조부
70 : 곱셈부

Claims (5)

1. 영상 데이터를 취득하는 취득부;
   취득된 상기 영상 데이터 중 주목 화소를 기준으로 소정의 범위에 포함되는 주변 화소들 각각의 화소 값에 기초하는 기울기와 상기 주목 화소와 상기 주변 화소들 각각의 화소 값에 기초하는 분산 사이의 괴리도를 나타내는 계단 조 강도에 기초하여, 엣지 강도를 산출하는 엣지 강도 산출부; 및
   상기 주목 화소의 화소 값, 상기 소정의 범위에 포함되는 화소들 각각의 화소 값의 평균값, 및 상기 엣지 강도에 기초하여 산출된 혼합비에 따라서 혼합하는 혼합부;
   를 포함하는 것을 특징으로 하는 영상 처리 장치.
2. 제 1 항에 있어서,
   상기 소정의 범위에 포함되는 화소들 각각의 화소 값을 기초하여 상기 평균값을 산출하고, 해당 평균값에 기초하여 상기 분산을 산출하는 분산 산출부를 포함하고,
   상기 혼합부는 상기 주목 화소의 화소 값, 상기 분산 산출부에 의해 산출된 상기 평균값, 및 상기 혼합비에 따라서 혼합하는것을 특징으로 하는 영상 처리 장치.
3. 제 1 항에 있어서,
   상기 혼합부는,
   상기 주목 화소의 화소 값에 대해, 상기 혼합비에 따른 제 1 계수를 곱셈하는 제 1 곱셈부;
   상기 평균값에 대해, 상기 혼합비에 따른 제 2 계수를 곱셈하는 제 2 곱셈부; 및
   상기 제 1 곱셈부의 출력과, 상기 제 2 곱셈부의 출력을 덧셈하는 덧셈부;
   를 포함하는 것을 특징으로 하는 영상 처리 장치.
4. 영상 데이터를 취득하는 단계;
   취득된 상기 영상 데이터 중 주목 화소를 기준으로 소정의 범위에 포함되는 주변 화소들 각각의 화소 값에 기초하는 기울기와 상기 주목 화소와 상기 주변 화소들 각각의 화소 값에 기초하는 분산 사이의 괴리도를 나타내는 계단 조 강도에 기초하여 엣지 강도를 산출하는 단계; 및
   상기 주목 화소의 화소 값, 상기 소정의 범위에 포함되는 화소들 각각의 화소 값의 평균값, 및 상기 엣지 강도에 기초하여 산출된 혼합비에 따라서 혼합하는 단계;
   를 포함하는 것을 특징으로 하는 영상 처리 방법.
5. 컴퓨터에 결합되어,
   영상 데이터를 취득하는 단계;
   취득된 상기 영상 데이터 중 주목 화소를 기준으로 소정의 범위에 포함되는 주변 화소들 각각의 화소 값에 기초하는 기울기와, 상기 주목 화소와 상기 주변 화소들 각각의 화소 값에 기초하는 분산 사이의 괴리도를 나타내는 계단 조 강도에 기초하여 엣지 강도를 산출하는 단계; 및
   상기 주목 화소의 화소 값, 상기 소정의 범위에 포함되는 화소들 각각의 화소 값의 평균값, 및 상기 엣지 강도에 기초하여 산출된 혼합비에 따라서 혼합하는 단계;
   를 실행시키기 위하여 기억 매체에 저장된 컴퓨터 프로그램.

Images