KR20030025294A

KR20030025294A - 화상 처리 방법 및 장치

Info

Publication number: KR20030025294A
Application number: KR10-2003-7002412A
Authority: KR
Inventors: 오가타마사미; 유에다카주히코
Original assignee: 소니 가부시끼 가이샤
Priority date: 2001-06-20
Filing date: 2002-06-19
Publication date: 2003-03-28
Also published as: JP2003008935A; US7127122B2; US20030156761A1; KR100895207B1; EP1404120A1; WO2003001793A1; EP1404120A4; JP4649781B2

Abstract

입실론 필터를 사용하여, 복수의 다른 조명이 존재하는 경우에도, 그들의 경계를 적절하게 추출하는 것을 가능하게 하고, 부자연스러운 화상 패턴의 발생을 억제하여, 주관적으로 바람직한 다이나믹 레인지의 압축을 실현한다. 입력 화상상의 각 위치마다 에지 강도 G(x, y)를 산출하고, 상기 에지 강도 G(x, y)에 근거하여, 입실론 필터(12)의 문턱값 E(x, y)를 제어한다. 입실론 필터(12)는 상기 제어된 문턱값 E(x, y)에 근거하여 입력 화상에 필터 처리를 실시한다. 에지 강도 G(x, y)에 근거하여, 입실론 필터(12)의 문턱값 E를 화소값 I(x, y)의 국소적인 경사에 따라서 적응적으로 변화시키도록 하였기 때문에, 선형 로패스 필터를 사용한 경우나 문턱값 고정의 입실론 필터를 사용한 경우보다도 더욱 정확하게 조명 경계가 추출된다.

Description

화상 처리 방법 및 장치{Image processing method and device}

종래, 예를 들면 화상의 층조 특성의 변환을 위해, 입력 화상의 각 화소에 대하여, 그 레벨을 도 18의 실선으로 도시하는 바와 같은 입출력 관계를 갖는 함수(이하, 「레벨 변환 함수」라고 함)로 변환하는 방법(이하, 「레벨 변환」이라고 함)이 있다. 도 18에 있어서, 가로축은 입력 화상의 화소 레벨(1; 입력 레벨)을, 세로축은 레벨 변환 처리에 의한 출력 화상의 화소 레벨(출력 레벨) T(1)를 나타낸다. Lmax는 입출력 화상의 각 화소가 취할 수 있는 최대 레벨을 나타낸다. 레벨 변환 후의 화상의 콘트라스트는 레벨 변환 함수의 경사가 클수록 증가되게 된다. 도 18의 예에서는 입력 레벨(1b)을 경계로 하여 고레벨측에, 입력 레벨(1s)을 경계로 하여 저레벨측에 있어서의 레벨 변환 함수를 나타내는 직선의 경사가 중간레벨(입력 레벨(1s 내지 1b)의 경사에 비하여 작아져 있다. 따라서, 도 18에 도시한 함수를 사용한 레벨 변환에서는 고레벨 및 저레벨에 있어서의 콘트라스트를 희생으로 하는 것으로, 중간 레벨의 콘트라스트를 증가시키게 된다.

레벨 변환 함수는 도 18에 도시한 것에 한하지 않고, 예를 들면 도 19의 실선으로 도시한 것을 사용할 수도 있다. 도 19에 도시한 레벨 변환 함수는 입력 레벨(1k)을 경계로 하여, 고레벨측에서의 직선의 경사가 저레벨, 중간 레벨에서의 경사에 비하여 작아져 있다. 따라서, 도 19에 도시한 함수를 사용한 레벨 변환에서는 고레벨에서의 콘트라스트를 희생으로 하는 것으로, 저레벨, 중간 레벨에서의 콘트라스트를 증가시킬 수 있다. 또한, 수식 1에 나타낸 감마 함수나 수식 2에 나타낸 LOG 함수 등, 도 18 및 도 19에 도시한 함수에 비하여, 더욱 연속적인 레벨 변환 함수가 사용되는 경우도 있다. 또, 수식 1에 있어서의 g는 함수의 경사를 조정하는 파라미터이다.

또한, 다른 종래 예에서는 입력 화상의 화소 레벨의 빈도 분포에 따라서, 레벨 변환 함수를 적응적으로 변화시키는 방법이 있으며, 그 대표 예로서는 히스토그램 균등화(equalization)이라고 불리는 방법을 들 수 있다. 도 20a 및 도 20b에 이 히스토그램 균등화의 원리를 도시한다. 도 20a에 있어서, 가로축은 입력 화상의 화소 레벨(1; 입력 레벨)을, 세로축은 도수(빈도 또는 누적 빈도)를 나타낸다. Fmax는 누적 빈도의 최대값이고, 빈도를 산출하기 위해서 사용하는 화소의 총수이다. 이 방법에서는 도 20a에 도시한 바와 같이, 처음에 입력 화상의 화소 레벨(1)에 관한 빈도 분포 H(1)가 생성되고, 다음에 수식 3을 사용하여 누적 빈도 분포 C(1)가생성된다.

이 누적 빈도 분포 C(1)의 세로축을 수식 4를 사용하여 출력 화상이 취할 수 있는 레벨 범위로 정규화함으로써, 레벨 변환 함수 T(1)가 생성된다(도 20b). 이 함수 T(1)를 사용함으로써, 출현 빈도 레벨(1)은 레벨에 의해서 구성되는 영역(면적이 큰 영역)의 콘트라스트를 증가시키는 것이 가능해진다.

입력된 화상을, 더욱 다이나믹 레인지가 작은, 즉 화소 레벨을 표현하는 비트 수가 적은 환경에서 이용하는 경우(비트 수가 적은 전송로로 전송하는 경우나, 표시장치에 표시하는 경우, 또는 기억장치에 보존하는 경우 등)에는 다이나믹 레인지를 압축할 필요가 있다. 종래는 이러한 목적에서의 다이나믹 레인지의 압축 처리에도, 상술한 방법과 같은 레벨 변환이 사용되고 있다. 단, 이 경우에는 레벨 변환 함수의 출력 화상의 최대 레벨이, 입력 화상의 그것보다도 작은 값이 된다.

한편, 문헌 「Z. Rahman, et, alt. : "A Multiscale retinex for color rendition and dynamic range compression in Applications of Digital image Processing", XIX Proc. SPIE 2847(1996)」에서는 공간적으로 완만하게 변화하는 조명광의 성분을 로패스 필터(lowpass filter)에 의해서 추출하고, 이것을 압축함으로써 전체적인 다이나믹 레인지를 압축하는 방법이 제안되고 있다(이하, 이 방법을 「Multiscale retinex법」이라고 함). 조명 성분의 추출에는 대역이 좁은 선형 로패스 필터가 사용되고 있다. 이 방법에서는 수식 5에 나타내는 바와 같이, 입력 화소의 값 I(x, y), 및 로패스 필터 출력 LPF(I(x, y))의 대수값을 취하고, 전자로부터 후자를 뺌으로써 다이나믹 레인지의 압축이 행하여진다.

그런데, 상술한 종래의 레벨 변환 방법에서는 부자연스러운 화상이 생성되는 것을 회피하기 위해서, 단조 증가성을 갖는 레벨 변환 함수를 사용하고 있다. 이 때문에, 어떤 레벨 범위의 콘트라스트(레벨 변환 함수의 경사)를 증가시킨 경우, 다른 레벨 범위에서는 반대로 콘트라스트가 저하되어 버린다는 문제가 있다.

또한, Multiscale retinex법에서는 단조 증가성을 희생으로 함으로써, 보다 콘트라스트가 높은 화상을 재현하는 것을 가능하게 하고 있지만, 조명 조건이 급격하게 바뀌는 경우, 선형 필터에서는 그 변화를 추출할 수 없고, 주관적으로 바람직하지 못한 노이즈가 발생하여 버린다는 문제가 있다.

예를 들면, 도 21에 도시하는 바와 같이, 조명 조건이 다른 2개의 영역이 인접하고 있는 화상(도면 중, 실선)에 대하여 선형 로패스 필터를 실시하면, 도면 중, 가는 파선으로 도시한 바와 같이 경계가 흐려진 신호가 필터 출력으로서 얻어진다. 이것을 조명 성분으로 간주한 경우, 조명 경계의 좌측의 영역(B영역)에 있어서, 경계 부근(BNB영역)은 경계보다 떨어진 부분(BFB영역)보다도 조명 레벨이 낮아진 것이 된다. 수식 5는 입력 신호를 조명 성분으로 나눗셈하는 것과 등가이고, 조명 성분이 클수록 크게 압축되는 것을 의미하기 때문에, 결과로서 재현 화상(도면 중, 굵은 파선)의 BNB영역에는 오버슈트(overshoot)가 발생한다. 반대로, 조명 경계의 우측의 영역(D영역)에 있어서, 경계 부근(DNB영역)은 경계보다 떨어진 부분(DFB)에 비하여 조명 레벨이 높다고 간주되어 언더슈트(undershoot)가 발생한다. Multiscale retinex법에서는 이 문제를 회피하기 위해서 스케일이 다른 복수의 선형 로패스 필터를 사용하고, 각각의 로패스 필터에 의해서 얻어지는 결과를 선형하중에 의해서 합성하는 방법을 사용하고 있지만, 각 스케일에 대한 무게는 고정되어 있어, 상기한 문제를 충분히 억제할 수 없다.

그래서, 조명 성분의 추출에 선형 로패스 필터가 아니라, 예를 들면 입실론(epsilon) 필터 등의 비선형 필터를 사용하는 것을 고려할 수 있다. 입실론 필터는 선형 필터에 비해 에지(edge)를 보존하는 능력이 뛰어나고, 다른 조명광이 존재하는 화상에 있어서도 조명 성분을 더욱 유효하게 추출할 수 있다. 그렇지만, 노이즈 제거 등을 목적으로 일반적으로 사용되고 있는 문턱값 고정의 입실론 필터에서는 그 출력에 에지 근방에 있어서 불연속의 파형이 형성되기 때문에, 이것을 다이나믹 레인지의 압축용에 사용한 경우, 압축 후의 재현 화상에 원화상에는 없는 부자연스러운 화상 패턴이 발생할 가능성이 있다.

본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 그 목적은 입실론 필터를 사용하여, 복수의 다른 조명이 존재하는 경우에도, 그것들의 경계를 적절하게 추출하는 것을 가능하게 하고, 부자연스러운 화상 패턴의 발생을 억제하여, 주관적으로 바람직한 다이나믹 레인지의 압축을 실현할 수 있는 화상 처리 방법 및 장치를 제공하는 것이다.

본 발명은 텔레비전, 비디오 테이프 레코더, 스틸 카메라, 비디오 카메라 및 프린터 등, 각종의 화상의 입출력 장치에 적절하게 이용 가능한 것으로, 특히, 입력된 화상을 상대적으로 더욱 다이나믹 레인지(dynamic range)가 좁은 화상 장치에서 재현하기 위한 화상 처리 방법 및 장치에 관한 것이다.

도 1은 본 발명의 제 1 실시예에 관계되는 화상 처리장치의 구성을 도시하는 블록도.

도 2는 화상의 주사방향을 도시하는 설명도.

도 3은 레벨 변환 함수의 예에 대해서 도시하는 설명도.

도 4는 도 1에 도시한 화상 처리장치에 있어서의 입실론 필터의 구성을 도시하는 블록도.

도 5는 도 5a 내지 도 5c는 종래 법에 의한 재현 화상과 도 1에 도시한 화상 처리장치에 의한 재현 화상의 차이에 대해서 도시하는 설명도.

도 6은 도 6a 및 도 6b는 레벨 변환 함수와 계수 산출 함수의 관계에 대해서 도시하는 설명도.

도 7a 및 도 7b는 입실론 필터의 효과에 대해서 도시하는 설명도.

도 8a 및 도 8b는 문턱값 고정의 입실론 필터의 에지 주변에서의 작용에 대해서 도시하는 설명도.

도 9a 및 도 9b는 문턱값 고정의 입실론 필터에 있어서 생기는 레벨 경사의 역전 현상에 대해서 도시하는 설명도.

도 10은 입실론 필터의 출력에 사용되는 레벨 변환 함수와 그 미분값의 관계를 도시하는 설명도.

도 11a 및 도 11b는 레벨 변환 곡선에 있어서의 입력 레벨과 압축률의 대소 함수에 대해서 도시하는 설명도.

도 12는 본 발명의 제 2 실시예에 관계되는 화상 처리장치의 구성을 도시하는 블록도.

도 13은 도 12에 도시한 화상 처리장치에 있어서의 계수 산출기에 있어서 사용되는 계수 산출 함수의 예에 대해서 도시하는 설명도.

도 14는 본 발명의 제 3 실시예에 관계되는 화상 처리장치의 구성을 도시하는 블록도.

도 15는 본 발명의 제 4 실시예에 관계되는 화상 처리장치의 구성을 도시하는 블록도.

도 16은 도 15에 도시한 화상 처리장치에 있어서의 입실론 필터의 구성을 도시하는 설명도.

도 17은 본 발명의 제 5 실시예에 관계되는 화상 처리장치의 구성을 도시하는 블록도.

도 18은 종래 사용되고 있는 레벨 변환 함수의 예에 대해서 도시하는 설명도.

도 19는 종래 사용되고 있는 다른 레벨 변환 함수의 예에 대해서 도시하는 설명도.

도 20은 도 20a 및 도 20b는 히스토그램 균등화 원리에 대해서 도시하는 설명도.

도 21은 Multiscale retinex 법의 문제점에 대해서 설명하기 위한 도면.

본 발명에 의한 화상 처리 방법은 입력 화상상의 각 위치마다 에지 강도를 산출하는 에지 강도 산출 과정과, 산출된 에지 강도에 근거하여, 입실론 필터의 문턱값을 제어하는 문턱값 제어 과정과, 문턱값 제어 과정에서 제어된 문턱값을 사용하여, 입력 화상에 입실론 필터에 의한 필터 처리를 실시하는 필터링 과정과, 필터링 과정의 출력값에 따라서, 화소값을 변환하기 위한 계수를 산출하고, 그 산출한 계수에 의해, 각 화소마다 화소값의 변환을 행하는 화소값 변환 과정을 포함하는 것이다.

본 발명에 의한 화상 처리장치는 입력 화상상의 각 위치마다 에지 강도를 산출하는 에지 강도 산출수단과, 설정된 문턱값을 사용하여, 입력 화상에 필터 처리를 실시하는 입실론 필터와, 에지 강도 산출수단에 의해서 산출된 에지 강도에 근거하여, 입실론 필터로 사용되는 문턱값을 제어하는 문턱값 제어수단과, 입실론 필터로부터의 출력값에 따라서, 화소값을 변환하기 위한 계수를 산출하고, 그 산출한 계수에 의해, 각 화소마다 화소값의 변환을 행하는 화소값 변환수단을 구비한 것이다.

본 발명에 의한 화상 처리 방법 및 장치에서는 입력 화상상의 각 위치마다 에지 강도가 산출되고, 그 산출된 에지 강도에 근거하여, 입실론 필터에서 사용되는 문턱값이 제어된다. 그리고, 입실론 필터로부터의 출력값에 따라서, 화소값을 변환하기 위한 계수가 산출되고, 그 산출된 계수에 의해, 각 화소마다 화소값의 변환이 행하여진다. 이것에 의해, 복수의 다른 조명이 존재하는 경우에도, 입실론 필터에 의한 필터 처리에 있어서, 그들의 경계의 추출을 적절하게 행하는 것이 가능해진다.

본 발명에 있어서, 입실론 필터의 문턱값은 예를 들면, 에지 강도가 클수록 값이 작아지도록 제어된다. 이 때, 또한, 입력 화상의 화소값이 클수록 문턱값을크게 하도록 제어하여도 좋다. 이에 의해, 입실론 필터에 의한 필터 처리에 있어서, 화소값의 변화에 있어서의 조명 레벨의 영향이 경감되어, 더욱 적절하게 조명 성분의 추출이 이루어진다.

또한, 크기가 다른 2개의 문턱값을 산출하고, 문턱값을 제어하도록 하여도 좋다. 이 때, 입실론 필터에서는 예를 들면, 근방 화소의 값이 주목 화소에 비하여 큰 경우와 작은 경우에서 다른 문턱값을 사용하여 필터 처리를 한다. 이것에 의해서도, 필터 처리에 있어서, 화소값의 변화에 있어서의 조명 레벨의 영향이 경감되어, 더욱 적절하게 조명 성분의 추출이 이루어진다.

이하, 본 발명의 실시예에 대해서 도면을 참조하여 상세하게 설명한다.

[제 1 실시예]

우선, 본 실시예에 관계되는 화상 처리장치에 있어서 처리되는 입력 화상 신호에 대해서 설명한다. 본 화상 처리장치에 있어서 처리되는 입력 화상 신호는 2차원 디지털 화상을 도 2에 도시하는 바와 같이 수평방향, 수직방향의 순차로 주사하여 얻어진 시계열의 화소값의 신호이다. 본 실시예에서는 2차원화상상의 임의의 위치(x, y)에 대응하는 화소값을 I(x, y)로 나타내고, 이것을 입력 화상 신호로서 처리한다.

다음에, 본 실시예에 관계되는 화상 처리장치의 구성에 대해서 설명한다. 본 화상 처리장치는 도 1에 도시한 바와 같이, 에지 강도 산출기(10)와, 문턱값 제어기(11)와, 입실론 필터(12)와, 제산기(13)와, 레벨 변환기(14)와, 승산기(15)를 구비하고 있다.

에지 강도 산출기(10)는 입력 화상의 각 위치에 있어서 화소값 I(x, y)의 에지 강도 G(x, y)를 산출하는 기능을 갖고 있다. 에지 강도 G(x, y)로서는 예를 들면 수식 6으로 주어지는 I(x, y)의 1차 미분값을 사용할 수 있다.

또는, 노이즈의 영향을 억제하기 위해서 평활화 효과를 갖는 수식 7에 의한 값을 에지 강도 G(x, y)로서 사용하는 것도 가능하다.

여기서, 수식 6 및 수식 7에 있어서, d는 미분을 산출하기 위한 미소 거리를 도시하는 정수이다. 에지 강도 산출기(10)에 있어서 산출된 에지 강도 G(x, y)는 문턱값 제어기(11)로 보내진다.

문턱값 제어기(11)는 에지 강도 산출기(10)에 의해서 산출된 에지 강도 G(x, y)에 근거하여, 후술하는 입실론 필터(12)에서 사용하는 문턱값 E(x, y)의 크기를 화소마다 결정하는 기능을 갖고 있다. 문턱값 제어기(11)의 기능에 의해, 문턱값 E(x, y)는 예를 들면 수식 8을 사용함으로써, 에지 강도 G(x, y)가 클수록 작은 값이 되도록 제어된다.

수식 8에 있어서, Gmin, Gmax, Emin, Emax는 에지 강도 G(x, y)를 문턱값 E(x, y)로 변환하기 위한 정수로, 각각 에지 강도의 최소값, 최대값, 문턱값 E(x, y)의 최소값, 최대값을 나타내고 있다. 문턱값 제어기(11)에 있어서 결정된 문턱값 E(x, y)는 입실론 필터(12)로 보내진다.

입실론 필터(12)는 도 4에 도시한 바와 같이, 예를 들면, 차분기(20)와, 절대값 산출기(21)와, 비교기(22)와, 선형 로패스 필터(23; 도면에서는 LPF라고 기재)를 갖고 구성되어 있다. 이 입실론 필터(12)는 2차원 필터로, 문턱값 제어기(11)에 의해서 결정된 문턱값 E(x, y)를 사용하여, 입력 화상에 비선형의 필터 처리를 실시하는 기능을 갖고 있다. 입실론 필터(12)의 출력 R(x, y)은 조명 성분으로서 제산기(13) 및 레벨 변환기(14)로 보내진다.

제산기(13)는 입력 화상으로부터 입실론 필터(12)에서 산출된 조명 성분을 제거하기 위해서, 수식 9에 나타내는 바와 같이, 입력 화상의 각 화소값 I(x, y)를 조명 성분 R(x, y)로 나눗셈하도록 되어 있다. 나눗셈한 결과 얻어지는 비조명 성분 S(x, y)는 승산기(15)로 보내진다.

레벨 변환기(14)는 입실론 필터(12)에서 산출된 조명 성분 R(x, y)을, 수식 10에 나타내는 바와 같이, 레벨 변환 함수 T(1)에 의해서 레벨 변환함으로써 압축하고, 보정 조명 성분 CR(x, y)을 산출하는 기능을 갖고 있다.

레벨 변환기(14)에서 사용하는 레벨 변환 함수 T(1)로서는 예를 들면 도 3에 도시하는 바와 같은 함수를 사용할 수 있다. 또, 도 3에 있어서, Rmax, CRmax는 각각 입력 레벨 및 출력 레벨의 최대값을 나타내고 있다.

승산기(15)는 수식 11에 도시하는 바와 같이, 비조명 성분 S(x, y)에 보정 조명 성분 CR(x, y)을 적산함으로써 화상 신호를 복원하도록 되어 있다. 복원된 결과를 도시하는 화상 신호 0(x, y)는 도시하지 않은 전송로, 기억장치, 또는 표시장치 등으로 출력된다.

또, 본 실시예에 있어서, 제산기(13), 레벨 변환기(14) 및 승산기(15)가 본 발명에 있어서의 「화소값 변환수단」의 1구체적인 예에 대응한다.

다음에, 이상과 같이 구성된 화상 처리장치의 작용, 동작을 설명한다. 또, 이하의 설명은 본 실시예에 관계되는 화상 처리 방법의 설명을 겸하고 있다.

본 화상 처리장치에 있어서, 입력 화상을 나타내는 신호는 에지 강도 산출기(10), 입실론 필터(12) 및 승산기(13)에 입력된다. 우선, 에지 강도 산출기(10)에서는 입력 화상의 각 위치마다 에지의 크기, 즉 에지 강도 G(x, y)를 산출한다. 이 때, 에지 강도 산출기(10)는 예를 들면 수식 6 또는 수식 7을 사용함으로써, 주목 화소의 근방 영역내의 화소값의 1차 미분값이 클수록 큰 값이 되도록 하여, 에지 강도 G(x, y)를 산출한다. 에지 강도 산출기(10)는 산출한 에지 강도 G(x, y)를 문턱값 제어기(11)로 출력한다.

문턱값 제어기(11)에서는 에지 강도 G(x, y)에 근거하여, 입실론 필터(12)의 문턱값 E를 제어한다. 더욱 자세하게는 문턱값 제어기(11)는 예를 들면 수식 8을 사용하여, 문턱값 E(x, y)의 크기를 화소마다 결정하고, 에지 강도 G(x, y)가 클수록 문턱값 E(x, y)가 작아지도록 제어한다. 문턱값 제어기(11)는 결정된 문턱값 E(x, y)를 입실론 필터(12)로 출력한다.

입실론 필터(12)에서는 문턱값 제어기(11)에 의해서 결정된 문턱값 E(x, y)를 사용하여, 입력 화상에 필터 처리를 실시한다.

입실론 필터(12)에서의 필터 처리는 더욱 자세하게는 예를 들면 도 4에 도시한 구성에 의해, 아래와 같이 행하여진다. 입실론 필터(12)에 있어서, 차분기(20)에는 도 4에 도시한 바와 같이, 현재의 주목 화소의 값 I(x, y)를 나타내는 신호와 그 근방 영역 NB 내의 화소의 값 I(x+dx, y+dy)를 나타내는 신호가 입력된다. 차분기(20)에서는 주목 화소의 값 I(x, y)와 그 근방 영역 NB 내의 화소의 값 I(x+dx, y+dy)의 차분을 산출한다. 차분기(20)에서는 근방 영역 NB 내의 모든 화소에 대하여 순차 이 차분값을 계산하고, 각 근방 화소에 대응하여, 그 값 D(dx, dy)를 절대값 산출기(21)로 출력한다.

절대값 산출기(21)에서는 차분기(20)로부터 보내지는 각 차분값 D(dx, dy)의 절대값 AD(dx, dy)를 산출한다. 절대값 산출기(21)에서는 산출한 절대값 AD(dx, dy)를 비교기(22)로 출력한다.

비교기(22)에는 절대값 산출기(21)에서 산출된 절대값 AD(dx, dy)가 입력되는 동시에, 주목 화소의 값 I(x, y)를 나타내는 신호 및 그 근방 영역 NB 내의 화소의 값 I(x+dx, y+dy)를 나타내는 신호, 및, 문턱값 제어기(11)에서 결정된 문턱값 E(x, y)가 입력된다. 비교기(22)에서는 수식 12에 도시하는 바와 같이, 절대값 AD(dx, dy)와 문턱값 E(x, y)를 비교하고, 그 결과에 따라서, 주목 화소의 값 I(x, y) 또는 근방 화소의 값 I(x+dx, y+dy) 중 어느 한쪽을 선택하고, 그것을 값 J(dx, dy)로서 선형 로패스 필터(23)로 출력한다.

선형 로패스 필터(23)에서는 근방 영역 NB 내의 모든 화소에 대응하는 값 J(dx, dy)가 비교기(22)에 의해서 산출된 시점에서, 수식 13에 의한 가중 평균값 R(x, y)을 산출한다.

여기서, NB는 필터링 처리에 있어서의 근방 영역을 정의하는 상대적인 좌표의 집합이다. 또한, a(dx, dy)는 각 화소값에 대한 무게 계수이고, 이 선형 로패스 필터(23)로서는 예를 들면 수식 14에 도시하는 바와 같은 평균값 필터 등을 사용할수 있다.

수식 14에 있어서, N은 근방 영역 내 NB의 화소의 수를 나타내고 있다. 또, 입실론 필터(12)의 목적은 화상 중의 미세한 구조를 제거하고, 종합된 영역을 추출하는 것으로, 그 근방 영역은 큰 쪽이 바람직하다.

이상과 같이 하여 입실론 필터(12)에서 얻어진 값 R(x, y)은 근사적으로 화상에 포함되는 조명 성분을 나타내고 있는 것으로 생각된다. 입실론 필터(12)는 값 R(x, y)을 조명 성분으로서 제산기(13) 및 레벨 변환기(14)로 출력한다.

제산기(13)에서는 수식 9에 나타낸 바와 같이, 입력 화상의 각 화소값 I(x, y)를 조명 성분 R(x, y)로 제산함으로써, 입력 화상으로부터 입실론 필터(12)에서 산출된 조명 성분을 제거하고, 그 결과 얻어지는 비조명 성분 S(x, y)를 승산기(15)로 출력한다.

한편, 레벨 변환기(14)에서는 입실론 필터(12)에서 산출된 조명 성분 R(x, y)을, 예를 들면 도 3에 도시하는 바와 같은 레벨 변환 함수 T(1)에 의해서 레벨 변환함으로써 압축하여, 보정 조명 성분 CR(x, y)을 산출한다. 레벨 변환기(14)는 산출한 보정 조명 성분 CR(x, y)을 승산기(15)로 출력한다.

승산기(15)에서는 제산기(13)로부터의 출력인 비조명 성분 S(x, y)에 레벨 변환기(14)로부터의 출력인 보정 조명 성분 CR(x, y)을 적산함으로써 화상 신호를 복원한다. 여기서, 이상의 제산기(13), 레벨 변환기(14) 및 승산기(15)에서의 전체의 연산에 대해서 고찰하면, 비조명 성분 S(x, y)에 보정 조명 성분 CR(x, y)을 적산하는 것은 수식 16에 나타내는 바와 같이, 입실론 필터(12)로부터의 출력값 R(x,y)에 따라서 화소값을 변환하기 위한 계수 F(R(x, y))를 산출하고, 그것을 대응하는 입력 화소값 I(x, y)에 적산하는 것으로, 각 화소마다 화소값을 변환하여 다이나믹 레인지를 압축하고 있는 것에 상당한다.

이상과 같이 하여 승산기(15)로부터 출력되는 화상 신호 O(x, y)는 입력 화상보다도 상대적으로 다이나믹 레인지가 좁은 화상 장치, 즉 화소 레벨을 표현하는 비트 수가 적은 환경(비트 수가 적은 전송로로 전송하는 경우나, 표시장치에 표시하는 경우, 또는 기억장치에 보존하는 경우 등)에 있어서 이용된다.

다음에, 도 5a 내지 도 6b를 참조하여, 본 실시예에 있어서의 입실론 필터(12)를 사용하여 다이나믹 레인지를 압축한 경우의, 종래법(단조 증가성을 갖는 레벨 변환 함수를 사용하여 압축을 하는 경우)에 대한 유효성에 대해서 설명한다.

도 5a는 입력 화상의 화소값 I(x, y), 및 본 실시예에 있어서의 입실론 필터(12)로부터의 출력 R(x, y)을 1차원 신호로서 나타낸 도면이다. 도 5b는 도 5a에 도시한 입력 화상에 대하여 종래의 레벨 변환법에 의한 다이나믹 레인지를 압축한 결과(재현 화상)를 도시하고, 도 5c는 본 실시예에 있어서의 다이나믹 레인지를 압축한 결과를 도시한다.

또한, 도 6a 및 도 6b에는 각 영역의 화소 레벨과 레벨 변환 함수 T(1), 및 계수 산출 함수 F(1)의 관계를 도시한다. 여기서, 계수 산출 함수 F(1)는 레벨 변환 함수 T(1)를 사용하여 수식 15와 같이 정의된다.

이 계수 산출 함수 F(1)를 사용하여, 수식 9 및 수식 10을 고려하는 것으로,출력 화상 O(x, y)을 부여하는 수식 11은 수식 16과 같이 재기록하는 것이 가능해진다.

수식 16은 조명 성분 R(x, y)의 압축에 의한 다이나믹 레인지의 압축이 화소마다 산출되는 계수 F(R(x, y))를 대응하는 입력 화소값 I(x, y)에 적산함으로써 실현할 수 있는 것을 나타내고 있다. 이 때, 계수 산출 함수 F(1)는 입실론 필터(12)의 출력값을 각 화소에 실시하는 이득 계수로 변환하는 기능을 가진다. 또, 도 6b에 있어서의 계수 산출 함수 F(1)의 값의 최소값 Cmin은 수식 17로 주어지게 된다.

도 5b로부터도 알 수 있는 바와 같이, 종래 법은 저레벨 영역(도 5a에 도시하는 레벨(11)과 레벨(13)로 구성되어 있는 영역)에서의 콘트라스트를 보존할 수 있지만, 고레벨 영역(레벨(14)과 레벨(16)로 구성되어 있는 영역)에 있어서는 콘트라스트의 저하를 초래하고 있다. 이것은 변곡점 1k 이상의 높은 레벨에 대한 레벨 변환 함수 T(1)의 기울기의 영향을 직접적으로 받은 결과이다. 종래법에 있어서 콘트라스트를 향상시키기 위해서는 레벨 변환 함수 T(1)의 경사를 크게 할 필요가 있다.

이것에 대하여, 본 실시예(도 5c)에서는 고레벨 영역 및 저레벨 영역의 각각에는 계수 산출 함수 F(1)에 의해서 주어지는 단일 보정 계수가 실시되기 때문에, 각 영역내의 콘트라스트는 이 보정 계수의 크기에 의존하게 된다. 본 실시예에서는 저레벨 영역에 대해서는 그 평균 레벨(12)에 의해서 결정되는 보정 계수가 마찬가지로 실시되지만, 그 값은 레벨(11) 및 레벨(13)에 대한 것과 같은 1.0이고, 종래법과 같은 정도의 콘트라스트가 얻어진다. 또한, 고레벨 영역에 대해서는 그 평균값(15)으로 결정되는 일정한 보정 계수(c5)가 실시되기 때문에, 레벨(14)의 부분과 레벨(16)의 부분 사이의 콘트라스트는 이 이득으로 확보되게 된다.

실제로, 도 6a에 도시하는 바와 같은 경사가 다른 2개의 직선으로 이루어지는 레벨 변환 함수 T(1)를 사용하여, 그 변곡점 레벨 1k 이상에 대응하는 직선이 수식 18로 표시되는 경우에는 종래법에 있어서의 고레벨 영역의 콘트라스트는 그 직선의 경사(a)에 의존하여, 「a(16-14)/(a*15+b)=(16-14)/(I5+b/a)」로 주어진다. 단지, 여기서는 콘트라스트를 「(최대 레벨 최소 레벨)/평균 레벨」로 정의하고 있다.

한편, 본 실시예에 있어서 고레벨 영역에 적용되는 보정 계수(c5)는 수식 19로 주어진다.

따라서, 본 실시예에서는 이 영역의 콘트라스트는 c5(16-14)/c5*15=(16-14)/15가 되지만, 다이나믹 레인지의 압축에 있어서의 레벨 변환 함수 T(1)의 고레벨에 있어서의 경사는 통상 1.0보다 작기 때문에, 절단 조각(b)은 항상 양의 값을 갖는다. 이것은 종래법에 비하여, 입실론 필터(12)를 사용한 본 실시예에 의한 방법이 더욱 높은 콘트라스트를 실현할 수 있는 것을 나타내고 있다.

이와 같이, 본 실시예에 있어서는 입실론 필터(12)에 의해서 추출된 영역내d의 콘트라스트가, 계수 산출 함수 F(1)에 의해서 주어지는 보정 계수의 값 그 자체에 의해서 결정되고, 레벨 변환 함수 T(1)의 경사는 영역간의 콘트라스트에 영향을 미치게 된다. 따라서, 본 실시예에 의하면, 영역간의 콘트라스트를 압축함으로써,영역내의 콘트라스트를 보존할 수 있고, 주관적으로 바람직한 출력 화상을 얻을 수 있다.

다음에, 선형 로패스 필터를 사용한 종래법에 대한 본 실시예의 효과에 대해서 설명한다. 단 여기서는 설명을 간단하게 하기 위해서 화상을 1차원 신호로서 나타낸다. 종래법의 문제점은 이미 [발명이 해결하고자 하는 과제]의 항목에 있어서 도 21을 참조하여 설명하였지만, 그 문제점을 해결하기 위해서는 조명 조건이 다른 영역의 경계(조명 경계)를 보존한 채로, 동일 조명 하의 영역내를 평활화할 필요가 있다. 그런데, 경험상, 조명 강도의 변화에 기인하는 화소 레벨의 변화는 물체 표면의 반사율에 기인하는 화소 레벨의 변화보다도 훨씬 크고, 그 결과, 조명 경계에서는 화소 레벨의 큰 에지가 발생하게 된다.

도 7a에 도시하는 바와 같이, 이러한 에지 주변에서는 입실론 필터(12)의 주목 화소의 근방 영역 NB 내에 문턱값 E(x, y)를 넘는 큰 차분 절대값 AD(dx, dy)를 부여하는 화소값 I(x+dx, y+dy)가 존재하게 된다. 이 화소값 I(x+dx, y+dy)는 비교기(22; 도 4)에 의해서, 도 7a의 굵은 파선(I′(dx, dy))으로 도시하는 바와 같이, 현재의 주목 화소의 값(근방 영역 NB 중앙의 값) I(x, y)로 바뀌기 때문에, 수식 13에 의한 평활화에는 크게 기여하지 않고, 결과적으로 에지의 형상이 보존되게 된다. 이것에 대하여, 조명 경계 이외의 부분에서는 도 7b에 도시하는 바와 같이, 화소 레벨의 변화는 그 만큼 큰 것이 되지 않고, 주목 화소의 근방 영역 NB 전체에 걸쳐, 차분 절대값 AD(dx, dy)가 문턱값 E(x, y)보다도 작아진다. 이 경우, 수식 12의 J(dx, dy)는 전부 입력 화소값 I(x+dx, y+dy)와 같고, 입실론 필터는 단순한선형 로패스 필터와 등가가 되어, 근방 영역 NB 전체에 걸친 평활화가 행하여진다.

이와 같이 입실론 필터(12)는 선형 필터에 비해 에지를 보존하는 능력이 뛰어나고, 다른 조명광이 존재하는 화상에 있어서도 조명 성분을 더욱 유효하게 추출할 수 있다. 그렇지만, 노이즈 제거 등을 목적으로 일반적으로 사용되고 있는 문턱값 고정의 종래의 입실론 필터에서는 그 출력에 에지 근방에 있어서 불연속인 파형이 형성되기 때문에, 이것을 다이나믹 레인지의 압축용에 사용한 경우, 압축 후의 재현 화상에 원화상에는 없는 부자연스러운 화상 패턴이 발생할 가능성이 있다.

이 문제점을 설명하기 위해서, 도 8a 및 도 8b에 모델화한 에지와 그 주변에서의 문턱값 고정의 종래의 입실론 필터의 출력을 도시한다. 여기서는 에지 중앙부로부터 고레벨측만을 생각하여, 레벨이 급격히 변화하는 에지 부분은 기울기(a)의 직선으로, 그 이외의 에지 주변 부분은 기울기(O)가 평탄한 직선으로 근사하고 있다. 도 8a 및 도 8b에서는 입력 신호를 가는 실선(81)으로, 입실론 필터의 출력을 굵은 실선(82)으로, 대응하는 선형 로패스 필터의 출력을 굵은 파선(83)으로 도시한다. 단지, 입실론 필터로 사용하는 선형 로패스 필터는 평균값 필터인 것으로 한다. 또한, 사용하는 입실론 필터에서의 주목 화소의 근방 영역의 크기를 N, 그 문턱값을 E로 한다. 도 8a는 a, N, E간에 수식 20의 관계가 성립하고 있는 경우의 입실론 필터의 출력이다.

도 8a에 있어서, 가로축은 공간적인 위치 좌표를 나타내고, 오른쪽으로 갈수록 좌표값이 커지는 것으로 한다. p0은 에지의 하강점 pe에서 N/2만큼 떨어진 위치를 나타내고 있다. 이 경우, 입실론 필터는 선형 로패스 필터와 동등하게 작용한다. 그렇지만, 조명광의 변화에 의한 화상상의 레벨 변화는 급준하게 생기는(기울기(a)가 크다) 것이, 또한 상술한 바와 같이 효과적인 다이나믹 레인지를 압축하기 위해서는 큰 필터를 사용할 필요가 있기(N이 크다) 때문에, 조명 조건이 변화하는 조명 경계에서는 통상 수식 20의 조건은 성립하지 않는다고 생각된다.

한편, 도 8b에는 수식 20이 성립하지 않는 경우의 입실론 필터의 출력을 도시한다. 도 8b에 있어서, 출력 파형을 우측에서 좌측으로 봐 가면, p0으로부터 p0-E/a까지는 선형 필터와 같은 출력이 되고, 그 후 pe까지는 일정한 값을 출력한다. pe에서 pe-E/a까지는 2차 곡선을 따라서 하강하지만, 수식 20이 성립하지 않는 조건하에서는 이 사이는 반드시 입력 신호를 나타내는 직선(81)과 교차한다. pe-E/a에서는 불연속적으로 입력 신호와 같은 값이 되고, 그 후 입력 신호를 그대로 출력하게 된다. 문턱값 고정의 입실론 필터의 이 작용은 단순화한 에지 모델에 대한 것이지만, 에지 부근에서 복잡한 파형을 출력하는 것은 분명하다. 특히, pe-E/a의 근처에서는 불연속으로 변화하여, 입력 신호보다도 큰 경사를 가진 파형을 출력한다.

출력 화상 O(x, y)가 자연스러운 재현 화상이 되기 위해서는 화상상의 각 위치에 있어서의 국소적인 형상(공간적 경사의 방향)이 보존되어 있는 것이 필요하게 된다. 즉, 수식 21에 도시하는 바와 같이, 출력 화상 O(x, y)의 미분값 O′(x, y)의 부호와 입력 화상 I(x, y)의 미분값 I′(x, y)의 부호가 일치해야만 한다.

여기서, Sign(x)은 x의 부호를 나타낸다. 수식 21의 조건이 만족되지 않는 경우, 입력 화상과 출력 화상 사이에서 레벨 경사의 역전이 생겨, 입력 화상에는 존재하지 않는 화상 패턴이 출력 화상에 나타나게 된다. 예를 들면 도 9a에 도시하는 입력 화상이, 도 9b에 도시하는 바와 같이 출력된다. 도 9b의 출력 화상에서는 레벨 경사의 역전에 의해, 입력 화상에는 존재하지 않는 패턴(90)이 출현하고 있다. 그러나, 도 8b에 도시하는 에지 부근에서의 입실론 필터의 불연속인 작용은 이 수식 21의 조건의 성립을 곤란하게 할 가능성이 있고, 레벨 경사의 역전이 생길 우려가 있다.

수식 21이 성립하는지의 여부는 입실론 필터의 작용과 그 출력에 미치는 레벨 변환 함수 T(1)에 의존한다. 이것을 명확하게 하기 위해서, 처음에 수식 11에 수식 9를 대입하여 입력 화상 I(x, y)와 출력 화상 O(x, y)의 관계 수식 22를 얻는다.

수식 22의 우변에 있어서의 CR(x, y)/R(x, y)은 앞서 설명한 계수 산출 함수 F(R(x, y))에 상당한다. 수식 22의 양변을 미분하고, 수식 21에 대입하는 것으로, 출력 화상 O(x, y)가 만족되는 조건은 수식 23과 같이 표시되게 된다.

이 조건에 대한 레벨 변환 함수 T(1)의 관여를 더욱 명확히 하기 위해서, 도 10에 입실론 필터의 출력에 대한 레벨 변환 함수 T(1)의 출력의 관계를 도시한다. 가로축은 입실론 필터의 출력(레벨 변환 함수 T(1)로의 입력), 세로축은 레벨 변환 함수 T(1)의 출력을 나타내고 있다. 지금, 어떤 화소의 입실론 필터의 출력을 R, 그 레벨 변환 후의 값을 CR로 하고, 이들의 비의 값 CR/R을 a로 한다. 즉, a는 원점과 (R, CR)을 통과하는 직선의 경사에 상당한다(수식 24).

또한 이와 같은 화소에 있어서의 입실론 필터의 출력의 공간 미분값을 R′로 하면, 이것은 도 10의 가로축상에 있어서의 R을 중심으로 하는 미소 범위의 크기에상당하는 것으로 생각된다(단지 R은 미분값을 산출하는 화상상의 방향을 따라서 적당한 부호를 갖는다). 따라서, R에 대응하는 레벨 변환 함수 T(1)의 1에 관한 미 계수를 b로 하면, 레벨 변환 후의 공간 미분값은 수식 25에 의해서 근사할 수 있다.

수식 24 및 수식 25를 수식 22에 대입함으로써, 입실론 필터의 출력에 관한 부분 R′/R과, 레벨 변환 함수 T(1)의 성질에 관한 부분(1-b/a)으로 이루어지는 수식 26의 조건을 얻을 수 있다.

또, 조명 성분 압축을 위한 레벨 변환 함수 T(1)는 통상 단조 증가성을 갖기 때문에, a 및 b는 양의 값이 되어, 수식 27이 성립한다.

또, 1-b/a≥O은 a≥b를 의미하지만, 이 경우에는 조명 성분 레벨 R의 부근에서는 레벨이 클수록 큰 압축이 실시되는 것을 뜻하고 있다. 왜냐하면, 레벨 R의 압축률은 a이고, 그 부근을 똑같이 압축하는 경우에는 레벨 R 부근에서의 레벨 변환 함수 T(1)의 경사는 a일 필요가 있지만, 실제의 기울기는 더욱 작은 b이고, 도 11a에 도시하는 바와 같이 고레벨측만큼 크게 압축되게 된다. 반대로 1-b/a, 즉 a< b의 경우에는 제 11b 도에 도시하는 바와 같이 저레벨측 정도로 크게 압축되게 된다. 또, 도 11a 및 제 11b의 세로축 및 가로축은 도 10과 같이 각각 입실론 필터의 출력(레벨 변환 함수 T(1)로의 입력) 및 레벨 변환 함수 T(1)의 출력을 나타낸다.

에지 부근 이외의 평탄 부분에서는 입실론 필터는 로패스 필터로서 기능하기 때문에, 일반적으로 그 출력에 있어서의 공간적인 변화의 비율은 입력 화상의 그것보다도 느슨하게 된다. 따라서, 이들의 부분에서는 수식 28A 및 수식 28B에 나타내는 2개의 조건이 성립하고 있다고 가정할 수 있다.

I′≥0의 경우, 수식 28A 및 수식 28B로부터 R′≥0이 되기 때문에, 1-b/a가 음이면 항상 수식 26이 성립하게 된다. 또한, 0≤1-b/a≤1인 경우에는 수식 28A 및 수식 28B에서 얻어지는 I′/I≥R′/R로부터 수식 29와 같이 된다.

마찬가지로, I′< 0의 경우에도 수식 26이 성립하는 것은 용이하게 알 수 있다.

한편, 도 8b에 도시하는 바와 같이, 에지 중앙 부분에 있어서는 입실론 필터는 입력 신호를 그대로 출력하게 되기 때문에, 이 부분에서는 수식 30이 성립한다고 생각되지만, 이 경우에도 수식 26이 만족되는 것은 분명하다.

본 실시예에 있어서 입실론 필터(12)를 제거하여, R(x, y)=I(x, y)가 되도록 하면, 그 결과는 레벨 변환만에 의한 종래법과 등가가 되지만, 이것은 화상 전체에 걸쳐 수식 30의 조건이 성립하고 있는 경우에 상당하고, 종래법에서는 레벨 경사의 역전이 발생하지 않게 된다.

이들의 조건이 만족되지 않는 부분에서는 수식 26이 성립하는지의 여부는 입실론 필터(12)의 출력과 레벨 변환 함수 T(1)의 특성에 의존한다. 레벨 변환 함수 T(1)의 특성은 조명 성분을 어떻게 압축할지에 따라서 정해지는 것이기 때문에, 여기서는 입실론 필터(12)의 출력이 어떻게 수식 26의 성립에 영향을 미치게 하는 가를 4개의 경우 (1) 내지 (4)로 나누어 설명한다.

(1) I′≥0 또한 R′이 1-b/a와 같은 부호의 경우 ;

우변, 좌변이 모두 양이 되기 때문에, R′/R의 절대값이 클수록 수식 26의성립이 곤란해진다.

(2) I′≥0 또한 R′이 1-b/a와 다른 부호의 경우 ;

우변이 양, 좌변이 음이 되기 때문에, 항상 수식 26이 성립한다.

(3) I′< 0 또한 R′이 1-b/a와 같은 부호의 경우 ;

우변이 음, 좌변이 양이 되기 때문에, 항상 수식 26이 성립한다.

(4) I′< 0 또한 R′이 1-b/a와 다른 부호의 경우 ;

우변, 좌변이 모두 음이 되기 때문에, R′/R이 클수록 수식 26의 성립이 곤란해진다.

상기 (2) 및 (3)의 조건하에서는 근방 영역내에서 입력 화상의 레벨이 높을 수록 적은 압축이 실시되게 되기 때문에, 경사의 역전이 발생할 가능성이 없다. 따라서 R′/R이 어떠한 값이 되어도 항상 수식 26이 성립하게 된다. 이것에 대해서 (1), (4)의 조건에서는 R′/R의 절대값이 클수록 수식 26이 만족되지 않을 가능성이 높아지지만, 적어도 그 비가 입력 화상과 같으면 수식 26이 성립하는 것은 상기에 설명한 것과 같다. 본 실시예에서는 입실론 필터(12)의 문턱값 E를 가변으로 하고, 에지 부분에 있어서는 입력 화상에 가능한 한 가까운 신호를 출력하는 것으로, 즉, 에지 강도 G(x, y)가 클수록, 입실론 필터(12)의 문턱값 E가 작아지도록 문턱값을 제어하는 것으로, 경사의 역전을 최소한으로 억제하고, 도 9b에 도시한 바와 같은 부자연스러운 패턴(90)이 생기지 않도록, 자연스러운 화상을 재현하는 것을 가능하게 하고 있다.

또, 도 3에 도시한 레벨 변환 함수 T(1)는 어디까지나 일례이고, 목적에 따라서 임의의 것을 사용할 수 있는 것은 말할 필요도 없다. 예를 들면, 수식 1이나 수식 2에 도시한 함수를 사용하여도 좋다.

이상 설명한 바와 같이, 본 실시예에 의하면, 입력 화상상의 각 위치마다 에지 강도 G(x, y)를 산출하는 동시에, 이 에지 강도 G(x, y)에 근거하여, 입실론 필터(12)의 문턱값 E(x, y)를 제어하여 입력 화상에 필터 처리를 실시하고, 또한, 그 입실론 필터(12)로부터의 출력값 R(x, y)에 따라서 산출되는 계수 F(R(x, y))를, 수식 16에 도시한 바와 같이 입력 화소값 I(x, y)에 적산함으로써, 각 화소마다 화소값을 변환하여 다이나믹 레인지를 압축하도록 하였기 때문에, 복수의 다른 조명이 존재하는 경우에도, 그것들의 경계를 적절하게 추출하는 것을 가능하게 하고, 부자연스러운 화상 패턴의 발생을 억제하여, 주관적으로 바람직한 다이나믹 레인지의 압축을 실현할 수 있다. 즉, 입실론 필터(12)를 사용하여, 입력 화상으로부터 조명 성분을 추출하고, 그 조명 성분을 압축함으로써, 국소적인 콘트라스트를 보존한 채로 전체적인 다이나믹 레인지를 삭감하고, 주관적으로 바람직한 재현 화상을 얻을 수 있다. 이 때, 에지 강도 G(x, y)에 근거하여, 입실론 필터(12)의 문턱값 E를 화소값 I(x, y)의 국소적인 경사에 따라서 적응적으로 변화시키도록 하였기 때문에, 선형 로패스 필터를 사용한 경우나 문턱값 고정의 입실론 필터를 사용한 경우보다도, 더욱 정확하게 조명 경계를 추출할 수 있다.

[제 2 실시예]

다음에, 본 발명의 제 2 실시예에 대해서 설명한다. 또, 이하의 설명에서는 상기 제 1 실시예에 있어서의 구성 요소와 실질적으로 동일한 기능을 갖는 부분에는 동일한 부호를 붙이고, 적시 설명을 생략한다.

도 12는 본 발명의 제 2 실시예에 관계되는 화상 처리장치의 구성을 도시하고 있다. 본 실시예에 관계되는 화상 처리장치의 전체적인 기능은 상기 제 1 실시예와 같지만, 본 실시예에서는 제산기(13) 및 레벨 변환기(14; 도 1) 대신에, 이들의 기능을 합친 계수 산출기(16)가 설치되어 있는 점이, 상기 제 1 실시예와는 다르다. 즉, 본 실시예는 상기 제 1 실시예에서 나타낸 수식 16에 근거하여 다이나믹 레인지를 압축하는 것이다.

본 실시예에 있어서의 계수 산출기(16)에서는 입실론 필터(12)의 출력 R(x, y)에 대하여, 도 13에 도시하는 바와 같은 계수 산출 함수 F(1)를 실시하여 계수 C(x, y)를 산출한다. 계수 산출 함수 F(1)는 상기 제 1 실시예에서 설명한 바와 같이, 레벨 변환 함수 T(1)를 사용하여 수식 15에 의해서 얻어진다. 계수 산출기(16)에 의해서 산출된 계수 C(x, y)는 승산기(15)로 보내진다.

본 실시예에 있어서의 승산기(15)에는 입력 화상을 도시하는 신호가 직접 입력되는 동시에, 산출기(16)에 의해서 산출된 계수 C(x, y)가 입력된다. 승산기(15)에서는 입력 화상의 각 화소값 I(x, y)에 대하여 대응하는 계수 C(x, y)를 적산하는 것으로 화상 신호를 복원하고, 상기 제 1 실시예와 같이 그 결과의 화상 신호 O(x, y)를 도시하지 않은 전송로, 기억장치 또는 표시장치 등으로 출력한다.

본 실시예에 있어서도, 에지 강도 G(x, y)에 근거하여, 입실론 필터(12)의 문턱값 E(x, y)를 제어하여 입력 화상에 필터 처리를 실시하고, 또한, 그 입실론 필터(12)로부터의 출력값 R(x, y)에 따라서 산출되는 계수 F(R(x, y))를, 입력 화소값 I(x, y)에 적산함으로써, 각 화소마다 화소값을 변환하여 다이나믹 레인지를 압축하도록 하고 있기 때문에, 상기 제 1 실시예와 같은 효과를 얻을 수 있다.

[제 3 실시예]

다음에, 본 발명의 제 3 실시예에 대해서 설명한다. 또, 이하의 설명에서는 상기 제 1 실시예 또는 상기 제 2 실시예에 있어서의 구성 요소와 실질적으로 동일한 기능을 갖는 부분에는 동일한 부호를 붙이고, 적시 설명을 생략한다.

도 14는 본 발명의 제 3 실시예에 관계되는 화상 처리장치의 구성을 도시하고 있다. 본 실시예에 관계되는 화상 처리장치의 구성은 상기 제 1 실시예(도 1)와 거의 같지만, 문턱값 제어기(11)에, 에지 강도 산출기(10)로부터의 출력인 에지 강도 G(x, y) 이외에, 더욱, 입력 화상의 화소값 I(x, y)가 직접 입력되어 있는 점이 다르다.

본 실시예에 있어서의 문턱값 제어기(11A)에서는 후단의 입실론 필터(12)에서 사용하는 문턱값 E(x, y)를, 에지 강도 G(x, y)만이 아니라, 입력 화상의 화소 레벨에 의해서도 제어한다. 더욱 구체적으로는 문턱값 제어기(11A)에서는 입력 화상의 화소값 I(x, y)가 클수록 문턱값 E(x, y)가 커지는 동시에, 에지 강도 G(x, y)가 클수록 문턱값 E(x, y)가 작아지도록 문턱값 E(x, y)를 제어한다.

이러한 문턱값 제어는 아래와 같이 하여 실현할 수 있다. 예를 들면, 우선, 미리 설정된 양의 계수 r(r≤1.0)을 사용하여, 수식 31에 의해서, 입력 화상의 화소값 I(x, y)가 클수록 그 값이 커지는, 임의의 문턱값 Etmp(x, y)를 설정한다.

그 후, 이 문턱값 Etmp(x, y)를 에지 강도 G(x, y)에 의해 수정하여 실제로사용하는 문턱값 E(x, y)를 결정한다. 예를 들면, 수식 8에 있어서의 정규화를 위한 정수 Emin, Emax를 각각 0.0, 1.0으로 하고, 수식 8에 의해서 에지 강도에 따른 계수 G(x, y)를 산출하도록 한다. 이것을 수식 32와 같이, 임의의 문턱값 Etmp(x, y)에 적산하여 최종적인 문턱값 E(x, y)를 구한다. 이것에 의해, 입력 화상의 화소값 I(x, y)가 클수록 그 값이 커지는 동시에, 에지 강도 G(x, y)가 클수록 그 값이 작아지도록, 문턱값 E(x, y)가 제어된다.

입실론 필터(12)의 문턱값 E(x, y)는 입력 화소의 공간적 변화가 조명 성분의 변화에 의한 것인지, 물체 표면의 반사율의 변화에 의한 것인지를 분리하는 역할을 하지만, 물체 표면의 반사율의 변화가 작은 경우에도 조명 레벨 자체가 크면 화소값 I(x, y)의 변화는 커진다. 즉, 조명 레벨의 큰 변화와 강한 조명 하에서의 작은 반사율의 변화를 어떻게 구별할지가 문제가 된다. 본 실시예에서는 화소 레벨이 클수록 입실론 필터(12)의 문턱값 E(x, y)를 크게 설정하도록 하고 있지만, 이것에 의해 화소값 I(x, y)의 변화에 있어서의 조명 레벨의 영향을 경감할 수 있고, 더욱 적절하게 조명 성분을 추출하는 것이 가능해진다.

이상 설명한 바와 같이, 본 실시예에 의하면, 에지 강도 G(x, y)뿐만 아니라, 입력 화상의 화소 레벨을 고려하여, 입실론 필터(12)의 문턱값 E(x, y)의 제어를 하도록 하였기 때문에, 입실론 필터(12)에 있어서, 더욱 적절하게 조명 성분을 추출하는 것이 가능해진다.

[제 4 실시예]

다음으로, 본 발명의 제 4 실시예에 대해서 설명한다. 또, 이하의 설명에서는 상기 제 1 내지 제 3 실시예에 있어서의 구성 요소와 실질적으로 동일한 기능을 갖는 부분에는 동일한 부호를 붙이고, 적시 설명을 생략한다.

도 15는 본 발명의 제 4 실시예에 관계되는 화상 처리장치의 구성을 도시하고 있다. 본 실시예에 관계되는 화상 처리장치의 구성은 상기 제 3 실시예(도 14)와 거의 같지만, 특히, 각 화소마다 2종류의 문턱값 Elo(x, y), Eup(x, y)를 사용하여 입실론 필터의 문턱값 제어를 하도록 한 점이 상기 제 3 실시예와는 다르다.

본 실시예에 있어서의 문턱값 제어기(11B)에서는 각 화소마다 크기가 다른 2종류의 문턱값 Elo(x, y), Eup(x, y)를 산출하고, 그들에 의해서 입실론 필터(12A)의 문턱값 제어를 한다. 즉, 문턱값 제어기(11B)에서는 예를 들면, 미리 설정된 크기가 다른 2개의 계수 rl, ru(0.0≤rl, ru≤1.0)를 사용하여, 수식 33A 및 수식 33B와 같이, 2종류의 임의의 문턱값 Etmplo(x, y), Etmpup(x, y)를 산출한다. 그리고, 그것들을 제 1 문턱값 Elo(x, y) 및 제 2 Eup(x, y)로 하여, 입실론 필터(12A)로 출력한다.

본 실시예에 있어서의 입실론 필터(12A)에서는 문턱값 제어기(11B)에서 산출된 2개의 문턱값 Elo(x, y), Eup(x, y)에 의해 문턱값 처리를 한다. 입실론 필터(12A)에서의 처리는 더욱 자세하게는 예를 들면, 도 16에 도시한 구성에 의해, 아래와 같이 하여 행하여진다. 차분기(20)에 의해서 산출된 차분값 D(x, y)는 본 실시예에 있어서는 절대값 산출기(21)의 이외에 부호 판정기(24)로도 보내진다.

부호 판정기(24)에서는 차분값 D(x, y)의 부호를 판정하고, 그 결과를 스위치(27)로 보낸다.

제 1 비교기(25)에서는 문턱값 제어기(11B)로부터 보내지는 제 1 문턱값 Elo(x, y)를 사용하고, 제 1 실시예와 같이 수식 12에 의해 신호를 선택한다. 즉, 절대값 산출기(21)에서 산출된 값 AD(dx, dy)와 문턱값 Elo(x, y)를 비교하여, 그 결과에 따라서, 주목 화소의 값 I(x, y) 또는 근방 화소의 값 I(x+dx, y+dy) 중 어느 한쪽을 선택하고, 그것을 값 J(dx, dy)로서 출력한다.

제 2 비교기(26)에서는 문턱값 제어기(11B)로부터 보내지는 제 2 문턱값 Eup(x, y)를 사용하여, 제 1 실시예와 동일 수식 12에 의해 신호를 선택한다. 즉, 절대값 산출기(21)에서 산출된 값 AD(dx, dy)와 문턱값 Eup(x, y)을 비교하고, 그 결과에 따라서, 주목 화소의 값 I(x, y) 또는 근방 화소의 값 I(x+dx, y+dy) 중 어느 한쪽을 선택하고, 그것을 값 J(dx, dy)로서 출력한다.

스위치(27)에서는 부호 판정기(24)의 판정 결과를 바탕으로, 제 1 비교기(25) 또는 제 2 비교기(26)의 출력 중 어느 한쪽을 선택하고, 선형 로패스 필터(23)로 보낸다. 스위치(27)에서는 예를 들면, 부호 판정 결과가 양인 것을 나타내고 있는 경우에는 제 1 비교기(25)의 출력을 선택한다. 반대로, 판정 결과가 음인 경우에는 제 2 비교기(26)의 출력을 선택한다.

본 실시예에서는 근방 화소의 값 I(x+dx, y+dy)가 현재의 주목 화소의 값( 근방 영역 NB의 중앙의 값) I(x, y)보다도 큰 경우에는 문턱값 Eup(x, y)가 사용되고, 작은 경우에는 Elo(x, y)가 사용된다. 즉, 입실론 필터(12A)에 있어서, 고레벨측과 저레벨측에서 다른 문턱값을 설정하는 것이 가능해지고 있다. 특히, 제 2 문턱값 Eup(x, y)가 제 1 문턱값 Elo(x, y)보다도 커지도록 하는 것으로, 제 3 실시예와 같이 화소값의 변화에 포함되는 조명 성분의 영향을 경감할 수 있고, 더욱 적절하게 조명 성분을 추출하는 것이 가능해진다.

[제 5 실시예]

다음으로, 본 발명의 제 5 실시예에 대해서 설명한다. 또, 이하의 설명에서는 상기 제 1 내지 제 4 실시예에 있어서의 구성 요소와 실질적으로 동일한 기능을 갖는 부분에는 동일한 부호를 붙이고, 적시 설명을 생략한다.

도 17은 본 발명의 제 5 실시예에 관계되는 화상 처리장치의 구성을 도시하고 있다. 본 실시예에 관계되는 화상 처리장치의 구성은 상기 제 1 실시예(도 1)와 유사하지만, 특히, 처음에 입력 화상의 화소 레벨에 예를 들면 대수 변환 등의 비선형의 변환을 실시하도록 한 점이 다르다.

즉, 본 실시예에 있어서는 회로의 입력단에 대수 변환기(17)를 설치하고, 처음에 입력 화상의 각 화소값 I(x, y)에 대하여 수식 1에 도시한 대수 변환을 실시하도록 되어 있다. 또한 이에 따라, 입실론 필터(12)에서 얻어진 조명 성분 R(x, y)을 빼기 위한 제산기(13)가 감산기(18)로, 압축된 조명 성분 CR(x, y)을 비조명 성분 S(x, y)에 적산하기 위한 승산기(15)가 가산기(19)로 바뀌어 있다. 이들은 적산, 제산이 대수 변환 후에는 가산, 감산기가 되는 것은 잘 알려진 사실에 근거하는 것이다.

대수 변환기(17)에 의해서 대수 변환된 후의 입력 화상의 화소값 IL(x, y)은 에지 강도 산출기(10), 입실론 필터(12), 및 감산기(18)로 보내진다. 에지 강도 산출기(10) 및 입실론 필터(12)에서는 그 화소값 IL(x, y)에 근거하여, 상기 제 1 실시예와 같은 처리를 한다. 한편, 감산기(18)에서는 각 화소값 IL(x, y)로부터, 입실론 필터(12)에서 얻어진 조명 성분 R(x, y)을 감산함으로써, 입력 화상으로부터 조명 성분을 제거하고, 그 결과 얻어지는 비조명 성분 S(x, y)를 가산기(19)로 출력한다. 가산기(19)에서는 비조명 성분 S(x, y)에 보정 조명 성분 CR(x, y)을 가산하는 것으로 화상 신호를 복원하고, 상기 제 1 실시예와 같이 그 결과의 화상 신호 0(x, y)을 도시하지 않은 전송로, 기억장치 또는 표시장치 등으로 출력한다.

본 실시예에서 사용한 대수 변환은 그 자체가 다이나믹 레인지의 압축 효과를 갖고, 입력 레벨이 높을 수록 화소값 I(x, y)가 크게 압축된다. 이것에 의해, 상기 제 3 및 제 4 실시예와 실질적으로 같고, 화소값이 공간적인 변화에 있어서의 조명 레벨의 영향이 경감되게 되어, 더욱 적절하게 조명 성분을 추출하는 것이 가능해진다.

또, 본 실시예에서는 비선형의 변환으로서 대수 변환을 하는 예에 대해서 설명하였지만, 대수 변환 이외의 다른 비선형의 변환을 하도록 하여도 좋다.

이상 설명한 바와 같이, 본 발명의 화상 처리 방법 또는 화상 처리장치에 의하면, 입력 화상상의 각 위치마다 산출된 에지 강도에 근거하여, 입실론 필터에서 사용되는 문턱값을 제어하는 동시에, 그 문턱값의 제어된 입실론 필터로부터의 출력값에 따라서, 화소값을 변환하기 위한 계수를 산출하고, 그 산출된 계수에 의해, 각 화소마다 화소값을 변환하도록 하였기 때문에, 복수가 다른 조명이 존재하는 경우에도, 그것들의 경계를 적절하게 추출하는 것이 가능해져, 부자연스러운 화상 패턴의 발생을 억제하여, 주관적으로 바람직한 다이나믹 레인지의 압축을 실현할 수있다.

이상의 설명에 근거하여, 본 발명의 여러 가지 예나 변형 예를 실시 가능한 것은 분명하다. 따라서, 이하의 클레임의 균등의 범위에 있어서, 상기한 상세한 설명에 있어서의 예 이외의 예에서 본 발명을 실시하는 것이 가능하다.

Claims

입력된 화상을, 상대적으로 더욱 다이나믹 레인지가 작은 화상으로 변환하기 위한 화상 처리 방법에 있어서,

입력 화상상의 각 위치마다 에지 강도를 산출하는 에지 강도 산출 과정,

산출된 상기 에지 강도에 근거하여, 입실론 필터의 문턱값을 제어하는 문턱값 제어 과정,

상기 문턱값 제어 과정에서 제어된 문턱값을 사용하여, 상기 입력 화상에 상기 입실론 필터에 의한 필터 처리를 실시하는 필터링 과정, 및

상기 필터링 과정의 출력값에 따라서, 화소값을 변환하기 위한 계수를 산출하고, 상기 산출한 계수에 의해, 각 화소마다 화소값의 변환을 행하는 화소값 변환 과정을 포함하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 에지 강도 산출 과정에서는 상기 에지 강도로서, 주목 화소의 근방 영역내의 화소값의 1차 미분값이 클수록 큰 값을 산출하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 문턱값 제어 과정에서는 상기 에지 강도가 클수록, 상기 문턱값이 작아지도록 상기 문턱값을 제어하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 문턱값 제어 과정에서는 상기 입력 화상의 화소값이 클수록 상기 문턱값이 커지는 동시에, 상기 에지 강도가 클수록 상기 문턱값이 작아지도록 상기 문턱값을 제어하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 문턱값 제어 과정에서, 크기가 다른 2개의 문턱값을 산출하고,

상기 필터링 과정에서, 근방 화소의 값이 주목 화소에 비하여 큰 경우와 작은 경우에서 다른 문턱값을 사용하는 것을 특징으로 하는 화상 처리 방법.
제 5 항에 있어서,

상기 필터링 과정에서, 근방 화소의 값이 주목 화소의 값보다도 큰 경우에는 상기 2개의 문턱값 중, 값이 큰 쪽의 문턱값을 사용하고, 근방 화소의 값이 주목 화소의 값보다도 작은 경우에는 값이 작은 쪽의 문턱값을 사용하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

또한, 상기 입력 화상의 화소 레벨에, 비선형의 변환을 실시하는 과정을 갖고,

상기 비선형의 변환이 행하여진 후의 입력 화상에 대하여 상기 입실론 필터에 의한 필터 처리를 실시하는 것을 특징으로 하는 화상 처리 방법.
제 7 항에 있어서,

상기 비선형 변환은 대수 변환인 것을 특징으로 하는 화상 처리 방법.
입력된 화상을, 상대적으로 더욱 다이나믹 레인지가 작은 화상으로 변환하기 위한 화상 처리장치에 있어서,

입력 화상상의 각 위치마다 에지 강도를 산출하는 에지 강도 산출수단,

설정된 문턱값을 사용하여, 상기 입력 화상에 필터 처리를 실시하는 입실론 필터,

상기 에지 강도 산출수단에 의해서 산출된 상기 에지 강도에 근거하여, 상기 입실론 필터에서 사용되는 문턱값을 제어하는 문턱값 제어수단, 및

상기 입실론 필터로부터의 출력값에 따라서, 화소값을 변환하기 위한 계수를 산출하고, 상기 산출한 계수에 의해, 각 화소마다 화소값의 변환을 행하는 화소값 변환수단을 구비한 것을 특징으로 하는 화상 처리장치.
제 9 항에 있어서,

상기 에지 강도 산출수단은 상기 에지 강도로서, 주목 화소의 근방 영역내의화소값의 1차 미분값이 클수록 큰 값을 산출하도록 구성되어 있는 것을 특징으로 하는 화상 처리장치.
제 9 항에 있어서,

상기 문턱값 제어수단은 상기 에지 강도가 클수록, 상기 문턱값이 작아지도록 상기 문턱값을 제어하는 것을 특징으로 하는 화상 처리장치.
제 9 항에 있어서,

상기 문턱값 제어수단은 상기 입력 화상의 화소값이 클수록 상기 문턱값이 커지는 동시에, 상기 에지 강도가 클수록 상기 문턱값이 작아지도록 상기 문턱값을 제어하는 것을 특징으로 하는 화상 처리장치.
제 9 항에 있어서,

상기 문턱값 제어수단은 크기가 다른 2개의 문턱값을 산출하고,

상기 입실론 필터는 근방 화소의 값이 주목 화소에 비하여 큰 경우와 작은 경우에서 다른 문턱값을 사용하도록 구성되어 있는 것을 특징으로 하는 화상 처리장치.
제 13 항에 있어서,

상기 입실론 필터는 근방 화소의 값이 주목 화소의 값보다도 큰 경우에는 상기 2개의 문턱값 중, 값이 큰 쪽의 문턱값을 사용하고, 근방 화소의 값이 주목 화소의 값보다도 작은 경우에는 값이 작은 쪽의 문턱값을 사용하도록 구성되어 있는 것을 특징으로 하는 화상 처리장치.
제 9 항에 있어서,

또한, 상기 입력 화상의 화소 레벨에, 비선형의 변환을 실시하는 수단을 갖고,

상기 입실론 필터는 상기 비선형의 변환이 행하여진 후의 입력 화상에 대하여 상기 필터 처리를 실시하도록 구성되어 있는 것을 특징으로 하는 화상 처리장치.
제 15 항에 있어서,

상기 비선형의 변환을 실시하는 수단은 상기 입력 화상의 화소 레벨에 대수 변환을 실시하는 것을 특징으로 하는 화상 처리장치.