KR20110128463A

KR20110128463A - 색 보정 레티넥스 방법

Info

Publication number: KR20110128463A
Application number: KR1020100047921A
Authority: KR
Inventors: 한규필
Original assignee: 금오공과대학교 산학협력단
Priority date: 2010-05-24
Filing date: 2010-05-24
Publication date: 2011-11-30
Also published as: KR101134463B1

Abstract

HDC(Hierarchical discrete correlation)를 레티넥스의 주변 함수로 이용하여 MSR 기법에서 가장 연산량이 많은 LPF 과정의 속도를 개선하고 휘도 신호 만에만 적용하며 간단한 색 보정 기법을 추가적으로 이용하여 고속 처리하는 색 보정 레티넥스 방법이 제공된다. 컬러 영상으로부터 휘도 신호를 추출한다. 상기 추출된 휘도 신호에 가우스 함수와 등가적인 홀수 HDC를 적용하여 LPF 처리한 HDC 출력을 얻는다. 상기 HDC 출력을 단일 스케일 레티넥스(SSR) 및 다중 스케일 레티넥스(MSR) 처리하여 MSR 출력을 얻는다. 상기 MSR 출력에 단조 증가 함수를 적용하여 색 보정 처리한다.

Description

색 보정 레티넥스 방법{Color restoration Retinex method}

본 발명은 레티넥스(Retinex) 방법에 관한 것으로, 더 상세하게는 컬러 비전의 색 사상에서 가장 널리 활용되는 다중 스케일 레티넥스(multi-scale Retinex; 이하 'MSR'이라 함) 기법의 속도를 개선한 색 보정 기능을 갖는 MSRCR(MSR with color restoration) 방법에 관한 것이다.

색 사상(tone mapping)이란 영상 관련 분야에서 고 품질의 영상을 획득하기 위해 필수적으로 거쳐야 하는 과정이다. 이 과정은 장치 특성에 따라 다른 동적 범위를 조절하는 방식으로도 활용되지만, 역광과 노출 조정 실패 등에 의해 저하된 영상을 향상시키는 기법으로도 많이 활용되고 있다. 색 사상 기법은 크게 전역(global) 기법과 국부(local) 기법으로 나누어지며, 상기 전역 기법은 모든 화소에 지수, 로그 및 시그모이드(sigmoid) 등과 같은 동일 함수를 적용하는 방식이지만 국부 기법은 화소의 위치와 주변 값에 따라 독립적인 함수를 사용한다. 수행 속도에서는 전역 기법이 우수하지만 영상의 품질에서는 국부 기법이 좋은 결과를 가져온다. 전역 기법의 대표적인 예는 감마 보정, 히스토그램 평활화이고 국부 기법은 Retinex가 대표적인 예이다. Edwin Land에 의해 고안된 Retinex 기법의 목적은 조명의 영향을 제거하고 물체의 밝기를 획득하기 위해 영상을 반사와 조명 성분으로 분해하는 것이다. Land는 서서히 변화되는 저주파 형태의 조명 성분을 계산하기 위해 1차원적 무작위 경로를 따라 화소의 연속적 덧셈을 이용한 경로형(path version) 방식을 제안하였다. 이후 많은 연구가 진행되어 현재 반복 및 비 반복(iterative and non-iterative)형으로 분류된다. 반복형은 경로형을 2차원으로 확장한 형태이며, 비 반복형은 주변 기반(surround-based)형으로 불리우며 다시 Land에 의해 제안되었다. 주변 함수를 단수 개로 사용하는 SSR(single-scale Retinex)과 복수 개를 사용하는 MSR이 있으며, 최근 색 복원기능을 갖는 MSRCR로 발전하였다.

MSR 기법은 주변 함수로 가우스 함수를 사용하여 원 영상과 상승 적분(convolution)을 수행하기 때문에 이 과정에서 많은 계산량이 요구되어 속도와 성능을 높이기 위해 비트 이동(bit shift) 연산, 부 표본화(down/sub-sampling) 및 FFT(fast Fourier transform), 경계를 이용한 주변 함수의 변경 등 다양한 기법이 제시되고 있으며, 현재 컬러 비전에서 가장 널리 활용되고 있는 색 사상 기법이다.

컬러 영상의 향상에 가장 많이 활용되는 단일 스케일(Single-Scale) 레티넥스(SSR) 및 MSR 기법은 조명성분을 추정하기 위해 크기가 단일 또는 다른 N개의 LPF를 처리하는 과정에서 많은 시간이 소요된다. 기존 MSR 기법은 보통 3개의 SSR로 구성되며 각 SSR에 크기가 다른 가우스 주변 함수를 사용하고 있으며, 이 함수와의 상승 적분(Convolution) 부분에서 많은 계산이 요구된다. 또한, R(red), G(green), B(blue) 또는 H(hue), S(saturation), V(value)색 채널 값에 각각 적용되므로 처리 시간을 느리게 한다.

본 발명은 종래의 문제점을 해결하기 위한 것으로, HDC를 레티넥스의 주변 함수로 이용하여 MSR 기법에서 가장 연산량이 많은 LPF 과정의 속도를 개선하고 휘도 신호에만 적용하며 간단한 색 보정(CR:color restoration)기법을 추가적으로 이용하여 고속 처리하는 색 보정 레티넥스 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 색 보정 레티넥스 방법은 (i) 컬러 영상으로부터 휘도 신호를 추출하는 단계; (ii) 상기 추출된 휘도 신호에 가우스 함수와 등가적인 홀수 HDC(Hierarchical discrete correlation)를 적용하여 LPF 처리한 HDC 출력을 얻는 단계; (iii) 상기 HDC 출력을 단일 스케일 레티넥스(SSR) 및 다중 스케일 레티넥스(MSR) 처리하여 MSR 출력을 얻는 단계; 및 (iv) 상기 MSR 출력에 단조 증가 함수를 적용하여 색 보정 처리하는 단계를 포함하는 것을 특징으로 한다.

본 발명에서는 기존의 MSRCR방식의 속도를 획기적으로 높이기 위해 HDC(Hierarchical discrete correlation)를 채택하여 계층적으로 상승 적분을 수행하여 연산량이 기존의 3-채널 MSR 2D 가우스 방식보다는 약 1/450, 분리형 1D 가우스보다는 1/9.5인 새로운 방식으로서, HDC를 레티넥스의 주변 함수로 이용하여 MSR기법에서 가장 연산량이 많은 LPF 과정의 상승 적분을 획기적으로 개선하고 휘도 신호에만 적용하는 고속 MSRCR 기법을 제공한다. HDC는 가우스 함수와 등가적이며, 단순한 5-화소의 필터링을 반복 적용하여 빠른 시간에 축소(decimation) 과정없이 큰 크기의 창을 적용한 효과를 얻을 수 있었다. 그 결과, 기존의 분리형 가우스 함수를 적용한 가장 단순하고 빠른 MSR 기법보다 연산량을 약 9.5배, 계산 시간을 3.5배 정도 줄이면서 동일한 결과를 얻을 수 있었다.

본 발명은 컬러 영상을 이용하는 영상 시스템에서 조명 불균일, 역광, 노출보정, 화질 향상 등을 위해 고속 처리를 할 수 있는 효과가 있다. 기존 방식은 RGB 또는 HSV 각 컬러 값에 적용되는 방식이지만, 본 발명은 HDC를 이용하고 휘도(Y) 신호만 이용하므로 처리 속도가 빠르다. Y 신호만을 이용하므로, 별도의 색 보정 처리 기능이 있다. SSR 및 MSR에 모두 사용할 수 있다. 그러므로 제안한 알고리즘은 속도를 높이기 위해 가우스 함수와 등가적인 HDC(Hierarchical discrete correlation)를 사용하고 휘도 영상에만 적용하는 기법을 제시하며, 휘도 영상의 레티넥스 결과 값을 이용하여 색이 보존되는 단순한 MSRCR 알고리즘을 개발하였다. 실험을 통하여 제안한 기법은 기존의 가장 단순한 MSR 기법보다 연산량 및 속도를 1/9.5배, 1/3.5배로 줄일 수 있었으며 기존 기법과 동등한 결과를 얻을 수 있었다.

도 1은 본 발명의 실시예에 따른 색 보정 레티넥스 방법을 설명하는 블록도이다.
도 2는 m=r=2인 경우 본 발명의 실시예에 따른 홀수 HDC의 도식적 연산 과정을 설명하는 도면이다.
도 3 내지 도 6은 본 발명의 실시예에 따른 작은 스케일 LPF 결과를 나타낸 도면들이다.
도 7 내지 도 10은 본 발명의 실시예에 따른 HDC의 단계별 LPF 결과를 나타낸 도면들이다.
도 11 내지 도 14는 본 발명의 실시예에 따른 실험 영상의 예를 나타낸 도면들이다.
도 15 내지 도 22는 본 발명의 실시예에 따른 결과 영상의 예를 나타낸 도면들이다.

이하, 본 발명의 실시예에 따른 색 보정 레티넥스 방법을 첨부 도면을 참조하여 설명한다.

도 1은 본 발명의 실시예에 따른 색 보정 레티넥스 방법을 설명하는 블록도이다. 본 발명의 실시예에 따른 방법은 휘도(Y) 영상에만 MSR을 적용하기 때문에 영상이 입력되면 휘도(Y) 신호를 추출하고(단계 S110), 그 다음 상기 추출된 Y 신호에 홀수 HDC를 적용하여 최대 주변 함수의 크기(ι=5, 125×125)에 해당하는 LPF의 윈도우 크기에 달할 때까지 Y 신호와 상승 적분을 수행함으로써 LPF 처리된 HDC 출력을 얻는다(단계 S120).

주변 기반 레티넥스의 예로서 Edwin Land에 의해 제안된 레티넥스 알고리즘은 인간의 망막(retina)에 의해 인식되는 특정 영역의 색과 밝기는 조명의 강도와는 무관하며, 주변 영역의 값과의 비율(ratio)에 의해 결정된다고 정의하였기 때문에, 현재 화소의 값과 주변 화소의 비율을 차이로 변환하기 위해 로그 함수를 사용한다. SSR의 결과는 다음 수학식 1로 정의된다.

여기서 I_i(x, y)는 입력 영상으로 화소 (x, y) 위치에서 i-번째 스펙트럼 대역(보통 R, G, B채널)의 밝기값을 나타낸다. F(x, y)는 아래의 가우스 주변 함수로 다음 수학식 2로 표현된다.

여기서 K는 가우스 주변 함수가 확률 밀도 함수이기 위해 다음 수학식 3을 만족시키는 상수이고, r은 가우스 주변 함수의 중점에서 (x, y)까지의 거리이고, c는 분산에 관계된 주변 함수의 공간적 크기를 나타낸다.

작은 크기(small/narrow scale)의 주변 함수를 사용하면 역광 등에 의해 발생된 과도한 밝기의 범위를 줄이는 효과가 있고 큰 크기(large/wide scale)의 주변 함수는 부드러운 색 연출이 뛰어난 특징이 있으므로 MSR을 사용하면 SSR의 크기별 특성을 동시에 활용할 수 있다. MSR은 다음 수학식 4와 같이 각 SSR의 결과에 크기별 가중치를 부여하여 계산한다.

여기서 w_n은 n-번째 주변 함수를 사용한 SSR의 가중치를 나타내고 크기별 주변 함수 F_n(x, y)는 다음 수학식 5로 표현된다.

MSRCR은 컬러 채널별 3개의 MSR 출력에 이득과 비선형성을 조절하는 방식을 사용하여 색을 복원한다. 그러므로 상기 MSRCR은 다음 수학식 6으로 표현된다.

여기서, C_i는 i-번째 spectral band의 색 보정 함수를 나타낸다. 색 보정은 입력된 각 채널의 값이 독립적으로 변화되면 색 변화가 발생하므로 색의 변화가 발생하지 않게 변화되어야 하며, 전체 색 변화 비율을 선형적으로 또는 이득과 오프셋을 설정하여 비선형적으로 적용하는 방식이 있다.

HDC는 평균 기능을 담당하는 가중치 함수이다. 가중치 함수의 개수, 즉 창의 크기가 짝수개이면 짝수 HDC이고 홀수개이면 홀수 HDC이다. 즉, 단계(ι)별로 r의 멱승의 크기로 폭을 넓히면서 상관 관계(대칭이면 상승 적분과 등가이지만 correlation이라 함)를 계산하는 것은 모두 HDC이다. 통상적으로 홀수 HDC가 짝수 HDC 보다 특성이 더 좋다.

이러한 홀수 HDC는 직접적인 상관도 함수나 고속 푸리에 변환(FFT)을 이용한 상관도 함수보다 계산량이 적을 뿐만 아니라 창틀의 크기를 여러 가지로 할 수 있으며, 특히 작은 연산량으로 큰 크기의 필터를 구현할 수 있다는 장점이 있다. 이 필터의 성질은 저역 통과 필터(low-pass filter; 이하 'LPF'라 함)와 같은 역할을 하며, 홀수 HDC 출력은 다음 수학식 7과 같이 표현된다.

여기서 f(x)는 입력, g_i(x)는 단계 ι에서의 HDC 출력이고, w(i)는 가중치 함수를 나타내고, r은 단계 ι에서 인접 화소간의 거리를 조절하는 인자이고, 창틀의 크기 W=2m+1로 주어진다. 초기 단계인 ι=0은 원 신호와 같고, 단계가 증가할수록 도 2에서와 같이 동작하며 더 많은 블러링이 이루어진다. 이 필터의 성질은 가중치 함수에 의해 결정되는데, 이것은 아래 수학식 8의 w(i) 제약 조건에 의해 설명되어 질 수 있다.

대칭: w(x) = w(-x), for 모든 x

유니모달: w(x₁)≥w(x₂)≥0, for 0 x₁≤ x₂

공동 분담(equal contribution):

여기서 첫 번째 식은 LPF의 성질을 나타내며 W=5 (m=r=2)인 필터에 대해서 이산적인 w(i)의 가중치를 제약 조건에 의해 구해 보면 유일한 해를 구할 수 없지만, 각 계수에 대한 범위가 주어지므로 선택된 값에 따라 약간의 차이가 있을 수 있다. 그러나 그 중에서 가중치가 순서대로 0.05, 0.25, 0.4, 0.25, 0.05이면 상승 적분을 계속 반복할 때 가우스 함수에 가장 접근하는 것으로 알려져 있다. HDC의 단계별 등가적 창의 크기는 다음 수학식 9와 같이 계산되며, 그 결과는 표 1에 단계별 창을 나타내었다. 즉, 표 1에는 홀수 HDC의 단계별 창의 크기(m=r=2)가 설명되어 있다.

단계(ι)	1	2	3	4	5
창의 크기(W)	5	13	29	61	125
화소 간격(r^ι-1)	1	2	4	8	16

MSR에서 c_n 값은 작은 스케일(narrow-scale)의 경우 20 이하로, 큰 스케일(wide-scale)에서는 200 이상의 주변 함수로 설정하기 때문에, 보편적으로 사용되는 수학식 5의 c_n값은 15, 80, 250이다. 이 c_n값에 등가적인 HDC의 창 크기는 단계 3, 4, 5에 각각 해당하며, 도 2에서처럼 초기 W=5인 창을 단계 증가시 2의 멱승만큼 화소 간격을 넓히면서 상승 적분한다. 도 2는 1D 필터이므로 2D 연산 결과는 매 단계에서 수평의 결과에 수직 방향으로 동일한 상승 적분을 수행하면 된다. HDC의 단계 3에서 5까지의 결과가 상기 수학식 4의 로그 함수 2번째 항인 F_n(x, y)*I_i(x, y)에 각각 대응된다. 결과적으로 작은 스케일이 SSR은 HDC의 단계 3이 사용되었으므로 등가적인 29×29 가우스 함수가 LPF로 사용된 것과 같고, 중간 스케일 SSR은 HDC의 단계 4인 61×61, 큰 스케일 SSR은 HDC의 단계 5인 125×125 창이 각각 사용된 것과 같다. 도 2는 m=r=2일 때, 홀수 HDC의 도식적 연산 과정을 설명하는 도면이다.

표 1과 도 2에서 보는 것과 같이 HDC는 단계가 증가할 때, 고려하는 인접화소의 간격이 증가하므로 역 피라미드 및 다운-샘플링의 효과와 동일한 결과를 나타낸다. 도 3 내지 도 6은 2048×1536 영상에 HDC와 가우스 함수를 사용해서 큰 스케일에서 LPF 처리한 결과이며, 가우스 및 HDC 단계 5의 큰 스케일(125×125) LPF 결과로서, 히스토그램 상에서 보는 것과 같이 거의 유사한 결과를 보여준다. 도 7 내지 도 10은 HDC의 단계별 결과, 즉 도 5는 1(5×5), 도 6은 레벨 2(13×13), 도 7은 레벨 3(29×29), 및 도 8은 레벨 4(61×61)를 나타낸다.

주변 함수의 연산량

MSR의 계산 속도를 높이기 위해 가우스 LPF를 개선하는 많은 기법이 제안되었다. 그러므로 여기서는 가장 대표적인 아래의 4가지 LPF 기법과 본 발명의 방식에 대해서 비교해 보기로 한다. 연산량은 1-화소에서 3개의 SSR의 각 주변 함수(29×29, 61×61, 125×125)와의 상승 적분시 요구되는 곱셈과 덧셈의 연산 횟수를 비교한다.

1) 비분리형 2D 가우스

주어진 scale에서의 창의 크기가 M×M라고 하면, 전체 화소 수가 M²개이므로 LPF 윈도우와 영상의 상승 적분은 M²번의 곱셈과 (M²-1)의 덧셈이 요구되므로 총 2M²-1 연산이 필요하다.

2) 분리형 1D 가우스

1차원 가우스 함수는 1차원 필터로 분리되어 분리 가능하게 구현될 수 있다. 그러므로 M개의 표본에 1D 가우스를 상승 적분하면 각 필터당 곱셈 M 번, 덧셈 (M-1)번이 요구되므로 1차원 연산량은 2M-1이며 2차원의 경우 같은 계산이 다른 방향으로 적용되므로 전체 계산량은 2(2M-1)이 필요하다.

3) FFT

FFT는 아래 수학식 10처럼 하기의 수학식 8의 두 번째 로그 함수 내부에 해당하는 상승 적분을 주파수 공간에서 처리한 뒤, 역 FFT를 수행하여 도 3 내지 도 8에서 본 것과 같이 3-scale에서 LPF된 영상을 획득한다.

그러므로 FFT를 이용할 경우, 1-화소에서 연산되는 연산량을 계산하려면 전체 연산량을 계산한 뒤 영상의 크기로 나누어야 한다.

영상의 크기가 H×W인 경우, FFT 및 IFFT의 연산량은 WHlog₂HW이다. MSR에서 필요한 FFT는 첫째 입력 영상 1회(I_Y(u, v)), 둘째 3-주변 함수 3회(F₁(u, v), F₂(u, v), F₃(u, v)), 이 경우 가우스 함수의 푸리에 변환 결과도 가우스임으로 수학적으로 계산할 수 있다. 그러나 시공간-주파수 공간 사이의 분산 반비례관계로 정확한 함수의 폭과 동일한 주파수 계수를 구하기 어려우므로 시공간영역의 3개의 2D 가우스 함수를 영상 크기에 맞게 각각 FFT하였다. 셋째 IFFT(F₁(u, v)I_Y(u, v), F₂(u, v)I_Y(u, v), F₃(u, v)I_Y(u, v))가 3회 필요하다. 그 결과, 총 7회의 FFT가 필요하며, 수학식 10의 주파수 공간에서 곱은 1-화소에서 1회이고 주변 함수가 3개이므로 영상 전체에서는 3HW이다. 그러므로, FFT를 이용할 경우 총 연산량은 7HWlog₂HW + 3HW = HW(7log₂HW+ 3)이며, 1 화소의 등가적 연산량은 영상 크기로 나눈 7log₂HW+3이 된다. 이는 영상의 크기에 종속적이고 640×480, 1024×768, 2048×1536인 경우 1 화소의 연산 회수는 각각 약 130회, 140회, 154회(평균 142회)이다. 그러나 실제 FFT를 구현하면 실수부와 허수부의 연산이 분리되어야 하고, 1D FFT를 위한 빈번한 배열 복사와 주파수 변환(shift) 등의 부가적 연산이 필요하기 때문에 연산량의 2배 이상 증가 및 저장 공간의 증가 등에 의해 계산 시간을 늦어지게 만든다. 이 부분은 실험에서 비교하겠다.

4) 본 발명의 분리형 1D 홀수 HDC

1차원 HDC는 W = 5인 창을 반복 사용하므로 도 2에서 본 것처럼, 곱셈 5번, 덧셈 4번이 요구된다. 그러므로 2차원으로 확장하면 18번의 계산이 필요하며, 각 단계별로 동일한 계산이 소요된다. 단계에 따라 인접 화소의 간격이 2의 멱승으로 증가하므로 계산량에는 변화가 없다. HDC의 경우 5 단계까지 사용되므로 연산량은 18×5=90이 된다. 자세히 설명하면, 단계 1과 2의 결과는 MSR에는 직접 활용되지 않지만, 29×29 크기의 단계 3 필터링을 구현하기 위해 활용된다. 3 단계까지 18×3=54 연산이 필요하고 단계 4 및 5에서 각각 18회의 연산이 요구된다.

표 2는 1-화소에서 LPF 구현 방식에 따른 연산 비교 결과로서 상기 언급한 4가지 방식에 대해서 MSR을 적용할 경우 1-화소에서 필요한 연산 회수를 나타낸다.

W 방법	2D 가우스	분리형 가우스	FFT	분리형 HDC
29×29 (작은 스케일 SSR)	1,681	114	-	54
61×16 (중간 스케일 SSR)	7,441	242	-	18
125×125 (큰 스케일 SSR)	31,249	498	-	18
전체 연산 수 (MSR)	40,371	854	142	90
상대 비율	448.57	9.48	1.58	1

HDC를 사용한 제안한 방식과 비교한 경우, 연산량이 2D 가우스는 450배, 분리형 가우스는 9.5배, FFT는 1.58배 정도 더 요구하였다.

그 후, 상기 HDC 출력에 대한 MSR이 계산되며, 마지막으로 각 MSR 결과값을 R, G, B 채널에 색 변화가 없도록 적용되어 향상된 영상을 출력하게 된다.

단계 S120을 수행한 후, 상기 HDC 출력을 SSR 및 MSR 처리하여 MSR 출력을 얻는다(단계 S130).

본 발명에서는 MSR이 휘도(Y) 신호에 대해서만 적용되므로, 수학식 4는 다음 수학식 11과 같이 변경된다.

각 SSR의 가중치는 동일하게 1/3로 설정하였다. 왜냐하면, 가장 작은 크기의 주변 함수를 사용하는 SSR의 가중치를 키우면, 동적 범위가 크게 축소되고 색보다는 경계가 강조되어 강한 경계 주변에 "후광(halo)" 알티팩트(artifact)가 발생하게 된다. 이는 가장 큰 크기의 고려 범위가 작은 경우에도 발생하므로, 상기에서 언급한 것과 같이 200 이상의 c₃값을 사용한다. 또한, 균일 가중치를 사용하는 것이 대부분의 응용 환경에서 적절하다는 것이 실험적으로 증명되어 있다.

CR 함수는 휘도 신호의 MSR 결과 값이 색(hue)의 변화없이 원본 영상의 R, G, B 값을 변화시켜야 한다. 색이 유지되려면 색 좌표계에서 3차원 컬러 벡터의 기울기가 유지되어야 한다. 각 컬러 채널의 색 비율은 다음 수학식 12로 표현된다.

여기서, i는 적-녹-청(red-green-blue) 채널을 의미한다. CR 함수는 아래 수학식 13과 같이 정규화된 색 비율을 입력으로 하는 단조 증가 함수를 많이 사용한다.

일반적으로 CR 함수는 로그 함수를 이용하지만, 적당한 출력 값을 결정하기 위해 CR 변환에서의 이득과 오프셋을 어렵게 설정해야하는 번거로움이 있으므로, 본 발명에서는 단순한 CR 함수를 구현하기 위해 색 변환 함수를 수학식 12에 대한 1차 직선으로 모델링하였다. 그러므로 본 발명의 알고리즘의 최종적인 출력인 색 보정 처리된 컬러 영상(R_MSRCRi(x, y))은 다음 수학식 14로 된다(단계 S140).

실험

도 11 내지 도 14는 실험 영상으로, 도 11은 실내 적정 노출, 도 12는 실내 노출 부족, 도 13은 실외 노출 부족, 및 도 14는 역광을 나타낸다. 도 11 내지 도 14를 참조하면, 본 발명에 따른 고속 MSRCR 알고리즘의 성능을 분석하기 위해 Sony F707 카메라로 실내외에서 촬영된 도 11 내지 도 14의 영상을 사용하였으며, 한 영상을 640×480, 1,024×768 및 2,048×1,536으로 변환하여 사용하였으며, 비교된 방식은 주변 함수를 LPF하는 방식, 즉 비 분리형 2D 가우스, 분리형 1D 가우스, FFT 및 제안한 기법으로 분류하고 나머지 처리는 동일한 기법을 적용하였다. 표 3에서와 같이 실험에서 동일한 상수를 사용하였기 때문에, 도 15 내지 도 22에서처럼 결과 영상에는 거의 차이가 없으므로 수행 시간을 표 4에 나타내었다. 즉, 표 3은 MSRCR에 사용된 상수를 나타내고, 표 4는 평균 수행 시간 비교 결과를 나타낸다. 실험에 사용한 PC 사양은 인텔 Core2 Duo CPU 2.83GHz, 및 2GB RAM이다.

상수	N	W₁	W₂	W₃	w_n
값	3	29	61	125	1/3

(단위: 초)

크기 방법	2D 가우스	분리형 가우스	FFT	본 발명
640×480	67.789	1.078	1.891	0.312
1024×768	172.734	2.906	10.547	0.828
2048×1536	687.502	11.594	42.969	3.412
평균 비율	208.951	3.448	10.453	1

표 2와 표 4에 보여진 것처럼, HDC를 이용한 제안한 MSRCR 기법은 기존의 분리형 가우스 기법보다 연산량을 9.48배, 계산 시간을 평균 3.45배 줄이는 결과를 가져왔으며, 기존 방식과 동일한 결과를 가져왔다. FFT의 경우, 수학적으로 주변 함수의 주파수 계수를 계산하여 FFT 변환을 3회 줄인 경우, 640×480, 1024×768, 2048×1536 영상에 대한 계산 시간이 각각 1.4, 8.9, 35.5초로 약간 감소하였으나, 제안한 기법과 분리형 가우스 방법보다 느리게 나타났다. 이는 변환을 위해 행과 열 방향의 잦은 배열 복사와 실수와 허수부의 분리 연산, 주파수 이동 등 부가적인 연산이 많이 필요하기 때문에 FFT의 사용이 MSR 기법에서는 큰 계산적 이점을 주지 않음을 알 수 있었다.

Claims

(i) 컬러 영상으로부터 휘도 신호를 추출하는 단계;
(ii) 상기 추출된 휘도 신호에 가우스 함수와 등가적인 홀수 HDC(Hierarchical discrete correlation)를 적용하여 LPF 처리한 HDC 출력을 얻는 단계;
(iii) 상기 HDC 출력을 단일 스케일 레티넥스(SSR) 및 다중 스케일 레티넥스(MSR) 처리하여 MSR 출력을 얻는 단계; 및
(iv) 상기 MSR 출력에 단조 증가 함수를 적용하여 색 보정 처리하는 단계를 포함하는 색 보정 레티넥스 방법.
제1 항에 있어서, 단계 (ii)에 의해 얻은 HDC 출력은 다음 g₀(x) = f(x),

에 의해 구해지며, 여기서 f(x)는 입력, g_i(x)는 단계 ι에서의 HDC 출력이고, w(i)는 가중치 함수를 나타내고, r은 가우스 주변 함수의 중점에서 (x, y)까지의 거리이고, 창틀의 크기 W=2m+1로 주어지며, 상기 HDC 출력은
, 대칭: w(x) = w(-x), for 모든 x, 유니모달: w(x₁)≥w(x₂)≥0, for 0 x₁≤ x_2,및 공동 분담(equal contribution):

의 w(i) 제약 조건을 만족하는 값이며, 최대 주변 함수의 크기에 해당하는 등가적인 LPF의 윈도우 크기가 5개가 될 때까지 단계 (ii)를 수행하며, 상기 단계 ι은 5, 13, 29, 61, 및 125의 창의 크기 그리고 1, 2, 4, 8, 및 16의 화소 간격을 각각 갖는 제1 단계, 제2 단계, 제3 단계, 제4 단계, 및 제5 단계로 구성되는 색 보정 레티넥스 방법.
제1 항에 있어서, 단계 (ii)에 처리되는 LPF를 창 크기가 2이상인 짝수 및 홀수 HDC로 구현하는 레티넥스 방법.
제1 항에 있어서, 단계 (iii)에 의해 얻어진 상기 MSR 출력은 다음 수학식:

에 의해 구해지며, R_MSRy는 상기 MSR 출력이고, w_n은 가중치이고, 상기 I_Y(x, y)는 상기 휘도 신호이고, F_n(x, y)은 가우스 주변 함수인 색 보정 레티넥스 방법.
제4 항에 있어서, 단계 (iv)에 의해 색 보정 처리된 컬러 영상(R_MSRCRi(x, y))은 다음 수학식: R_MSRCRi(x, y) = C_i(x, y)R_MSRy(x, y) = I'_i(x, y)R_MSRy(x, y)에 의해 얻어지는 색 보정 레티넥스 방법.