KR101642034B1 - 입력 영상의 동적 범위를 변환하는 방법 및 장치 - Google Patents

Abstract

본 발명은 자연계에 존재하는 영상이 갖는 높은 동적 범위를 통상의 디스플레이 기기에서 재생이 가능한 낮은 동적 범위로 변환하는 기술에 관한 것이다. 본 발명의 일 실시예에 따른 입력 영상의 동적 범위를 변환하는 장치는, 상기 입력 영상의 휘도를 조절하는 데에 사용되는 제어 파라미터를, 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 생성하는 파라미터 생성부와, 상기 생성된 제어 파라미터를 사용하여 상기 입력 영상의 휘도를 상기 구간 별로 조절하여 최종 휘도를 얻는 휘도 조절부와, 상기 구간 별로 조절된 휘도를 기초로, 상기 입력 영상의 색도를 조절하는 색도 조절부와, 상기 구간 별로 조절된 휘도와 상기 조절된 색도를 조합하여 디스플레이 기기에서 표시 가능한 색도로 매핑하는 톤 매핑부로 이루어진다.

휘도, 색도, HDR, LDR, 동적 범위, 톤 매핑, 인간 시각 시스템

Description

입력 영상의 동적 범위를 변환하는 방법 및 장치{Method and Apparatus for converting dynamic ranges of input images}

본 발명은 영상 처리(image processing)에 관한 것으로, 보다 상세하게는 자연계에 존재하는 영상이 갖는 높은 동적 범위를 통상의 디스플레이 기기에서 재생이 가능한 낮은 동적 범위로 변환하는 기술에 관한 것이다.

높은 동적 범위(high dynamic range, HDR) 촬상은 인간의 시각적 능력을 모방할 수 있는 매력적인 기술이다. HDR 촬상은 과학적, 의학적 시각화, 위성 사진, 디지털 카메라, 디지털 영화관 등의 다양한 어플리케이션에 사용된다. 특히, 실제 세계의 장면에서 휘도를 캡쳐하는 능력은 디지털 카메라의 필수 기능으로서 인식되어 왔다.

도 1과 같이 10⁸:1의 범위를 갖는 실제 세계의 휘도는 햇빛으로부터 별빛까지를 커버하는 HDR 촬상에 의해서만 표현이 가능하다. 그러나, 일반적으로 영상 표시에 사용되는 플라즈마, CRT, LCD, 프로젝터 등의 디스플레이 기기는 10²~10³:1 정도의 낮은 동적 범위(low dynamic range, LDR)를 갖는다.

HDR 모니터가 가까운 미래에 널리 사용될지는 모르지만, 그것은 현재로서는 매우 드물고 비싸다. 따라서, HDR 영상을 종래의 디스플레이 기기들에서 디스플레이하는 경우, 값들의 범위를 상당 폭 감소시키는 과정(톤 재생 또는 톤 매핑이라고 함)을 거쳐야 한다.

상기 HDR 영상은 매우 어둡거나 매우 밝은 영역의 상세 부분은, 상기 톤 재생 과정 동안 LDR 영상으로 변환되면서 소실된다. 따라서, 인간의 시각 시스템(human visual system, HVS)에서 적합한 영상이 아닐 수 있다.

이러한 이유로, HDR 영상을 디스플레이 가능한 범위로 변환하면서도, 상기 HDR영상이 포함하고 있는 상세 부분을 잘 보존할 수 있는 톤 재생 기술이 요구된다. 종래의 대부분의 톤 재생 기술들은 HDR 영상들을 압축하고 품질을 평가하는 것에 주안점을 두었다.

그러나, 이러한 종래의 톤 재생 알고리즘은 단순히 HDR 픽셀을 LDR 값으로 일괄 변환하였기 때문에, 특히 매우 어둡거나 밝은 영역에서 에지 등와 같은 상세 부분을 제대로 보존하지 못하였다. 왜냐하면, 이러한 기술들은 불필요한 인위성(artifacts)을 생성하지 않고, 국소적으로 모든 대비(contrast)를 보존하는 데에만 관심을 두었기 때문이다.

한편, 이러한 종래의 기술들 중에는, 주변 픽셀들의 공간적 모델링 함수를 사용하는 로컬 연산자 기술이 있다. 여기에서, 연산자 함수들은 변환되어야 할 각각의 픽셀의 값의 주변 픽셀의 휘도 값의 평균을 이용한다. 그러나, 주변 픽셀 영역의 크기를 정확하게 결정하는 것은 어려울 뿐만 아니라 이러한 결정을 위해서는 연산량이 소요된다. 또한, 이러한 방식은 예측 오차가 커질수록 다양한 종류의 인위성이 발생되는 문제가 있다.

따라서, 인간의 시각 시스템에 적합하면서도 에지 등의 영상의 상세 부분을 잘 보존 할 수 있는 동적 범위 변환 기술이 개발될 필요가 있는 것이다.

본 발명이 이루고자 하는 기술적 과제는, HDR 영상의 에지 등의 영상의 상세 부분을 잘 보존하면서 LDR 영상으로 변환 할 수 있는 동적 범위 변환 기술을 제공하고자 하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 입력 영상의 동적 범위를 변환하는 장치는, 상기 입력 영상의 휘도를 조절하는 데에 사용되는 제어 파라미터를 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 생성하는 파라미터 생성부; 상기 생성된 제어 파라미터를 사용하여 상기 입력 영상의 휘도를 상기 구간 별로 조절하여 최종 휘도를 얻는 휘도 조절부; 상기 구간 별로 조절된 휘도를 기초로, 상기 입력 영상의 색도를 조절하는 색도 조절부; 및 상기 구간 별로 조절된 휘도와 상기 조절된 색도를 조합하여 디스플레이 기기에서 표시 가능한 색도로 매핑하는 톤 매핑부를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 입력 영상의 동적 범위를 변환하는 방법은, (a) 상기 입력 영상의 휘도를 조절하는 데에 사용되는 제어 파라미터를, 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 생성 하는 단계; (b) 상기 생성된 제어 파라미터를 사용하여 상기 입력 영상의 휘도를 상기 구간 별로 조절하여 최종 휘도를 얻는 단계; (c) 상기 구간 별로 조절된 휘도를 기초로, 상기 입력 영상의 색도를 조절하는 단계; 및 (d) 상기 구간 별로 조절된 휘도와 상기 조절된 색도를 조합하여 디스플레이 기기에서 표시 가능한 색도로 매핑하는 단계를 포함한다.

상술한 바와 같이 본 발명에 동적 범위 변환 기술에 의하면, 연산량을 과도하게 증가시키지 않고서도, HDR 영상으로부터 인간의 시각 시스템에 적합한 LDR 영상을 얻을 수 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도 2는 이상적인 LDR 디스플레이의 개념을 보여준다.

실제 세계의 장면은 촬상 기기에 의하여 촬영 영상으로 변환된다. 이러한 촬 영 영상은 톤 매핑을 통하여 LDR 영상으로 변환되어 LDR 디스플레이에 의해 표시된다. 관찰자는 결국, 실제 세계의 장면이 아니라 LDR 디스플레이에 표시된 대로의 영상을 관찰할 뿐이다.

한편, 상기 관찰자가 실제 세계의 장면을 관찰할 수 있게 되었다고 하면, 과연 디스플레이에 의해 표시된 영상과 육안으로 관찰한 영상을 동일하다고 인지하지는 않을 것이다. 다만, LDR 디스플레이에 의하여 표시된 영상이 관찰자의 육안으로 실제 세계에서 관찰된 영상과 얼마나 근접할 수 있는 가가 관건이다. 이와 같이, 실제 세계의 장면과 보다 유사한 영상을 디스플레이 기기에 의하여 구현하는 것은 상기 디스플레이 기기의 하드웨어 성능을 향상시키는 것과는 별도로, 얼마나 정확한 톤 매핑 작업을 수행하는가에 달려 있다.

도 3은 종래의 선형 스케일링 기법을 사용하여 얻은 LDR 영상 (a)과, 높은 휘도 부분의 휘도를 낮추어 얻은 LDR 영상 (b)을 비교한 것이다. 도 3의 영상들은 높은 휘도 부분에서 상세 영상이 얼마나 보존되어 있어야 하는지를 보여주는 좋은 예이다. 상기 관찰자는 적어도, 좌측의 영상을 실감 있는 영상이라고 생각하지는 않을 것이다.

이에, 본 발명은 전역 조절 및 로컬 조절을 함께 사용하여 동적 범위 변환 이후에 얻어지는 LDR 영상의 상세 부분을 보존하면서도 인간의 시각 시스템에 보다 자연스러운 영상을 얻고자 한다.

도 4는 본 발명의 일 실시예에 따른 동적 범위 변환 장치(100)의 구성을 보여준다. 동적 범위 변환 장치(100)는 색공간 변환부(105), 파라미터 생성부(110), 휘도 조절부(120), 색도 조절부(130), 톤(tone) 매핑부 (140)를 포함하여 구성될 수 있다.

색공간 변환부(105)는 입력되는 RGB 영상을 삼자극치(tristimulus values) 영상, 예를 들어, CIE(Commission Internationale de l'Eclairage)의 XYZ 영상으로 변환한다. ITU-R BT.709에 의하여 정의된 표준 매트릭스는 다음의 수학식 1과 같다.

파라미터 생성부(110)는 휘도 조절부(120)에서의 휘도를 조절할 수 있도록 해 주는 제어 파라미터를 생성한다. 특히, 상기 제어 파라미터는 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 생성된다. 상기 파라미터에는 구간, 즉 Bin 별 특성을 나타내는 가중치 w_i와 구간별 휘도의 평균치 Y_ai가 포함될 수 있다. 상기 첨자 i는 각각의 구간(Bin)을 식별하는 인덱스이고, 상기 첨자 a는 평균 값임을 표시한다. 이하에서는, 상기 파라미터, 즉 가중치 w_i와 Y_ai를 계산하는 구체적인 실시예를 설명한다.

먼저, 파라미터 생성부(110)는 상기 수학식 1에서 같이 얻어지는 휘도(Y)에 대한 픽셀 카운트에 기초하여, 휘도 히스토그램을 생성한다. 이 때, 상기 휘도 히 스토그램은 구간(Bin)으로 나누어 표시된다. 예를 들면, 파라미터 생성부(110)는 다음의 수학식 2와 같이 상기 구간(Bin)의 크기 Δb를 결정할 수 있다.

여기서, Y_max는 입력 영상의 최대 휘도, Y_min은 영상의 최소 휘도, NB(number of bin)는 분할된 구간의 개수를 각각 나타낸다. 예를 들어, "Memorial church"라는 대표 영상을 10개의 휘도 구간으로 나눈 경우의 확률 분포 함수는 도 5와 같이 도시될 수 있다. 이와 같은 확률 분포 함수에 있어서 각 구간(Bin)에서의 값은 0에서 1사이의 값을 가지고, 이하의 전체의 구간의 값을 더하면 1이 된다.

이러한 확률 분포 함수(t)는 다음의 수학식 3과 같이 계산될 수 있다.

이와 같이, 휘도 히스토그램에 기초한 확률 분포 함수가 결정되면, 상기 결정된 확률 분포 함수의 값에 대응되는 가중치(w_i)를 결정할 수 있다. 이러한 가중치는 확률 분포 함수의 값이 클수록(즉, 높은 빈도를 갖는 Bin일수록) 큰 값을 갖도록 설정되어야 한다. 이는, 입력 영상의 전체 동적 범위 중에서 높은 빈도를 갖는 구간에 높은 가중치를 부여하고 낮은 빈도를 갖는 구간에 낮은 가중치를 부여한다 는 의미이다.

이는 다시 말해서, 입력 영상을 톤 매핑에 의하여 변환할 때, 빈도 발생이 적은 구간에 비하여 빈도 발생이 많은 구간에 속하는 디테일이 보존될 가능성이 높다는 것을 의미한다. 특정 구간에만 빈도가 집중되어 있는 영상을 그 이외의 구간과 동일한 가중치로 매핑하여 동적 범위를 축소한다면, 상기 특정 구간에서의 디테일을 소실될 가능성이 높다. 따라서, 구간의 빈도에 따라 가변적으로 가중치를 부여할 필요가 있는 것이다.

도 6은 본 발명의 일 실시예에 따른 가중치를 구하는 그래프를 보여준다. 확률 분포(t)와 가중치(w) 간의 관계를 나타내는 그래프는 직선 등 다양한 관계 그래프를 생각할 수 있겠지만, 본 발명에서는 바람직한 예로서, 도 6과 같은 2차 곡선을 이용한다. 도 6에서 보면, 확률 분포(t)가 0에서 0.6까지 증가할 때, 가중치(w)는 대략 0.8에서 1.6 사이의 값을 갖는다. 예를 들어, 도 5에서 Bin4의 확률 분포가 0.38이므로, 도 6의 가로축에 이 값을 대입하면 가중치(w)는 대략 1.5가 된다. 이러한 도 6에서의 그래프의 구체적인 형태는 경험적으로 선택될 수 있으며 당업자의 필요에 따라 다양한 변형이 가능하다.

한편, 파라미터 생성부(110)는 구간별 휘도의 평균치를 계산한다. 상기 평균치는, 예를 들면, 다음의 수학식 4와 같이, 휘도 값에 대한 로그 평균치이다. 이는 픽셀의 밝기가 2진수(예를 들어, 256 계조의 경우 2⁸, 즉 8비트로 표시됨)로 표현된다는 점이 고려된 것이다.

여기서, N_i은 i번째 Bin에 포함되는 픽셀의 수이고, Y_i(x,y)는 영상의 x, y위치에서의 픽셀의 입력 휘도 값이다. 그런데, Y_i(x,y)이 0인 경우 연산시 로그 함수의 에러가 발생하는 것을 방지하기 위하여 매우 작은 상수 값(δ)이 부가될 수도 있다.

파라미터 생성부(110)는 이상과 같이 구한, 휘도 조절을 위한 제어 파라미터, w_i 및 Y_ai를 휘도 조절부(120)에 제공한다.

다시, 도 4를 참조하면, 휘도 조절부(120)는 파라미터 생성부(110)로부터 제공된 제어 파라미터를 이용하여, 입력 영상(X, Y, Z) 중 휘도(Y)에 대한 조절(adjustment)을 수행한다. 이러한 조절에는, 영상 전체의 특성을 고려한 "전역 조절(global adjustment)"과, 영상의 구간별 특성을 고려한 "지역 조절(local adjustment)"이 포함된다. 다만, 실시예에 따라서는 지역 조절만 사용하고 상기 전역 조절은 부가적으로 수행될 수도 있다.

상기 전역 조절이란 영상이 가지는 전체 동적 범위를 축소시키는 것으로, 영상의 특성에 따라 적절한 범위로 축소시킬 필요가 있다. 즉, 영상의 특성에 따라 동적 범위의 그 축소의 폭이 일률적으로 결정된다는 뜻이다.

먼저, 휘도 조절부(120)는 입력 휘도 성분에 대한 전역 조절을 수행한다.

휘도 조절부(120)는 이와 같이 구한 평균 휘도와, 입력 영상의 최대 휘도 및 최소 휘도를 이용하여 다음의 수학식 5과 같이 전역 스케일 인자 α를 계산할 수 있다.

여기서, Y_max는 입력 영상의 최대 휘도이고, Y_min은 입력 영상의 최소 휘도이며, Y_a는 입력 휘도를 전체 구간에서의 평균치이다. 상기 Y_a는 파라미터 생성부(110)로부터 제공된 구간별 휘도의 평균치 Y_ai를 이용하여, 다음의 수학식 6에 따라 간단히 계산될 수 있다.

상기 f는 영상에 있어서 입력 영상의 최대 휘도 및 최소 휘도와, 평균 휘도 간의 거리(편차)를 의미한다고 볼 수 있다. 그런데, f는 양의 값 또는 음의 값을 모두 가질 수 있으므로 전역 스케일 인자(α)가 항상 양수가 될 수 있도록 수학식 5에서와 같이, 2^f로 표시될 수 있다. 상기 전역 스케일 인자(α)는 영상의 어둡거나 밝은 부분과 높은 연관성을 갖는 값이라고 볼 수 있다.

한편, 수학식 5에서 f 값을 보다 안정적으로 구할 수 있기 위해서는 노이즈 등의 이유로, 매우 낮은 휘도를 갖는 경우와 매우 높은 휘도를 갖는 경우를 배제할 필요가 있다. 실험적으로 볼 때, 입력 영상에서 매우 어두운 부분 또는 매우 밝은 부분에 속하는, 전체 대비 3%에 해당하는 픽셀들이 배제되도록 하는 것이 바람직하다. 이 경우 수학식 4 및 5의 계산은 당연히 나머지 97%의 픽셀들을 대상으로 하여 이루어질 것이다.

휘도 조절부(120)는 다음의 수학식 7에 따라서 입력 영상의 모든 휘도 성분을 일률적으로 조절하는 작업, 즉 전역 조절을 수행한다.

다음으로, 휘도 조절부(120)는 상기 전역 조절이 수행된 휘도 Y_g에 대하여, 지역 조절을 수행한다. 이러한 지역 조절을 수행하기 위해서는, 파라미터 생성부(110)로부터 제공된 제어 파라미터 w_i, Y_ai가 사용된다.

구체적으로, 휘도 조절부(120)는 다음의 수학식 8에 따라 지역 스케일 인자(α_i)를 계산할 수 있다.

수학식 8은 구간(i) 별로 계산되어야 한다는 점 외에는 수학식 5와 기본적으로 유사하다. 따라서, Y_max(i)는 입력 영상 중 i번째 구간(Bin)에 속하는 휘도들 중 최대 값이고, Y_{min (i)}는 입력 영상 중 i번째 구간(Bin)에 속하는 휘도들 중 최소 값이며, Y_ai는 수학식 4에서와 같이 해당 구간에서의 휘소들의 평균 값이다. 따라서, 이와 같이 얻어지는 지역 스케일 인자(α_i)는, 전역 스케일 인자(α)와는 달리, 스케일 NB의 수만큼 구해진다.

휘도 조절부(120)는 상기 지역 스케일 인자(α_i)를 이용하여, 다음의 수학식 9와 같이, 최종적으로 조절된 휘도(Y_gl(i))(이하, '최종 휘도'라고 함)를 구한다.

상기 첨자 gl은 전역(global) 조절 및 지역(local) 조절을 거친 결과라는 의미이고, 상기 i는 구간별 인덱스이다. 따라서, 상기 최종 휘도는 구간별(i)로 각각 다른 값을 가진다. 이와 같이, 영상에 따라 구간별로 적절하게 다른 방식으로 휘도 를 조절함으로써, 최종 영상(LDR 영상)의 상세 부분을 보존하면서도 인간의 시각 시스템에 보다 자연스러운 영상을 얻을 수 있는 것이다.

휘도 조절부(120)에 의하여 구해진 최종 휘도는 색도 조절부(130)에서 색도 조절을 수행하는 데에 사용될 수 있다.

색도 조절부(130)는 색도의 조절 정도를 결정하는 색도 조절 계수를 구하고, 상기 색도 조절 계수를 입력 영상의 RGB 성분에 각각 적용하여 조절된 RGB 성분을 얻는다.

이 때, 색도 조절부(130)는 입력 영상의 RGB 성분을 직접 이용할 수도 있지만, 바람직하게는 휘도 조절부(120)에서 휘도 성분에 대하여 전역 및 지역 조절된 결과인 Y_gl(i)를 이용하여 입력 영상의 RGB를 복원하는 것이 바람직하다. 다시 말하면, 색도 조절부(130)는 다음의 수학식 10 및 11을 이용하여 입력 영상의 R, G, B 성분을 복원

한다.

물론, 수학식 10에서 R, G, B는 Y가 Y_gl(i)로 변경되었으므로 최초 입력 영상의 R, G, B와는 상이한 값일 수 있다. 한편, 색도 조절부(130)는 각각의 색 성분(R, G, B)에 적용하기 위한 색도 조절 계수(D)를 다음의 수학식 12와 같이 계산한다.

여기서, F는 색도 조절 계수에 비례하는 상수이고, L_A는 적응된 필드의 휘도 값이다.

상기 비례 상수 F는 경험적으로 결정될 수 있는 값으로서, 평균적인 밝기의 주변 영상인 경우에는 1.0, 약간 어두운 주변 영상인 경우에는 0.9, 어두운 주변 영상인 경우에는 0.8 정도의 값을 갖는다. 또한, L_A는 적응된 필드에서 화이트의 휘도 값의 상위 20%에 위치하는 휘도 값, 즉 상위 5분위 휘도 값을 의미한다.

이와 같이, 색도 조절부(130)는 상기와 같이 색도 조절 계수를 계산한 후에 는 복원된 색 성분(R, G, B)에 상기 색도 조절 계수를 적용하여 다음의 수학식 13과 같이 조절된 색 성분(R_c, G_c, B_c)을 구한다.

여기서, R_w, G_w, B_w는 각각 다음의 표 1에 기재된 환경 중 어느 하나에 기재된 화이트의 삼자극치, 즉 X_w, Y_w, Z_w를 이용하여 계산된 RGB 색공간에서의 값들이다. X_w, Y_w, Z_w로부터 R_w, G_w, B_w를 구하는 계산에 있어서는 전술한 수학식 10 및 11을 이용할 수 있다.

한편, 색도 조절부(130)는 상기 구한 R_c, G_c 및 B_c를 조절된 최종 색도 값으로 톤 매핑부(140)에 제공할 수도 있지만, 바람직하게는 상기 값들을 다시 다음의 수학식 14 및 15에 의하여 변환함으로써 조절된 최종 색도 값 R', G' 및 B'을 구하고 이를 톤 매핑부(140)에 제공한다.

다시, 도 4를 참조하면, 톤 매핑부(140)는 휘도 조절부(120)에서 제공된 전역 조절된 최종 휘도과, 색도 조절부(130)에서 제공된 조절된 색도를 이용하여 디스플레이 기기에서 표시 가능한 색도 값(R_d, G_d, B_d), 즉 LDR 영상을 출력한다.

톤 매핑부(140)는 예를 들어, 다음의 수학식 16에 따라 LDR 영상의 색도 값(R_d, G_d, B_d)을 구할 수 있다. 결국, 동적 범위 변환 장치(100)에 최초의 HDR 영상(R, G, B)이 입력되어 최종적으로 LDR 영상(R_d, G_d, B_d)이 출력되는 것이다.

수학식 16에서, R', G', B'는 색도 조절부(130)에서 제공된 색도 값이고, Y'는 R', G', B'로부터 얻을 수 있는 휘도 값이다. 또한, s는 감마 수정(gamma correction)을 위하여 사용되는 사용자 파라미터로서 대략 0.45 정도의 값이 사용될 수 있다.

한편, 휘도 조절부(120)에서 조절된 최종 휘도(Y_gl(i))는 임의의 범위를 가지므로 수학식 16에 적용하기 전에, 이를 정규화할 필요가 있다. 즉, Y_d(i)는 휘도 조절부(120)에서 조절된 최종 휘도로부터 0 내지 1사이로 정규화된 휘도를 의미한다.

지금까지 도 4의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 스레드, 프로그램와 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들 은 컴퓨터로 판독가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

또한, 각 블록은 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

도 1은 실제 세계의 장면들의 휘도 범위(HDR)를 보여주는 도면.

도 2는 이상적인 LDR 디스플레이의 개념을 보여주는 도면.

도 3은 종래의 선형 스케일링 기법을 사용하여 얻은 LDR 영상과, 높은 휘도 부분의 휘도를 낮추어 얻은 LDR 영상을 비교한 도면.

도 4는 본 발명의 일 실시예에 따른 동적 범위 변환 장치의 구성을 보여주는 블록도.

도 5는 "Memorial church" 영상을 10개의 휘도 구간으로 나눈 경우의 확률 분포 함수를 보여주는 도면.

도 6은 본 발명의 일 실시예에 따른 가중치를 구하는 그래프를 보여주는 도면.

(도면의 주요부분에 대한 부호 설명)

100: 동적 범위 변환 장치 105: 색공간 변환부

110: 파라미터 생성부 120: 휘도 조절부

130: 색도 조절부 140: 톤 매핑부

Claims (18)

1. 입력 영상의 동적 범위를 변환하는 장치에 있어서,

   상기 입력 영상의 휘도를 조절하는 데에 사용되는 제어 파라미터를, 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 생성하는 파라미터 생성부;

   상기 생성된 제어 파라미터를 사용하여 상기 입력 영상의 휘도를 상기 구간 별로 조절하여 최종 휘도를 얻는 휘도 조절부;

   상기 구간 별로 조절된 휘도를 기초로, 상기 입력 영상의 색도를 조절하는 색도 조절부; 및

   상기 구간 별로 조절된 휘도와 상기 조절된 색도를 조합하여 디스플레이 기기에서 표시 가능한 색도로 매핑하는 톤 매핑부;

   를 포함하는 장치.
2. 제1항에 있어서,

   상기 입력 영상의 색도를 CIE(Commission Internationale de l'Eclairage)의 XYZ 영상으로 변환하는 색공간 변환부를 더 포함하는 장치.
3. 제1항에 있어서, 상기 제어 파라미터는

   구간 별로 생성된 가중치를 적어도 포함하는 장치.
4. 제3항에 있어서, 상기 구간별 가중치는 대응되는 구간에서 상기 입력 영상의 휘도 값의 빈도가 클수록 큰 값을 가지고, 상기 빈도가 작을수록 작은 값을 가지는 장치.
5. 제4항에 있어서, 상기 상기 구간별 가중치와 상기 빈도는

   2차 곡선 그래프에 따른 관계를 갖는 장치.
6. 제3항에 있어서, 상기 휘도 조절부는

   상기 입력 영상의 구간별 최대 휘도 및 최소 휘도와, 구간별 평균 휘도 간의 거리를 나타내는 지역 스케일 인자; 및

   상기 구간별 가중치;

   를 상기 입력 영상의 휘도에 곱함으로써 상기 최종 휘도를 얻는 장치.
7. 제3항에 있어서, 상기 휘도 조절부는

   상기 입력 영상의 최대 휘도 및 최소 휘도와, 평균 휘도 간의 거리를 나타내는 전역 스케일 인자;

   상기 입력 영상의 구간별 최대 휘도 및 최소 휘도와, 구간별 평균 휘도 간의 거리를 나타내는 지역 스케일 인자; 및

   상기 구간별 가중치를 상기 입력 영상의 휘도에 곱함으로써 상기 최종 휘도를 얻는 장치.
8. 제1항에 있어서, 상기 톤 매핑부는 상기 색도를 출력하기 전에,

   상기 최종 휘도를 0에서 1 사이의 값을 갖도록 정규화하는 장치.
9. 제8항에 있어서, 상기 톤 매핑부는

   상기 정규화된 최종 휘도가 클수록 이에 비례하여 상기 출력되는 색도가 커지도록 매핑하는 장치.
10. 입력 영상의 동적 범위를 변환하는 방법에 있어서,

    (a) 상기 입력 영상의 휘도를 조절하는 데에 사용되는 제어 파라미터를, 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 생성하는 단계;

    (b) 상기 생성된 제어 파라미터를 사용하여 상기 입력 영상의 휘도를 상기 구간 별로 조절하여 최종 휘도를 얻는 단계;

    (c) 상기 구간 별로 조절된 휘도를 기초로, 상기 입력 영상의 색도를 조절하는 단계; 및

    (d) 상기 구간 별로 조절된 휘도와 상기 조절된 색도를 조합하여 디스플레이 기기에서 표시 가능한 색도로 매핑하는 단계;

    를 포함하는 방법.
11. 제10항에 있어서, 상기 (a) 단계 이전에

    상기 입력 영상의 색도를 CIE(Commission Internationale de l'Eclairage)의 XYZ 영상으로 변환하는 단계를 더 포함하는 방법.
12. 제10항에 있어서, 상기 제어 파라미터는

    구간 별로 생성된 가중치를 적어도 포함하는 방법.
13. 제12항에 있어서, 상기 구간별 가중치는 대응되는 구간에서 상기 입력 영상의 휘도 값의 빈도가 클수록 큰 값을 가지고, 상기 빈도가 작을수록 작은 값을 가지는 방법.
14. 제13항에 있어서, 상기 상기 구간별 가중치와 상기 빈도는

    2차 곡선 그래프에 따른 관계를 갖는 방법.
15. 제12항에 있어서, 상기 (b) 단계는

    상기 입력 영상의 구간별 최대 휘도 및 최소 휘도와, 구간별 평균 휘도 간의 거리를 나타내는 지역 스케일 인자; 및

    상기 구간별 가중치;

    를 상기 입력 영상의 휘도에 곱함으로써 상기 최종 휘도를 얻는 단계인 방법.
16. 제12항에 있어서, 상기 (b) 단계는

    상기 입력 영상의 최대 휘도 및 최소 휘도와, 평균 휘도 간의 거리를 나타내는 전역 스케일 인자;

    상기 입력 영상의 구간별 최대 휘도 및 최소 휘도와, 구간별 평균 휘도 간의 거리를 나타내는 지역 스케일 인자; 및

    상기 구간별 가중치를 상기 입력 영상의 휘도에 곱함으로써 상기 최종 휘도를 얻는 단계인 방법.
17. 제10항에 있어서, 상기 (d) 단계는 상기 색도를 출력하기 전에,

    상기 최종 휘도를 0에서 1 사이의 값을 갖도록 정규화하는 단계를 더 포함하는 방법.
18. 제17항에 있어서, 상기 (d) 단계는

    상기 정규화된 최종 휘도가 클수록 이에 비례하여 상기 출력되는 색도가 커지도록 매핑하는 단계를 더 포함하는 방법.

Images