KR101648762B1 - 입력 영상의 동적 범위를 변환하는 방법 및 장치 - Google Patents

입력 영상의 동적 범위를 변환하는 방법 및 장치 Download PDF

Info

Publication number
KR101648762B1
KR101648762B1 KR1020090105536A KR20090105536A KR101648762B1 KR 101648762 B1 KR101648762 B1 KR 101648762B1 KR 1020090105536 A KR1020090105536 A KR 1020090105536A KR 20090105536 A KR20090105536 A KR 20090105536A KR 101648762 B1 KR101648762 B1 KR 101648762B1
Authority
KR
South Korea
Prior art keywords
luminance
input image
chromaticity
image
brightness
Prior art date
Application number
KR1020090105536A
Other languages
English (en)
Other versions
KR20110048811A (ko
Inventor
정제창
이주현
전광길
Original Assignee
한양대학교 산학협력단
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단, 중앙대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020090105536A priority Critical patent/KR101648762B1/ko
Publication of KR20110048811A publication Critical patent/KR20110048811A/ko
Application granted granted Critical
Publication of KR101648762B1 publication Critical patent/KR101648762B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명은 자연계에 존재하는 영상이 갖는 높은 동적 범위를 통상의 디스플레이 기기에서 재생이 가능한 낮은 동적 범위로 변환하는 기술에 관한 것이다. 본 발명의 일 실시예에 따른 입력 영상의 동적 범위를 변환하는 장치는, 스케일 인자에 의하여 입력 영상의 휘도를 전역적으로 조절하는 전역 휘도 조절부와, 입력 영상의 색도를 색도 조절 계수를 이용하여 조절하는 로컬 색도 조절부와, 입력 영상의 휘도를 지역적으로 조절하기 위하여, 입력 영상의 휘도의 구간별 특성에 따라 구간별로 상이한 특성을 갖는 휘도 조절 함수를 구하는 로컬 휘도 조절부와, 전역적으로 조절된 휘도, 조절된 색도 및 휘도 조절 함수를 조합하여 디스플레이 기기에서 표시 가능한 색도를 출력하는 톤 매핑부로 이루어진다.
동적 범위, 톤 재생, 톤 매핑, 인간 시각 시스템

Description

입력 영상의 동적 범위를 변환하는 방법 및 장치{Method and Apparatus for converting dynamic ranges of input images}
본 발명은 영상 처리(image processing)에 관한 것으로, 보다 상세하게는 자연계에 존재하는 영상이 갖는 높은 동적 범위를 통상의 디스플레이 기기에서 재생이 가능한 낮은 동적 범위로 변환하는 기술에 관한 것이다.
높은 동적 범위(high dynamic range, HDR) 촬상은 인간의 시각적 능력을 모방할 수 있는 매력적인 기술이다. HDR 촬상은 과학적, 의학적 시각화, 위성 사진, 디지털 카메라, 디지털 영화관 등의 다양한 어플리케이션에 사용된다. 특히, 실제 세계의 장면에서 휘도를 캡쳐하는 능력은 디지털 카메라의 필수 기능으로서 인식되어 왔다.
도 1과 같이 108:1의 범위를 갖는 실제 세계의 휘도는 햇빛으로부터 별빛까지를 커버하는 HDR 촬상에 의해서만 표현이 가능하다. 그러나, 일반적으로 영상 표시에 사용되는 플라즈마, CRT, LCD, 프로젝터 등의 디스플레이 기기는 102~103:1 정도의 낮은 동적 범위(low dynamic range, LDR)를 갖는다.
HDR 모니터가 가까운 미래에 널리 사용될지는 모르지만, 그것은 현재로서는 매우 드물고 비싸다. 따라서, HDR 영상을 종래의 디스플레이 기기들에서 디스플레이하는 경우, 값들의 범위를 상당 폭 감소시키는 과정(톤 재생 또는 톤 매핑이라고 함)을 거쳐야 한다.
상기 HDR 영상은 매우 어둡거나 매우 밝은 영역의 상세 부분은, 상기 톤 재생 과정 동안 LDR 영상으로 변환되면서 소실된다. 따라서, 인간의 시각 시스템(human visual system, HVS)에서 적합한 영상이 아닐 수 있다.
이러한 이유로, HDR 영상을 디스플레이 가능한 범위로 변환하면서도, 상기 HDR영상이 포함하고 있는 상세 부분을 잘 보존할 수 있는 톤 재생 기술이 요구된다. 종래의 대부분의 톤 재생 기술들은 HDR 영상들을 압축하고 품질을 평가하는 것에 주안점을 두었다.
그러나, 이러한 종래의 톤 재생 알고리즘은 단순히 HDR 픽셀을 LDR 값으로 일괄 변환하였기 때문에, 특히 매우 어둡거나 밝은 영역에서 에지 등와 같은 상세 부분을 제대로 보존하지 못하였다. 왜냐하면, 이러한 기술들은 불필요한 인위성(artifacts)을 생성하지 않고, 국소적으로 모든 대비(contrast)를 보존하는 데에만 관심을 두었기 때문이다.
한편, 이러한 종래의 기술들 중에는, 주변 픽셀들의 공간적 모델링 함수를 사용하는 로컬 연산자 기술이 있다. 여기에서, 연산자 함수들은 변환되어야 할 각각의 픽셀의 값의 주변 픽셀의 휘도 값의 평균을 이용한다. 그러나, 주변 픽셀 영역의 크기를 정확하게 결정하는 것은 어려울 뿐만 아니라 이러한 결정을 위해서는 연산량이 소요된다. 또한, 이러한 방식은 예측 오차가 커질수록 다양한 종류의 인위성이 발생되는 문제가 있다.
따라서, 인간의 시각 시스템에 적합하면서도 에지 등의 영상의 상세 부분을 잘 보존 할 수 있는 동적 범위 변환 기술이 개발될 필요가 있는 것이다.
본 발명이 이루고자 하는 기술적 과제는, HDR 영상의 에지 등의 영상의 상세 부분을 잘 보존하면서 LDR 영상으로 변환 할 수 있는 동적 범위 변환 기술을 제공하고자 하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 입력 영상의 동적 범위를 변환하는 장치는, 스케일 인자에 의하여 입력 영상의 휘도를 전역적으로 조절하는 전역 휘도 조절부; 상기 입력 영상의 색도를 색도 조절 계수를 이용하여 조절하는 로컬 색도 조절부; 상기 입력 영상의 휘도를 지역적으로 조절하기 위하여, 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 상이한 특성을 갖는 휘도 조절 함수를 구하는 로컬 휘도 조절부; 및 상기 전역적으로 조절된 휘도와, 상기 조절된 색도와, 상기 휘도 조절 함수를 조합하여 디스플레이 기기에서 표시 가능한 색도를 출력하는 톤 매핑부를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 입력 영상의 동적 범위를 변환하는 방법은, (a) 스케일 인자에 의하여 입력 영상의 휘도를 전역적으로 조절하는 단계; (b) 상기 입력 영상의 색도를 색도 조절 계수를 이용하여 조절하는 단계; (c) 상기 입력 영상의 휘도를 지역적으로 조절하기 위하여, 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 상이한 특성을 갖는 휘도 조절 함수를 구하는 단계; 및 (d) 상기 전역적으로 조절된 휘도와, 상기 조절된 색도와, 상기 휘도 조절 함수를 조합하여 디스플레이 기기에서 표시 가능한 색도를 출력하는 단계를 포함한다.
상술한 바와 같이 본 발명에 동적 범위 변환 기술에 의하면, 연산량을 과도하게 증가시키지 않고서도, HDR 영상으로부터 인간의 시각 시스템에 적합한 LDR 영상을 얻을 수 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.
도 2는 이상적인 LDR 디스플레이의 개념을 보여준다.
실제 세계의 장면은 촬상 기기에 의하여 촬영 영상으로 변환된다. 이러한 촬 영 영상은 톤 매핑을 통하여 LDR 영상으로 변환되어 LDR 디스플레이에 의해 표시된다. 관찰자는 결국, 실제 세계의 장면이 아니라 LDR 디스플레이에 표시된 대로의 영상을 관찰할 뿐이다.
한편, 상기 관찰자가 실제 세계의 장면을 관찰할 수 있게 되었다고 하면, 과연 디스플레이에 의해 표시된 영상과 육안으로 관찰한 영상을 동일하다고 인지하지는 않을 것이다. 다만, LDR 디스플레이에 의하여 표시된 영상이 관찰자의 육안으로 실제 세계에서 관찰된 영상과 얼마나 근접할 수 있는 가가 관건이다. 이와 같이, 실제 세계의 장면과 보다 유사한 영상을 디스플레이 기기에 의하여 구현하는 것은 상기 디스플레이 기기의 하드웨어 성능을 향상시키는 것과는 별도로, 얼마나 정확한 톤 매핑 작업을 수행하는가에 달려 있다.
도 3은 종래의 선형 스케일링 기법을 사용하여 얻은 LDR 영상 (a)과, 높은 휘도 부분의 휘도를 낮추어 얻은 LDR 영상 (b)을 비교한 것이다. 도 3의 영상들은 높은 휘도 부분에서 상세 영상이 얼마나 보존되어 있어야 하는지를 보여주는 좋은 예이다. 상기 관찰자는 적어도, 좌측의 영상을 실감 있는 영상이라고 생각하지는 않을 것이다.
이에, 본 발명은 전역 조절 및 로컬 조절을 함께 사용하여 동적 범위 변환 이후에 얻어지는 LDR 영상의 상세 부분을 보존하면서도 인간의 시각 시스템에 보다 자연스러운 영상을 얻고자 한다.
도 4는 본 발명의 일 실시예에 따른 동적 범위 변환 장치(100)의 구성을 보여준다. 동적 범위 변환 장치(100)는 색공간 변환부(105), 전역 휘도 조절부(110, gloabal luminance adjustement unit), 로컬 색도 조절부(120, local chroma adjustment unit), 로컬 휘도 조절부(130, local luminance adjustment unit) 및 톤 매핑부(140, tone mapping unit)를 포함하여 구성될 수 있다.
색공간 변환부(105)는 입력되는 RGB 영상을 삼자극치(tristimulus values) 영상, 예를 들어, CIE(Commission Internationale de l'Eclairage)의 XYZ 영상으로 변환한다. ITU-R BT.709에 의하여 정의된 표준 매트릭스는 다음의 수학식 1과 같다.
Figure 112009067605490-pat00001
전역 휘도 조절부(110)는 상기 변환된 XYZ 영상 중에서 휘도 성분에 대한 "전역 조절(global adjustment)"을 수행한다. 상기 전역 조절이란 영상이 가지는 전체 동적 범위를 축소시키는 것으로, 영상의 특성에 따라 적절한 범위로 축소시킬 필요가 있다. 즉, 영상의 특성에 따라 동적 범위의 그 축소의 폭이 일률적으로 결정된다는 뜻이다.
먼저, 전역 휘도 조절부(110)는 영상의 전체 휘도 값의 범위에 기초하여, 평균 휘도, 특히, 로그 평균 휘도(Yav)를 다음의 수학식 2와 같이 계산할 수 있다.
Figure 112009067605490-pat00002
여기서, N은 영상의 픽셀의 수이고, Y(x,y)는 영상의 x, y위치에서의 픽셀의 입력 휘도 값이다. 그런데, Y(x,y)이 0인 경우 연산시 로그 함수의 에러가 발생하는 것을 방지하기 위하여 매우 작은 상수 값(δ)이 부가될 수 있다.
전역 휘도 조절부(110)는 이와 같이 구한 평균 휘도와, 입력 영상의 최대 휘도 및 최소 휘도를 이용하여 다음의 수학식 3과 같이 스케일 인자 a를 계산할 수 있다.
Figure 112009067605490-pat00003
여기서, Ymax는 입력 영상의 최대 휘도이고, Ymin은 입력 영상의 최소 휘도이다. 결국, f는 영상에 있어서 입력 영상의 최대 휘도 및 최소 휘도와, 평균 휘도 간의 거리(편차)를 의미한다고 볼 수 있다. 그런데, f는 양의 값 또는 음의 값을 모두 가질 수 있으므로 스케일 인자(a)는 항상 양수가 될 수 있도록 수학식 3에서와 같이, 2f로 표시될 수 있다.
한편, 수학식 3에서 f 값을 보다 안정적으로 구할 수 있기 위해서는 노이즈 등의 이유로, 매우 낮은 휘도를 갖는 경우와 매우 높은 휘도를 갖는 경우를 배제할 필요가 있다. 실험적으로 볼 때, 입력 영상에서 매우 어두운 부분 또는 매우 밝은 부분에 속하는, 전체 대비 3%에 해당하는 픽셀들이 배제되도록 하는 것이 바람직하다. 이 경우 수학식 2 및 3의 계산은 당연히 나머지 97%의 픽셀들을 대상으로 하여 이루어질 것이다.
전역 휘도 조절부(110)는 결국 다음의 수학식 4에 따라서 입력 영상의 모든 휘도 성분을 일률적으로 조절하는 작업, 즉 전역 조절을 수행한다.
Figure 112009067605490-pat00004
상기 a는 영상의 어둡거나 밝은 부분과 높은 연관성을 갖는 값이다.
이와 같이, 전역 휘도 조절부(110)에 의하여 전역 조절된 입력 영상의 휘도는 로컬 색도 조절부(120)에 제공된다.
로컬 색도 조절부(120)는 색도의 조절 정도를 결정하는 색도 조절 계수를 구하고, 상기 색도 조절 계수를 입력 영상의 RGB 성분에 각각 적용하여 조절된 RGB 성분을 얻는다.
이 때, 로컬 색도 조절부(120)는 입력 영상의 RGB 성분을 직접 이용할 수도 있지만, 바람직하게는 전역 휘도 조절부(110)에서 휘도 성분에 대하여 전역 조절된 결과인 Y'를 이용하여 입력 영상의 RGB를 복원하는 것이 바람직하다. 다시 말하면, 로컬 색도 조절부(120)는 다음의 수학식 5 및 6을 이용하여 입력 영상의 R, G, B 성분을 복원한다.
Figure 112009067605490-pat00005
Figure 112009067605490-pat00006
물론, 수학식 5에서 R, G, B는 Y가 Y'로 변경되었으므로 최초 입력 영상의 R, G, B와는 상이한 값일 수 있다.
한편, 로컬 색도 조절부(120)는 각각의 색 성분(R, G, B)에 적용하기 위한 색도 조절 계수(D)를 다음의 수학식 7과 같이 계산한다.
Figure 112009067605490-pat00007
여기서, F는 색도 조절 계수에 비례하는 상수이고, LA는 적응된 필드의 휘도 값이다.
상기 비례 상수 F는 경험적으로 결정될 수 있는 값으로서, 평균적인 밝기의 주변 영상인 경우에는 1.0, 약간 어두운 주변 영상인 경우에는 0.9, 어두운 주변 영상인 경우에는 0.8 정도의 값을 갖는다. 또한, LA는 적응된 필드에서 화이트의 휘도 값의 상위 20%에 위치하는 휘도 값, 즉 상위 5분위 휘도 값을 의미한다.
이와 같이, 로컬 색도 조절부(120)는 상기와 같이 색도 조절 계수를 계산한 후에는 복원된 색 성분(R, G, B)에 상기 색도 조절 계수를 적용하여 다음의 수학식 8과 같이 조절된 색 성분(Rc, Gc, Bc)을 구한다.
Figure 112009067605490-pat00008
여기서, Rw, Gw, Bw는 각각 다음의 표 1에 기재된 환경 중 어느 하나에 기재된 화이트의 삼자극치, 즉 Xw, Yw, Zw를 이용하여 계산된 RGB 색공간에서의 값들이다. Xw, Yw, Zw로부터 Rw, Gw, Bw를 구하는 계산에 있어서는 전술한 수학식 5 및 6을 이용할 수 있다.
Figure 112009067605490-pat00009
한편, 로컬 색도 조절부(120)는 상기 구한 Rc, Gc 및 Bc를 조절된 최종 색도 값으로 톤 매핑부(140)에 제공할 수도 있지만, 바람직하게는 상기 값들을 다시 다음의 수학식 9 및 10에 의하여 변환함으로써 조절된 최종 색도 값 R', G' 및 B'을 구하고 이를 톤 매핑부(140)에 제공한다.
Figure 112009067605490-pat00010
Figure 112009067605490-pat00011
로컬 휘도 조절부(130)는 전역 휘도 조절부(110)에서 영상의 특성에 따라 영상의 휘도의 동적 범위 전체를 일률적으로 조절하였던 것과는 별도로, 영상의 휘도의 동적 범위를 구성하는 각각의 구간별 특성(지역적 특성)을 고려하여 상기 구간별로 개별적인 휘도 조절을 위한 휘도 조절 함수를 구한다. 이를 위하여, 로컬 휘도 조절부(130)는 색공간 변환부(105)에서 제공되는 휘도(Y)를 이용한다.
먼저, 로컬 휘도 조절부(130)는 휘도 히스토그램의 픽셀 카운트를 복수의 구간(Bin)으로 나누어 계산한다. 예를 들면, 로컬 휘도 조절부(130)는 다음의 수학식 11과 같이 상기 구간(Bin)의 크기 Δb를 결정할 수 있다.
Figure 112009067605490-pat00012
여기서, Ymax는 입력 영상의 최대 휘도, Ymin은 영상의 최소 휘도, NB(number of bin)는 분할된 구간의 개수이다.
예를 들어, "Memorial church"라는 대표 영상을 10개의 휘도 구간으로 나눈 경우의 확률 분포 함수는 도 5와 같이 도시될 수 있다. 이와 같은 확률 분포 함수에 있어서 각 구간(Bin)에서의 값은 0에서 1사이의 값을 가지고, 이하의 전체의 구간의 값을 더하면 1이 된다.
이러한 확률 분포 함수(t)는 다음의 수학식 12와 같이 계산될 수 있다.
Figure 112009067605490-pat00013
이와 같이, 휘도 히스토그램에 기초한 확률 분포 함수가 결정되면, 상기 결정된 확률 분포 함수의 값에 대응되는 가중치(w)를 결정할 수 있다. 이러한 가중치는 확률 분포 함수의 값이 클수록(즉, 높은 빈도를 갖는 Bin일수록) 큰 값을 갖도록 설정되어야 한다. 이는, 입력 영상의 전체 동적 범위 중에서 높은 빈도를 갖는 구간에 높은 가중치를 부여하고 낮은 빈도를 갖는 구간에 낮은 가중치를 부여한다는 의미이다. 이는 다시 말해서, 입력 영상을 톤 매핑에 의하여 변환할 때, 빈도 발생이 적은 구간에 비하여 빈도 발생이 많은 구간에 속하는 디테일이 보존될 가능성이 높다는 것을 의미한다. 특정 구간에만 빈도가 집중되어 있는 영상을 그 이외의 구간과 동일한 가중치로 매핑하여 동적 범위를 축소한다면, 상기 특정 구간에서 의 디테일을 소실될 가능성이 높다. 따라서, 구간의 빈도에 따라 가변적으로 가중치를 부여할 필요가 있는 것이다.
도 6은 본 발명의 일 실시예에 따른 가중치를 구하는 그래프를 보여준다. 확률 분포(t)와 가중치(w) 간의 관계를 나타내는 그래프는 직선 등 다양한 관계 그래프를 생각할 수 있겠지만, 본 발명에서는 바람직한 예로서, 도 6과 같은 2차 곡선을 이용한다. 도 6에서 보면, 확률 분포(t)가 0에서 0.6까지 증가할 때, 가중치(w)는 대략 0.8에서 1.6 사이의 값을 갖는다. 예를 들어, 도 5에서 Bin4의 확률 분포가 0.38이므로, 도 6의 가로축에 이 값을 대입하면 가중치(w)는 대략 1.5가 된다. 이러한 도 6에서의 그래프는 경험적으로 얻어질 수 있으며 당업자의 필요에 따라 다양한 변형이 가능하다.
로컬 휘도 조절부(130)는 상기 구한 가중치를 반영하여, 임의의 휘도 값에 대한 휘도 조절 함수를 계산한다. 상기 휘도 조절 함수는 입력 휘도로부터 출력 휘도를 구할 때 적절한 반영 비율을 제공하는데, 구간별로 가변적인 가중치에 의하여 변경된다. 상기 휘도 조절 함수(Ld')는 예를 들어, 다음의 수학식 13에 의하여 계산될 수 있다.
Figure 112009067605490-pat00014
여기서, Yi는 구간 i에서의 실제 입력 휘도를 나타내고, Ymax(i)는 구간 i에서의 최대 휘도를, Ymin(i)는 구간 i에서의 최소 휘도를 나타낸다.
수학식 13에서 보면, 가중치 wi는 구간(i) 별로 달라지는 값으로서(즉, 동일한 구간 내에서는 동일한 가중치가 적용된다), 그 값이 커질수록 해당 구간에서의 기울기가 커진다는 것을 의미한다. 따라서, 가중치가 커질수록 해당 구간이 다른 구간들에 비하여 확대되는 효과가 있는 것이다. 또한, 휘도 조절 함수(Ld')는 고정된 상수 값이 아니라 입력되는 휘도 Yi에 따라 가변하는 함수임을 알 수 있다. 이와 같이, 로컬 휘도 조절부(130)에 의하여 계산된 휘도 조절 함수는 톤 매핑부(140)에 제공된다.
다시, 도 4를 참조하면, 톤 매핑부(140)는 전역 휘도 조절부(110)에서 제공된 전역 조절된 휘도 값와, 로컬 색도 조절부(120)에서 제공된 조절된 색도 값과, 로컬 휘도 조절부(130)에서 제공된 휘도 조절 함수를 이용하여 디스플레이 기기에 서 표시 가능한 색도 값(Rd, Gd, Bd), 즉 LDR 영상을 출력한다.
톤 매핑부(140)는 예를 들어, 다음의 수학식 14에 따라 LDR 영상의 색도 값(Rd, Gd, Bd)을 구할 수 있다. 결국, 동적 범위 변환 장치(100)에 최초의 HDR 영상(R, G, B)이 입력되어 최종적으로 LDR 영상(Rd, Gd, Bd)이 출력되는 것이다.
Figure 112009067605490-pat00015
수학식 14에서, R', G', B'는 로컬 색도 조절부(120)에서 제공된 색도 값이고, L'd는 로컬 휘도 조절부(130)에서 제공된 휘도 조절 함수(입력 휘도에 대한 함수임)이며, Y'는 전역 휘도 조절부(110)에서 제공된 휘도 값이다. 또한, s는 감마 수정(gamma correction)을 위하여 사용되는 사용자 파라미터로서 대략 0.45 정도의 값이 사용될 수 있다.
지금까지 도 4의 각 구성요소들는 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 스레드, 프로그램와 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application- specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
또한, 각 블록은 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
도 1은 실제 세계의 장면들의 휘도 범위(HDR)를 보여주는 도면.
도 2는 이상적인 LDR 디스플레이의 개념을 보여주는 도면.
도 3은 종래의 선형 스케일링 기법을 사용하여 얻은 LDR 영상과, 높은 휘도 부분의 휘도를 낮추어 얻은 LDR 영상을 비교한 도면.
도 4는 본 발명의 일 실시예에 따른 동적 범위 변환 장치의 구성을 보여주는 블록도.
도 5는 "Memorial church" 영상을 10개의 휘도 구간으로 나눈 경우의 확률 분포 함수를 보여주는 도면.
도 6은 본 발명의 일 실시예에 따른 가중치를 구하는 그래프를 보여주는 도면.
(도면의 주요부분에 대한 부호 설명)
100: 동적 범위 변환 장치 105: 색공간 변환부
110: 전역 휘도 조절부 120: 로컬 색도 조절부
130: 로컬 휘도 조절부 140: 톤 매핑부

Claims (16)

  1. 스케일 인자에 의하여 입력 영상의 휘도를 전역적으로 조절하는 전역 휘도 조절부;
    상기 입력 영상의 색도를 색도 조절 계수를 이용하여 조절하는 로컬 색도 조절부;
    상기 입력 영상의 휘도를 지역적으로 조절하기 위하여, 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 구간별 가중치를 포함하는 휘도 조절 함수를 구하는 로컬 휘도 조절부; 및
    상기 전역적으로 조절된 휘도와, 상기 조절된 색도와, 상기 휘도 조절 함수를 조합하여 디스플레이 기기에서 표시 가능한 색도를 출력하는 톤 매핑부를 포함하되,
    상기 구간별 가중치는,
    대응되는 구간에서 상기 입력 영상의 휘도 값의 빈도가 클수록 큰 값을 가지고, 상기 빈도가 작을수록 작은 값을 가지는, 입력 영상의 동적 범위를 변환하는 장치.
  2. 제1항에 있어서, 상기 스케일 인자는
    상기 입력 영상의 최대 휘도 및 최소 휘도와, 평균 휘도 간의 거리를 나타내는 값인, 입력 영상의 동적 범위를 변환하는 장치.
  3. 제1항에 있어서, 상기 색도 조절 계수는
    상기 입력 영상의 화이트 휘도 값의 상위 20%에 위치하는 휘도 값을 변수로 포함하는, 입력 영상의 동적 범위를 변환하는 장치.
  4. 제1항에 있어서,
    상기 입력 영상의 색도를 CIE(Commission Internationale de l'Eclairage)의 XYZ 영상으로 변환하는 색공간 변환부를 더 포함하는, 입력 영상의 동적 범위를 변환하는 장치.
  5. 삭제
  6. 제1항에 있어서, 상기 구간별 가중치와 상기 빈도는
    2차 곡선 그래프에 따른 관계를 갖는, 입력 영상의 동적 범위를 변환하는 장치.
  7. 제1항에 있어서, 상기 가중치는
    0.8 내지 1.6 사이의 범위를 갖는, 입력 영상의 동적 범위를 변환하는 장치.
  8. 제1항에 있어서, 상기 톤 매핑부는
    상기 휘도 조절 함수가 클수록 이에 비례하여 상기 출력되는 색도가 커지도 록 하는, 입력 영상의 동적 범위를 변환하는 장치.
  9. (a) 스케일 인자에 의하여 입력 영상의 휘도를 전역적으로 조절하는 단계;
    (b) 상기 입력 영상의 색도를 색도 조절 계수를 이용하여 조절하는 단계;
    (c) 상기 입력 영상의 휘도를 지역적으로 조절하기 위하여, 상기 입력 영상의 휘도의 구간별 특성에 따라 구간별로 구간별 가중치를 포함하는 휘도 조절 함수를 구하는 단계; 및
    (d) 상기 전역적으로 조절된 휘도와, 상기 조절된 색도와, 상기 휘도 조절 함수를 조합하여 디스플레이 기기에서 표시 가능한 색도를 출력하는 단계를 포함하되,
    상기 구간별 가중치는,
    대응되는 구간에서 상기 입력 영상의 휘도 값의 빈도가 클수록 큰 값을 가지고, 상기 빈도가 작을수록 작은 값을 가지는, 입력 영상의 동적 범위를 변환하는 방법.
  10. 제9항에 있어서, 상기 스케일 인자는
    상기 입력 영상의 최대 휘도 및 최소 휘도와, 평균 휘도 간의 거리를 나타내는 값인, 입력 영상의 동적 범위를 변환하는 방법.
  11. 제9항에 있어서, 상기 색도 조절 계수는
    상기 입력 영상의 화이트 휘도 값의 상위 20%에 위치하는 휘도 값을 변수로 포함하는, 입력 영상의 동적 범위를 변환하는 방법.
  12. 제9항에 있어서, 상기 (a) 단계 이전에,
    상기 입력 영상의 색도를 CIE(Commission Internationale de l'Eclairage)의 XYZ 영상으로 변환하는 단계를 더 포함하는, 입력 영상의 동적 범위를 변환하는 방법.
  13. 삭제
  14. 제9항에 있어서, 상기 구간별 가중치와 상기 빈도는
    2차 곡선 그래프에 따른 관계를 갖는, 입력 영상의 동적 범위를 변환하는 방법.
  15. 제9항에 있어서, 상기 가중치는
    0.8 내지 1.6 사이의 범위를 갖는, 입력 영상의 동적 범위를 변환하는 방법.
  16. 제9항에 있어서, 상기 (d) 단계는
    상기 휘도 조절 함수가 클수록 이에 비례하여 상기 출력되는 색도가 커지도록 하는 단계를 포함하는, 입력 영상의 동적 범위를 변환하는 방법.
KR1020090105536A 2009-11-03 2009-11-03 입력 영상의 동적 범위를 변환하는 방법 및 장치 KR101648762B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090105536A KR101648762B1 (ko) 2009-11-03 2009-11-03 입력 영상의 동적 범위를 변환하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090105536A KR101648762B1 (ko) 2009-11-03 2009-11-03 입력 영상의 동적 범위를 변환하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110048811A KR20110048811A (ko) 2011-05-12
KR101648762B1 true KR101648762B1 (ko) 2016-08-18

Family

ID=44360046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090105536A KR101648762B1 (ko) 2009-11-03 2009-11-03 입력 영상의 동적 범위를 변환하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101648762B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088717A1 (ko) * 2017-11-02 2019-05-09 삼성전자주식회사 휘도 균일도 보정 장치 및 그 제어방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014012680A1 (fr) 2012-07-18 2014-01-23 Thomson Licensing Procede et dispositif de conversion d'une sequence d'image dont les valeurs de luminance appartiennent a une plage de valeurs de dynamique elevee
RU2704882C2 (ru) * 2013-11-04 2019-10-31 Долби Лэборетериз Лайсенсинг Корпорейшн Одно- и многомодуляторные проекционные системы с глобальным регулированием яркости
CN110231926B (zh) * 2014-06-10 2022-11-04 松下知识产权经营株式会社 再现方法和再现装置
WO2016120354A1 (en) * 2015-01-30 2016-08-04 Thomson Licensing Method and device for matching colors between color pictures of different dynamic range
JP6871945B2 (ja) * 2015-12-21 2021-05-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 特定のディスプレイのための高ダイナミックレンジ画像の最適化
KR102533723B1 (ko) * 2018-09-14 2023-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102664723B1 (ko) * 2019-11-01 2024-05-09 삼성전자주식회사 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치
CN112365415B (zh) * 2020-11-09 2024-02-09 珠海市润鼎智能科技有限公司 高动态范围图像的快速显示转换方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100243301B1 (ko) 1997-11-24 2000-02-01 윤종용 다이나믹 레인지 확대장치 및 방법
JP2007310887A (ja) 2006-05-17 2007-11-29 Xerox Corp 画像データの自動マッピング方法及び画像処理デバイス
KR100912873B1 (ko) 2007-04-26 2009-08-19 삼성전자주식회사 영상 생성 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636496B2 (en) * 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100243301B1 (ko) 1997-11-24 2000-02-01 윤종용 다이나믹 레인지 확대장치 및 방법
JP2007310887A (ja) 2006-05-17 2007-11-29 Xerox Corp 画像データの自動マッピング方法及び画像処理デバイス
KR100912873B1 (ko) 2007-04-26 2009-08-19 삼성전자주식회사 영상 생성 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088717A1 (ko) * 2017-11-02 2019-05-09 삼성전자주식회사 휘도 균일도 보정 장치 및 그 제어방법
US11592708B2 (en) 2017-11-02 2023-02-28 Samsung Electronics Co., Ltd. Compensation device for luminance uniformity and method thereof

Also Published As

Publication number Publication date
KR20110048811A (ko) 2011-05-12

Similar Documents

Publication Publication Date Title
KR101648762B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
US10134359B2 (en) Device or method for displaying image
US7409083B2 (en) Image processing method and apparatus
US7023580B2 (en) System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
JP4687320B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
US8391598B2 (en) Methods for performing local tone mapping
US7570390B2 (en) Image processing device and method
JP5003196B2 (ja) 画像処理装置および方法、並びに、プログラム
US8330768B2 (en) Apparatus and method for rendering high dynamic range images for standard dynamic range display
JP5596075B2 (ja) 階調補正装置またはその方法
US10134323B2 (en) Image display device
US10218953B2 (en) Image processing apparatus, image processing method, and storage medium
JP2008072450A (ja) 画像処理装置及び画像処理方法
US10380725B2 (en) Image processing apparatus, image processing method, and storage medium
US20060017597A1 (en) Method of signal reconstruction, imaging device and computer program product
KR101642034B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
KR20130060110A (ko) 이미지 톤 매핑 장치 및 방법
JP2002281312A (ja) 画像処理のための装置、方法及びプログラム
JP2013179485A (ja) 画像処理装置及びその制御方法
US10659747B1 (en) Video display device
JP4125191B2 (ja) 画像処理装置および方法
JP2014211914A (ja) 階調補正装置またはその方法
JP2005039456A (ja) 画像処理方法および装置
Kim et al. Illuminant-adaptive color reproduction for mobile display

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 4