KR101957850B1 - Apparatus and method for reverse tone mapping using guided filter - Google Patents

Apparatus and method for reverse tone mapping using guided filter Download PDF

Info

Publication number
KR101957850B1
KR101957850B1 KR1020170164503A KR20170164503A KR101957850B1 KR 101957850 B1 KR101957850 B1 KR 101957850B1 KR 1020170164503 A KR1020170164503 A KR 1020170164503A KR 20170164503 A KR20170164503 A KR 20170164503A KR 101957850 B1 KR101957850 B1 KR 101957850B1
Authority
KR
South Korea
Prior art keywords
luminance signal
brightness
unit
image
linearized
Prior art date
Application number
KR1020170164503A
Other languages
Korean (ko)
Inventor
이창우
김상협
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020170164503A priority Critical patent/KR101957850B1/en
Application granted granted Critical
Publication of KR101957850B1 publication Critical patent/KR101957850B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to an apparatus and a method for reverse tone mapping using a guided filter. Especially, the present invention relates to an apparatus and a method for reverse tone mapping using a guided filter which finds a brightness enhancement function (BEF) from one low dynamic range (LDR) image by using a guided filter, and generates a high dynamic range (HDR) image by expanding a part in which the brightness is saturated by using the BEF from the LDR image as well as maximizes the quality of the HDR image by using a method for converting a brightness range after correcting an exposure value for photographing when an image is excessively bright or dark.

Description

유도 필터를 이용한 리버스 톤 매핑 장치 및 방법{APPARATUS AND METHOD FOR REVERSE TONE MAPPING USING GUIDED FILTER} TECHNICAL FIELD [0001] The present invention relates to a reverse tone mapping apparatus and method using an inductive filter,

본 발명은 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법에 관한 것으로, 특히 한 장의 LDR(Low Dynamic Range) 영상에서 유도 필터(guided filter)를 사용하여 BEF(brightness enhancement function)을 구하고, LDR 영상에서 이 BEF를 이용하여 밝기가 포화된 부분을 확장하여 HDR(High Dynamic Range) 영상을 생성함과 아울러, 영상이 지나치게 밝거나 어두운 경우 영상 촬영시의 노출 값을 보정한 후에 밝기 범위를 변환하는 방법을 이용하여 HDR 영상의 화질을 극대화하는 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법에 관한 것이다.The present invention relates to a reverse tone mapping apparatus and method using an inductive filter. More particularly, the present invention relates to a reverse tone mapping apparatus and method using an inductive filter. In particular, a brightness enhancement function (BEF) is obtained by using a guided filter in a LDR In addition to generating HDR (High Dynamic Range) images by expanding the brightness saturation using BEF, if the image is too bright or dark, it can be used to convert the brightness range after correcting the exposure value And more particularly, to a reverse tone mapping apparatus and method using an inductive filter for maximizing an image quality of an HDR image.

최근 모바일 환경에서도 QHD(Quad High Definition) 해상도가 보편화되고 지상파 UHD(Ultra High Definition) 방송이 결정되는 등 고해상도 영상의 활용이 크게 증가하고 있고, 기존의 LDR 영상에 비해서 밝기 범위가 크게 늘어난 HDR 영상을 촬영할 수 있는 장비와 디스플레이할 수 있는 기기들이 개발되고 있다. HDR 디스플레이 기기를 사용하면 LDR 디스플레이 기기에 비해서 표시할 수 있는 밝기 범위가 크게 늘어나게 되는데, 현재 최대 300 nits 정도의 밝기를 디스플레이할 수 있는 LDR 디스플레이 기기에 비해서 HDR 디스플레이 기기는 3,000 nits 이상의 밝기 범위까지 표현 가능하다. LDR 영상을 LDR 디스플레이 기기에서 재생하거나 HDR 영상을 HDR 디스플레이 기기에서 재생하는 것은 별도의 변환 과정이 필요하지 않지만 HDR 영상을 LDR 디스플레이 기기에서 재생하거나 LDR 영상을 HDR 디스플레이 기기에서 재생하려면 별도의 변환 과정을 거쳐야 한다. 만일 HDR 영상을 LDR 디스플레이 기기에서 재생하려면 HDR 영상의 세부적인 특성은 최대한 유지하면서 전체적인 밝기 범위를 LDR 영상에 적합하도록 축소하는 것이 필요한데, 이러한 과정을 톤 매핑(tone mapping)이라고 하고, 다양한 방법을 이용한 톤 매핑 기법에 대한 연구가 진행되어 왔다. 한편 기존의 LDR 영상을 HDR 디스플레이에서 재생하려면 LDR 영상을 HDR 영상으로 변환해야 하는데 이러한 기법을 역 톤 매핑(Reverse Tone Mapping) 혹은 인버스 톤 매핑(inverse tone mapping)이라고 하고 이에 대한 많은 연구가 진행되고 있다. Recently, QHD (Quad High Definition) resolution is widely used and terrestrial UHD (Ultra High Definition) broadcasting is determined in mobile environment, and the use of high resolution image is greatly increased. In addition, HDR image, Devices that can shoot and display devices are being developed. Using HDR display devices, the brightness range that can be displayed is greatly increased compared to LDR display devices. HDR display devices can display up to 3,000 nits brightness range compared to LDR display devices capable of displaying brightness up to 300 nits It is possible. Playback of LDR image on LDR display device or playback of HDR image on HDR display device does not require a separate conversion process, but a separate conversion process is required to reproduce HDR image on LDR display device or LDR image on HDR display device It must go through. If an HDR image is to be reproduced on an LDR display device, it is necessary to reduce the entire brightness range to fit the LDR image while maintaining the detailed characteristics of the HDR image. This process is called tone mapping, Tone mapping technique has been studied. Meanwhile, in order to reproduce the existing LDR image on the HDR display, the LDR image must be converted into the HDR image. This technique is called reverse tone mapping or inverse tone mapping, .

다양한 역 톤 매핑 기법 중에서 Rempel 등은 실시간 처리가 가능한 다음과 같은 방법을 제안하였다. 먼저 입력 LDR 영상의 밝기 값은 디스플레이 특성을 고려하여 감마 부호화된 값이므로 입력 영상의 정규화 된 밝기 값

Figure 112017120438314-pat00001
에 대해서
Figure 112017120438314-pat00002
로 계산되는 감마 복호화 연산을 통하여 밝기 값의 비선형성을 보정한 후에 밝기 값을 선형적으로 확장하는데 보통
Figure 112017120438314-pat00003
값은 2.2를 사용한다. 카메라의 특성을 고려하여 밝기 값의 비선형성을 보정하는 것이 더 정확한 방법이지만 카메라의 특성을 정확히 알기 어려운 경우가 많고 간단한 감마 복호화 연산만으로 만족할 만한 선형적인 밝기 값을 구할 수 있다. 한편 LDR 영상의 RGB 값 중 하나라도 최대 밝기 값을 가질 때 LDR 영상에서 표시할 수 있는 밝기 범위를 벗어나서 포화된 값일 가능성이 높고 이를 보정하기 위한 BEF를 계산한다. 양자화 오차 등을 고려하여 RGB 값 중 하나라도 최대 밝기 값에 가까운 화소를 밝기가 포화된 화소(8 비트 밝기를 사용할 때 사진의 경우 밝기 값이 254 이상이고 동영상의 경우 230 이상의 밝기 값을 갖는 화소)로 하고, 해당 화소에 대해서 가우시안(Gaussian) 필터를 적용하여 주변 화소 값을 이용하여 스무딩(smoothing)하고 강한 에지(edge) 성분에서는 에지-스톱핑 함수(edge-stopping function)을 적용하여 강한 에지 성분이 보존된 BEF를 구한다. 다음에 선형적으로 밝기 범위가 확장된 중간 밝기 영상에 BEF를 적용하여 HDR 영상의 밝기 값을 복원하는데 BEF 값에 따라서 밝기가 최대 4 배까지 확장될 수 있다. Among various reverse tone mapping techniques, Rempel et al. Proposed the following method capable of real-time processing. First, since the brightness value of the input LDR image is a gamma-encoded value in consideration of the display characteristic, the normalized brightness value
Figure 112017120438314-pat00001
about
Figure 112017120438314-pat00002
The brightness value is linearly expanded after correcting the nonlinearity of the brightness value through a gamma decoding operation calculated as
Figure 112017120438314-pat00003
The value is 2.2. It is more accurate to correct the nonlinearity of the brightness value in consideration of the characteristics of the camera. However, it is often difficult to know the characteristics of the camera accurately, and a linear brightness value satisfying only a simple gamma decoding operation can be obtained. On the other hand, when one of the RGB values of the LDR image has the maximum brightness value, it is more likely to be a saturated value out of the brightness range that can be displayed in the LDR image, and the BEF for correcting it is calculated. (A pixel having a brightness value of 254 or more for a photograph and a brightness value of 230 or more for a moving picture when 8-bit brightness is used), a pixel having a maximum brightness value of at least one of RGB values, A Gaussian filter is applied to the corresponding pixel to smoothing using surrounding pixel values and an edge-stopping function is applied to a strong edge component to generate a strong edge component The saved BEF is obtained. Next, the brightness of the HDR image is restored by applying the BEF to the intermediate brightness image whose brightness range is extended linearly. The brightness can be extended up to 4 times according to the BEF value.

그러나 이와 같은 종래 기술인 Rempel 등이 제안한 방법으로 BEF를 구하면 밝기가 포화된 부분 주변이 과도하게 스무딩되는 단점이 있고 양방향(bilateral) 필터를 사용한 방법은 밝기가 포화된 부분과 주변 부분의 밝기가 불연속하다는 단점이 있었다.However, when the BEF is obtained by the method proposed by Rempel et al., There is a disadvantage in that the vicinity of the saturated portion of the brightness is excessively smoothed. In the method using the bilateral filter, the brightness of the saturated portion and the peripheral portion of the brightness are discontinuous There were disadvantages.

F. Banterle, A. Artusi, K. Debattista, A. Chalmers, Advanced high dynamic range imaging, A K Peters Ltd., Natick, Massachusetts, 2011.  F. Banterle, A. Artusi, K. Debattista, A. Chalmers, Advanced high dynamic range imaging, A K Peters Ltd., Natick, Massachusetts, 2011. E. Reinhard, M. Stark, P. Shirley and J. Ferwerda, "Photographic tone reproduction for digital images," Proceeding of the 29th annual conference on Computer graphics and interactive techniques, pp. 267-276, San Antonio, Texas, July 2002.  E. Reinhard, M. Stark, P. Shirley and J. Ferwerda, " Photographic tone reproduction for digital images, " Proceeding of the 29th annual conference on Computer Graphics and interactive techniques, pp. 267-276, San Antonio, Texas, July 2002. B. Gu, W. Li, M. Zhu and M. WangLocal, "Edge-preserving multiscale decomposition for high dynamic range image tone mapping image processing," IEEE Trans. Image Processing, Vol. 22, No. 1, pp.70-79, 2013. B. Gu, W. Li, M. Zhu and M. Wang Local, "Edge-preserving multiscale decomposition for high dynamic range image tone mapping image processing," IEEE Trans. Image Processing, Vol. 22, No. 1, pp. 70-79, 2013. F. Durand and J. Dorsey, "Fast bilateral filtering for the display of high-dynamic-range images," ACM Transactions on Graphics, Vol. 21, No. 3, pp. 257-266, July 2002.  F. Durand and J. Dorsey, "Fast bilateral filtering for the display of high-dynamic-range images," ACM Transactions on Graphics, Vol. 21, No. 3, pp. 257-266, July 2002. R. Fattal, D. Lischinski and M. Werman, "Gradient domain high dynamic range compression," ACM Transactions on Graphics, Vol. 21, No. 3, pp. 249-256, July 2002. R. Fattal, D. Lischinski and M. Werman, " Gradient domain high dynamic range compression, " ACM Transactions on Graphics, Vol. 21, No. 3, pp. 249-256, July 2002. O. Akyuz, R. Fleming, B. E. Riecke, E. Reinhard, H. H. Bulthoff, "Do HDR displays support LDR content? A psychophysical evaluation," ACM Trans. Graph. Vol. 26, No. 3, pp. 1??7, 2007. O. Akyuz, R. Fleming, B. E. Riecke, E. Reinhard, H. H. Bulthoff, " Do HDR displays support LDR content? A psychophysical evaluation, " ACM Trans. Graph. Vol. 26, No. 3, pp. 1 ?? 7, 2007. B. Masia, S. Agustin, R. W. Fleming, O. Sorkine, D. Gutierrez, "Evaluation of reverse tone mapping through varying exposure conditions," ACM Trans. Graph. Vol. 28, No. 35, pp. 1??8, 2009. B. Masia, S. Agustin, R. W. Fleming, O. Sorkine, D. Gutierrez, " Evaluation of reverse tone mapping through varying exposure conditions, ACM Trans. Graph. Vol. 28, No. 35, pp. 1 ?? 8, 2009. B. Masia, A. Serrano and D. Gutierrez, "Dynamic range expansion based on image statistics," Multimedia Tools and Applications, pp 1??18, November 2015. B. Masia, A. Serrano and D. Gutierrez, " Dynamic range expansion based on image statistics, " Multimedia Tools and Applications, pp 1? 18, November 2015. L. Meylan, S. Daly, S. Susstrunk, "The reproduction of specular highlights on high dynamic range displays," Proceeding of the IST/SID 14th Color Imaging Conference, pp. 333??338, 2006. L. Meylan, S. Daly, S. Susstrunk, " The reproduction of specular highlights on high dynamic range displays, " Proceeding of IST / SID 14th Color Imaging Conference, pp. 333-338, 2006. P. Didyk, R. Mantiuk, M. Hein and H. P. Seidel, "Enhancement of bright video features for hdr displays," Proceeding of Eurographics Symp. Render., Vol. 27, No. 4, pp. 1265??1274, 2008. P. Didyk, R. Mantiuk, M. Hein and H. P. Seidel, " Enhancement of bright video features for hdr displays, " Proceedings of Eurographics Symp. Render., Vol. 27, No. 4, pp. 1265-1274, 2008. F. Banterle, P. Ledda, K. Debattista and A. Chalmers, "Expanding low dynamic range videos for high dynamic range applications," Proceeding of SCCG, pp. 349??356, 2008. F. Banterle, P. Ledda, K. Debattista and A. Chalmers, " Expanding low dynamic range videos for high dynamic range applications, " Proceedings of SCCG, pp. 349, 356, 2008. A. G. Rempel, M. Trentacoste, H. Seetzen, H. D. Young, W. Heidrich, L. Whitehead and G. Ward, "Ldr2hdr: on-the-fly reverse tone mapping of legacy video and photographs," ACM Trans. Graph. Vol. 26, No. 3, 2007. A. G. Rempel, M. Trentacoste, H. Seetzen, H. D. Young, W. Heidrich, L. Whitehead and G. Ward, "Ldr2hdr: on-the-fly reverse tone mapping of legacy video and photographs," ACM Trans. Graph. Vol. 26, No. 3, 2007. R. P. Kovaleski and M. M. Oliveira, "High-quality reverse tone mapping for a wide range of exposures," Proceeding of Conference on Graphics, Patterns and Images (SIBGRAPI), pp. 26-30, Aug. 2014. R. P. Kovaleski and M. M. Oliveira, " High-quality reverse tone mapping for a wide range of exposures, " Proceeding of Conference on Graphics, Patterns and Images (SIBGRAPI), pp. Aug. 26-30, Aug. 2014. R. P. Kovaleski and M. M. Oliveira, "High quality brightness enhancement functions for real-time reverse tone mapping," Vis. Comput., 2009. R. P. Kovaleski and M. M. Oliveira, " High quality brightness enhancement functions for real-time reverse tone mapping, Vis. Comput., 2009. Y. Huo, F. Yang, L. Dong and V. Brost, "Physiological inverse tone mapping based on retina response," The Visual Computer, Vol. 30, No. 5, pp. 507-517, May 2014. Y. Huo, F. Yang, L. Dong and V. Brost, " Physicological inverse tone mapping based on retina response, " The Visual Computer, Vol. 30, No. 5, pp. 507-517, May 2014.

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 영상의 특성을 반영한 자연스러운 BEF를 생성함으로써 기존의 방법에 비해서 우수한 화질의 HDR 영상을 생성할 수 있는, 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법을 제공하는 데에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for generating an HDR image with superior image quality by generating a natural BEF reflecting a characteristic of an image, And to provide a reverse tone mapping apparatus and method using the same.

상기의 목적을 달성하기 위해 본 발명의 실시형태에 의한, 유도 필터를 이용한 리버스 톤 매핑 장치는 한 장의 LDR 영상(RGB)을 입력받아 휘도 신호로 변환하도록 구성된 휘도 신호 변환부; 상기 휘도 신호 변환부에서 휘도 신호를 입력받아 선형화시키도록 구성된 감마 복호부; 상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기 범위를 확장한 휘도 신호를 구하도록 구성된 콘트라스트 확장부; 상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기가 포화된 부분을 검출하도록 구성된 포화 부분 검출부; 상기 포화 부분 검출부에서 검출된 밝기가 포화된 부분을 이용하여 BEF(Brightness Enhancement Function)를 생성하도록 구성된 유도 필터; 상기 유도 필터에서 생성된 BEF를 이용하여 상기 콘트라스트 확장부로부터 밝기 범위가 확장된 휘도 신호의 밝기가 포화된 부분을 복원하여 HDR 휘도 신호를 획득하도록 구성된 밝기 확장부; 및 상기 밝기 확장부에서 획득된 HDR 휘도 신호를 HDR 영상(RGB)으로 변환하도록 구성된 색신호 변환부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a reverse tone mapping apparatus using an inductive filter according to an embodiment of the present invention includes a luminance signal converter configured to receive a single LDR image (RGB) and convert it into a luminance signal; A gamma decoding unit configured to receive and linearize a luminance signal in the luminance signal converting unit; A contrast extension unit configured to receive a luminance signal linearized by the gamma decoding unit and to obtain a luminance signal expanded in a brightness range; A saturated part detector configured to receive a linearized luminance signal from the gamma decoding unit and detect a saturated part of brightness; An inductive filter configured to generate a BEF (Brightness Enhancement Function) using the saturated portion of the brightness detected in the saturated portion detecting portion; A brightness enhancement unit configured to recover a brightness saturated portion of a brightness signal whose brightness range is extended from the contrast enhancement unit using the BEF generated by the inductive filter to obtain an HDR brightness signal; And a color signal converting unit configured to convert the HDR luminance signal obtained in the brightness enhancing unit into an HDR image (RGB).

상기 실시형태에 의한, 유도 필터를 이용한 리버스 톤 매핑 장치는 상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 노출을 추정하여 감마 확장을 이용하여 이를 보정한 후에 상기 포화 부분 검출부, 유도 필터 및 콘트라스트 확장부에 출력하도록 구성된 구성된 노출 보정부를 더 포함할 수 있다.The reverse tone mapping apparatus using the inductive filter according to the above embodiment receives the linearized luminance signal from the gamma decoding unit, estimates the exposure, corrects it using the gamma expansion, and then performs the saturation part detecting unit, And an exposure compensation unit configured to output the exposure compensation unit.

상기의 목적을 달성하기 위해 본 발명의 실시형태에 의한, 유도 필터를 이용한 리버스 톤 매핑 방법은 휘도 신호 변환부가 한 장의 LDR 영상(RGB)을 입력받아 휘도 신호로 변환하는 단계; 감마 복호부가 상기 휘도 신호 변환부에서 휘도 신호를 입력받아 선형화시키는 단계; 포화 부분 검출부가 상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기가 포화된 부분을 검출하는 단계; 유도 필터가 상기 포화 부분 검출부에서 검출된 밝기가 포화된 부분을 이용하여 BEF(Brightness Enhancement Function)를 생성하는 단계; 콘트라스트 확장부가 상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기 범위를 확장한 휘도 신호를 출력하는 단계; 밝기 확장부가 상기 유도 필터에서 생성된 BEF를 이용하여 상기 콘트라스트 확장부로부터 밝기 범위가 확장된 휘도 신호의 밝기가 포화된 부분을 복원하여 HDR 휘도 신호를 획득하는 단계; 및 색신호 변환부가 상기 밝기 확장부에서 획득된 HDR 휘도 신호를 HDR 영상(RGB)으로 변환하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, a reverse tone mapping method using an inductive filter according to an embodiment of the present invention includes the steps of converting a luminance signal converting unit into a luminance signal by receiving a single LDR image (RGB); Receiving a luminance signal from the luminance signal converting unit and linearizing the gamma decoding unit; Detecting a saturated portion of brightness by receiving a luminance signal linearized in the gamma decoding unit by a saturated portion detecting unit; Generating a BEF (Brightness Enhancement Function) by using a saturated portion of the brightness detected by the saturation portion detecting unit; Outputting a luminance signal having a luminance range expanded by receiving a luminance signal linearized by the gamma decoding unit; Obtaining an HDR luminance signal by restoring a saturated portion of the luminance signal whose brightness range is expanded from the contrast expansion portion using the BEF generated by the inductive filter; And the color signal converting unit converts the HDR luminance signal obtained in the brightness enhancing unit into an HDR image (RGB).

상기 다른 실시형태에 의한, 유도 필터를 이용한 리버스 톤 매핑 방법은 노출 보정부가 상기 선형화 단계에서 선형화된 휘도 신호를 입력받아 노출을 추정하여 감마 확장을 이용하여 노출을 보정한 후에 포화 부분 검출부, 유도 필터 및 콘트라스트 확장부에 출력하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a reverse tone mapping method using an inductive filter, wherein the exposure correction unit receives the luminance signal linearized in the linearization step, estimates the exposure, corrects the exposure using the gamma expansion, And outputting to the contrast extension unit.

본 발명의 실시형태들에 의한, 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법에 의하면, 휘도 신호 변환부가 한 장의 LDR 영상(RGB)을 입력받아 휘도 신호로 변환하고, 감마 복호부가 휘도 신호 변환부에서 휘도 신호를 입력받아 선형화시키며, 포화 부분 검출부가 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기가 포화된 부분을 검출하며, 유도 필터가 포화 부분 검출부에서 검출된 밝기가 포화된 부분을 이용하여 BEF(Brightness Enhancement Function)를 생성하며, 콘트라스트 확장부가 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기 범위를 확장한 휘도 신호를 출력하며, 밝기 확장부가 상기 유도 필터에서 생성된 BEF를 이용하여 콘트라스트 확장부로부터 밝기 범위가 확장된 휘도 신호의 밝기가 포화된 부분을 복원하여 HDR 휘도 신호를 획득하며, 색신호 변환부가 밝기 확장부에서 획득된 HDR 휘도 신호를 HDR 영상(RGB)으로 변환하도록 구성됨으로써, 영상의 특성을 반영한 자연스러운 BEF를 생성하여 기존의 방법에 비해서 우수한 화질의 HDR 영상을 생성할 수 있다는 뛰어난 효과가 있다.According to the reverse tone mapping apparatus and method using the inductive filter according to the embodiments of the present invention, the luminance signal conversion unit receives a single LDR image (RGB) and converts it into a luminance signal, and the gamma decoding unit The saturation part detecting part receives the luminance signal linearized in the gamma decoding part and detects the saturated part of brightness, and the inductive filter detects the saturation part of the BEF signal by using the saturated part detected by the saturated part detecting part, The brightness enhancement unit generates a brightness enhancement function by receiving a luminance signal linearized by the gamma decoding unit and extending the brightness range. The brightness enhancement unit uses the BEF generated by the inductive filter, The brightness saturation part of the brightness signal whose brightness range is extended is recovered to obtain the HDR luminance signal, The color signal converting unit is configured to convert the HDR luminance signal obtained from the brightness enhancement unit into the HDR image (RGB), thereby generating a natural BEF reflecting the characteristics of the image, thereby generating a superior HDR image It is effective.

도 1은 본 발명의 실시예에 의한, 유도 필터를 이용한 리버스 톤 매핑 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 의한, 유도 필터를 이용한 리버스 톤 매핑 장치를 이용한 리버스 톤 매핑 방법을 설명하기 위한 플로우챠트이다.
도 3은 LDR 영상, Rempel 등이 제안한 방법으로 구한 BEF 영상, 양방향 필터를 이용하여 구한 BEF 영상, 및 본 발명의 실시예에 의한 유도 필터를 이용한 리버스 톤 매핑 방법에 의해 구한 BEF 영상의 비교도면이다.
도 4는 Rempel 등이 제안한 방법으로 생성한 HDR 영상의 DRIM metric을 이용한 왜곡 측정 영상, 양방향 필터를 이용하여 생성한 HDR 영상의 DRIM metric을 이용한 왜곡 측정 영상, 및 본 발명의 실시예에 의한 유도 필터를 이용한 리버스 톤 매핑 방법에 의해 생성한 HDR 영상의 DRIM metric을 이용한 왜곡 측정 영상의 비교도면이다. 1 is a block diagram of a reverse tone mapping apparatus using an inductive filter according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a reverse tone mapping method using a reverse tone mapping apparatus using an inductive filter according to an embodiment of the present invention. Referring to FIG.
3 is a comparative diagram of a BEF image obtained by a LDR image, a BEF image obtained by a method proposed by Rempel et al., A BEF image obtained by a bidirectional filter, and a reverse tone mapping method using an inductive filter according to an embodiment of the present invention .
FIG. 4 is a diagram illustrating a distortion measurement image using the DRIM metric of the HDR image generated by the method proposed by Rempel et al., A distortion measurement image using the DRIM metric of the HDR image generated by the bidirectional filter, The DRIM metric of the HDR image generated by the reverse tone mapping method using the DRIM metric.

이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 의한, 유도 필터를 이용한 리버스 톤 매핑 장치의 블록 구성도이다.1 is a block diagram of a reverse tone mapping apparatus using an inductive filter according to an embodiment of the present invention.

본 발명의 실시예에 의한 유도 필터를 이용한 리버스 톤 매핑 장치는, 도 1에 도시된 바와 같이, 휘도 신호 변환부(100), 감마 복호부(200), 콘트라스트 확장부(600), 포화 부분 검출부(400), 유도 필터(500), 밝기 확장부(700), 색신호 변환부(800) 및 노출 보정부(300)를 포함한다.1, a reverse tone mapping apparatus using an inductive filter according to an embodiment of the present invention includes a luminance signal conversion unit 100, a gamma decoding unit 200, a contrast expansion unit 600, An inverse filter 400, an inductive filter 500, a brightness enhancer 700, a color signal converter 800, and an exposure corrector 300.

휘도 신호 변환부(100)는 한 장의 LDR 영상(RGB)을 입력받아 휘도 신호로 변환하는 역할을 한다. The luminance signal converting unit 100 receives a single LDR image (RGB) and converts it into a luminance signal.

감마 복호부(200)는 휘도 신호 변환부(100)에서 휘도 신호를 입력받아 선형화시키는 역할을 한다.The gamma decoding unit 200 receives the luminance signal from the luminance signal conversion unit 100 and linearizes the received luminance signal.

콘트라스트 확장부(600)는 감마 복호부(200)에서 선형화된 휘도 신호를 입력받아 콘트라스트를 확장하여 밝기 범위를 확장한 휘도 신호를 구하는 역할을 한다.The contrast expansion unit 600 receives the linearized luminance signal from the gamma decoding unit 200, and obtains a luminance signal by extending the contrast to extend the luminance range.

포화 부분 검출부(400)는 감마 복호부(200)에서 선형화된 휘도 신호를 입력받아 밝기가 포화된 부분을 검출하여 유도 필터(500)에 제공하는 역할을 한다.The saturated part detection unit 400 receives the linearized luminance signal from the gamma decoding unit 200 and detects a saturated part of the brightness and provides the detected part to the inductive filter 500.

유도 필터(500)는 포화 부분 검출부(400)에서 검출된 밝기가 포화된 부분을 이용하여 BEF를 생성하는 역할을 한다.The induction filter 500 serves to generate a BEF using a saturated portion of the brightness detected by the saturated portion detector 400. [

유도 필터(500)는 He 등이 제안한 필터로서 양방향 필터 혹은 조인트 양방향(joint bilateral) 필터와 유사한 특성을 갖는데, 계산량을 크게 줄이면서 다양한 응용에서 우수한 특성을 보인다. 만일

Figure 112017120438314-pat00004
와
Figure 112017120438314-pat00005
를 각각 유도 필터의 입력 영상과 가이드(guide) 영상이라고 하면 유도 필터의 출력 영상
Figure 112017120438314-pat00006
는 다음 [수학식 1], [수학식 2] 및 [수학식 3]을 이용하여 구한다.The induction filter 500 is similar to a bidirectional filter or a joint bilateral filter proposed by He et al., And exhibits excellent characteristics in various applications while greatly reducing the calculation amount. if
Figure 112017120438314-pat00004
Wow
Figure 112017120438314-pat00005
Is an input image and a guide image of an inductive filter,
Figure 112017120438314-pat00006
Is obtained by using the following equations (1), (2) and (3).

[수학식 1] [Equation 1]

Figure 112017120438314-pat00007
Figure 112017120438314-pat00007

[수학식 2]&Quot; (2) "

Figure 112017120438314-pat00008
Figure 112017120438314-pat00008

[수학식 3]&Quot; (3) "

Figure 112017120438314-pat00009
Figure 112017120438314-pat00009

[수학식 1]에서 일정한 크기의 블록별로 분산과 평균을 구하여 블록

Figure 112017120438314-pat00010
에 대한
Figure 112017120438314-pat00011
값을 구하는데, 만일 입력 영상
Figure 112017120438314-pat00012
와 가이드 영상
Figure 112017120438314-pat00013
가 같다고 가정하면 입력 영상의 블록내의 분산 값이 커질수록
Figure 112017120438314-pat00014
값은 1의 값에 가까워지고, 블록내의 분산 값이 작아질수록 0의 값에 가까워진다.In Equation (1), the variance and average are determined for each block of a predetermined size,
Figure 112017120438314-pat00010
For
Figure 112017120438314-pat00011
If the input image
Figure 112017120438314-pat00012
And guide video
Figure 112017120438314-pat00013
Is assumed to be the same, the larger the variance value in the block of the input image becomes
Figure 112017120438314-pat00014
The value approaches the value of 1, and the smaller the variance value in the block, the closer to 0 the value.

Figure 112017120438314-pat00015
값이 1에 가까워지면 [수학식 2]의 블록
Figure 112017120438314-pat00016
에 대한
Figure 112017120438314-pat00017
값은 0에 가까워지고,
Figure 112017120438314-pat00018
값이 0에 가까워지면
Figure 112017120438314-pat00019
값은 블록내의 입력 값의 평균에 근사하게 된다. 출력 화소
Figure 112017120438314-pat00020
가 포함된 모든 블록에 대한
Figure 112017120438314-pat00021
와
Figure 112017120438314-pat00022
값의 평균값을 구한 후에, [수학식 3]을 이용하여 출력 영상의 화소 값
Figure 112017120438314-pat00023
를 구한다.
Figure 112017120438314-pat00015
When the value approaches 1, the block of Equation (2)
Figure 112017120438314-pat00016
For
Figure 112017120438314-pat00017
The value approaches zero,
Figure 112017120438314-pat00018
When the value approaches zero
Figure 112017120438314-pat00019
The value approximates the average of the input values in the block. Output pixel
Figure 112017120438314-pat00020
For all blocks with
Figure 112017120438314-pat00021
Wow
Figure 112017120438314-pat00022
After calculating the average value of the pixel values of the output image using Equation (3)
Figure 112017120438314-pat00023
.

이렇게 구한 출력 값은 입력 영상의 분산 값이 작은 부분은 스무딩하면서 분산 값이 큰 강한 에지 성분은 보존한 값이 된다. [수학식 1]의

Figure 112017120438314-pat00024
값은 0에 가까운 작은 값을 갖고 블록의 크기 값과
Figure 112017120438314-pat00025
값을 적절히 조절하여 스무딩 정도를 조절할 수 있는데, 블록의 크기와
Figure 112017120438314-pat00026
값이 클수록 스무딩 되는 정도가 커진다.The output value thus obtained is a value that preserves a strong edge component having a large variance value while smoothing a portion having a small variance value of the input image. In Equation (1)
Figure 112017120438314-pat00024
The value has a small value close to 0,
Figure 112017120438314-pat00025
You can adjust the degree of smoothing by adjusting the value appropriately.
Figure 112017120438314-pat00026
The larger the value, the greater the degree of smoothing.

유도 필터(500)는 [수학식 3]의 관계에서 알 수 있듯이 출력이 가이드 영상의 상수 배를 곱한 값에 비례하는 관계가 있기 때문에 양방향 필터를 사용할 때 발생할 수 있는 구배 왜곡(gradient distortion)을 제거할 수 있고, 양방향 필터의 가우시안(Gaussian) 연산이 필요하지 않기 때문에 계산량을 크게 줄일 수 있다는 장점이 있다. Since the inductive filter 500 has a relation in which the output is proportional to a value obtained by multiplying the guide image by a constant, as shown in the relation of Equation (3), the gradient distortion that may occur when the bidirectional filter is used is eliminated And there is no need for a Gaussian operation of the bidirectional filter, so that the calculation amount can be greatly reduced.

밝기 확장부(700)는 유도 필터(500)에서 생성된 BEF를 이용하여 콘트라스트 확장부(600)로부터 밝기 범위가 확장된 휘도 신호의 밝기가 포화된 부분을 복원하여 HDR 휘도 신호를 획득하는 역할을 한다.The brightness enhancing unit 700 plays a role of acquiring the HDR luminance signal by restoring the brightness saturated portion of the brightness signal whose brightness range is extended from the contrast enhancing unit 600 using the BEF generated by the inductive filter 500 do.

색신호 변환부(800)는 밝기 확장부(700)에서 획득된 HDR 휘도 신호를 HDR 영상(RGB)으로 변환하는 역할을 한다.The color signal converting unit 800 converts the HDR luminance signal obtained in the brightness enhancing unit 700 into an HDR image (RGB).

한편, 노출 보정부(300)는 선택적으로 사용할 수 있으며, 감마 복호부(200)에서 선형화된 휘도 신호를 입력받아 노출을 추정하여 영상이 전체적으로 지나치게 밝거나 어두운 경우 감마 확장을 이용하여 이를 보정한 후에 포화 부분 검출부(400), 유도 필터(500) 및 콘트라스트 확장부(600)에 출력하는 역할을 한다.Meanwhile, the exposure compensation unit 300 may selectively use the luminance signal received by the gamma decoding unit 200, and estimates the exposure by receiving the luminance signal linearized in the gamma decoding unit 200. If the luminance of the image is excessively bright or dark, The saturation part detecting unit 400, the inductive filter 500, and the contrast enhancing unit 600, respectively.

좀 더 상세하게 설명하면, 노출 보정부(300)는 LDR 영상의 전체적인 밝기 값이 지나치게 밝거나 어두울 때 리버스 톤 매핑을 수행하기 이전에 LDR 영상의 전체적인 밝기 값을 보정할 수 있도록 한 것이다. More specifically, the exposure correction unit 300 may correct the overall brightness of the LDR image before performing the reverse tone mapping when the overall brightness of the LDR image is excessively bright or dark.

영상 촬영시의 노출 정도에 따라서 영상의 전체적인 밝기가 너무 밝거나 어두운 경우가 발생할 수 있는데 이를 보정하기 위하여 Masia 등이 제안한 방법을 사용하여 노출 정도를 추정하여 영상의 전체적인 밝기 값을 보정할 수 있도록 하였는데, 아래의 [수학식 4]를 이용하여

Figure 112017120438314-pat00027
값을 추정하여 감마 확장을 이용하면 영상의 전체적인 밝기 값을 보정한 것이다.The overall brightness of the image may be too bright or dark depending on the degree of exposure at the time of image capture. To compensate for this, the method proposed by Masia et al. , Using the following equation (4)
Figure 112017120438314-pat00027
And gamma expansion is used to estimate the overall brightness of the image.

[수학식 4]&Quot; (4) "

Figure 112017120438314-pat00028
Figure 112017120438314-pat00028

상기와 같이 구성된 본 발명의 실시예에 의한 유도 필터를 이용한 리버스 톤 매핑 장치를 이용하는, 유도 필터를 이용한 리버스 톤 매핑 방법에 대해 설명하기로 한다.A reverse tone mapping method using an inductive filter using a reverse tone mapping apparatus using an inductive filter according to an embodiment of the present invention will be described.

도 2는 본 발명의 실시예에 의한, 유도 필터를 이용한 리버스 톤 매핑 장치를 이용한 리버스 톤 매핑 방법을 설명하기 위한 플로우챠트로서, 여기서 S는 스텝(step)을 의미한다.FIG. 2 is a flow chart for explaining a reverse tone mapping method using a reverse tone mapping apparatus using an inductive filter according to an embodiment of the present invention, where S denotes a step.

먼저, 한 장의 LDR 영상(RGB)이 휘도 신호 변환부(100)에 입력된다(S10). First, a single LDR image (RGB) is input to the luminance signal converting unit 100 (S10).

이어서, 휘도 신호 변환부(100)는 입력된 한 장의 LDR 영상(RGB)을 휘도 신호로 변환하고(S20), 감마 복호부(200)는 휘도 신호 변환부(100)에서 휘도 신호를 입력받아 선형화시킨다(S30).The luminance signal converting unit 100 converts the inputted one LDR image (RGB) into a luminance signal (S20), and the gamma decoding unit 200 receives the luminance signal from the luminance signal converting unit 100, (S30).

이때, 포화 부분 검출부(400)는 감마 복호부(200)에서 선형화된 휘도 신호를 입력받아 밝기가 포화된 부분을 검출하고(S50), 유도 필터(500)가 포화 부분 검출부(400)에서 검출된 밝기가 포화된 부분을 이용하여 BEF를 생성한다(S60).At this time, the saturated part detecting unit 400 receives the luminance signal linearized in the gamma decoding unit 200 and detects the saturated part of brightness (S50). When the inductive filter 500 detects the saturated part The BEF is generated using the portion where the brightness is saturated (S60).

이어서, 콘트라스트 확장부(600)는 감마 복호부(200)에서 선형화된 휘도 신호를 입력받아 밝기 범위를 확장한 휘도 신호를 구하여 밝기 확장부(700)에 출력한다(S70).The contrast expansion unit 600 receives the luminance signal linearized by the gamma decoding unit 200 and obtains a luminance signal that has expanded the brightness range, and outputs the luminance signal to the brightness enhancing unit 700 (S70).

스텝(S80)에서는 밝기 확장부(700)가 유도 필터(500)에서 생성된 BEF를 이용하여 콘트라스트 확장부(600)로부터 밝기 범위가 확장된 휘도 신호의 밝기가 포화된 부분을 복원하여 HDR 휘도 신호를 획득한다.In step S80, the brightness enhancer 700 restores the brightness-saturated portion of the brightness signal whose brightness range is extended from the contrast enhancer 600 using the BEF generated by the induction filter 500, and outputs the HDR brightness signal .

스텝(S90)에서는 색신호 변환부(800)가 밝기 확장부(700)에서 획득된 HDR 휘도 신호를 HDR 영상(RGB)으로 변환한다.In step S90, the color signal converting unit 800 converts the HDR luminance signal obtained in the brightness enhancing unit 700 into an HDR image (RGB).

한편, 스텝(S40)은 선택적으로 포함될 수 있으며, 여기서는 노출 보정부(300)가 상기 스텝(S30)에서 선형화된 휘도 신호를 입력받아 노출 값을 추정하여 영상이 전체적으로 지나치게 밝거나 어두운 경우 감마 확장을 이용하여 노출을 보정한 후에 포화 부분 검출부(400), 유도 필터(500) 및 콘트라스트 확장부(600)에 출력할 수 있다.In step S40, the exposure compensation unit 300 receives the luminance signal linearized in step S30 and estimates the exposure value. If the luminance of the image is excessively bright or dark, To the saturated portion detecting unit 400, the inductive filter 500, and the contrast enhancer 600 after correcting the exposure using the image signal.

도 3은 (a) LDR 영상, (b) Rempel 등이 제안한 방법으로 구한 BEF 영상, (c) 양방향 필터를 이용하여 구한 BEF 영상, 및 (d) 본 발명의 실시예에 의한 유도 필터를 이용한 리버스 톤 매핑 방법에 의해 구한 BEF 영상의 비교도면으로서, Rempel 등이 제안한 방법으로 구한 BEF는 과도하게 스무딩되는 단점이 있고, 양방향 필터를 이용하여 구한 BEF는 과도한 불연속성이 나타나는 단점이 있는 반면에, 본 발명의 실시예에 의한 유도 필터를 이용한 리버스 톤 매핑 방법에 의해 구한 BEF는 영상의 특성을 잘 나타내는 것을 알 수 있다.FIG. 3 is a diagram illustrating a BEF image obtained by (a) an LDR image, (b) a method proposed by Rempel et al., (C) a BEF image obtained by using a bidirectional filter, and (d) As a comparison drawing of the BEF image obtained by the tone mapping method, the BEF obtained by the method proposed by Rempel et al. Is disadvantageously over-smoothed and the BEF obtained by using the bidirectional filter has a disadvantage of showing excessive discontinuity, The BEF obtained by the reverse tone mapping method using the inductive filter according to the embodiment of the present invention shows the characteristics of the image well.

이하, 본 발명의 실시예에 의한 유도 필터를 이용한 리버스 톤 매핑 방법의 성능을 분석하기 위하여 리버스 톤 매핑 기법의 성능 해석에 사용되는 다양한 영상을 이용하여 기존의 방법과 본 발명의 실시예에서 제안한 방법을 비교하였다.Hereinafter, in order to analyze the performance of the reverse tone mapping method using the inductive filter according to the embodiment of the present invention, the conventional method using the various images used for the performance analysis of the reverse tone mapping technique and the method proposed by the embodiments of the present invention Were compared.

모의 실험에서 사용한 양방향 필터의 가우시안(Gaussian) 필터 계수와 본 발명의 실시예에 의한 유도 필터의

Figure 112017120438314-pat00029
및 블록 크기 값에 따라서 스무딩 되는 정도가 달라지는데, 최적의 BEF를 생성하는 값을 찾아서 모든 영상에 동일한 조건을 사용하였다(즉, 양방향 필터의
Figure 112017120438314-pat00030
는 150 값을 사용하고,
Figure 112017120438314-pat00031
는 25 값을 사용하고, 유도 필터의
Figure 112017120438314-pat00032
은 0.0062 값을 사용하고, 블록 크기는 61ㅧ61 값을 사용함).The Gaussian filter coefficient of the bidirectional filter used in the simulation and that of the inductive filter according to the embodiment of the present invention
Figure 112017120438314-pat00029
And the degree of smoothing depends on the block size value. The same conditions are used for all images to find the optimum BEF generating value (i.e.,
Figure 112017120438314-pat00030
Lt; RTI ID = 0.0 > 150, <
Figure 112017120438314-pat00031
Lt; RTI ID = 0.0 > 25, < / RTI >
Figure 112017120438314-pat00032
Uses a value of 0.0062, and the block size uses a value of 61 to 61).

Rempel 등이 제안한 방법과 양방향 필터를 이용한 방법 및 제안하는 유도 필터를 사용하여 BEF를 구한 후에 이를 비교하였다. BEF는 LDR 영상의 밝은 부분이 포화되었을 때 이를 복원하여 HDR 영상을 생성하기 위하여 사용된다. 중간 단계 영상의 최대 밝기는 1200 cd/m2으로 하고, α는 4 값을 사용하여 HDR 영상의 최대 밝기는 4800 cd/m2가 되도록 하였다. Rempel 등이 제안한 방법은 밝기가 포화된 부분 주변이 과도하게 스무딩되는 단점이 있고, 양방향 필터를 사용한 방법은 밝기가 포화된 부분과 주변 부분의 밝기가 불연속한 단점이 있는 반면에, 본 발명의 실시예에 의한 방법은 영상의 특성을 반영한 자연스러운 BEF 영상을 생성함을 알 수 있다. The method proposed by Rempel et al., The method using bidirectional filters, and the proposed inductive filter were used to compare BEF values. BEF is used to reconstruct HDR images when the bright part of the LDR image is saturated. The maximum brightness of the mid-stage image was 1200 cd / m 2 and the maximum brightness of the HDR image was 4800 cd / m 2 using α = 4. The method proposed by Rempel et al. Has a disadvantage in that the brightness saturates the vicinity of the saturated portion excessively, and the method using the bidirectional filter has a disadvantage in that the brightness of the saturated portion and the peripheral portion of the brightness are discontinuous. It can be seen that the example method generates a natural BEF image reflecting the characteristics of the image.

도 4는 (a) Rempel 등이 제안한 방법으로 생성한 HDR 영상의 DRIM 매트릭(metric)을 이용한 왜곡 측정 영상, (b) 양방향 필터를 이용하여 생성한 HDR 영상의 DRIM 매트릭을 이용한 왜곡 측정 영상, 및 (c) 본 발명의 실시예에 의한 유도 필터를 이용한 리버스 톤 매핑 방법에 의해 생성한 HDR 영상의 DRIM 매트릭을 이용한 왜곡 측정 영상의 비교도면이다.FIG. 4 shows (a) a distortion measurement image using a DRIM metric of an HDR image generated by the method proposed by Rempel et al., (B) a distortion measurement image using a DRIM metric of an HDR image generated using a bidirectional filter, (c) A comparison chart of distortion measurement images using a DRIM metric of an HDR image generated by a reverse tone mapping method using an inductive filter according to an embodiment of the present invention.

생성된 HDR 영상의 왜곡 정도를 측정하기 위하여 Aydin 등이 제안한 매트릭인 DRIM을 사용하여 각 방법을 비교하였는데, DRIM은 LDR 영상과 HDR 영상과 같이 밝기 범위가 다른 영상 간의 왜곡 정도를 측정할 수 있는 매트릭으로서 톤 매핑 혹은 리버스 톤 매핑 후의 결과 영상이 원 영상에 비해서 얼마나 왜곡되었는지를 측정할 수 있다. DRIM 매트릭을 사용하여 구한 왜곡 정도를 나타내는 영상에서 파란색 부분은 LDR 영상에서는 없던 명암비(contrast)가 결과 영상인 HDR 영상에 나타난 것을 의미하고, 붉은색 부분은 LDR 영상의 명암비가 HDR 영상에서 역전된 것을 나타낸다. Rempel 등이 제안한 방법과 양방향 필터를 사용한 방법에서는 명암비가 역전된 붉은색의 왜곡이 관찰되는데, 반면에 본 발명의 실시예에 의한 방법에서는 붉은색의 왜곡이 관찰되지 않는다. In order to measure the degree of distortion of the generated HDR image, DRIM is compared with the method proposed by Aydin et al. The DRIM is a matrix that can measure the degree of distortion between images with different brightness ranges such as LDR and HDR images. It is possible to measure how much the resultant image after tone mapping or reverse tone mapping is distorted compared to the original image. In the image showing the degree of distortion obtained using the DRIM metric, the blue part means that the contrast that was not present in the LDR image appears in the resultant HDR image, while the red part indicates that the contrast ratio of the LDR image is reversed in the HDR image . In the method proposed by Rempel et al. And the method using the bidirectional filter, a red color distortion in which the contrast ratio is reversed is observed, whereas a red color distortion is not observed in the method according to the embodiment of the present invention.

본 발명의 실시형태들에 의한, 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법에 의하면, 휘도 신호 변환부가 한 장의 LDR 영상(RGB)을 입력받아 휘도 신호로 변환하고, 감마 복호부가 휘도 신호 변환부에서 휘도 신호를 입력받아 선형화시키며, 포화 부분 검출부가 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기가 포화된 부분을 검출하며, 유도 필터가 포화 부분 검출부에서 검출된 밝기가 포화된 부분을 이용하여 BEF(Brightness Enhancement Function)를 생성하며, 콘트라스트 확장부가 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기 범위를 확장한 휘도 신호를 출력하며, 밝기 확장부가 상기 유도 필터에서 생성된 BEF를 이용하여 콘트라스트 확장부로부터 밝기 범위가 확장된 휘도 신호의 밝기가 포화된 부분을 복원하여 HDR 휘도 신호를 획득하며, 색신호 변환부가 밝기 확장부에서 획득된 HDR 휘도 신호를 HDR 영상(RGB)으로 변환하도록 구성됨으로써, 영상의 특성을 반영한 자연스러운 BEF를 생성하여 기존의 방법에 비해서 우수한 화질의 HDR 영상을 생성할 수 있다는 뛰어난 효과가 있다.According to the reverse tone mapping apparatus and method using the inductive filter according to the embodiments of the present invention, the luminance signal conversion unit receives a single LDR image (RGB) and converts it into a luminance signal, and the gamma decoding unit The saturation part detecting part receives the luminance signal linearized in the gamma decoding part and detects the saturated part of brightness, and the inductive filter detects the saturation part of the BEF signal by using the saturated part detected by the saturated part detecting part, The brightness enhancement unit generates a brightness enhancement function by receiving a luminance signal linearized by the gamma decoding unit and extending the brightness range. The brightness enhancement unit uses the BEF generated by the inductive filter, The brightness saturation part of the brightness signal whose brightness range is extended is recovered to obtain the HDR luminance signal, The color signal converting unit is configured to convert the HDR luminance signal obtained from the brightness enhancement unit into the HDR image (RGB), thereby generating a natural BEF reflecting the characteristics of the image, thereby generating a superior HDR image It is effective.

도면과 명세서에는 최적의 실시예가 개시되었으며, 특정한 용어들이 사용되었으나 이는 단지 본 발명의 실시형태를 설명하기 위한 목적으로 사용된 것이지 의미를 한정하거나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the best mode has been shown and described in the drawings and specification, certain terminology has been used for the purpose of describing the embodiments of the invention and is not intended to be limiting or to limit the scope of the invention described in the claims. It is not. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments may be made without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100: 휘도 신호 변환부
200: 감마 복호부
300: 노출 보정부
400: 포화 부분 검출부
500: 유도 필터
600: 콘트라스트 확장부
700: 밝기 확장부
800: 색신호 변환부100: luminance signal converting section
200: gamma decoding unit
300: Exposure correction unit
400: Saturated part detector
500: induction filter
600: Contrast extension part
700: Brightness expansion unit
800: Color signal converting section

Claims (4)

한 장의 LDR 영상(RGB)을 입력받아 휘도 신호로 변환하도록 구성된 휘도 신호 변환부;
상기 휘도 신호 변환부에서 휘도 신호를 입력받아 선형화시키도록 구성된 감마 복호부;
상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기 범위를 확장한 휘도 신호를 구하도록 구성된 콘트라스트 확장부;
상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기가 포화된 부분을 검출하도록 구성된 포화 부분 검출부;
상기 포화 부분 검출부에서 검출된 밝기가 포화된 부분을 이용하여 BEF(Brightness Enhancement Function)를 생성하도록 구성된 유도 필터;
상기 유도 필터에서 생성된 BEF를 이용하여 상기 콘트라스트 확장부로부터 밝기 범위가 확장된 휘도 신호의 밝기가 포화된 부분을 복원하여 HDR 휘도 신호를 획득하도록 구성된 밝기 확장부; 및
상기 밝기 확장부에서 획득된 HDR 휘도 신호를 HDR 영상(RGB)으로 변환하도록 구성된 색신호 변환부를 포함하는, 유도 필터를 이용한 리버스 톤 매핑 장치. A luminance signal converting unit configured to receive a single LDR image (RGB) and convert it into a luminance signal;
A gamma decoding unit configured to receive and linearize a luminance signal in the luminance signal converting unit;
A contrast extension unit configured to receive a luminance signal linearized by the gamma decoding unit and to obtain a luminance signal expanded in a brightness range;
A saturated part detector configured to receive a linearized luminance signal from the gamma decoding unit and detect a saturated part of brightness;
An inductive filter configured to generate a BEF (Brightness Enhancement Function) using the saturated portion of the brightness detected in the saturated portion detecting portion;
A brightness enhancement unit configured to recover a brightness saturated portion of a brightness signal whose brightness range is extended from the contrast enhancement unit using the BEF generated by the inductive filter to obtain an HDR brightness signal; And
And a color signal converting unit configured to convert the HDR luminance signal obtained in the brightness enhancing unit into an HDR image (RGB). 제 1 항에 있어서,
상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 노출을 추정하여 감마 확장을 이용하여 노출을 보정한 후에 상기 포화 부분 검출부, 유도 필터 및 콘트라스트 확장부에 출력하도록 구성된 노출 보정부를 더 포함하는데,
상기 포화 부분 검출부 및 콘트라스트 확장부는 선형화된 휘도 신호 대신에, 노출 보정된 선형화된 휘도 신호를 입력받는, 유도 필터를 이용한 리버스 톤 매핑 장치.The method according to claim 1,
And an exposure correction unit configured to receive the linearized luminance signal from the gamma decoding unit and output an output image to the saturation part detecting unit, the inductive filter, and the contrast enhancing unit after estimating the exposure, correcting the exposure using the gamma expansion,
Wherein the saturated portion detecting unit and the contrast enhancing unit receive the exposure corrected linearized luminance signal instead of the linearized luminance signal. 제 1 항에 기재된 유도 필터를 이용한 리버스 톤 매핑 장치를 이용하는, 리버스 톤 매핑 방법으로서:
휘도 신호 변환부가 한 장의 LDR 영상(RGB)을 입력받아 휘도 신호로 변환하는 단계;
감마 복호부가 상기 휘도 신호 변환부에서 휘도 신호를 입력받아 선형화시키는 단계;
포화 부분 검출부가 상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기가 포화된 부분을 검출하는 단계;
유도 필터가 상기 포화 부분 검출부에서 검출된 밝기가 포화된 부분을 이용하여 BEF(Brightness Enhancement Function)를 생성하는 단계;
콘트라스트 확장부가 상기 감마 복호부에서 선형화된 휘도 신호를 입력받아 밝기 범위를 확장한 휘도 신호를 출력하는 단계;
밝기 확장부가 상기 유도 필터에서 생성된 BEF를 이용하여 상기 콘트라스트 확장부로부터 밝기 범위가 확장된 휘도 신호의 밝기가 포화된 부분을 복원하여 HDR 휘도 신호를 획득하는 단계; 및
색신호 변환부가 상기 밝기 확장부에서 획득된 HDR 휘도 신호를 HDR 영상(RGB)으로 변환하는 단계를 포함하는, 유도 필터를 이용한 리버스 톤 매핑 방법.A reverse tone mapping method using a reverse tone mapping apparatus using the inductive filter according to claim 1, comprising:
Converting the luminance signal converting unit into a luminance signal by receiving a single LDR image (RGB);
Receiving a luminance signal from the luminance signal converting unit and linearizing the gamma decoding unit;
Detecting a saturated portion of brightness by receiving a luminance signal linearized in the gamma decoding unit by a saturated portion detecting unit;
Generating a BEF (Brightness Enhancement Function) by using a saturated portion of the brightness detected by the saturation portion detecting unit;
Outputting a luminance signal having a luminance range expanded by receiving a luminance signal linearized by the gamma decoding unit;
Obtaining an HDR luminance signal by restoring a saturated portion of the luminance signal whose brightness range is expanded from the contrast expansion portion using the BEF generated by the inductive filter; And
And converting the HDR luminance signal obtained in the brightness enhancement unit into an HDR image (RGB) by the color signal converting unit. 제 3 항에 있어서,
노출 보정부가 상기 선형화 단계에서 선형화된 휘도 신호를 입력받아 노출을 추정하여 감마 확장을 이용하여 노출을 보정한 후에 포화 부분 검출부, 유도 필터 및 콘트라스트 확장부에 출력하는 단계를 더 포함하는데,
상기 포화 부분 검출부 및 콘트라스트 확장부는 선형화된 휘도 신호 대신에, 노출 보정된 선형화된 휘도 신호를 입력받는, 유도 필터를 이용한 리버스 톤 매핑 방법.The method of claim 3,
Wherein the exposure compensation unit receives the luminance signal linearized in the linearizing step, estimates the exposure, corrects the exposure using the gamma expansion, and then outputs the corrected luminance signal to the saturated part detector, the inductive filter, and the contrast enhancer.
Wherein the saturated portion detecting unit and the contrast enhancing unit receive the exposure corrected linearized luminance signal instead of the linearized luminance signal.
KR1020170164503A 2017-12-01 2017-12-01 Apparatus and method for reverse tone mapping using guided filter KR101957850B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170164503A KR101957850B1 (en) 2017-12-01 2017-12-01 Apparatus and method for reverse tone mapping using guided filter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170164503A KR101957850B1 (en) 2017-12-01 2017-12-01 Apparatus and method for reverse tone mapping using guided filter

Publications (1)

Publication Number Publication Date
KR101957850B1 true KR101957850B1 (en) 2019-03-13

Family

ID=65761834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170164503A KR101957850B1 (en) 2017-12-01 2017-12-01 Apparatus and method for reverse tone mapping using guided filter

Country Status (1)

Country Link
KR (1) KR101957850B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100081886A (en) * 2009-01-07 2010-07-15 한양대학교 산학협력단 Adaptive tone mapping apparatus and method, and image processing system using the method
KR20110123283A (en) * 2009-03-06 2011-11-14 코닌클리케 필립스 일렉트로닉스 엔.브이. Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
JP2013507674A (en) * 2009-10-08 2013-03-04 インターナショナル・ビジネス・マシーンズ・コーポレーション Method and system for converting a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
KR20150067089A (en) * 2012-10-08 2015-06-17 코닌클리케 필립스 엔.브이. Luminance changing image processing with color constraints

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100081886A (en) * 2009-01-07 2010-07-15 한양대학교 산학협력단 Adaptive tone mapping apparatus and method, and image processing system using the method
KR20110123283A (en) * 2009-03-06 2011-11-14 코닌클리케 필립스 일렉트로닉스 엔.브이. Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
JP2013507674A (en) * 2009-10-08 2013-03-04 インターナショナル・ビジネス・マシーンズ・コーポレーション Method and system for converting a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
KR20150067089A (en) * 2012-10-08 2015-06-17 코닌클리케 필립스 엔.브이. Luminance changing image processing with color constraints

Non-Patent Citations (15)

* Cited by examiner, † Cited by third party
Title
A. G. Rempel, M. Trentacoste, H. Seetzen, H. D. Young, W. Heidrich, L. Whitehead and G. Ward, "Ldr2hdr: on-the-fly reverse tone mapping of legacy video and photographs," ACM Trans. Graph. Vol. 26, No. 3, 2007.
B. Gu, W. Li, M. Zhu and M. WangLocal, "Edge-preserving multiscale decomposition for high dynamic range image tone mapping image processing," IEEE Trans. Image Processing, Vol. 22, No. 1, pp.70-79, 2013.
B. Masia, A. Serrano and D. Gutierrez, "Dynamic range expansion based on image statistics," Multimedia Tools and Applications, pp 1??18, November 2015.
B. Masia, S. Agustin, R. W. Fleming, O. Sorkine, D. Gutierrez, "Evaluation of reverse tone mapping through varying exposure conditions," ACM Trans. Graph. Vol. 28, No. 35, pp. 1??8, 2009.
E. Reinhard, M. Stark, P. Shirley and J. Ferwerda, "Photographic tone reproduction for digital images," Proceeding of the 29th annual conference on Computer graphics and interactive techniques, pp. 267-276, San Antonio, Texas, July 2002.
F. Banterle, A. Artusi, K. Debattista, A. Chalmers, Advanced high dynamic range imaging, A K Peters Ltd., Natick, Massachusetts, 2011.
F. Banterle, P. Ledda, K. Debattista and A. Chalmers, "Expanding low dynamic range videos for high dynamic range applications," Proceeding of SCCG, pp. 349??356, 2008.
F. Durand and J. Dorsey, "Fast bilateral filtering for the display of high-dynamic-range images," ACM Transactions on Graphics, Vol. 21, No. 3, pp. 257-266, July 2002.
L. Meylan, S. Daly, S. Susstrunk, "The reproduction of specular highlights on high dynamic range displays," Proceeding of the IST/SID 14th Color Imaging Conference, pp. 333??338, 2006.
O. Akyuz, R. Fleming, B. E. Riecke, E. Reinhard, H. H. Bulthoff, "Do HDR displays support LDR content? A psychophysical evaluation," ACM Trans. Graph. Vol. 26, No. 3, pp. 1??7, 2007.
P. Didyk, R. Mantiuk, M. Hein and H. P. Seidel, "Enhancement of bright video features for hdr displays," Proceeding of Eurographics Symp. Render., Vol. 27, No. 4, pp. 1265??1274, 2008.
R. Fattal, D. Lischinski and M. Werman, "Gradient domain high dynamic range compression," ACM Transactions on Graphics, Vol. 21, No. 3, pp. 249-256, July 2002.
R. P. Kovaleski and M. M. Oliveira, "High quality brightness enhancement functions for real-time reverse tone mapping," Vis. Comput., 2009.
R. P. Kovaleski and M. M. Oliveira, "High-quality reverse tone mapping for a wide range of exposures," Proceeding of Conference on Graphics, Patterns and Images (SIBGRAPI), pp. 26-30, Aug. 2014.
Y. Huo, F. Yang, L. Dong and V. Brost, "Physiological inverse tone mapping based on retina response," The Visual Computer, Vol. 30, No. 5, pp. 507-517, May 2014.

Similar Documents

Publication Publication Date Title
US9020257B2 (en) Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
US8488029B2 (en) Imaging apparatus, imaging method, integrated circuit, and storage medium
US8639050B2 (en) Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
JP4214457B2 (en) Image processing apparatus and method, recording medium, and program
US8169500B2 (en) Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus
US8681187B2 (en) Image processing apparatus, non-transitory storage medium storing image processing program and image processing method
US20150373247A1 (en) Method and apparatus for dynamic range expansion of ldr video sequence
JP6097588B2 (en) Image processing apparatus and image processing method
JP2005341564A (en) Gamma correction apparatus and method capable of noise processing
JP2000298300A (en) Hand shake image correcting method, recording medium, and image pickup device
JP6552228B2 (en) Image display apparatus and control method thereof
US11574391B2 (en) Median based frequency separation local area contrast enhancement
JP5410378B2 (en) Video signal correction apparatus and video signal correction program
JP2020145553A (en) Image processing apparatus, image processing method and program
JP2005252869A (en) Video signal processing apparatus and method
US20190174181A1 (en) Video signal processing apparatus, video signal processing method, and program
KR101957850B1 (en) Apparatus and method for reverse tone mapping using guided filter
CN107767350B (en) Video image restoration method and device
KR20160001582A (en) Apparatus and method for processing image
JP2009296210A (en) Image processor and image processing method
JP4632100B2 (en) Image processing apparatus, image processing method, recording medium, and program
JP2011135188A (en) Image processing device and image capturing apparatus
EP4058976A1 (en) Device and method for pre-processing image data for a computer vision application
JPH09322020A (en) Image processor
KR20140133391A (en) Apparatus and method for image processing.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant