KR101828180B1 - Tone mapping method and apparatus for digital images - Google Patents

Tone mapping method and apparatus for digital images Download PDF

Info

Publication number
KR101828180B1
KR101828180B1 KR1020160159101A KR20160159101A KR101828180B1 KR 101828180 B1 KR101828180 B1 KR 101828180B1 KR 1020160159101 A KR1020160159101 A KR 1020160159101A KR 20160159101 A KR20160159101 A KR 20160159101A KR 101828180 B1 KR101828180 B1 KR 101828180B1
Authority
KR
South Korea
Prior art keywords
image
tone mapping
global
local
reference value
Prior art date
Application number
KR1020160159101A
Other languages
Korean (ko)
Inventor
이철희
옥지헌
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160159101A priority Critical patent/KR101828180B1/en
Application granted granted Critical
Publication of KR101828180B1 publication Critical patent/KR101828180B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/007
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/2355
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

Provided are a method and an apparatus for mapping a tone of a digital image which can consistently obtain a tone mapping image with the high recognition image quality without intervention of a user. According to an embodiment of the present invention, the apparatus for mapping a tone of a high dynamic range (HDR) image comprises: a global tone mapping unit for performing global compression on an HDR image, performing normalization on the global compressed image, and performing a global contrast improved technique on the normalized image so as to generate a global tone mapping image; a local tone mapping unit for compressing a difference between each pixel value and an adaptive reference value of the global compressed image, and applying an algorithm to strengthen contrast so as to generate a local tone mapping image; and a tone mapping image combining unit for combining the generated global tone mapping image and the local tone mapping image so as to generate a final tone mapping image.

Description

디지털 영상의 톤 맵핑 방법 및 장치{TONE MAPPING METHOD AND APPARATUS FOR DIGITAL IMAGES}TECHNICAL FIELD [0001] The present invention relates to a tone mapping method and apparatus for digital images,

본 발명은 디지털 영상의 톤 맵핑 방법 및 장치에 관한 것으로서, 더욱 상세하게는 높은 동적 영역(High Dynamic Range; HDR) 영상에 대한 톤 맵핑 시 자연스럽고 디테일하게 재현된 영상을 일관성 있게 획득하는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for mapping a digital image, and more particularly, to a technique for consistently acquiring a natural and detailally reproduced image in tone mapping for a high dynamic range (HDR) will be.

디지털 영상의 동적 영역(Dynamic Range)은 영상 내에서 가장 밝은 화소 값과 가장 어두운 화소 값의 비율로 정의된다.The dynamic range of a digital image is defined as the ratio of the brightest pixel value to the darkest pixel value in the image.

일반적인 디지털 카메라 및 모니터와 같은 디스플레이 장치는 2의 차수 크기의 동적 영역을 가지는데 반해, 사람의 시각 인지 시스템(HVS)은 3.73 차수 크기의 동적 영역을 인지하며 실세계에 나타나는 동적 영역은 8의 차수 크기에 달한다.A human visual perception system (HVS) recognizes a dynamic area of 3.73 order magnitude while a dynamic area appearing in the real world has a magnitude of 8 order magnitude Respectively.

따라서, 기존의 디스플레이 장치는 인간이 인지하는 영상을 그대로 획득(capture) 또는 표현(display) 할 수 없다.Therefore, an existing display device can not capture or display an image perceived by a human being as it is.

따라서, 낮은 동적 영역(Low Dynamic Range; 이하 ‘LDR’이라 칭함)을 가지는 디스플레이 장치에서 높은 동적 영역(High Dynamic Range, 이하 ‘HDR’이라 칭함) 영상을 효과적으로 표현하기 위한 ‘톤 맵핑 알고리즘’은 HDR 영상과 기존 LDR 디스플레이 장치의 호환성을 유지하기 위해 필수적이다.Accordingly, a 'tone mapping algorithm' for effectively representing a high dynamic range (HDR) image in a display device having a low dynamic range (LDR) It is essential to maintain compatibility between the image and the existing LDR display device.

그러나 종래의 톤 맵핑 방식은 다수의 파라미터를 사용하고 파라미터 값에 따라 성능이 의존적이기 때문에, 영상에 따라 사용자의 적절한 개입(파라미터 선정)이 요구되며, 영상의 특성에 따른 자연스러움과 디테일하게 재현되는 톤 맵핑 영상의 획득이 어려운 문제가 있다.However, since the conventional tone mapping method uses a plurality of parameters and the performance depends on the parameter values, appropriate intervention (parameter selection) of the user is required according to the image, and the naturalness and detail reproduction There is a problem that acquisition of the tone mapping image is difficult.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, HDR 영상의 톤 맵핑 시, 영상 특성에 따라 자연스러움과 디테일한 재현력을 적응적으로 강조할 수 있으며 사용자의 개입 없이 높은 인지 화질의 톤 맵핑 영상을 일관성 있게 획득할 수 있는 방안을 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the conventional art, and it is an object of the present invention to provide a tone mapping method and a tone mapping method, which can adaptively emphasize naturalness and detail reproduction according to image characteristics, And to provide a method for acquiring images consistently.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 높은 동적 영역(High Dynamic Range; HDR) 영상의 톤 맵핑 장치는 HDR 영상을 전역 압축(global compression)하고, 상기 전역 압축된 영상에 정규화(normalization)를 수행하며, 상기 정규화된 영상에 전역 콘트라스트(contrast) 향상 기법을 수행하여 전역 톤 맵핑(global tone mapping) 영상을 생성하는 전역 톤 맵핑부, 상기 전역 압축된 영상의 각 픽셀 값과 적응적 기준 값(adaptive reference values)의 차이를 압축하고 콘트라스트(contrast) 강화를 위한 알고리즘을 적용하여 국부 톤 맵핑(local tone mapping) 영상을 생성하는 국부 톤 맵핑부 및 상기 생성된 전역 톤 맵핑 영상과 국부 톤 맵핑 영상을 조합하여 최종 톤 맵핑 영상을 생성하는 톤 맵핑 영상 조합부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a high dynamic range (HDR) image tone mapping apparatus according to an embodiment of the present invention performs global compression of an HDR image, A global tone mapping unit for performing normalization on the normalized image and performing a global contrast enhancement technique on the normalized image to generate a global tone mapping image, A local tone mapping unit for compressing a difference between adaptive reference values and applying an algorithm for enhancing contrast to generate a local tone mapping image, And a tone mapping image combining unit for combining the local tone mapping images to generate a final tone mapping image.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 톤 맵핑 장치가 높은 동적 영역(High Dynamic Range; HDR) 영상을 톤 맵핑하는 방법은 (a) HDR 영상을 전역 압축(global compression)하는 단계, (b) 상기 전역 압축된 영상에 정규화(normalization)를 수행하고, 상기 정규화된 영상에 전역 콘트라스트(contrast) 향상 기법을 수행하여 전역 톤 맵핑(global tone mapping) 영상을 생성하며, 상기 전역 압축된 영상의 각 픽셀 값과 적응적 기준 값(adaptive reference values)의 차이를 압축하고 콘트라스트(contrast) 강화를 위한 알고리즘을 적용하여 국부 톤 맵핑(local tone mapping) 영상을 생성하는 단계 및 (c) 상기 생성된 전역 톤 맵핑 영상과 국부 톤 맵핑 영상을 조합하여 최종 톤 맵핑 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method for tone mapping a high dynamic range (HDR) image in a tone mapping apparatus, comprising: (a) performing global compression on an HDR image; (B) performing normalization on the globally compressed image, performing a global contrast enhancement technique on the normalized image to generate a global tone mapping image, Generating a local tone mapping image by compressing a difference between each pixel value of the compressed image and an adaptive reference value and applying an algorithm for contrast enhancement; and (c) And generating a final tone mapping image by combining the generated global tone mapping image and the local tone mapping image.

본 발명의 일 실시예에 따르면, 영상 특성에 따라 자연스러움과 디테일한 재현력을 적응적으로 강조할 수 있다.According to an embodiment of the present invention, naturalness and detailed reproduction power can be adaptively emphasized according to image characteristics.

또한, 사용자의 개입 없이 높은 인지 화질의 톤 맵핑 영상을 일관성 있게 획득할 수 있다.Also, it is possible to consistently acquire a tone-mapped image of high cognitive image quality without user intervention.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.

도 1a는 본 발명의 일 실시예에 따른 톤 맵핑 시스템의 구성을 도시한 도면이다.
도 1b는 본 발명의 일 실시예에 따른 톤 맵핑 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 HDR 톤 맵핑 과정을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 적응적 기준 값 R을 계산하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 톤 맵핑 과정을 영상과 함께 도시한 도면이다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 톤 맵핑 과정에서 생성되는 영상을 도시한 도면이다.
FIG. 1A is a diagram illustrating a configuration of a tone mapping system according to an embodiment of the present invention.
1B is a block diagram illustrating a configuration of a tone mapping apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an HDR tone mapping process according to an embodiment of the present invention.
3 is a flowchart illustrating a process of calculating an adaptive reference value R according to an embodiment of the present invention.
4 is a diagram illustrating a tone mapping process together with an image according to an embodiment of the present invention.
5A and 5B are views illustrating an image generated in the tone mapping process according to an exemplary embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "indirectly connected" .

또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1a는 본 발명의 일 실시예에 따른 톤 맵핑 시스템의 구성을 도시한 도면이다.FIG. 1A is a diagram illustrating a configuration of a tone mapping system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 톤 맵핑 시스템은 영상 획득 장치(10), 톤 맵핑 장치(100) 및 영상 표시 장치(20)를 포함할 수 있다.The tone mapping system according to an embodiment of the present invention may include an image acquisition device 10, a tone mapping device 100, and an image display device 20.

참고로 도 1a에서, 이해를 돕기 위해 톤 맵핑 장치(100)가 영상 획득 장치(10) 및 영상 표시 장치(20)와 별도로 존재하는 것으로 도시하였지만, 실시예에 따라서 톤 맵핑 장치(100)는 영상 획득 장치(10)에 포함될 수도 있고, 영상 표시 장치(20)에 포함될 수도 있다.Although the tone mapping apparatus 100 is shown separately from the image capturing apparatus 10 and the image display apparatus 20 in FIG. 1A for the sake of understanding, according to the embodiment, May be included in the acquiring device 10 or may be included in the image display device 20.

실세계의 장면은 영상 획득 장치(10)에 의하여 HDR 촬영 영상으로 변환되며, HDR 촬영 영상은 톤 맵핑 장치(100)를 통해 LDR 영상으로 변환되어 LDR의 영상 표시 장치(20)에 의해 표시될 수 있다.The scene of the real world is converted into an HDR photographed image by the image acquisition device 10 and the HDR photographed image is converted into an LDR image through the tone mapping device 100 and displayed by the image display device 20 of the LDR .

결국 사용자는 실세계의 장면이 아닌, 영상 표시 장치(20)에 표시되는 LDR 영상을 보는 것이며, 영상 표시 장치(20)에 표시되는 LDR 영상이 사용자가 실세계에서 바라보는 장면과 얼마나 유사한지(근접하는지)가 중요하다.In other words, the user views the LDR image displayed on the image display device 20 instead of the real-world scene, and determines how closely the LDR image displayed on the image display device 20 is similar to the scene viewed by the user in the real world ) Is important.

이와 같이, 실세계의 장면과 보다 유사한 영상을 영상 표시 장치(20)에 구현하는 것은 영상 표시 장치(20)의 하드웨어 성능을 향상시키는 것과는 별도로, 얼마나 정확한 톤 매핑(tone mapping) 작업을 수행하는가에 달려 있다.As described above, implementing the image similar to the real-world scene in the image display apparatus 20 depends on how accurate tone mapping is performed, apart from improving the hardware performance of the image display apparatus 20 have.

이러한 톤 맵핑은 전역(global) 톤 맵핑 방법과 국부(local) 톤 맵핑 방법으로 나누어질 수 있는데, 종래의 톤 맵핑 방식은 다수의 파라미터를 사용하고 파라미터 값에 따라 성능이 의존적이기 때문에, 영상의 특성에 따라서 사용자의 적절한 파라미터 선정이 요구되며, 과다 광량 및 과소 광량 지역에서 손실되기 쉬운 디테일 부분을 효과적으로 보존하는데 어려움이 있다.This tone mapping can be divided into a global tone mapping method and a local tone mapping method. Since the conventional tone mapping method uses a plurality of parameters and performance depends on parameter values, And it is difficult to effectively store the detail parts which are likely to be lost in the excessive light amount and the excessive light amount area.

이에, 본 발명은 영상의 특성에 따라 자연스러움과 디테일한 재현력을 적응적으로 강조하며, 사용자의 개입 없이 높은 인지 화질의 톤 맵핑 영상을 일관성 있게 획득할 수 있는 방안을 제안한다.Accordingly, the present invention proposes a method of adaptively emphasizing naturalness and detail reproduction according to the characteristics of an image, and consistently acquiring a tone-mapped image of high cognitive quality without user intervention.

도 1b는 본 발명의 일 실시예에 따른 톤 맵핑 장치의 구성을 도시한 블록도이다.1B is a block diagram illustrating a configuration of a tone mapping apparatus according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 톤 맵핑 장치(100)는 전역 톤 맵핑부(110), 국부 톤 맵핑부(120), 톤 맵핑 영상 조합부(130), 제어부(140) 및 저장부(150)를 포함할 수 있다.The tone mapping apparatus 100 according to an exemplary embodiment of the present invention includes a global tone mapping unit 110, a local tone mapping unit 120, a tone mapping image combining unit 130, a control unit 140, and a storage unit 150, . ≪ / RTI >

각 구성 요소를 설명하면, 전역 톤 맵핑부(110)는 로그 함수를 이용하여 HDR 영상을 전역 압축(initial global compression)할 수 있다.The global tone mapping unit 110 may perform initial global compression of the HDR image using the log function.

이는 감각 강도(HDR 영상의 perceived brightness에 해당함)는 자극 강도(HDR 영상의 luminance에 해당함)의 로그에 비례한다는 베버-페히너 법칙(Weber-Fechner law)에 따른 것이다.This is in accordance with the Weber-Fechner law, in which the sensory intensity (corresponding to the perceived brightness of the HDR image) is proportional to the log of the stimulus intensity (corresponding to the luminance of the HDR image).

전역 톤 맵핑부(110)의 로그 함수를 이용한 전역 압축은 아래의 [수학식 1]을 이용할 수 있다.Global compression using the logarithm function of the global tone mapping unit 110 can use the following equation (1).

Figure 112016116107614-pat00001
Figure 112016116107614-pat00001

여기서 i와 j는 영상의 픽셀 좌표이고, L(i, j)는 픽셀의 HDR 루미넌스(luminance) 이다.Where i and j are the pixel coordinates of the image and L (i, j) is the HDR luminance of the pixel.

그리고 C는 픽셀 값이 0이 되는 특이점 문제(singularity problem)를 방지하는데 사용되는 임계 값으로서 본 발명의 실시예에서는 10-6을 사용하였다.And C is a threshold value used for preventing a singularity problem in which a pixel value is 0, and 10 -6 is used in the embodiment of the present invention.

또한, 전역 톤 맵핑부(110)는 상기 [수학식 1]을 통해 생성된 영상(Ilog)에 정규화(normalization)를 수행하여 정규화된 영상(Ilog _norm)을 생성할 수 있으며, 정규화된 출력 영상은 아래의 [수학식 2]과 같이 나타낼 수 있다.In addition, the global tone mapping unit 110 the Equation 1 a may generate an image (I log) image (I log _norm) qualified to perform regularization (normalization) to produce through, and normalized output The image can be expressed by the following equation (2).

Figure 112016116107614-pat00002
Figure 112016116107614-pat00002

여기서. max(output)과 min(ouput)은 출력 영상의 최대 그리고 최소 값을 나타낸다.here. max (output) and min (ouput) represent the maximum and minimum values of the output image.

또한, 전역 톤 맵핑부(110)는 정규화된 영상(Ilog _norm)에 전역 콘트라스트(contrast) 향상 기법을 수행하여 전역 톤 맵핑 영상(OGTMO)을 생성할 수 있으며, 이를 통해 콘트라스트가 강화될 수 있다.In addition, the global tone mapping unit 110 performs the global contrast (contrast) enhancement techniques in the normalized image (I log _norm) may generate a global tone mapping image (O GTMO), this contrast can be enhanced by have.

여기서 전역 콘트라스트 향상 기법의 실시예로서 히스토그램 평활화(histogram equalization)를 이용할 수 있으며, 이를 수학식으로 나타내면 아래의 [수학식 3]과 같다.Here, histogram equalization may be used as an example of the global contrast enhancement technique. The histogram equalization may be expressed by the following equation (3).

Figure 112016116107614-pat00003
Figure 112016116107614-pat00003

한편, 선형, 감마, 로그 함수를 이용하는 기존의 전역 압축 방법(global compression methods)은 영상의 최소값 또는 0을 기준으로 동적 범위를 압축하는 방식으로서, 맵핑 함수에 종속되어 어둡거나 밝은 영역에서 디테일 정보의 손실을 발생시키는 문제가 있다.Conventional global compression methods using linear, gamma, and logarithmic functions compress the dynamic range based on the minimum value or 0 of the image. The global compression methods are dependent on the mapping function, There is a problem of generating loss.

이에, 본 발명에서는, 디테일 정보의 손실 없이 동적 범위를 압축하기 위해 영상의 최소값이나 0 대신에 ‘적응적 기준 값(Adaptive Reference value)’을 설정하고, 픽셀 값과 적응적 기준 값의 차이를 비선형 함수로 압축(Difference Compression)(이하, ‘차이 압축’이라 칭함)하여 어둡거나 밝은 영역 모두에서 디테일을 유지할 수 있다.In order to compress the dynamic range without loss of the detail information, an adaptive reference value is set instead of the minimum value or 0 of the image, and the difference between the pixel value and the adaptive reference value is set as a nonlinearity Difference Compression (hereinafter referred to as " difference compression ") can maintain details in both dark and light areas.

고정 기준 값(R)을 이용한 차이 압축(Difference Compression with a Constant Reference value; DCCR)은 아래의 [수학식 4]로 정의될 수 있다.Difference Compression with a Constant Reference Value (DCCR) using the fixed reference value R can be defined by Equation (4) below.

Figure 112016116107614-pat00004
Figure 112016116107614-pat00004

여기서, f(x)는 비선형 맵핑 함수(로그 함수나 지수 함수를 포함함)이며, 본 발명의 실시예에서 지수 함수 f(x)는 아래의 [수학식 5]과 같이 정의될 수 있다.Here, f (x) is a nonlinear mapping function (including a logarithmic function and an exponential function), and the exponential function f (x) in the embodiment of the present invention can be defined as the following equation (5).

Figure 112016116107614-pat00005
Figure 112016116107614-pat00005

여기서 파라미터 β는 차이 압축의 레벨을 나타내며 0≤β≤1 범위의 값을 가질 수 있다.Where the parameter? Represents the level of differential compression and may have a value in the range 0??? 1.

참고로, 상기 [수학식 4]는 선형, 감마, 로그 함수 등을 이용하여 영상의 최소값 또는 0과 같은 일정한 값을 기준으로 동적 범위를 압축하는 기존의 전역 압축 방법으로부터 도출될 수 있다.Equation (4) can be derived from an existing global compression method that compresses a dynamic range based on a minimum value of an image or a constant value such as 0 using a linear function, a gamma function, and a log function.

국부 톤 맵핑부(120)는 고정 기준 값 대신에 적응적 기준 값을 이용한 차이 압축을 통해 영상(ODCAR)을 생성할 수 있으며, 이는 아래의 [수학식 6]으로 정의될 수 있다.The local tone mapping unit 120 may generate the image O DCAR through differential compression using the adaptive reference value instead of the fixed reference value, which can be defined by Equation (6) below.

Figure 112016116107614-pat00006
Figure 112016116107614-pat00006

여기서 sgn(x)는 부호 함수(sign function)이고, R은 상기 적응적 기준 값(adaptive reference value)이다.Where sgn (x) is a sign function and R is the adaptive reference value.

예를 들어, β가 0에 가까울 때 상기 적응적 기준 값 R 주변의 콘트라스트(contrast)는 더 강화될 수 있으며, 상기 β 값의 바람직한 실시예로서 0.9가 사용될 수 있다.For example, the contrast around the adaptive reference value R can be further enhanced when? Is close to zero, and 0.9 as a preferred embodiment of the? Value can be used.

β는 1보다 작은 ‘지수 승’이므로 적응적 기준 값 R에 가까운 픽셀 값을 강화시킬 수 있다. 즉, β는 픽셀 값이 적응적 기준 값 R에 가까울수록 강조되도록 하며, 이는 정규화를 적용한 후 적응적 기준 값 R 주변에 있는 픽셀들은 픽셀간 차이 값이 더 커져 부각됨을 의미한다.Since? is an exponent? smaller than 1, the pixel value close to the adaptive reference value R can be strengthened. That is, β is emphasized as the pixel value is closer to the adaptive reference value R, which means that the pixels around the adaptive reference value R after the normalization are applied show a larger difference value between the pixels.

국부 톤 맵핑부(120)는 상기 [수학식 6]의 적응적 기준 값 R을 계산하기 위해 ‘에지 보존 평활화 필터’와 ‘로우 패스 필터’를 이용할 수 있다.The local tone mapping unit 120 may use an edge preserving smoothing filter and a low pass filter to calculate the adaptive reference value R of Equation (6).

구체적으로, 국부 톤 맵핑부(120)는 [수학식 2]를 통해 정규화된 영상(Ilog_norm)에 제1 에지 보존 평활화 필터(edge-preserving smoothing filter)를 적용하여 제1 스무딩 영상(Iinit_smooth)을 생성할 수 있다.Specifically, the local tone mapping unit 120 applies a first edge preserving smoothing filter to the normalized image I log_norm through Equation (2) to generate a first smoothed image I init - smooth, Can be generated.

여기서, 에지 보존 필터를 적용함으로써 후광 효과(halo artifact)를 최소화할 수 있다.Here, the halo artifact can be minimized by applying an edge preserving filter.

이후, 국부 톤 맵핑부(120)는 제1 스무딩 영상(Iinit _smooth)에 로우 패스 필터인 가우시안 로우 패스 필터(Gaussian Low Pass Filter, 이하 ‘GLPF’라 칭함)를 적용하여 제2 스무딩 영상을 생성할 수 있다.Thereafter, local tone mapping unit 120, a first smoothed image (I init _smooth) generating a second smoothed image by applying a low-pass filter is a Gaussian low-pass filter (hereinafter Gaussian Low Pass Filter, hereinafter 'GLPF' hereinafter) to can do.

여기서 제1 스무딩 영상(Iinit _smooth)에 GLPF를 적용함으로써 제1 스무딩 영상(Iinit_smooth)보다 더 부드러운 제2 스무딩 영상이 획득될 수 있다.The first smoothed image (I init _smooth) may be in a smoother image than the second smoothing the first smoothed image (I init_smooth) obtained by applying the GLPF.

이후, 국부 톤 맵핑부(120)는 GLPF를 적용한 제2 스무딩 영상과, 제1 에지 보존 평활화 필터에 의한 제1 스무딩 영상(Iinit _smooth)에 제2 에지 보존 평활화 필터를 적용하여, 최종 스무딩 영상(Ifinal_smoothed)을 생성한다.Thereafter, local tone mapping part 120 by applying a second smoothed image, and a first second edge preserving smoothing filter for smoothing the image (I init _smooth) by the first edge preserving smoothing filter applied GLPF, final smoothing image (I final_smoothed ).

여기서, 국부 톤 맵핑부(120)는 아래의 [수학식 7]을 이용하여 최종 스무딩 영상(Ifinal_smoothed)을 생성할 수 있다.Here, the local tone mapping unit 120 may generate the final smoothed image I final_smoothed using the following Equation (7).

Figure 112016116107614-pat00007
Figure 112016116107614-pat00007

여기서 GLPF()는 GLPF의 함수를 나타내며, Guided(p, q)는 에지 보존 평활화 필터에 해당하는 가이드 필터를 의미하고 필터링하는 입력 이미지 p와 가이드 이미지 q를 각각 나타낸다.Here, GLPF () denotes a function of GLPF, and Guided (p, q) denotes a guide filter corresponding to an edge preserving smoothing filter, and denotes an input image p and a guide image q for filtering, respectively.

국부 톤 맵핑부(120)는 위와 같은 결과를 이용하여 적응적 기준 값 R을 계산하되 아래의 [수학식 8]을 이용할 수 있다.The local tone mapping unit 120 may calculate the adaptive reference value R using the above result, and use the following equation (8).

Figure 112016116107614-pat00008
Figure 112016116107614-pat00008

여기서, α는 밝은 영역 또는 어두운 영역의 디테일을 선택적으로 유지하기 위한 기준 값 변형 지수로서, 해당 영역의 전체적인 콘트라스트를 강화하는데 사용될 수 있다.Here, alpha is a reference value variation index for selectively retaining details of the bright region or the dark region, and can be used to enhance the overall contrast of the region.

기준 값 변형 지수 α는 1보다 작은 임의의 상수 값으로 정의될 수 있으며, 일 실시예로서 바람직하게는 α=0.1로 정해질 수 있다.The reference value strain index a may be defined as any constant value smaller than 1, and may preferably be set to a = 0.1 in one embodiment.

만일 α가 1보다 작은 경우 밝은 영역은 강화되며, 1보다 큰 경우 어두운 영역이 강화될 수 있다. 즉, α를 이용하여 밝기를 조절할 수 있다.If? Is less than 1, the bright region is enhanced and if it is greater than 1, the dark region can be enhanced. That is, the brightness can be adjusted by using?.

참고로, 어두운 영역을 강화하는 것은 큰 의미가 없으므로 본 발명에서는 α가 1보다 작은 경우를 고려하도록 한다.For reference, reinforcing a dark region has no significant meaning, so the case where? Is less than 1 is considered in the present invention.

이후, 국부 톤 맵핑부(120)는 적응적 기준 값 R을 이용한 차이 압축을 통해 생성된 영상(ODCAR)에 ‘대비 제한의 적응적 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization; CLAHE)’와 같은 국부 콘트라스트 향상(local contrast enhancement) 기법을 적용하여, 주어진 동적 범위를 충실히 활용하는 국부 톤 맵핑 영상(OLTMO)을 생성할 수 있다.Then, the local tone mapping unit 120 generates a local tone mapping unit 120, such as 'Contrast Limited Adaptive Histogram Equalization (CLAHE)', to the image O DCAR generated through differential compression using the adaptive reference value R A local tone enhancement technique can be applied to generate a local tone mapping image (O LTMO ) that faithfully utilizes a given dynamic range.

국부 톤 맵핑부(120)는 아래의 [수학식 9]를 이용하여 국부 톤 맵핑 영상을 (OLTMO)을 생성할 수 있으며, 이를 통해 콘트라스트가 강화될 수 있다.The local tone mapping unit 120 can generate a local tone mapping image (O LTMO ) using the following Equation (9), whereby the contrast can be enhanced.

Figure 112016116107614-pat00009
Figure 112016116107614-pat00009

한편, 톤 맵핑 영상 조합부(130)는 국부 톤 맵핑 영상(OLTMO)과 전역 톤 맵핑 영상(OGTMO)을 조합(blending)할 수 있다.Meanwhile, the tone mapping image combining unit 130 may blend the local tone mapping image O LTMO and the global tone mapping image O GTMO .

이를 위해 톤 맵핑 영상 조합부(130)는 일 실시예로서 아래의 [수학식 10]을 이용할 수 있다.For this, the tone mapping image combining unit 130 may use the following Equation (10) as an embodiment.

Figure 112016116107614-pat00010
Figure 112016116107614-pat00010

여기서 γ는 블렌딩 팩터(blending factor)로서 국부적인 디테일과 전역적인 루미넌스의 균형을 위해 사용될 수 있으며, 0부터 1까지의 범위를 가진다.Where gamma is a blending factor and can be used to balance local detail and global luminance, ranging from 0 to 1.

일 실시예로서, γ가 0.5보다 큰 경우 국부적인 디테일은 더 강조될 수 있으며 γ가 0.5보다 더 작은 경우 전역적인 루미넌스는 더 자연스럽게 유지될 수 있다.In one embodiment, if γ is greater than 0.5, the local detail may be more emphasized, and if γ is less than 0.5, the global luminance may be kept more natural.

영상의 특성에 따라서 γ 값을 적응적으로 설정하는 것이 중요하며, γ는 객관적 화질 평가 방법을 이용하여 결정될 수 있다.It is important to adaptively set the γ value according to the characteristics of the image, and γ can be determined using an objective image quality evaluation method.

또한, 톤 맵핑 영상 조합부(130)는 다른 실시예로서 시각적 주목도(visual saliency) 모델링 기술을 이용하여 국부 톤 맵핑 영상(OLTMO)과 전역 톤 맵핑 영상(OGTMO)을 조합할 수 있다.In addition, the tone mapping image combination unit 130 may combine the visual attention (visual saliency) modeling, local tone mapping image (O LTMO) and global tone mapping image (O GTMO) using an alternative embodiment.

여기서 시각적 주목도는 전반적인 퀄리티에 영향을 주는 높은 시각적 주목도를 가지는 디테일한 영상 영역을 결정함으로써 예측될 수 있다.Where the visual attention can be predicted by determining a detailed image area having a high visual attention that affects the overall quality.

톤 맵핑 영상 조합부(130)는 아래의 [수학식 11]을 이용하여 높은 시각적 주목도를 가지는 디테일한 영상 영역을 적응적으로 반영한 국부 적응적 조합(locally adaptive blending) 영상(OTMO_L)을 생성할 수 있다.The tone mapping image combining unit 130 can generate a locally adaptive blending image OTMO_L that adaptively reflects a detailed image area having a high visual attention using the following Equation (11) have.

Figure 112016116107614-pat00011
Figure 112016116107614-pat00011

여기서

Figure 112016116107614-pat00012
은 관심 영역 지도(saliency map)로서 HDR 톤 맵핑을 위한 가중치 함수(saliency aware weighting function)로 사용될 수 있다.here
Figure 112016116107614-pat00012
Can be used as a saliency aware weighting function for HDR tone mapping as a saliency map.

즉, 톤 맵핑 영상 조합부(130)는 시각적 주목도를 반영하는 관심 영역 지도를 기반으로, 시각적 주목도에 따라 국부 톤 맵핑 영상(OLTMO)과 전역 톤 맵핑 영상(OGTMO)의 조합 비율을 픽셀마다 달리하여 국부 적응적 조합 영상(OTMO _L)을 생성할 수 있다.In other words, the tone mapping image combining unit 130 extracts a combination ratio of the local tone mapping image (O LTMO ) and the global tone mapping image (O GTMO ) according to the visual attention map based on the ROI map reflecting the visual attention map in contrast to it it is possible to generate a local adaptive combination image (O TMO _L).

한편, 제어부(140)는 톤 맵핑 시스템(100)의 구성 요소들, 예를 들어, 전역 톤 맵핑부(110), 국부 톤 맵핑부(120), 톤 맵핑 영상 조합부(130)가 전술한 각각의 동작을 수행하도록 제어할 수 있으며, 후술하는 저장부(150)를 제어할 수 있다.The control unit 140 controls the components of the tone mapping system 100 such as the global tone mapping unit 110, the local tone mapping unit 120 and the tone mapping image combining unit 130, And may control the storage unit 150, which will be described later.

한편, 저장부(150)는 제어부(140)가 톤 맵핑 시스템(100)의 구성 요소들이 전술한 각각의 동작을 수행하도록 제어하는 알고리즘과 그 과정에서 파생되는 다양한 데이터들을 저장할 수 있다.Meanwhile, the storage unit 150 may store an algorithm for controlling the components of the tone mapping system 100 to perform the respective operations described above and various data derived therefrom.

도 2는 본 발명의 일 실시예에 따른 HDR 톤 맵핑 과정을 도시한 흐름도이다.2 is a flowchart illustrating an HDR tone mapping process according to an embodiment of the present invention.

도 2에 도시된 흐름도는 도 1의 톤 맵핑 장치(100)에 의해 수행될 수 있으며, 이하에서는 톤 맵핑 장치(100)를 수행 주체로 하여 도 2의 흐름도를 설명하도록 한다.The flowchart shown in FIG. 2 can be performed by the tone mapping apparatus 100 of FIG. 1. Hereinafter, the flowchart of FIG. 2 will be described with the tone mapping apparatus 100 as an execution subject.

톤 맵핑 장치(100)는 HDR 영상을 전역 압축(initial global compression)하여 초기 압축 영상(Ilog)을 생성한다(S201).The tone mapping apparatus 100 generates an initial compressed image I log by initial global compression of the HDR image (S201).

여기서 전역 압축은 로그 함수를 이용하여 수행될 수 있다.Here, global compression can be performed using a log function.

S201 후, 톤 맵핑 장치(100)는 초기 압축 영상(Ilog)을 정규화하여 정규화된 영상(Ilog_norm)을 생성한다(S202).After S201, the tone mapping apparatus 100 normalizes the initial compressed image I log to generate a normalized image I log_norm (S202).

S202 후, 톤 맵핑 장치(100)는 정규화된 영상(Ilog _norm)에 히스토그램 평활화(histogram equalization)와 같은 전역 콘트라스트 향상 기법을 수행하여 전역 톤 맵핑 영상(OGTMO)을 생성한다(S203).S202 generates then, the tone mapping unit 100 is a normalized image (I log _norm) histogram (histogram equalization) and a global tone mapping image (O GTMO) to perform the global contrast enhancement technique, such a (S203).

한편, 톤 맵핑 장치(100)는 S201 후, 적응적 기준 값 R을 계산한다(S204).On the other hand, the tone mapping apparatus 100 calculates the adaptive reference value R after S201 (S204).

이를 위해 톤 맵핑 장치(100)는 에지 보존 평활화 필터와 로우 패스 필터를 이용할 수 있다.To this end, the tone mapping apparatus 100 may use an edge preserving smoothing filter and a low pass filter.

적응적 기준 값 R을 계산하는 방법에 대해서는 도 3을 참조하여 후술하도록 한다.A method of calculating the adaptive reference value R will be described later with reference to Fig.

S204 후, 톤 맵핑 장치(100)는 상기 적응적 기준 값 R을 이용한 차이 압축을 수행한 영상(ODCAR)을 생성한다(S205).After S204, the tone mapping apparatus 100 generates an image (O DCAR ) by performing differential compression using the adaptive reference value R (S205).

S205 후, 톤 맵핑 장치(100)는 상기 생성된 영상(ODCAR)에 대비 제한의 적응적 히스토그램 평활화(CLAHE)와 같은 국부 콘트라스트 향상(local contrast enhancement) 기법을 적용하여, 국부 톤 맵핑 영상(OLTMO)을 생성한다(S206).After S205, the tone mapping apparatus 100 applies a local contrast enhancement technique such as adaptive histogram smoothing (CLAHE) to the generated image (O DCAR ) to adjust the local tone mapping image O LTMO ) (S206).

톤 맵핑 장치(100)는 S203과 S206에서 각각 생성된 국부 톤 맵핑 영상(OLTMO)과 전역 톤 맵핑 영상(OGTMO)을 조합하여 최종 톤 맵핑 영상(OTMO)을 생성한다(S207).Tone mapping apparatus 100 may combine the local tone mapping image (O LTMO) and global tone mapping image (O GTMO) generated in S203 and S206, respectively produce the final tone mapping image (O TMO) (S207).

여기서 톤 맵핑 장치(100)는 시각적 주목도를 반영하는 관심 영역 지도를 기반으로, 시각적 주목도에 따라 국부 톤 맵핑 영상(OLTMO)과 전역 톤 맵핑 영상(OGTMO)의 조합 비율을 픽셀마다 달리하여 국부 적응적 조합 영상(OTMO _L)을 생성할 수 있다.Here, the tone mapping apparatus 100 determines the combination ratio of the local tone mapping image (O LTMO ) and the global tone mapping image (O GTMO ) on a pixel-by-pixel basis according to the visual attention map based on the ROI map reflecting the visual attention map, an adaptive combination image (O _L TMO) can be generated.

참고로, 도 2의 과정은 화소 레벨을 루미넌스 레벨로 변환한 후 적용될 수 있으며, 도 2의 과정이 끝나면 루미넌스 레벨을 다시 화소 레벨로 변환한다.2 can be applied after the pixel level is converted to the luminance level. When the process of FIG. 2 is finished, the luminance level is converted back to the pixel level.

도 3은 본 발명의 일 실시예에 따른 적응적 기준 값 R을 계산하는 과정을 도시한 흐름도이다.3 is a flowchart illustrating a process of calculating an adaptive reference value R according to an embodiment of the present invention.

톤 맵핑 장치(100)는 HDR 영상을 전역 압축(initial global compression)하여 초기 압축 영상(Ilog)을 생성한다(S301).The tone mapping apparatus 100 performs initial global compression of the HDR image to generate an initial compressed image I log (S301).

S301 후, 톤 맵핑 장치(100)는 초기 압축 영상(Ilog)을 정규화하여 정규화된 영상(Ilog_norm)을 생성한다(S302).After S301, the tone mapping apparatus 100 normalizes the initial compressed image I log to generate a normalized image I log_norm (S302).

S302 후, 톤 맵핑 장치(100)는 정규화된 영상(Ilog _norm)에 제1 에지 보존 평활화 필터를 적용하여 제1 스무딩 영상(Iinit_smooth)을 생성한다(S303).S302 generates a first smoothed image (I init_smooth) Then, the tone mapping unit 100 may apply a first edge preserving smoothing filter to the normalized image (I log _norm) (S303).

S303 후, 톤 맵핑 장치(100)는 제1 스무딩 영상(Iinit _smooth)에 로우 패스 필터(GLPF)를 적용하여 제1 스무딩 영상을 더 부드럽게 한 제2 스무딩 영상을 생성한다(S304).After S303, the tone mapping unit 100 generates a first smoothed image a second smoothed image of claim 1 further smooth the smoothed image by applying a low-pass filter (GLPF) to (I init _smooth) (S304).

S304 후, 톤 맵핑 장치(100)는 GLPF를 적용한 제2 스무딩 영상과 제1 에지 보존 평활화 필터에 의한 제1 스무딩 영상(Iinit _smooth)에 제2 에지 보존 평활화 필터를 적용하여, 최종 스무딩 영상(Ifinal_smoothed)을 생성한다(S305).After S304, the tone mapping unit 100 may apply the second edge preserving smoothing filter in the first smoothed image by the second smoothed image and the first edge preserving smoothing filter applied GLPF (I init _smooth), final smoothing image ( I final_smoothed ) (S305).

S305 후, 톤 맵핑 장치(100)는 상기 생성된 최종 스무딩 영상(Ifinal _smoothed)을 이용하여 적응적 기준 값 R을 계산한다(S306)After S305, the tone mapping unit 100 calculates an adaptive reference value R using the last smoothed image (I final _smoothed) the generated (S306)

참고로, 적응적 기준 값 R은 [수학식 8]을 이용하여 계산될 수 있으며, 밝은 영역 또는 어두운 영역의 디테일을 선택적으로 유지하기 위한 기준 값 변형 지수를 적용하여 해당 영역의 전체적인 콘트라스트를 강화할 수 있다.For reference, the adaptive reference value R can be calculated using Equation (8), and the overall contrast of the region can be enhanced by applying a reference value deformation index to selectively maintain the detail of the bright region or the dark region have.

도 4는 본 발명의 일 실시예에 따른 톤 맵핑 과정을 영상과 함께 도시한 도면이다.4 is a diagram illustrating a tone mapping process together with an image according to an embodiment of the present invention.

톤 맵핑 장치(100)는 적응적 기준 값 R을 이용한 차이 압축을 수행한 영상(ODCAR)을 생성한다(S401).The tone mapping apparatus 100 generates an image (O DCAR ) by performing differential compression using the adaptive reference value R (S401).

이후, 톤 맵핑 장치(100)는 S401의 영상(ODCAR)에 대비 제한의 적응적 히스토그램 평활화(CLAHE)와 같은 국부 콘트라스트 향상(local contrast enhancement) 기법을 적용하여 국부 톤 맵핑 영상(OLTMO)을 생성한다(S402).Thereafter, the tone mapping apparatus 100 applies a local contrast enhancement technique such as adaptive histogram smoothing (CLAHE) to the image (O DCAR ) of S401 to adjust the local tone mapping image (O LTMO ) (S402).

한편, 톤 맵핑 장치(100)는 초기 압축 영상(Ilog)을 정규화한 영상(Ilog _norm)에 히스토그램 평활화(histogram equalization)와 같은 전역 콘트라스트 향상 기법을 수행하여 전역 톤 맵핑 영상(OGTMO)을 생성한다(S403).On the other hand, the tone mapping apparatus 100 is initially compressed image (I log) the normalized image (I log _norm) histogram (histogram equalization) and a global tone mapping image (O GTMO) to perform the global contrast enhancement techniques such as in the (S403).

여기서 설명의 편의 상, 전역 톤 맵핑 영상(OGTMO)을 생성하는 단계를 국부 톤 맵핑 영상(OLTMO)을 생성하는 단계 이후로 기재하였지만, 두 단계는 병렬적으로 수행될 수 있다.For convenience of explanation, although the step of generating the global tone mapping image O GTMO is described after the step of generating the local tone mapping image O LTMO , the two steps may be performed in parallel.

이후, 톤 맵핑 장치(100)는 전역 톤 맵핑 영상(OGTMO)과 국부 톤 맵핑 영상(OLTMO)을 조합하여 최종 톤 맵핑 영상(OTMO ,OTMO _L)을 생성한다(S404).Then, the tone mapping unit 100 generates the final image tone mapping (O TMO, TMO _L O) a combination of a global tone mapping image (O GTMO) and the local tone mapping image (LTMO O) (S404).

이때 톤 맵핑 장치(100)는 상기 [수학식 10] 또는 [수학식 11]을 이용하여 최종 톤 맵핑 영상(OTMO ,OTMO _L)을 생성할 수 있으며, 여기서 γ는 객관적 화질 평가 방법을 이용하여 결정될 수 있다.The tone mapping unit 100 may generate the last tone mapping image (O TMO, O TMO _L) by using the equation 10 or equation (11)], where γ is used for an objective image quality evaluation method ≪ / RTI >

도 5a 및 5b는 본 발명의 일 실시예에 따른 톤 맵핑 과정에서 생성되는 영상을 도시한 도면이다.5A and 5B are views illustrating an image generated in the tone mapping process according to an exemplary embodiment of the present invention.

(a)는 [수학식 6]에 의해 생성되는, 적응적 기준 값 R을 이용한 차이 압축을 통해 생성되는 영상(ODCAR)이다.(a) is an image (O DCAR ) generated by differential compression using an adaptive reference value R, which is generated by Equation (6).

(b)는 [수학식 9]에 의해 생성되는, 국부 톤 맵핑 영상(OLTMO)이다. 참고로 (b)는 (a)의 영상(ODCAR)에 대비 제한의 적응적 히스토그램 평활화(CLAHE)를 수행한 결과이다.(b) is a local tone mapping image (O LTMO ) generated by (9). (B) is the result of performing the adaptive histogram smoothing (CLAHE) of the contrast limitation on the image (O DCAR ) of (a).

(c)는 [수학식 3]에 의해 생성되는, 전역 톤 맵핑 영상(OGTMO)이다.(c) is a global tone mapping image (O GTMO ) generated by Equation (3).

(d)는 [수학식 10]에 의해, 전역 톤 맵핑 영상(OGTMO)과 국부 톤 맵핑 영상(OLTMO)을 조합한 최종 톤 맵핑 영상(OTMO)이다. 참고로, (d)에서 [수학식 10]의 γ는 0.5로 설정하였다.(d) is a final tone mapping image ( TMO ) obtained by combining the global tone mapping image O GTMO and the local tone mapping image O LTMO according to Equation ( 10 ). For reference, in (d), γ in (10) is set to 0.5.

(e)는 관심 영역 지도(saliency map VS)에 의한 영상으로서, 시각적으로 주목되는 부분, 즉, 스테인글라스 부분을 확인할 수 있다.(e) is an image based on a saliency map VS, and it is possible to identify a part to be visually noted, that is, a stained glass part.

(f)는 (e)의 관심 영역 지도에 에지 보존 평활화 필터를 적용한 영상(

Figure 112016116107614-pat00013
)이다.(f) is an image obtained by applying an edge preserving smoothing filter to the map of interest area (e)
Figure 112016116107614-pat00013
)to be.

(g)는 [수학식 11]에 의해 전역 톤 맵핑 영상(OGTMO)과 국부 톤 맵핑 영상(OLTMO)을 조합하되, 에지 보존 평활화 필터를 적용한 국부 적응적 조합 영상인 최종 톤 맵핑 영상(OTMO_L)이다.(g) can be obtained by combining the global tone mapping image O GTMO and the local tone mapping image O LTMO according to Equation ( 11 ), and the final tone mapping image O TMO_L ).

(h)는 [수학식 10]에 의해, 전역 톤 맵핑 영상(OGTMO)과 국부 톤 맵핑 영상(OLTMO)을 조합한 최종 톤 맵핑 영상(OTMO)이다.(h) is a final tone mapping image ( TMO ) obtained by combining the global tone mapping image O GTMO and the local tone mapping image O LTMO according to Equation ( 10 ).

참고로, (h)에서 [수학식 10]의 γ는 객관적 화질 평가 방법에 의해 설정된 최적의 값(γ는 0.8)을 이용하였다.For reference, γ in Equation (10) in (h) is the optimal value (γ = 0.8) set by the objective image quality evaluation method.

참고로 (g)와 (h)에서, 두 영상(OGTMO, OLTMO)의 조합 비율에 해당하는 파라미터 γ값에 따라 디테일 보존 또는 자연스러움이 선택적으로 강조될 수 있고 영상의 특성에 따라 적합한 γ의 설정이 필수적이다.For reference, in (g) and (h), detail preservation or naturalness can be selectively emphasized according to the parameter? Value corresponding to the combination ratio of two images (O GTMO , O LTMO ) Is necessary.

이를 위하여 톤 맵핑 영상의 객관적 품질 모델을 사용하여 최적의 γ를 결정할 수 있다.For this purpose, the optimal γ can be determined using the objective quality model of the tone mapping image.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

100 : 톤 맵핑 장치
110 : 전역 톤 맵핑부
120 : 국부 톤 맵핑부
130 : 톤 맵핑 영상 조합부
140: 제어부
150 : 저장부
100: tone mapping device
110: Global tone mapping unit
120: Local tone mapping unit
130: tone mapping image combining unit
140:
150:

Claims (18)

높은 동적 영역(High Dynamic Range; HDR) 영상의 톤 맵핑 장치에 있어서,
HDR 영상을 전역 압축(global compression)하고, 상기 전역 압축된 영상에 정규화(normalization)를 수행하며, 상기 정규화된 영상에 전역 콘트라스트(contrast) 향상 기법을 수행하여 전역 톤 맵핑(global tone mapping) 영상을 생성하는 전역 톤 맵핑부;
상기 전역 압축된 영상의 각 픽셀 값과 적응적 기준 값(adaptive reference values)의 차이를 압축하고 콘트라스트 강화를 위한 알고리즘을 적용하여 국부 톤 맵핑(local tone mapping) 영상을 생성하는 국부 톤 맵핑부; 및
상기 생성된 전역 톤 맵핑 영상과 국부 톤 맵핑 영상을 조합하여 최종 톤 맵핑 영상을 생성하는 톤 맵핑 영상 조합부
를 포함하되,
상기 국부 톤 맵핑부는
상기 적응적 기준 값을 계산하되,
상기 정규화된 영상에 제1 에지 보존 평활화 필터를 적용하여 제1 스무딩 영상을 생성하고, 상기 제1 스무딩 영상에 로우 패스 필터(Low Pass Filter)를 적용하여 제2 스무딩 영상을 생성하며, 상기 제1 스무딩 영상과 제2 스무딩 영상에 제2 에지 보존 평활화 필터를 적용하여 최종 스무딩 영상을 생성한 후,
상기 최종 스무딩 영상과 상기 전역 압축된 영상 및 적응적 기준 값 변형 지수를 이용하여 상기 적응적 기준 값을 계산하는 것을 특징으로 하는 톤 맵핑 장치.
1. A tone mapping apparatus for a high dynamic range (HDR) image,
Global compression of the HDR image, normalization of the global compressed image, and global contrast enhancement of the normalized image to generate a global tone mapping image A global tone mapping unit generating;
A local tone mapping unit generating a local tone mapping image by compressing a difference between each pixel value of the global compressed image and an adaptive reference value and applying an algorithm for contrast enhancement; And
A tone mapping image combining unit for combining the generated global tone mapping image and the local tone mapping image to generate a final tone mapping image,
, ≪ / RTI &
The local tone mapping unit
Calculating the adaptive reference value,
Applying a first edge preserving smoothing filter to the normalized image to generate a first smoothed image, applying a low pass filter to the first smoothed image to generate a second smoothed image, A second edge preserving smoothing filter is applied to the smoothing image and the second smoothing image to generate a final smoothing image,
And calculates the adaptive reference value using the final smoothed image, the global compressed image, and the adaptive reference value deformation index.
삭제delete 제1 항에 있어서,
상기 적응적 기준 값 변경 지수는
1보다 작은 임의의 상수 값으로서, 밝은 영역 또는 어두운 영역의 디테일을 선택적으로 유지하는데 사용되는 것을 특징으로 하는 톤 맵핑 장치.
The method according to claim 1,
The adaptive reference value change index
Is an arbitrary constant value that is less than one, and is used to selectively maintain details of a bright region or a dark region.
제3 항에 있어서,
상기 국부 톤 맵핑 영상부는
아래의 수학식을 이용하여 상기 적응적 기준 값 R을 계산하는 것을 특징으로 하는 톤 맵핑 장치.
[수학식]
Figure 112016116107614-pat00014

여기서 i, j는 픽셀 좌표, Ilog는 상기 전역 압축 영상, Ifinal smoothed는 상기 최종 스무딩 영상, α는 상기 적응적 기준 값 변형 지수임.
The method of claim 3,
The local tone mapping image portion
And calculates the adaptive reference value R using the following equation.
[Mathematical Expression]
Figure 112016116107614-pat00014

Here, i and j are pixel coordinates, I log is the global compression image, I final smoothed is the final smoothing image, and a is the adaptive reference value deformation index.
제4 항에 있어서,
상기 국부 톤 맵핑부는
아래의 수학식을 이용하여 상기 전역 압축된 영상의 각 픽셀 값과 적응적 기준 값(adaptive reference values)의 차이를 압축한 영상 ODCAR을 생성하는 것을 특징으로 하는 톤 맵핑 장치.
[수학식]
Figure 112016116107614-pat00015

여기서 i, j는 픽셀 좌표, Ilog는 상기 전역 압축 영상, R은 상기 적응적 기준 값, β는 비선형 압축 함수의 지수, sgn()은 부호 함수임.
5. The method of claim 4,
The local tone mapping unit
And generates an image ODCAR obtained by compressing a difference between each pixel value of the global compressed image and an adaptive reference value using the following equation.
[Mathematical Expression]
Figure 112016116107614-pat00015

Here, i and j are pixel coordinates, I log is the global compression image, R is the adaptive reference value,? Is the exponent of the nonlinear compression function, and sgn () is the sign function.
제5 항에 있어서,
상기 비선형 압축 함수 지수 β는
0≤β≤1 범위의 값을 가지며, 0에 가까울수록 상기 적응적 기준 값의 주변에 위치하는 픽셀 값의 콘트라스트를 강화시키는 것을 특징으로 하는 하는 톤 맵핑 장치.
6. The method of claim 5,
The nonlinear compression function index < RTI ID = 0.0 >
Wherein the enhancement unit enhances the contrast of a pixel value located in the periphery of the adaptive reference value with a value of 0?
제5 항에 있어서,
상기 국부 톤 맵핑부는
상기 ODCAR에 상기 콘트라스트 강화를 위한 알고리즘인 국부 콘트라스트 향상 기법을 적용하여 상기 국부 톤 맵핑 영상 OLTMO를 생성하되 아래의 수학식을 이용하는 것을 특징으로 하는 톤 맵핑 장치.
[수학식]
Figure 112016116107614-pat00016

여기서 i, j는 픽셀 좌표, CLAHE()는 상기 국부 콘트라스트 향상 기법에 포함되는 대비 제한의 적응적 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization; CLAHE) 함수임.
6. The method of claim 5,
The local tone mapping unit
Wherein the local tone enhancement technique, which is an algorithm for enhancing the contrast, is applied to the O DCAR to generate the local tone mapping image O LTMO , using the following equation.
[Mathematical Expression]
Figure 112016116107614-pat00016

Here, i and j are pixel coordinates, and CLAHE () is a Contrast Limited Adaptive Histogram Equalization (CLAHE) function of the contrast limitation included in the local contrast enhancement technique.
제1 항에 있어서,
상기 톤 맵핑 영상 조합부는
아래의 수학식을 이용하여 상기 최종 톤 맵핑 영상 OTMO를 생성하는 것을 특징으로 하는 톤 맵핑 장치.
[수학식]
Figure 112016116107614-pat00017

여기서 i, j는 픽셀 좌표, OGTMO는 전역 톤 맵핑 영상, OLTMO는 국부 톤 맵핑 영상, γ는 블렌딩 팩터(blending factor)임.
The method according to claim 1,
The tone mapping image combining unit
And generates the final tone mapping image O TMO using the following equation.
[Mathematical Expression]
Figure 112016116107614-pat00017

Here, i and j are pixel coordinates, O GTMO is a global tone mapping image, O LTMO is a local tone mapping image, and γ is a blending factor.
제1 항에 있어서,
상기 톤 맵핑 영상 조합부는
시각적 주목도(visual saliency)를 가지는 디테일한 영상 영역을 적응적으로 반영하여 최종 톤 맵핑 영상 OTMO _L를 생성하되, 아래의 수학식을 이용하는 것을 특징으로 하는 톤 맵핑 장치.
[수학식]
Figure 112016116107614-pat00018

여기서 i, j는 픽셀 좌표, OGTMO는 전역 톤 맵핑 영상, OLTMO는 국부 톤 맵핑 영상, γ는 블렌딩 팩터(blending factor),
Figure 112016116107614-pat00019
는 관심 영역 함수(saliency map)로서 HDR 톤 맵핑을 위한 가중치 함수(saliency aware weighting function)임.
The method according to claim 1,
The tone mapping image combining unit
Visual attention (visual saliency) a detailed tone mapping unit to reflect the image region is adaptively, characterized in that using the last tone mapping image O TMO but generate _L, the following equation has.
[Mathematical Expression]
Figure 112016116107614-pat00018

Here, i and j are pixel coordinates, O GTMO is a global tone mapping image, O LTMO is a local tone mapping image, γ is a blending factor,
Figure 112016116107614-pat00019
Is a saliency aware weighting function for HDR tone mapping as a saliency map of interest.
제8 항 또는 제9 항에 있어서,
상기 블렌딩 팩터 γ는 국부적인 디테일과 전역적인 루미넌스의 균형을 위한 것으로서 0부터 1까지의 범위를 가지며, 객관적 화질 평가 방법에 의해 결정되는 것을 특징으로 하는 톤 맵핑 장치.
10. The method according to claim 8 or 9,
Wherein the blending factor gamma is for balance between local detail and global luminance, and has a range from 0 to 1, and is determined by an objective image quality evaluation method.
톤 맵핑 장치가 높은 동적 영역(High Dynamic Range; HDR) 영상을 톤 맵핑하는 방법에 있어서,
(a) HDR 영상을 전역 압축(global compression)하는 단계;
(b) 상기 전역 압축된 영상에 정규화(normalization)를 수행하고, 상기 정규화된 영상에 전역 콘트라스트 향상 기법을 수행하여 전역 톤 맵핑(global tone mapping) 영상을 생성하며,
상기 전역 압축된 영상의 각 픽셀 값과 적응적 기준 값(adaptive reference values)의 차이를 압축하고 콘트라스트(contrast) 강화를 위한 알고리즘을 적용하여 국부 톤 맵핑(local tone mapping) 영상을 생성하는 단계; 및
(c) 상기 생성된 전역 톤 맵핑 영상과 국부 톤 맵핑 영상을 조합하여 최종 톤 맵핑 영상을 생성하는 단계
를 포함하되,
상기 (b) 단계는
상기 적응적 기준 값을 계산하는 단계
를 포함하되,
상기 적응적 기준 값을 계산하는 단계는
상기 정규화된 영상에 제1 에지 보존 평활화 필터를 적용하여 제1 스무딩 영상을 생성하는 단계;
상기 제1 스무딩 영상에 로우 패스 필터(Low Pass Filter)를 적용하여 제2 스무딩 영상을 생성하는 단계;
상기 제1 스무딩 영상과 제2 스무딩 영상에 제2 에지 보존 평활화 필터를 적용하여 최종 스무딩 영상을 생성하는 단계; 및
상기 최종 스무딩 영상과 상기 전역 압축된 영상 및 적응적 기준 값 변형 지수를 이용하여 상기 적응적 기준 값을 계산하는 단계
를 포함하는 것을 특징으로 하는 톤 맵핑 방법.
A method for tone mapping a high dynamic range (HDR) image in a tone mapping apparatus,
(a) globally compressing an HDR image;
(b) performing normalization on the global compressed image, performing a global contrast enhancement technique on the normalized image, and generating a global tone mapping image,
Generating a local tone mapping image by compressing a difference between each pixel value of the global compressed image and an adaptive reference value and applying an algorithm for contrast enhancement; And
(c) generating a final tone mapping image by combining the generated global tone mapping image and a local tone mapping image
, ≪ / RTI &
The step (b)
Calculating the adaptive reference value
, ≪ / RTI &
The step of calculating the adaptive reference value
Generating a first smoothed image by applying a first edge preserving smoothing filter to the normalized image;
Generating a second smoothed image by applying a low pass filter to the first smoothed image;
Generating a final smoothing image by applying a second edge preserving smoothing filter to the first smoothing image and the second smoothing image; And
Calculating the adaptive reference value using the final smoothed image, the global compressed image, and the adaptive reference value modification index
Gt; a < / RTI > tone mapping method.
삭제delete 제11 항에 있어서,
상기 상기 적응적 기준 값 변경 지수는
1보다 작은 임의의 상수 값으로서, 밝은 영역 또는 어두운 영역의 디테일을 선택적으로 유지하는데 사용되는 것을 특징으로 하는 톤 맵핑 방법.
12. The method of claim 11,
Wherein the adaptive reference value change index
Is a constant value that is less than one and is used to selectively maintain details of the bright or dark areas.
제13 항에 있어서,
상기 (b) 단계는
상기 전역 압축된 영상의 각 픽셀 값과 적응적 기준 값(adaptive reference values)의 차이를 압축한 영상 ODCAR을 생성하되,
0≤β≤1 범위의 값을 가지며, 0에 가까울수록 상기 적응적 기준 값의 주변에 위치하는 픽셀 값의 콘트라스트를 강화시키는 비선형 압축 함수 지수를 반영하여 생성하는 것을 특징으로 하는 톤 맵핑 방법.
14. The method of claim 13,
The step (b)
Generating an image O DCAR in which a difference between each pixel value of the global compressed image and an adaptive reference value is compressed,
Wherein the non-linear compression function index has a value in a range of 0?? 1, and the non-linear compression function index that enhances the contrast of a pixel value located in the periphery of the adaptive reference value closer to 0 is generated.
제14 항에 있어서,
상기 (b) 단계는
상기 ODCAR에 상기 콘트라스트 강화를 위한 알고리즘인 국부 콘트라스트 향상 기법을 적용하여 상기 국부 톤 맵핑 영상 OLTMO를 생성하는 것을 특징으로 하되,
상기 국부 콘트라스트 향상 기법은 대비 제한의 적응적 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization; CLAHE)를 포함하는 것을 특징으로 하는 톤 맵핑 방법.
15. The method of claim 14,
The step (b)
And the local tone mapping image O LTMO is generated by applying a local contrast enhancement technique to the O DCAR , which is an algorithm for enhancing the contrast.
Wherein the local contrast enhancement technique comprises Contrast Limited Adaptive Histogram Equalization (CLAHE) of contrast constraint.
제11 항에 있어서,
상기 (c) 단계는
블렌딩 팩터(blending factor)를 적용하여 상기 최종 톤 맵핑 영상 OTMO를 생성하되,
상기 블렌딩 팩터는 국부적인 디테일과 전역적인 루미넌스의 균형을 위한 것으로서 0부터 1까지의 범위를 가지며, 객관적 화질 평가 방법에 의해 결정되는 것을 특징으로 하는 톤 맵핑 방법.
12. The method of claim 11,
The step (c)
Generates a final tone mapping image O TMO by applying a blending factor,
Wherein the blending factor is for balance of local detail and global luminance, and has a range from 0 to 1, and is determined by an objective image quality evaluation method.
제11 항에 있어서,
상기 (c) 단계는
블렌딩 팩터(blending factor) 및 시각적 주목도(visual saliency)를 가지는 디테일한 영상 영역을 적응적으로 반영하여 최종 톤 맵핑 영상 OTMO_L를 생성하되,
상기 블렌딩 팩터는 국부적인 디테일과 전역적인 루미넌스의 균형을 위한 것으로서 0부터 1까지의 범위를 가지며, 객관적 화질 평가 방법에 의해 결정되고, 상기 시각적 주목도는 관심 영역 지도(saliency map)로서 가중치 함수(saliency aware weighting function)로 사용되는 것을 특징으로 하는 톤 맵핑 방법.
12. The method of claim 11,
The step (c)
A final tone mapping image O TMO_L is generated by adaptively reflecting a detailed image area having a blending factor and a visual saliency ,
The blending factor is for balance between local detail and global luminance, ranging from 0 to 1, and is determined by an objective image quality evaluation method. The visual attention score is a saliency map, aware weighting function. < / RTI >
제11 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.A computer program stored in a recording medium comprising a series of instructions for performing the method according to claim 11.
KR1020160159101A 2016-11-28 2016-11-28 Tone mapping method and apparatus for digital images KR101828180B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160159101A KR101828180B1 (en) 2016-11-28 2016-11-28 Tone mapping method and apparatus for digital images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160159101A KR101828180B1 (en) 2016-11-28 2016-11-28 Tone mapping method and apparatus for digital images

Publications (1)

Publication Number Publication Date
KR101828180B1 true KR101828180B1 (en) 2018-02-12

Family

ID=61224998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160159101A KR101828180B1 (en) 2016-11-28 2016-11-28 Tone mapping method and apparatus for digital images

Country Status (1)

Country Link
KR (1) KR101828180B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949959B2 (en) 2019-02-18 2021-03-16 Samsung Electronics Co., Ltd. Processing image data in a composite image
CN113902641A (en) * 2021-10-12 2022-01-07 西安交通大学 Data center hot area distinguishing method and system based on infrared image
US11741576B2 (en) 2020-03-30 2023-08-29 Samsung Electronics Co., Ltd. Image system including image signal processor and operation method of image signal processor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147052A (en) 2011-01-06 2012-08-02 Olympus Corp Image processing apparatus, image processing program, and image processing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147052A (en) 2011-01-06 2012-08-02 Olympus Corp Image processing apparatus, image processing program, and image processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이승윤 외 3명, "HDR 영상의 지역적 밝기 및 디테일 향상을 위한 감마 보정 기법", 멀티미디어학회논문지 제19권 제5호, pp.837-847(2016.5.31.)*

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949959B2 (en) 2019-02-18 2021-03-16 Samsung Electronics Co., Ltd. Processing image data in a composite image
US11741576B2 (en) 2020-03-30 2023-08-29 Samsung Electronics Co., Ltd. Image system including image signal processor and operation method of image signal processor
CN113902641A (en) * 2021-10-12 2022-01-07 西安交通大学 Data center hot area distinguishing method and system based on infrared image
CN113902641B (en) * 2021-10-12 2023-09-12 西安交通大学 Data center hot zone judging method and system based on infrared image

Similar Documents

Publication Publication Date Title
Chang et al. Automatic contrast-limited adaptive histogram equalization with dual gamma correction
Duan et al. Tone-mapping high dynamic range images by novel histogram adjustment
Ma et al. High dynamic range image compression by optimizing tone mapped image quality index
JP5624062B2 (en) Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
Lee et al. Local tone mapping using the K-means algorithm and automatic gamma setting
Boitard et al. Temporal coherency for video tone mapping
Boschetti et al. High dynamic range image tone mapping based on local histogram equalization
KR101846743B1 (en) Objective quality assessment method and apparatus for tone mapped images
Lee et al. Tone mapping using color correction function and image decomposition in high dynamic range imaging
KR101828180B1 (en) Tone mapping method and apparatus for digital images
Ok et al. HDR tone mapping algorithm based on difference compression with adaptive reference values
Vazquez-Corral et al. A fast image dehazing method that does not introduce color artifacts
CN109478316B (en) Real-time adaptive shadow and highlight enhancement
CN107451974B (en) Self-adaptive reproduction display method for high dynamic range image
Yang et al. Low-light image enhancement based on Retinex theory and dual-tree complex wavelet transform
El Mezeni et al. Enhanced local tone mapping for detail preserving reproduction of high dynamic range images
Muniraj et al. Underwater image enhancement by modified color correction and adaptive Look-Up-Table with edge-preserving filter
Singh et al. Image enhancement by adaptive power-law transformations
JP5410378B2 (en) Video signal correction apparatus and video signal correction program
CN116468636A (en) Low-illumination enhancement method, device, electronic equipment and readable storage medium
Benzi et al. A bio-inspired synergistic virtual retina model for tone mapping
Horé et al. A new filter for reducing halo artifacts in tone mapped images
Duan et al. Local contrast stretch based tone mapping for high dynamic range images
EP4358017A1 (en) Method and apparatus for converting an hdr image file into an ldr image file
Bansal et al. Regularized tone mapping using edge preserving filters

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant