KR101389932B1 - Apparatus and method for performing tone mapping for image - Google Patents

Apparatus and method for performing tone mapping for image Download PDF

Info

Publication number
KR101389932B1
KR101389932B1 KR1020120090187A KR20120090187A KR101389932B1 KR 101389932 B1 KR101389932 B1 KR 101389932B1 KR 1020120090187 A KR1020120090187 A KR 1020120090187A KR 20120090187 A KR20120090187 A KR 20120090187A KR 101389932 B1 KR101389932 B1 KR 101389932B1
Authority
KR
South Korea
Prior art keywords
image
luminance value
value
parameter
contrast ratio
Prior art date
Application number
KR1020120090187A
Other languages
Korean (ko)
Other versions
KR20130060110A (en
Inventor
김재석
김경만
배종현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20130060110A publication Critical patent/KR20130060110A/en
Application granted granted Critical
Publication of KR101389932B1 publication Critical patent/KR101389932B1/en

Links

Images

Classifications

    • G06T5/92

Abstract

본 발명은 이미지 톤 매핑 장치 및 방법에 관한 것이다. 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 보다 자연스럽고 정교하게 렌더링된 이미지를 얻을 수 있다. 나아가, 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 이미지의 어두운 영역의 표현이 보다 잘 보존될 수 있어 사용자가 느끼는 주관적 화질이 개선되는 효과를 얻을 수 있다. The present invention relates to an image tone mapping apparatus and method. According to the present invention, a more natural and finely rendered image can be obtained compared to the conventional tone mapping algorithm. Furthermore, according to the present invention, the representation of the dark region of the image can be preserved better than the conventional tone mapping algorithm, thereby improving the subjective image quality felt by the user.

Figure R1020120090187
Figure R1020120090187

Description

이미지 톤 매핑 장치 및 방법{APPARATUS AND METHOD FOR PERFORMING TONE MAPPING FOR IMAGE}Image tone mapping device and method {APPARATUS AND METHOD FOR PERFORMING TONE MAPPING FOR IMAGE}

본 발명은 이미지에 대해 톤 매핑(tone mapping)을 수행하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for performing tone mapping on an image.

사람의 눈으로 느낄 수 있는 밝기의 동적 범위(dynamic range)는 수십 만에서 수십 억까지 매우 넓은 범위를 형성한다. 반면, 수백의 동적 범위만으로도 대부분의 영상 정보를 나타내는데 충분하기 때문에 일반적인 영상을 재생하는 디스플레이 장치는 256의 동적 범위를 가진다. 하지만, 방대한 연산을 통하여 실제 자연 영상과 유사한 영상을 생성하거나, 보다 상세한 정보를 표현해야 하는 의료 영상 같은 경우에는 256보다 넓은 동적 범위로 영상을 표현해야 한다. 이렇게 표현한 영상을 광역 동적 범위를 가진 영상이라고 한다. 광역 동적 범위를 가진 영상을 일반적인 디스플레이 장치나 인쇄 장치 등에서 재생하기 위해서는 각 장치에서 지원하는 제한된 동적 범위를 가진 영상으로 변환해야 한다. 톤 매핑이란 광역 동적 범위를 가진 영상, 즉 HDR(High Dynamic Range) 영상을 디스플레이 장치나 인쇄 장치 등에서 재생할 수 있는 제한된 동적 범위를 가진 영상, 즉 LDR(Low Dynamic Range) 영상으로 변환해 주는 프로세스를 의미한다. The dynamic range of brightness that the human eye can feel ranges from hundreds of thousands to billions. On the other hand, a display device for reproducing a general video has a dynamic range of 256 because hundreds of dynamic ranges are enough to display most of the image information. However, in the case of a medical image that needs to generate an image similar to an actual natural image through a large amount of calculation or a more detailed information, the image must be represented with a dynamic range larger than 256. Such an image is called an image having a wide dynamic range. In order to reproduce an image having a wide dynamic range on a general display device or a printing device, it is necessary to convert the image having a limited dynamic range supported by each device. Tone mapping refers to a process of converting an image having a wide dynamic range, that is, a high dynamic range (HDR) image into a low dynamic range (LDR) image, which has a limited dynamic range that can be reproduced on a display device or a printing device. do.

본 발명은 이미지의 명암비에 따라 톤 매핑에 사용되는 파라미터를 적응적으로(adaptive) 결정하고, 상기 파라미터를 사용하여 이미지를 디스플레이 장치의 명암비에 부합하도록 톤 매핑하는 이미지 톤 매핑 장치 및 방법을 제공하는 것을 목적으로 한다. The present invention provides an image tone mapping apparatus and method for adaptively determining a parameter used for tone mapping according to the contrast ratio of an image, and tone mapping the image to match the contrast ratio of the display device using the parameter. For the purpose of

본 발명의 일 실시예에 따른 이미지 톤 매핑 장치는, 이미지의 명암비를 획득하고, 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정하는 파라미터 결정부; 상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 색상값 산출부; 상기 원 색상값으로부터 휘도값을 산출하는 휘도값 산출부; 상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 휘도값 조정부; 그리고 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 색상값 조정부를 포함할 수 있다.An image tone mapping apparatus according to an embodiment of the present invention includes: a parameter determining unit configured to acquire a contrast ratio of an image and determine a parameter regarding a distribution of illumination irradiated to a subject of the image according to the contrast ratio; A color value calculator configured to calculate an original color value of the subject from the color value of the image using the parameter; A luminance value calculator for calculating a luminance value from the original color value; A luminance value adjusting unit that adjusts the luminance value to match the contrast ratio of the display device; And a color value adjusting unit for adjusting the original color value based on a relationship between the luminance value before the adjustment and the luminance value after the adjustment.

본 발명의 일 실시예에 따른 이미지 톤 매핑 방법은 이미지의 명암비에 따라 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하고, 상기 파라미터를 사용하여 상기 이미지를 디스플레이 장치의 명암비에 부합하도록 톤 매핑할 수 있다. 본 발명의 일 실시예에 따르면, 상기 이미지 톤 매핑 방법은, 상기 이미지의 명암비를 획득하는 단계; 상기 명암비에 따라 상기 파라미터를 결정하는 단계; 상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 단계; 상기 원 색상값으로부터 휘도값을 산출하는 단계; 상기 휘도값을 상기 디스플레이 장치의 명암비에 부합하도록 조정하는 단계; 그리고 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 단계를 포함할 수 있다. The image tone mapping method according to an embodiment of the present invention determines a parameter relating to the distribution of illumination irradiated to a subject of the image according to the contrast ratio of the image, and uses the parameter to match the contrast ratio of the display device. Tone can be mapped. According to an embodiment of the present invention, the image tone mapping method includes: obtaining a contrast ratio of the image; Determining the parameter according to the contrast ratio; Calculating the original color value of the subject from the color value of the image using the parameter; Calculating a luminance value from the original color value; Adjusting the luminance value to match the contrast ratio of the display device; And adjusting the original color value based on a relationship between the luminance value before the adjustment and the luminance value after the adjustment.

본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지를 수신하는 수신부; 상기 수신된 이미지를 톤 매핑하는 톤 매핑부; 그리고 상기 톤 매핑된 이미지를 출력하는 출력부를 포함할 수 있으며, 상기 톤 매핑부는: 상기 이미지의 명암비를 획득하고, 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정하는 파라미터 결정부; 상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 색상값 산출부; 상기 원 색상값으로부터 휘도값을 산출하는 휘도값 산출부; 상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 휘도값 조정부; 그리고 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 색상값 조정부를 포함할 수 있다. An image processing apparatus according to an embodiment of the present invention includes: a receiving unit for receiving an image; A tone mapping unit for tone mapping the received image; And an output unit configured to output the tone-mapped image, wherein the tone mapping unit comprises: a parameter for acquiring a contrast ratio of the image and determining a parameter regarding a distribution of illumination irradiated to a subject of the image according to the contrast ratio Decision unit; A color value calculator configured to calculate an original color value of the subject from the color value of the image using the parameter; A luminance value calculator for calculating a luminance value from the original color value; A luminance value adjusting unit that adjusts the luminance value to match the contrast ratio of the display device; And a color value adjusting unit for adjusting the original color value based on a relationship between the luminance value before the adjustment and the luminance value after the adjustment.

상술한 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법은 컴퓨터로 실행할 수 있는 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수도 있다. The image tone mapping method according to an embodiment of the present invention described above may be implemented as a computer executable program and recorded on a computer readable recording medium.

본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 보다 자연스럽게 렌더링된 이미지를 제공할 수 있다. 그 결과, 톤 매핑된 이미지에 대해 사용자가 느끼는 주관적 화질(subjective quality)이 향상되고, 이미지 내 아티팩트(artifact)가 감소하는 효과를 얻을 수 있다. According to the present invention, it is possible to provide a more naturally rendered image than the conventional tone mapping algorithm. As a result, the subjective quality felt by the user for the tone-mapped image may be improved, and artifacts in the image may be reduced.

또한, 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 이미지의 어두운 영역을 보다 정교하게 표현할 수 있는 효과를 얻을 수 있다.In addition, according to the present invention, it is possible to obtain an effect that can more precisely express the dark region of the image than the conventional tone mapping algorithm.

도 1은 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지의 명암비와 레티넥스(Retinex) 알고리즘의 파라미터 k값 간의 관계를 나타낸 그래프이다.
도 3은 본 발명의 일 실시예에 따른 톤 매핑 전 이미지의 휘도값에 대한 톤 매핑 후 이미지의 휘도값의 그래프를 도시한다.
도 4는 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록도이다.
도 6 내지 도 10은 본 발명의 일 실시예에 따라 톤 매핑된 이미지를 종래의 방식에 의해 톤 매핑된 이미지와 비교하는 도면이다.
1 is a block diagram of an image tone mapping apparatus according to an embodiment of the present invention.
2 is a graph illustrating a relationship between a contrast ratio of an image and a parameter k value of a Retinex algorithm according to an embodiment of the present invention.
3 illustrates a graph of luminance values of an image after tone mapping with respect to luminance values of an image before tone mapping according to an embodiment of the present invention.
4 is a flowchart of an image tone mapping method according to an embodiment of the present invention.
5 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
6 to 10 are diagrams comparing a tone mapped image with a tone mapped image in a conventional manner according to an embodiment of the present invention.

본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Other advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.Unless defined otherwise, all terms (including technical or scientific terms) used herein have the same meaning as commonly accepted by the generic art in the prior art to which this invention belongs. Terms defined by generic dictionaries may be interpreted to have the same meaning as in the related art and / or in the text of this application, and may be conceptualized or overly formalized, even if not expressly defined herein I will not.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms' comprise 'and / or various forms of use of the verb include, for example,' including, '' including, '' including, '' including, Steps, operations, and / or elements do not preclude the presence or addition of one or more other compositions, components, components, steps, operations, and / or components. The term 'and / or' as used herein refers to each of the listed configurations or various combinations thereof.

한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.It should be noted that the terms such as '~', '~ period', '~ block', 'module', etc. used in the entire specification may mean a unit for processing at least one function or operation. For example, a hardware component, such as a software, FPGA, or ASIC. However, '~ part', '~ period', '~ block', '~ module' are not meant to be limited to software or hardware. Modules may be configured to be addressable storage media and may be configured to play one or more processors. ≪ RTI ID = 0.0 >

따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.Thus, by way of example, the terms 'to', 'to', 'to block', 'to module' refer to components such as software components, object oriented software components, class components and task components Microcode, circuitry, data, databases, data structures, tables, arrays, and the like, as well as components, Variables. The functions provided in the components and in the sections ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ' , '~', '~', '~', '~', And '~' modules with additional components.

도 1은 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치(100)를 나타내는 블록도이다. 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치(100)는 톤 매핑될 이미지의 명암비에 따라 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하고, 상기 파라미터를 사용하여 이미지를 디스플레이 장치의 명암비에 부합하도록 톤 매핑할 수 있다. 1 is a block diagram illustrating an image tone mapping apparatus 100 according to an embodiment of the present invention. The image tone mapping apparatus 100 according to an embodiment of the present invention determines a parameter related to the distribution of illumination irradiated to a subject of an image according to the contrast ratio of the image to be tone mapped, and uses the parameter to display an image of the display apparatus. Tone mapping can be made to match the contrast ratio.

본 발명의 일 실시예에 따른 이미지 톤 매핑 장치(100)는 파라미터 결정부(101), 색상값 산출부(102), 휘도값 산출부(103), 휘도값 조정부(104) 및 색상값 조정부(105)를 포함할 수 있다. 상기 파라미터 결정부(101)는 이미지의 명암비를 획득하고 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정할 수 있다. 상기 색상값 산출부(102)는 상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출할 수 있다. 상기 휘도값 산출부(103)는 상기 원 색상값으로부터 휘도값을 산출할 수 있다. 상기 휘도값 조정부(104)는 상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정할 수 있다. 상기 색상값 조정부(105)는 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정할 수 있다. Image tone mapping apparatus 100 according to an embodiment of the present invention is a parameter determination unit 101, the color value calculation unit 102, the luminance value calculation unit 103, the luminance value adjustment unit 104 and the color value adjustment unit ( 105). The parameter determiner 101 may acquire a contrast ratio of an image and determine a parameter regarding a distribution of illumination emitted to a subject of the image according to the contrast ratio. The color value calculator 102 may calculate the original color value of the subject from the color value of the image using the parameter. The luminance value calculator 103 may calculate a luminance value from the original color value. The luminance value adjusting unit 104 may adjust the luminance value to match the contrast ratio of the display device. The color value adjusting unit 105 may adjust the original color value based on the relationship between the luminance value before the adjustment and the luminance value after the adjustment.

상기 파라미터 결정부(101)는 톤 매핑될 이미지의 명암비, 즉 다이내믹 레인지를 다음과 같은 수학식으로 계산할 수 있다:The parameter determiner 101 may calculate the contrast ratio, that is, the dynamic range, of the image to be tone mapped by the following equation:

Figure 112012066076653-pat00001
Figure 112012066076653-pat00001

여기서, D는 이미지의 명암비이고, Imax는 이미지를 구성하는 픽셀이 갖는 최대 휘도값, Imin은 이미지를 구성하는 픽셀이 갖는 최소 휘도값이다. Here, D is the contrast ratio of the image, I max is the maximum luminance value of the pixels constituting the image, I min is the minimum luminance value of the pixels constituting the image.

그리고 나서, 상기 파라미터 결정부(101)는 상기 계산된 명암비에 따라, 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정할 수 있다. 상기 파라미터는 톤 매핑 알고리즘에 사용되는 파라미터로서, 본 발명의 일 실시예에 따르면 상기 파라미터는 다음의 수학식과 같은 레티넥스(Retinex) 알고리즘 중 파라미터 k에 해당될 수 있다:Then, the parameter determiner 101 may determine a parameter relating to the distribution of illumination irradiated to the subject of the image, according to the calculated contrast ratio. The parameter is a parameter used in a tone mapping algorithm, and according to an embodiment of the present invention, the parameter may correspond to a parameter k of a Retinex algorithm as shown in the following equation:

Figure 112012066076653-pat00002
Figure 112012066076653-pat00002

여기서, RSSR은 이미지에 나타난 피사체의 반사성분으로서, 피사체에 조사되는 조명의 분포에 관계없이 피사체로부터 반사되는 빛의 색상값을 나타낸다. 상기 색상값은 빛이 3원색을 구성하는 R 색상값, G 색상값 및 B 색상값을 포함할 수 있다. I(x,y)는 이미지를 구성하는 픽셀의 색상값이다. Im blur는 I(x,y)와 가우시안 필터(Gaussian Filter)를 컨볼루션한 값이다. Here, R SSR is a reflection component of the subject shown in the image, and represents a color value of light reflected from the subject regardless of the distribution of illumination applied to the subject. The color value may include an R color value, a G color value, and a B color value in which light forms three primary colors. I (x, y) is the color value of the pixels constituting the image. I m is a blur convolution values the I (x, y) with the Gaussian filter (Gaussian Filter).

인간이 인지하는 물체의 색은 물체로부터 반사되는 빛인 반사성분과 광원의 분포의 곱으로 표현될 수 있다. 만약 인간이 인지하는 색으로부터 광원의 분포를 추정한다면 물체의 원 색상값을 나타내는 반사성분을 구할 수 있다. 광원으로부터 조사되는 빛은 불균일한 분포를 가지며, 상기 레티넥스 알고리즘에서는 상기 광원의 분포를 가우시안 필터를 사용하여 추정한다. 이와 같이, 레티넥스 알고리즘은 인간의 시각 특성을 기초로 하여 이미지 생성 과정에서 발생할 수 있는 블러링을 보상할 수 있고, 조명 환경이 변하더라도 이미지의 색상을 일정하게 유지시킬 수 있으며, HDR 이미지의 명암비를 압축하여 LDR 이미지를 생성하기 위해 사용될 수 있다. The color of an object recognized by a human may be expressed as a product of a distribution of a light source and a reflection component that is light reflected from the object. If we estimate the distribution of the light source from the color perceived by humans, we can find the reflection component representing the original color value of the object. The light irradiated from the light source has a non-uniform distribution, and the Retinex algorithm estimates the distribution of the light source using a Gaussian filter. As such, the Retinex algorithm can compensate for blurring that may occur in the image generation process based on human visual characteristics, maintain the constant color of the image even when the lighting environment changes, and contrast ratio of the HDR image. Can be used to generate the LDR image by compressing.

본 발명의 일 실시예에 따르면, 상기 파라미터 결정부(101)는, 톤 매핑될 이미지의 명암비에 따라, 상기 레티넥스 알고리즘을 나타내는 수학식 2 중 피사체에 조사되는 조명의 분포 log(Im blur(x,y))에 관한 가중치인 파라미터 k를 적응적으로 결정할 수 있다. According to one embodiment of the present invention, the parameter determiner 101, according to the contrast ratio of the image to be tone-mapped, the distribution of the illumination irradiated to the subject in the equation (2) representing the Retinex algorithm log (I m blur ( It is possible to adaptively determine the parameter k, which is a weight for x, y)).

수학식 2를 참조하면, 파라미터 k 값이 커지면 이미지에서 반사성분(reflectance) 값을 더 많이 나누어주게 되므로, 이미지의 명암비가 더 많이 압축될 수 있다. 하지만, 이미지에서 필요 이상으로 반사성분을 나누어주면 오리지널 이미지의 정보가 과하게 제거되므로, 이미지에 색바램 현상과 같은 아티팩트가 많이 발생할 수 있다. 다시 말해, k 값이 클수록 이미지의 명암비의 압축률이 커지지만 아티팩트가 증가하게 되고, 반대로 k 값이 작을수록 이미지의 명암비의 압축률이 작아지지만 아티팩트가 감소하게 된다. 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치(100)는 이미지의 명암비에 따라 적응적으로 k 값을 결정하여 톤 매핑을 수행하므로, 이미지의 명암비 압축률 및 아티팩트를 고려한 톤 매핑 효율이 향상될 수 있다. Referring to Equation 2, since the larger the value of the parameter k divides the reflection value in the image more, the contrast ratio of the image can be compressed more. However, if the reflection component is divided more than necessary in the image, the information of the original image is excessively removed, and thus many artifacts such as color fading may occur in the image. In other words, the larger the value of k, the larger the compression ratio of the contrast ratio of the image, but the artifacts increase. Conversely, the smaller the value of k, the smaller the compression ratio of the contrast ratio of the image, but the artifacts decrease. Since the image tone mapping apparatus 100 according to an embodiment of the present invention performs tone mapping by adaptively determining the k value according to the contrast ratio of the image, the tone mapping efficiency considering the contrast ratio compression factor and the artifact of the image may be improved. have.

도 2는 본 발명의 일 실시예에 따른 이미지의 명암비와 레티넥스 알고리즘의 파라미터 k값 간의 관계를 나타낸 그래프이다. 2 is a graph illustrating a relationship between contrast ratio of an image and a parameter k value of a Retinex algorithm according to an exemplary embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 상기 파라미터 결정부(101)는 상기 파라미터 k를 명암비에 비례하도록 결정할 수 있다. 나아가, 상기 파라미터 결정부(101)는 상기 명암비가 기설정된 최소 명암비보다 작거나 같은 경우, 파라미터 k를 기설정된 최소 파라미터 값으로 결정할 수 있다. 또한, 상기 파라미터 결정부(101)는 상기 명암비가 기설정된 최대 명암비보다 큰 경우, 파라미터 k를 기설정된 최대 파라미터 값으로 결정할 수 있다. As shown in FIG. 2, according to an embodiment of the present invention, the parameter determiner 101 may determine the parameter k to be proportional to the contrast ratio. Further, when the contrast ratio is less than or equal to the preset minimum contrast ratio, the parameter determiner 101 may determine the parameter k as the preset minimum parameter value. In addition, when the contrast ratio is greater than the preset maximum contrast ratio, the parameter determiner 101 may determine the parameter k as a preset maximum parameter value.

본 발명의 일 실시예에 따르면, 상기 최소 명암비는 0.25일 수 있고, 상기 최소 파라미터 값은 0.2일 수 있다. 본 발명의 일 실시예에 따르면, 상기 최대 명암비는 5.5일 수 있고, 상기 최대 파라미터 값은 0.5일 수 있다. 본 발명의 일 실시예에 따르면, 상기 명암비에 대한 파라미터 k값의 그래프의 기울기는 0.1일 수 있다. 결과적으로, 상기 파라미터 결정부(101)는 다음과 같은 수학식에 따라 명암비 D로부터 파라미터 k 값을 결정할 수 있다:According to an embodiment of the present invention, the minimum contrast ratio may be 0.25 and the minimum parameter value may be 0.2. According to an embodiment of the present invention, the maximum contrast ratio may be 5.5, and the maximum parameter value may be 0.5. According to an embodiment of the present invention, the slope of the graph of the parameter k value with respect to the contrast ratio may be 0.1. As a result, the parameter determiner 101 may determine the parameter k value from the contrast ratio D according to the following equation:

Figure 112012066076653-pat00003
Figure 112012066076653-pat00003

전술한 최소 및 최대 명암비, 최소 및 최대 파라미터 값 및 기울기는 실시예에 따라 다르게 설정될 수 있다. 나아가, 수학식 3은 0.25 내지 5.5의 명암비 구간에 대하여 일차함수 그래프 형태로 명암비와 파라미터 k 값의 관계를 표현하고 있으나, 상기 파라미터 결정부(101)는 해당 구간에서 이차함수, 삼차함수와 같은 비선형 그래프의 형태로 명암비와 파라미터 k 값을 매핑시킬 수 있다. 또한, 명암비에 비례하여 파라미터 k 값이 증가하는 구간은 실시예에 따라 변경될 수도 있다. 예를 들어, 일 실시예에서 상기 구간은 2.5 내지 5.5의 구간보다 더 넓어지거나 좁아질 수도 있다. The aforementioned minimum and maximum contrast ratios, minimum and maximum parameter values, and slopes may be set differently according to embodiments. Furthermore, Equation 3 expresses the relationship between the contrast ratio and the parameter k value in the form of a linear function graph for the contrast ratio section of 0.25 to 5.5, but the parameter determiner 101 has a nonlinearity such as a quadratic function and a tertiary function in the interval. You can map the contrast and parameter k values in the form of a graph. In addition, the section in which the parameter k value increases in proportion to the contrast ratio may be changed according to an embodiment. For example, in one embodiment the interval may be wider or narrower than the interval of 2.5 to 5.5.

본 발명의 일 실시예에 따르면, 상기 색상값 산출부(102)는 전술한 수학식 3과 같은 레티넥스 알고리즘을 사용하여 피사체의 원 색상값(즉, 피사체로부터 반사되는 빛의 색상값 RSSR)을 산출할 수 있다. According to an embodiment of the present invention, the color value calculating unit 102 uses a retinex algorithm as shown in Equation 3 above (ie, the color value R SSR of the light reflected from the object). Can be calculated.

상기 휘도값 산출부(103)는 상기 피사체의 원 색상값으로부터 휘도값을 산출할 수 있다. 본 발명의 일 실시예에 따르면, 상기 휘도값 산출부(103)는 다음과 같은 수학식에 의해 피사체의 원 색상값 R, G, B로부터 휘도값 L을 산출할 수 있다:The luminance value calculator 103 may calculate a luminance value from the original color value of the subject. According to an embodiment of the present invention, the luminance value calculator 103 may calculate the luminance value L from the original color values R, G, and B of the subject by the following equation:

L = 0.299·R + 0.587·G + 0.114·B L = 0.299R + 0.587G + 0.114B

상기 휘도값 조정부(104)는 상기 계산된 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정할 수 있다. 다시 말해, 상기 휘도값 조정부(104)는 HDR 이미지를 구성하는 각 픽셀의 휘도값을, 명암비가 낮은 LDR 이미지용 디스플레이 장치에 적합하게 휘도값의 레벨을 조정할 수 있다. 그 결과, HDR 이미지의 명암비가 보다 작은 값으로 압축되어 LDR 이미지로 변환될 수 있다. The luminance value adjusting unit 104 may adjust the calculated luminance value to match the contrast ratio of the display device. In other words, the luminance value adjusting unit 104 may adjust the luminance value of each pixel constituting the HDR image to be suitable for a display device for an LDR image having a low contrast ratio. As a result, the contrast ratio of the HDR image can be compressed to a smaller value and converted into an LDR image.

본 발명의 일 실시예에 따르면, 상기 휘도값 조정부(104)는 상기 이미지의 휘도값을 휘도 구간에 따라 다른 비율로 조정할 수 있다. 도 3은 본 발명의 일 실시예에 따른 톤 매핑 전 이미지의 휘도값에 대한 톤 매핑 후 이미지의 휘도값의 그래프를 도시한다.According to an embodiment of the present invention, the luminance value adjusting unit 104 may adjust the luminance value of the image at different ratios according to the luminance period. 3 illustrates a graph of luminance values of an image after tone mapping with respect to luminance values of an image before tone mapping according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 이미지의 휘도값 Iin은 크게 제 1 휘도 구간(31) 및 제 2 휘도 구간(32)으로 구분될 수 있으며, 상기 제 1 휘도 구간(31)의 휘도값은 상기 제 2 휘도 구간(32)의 휘도값보다 더 작다. 상기 제 1 휘도 구간(31)에서 조정 전 휘도값 Iin에 대한 조정 후 휘도값 Iout의 그래프 기울기는, 제 2 휘도 구간(32)에서 조정 전 휘도값 Iin에 대한 조정 후 휘도값Iout의 그래프 기울기보다 더 클 수 있다. 다시 말해, Iout의 전체 휘도 구간 중 Iin의 제 1 휘도 구간(31)에 대응되는 제 3 휘도 구간(33)은, Iin의 제 2 휘도 구간(32)에 대응되는 제 4 휘도 구간(34)보다 더 넓을 수 있다. 그 결과, 이미지 중 어두운 영역은 보다 상세하고 정교하게 표현될 수 있으며, 밝은 영역은 톤 매핑 전에 비해 휘도 구간이 압축되어 표현될 수 있다. As shown in FIG. 3, the luminance value I in of the image may be largely divided into a first luminance period 31 and a second luminance period 32, and the first luminance The luminance value of the section 31 is smaller than the luminance value of the second luminance section 32. Curve slope of said adjusted first brightness section 31, before the luminance value adjusted after the luminance value of the I in I out is the adjustment in the second brightness section 32, before the luminance value I after adjustment to the in luminance value I out Can be greater than the graph slope of. In other words, the third luminance period 33 corresponding to the first luminance period 31 of I in among the entire luminance intervals of I out is the fourth luminance interval (ie, the second luminance interval 32 of I in ). May be wider than 34). As a result, the dark areas of the image can be expressed in more detail and detail, and the bright areas can be expressed by compressing the luminance section as compared to before tone mapping.

본 발명의 일 실시예에 따르면, 상기 휘도값은 다음과 같은 수학식에 의해 조정될 수 있다:According to an embodiment of the present invention, the luminance value may be adjusted by the following equation:

Figure 112012066076653-pat00004
Figure 112012066076653-pat00004

여기서, Iout은 조정 후 휘도값이고, I는 조정 전 휘도값이고, Imax는 이미지를 구성하는 픽셀의 최대 휘도값, a는 휘도값의 조정 비율에 관한 파라미터이다. 상기 a는 도 3에 도시된 그래프의 만곡도와 관련된 파라미터로서, a가 클수록 그래프의 만곡도가 커져서 제 4 휘도 구간(34)이 좁아지고, a가 작을수록 만곡도가 작아져서 제 4 휘도 구간(34)이 넓어진다. 본 발명의 일 실시예에 따르면, 상기 a는 4로 설정될 수 있으나, 이에 제한되지 않고 실시예에 따라 다양한 값으로 설정될 수 있다. Here, I out is the luminance value after adjustment, I is the luminance value before adjustment, I max is the maximum luminance value of the pixel which comprises an image, and a is a parameter regarding the adjustment ratio of a luminance value. A is a parameter related to the curvature of the graph shown in FIG. 3, and as the a is larger, the curvature of the graph becomes larger and the fourth luminance section 34 becomes narrower, and as the a is smaller, the curvature becomes smaller and thus the fourth luminance section 34 becomes smaller. This widens. According to an embodiment of the present invention, the a may be set to 4, but is not limited thereto and may be set to various values according to the embodiment.

전술한 수학식 5와 같은 알고리즘은 인간의 시각 시스템이 밝은 부분보다 어두운 부분의 변화에 더 민감하다는 특성을 반영한다. 휘도값 조정부(104)가 수학식 5와 같이 이미지의 휘도값을 조정하는 경우, 밝은 영역에 비해 어두운 영역을 표현하는 휘도 레벨 구간이 넓어지므로, 톤 매핑된 이미지의 어두운 영역이 보다 잘 보존될 수 있다. Algorithm such as the above equation (5) reflects the characteristic that the human visual system is more sensitive to changes in the dark part than the bright part. When the luminance value adjusting unit 104 adjusts the luminance value of the image as shown in Equation 5, since the luminance level section representing the dark region is wider than the bright region, the dark region of the tone-mapped image may be better preserved. have.

본 발명의 다른 실시예에 따르면, 조정 전 휘도값 Iin은 셋 또는 그 이상의 구간으로 구분될 수도 있다. 이 경우, 각 구간마다 조정 전 휘도값에 대한 조정 후 휘도값의 그래프 기울기는 서로 상이하게 설정될 수 있다. According to another embodiment of the present invention, the luminance value I in before adjustment may be divided into three or more sections. In this case, the graph inclination of the luminance value after the adjustment with respect to the luminance value before the adjustment may be set differently for each section.

상기 색상값 조정부(105)는 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 피사체의 원 색상값을 조정할 수 있다. 본 발명의 일 실시예에 따르면, 상기 색상값 조정부(105)는, 조정 전 휘도값 Iin에 대한 조정 후 휘도값 Iout의 비가, 조정 전 원 색상값에 대한 조정 후 원 색상값의 비와 동일하도록 상기 피사체의 원 색상값을 조정할 수 있다. 예를 들어, 상기 색상값 조정부(105)는 다음과 같은 수학식으로 피사체의 색상값을 조정할 수 있다:The color value adjusting unit 105 may adjust the original color value of the subject based on the relationship between the luminance value before the adjustment and the luminance value after the adjustment. According to one embodiment of the invention, the color value adjusting unit 105, the ratio of the luminance value I out after the adjustment to the luminance value I in before the adjustment, the ratio of the original color value after the adjustment to the original color value before adjustment The original color value of the subject may be adjusted to be the same. For example, the color value adjusting unit 105 may adjust the color value of the subject by the following equation:

Figure 112012066076653-pat00005
Figure 112012066076653-pat00005

여기서, Rout, Gout 및 Bout은 조정 후 피사체의 원 색상값이고, Rin, Gin 및 Bin은 조정 전 피사체의 원 색상값이고, L'은 조정 후 이미지의 휘도값이고, Lin은 조정 전 이미지의 휘도값이고, s는 감마 보정 계수이다. 본 발명의 일 실시예에 따르면, 상기 s는 0 내지 1의 값으로 선택될 수 있으며, 예를 들어 0.75로 설정될 수 있다. Where R out , G out, and B out are the original color values of the subject after adjustment, R in , G in, and B in are the original color values of the subject before adjustment, L 'is the luminance value of the image after adjustment, and L in is the luminance value of the image before adjustment, and s is the gamma correction coefficient. According to an embodiment of the present invention, the s may be selected to a value of 0 to 1, for example, may be set to 0.75.

도 4는 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법을 설명하는 흐름도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법(40)은, 이미지의 명암비를 획득하는 단계(S41), 상기 명암비에 따라 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하는 단계(S42), 상기 파라미터를 사용하여 이미지의 색상값으로부터 피사체의 원 색상값을 산출하는 단계(S43), 상기 원 색상값으로부터 휘도값을 산출하는 단계(S44), 상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 단계(S45), 및 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 단계(S46)를 포함할 수 있다. 4 is a flowchart illustrating an image tone mapping method according to an embodiment of the present invention. As shown in FIG. 4, the image tone mapping method 40 according to an exemplary embodiment of the present invention may include obtaining a contrast ratio of an image (S41), and a distribution of illumination irradiated onto a subject of the image according to the contrast ratio. Determining a related parameter (S42), calculating an original color value of the subject from the color value of the image using the parameter (S43), calculating a luminance value from the original color value (S44), and the luminance Adjusting the value to match the contrast ratio of the display device (S45), and adjusting the original color value based on the relationship between the luminance value before the adjustment and the luminance value after the adjustment (S46).

상기 이미지의 명암비를 획득하는 단계(S41)는 전술한 수학식 1을 사용하여 입력 이미지의 명암비를 계산하는 단계를 포함할 수 있다. Obtaining the contrast ratio of the image (S41) may include calculating the contrast ratio of the input image by using Equation 1 described above.

상기 명암비에 따라 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하는 단계(S42)는, 상기 파라미터를 상기 명암비에 비례하도록 결정하는 단계; 상기 명암비가 기설정된 최소 명암비보다 작거나 같은 경우, 상기 파라미터를 기설정된 최소 파라미터값으로 결정하는 단계; 상기 명암비가 기설정된 최대 명암비보다 큰 경우, 상기 파라미터를 기설정된 최대 파라미터값으로 결정하는 단계를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 상기 명암비에 따라 파라미터를 결정하는 단계(S42)는 전술한 수학식 3을 사용하여 파라미터를 결정하는 단계를 포함할 수 있다. Determining a parameter relating to a distribution of illumination irradiated onto a subject of an image according to the contrast ratio may include determining the parameter to be proportional to the contrast ratio; If the contrast ratio is less than or equal to a preset minimum contrast ratio, determining the parameter as a preset minimum parameter value; If the contrast ratio is greater than a preset maximum contrast ratio, the method may include determining the parameter as a preset maximum parameter value. According to an embodiment of the present invention, the determining of the parameter according to the contrast ratio (S42) may include determining the parameter using Equation 3 described above.

상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 단계(S43)는, 전술한 수학식 2로 구현되는 레티넥스 알고리즘을 사용하여 상기 피사체의 원 색상값을 산출하는 단계를 포함할 수 있다. Computing the original color value of the subject from the color value of the image using the parameter (S43), calculating the original color value of the subject using a Retinex algorithm implemented by Equation 2 described above. It may include.

상기 원 색상값으로부터 휘도값을 산출하는 단계(S44)는, 전술한 수학식 4를 사용하여 피사체의 원 색상값 R, G 및 B 값으로부터 휘도값을 산출하는 단계를 포함할 수 있다. The calculating of the luminance value from the original color value (S44) may include calculating the luminance value from the original color values R, G, and B values of the subject using Equation 4 described above.

상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 단계(S45)는, 상기 휘도값을 휘도 구간에 따라 다른 비율로 조정하는 단계를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 상기 휘도값을 조정하는 단계(S45)는, 제 1 휘도 구간(31)에서 조정 전 휘도값에 대한 조정 후 휘도값의 그래프의 기울기가, 제 2 휘도 구간(32)에서 조정 전 휘도값에 대한 조정 후 휘도값의 그래프의 기울기보다 더 크도록 휘도값을 조정하는 단계를 포함할 수 있다. 상기 제 1 휘도 구간(31)의 휘도값은 상기 제 2 휘도 구간(32)의 휘도값보다 낮을 수 있다. 본 발명의 일 실시예에 따르면, 상기 휘도값을 조정하는 단계(S45)는 전술한 수학식 5에 따라 휘도값을 조정하는 단계를 포함할 수 있다. The adjusting of the luminance value to match the contrast ratio of the display apparatus (S45) may include adjusting the luminance value at a different ratio according to the luminance period. According to an exemplary embodiment of the present disclosure, in the adjusting of the luminance value (S45), the slope of the graph of the luminance value after the adjustment with respect to the luminance value before the adjustment in the first luminance period 31 may include a second luminance interval ( And adjusting the luminance value to be greater than the slope of the graph of the luminance value after the adjustment with respect to the luminance value before the adjustment. The luminance value of the first luminance period 31 may be lower than the luminance value of the second luminance period 32. According to an embodiment of the present disclosure, the adjusting of the luminance value (S45) may include adjusting the luminance value according to Equation 5 described above.

상기 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 원 색상값을 조정하는 단계(S46)는, 조정 전 휘도값에 대한 조정 후 휘도값의 비가 조정 전 원 색상값에 대한 조정 후 원 색상값의 비와 동일하도록 상기 원 색상값을 조정하는 단계를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 상기 원 색상값을 조정하는 단계(S46)는 전술한 수학식 6에 의해 원 색상값을 조정하는 단계를 포함할 수 있다. Adjusting the original color value based on the relationship between the luminance value before the adjustment and the luminance value after the adjustment (S46), the ratio of the luminance value after the adjustment to the luminance value before the adjustment And adjusting the original color value to be equal to the ratio of values. According to an embodiment of the present disclosure, the adjusting of the original color value (S46) may include adjusting the original color value by Equation 6 described above.

도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치(50)를 나타내는 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지 처리 장치(50)는, 이미지를 수신하는 수신부(51), 수신된 이미지를 톤 매핑하는 톤 매핑부(52), 및 톤 매핑된 이미지를 출력하는 출력부(53)를 포함할 수 있다. 상기 톤 매핑부(52)는 파라미터 결정부(521), 색상값 산출부(522), 휘도값 산출부(523), 휘도값 조정부(524) 및 색상값 조정부(525)를 포함할 수 있다. 상기 톤 매핑부(52)에 포함된 파라미터 결정부(521), 색상값 산출부(522), 휘도값 산출부(523), 휘도값 조정부(524) 및 색상값 조정부(525)는 도 1을 참조하여 설명한 이미지 톤 매핑 장치(100)에 포함된 파라미터 결정부(101), 색상값 산출부(102), 휘도값 산출부(103), 휘도값 조정부(104) 및 색상값 조정부(105)의 구성과 동일하다. 5 is a block diagram illustrating an image processing apparatus 50 according to an embodiment of the present invention. As shown in FIG. 5, the image processing apparatus 50 according to an exemplary embodiment of the present invention includes a receiver 51 that receives an image, a tone mapper 52 that tone-tones the received image, and a tone mapping. It may include an output unit 53 for outputting the image. The tone mapping unit 52 may include a parameter determiner 521, a color value calculator 522, a luminance value calculator 523, a luminance value adjuster 524, and a color value adjuster 525. The parameter determiner 521, the color value calculator 522, the luminance value calculator 523, the luminance value adjuster 524, and the color value adjuster 525 included in the tone mapping unit 52 are shown in FIG. 1. The parameter determiner 101, the color value calculator 102, the luminance value calculator 103, the luminance value adjuster 104, and the color value adjuster 105 included in the image tone mapping apparatus 100 described with reference to the image tone mapping apparatus 100 described above. Same as the configuration.

상기 이미지 처리 장치(50)는 저장부(53)를 더 포함할 수 있다. 상기 저장부(53)는 이미지에 대해 톤 매핑을 수행하기 위해 요구되는 정보를 저장할 수 있다. 상기 저장부(53)는 톤 매핑될 이미지 및 톤 매핑된 이미지 중 적어도 하나를 저장할 수 있다. The image processing apparatus 50 may further include a storage 53. The storage unit 53 may store information required to perform tone mapping on the image. The storage unit 53 may store at least one of an image to be tone mapped and a tone mapped image.

본 발명의 일 실시예에 따르면, 상기 톤 매핑부(52)는 HDR 이미지를 LDR 이미지로 변환하도록, 수신된 이미지의 휘도값 레벨을 디스플레이 장치의 명암비에 맞게 조정할 수 있다. According to an embodiment of the present invention, the tone mapping unit 52 may adjust the luminance value level of the received image according to the contrast ratio of the display device so as to convert the HDR image into an LDR image.

전술한 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법(40)은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.The image tone mapping method 40 according to an embodiment of the present invention described above may be produced as a program for execution in a computer and stored in a computer-readable recording medium. The computer-readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.

도 6 내지 도 10은 본 발명의 일 실시예에 따라 톤 매핑된 이미지를 종래의 방식에 의해 톤 매핑된 이미지와 비교하는 도면이다. 도 6 내지 도 10의 (a)는 대표적인 광역 톤 매핑 알고리즘인 로그(logarithmic) 톤 매핑 알고리즘으로 톤 매핑한 이미지이며, (b)는 주파수 도메인에서 톤 매핑을 수행하는 그래디언트(gradient) 톤 매핑 알고리즘으로 톤 매핑한 이미지이며, (c)는 고정된 k 값을 사용한 레티넥스 알고리즘에 의해 톤 매핑된 이미지이며, (d)는 본 발명의 일 실시예에 따른 톤 매핑 방법에 의해 톤 매핑된 이미지이다. 도 6 내지 도 10의 이미지에 대한 톤 매핑은 2.40 GHz의 CPU와 3 GB의 RAM을 장착한 컴퓨터에서 실행되었다. 도 6 내지 도 10의 이미지 각각에 대한 명암비 및 그에 따른 파라미터 k 값은 다음과 같다:6 to 10 are diagrams comparing a tone mapped image with a tone mapped image in a conventional manner according to an embodiment of the present invention. (A) of FIG. 6 to FIG. 10 are tone mapped images using a logarithmic tone mapping algorithm, which is a representative wide tone mapping algorithm, and (b) is a gradient tone mapping algorithm for performing tone mapping in the frequency domain. (C) is a tone-mapped image by a Retinex algorithm using a fixed k value, and (d) is a tone-mapped image by a tone mapping method according to an embodiment of the present invention. Tone mapping for the images of FIGS. 6-10 was performed on a computer equipped with a 2.40 GHz CPU and 3 GB of RAM. The contrast ratios and corresponding parameter k values for each of the images of FIGS. 6 to 10 are as follows:

이미지image 명암비(log)Contrast ratio (log) 파라미터 kParameter k 도 66 1.961.96 0.200.20 도 77 3.943.94 0.340.34 도 88 4.614.61 0.410.41 도 99 5.525.52 0.500.50 도 1010 5.595.59 0.500.50

도 6 내지 도 10 각각에 있어서 (a) 내지 (d)의 톤 매핑된 출력 이미지를 비교해 보면, 종래의 알고리즘에 의해 톤 매핑된 이미지 (a) 내지 (c)보다 본 발명의 일 실시예에 따라 톤 매핑된 이미지 (d)가 더 자연스럽게 렌더링되고 아티팩트가 줄어들었음을 확인할 수 있다. 나아가, 본 발명의 일 실시예에 따라 톤 매핑을 하는 경우, 이미지 중 어두운 영역의 표현이 보다 정교해졌음을 확인할 수 있다. When comparing the tone-mapped output images of (a) to (d) in each of FIGS. 6 to 10, according to an embodiment of the present invention, the tone-mapped images (a) to (c) by conventional algorithms are compared. You can see that the tone-mapped image (d) is rendered more naturally and the artifacts are reduced. Furthermore, in the case of tone mapping according to an embodiment of the present invention, it can be seen that the representation of the dark area of the image is more sophisticated.

이상에서 이미지의 명암비에 따라 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 적응적으로 결정하고 상기 파라미터를 사용하여 이미지를 톤 매핑하는 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치 및 방법을 설명하였다. 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 보다 자연스럽고 정교하게 렌더링된 이미지를 얻을 수 있다. 나아가, 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 이미지의 어두운 영역의 표현이 보다 잘 보존될 수 있어 사용자가 느끼는 주관적 화질이 개선되는 효과를 얻을 수 있다. The image tone mapping apparatus and method according to an embodiment of the present invention for adaptively determining a parameter relating to the distribution of illumination irradiated to the subject of the image according to the contrast ratio of the image and tone mapping the image using the parameter Explained. According to the present invention, a more natural and finely rendered image can be obtained compared to the conventional tone mapping algorithm. Furthermore, according to the present invention, the representation of the dark region of the image can be preserved better than the conventional tone mapping algorithm, thereby improving the subjective image quality felt by the user.

100: 이미지 톤 매핑 장치 101: 파라미터 결정부
102: 색상값 산출부 103: 휘도값 산출부
104: 휘도값 조정부 105: 색상값 조정부
100: image tone mapping device 101: parameter determination unit
102: color value calculator 103: luminance value calculator
104: luminance value adjusting unit 105: color value adjusting unit

Claims (21)

이미지의 명암비를 획득하고, 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정하는 파라미터 결정부;
상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 색상값 산출부;
상기 원 색상값으로부터 휘도값을 산출하는 휘도값 산출부;
상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 휘도값 조정부; 그리고
조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 색상값 조정부;
를 포함하는 이미지 톤 매핑 장치.
A parameter determining unit obtaining a contrast ratio of an image and determining a parameter regarding a distribution of illumination irradiated to a subject of the image according to the contrast ratio;
A color value calculator configured to calculate an original color value of the subject from the color value of the image using the parameter;
A luminance value calculator for calculating a luminance value from the original color value;
A luminance value adjusting unit that adjusts the luminance value to match the contrast ratio of the display device; And
A color value adjusting unit for adjusting the original color value based on a relationship between the luminance value before the adjustment and the luminance value after the adjustment;
Image tone mapping device comprising a.
제 1 항에 있어서,
상기 파라미터 결정부는 상기 파라미터를 상기 명암비에 비례하도록 결정하는 이미지 톤 매핑 장치.
The method of claim 1,
And the parameter determiner determines the parameter to be proportional to the contrast ratio.
제 1 항에 있어서,
상기 파라미터 결정부는, 상기 명암비가 기설정된 최소 명암비보다 작거나 같은 경우, 상기 파라미터를 기설정된 최소 파라미터값으로 결정하는 이미지 톤 매핑 장치.
The method of claim 1,
And the parameter determining unit determines the parameter as a predetermined minimum parameter value when the contrast ratio is less than or equal to a predetermined minimum contrast ratio.
제 1 항에 있어서,
상기 파라미터 결정부는, 상기 명암비가 기설정된 최대 명암비보다 큰 경우, 상기 파라미터를 기설정된 최대 파라미터값으로 결정하는 이미지 톤 매핑 장치.
The method of claim 1,
And the parameter determining unit determines the parameter as a preset maximum parameter value when the contrast ratio is greater than a preset maximum contrast ratio.
제 1 항에 있어서,
상기 색상값 산출부는 레티넥스(Retinex) 알고리즘을 사용하여 상기 피사체의 원 색상값을 산출하는 이미지 톤 매핑 장치.
The method of claim 1,
The color value calculator calculates an original color value of the subject using a Retinex algorithm.
제 1 항에 있어서,
상기 피사체에 조사되는 조명의 분포는, 상기 이미지의 색상값과 가우시안 필터(Gaussian Filter)를 컨볼루션하여 얻어지는 이미지 톤 매핑 장치.
The method of claim 1,
The image tone mapping apparatus of claim 1, wherein the distribution of illumination irradiated onto the subject is obtained by convolving a color value of the image and a Gaussian filter.
제 1 항에 있어서,
상기 휘도값 산출부는 L = 0.299·R + 0.587·G + 0.114·B (여기서, L은 휘도값, R은 R 색상값, G는 G 색상값, B는 B 색상값)의 공식에 의해 휘도값을 산출하는 이미지 톤 매핑 장치.
The method of claim 1,
The luminance value calculating section is a luminance value by a formula of L = 0.299 R + 0.587 G + 0.114 B (where L is luminance value, R is R color value, G is G color value and B is B color value). Image tone mapping device to yield.
제 1 항에 있어서,
상기 휘도값 조정부는 상기 휘도값을 휘도 구간에 따라 다른 비율로 조정하는 이미지 톤 매핑 장치.
The method of claim 1,
And the luminance value adjusting unit adjusts the luminance value at different ratios according to luminance intervals.
제 8 항에 있어서,
상기 휘도값 조정부는, 제 1 휘도 구간에서 조정 전 휘도값에 대한 조정 후 휘도값의 그래프의 기울기가, 제 2 휘도 구간에서 조정 전 휘도값에 대한 조정 후 휘도값의 그래프의 기울기보다 더 크도록 상기 휘도값을 조정하는 이미지 톤 매핑 장치.
The method of claim 8,
The luminance value adjusting unit may be configured such that the slope of the graph of the luminance value after adjustment with respect to the luminance value before adjustment in the first luminance period is greater than the slope of the graph of the luminance value after adjustment with respect to the luminance value before adjustment in the second luminance period. And an image tone mapping device for adjusting the luminance value.
제 9 항에 있어서,
상기 제 1 휘도 구간의 휘도값은 상기 제 2 휘도 구간의 휘도값보다 더 낮은 이미지 톤 매핑 장치.
The method of claim 9,
And a luminance value of the first luminance interval is lower than a luminance value of the second luminance interval.
제 1 항에 있어서,
상기 색상값 조정부는, 상기 조정 전 휘도값에 대한 상기 조정 후 휘도값의 비가 조정 전 원 색상값에 대한 조정 후 원 색상값의 비와 동일하도록 상기 원 색상값을 조정하는 이미지 톤 매핑 장치.
The method of claim 1,
And the color value adjusting unit adjusts the original color value such that the ratio of the brightness value after the adjustment to the brightness value before the adjustment is equal to the ratio of the original color value after the adjustment to the original color value before the adjustment.
이미지의 명암비에 따라 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하고, 상기 파라미터를 사용하여 상기 이미지를 디스플레이 장치의 명암비에 부합하도록 톤 매핑하는 이미지 톤 매핑 방법.And determining a parameter relating to a distribution of illumination irradiated to a subject of the image according to the contrast ratio of the image, and tone mapping the image to match the contrast ratio of the display device using the parameter. 제 12 항에 있어서,
상기 이미지 톤 매핑 방법은:
상기 이미지의 명암비를 획득하는 단계;
상기 명암비에 따라 상기 파라미터를 결정하는 단계;
상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 단계;
상기 원 색상값으로부터 휘도값을 산출하는 단계;
상기 휘도값을 상기 디스플레이 장치의 명암비에 부합하도록 조정하는 단계; 그리고
조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 단계;
를 포함하는 이미지 톤 매핑 방법.
13. The method of claim 12,
The image tone mapping method is:
Obtaining a contrast ratio of the image;
Determining the parameter according to the contrast ratio;
Calculating the original color value of the subject from the color value of the image using the parameter;
Calculating a luminance value from the original color value;
Adjusting the luminance value to match the contrast ratio of the display device; And
Adjusting the original color value based on a relationship between the luminance value before adjustment and the luminance value after adjustment;
Image tone mapping method comprising a.
제 13 항에 있어서,
상기 이미지의 명암비를 획득하는 단계는:
Figure 112012066076653-pat00006
(여기서, D는 명암비, Imax는 이미지의 최대 휘도값, Imin은 이미지의 최소 휘도값)의 수학식에 의해 명암비를 획득하는 단계를 포함하는 이미지 톤 매핑 방법.
14. The method of claim 13,
Obtaining the contrast ratio of the image is:
Figure 112012066076653-pat00006
Obtaining a contrast ratio by a formula wherein D is a contrast ratio, I max is a maximum luminance value of the image, and I min is a minimum luminance value of the image.
제 13 항에 있어서,
상기 명암비에 따라 파라미터를 결정하는 단계는:
Figure 112012066076653-pat00007
(여기서, k는 파라미터, D는 명암비)의 수학식에 의해 파라미터를 결정하는 단계를 포함하는 이미지 톤 매핑 방법.
14. The method of claim 13,
Determining the parameter according to the contrast ratio:
Figure 112012066076653-pat00007
Determining a parameter by a formula of k where a parameter is a parameter and D is a contrast ratio.
제 13 항에 있어서,
상기 원 색상값을 산출하는 단계는:
Figure 112012066076653-pat00008
(여기서, I(x,y)는 이미지의 R, G, B 색상값, k는 파라미터, Im blur는 I(x,y)와 가우시안 필터를 컨볼루션한 값)의 수학식에 의해 원 색상값을 산출하는 단계를 포함하는 이미지 톤 매핑 방법.
14. The method of claim 13,
The step of calculating the original color value is:
Figure 112012066076653-pat00008
(Where I (x, y) is the R, G, and B color values of the image, k is the parameter, and I m blur is the convolution of I (x, y) and a Gaussian filter) And calculating a value.
제 13 항에 있어서,
상기 휘도값을 조정하는 단계는:
Figure 112012066076653-pat00009
(여기서, Iout은 조정된 휘도값, I는 조정 전 휘도값, Imax는 이미지의 최대 휘도값, a는 휘도값의 조정 비율에 관한 파라미터)의 수학식에 의해 휘도값을 조정하는 단계를 포함하는 이미지 톤 매핑 방법.
14. The method of claim 13,
Adjusting the luminance value is:
Figure 112012066076653-pat00009
Where I out is the adjusted luminance value, I is the luminance value before adjustment, I max is the maximum luminance value of the image, and a is a parameter relating to the adjustment ratio of the luminance value. Include image tone mapping method.
제 13 항에 있어서,
상기 원 색상값을 조정하는 단계는:
Figure 112012066076653-pat00010
(여기서, Rout, Gout 및 Bout은 조정된 원 색상값, Rin, Gin 및 Bin은 조정 전 원 색상값, L'은 조정 후 휘도값, Lin은 조정 전 휘도값, s는 감마 보정 계수)의 수학식에 의해 원 색상값을 조정하는 단계를 포함하는 이미지 톤 매핑 방법.
14. The method of claim 13,
Adjusting the original color value is:
Figure 112012066076653-pat00010
(Where R out , G out, and B out are the adjusted original color values, R in , G in, and B in are the adjusted original color values, L 'is the luminance value after adjustment, L in is the luminance value before adjustment, s And adjusting the original color value by the equation of gamma correction coefficient.
이미지를 수신하는 수신부;
상기 수신된 이미지를 톤 매핑하는 톤 매핑부; 그리고
상기 톤 매핑된 이미지를 출력하는 출력부를 포함하며,
상기 톤 매핑부는:
상기 이미지의 명암비를 획득하고, 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정하는 파라미터 결정부;
상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 색상값 산출부;
상기 원 색상값으로부터 휘도값을 산출하는 휘도값 산출부;
상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 휘도값 조정부; 그리고
조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 색상값 조정부;
를 포함하는 이미지 처리 장치.
A receiving unit for receiving an image;
A tone mapping unit for tone mapping the received image; And
An output unit for outputting the tone-mapped image,
The tone mapping unit:
A parameter determining unit obtaining a contrast ratio of the image and determining a parameter regarding a distribution of illumination irradiated to a subject of the image according to the contrast ratio;
A color value calculator configured to calculate an original color value of the subject from the color value of the image using the parameter;
A luminance value calculator for calculating a luminance value from the original color value;
A luminance value adjusting unit that adjusts the luminance value to match the contrast ratio of the display device; And
A color value adjusting unit for adjusting the original color value based on a relationship between the luminance value before the adjustment and the luminance value after the adjustment;
And the image processing apparatus.
제 19 항에 있어서,
상기 톤 매핑부는 HDR(High Dynamic Range) 이미지를 LDR(Low Dynamic Range) 이미지로 변환하는 이미지 처리 장치.
The method of claim 19,
The tone mapping unit converts a high dynamic range (HDR) image into a low dynamic range (LDR) image.
컴퓨터로 읽을 수 있는 기록매체에 있어서,
이미지의 명암비를 획득하는 단계;
상기 명암비에 따라 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하는 단계;
상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 단계;
상기 원 색상값으로부터 휘도값을 산출하는 단계;
상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 단계; 그리고
조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 단계;
를 포함하는 이미지 톤 매핑 프로세스를 구현하는 프로그램이 기록된 기록매체.
A computer-readable recording medium,
Obtaining a contrast ratio of the image;
Determining a parameter relating to a distribution of illumination irradiated to a subject of the image according to the contrast ratio;
Calculating the original color value of the subject from the color value of the image using the parameter;
Calculating a luminance value from the original color value;
Adjusting the luminance value to match the contrast ratio of the display device; And
Adjusting the original color value based on a relationship between the luminance value before adjustment and the luminance value after adjustment;
A recording medium on which a program for implementing an image tone mapping process is recorded.
KR1020120090187A 2011-11-29 2012-08-17 Apparatus and method for performing tone mapping for image KR101389932B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110125578 2011-11-29
KR20110125578 2011-11-29

Publications (2)

Publication Number Publication Date
KR20130060110A KR20130060110A (en) 2013-06-07
KR101389932B1 true KR101389932B1 (en) 2014-04-29

Family

ID=48858791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120090187A KR101389932B1 (en) 2011-11-29 2012-08-17 Apparatus and method for performing tone mapping for image

Country Status (1)

Country Link
KR (1) KR101389932B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629825B1 (en) 2014-12-04 2016-06-22 현대모비스 주식회사 Display apparatus and method using high dynamic range for vehicle
KR102317601B1 (en) * 2017-07-27 2021-10-26 삼성전자주식회사 Display apparatus and control method thereof
KR102168038B1 (en) * 2019-02-25 2020-10-21 한양대학교 에리카산학협력단 Apparatus for recognizing object and Method thereof
CN113747251A (en) * 2021-08-20 2021-12-03 武汉瓯越网视有限公司 Image tone adjustment method, storage medium, electronic device, and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060118344A (en) * 2005-05-16 2006-11-23 소니 가부시끼 가이샤 Image processing apparatus, method, program and image pickup apparatus
JP2010193199A (en) 2009-02-18 2010-09-02 Victor Co Of Japan Ltd Image processor and image processing method
JP2011086976A (en) 2009-10-13 2011-04-28 Victor Co Of Japan Ltd Image processor and image processing method
JP2011172260A (en) 2003-09-11 2011-09-01 Panasonic Corp Visual processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011172260A (en) 2003-09-11 2011-09-01 Panasonic Corp Visual processing apparatus
KR20060118344A (en) * 2005-05-16 2006-11-23 소니 가부시끼 가이샤 Image processing apparatus, method, program and image pickup apparatus
JP2010193199A (en) 2009-02-18 2010-09-02 Victor Co Of Japan Ltd Image processor and image processing method
JP2011086976A (en) 2009-10-13 2011-04-28 Victor Co Of Japan Ltd Image processor and image processing method

Also Published As

Publication number Publication date
KR20130060110A (en) 2013-06-07

Similar Documents

Publication Publication Date Title
KR100782845B1 (en) A digital image enhancement method and system using non-log domain illumination correction
EP2750101B1 (en) Endoscopic video system with dynamic contrast and detail enhancement
US10134359B2 (en) Device or method for displaying image
Lin et al. Multi-scale retinex improvement for nighttime image enhancement
JP4210577B2 (en) Method for enhancing gradation and spatial characteristics of digital images using selective spatial filters
US8411991B2 (en) Image processing apparatus, image processing method, and program
US8330768B2 (en) Apparatus and method for rendering high dynamic range images for standard dynamic range display
Vonikakis et al. Fast centre–surround contrast modification
US20140369601A1 (en) Apparatus and method for enhancing image using color channel
EP2899688A1 (en) Image processing device, image display device, image capture device, image printing device, gradation conversion method, and program
CN102696220A (en) Method and system for transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
JP5596075B2 (en) Gradation correction apparatus or method
US8422818B2 (en) Method and apparatus for image processing
KR101648762B1 (en) Method and Apparatus for converting dynamic ranges of input images
KR101389932B1 (en) Apparatus and method for performing tone mapping for image
KR20160104960A (en) A device and method for removing the noise on the image using cross-kernel type median filter
KR102644946B1 (en) Image processing method and apparatus thereof
KR101642034B1 (en) Method and Apparatus for converting dynamic ranges of input images
JP6548403B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
KR101872015B1 (en) Apparatus and method for generating infrared image
JP6627530B2 (en) Image processing device and program
JP2010283690A (en) Image processing device, image processing method, program, and storage medium
JP2015076642A (en) Image processing device and program
TWI463879B (en) Modulated image processing method and system thereof
KR20160103213A (en) High Speed Image Processing Method Using Retinex

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee