KR102291585B1 - Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value - Google Patents

Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value Download PDF

Info

Publication number
KR102291585B1
KR102291585B1 KR1020150029769A KR20150029769A KR102291585B1 KR 102291585 B1 KR102291585 B1 KR 102291585B1 KR 1020150029769 A KR1020150029769 A KR 1020150029769A KR 20150029769 A KR20150029769 A KR 20150029769A KR 102291585 B1 KR102291585 B1 KR 102291585B1
Authority
KR
South Korea
Prior art keywords
image
image quality
quality value
value
optimal
Prior art date
Application number
KR1020150029769A
Other languages
Korean (ko)
Other versions
KR20160106967A (en
Inventor
권오진
최승철
장덕현
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020150029769A priority Critical patent/KR102291585B1/en
Publication of KR20160106967A publication Critical patent/KR20160106967A/en
Application granted granted Critical
Publication of KR102291585B1 publication Critical patent/KR102291585B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Abstract

단일 화질 값만을 설정하여 높은 동적 범위(HDR) 이미지를 부호화하는 부호화 장치를 구현하기 위한 전처리 방법이 개시된다. 본 발명의 일 실시예에 따른 전처리 방법은 상기 HDR 이미지에 톤 매핑을 적용하여 생성된 낮은 동적 범위(LDR) 이미지의 부호화에 적용될 제1 화질 값을 입력받는 단계; 상기 HDR 이미지와 상기 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 상기 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값을 산출하는 단계; 및 상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 나타내는 화질값 관계식을 산출하는 단계를 포함한다. Disclosed is a preprocessing method for implementing an encoding apparatus that encodes a high dynamic range (HDR) image by setting only a single image quality value. A pre-processing method according to an embodiment of the present invention includes: receiving a first image quality value to be applied to encoding a low dynamic range (LDR) image generated by applying tone mapping to the HDR image; Calculating an optimal second image quality value at which the restored image corresponding to the HDR image has an optimal image quality from among a plurality of second image quality values applicable to a residual image corresponding to a residual value between the HDR image and the LDR image ; and calculating an image quality relational expression representing a relationship between the first image quality value and the optimal second image quality value.

Description

단일 화질 값 기반의 HDR 이미지 부호화 장치의 전처리 방법 및 장치, 단일 화질 값 기반의 HDR 이미지 부호화 방법{Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value}Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value}

본 발명은 이미지 부호화 장치의 전처리 및 부호화에 관한 것으로, 특히 단일 화질 값 기반의 HDR 이미지 부호화 장치의 전처리 방법 및 장치, 단일 화질 값 기반의 HDR 이미지 부호화 방법에 관한 것이다. The present invention relates to pre-processing and encoding of an image encoding apparatus, and more particularly, to a pre-processing method and apparatus for an HDR image encoding apparatus based on a single image quality value, and an HDR image encoding method based on a single image quality value.

JPEG XT는 2012년에 ISO/IEC에서 국제 표준화 작업을 시작하여 진행 중인 높은 동적 범위(HDR) 정지 영상을 위한 국제 규격의 이름이다. 동영상 부호화 국제 표준인 MPEG에서도 HDR 동영상 부호화 표준화를 진행중이다. JPEG XT is the name of the international standard for high dynamic range (HDR) still images, which was started by ISO/IEC in 2012 for international standardization and is in progress. MPEG, which is an international standard for video encoding, is also in the process of standardizing HDR video encoding.

HDR은 high dynamic range의 약어이고, dynamic range는 정지 영상의 화면에 보이는 밝기의 최대 값과 최소 값의 범위를 일컫는다. 따라서 high dynamic range는 이 밝기 값의 범위가 넓다는 것을 의미하기 때문에 풍부한 화면 정보를 담을 수 있다. 반면 LDR은 low dynamic range 의 약어로 현재 시장에서 많이 쓰이고 있는 대부분의 이미지는 밝기 값이 0에서 255단계 즉 8비트의 정보를 가지는 낮은 동적 점위(LDR) 이미지이다.HDR is an abbreviation of high dynamic range, and dynamic range refers to the range of the maximum and minimum values of brightness displayed on the screen of a still image. Therefore, high dynamic range means that the range of this brightness value is wide, so it can contain rich screen information. On the other hand, LDR is an abbreviation of low dynamic range, and most images currently used in the market are low dynamic range (LDR) images with brightness values ranging from 0 to 255, that is, 8 bits of information.

시장에서는 이미 12비트, 14비트의 정지 화상을 획득할 수 있는 장비들이 출시되어 많이 사용되고 있는 상황에서 8비트 이상의 정지 화상을 효율적으로 부호화하고 교환하기 위한 국제 규격을 제정하고자 JPEG XT가 출현하게 되었다.In a situation where equipment capable of acquiring 12-bit and 14-bit still images has already been released and widely used in the market, JPEG XT appeared to establish an international standard for efficiently encoding and exchanging 8-bit or more still images.

JPEG XT 이미지 부호화 규격은 기저 계층과 레지듀얼 계층 등 두 개의 계층으로 HDR 이미지를 부호화하도록 정의되어 있다. 하위 호환성을 제공하기 위하여 기존 JPEG 부호화 장치를 이용하여 LDR 이미지와 레지듀얼(residual) 이미지를 각각 부호화하고 하나의 바이트 열로 이루어진 단일 JPG 파일로 저장한다. The JPEG XT image encoding standard is defined to encode an HDR image in two layers: a base layer and a residual layer. In order to provide backward compatibility, an LDR image and a residual image are encoded using an existing JPEG encoding device, respectively, and stored as a single JPG file consisting of one byte stream.

JPEG XT 이미지 부호과 규격에서 LDR 이미지를 부호화하는 계층을 기저 계층(Base layer)이라고 하고 HDR 이미지와 LDR 이미지간의 레지듀얼 값에 기초한 레지듀얼이미지를 부호화하는 계층을 레지듀얼 계층(Residual Layer)이라고 한다. 이 두 계층을 부호화하기 위해서 새로운 부호화 장치가 필요한 것이 아니라 이미 시장에서 많이 사용되고 있는 ISO/IEC 10918 JPEG 부호화 장치를 통해 부호화를 수행한다는 것이 특징이다. In the JPEG XT image code and standard, the layer that encodes the LDR image is called the base layer, and the layer that encodes the residual image based on the residual value between the HDR image and the LDR image is called the residual layer. In order to encode these two layers, a new encoding device is not required, but encoding is performed through the ISO/IEC 10918 JPEG encoding device, which is already widely used in the market.

JPEG 부호화 장치는 부호화를 적용할 이미지의 화질(Quality)을 지정할 수 있으며, 이 화질 값에 따라 복원되는 이미지의 품질이 결정된다. The JPEG encoding apparatus may designate a quality of an image to which encoding is applied, and the quality of a reconstructed image is determined according to the quality value.

결과적으로, JPEG XT 부호화 장치는 기저 계층과 레지듀얼 계층에서 JPEG 부호화 장치가 포함되고 기저 계층과 레지듀얼 계층의 부호화를 위한 화질 값을 각각 설정하여야 하기 때문에 사용자에게 번거로움이 있다. As a result, the JPEG XT encoding apparatus is inconvenient to the user because the JPEG encoding apparatus is included in the base layer and the residual layer, and image quality values for encoding the base layer and the residual layer must be set respectively.

따라서, 사용자가 기저 계층과 레지듀얼 계층 각각에 대해 개별적으로 화질을 지정하지 않고, 단일한 화질을 지정하는 것만으로도 그 단일한 화질 내에서 대응되는 최적의 품질을 가진 복원 이미지를 복원할 수 있게 해주는 부호화 장치의 개발 필요성이 대두되고 있다. Therefore, the user can restore a restored image having the optimal quality corresponding within the single image quality only by specifying a single image quality without individually specifying the image quality for each of the base layer and the residual layer. The need to develop an encoding device that does this is emerging.

관련 선행 기술로는 미국공개특허 2014-0086321(발명의 명칭: HIGH DYNAMAIC RANGE CODECS, 출원일: 2013.11.08)이 존재한다. As a related prior art, US Patent Publication No. 2014-0086321 (title of the invention: HIGH DYNAMAIC RANGE CODECS, filing date: 2013.11.08) exists.

본 발명의 목적은 단일 화질 값만을 설정하여 높은 동적 범위(HDR) 이미지를 부호화하는 부호화 장치를 구현하기 위한 전처리 방법 및 장치, 그리고 단일 화질 값만을 설정하여 높은 동적 범위(HDR) 이미지를 부호화 부호화 방법을 제공하는 것이다. An object of the present invention is a preprocessing method and apparatus for implementing an encoding apparatus for encoding a high dynamic range (HDR) image by setting only a single image quality value, and a method for encoding a high dynamic range (HDR) image by setting only a single image quality value is to provide

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 단일 화질 값만을 설정하여 높은 동적 범위(HDR) 이미지를 부호화하는 부호화 장치를 구현하기 위한 전처리 방법은 상기 HDR 이미지에 톤 매핑을 적용하여 생성된 낮은 동적 범위(LDR) 이미지의 부호화에 적용될 제1 화질 값을 입력받는 단계; 상기 HDR 이미지와 상기 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 상기 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값을 산출하는 단계; 및 상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 나타내는 화질값 관계식을 산출하는 단계를 포함한다. A pre-processing method for implementing an encoding apparatus for encoding a high dynamic range (HDR) image by setting only a single image quality value according to an embodiment of the present invention for achieving the above object is generated by applying tone mapping to the HDR image. receiving a first image quality value to be applied to encoding a low dynamic range (LDR) image; Calculating an optimal second image quality value at which the restored image corresponding to the HDR image has an optimal image quality from among a plurality of second image quality values applicable to a residual image corresponding to a residual value between the HDR image and the LDR image ; and calculating an image quality relational expression representing a relationship between the first image quality value and the optimal second image quality value.

바람직하게는, 상기 화질 값 관계식을 산출하는 단계는 상기 제1 화질 값에 기초하여 부호화될 상기 LDR 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 상기 블럭별 DCT 변환 계수를 산출하는 단계; 상기 최적 제2 화질 값에 기초하여 부호화될 상기 레지듀얼 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 상기 블럭별 DCT 변환 계수를 산출하는 단계; 및 상기 LDR 이미지의 상기 블럭별 DCT 변환 계수와 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수에 기초하여 상기 화질 값 관계식을 산출하는 단계를 포함할 수 있다. Preferably, the calculating of the image quality value relational expression comprises: performing DCT transformation by dividing the LDR image to be encoded into a plurality of blocks based on the first image quality value, and calculating DCT transformation coefficients for each block; performing DCT transform by dividing the residual image to be encoded into a plurality of blocks based on the optimal second quality value, and calculating DCT transform coefficients for each block; and calculating the image quality value relational expression based on the DCT transform coefficients for each block of the LDR image and the DCT transform coefficients for each block of the residual image.

바람직하게는, 상기 LDR 이미지의 상기 블럭별 DCT 변환 계수는 상기 제1 화질 값에 기초하여 결정되고, 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수는 상기 최적 제2 화질 값에 기초하여 결정될 때, 상기 화질 값 관계식은 상기 제1 화질 값과 상기 최적 제2 화질 값간의 n차 방정식(n은 1이상의 정수)으로 표시될 수 있다. Preferably, when the DCT transform coefficient for each block of the LDR image is determined based on the first image quality value, and the DCT transform coefficient for each block of the residual image is determined based on the optimal second image quality value, The image quality value relational expression may be expressed as an nth order equation (n is an integer greater than or equal to 1) between the first image quality value and the optimal second image quality value.

바람직하게는, 상기 LDR 이미지의 상기 블럭별 DCT 변환 계수와 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수에 기초하여 상기 화질 값 관계식을 산출하는 단계는 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제1 비교 값을 산출하는 단계; 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제2 비교 값을 산출하는 단계; 및 상기 제1 비교 값과 상기 제2 비교 값에 기초하여, 상기 화질 값 관계식을 산출하는 단계를 포함할 수 있다. Preferably, the step of calculating the image quality value relational expression based on the DCT transform coefficient for each block of the LDR image and the DCT transform coefficient for each block of the residual image comprises: DCT transform coefficient for each block of the DCT-transformed LDR image calculating a first comparison value that is a comparison value between the two groups; calculating a second comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed residual image; and calculating the image quality value relational expression based on the first comparison value and the second comparison value.

바람직하게는, 상기 제1 비교 값은 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값이고, 상기 제2 비교 값은 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값일 수 있다. Preferably, the first comparison value is a variance value of the DCT transform coefficients for each block of the DCT-transformed LDR image, and the second comparison value is a variance value of the DCT transform coefficients for each block of the DCT-transformed residual image. have.

바람직하게는, 상기 화질 값 관계식은 수학식 2 또는 수학식 3에 의거하여 정의될 수 있다. Preferably, the image quality value relational expression may be defined based on Equation 2 or Equation 3.

[수학식 2][Equation 2]

Figure 112015021033717-pat00001
Figure 112015021033717-pat00001

[수학식 3][Equation 3]

Figure 112015021033717-pat00002
Figure 112015021033717-pat00002

이때, 상기 Q는 상기 최적 제2 화질 값을 나타내고, 상기 q는 상기 제1 화질 값을 나타내고,

Figure 112015021033717-pat00003
는 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값이고,
Figure 112015021033717-pat00004
는 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값을 나타낸다. In this case, Q represents the optimal second quality value, and q represents the first image quality value,
Figure 112015021033717-pat00003
is a variance value of DCT transform coefficients for each block of the DCT-transformed residual image,
Figure 112015021033717-pat00004
denotes a variance value of DCT transform coefficients for each block of the DCT-transformed LDR image.

바람직하게는, 본 발명의 일 실시예에 부호화 장치의 전처리 방법은 상기 제1 화질 값 및 상기 화질값 관계식에 기초하여 산출된 상기 제1 화질 값에 대응되는 상기 최적 제2 화질 값을 표시한 매핑 테이블을 생성하는 단계를 더 포함하고, 상기 매핑 테이블은 상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 정량적으로 표시한 결과 값을 선택적으로 더 포함할 수 있다. Preferably, in an embodiment of the present invention, the pre-processing method of the encoding apparatus displays the first image quality value and the optimal second image quality value corresponding to the first image quality value calculated based on the relational expression for the image quality value. The method may further include generating a table, wherein the mapping table may optionally further include a result value of quantitatively indicating a relationship between the first image quality value and the optimal second image quality value.

바람직하게는, 상기 제1 화질 값 및 상기 제2 화질 값은 소정 개수의 단계 중 하나로 구분되거나, 정량적인 수치로 표시될 수 있다. Preferably, the first image quality value and the second image quality value may be divided into one of a predetermined number of steps or may be displayed as quantitative values.

바람직하게는, 상기 최적 제2 화질 값을 산출하는 단계는 상기 제1 화질 값에 기초하여 상기 LDR 이미지를 부호화하여 부호화된 LDR 이미지를 생성하는 단계;상기 복수의 제2 화질 값에 기초하여 상기 레지듀얼 이미지를 부호화하여 복수의 부호화된 레지듀얼 이미지를 생성하는 단계; 상기 부호화된 LDR 이미지와 상기 복수의 부호화된 레지듀얼 이미지에 기초하여 복수의 복원 이미지를 생성하는 단계; 및 상기 복수의 복원 이미지 중에서 상기 HDR 이미지와의 PSNR(Peak Signal to Noise Ratio)이 가장 높은 복원 이미지에 대응되는 제2 화질 값을 상기 최적 제2 화질 값으로 산출하는 단계를 포함할 수 있다. Preferably, the calculating of the optimal second image quality value comprises: generating an encoded LDR image by encoding the LDR image based on the first image quality value; generating a plurality of encoded residual images by encoding the dual images; generating a plurality of reconstructed images based on the encoded LDR image and the plurality of encoded residual images; and calculating a second image quality value corresponding to a restored image having the highest peak signal to noise ratio (PSNR) with the HDR image among the plurality of restored images as the optimal second image quality value.

또한, 상기 목적을 달성하기 위한 본 발명의 일 실시에에 따른 단일 화질 값만을 설정하여 높은 동적 범위(HDR) 이미지를 부호화하는 부호화 장치를 구현하기 위해 상기 부호화 장치에 탑재된 전처리 장치는 상기 HDR 이미지에 톤 매핑을 적용하여 생성된 낮은 동적 범위(LDR) 이미지의 부호화에 적용될 제1 화질 값을 입력받는 입력부; 상기 HDR 이미지와 상기 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 상기 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값을 산출하는 최적 화질값 산출부; 및 상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 나타내는 화질값 관계식을 산출하는 관계식 산출부를 포함한다. In addition, in order to implement an encoding apparatus for encoding a high dynamic range (HDR) image by setting only a single image quality value according to an embodiment of the present invention for achieving the above object, the pre-processing unit mounted on the encoding apparatus is the HDR image an input unit for receiving a first image quality value to be applied to encoding a low dynamic range (LDR) image generated by applying tone mapping to ; Optimal for calculating an optimal second image quality value at which the restored image corresponding to the HDR image has an optimal image quality among a plurality of second image quality values applicable to a residual image corresponding to a residual value between the HDR image and the LDR image image quality calculation unit; and a relational expression calculator configured to calculate an image quality relational expression representing a relationship between the first image quality value and the optimal second image quality value.

바람직하게는, 상기 관계식 산출부는 상기 제1 화질 값에 기초하여 부호화될 상기 LDR 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 상기 블럭별 DCT 변환 계수를 산출하고, 상기 최적 제2 화질 값에 기초하여 부호화될 상기 레지듀얼 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 상기 블럭별 DCT 변환 계수를 산출한 후, 상기 LDR 이미지의 상기 블럭별 DCT 변환 계수와 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수에 기초하여 상기 화질 값 관계식을 산출할 수 있다. Preferably, the relational expression calculator performs DCT transformation by dividing the LDR image to be encoded into a plurality of blocks based on the first image quality value, calculates DCT transform coefficients for each block, and the optimal second image quality value DCT transform is performed by dividing the residual image to be encoded into a plurality of blocks based on The image quality value relational expression may be calculated based on the DCT transform coefficients for each block.

바람직하게는, 상기 LDR 이미지의 상기 블럭별 DCT 변환 계수는 상기 제1 화질 값에 기초하여 결정되고, 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수는 상기 최적 제2 화질 값에 기초하여 결정될 때, 상기 화질 값 관계식은 상기 제1 화질 값과 상기 최적 제2 화질 값간의 n차 방정식(n은 1이상의 정수)으로 표시될 수 있다. Preferably, when the DCT transform coefficient for each block of the LDR image is determined based on the first image quality value, and the DCT transform coefficient for each block of the residual image is determined based on the optimal second image quality value, The image quality value relational expression may be expressed as an nth order equation (n is an integer greater than or equal to 1) between the first image quality value and the optimal second image quality value.

바람직하게는, 상기 관계식 산출부는 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제1 비교 값을 산출하고, 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제2 비교 값을 산출하는 동작을 더 수행하고, 상기 화질 값 관계식은 상기 제1 비교 값과 상기 제2 비교 값에 기초하여 산출될 수 있다. Preferably, the relational expression calculator calculates a first comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed LDR image, and a second comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed residual image. An operation of calculating a value may be further performed, and the image quality value relational expression may be calculated based on the first comparison value and the second comparison value.

바람직하게는, 상기 제1 비교 값은 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값이고, 상기 제2 비교 값은 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값일 수 있다. Preferably, the first comparison value is a variance value of the DCT transform coefficients for each block of the DCT-transformed LDR image, and the second comparison value is a variance value of the DCT transform coefficients for each block of the DCT-transformed residual image. have.

바람직하게는, 상기 화질 값 관계식은 수학식 1 또는 수학식 2에 의거하여 정의될 수 있다. Preferably, the image quality value relational expression may be defined based on Equation 1 or Equation 2.

[수학식 2][Equation 2]

Figure 112015021033717-pat00005
Figure 112015021033717-pat00005

[수학식 3][Equation 3]

Figure 112015021033717-pat00006
Figure 112015021033717-pat00006

이때, 상기 Q는 상기 최적 제2 화질 값을 나타내고, 상기 q는 상기 제1 화질 값을 나타내고,

Figure 112015021033717-pat00007
는 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값이고,
Figure 112015021033717-pat00008
는 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값을 나타낸다. In this case, Q represents the optimal second quality value, and q represents the first image quality value,
Figure 112015021033717-pat00007
is a variance value of DCT transform coefficients for each block of the DCT-transformed residual image,
Figure 112015021033717-pat00008
denotes a variance value of DCT transform coefficients for each block of the DCT-transformed LDR image.

바람직하게는, 본 발명의 일 실시에에 따른 전처리 장치는 상기 제1 화질 값 및 상기 화질값 관계식에 기초하여 산출된 상기 제1 화질 값에 대응되는 상기 최적 제2 화질 값을 표시한 매핑 테이블을 생성하는 매핑 테이블 생성부를 더 포함하고,상기 매핑 테이블은 상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 정량적으로 표시한 결과 값을 선택적으로 더 포함할 수 있다. Preferably, the pre-processing apparatus according to an embodiment of the present invention generates a mapping table indicating the first image quality value and the optimal second image quality value corresponding to the first image quality value calculated based on the image quality value relational expression. The method may further include a mapping table generator to generate the mapping table, wherein the mapping table may optionally further include a result value of quantitatively indicating a relationship between the first image quality value and the optimal second image quality value.

바람직하게는, 상기 제1 화질 값 및 상기 제2 화질 값은 소정 개수의 단계 중 하나로 구분되거나, 정량적인 수치로 표시될 수 있다. Preferably, the first image quality value and the second image quality value may be divided into one of a predetermined number of steps or may be displayed as quantitative values.

바람직하게는, 상기 최적 화질값 산출부는 상기 제1 화질 값에 기초하여 상기 LDR 이미지를 부호화하여 부호화된 LDR 이미지를 생성하는 제1 부호화부; 상기 복수의 제2 화질 값에 기초하여 상기 레지듀얼 이미지를 부호화하여 복수의 부호화된 레지듀얼 이미지를 생성하는 제2 부호화부; 상기 부호화된 LDR 이미지와 상기 복수의 부호화된 레지듀얼 이미지에 기초하여 복수의 복원 이미지를 생성하는 복원부; 및 상기 복수의 복원 이미지 중에서 상기 HDR 이미지와의 PSNR(Peak Signal to Noise Ratio)이 가장 높은 복원 이미지에 대응되는 제2 화질 값을 상기 최적 제2 화질 값으로 산출하는 연산부를 포함할 수 있다. Preferably, the optimal image quality value calculating unit comprises: a first encoder for encoding the LDR image based on the first image quality value to generate an encoded LDR image; a second encoder for encoding the residual images based on the plurality of second image quality values to generate a plurality of encoded residual images; a reconstruction unit for generating a plurality of reconstructed images based on the encoded LDR image and the plurality of encoded residual images; and a calculator configured to calculate a second image quality value corresponding to a restored image having the highest peak signal to noise ratio (PSNR) with the HDR image among the plurality of restored images as the optimal second image quality value.

또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 단일 화질 값을 기반으로 높은 동적 범위(HDR) 이미지를 부호화하는 방법은 상기 HDR 이미지에 톤 매핑을 적용하여 생성된 낮은 동적 범위(LDR) 이미지의 부호화에 적용될 제1 화질 값을 입력받는 단계; 상기 HDR 이미지와 상기 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 상기 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값과 상기 제1 화질 값간의 관계를 나타내는 화질 값 관계식에 기초하여, 상기 최적 제2 화질 값을 산출하는 단계; 및 상기 제1 화질 값 및 상기 최적 제2화질 값에 기초하여, 상기 LDR 이미지 및 상기 레지듀얼 이미지를 부호화하는 단계를 포함한다. In addition, the method of encoding a high dynamic range (HDR) image based on a single image quality value according to an embodiment of the present invention for achieving the above object is a low dynamic range (LDR) generated by applying tone mapping to the HDR image. ) receiving a first image quality value to be applied to image encoding; Among a plurality of second image quality values applicable to a residual image corresponding to a residual value between the HDR image and the LDR image, an optimal second image quality value at which the restored image corresponding to the HDR image has an optimal image quality and the first image quality value calculating the optimal second image quality value based on an image quality value relational expression indicating a relationship between image quality values; and encoding the LDR image and the residual image based on the first image quality value and the optimal second image quality value.

본 발명에 따르면 사용자가 낮은 동적 범위(LDR) 이미지에 적용될 제1 화질 값만 설정해주면 화질값 관계식에 기초하여 레지듀얼 이미지에 적용될 최적의 제2 화질값이 자동으로 결정되므로, 단일 화질 값인 제1 화질 값만을 기반으로 높은 동적 범위(HDR) 이미지를 부호화할 수 있게 되는 장점이 있다. According to the present invention, if the user sets only the first image quality value to be applied to the low dynamic range (LDR) image, the optimal second image quality value to be applied to the residual image is automatically determined based on the image quality value relational expression. It has the advantage of being able to encode high dynamic range (HDR) images based only on values.

도 1은 본 발명의 일 실시예에 따른 부호화 장치의 전처리 방법을 설명하기 위하여 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 레지듀얼 이미지의 부호화에 적용될 최적의 제2 화질 값을 산출하는 방법을 설명하기 위하여 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 LDR 이미지의 부호화에 적용될 제1 화질 값과 레지듀얼 이미지의 부호화에 적용될 최적의 제2 화질 값간의 관계식을 산출하는 방법을 설명하기 위하여 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 부호화 장치에 탑재된 전처리 장치를 설명하기 위하여 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 최적 화질 값 산출부를 설명하기 위하여 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 단일 화질 값에 기초하여 HDR 이미지를 부호화하는 방법을 설명하기 위하여 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 부호화 장치의 전처리 방법이 적용된 부호화 시스템을 설명하기 위하여 도시한 도면이다. 1 is a flowchart illustrating a pre-processing method of an encoding apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of calculating an optimal second image quality value to be applied to encoding a residual image according to an embodiment of the present invention.
3 is a flowchart illustrating a method of calculating a relational expression between a first image quality value to be applied to encoding an LDR image and an optimal second image quality value to be applied to encoding a residual image according to an embodiment of the present invention.
4 is a diagram illustrating a pre-processing apparatus mounted in an encoding apparatus according to an embodiment of the present invention.
5 is a diagram illustrating an optimal image quality value calculator according to an embodiment of the present invention.
6 is a flowchart illustrating a method of encoding an HDR image based on a single image quality value according to an embodiment of the present invention.
7 is a diagram illustrating an encoding system to which a preprocessing method of an encoding apparatus according to an embodiment of the present invention is applied.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

이하에서는, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 부호화 장치의 전처리 방법을 설명하기 위하여 도시한 흐름도이다. 1 is a flowchart illustrating a pre-processing method of an encoding apparatus according to an embodiment of the present invention.

단계 110에서는, 부호화 장치에 탑재된 전처리 장치가 높은 동적 범위(HDR) 이미지에 톤 매핑을 적용하여 생성된 낮은 동적 범위(LDR) 이미지의 부호화에 적용될 제1 화질 값을 입력받는다. In operation 110, the preprocessing unit mounted in the encoding apparatus receives a first image quality value to be applied to encoding a low dynamic range (LDR) image generated by applying tone mapping to a high dynamic range (HDR) image.

이때, 제1 화질 값은 소정 개수의 단계 중 하나로 구분되거나, 정량적인 수치로 표시될 수 있다. 예컨대, 제1 화질 값은 상, 중, 하와 같이 3개 단계로 구분될 수도 있고, 1~100과 같이 정량적인 범위 중 하나의 수치일 수 있으며, 사용자에 의해 입력될 수 있다. In this case, the first image quality value may be divided into one of a predetermined number of steps or may be displayed as a quantitative value. For example, the first image quality value may be divided into three steps, such as upper, middle, and lower, may be a numerical value in a quantitative range such as 1 to 100, and may be input by a user.

또한, 톤 매핑 과정은 HDR 이미지를 LDR 이미지로 변환하기 위한 처리 과정으로 당업자에게 자명한 과정이므로 자세한 설명은 생략한다. In addition, since the tone mapping process is a process for converting an HDR image into an LDR image and is obvious to those skilled in the art, a detailed description thereof will be omitted.

한편, 본 발명에서 이미지는 정지 이미지 뿐만 아니라 동영상의 이미지 프레임까지 포함하는 개념으로, 본 발명은 정지 이미지와 동영상에 모두 적용될 수 있다. Meanwhile, in the present invention, an image includes not only a still image but also an image frame of a moving image, and the present invention can be applied to both a still image and a moving image.

단계 120에서는, 전처리 장치가 HDR 이미지와 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값을 산출한다. In step 120, the pre-processing unit optimizes the second image quality value at which the restored image corresponding to the HDR image has the optimal image quality among the plurality of second image quality values applicable to the residual image corresponding to the residual value between the HDR image and the LDR image. to calculate

이때, HDR 이미지에 대응되는 복원 이미지는 부호화된 LDR 이미지와 부호화된 레지듀얼 이미지에 기초하여 복원된 이미지로서, 원본 이미지인 HDR 이미지와 복원 이미지간의 PSNR(Peak Signal to Noise Ratio)이 가장 높은 복원 이미지에 대응되는 제2 화질이 최적 제2 화질 값이 된다. In this case, the reconstructed image corresponding to the HDR image is a reconstructed image based on the encoded LDR image and the encoded residual image, and has the highest Peak Signal to Noise Ratio (PSNR) between the original HDR image and the reconstructed image. The second image quality corresponding to , becomes the optimal second image quality value.

예컨대, LDR 이미지에 대응되는 제1 화질 값이 '상'일때, 레지듀얼 이미지에 대응되는 제2 화질 값은 '상'으로 자동 결정될 수 있고, 복원 이미지는 제1 화질 값인 '상'에 대응되는 이미지로 복원될 수 있다. For example, when the first image quality value corresponding to the LDR image is 'up', the second image quality value corresponding to the residual image may be automatically determined as 'up', and the restored image corresponds to the first image quality value of 'up'. It can be restored as an image.

최적 제2 화질 값을 산출하는 구체적인 동작에 대해서는 도 2를 참조하여 후술한다. A detailed operation of calculating the optimal second image quality value will be described later with reference to FIG. 2 .

단계 130에서는, 전처리 장치가 제1 화질 값과 최적 제2 화질 값간의 관계를 나타내는 화질값 관계식을 산출한다. In step 130, the pre-processing unit calculates an image quality relational expression representing a relationship between the first image quality value and the optimal second image quality value.

이와 같이, 본 발명에서는 사용자로부터 LDR 이미지의 부호화에 적용될 제1 화질 값이 입력되면 그에 대응되는 레지듀얼 이미지의 부호화에 적용될 최적 제2 화질 값을 산출하기 위한 화질값 관계식을 산출함으로써, 향후 HDR 이미지를 부호화하는 경우 사용자로부터 제1 화질 값만 입력받더라도 화질값 관계식에 기초하여 최적의 제2 화질 값을 자동으로 결정할 수 있게 된다. As described above, in the present invention, when a first image quality value to be applied to encoding an LDR image is input from a user, the image quality value relational expression for calculating an optimal second image quality value to be applied to encoding a corresponding residual image is calculated. In the case of encoding , even if only the first image quality value is input from the user, it is possible to automatically determine the optimal second image quality value based on the image quality value relational expression.

즉, 본 발명에 따르면 사용자가 제1 화질 값만 설정해주면 화질값 관계식에 기초하여 최적의 제2 화질값이 자동으로 결정되므로 단일 화질 값(제1 화질 값)을 기반으로 HDR 이미지를 부호화할 수 있게 되는 장점이 있다. That is, according to the present invention, if the user sets only the first image quality value, the optimal second image quality value is automatically determined based on the image quality value relational expression, so that the HDR image can be encoded based on a single image quality value (the first image quality value). has the advantage of being

또한, 화질값 관계식을 이용하여 HDR 이미지 부호화를 수행하게 되면, 사전에 특정한 제1 화질 값에 대해서 대응되는 최적 제2 화질 값을 계산하지 않은 경우라도, 최적 제2 화질 값을 계산하는 모든 과정을 새롭게 거칠 필요 없이, 화질 값 관계식을 통해 제1 화질 값에 대응되는 최적 제2 화질 값을 간단히 산출할 수 있어, 최적 제2 화질 값을 산출하기 위한 연산량 및 연산 시간을 단축시킬 수 있다. In addition, when HDR image encoding is performed using the image quality relational expression, the entire process of calculating the optimal second image quality value is performed even when the optimal second image quality value corresponding to the specific first image quality value is not previously calculated. It is possible to simply calculate the optimal second image quality value corresponding to the first image quality value through the image quality value relational expression without the need for a new process, thereby reducing the amount of computation and the computation time for calculating the optimal second image quality value.

예컨대, 제1 화질 값의 범위가 1~100까지 일때, 사전에 1~40까지의 제1 화질 값에 대응되는 최적 제2 화질 값만 계산되었더라도, 41~100에 해당하는 제1 화질 값에 대응되는 최적 제2 화질 값은 화질값 관계식을 통해 복잡한 연산 없이 간단히 산출할 수 있게 된다. For example, when the range of the first image quality value is from 1 to 100, even if only the optimal second image quality value corresponding to the first image quality value from 1 to 40 is calculated in advance, the first image quality value corresponding to the first image quality value 41 to 100 is calculated. The optimal second image quality value can be simply calculated without complicated calculation through the image quality value relational expression.

도 2는 본 발명의 일 실시예에 따른 레지듀얼 이미지의 부호화에 적용될 최적의 제2 화질 값을 산출하는 방법을 설명하기 위하여 도시한 흐름도이다. 2 is a flowchart illustrating a method of calculating an optimal second image quality value to be applied to encoding a residual image according to an embodiment of the present invention.

단계 210에서는, 전처리 장치가 입력받은 제1 화질 값에 기초하여 LDR 이미지를 부호화하여 부호화된 LDR 이미지를 생성한다. In step 210, the preprocessor generates an encoded LDR image by encoding the LDR image based on the received first image quality value.

단계 220에서는, 전처리 장치가 복수의 제2 화질 값에 기초하여 레지듀얼 이미지를 부호화하여 복수의 부호화된 레지듀얼 이미지를 생성한다. In operation 220, the preprocessing unit generates a plurality of encoded residual images by encoding the residual images based on the plurality of second image quality values.

예컨대, 제2 화질 값의 범위가 1~100이라면, 전처리 장치는 1~100에 해당하는 제2 화질 값으로 레지듀얼 이미지를 부호화함으로써 100개의 부호화된 레지듀얼 이미지를 생성할 수 있다. For example, if the range of the second image quality value is 1 to 100, the preprocessor may generate 100 encoded residual images by encoding the residual images with the second image quality value corresponding to 1 to 100.

단계 230에서는, 전처리 장치가 그 부호화된 LDR 이미지와 복수의 부호화된 레지듀얼 이미지에 기초하여 복수의 복원 이미지를 생성한다. In step 230, the preprocessor generates a plurality of reconstructed images based on the encoded LDR image and the plurality of encoded residual images.

예컨대, 제1 화질 값에 기초하여 부호화된 LDR 이미지에 대응하여 100개의 제2 화질 값에 기초하여 부호화된 레지듀얼 이미지가 존재하게 되면, 전처리 장치는 복호화 과정을 통해 100개의 복원 이미지를 생성할 수 있다. For example, if there are residual images encoded based on 100 second image quality values corresponding to the LDR images encoded based on the first image quality value, the preprocessor may generate 100 reconstructed images through the decoding process. have.

단계 240에서는, 복수의 복원 이미지 중에서 HDR 이미지와의 PSNR(Peak Signal to Noise Ratio)이 가장 높은 복원 이미지에 대응되는 제2 화질 값을 최적 제2 화질 값으로 산출한다. In operation 240, a second image quality value corresponding to a restored image having the highest peak signal to noise ratio (PSNR) with the HDR image among the plurality of restored images is calculated as an optimal second image quality value.

예컨대, 제1 화질 값이 36일때, 100개의 복원 이미지 중에서 HDR 이미지와의 PSNR(Peak Signal to Noise Ratio)이 가장 높은 복원 이미지에 대응되는 제2 화질 값이 52라면 최적 제2 화질 값은 52가 되는 것이다. For example, when the first image quality value is 36, if the second image quality value corresponding to the restored image having the highest PSNR (Peak Signal to Noise Ratio) with the HDR image among 100 restored images is 52, the optimal second image quality value is 52 will become

도 3은 본 발명의 일 실시예에 따라 LDR 이미지의 부호화에 적용될 제1 화질 값과 레지듀얼 이미지의 부호화에 적용될 최적의 제2 화질 값간의 관계식을 산출하는 방법을 설명하기 위하여 도시한 흐름도이다. 3 is a flowchart illustrating a method of calculating a relational expression between a first image quality value to be applied to encoding an LDR image and an optimal second image quality value to be applied to encoding a residual image according to an embodiment of the present invention.

단계 310에서는, 전처리 장치가 제1 화질 값에 기초하여 부호화될 LDR 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 블럭별 DCT 변환 계수를 산출한다. In step 310, the preprocessor divides the LDR image to be encoded into a plurality of blocks based on the first image quality value, performs DCT transform, and calculates DCT transform coefficients for each block.

보다 구체적으로는, LDR 이미지를 부호화하기 위해서는 LDR 이미지의 각각의 블럭에 대하여 DCT 변환을 수행하고, 양자화를 수행한 후에 부호화를 수행하게 되는데, 단계 310에서는 LDR 이미지의 부호화를 위해 블럭별로 DCT 변환이 수행되면 블럭별 DCT 변환 계수를 산출하는 것이다. More specifically, in order to encode an LDR image, DCT transformation is performed on each block of the LDR image, and encoding is performed after quantization. In step 310, DCT transformation is performed for each block for encoding the LDR image. When performed, DCT transform coefficients for each block are calculated.

이때, DCT 변환 계수는 블록별로 상이한 값으로 산출될 수 있다. In this case, the DCT transform coefficients may be calculated as different values for each block.

단계 320에서는, 전처리 장치가 최적 제2 화질 값에 기초하여 부호화될 레지듀얼 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 블럭별 DCT 변환 계수를 산출한다. In operation 320, the preprocessing unit performs DCT transformation by dividing the residual image to be encoded into a plurality of blocks based on the optimal second image quality value, and calculates DCT transformation coefficients for each block.

단계 330에서는, LDR 이미지의 블럭별 DCT 변환 계수와 레지듀얼 이미지의 블럭별 DCT 변환 계수에 기초하여 화질 값 관계식을 산출한다. In step 330, a picture quality value relational expression is calculated based on the DCT transform coefficients for each block of the LDR image and the DCT transform coefficients for each block of the residual image.

이때, 화질 값 관계식은 수학식 1과 같이 제1 화질 값과 최적 제2 화질 값간의 n차 방정식(n은 1이상의 정수)으로 정의될 수 있다. In this case, the image quality relational expression may be defined as an nth-order equation (n is an integer greater than or equal to 1) between the first image quality value and the optimal second image quality value, as in Equation (1).

[수학식 1][Equation 1]

Figure 112015021033717-pat00009
Figure 112015021033717-pat00009

이때, Q는 최적 제2 화질 값을 나타내고, q는 제1 화질 값을 나타내며, A 내지 M은 0이상의 정수이다. In this case, Q denotes an optimal second image quality value, q denotes a first image quality value, and A to M are integers greater than or equal to 0.

한편, 다른 실시예에서는 화질 값 관계식이 LDR 이미지 및 레지듀얼 이미지의 블럭별 DCT 변환 계수간의 비교 값을 이용하여 산출될 수 있는데, 다음과 같은 과정을 거친다. Meanwhile, in another embodiment, the image quality relational expression may be calculated by using a comparison value between the DCT transform coefficients for each block of the LDR image and the residual image, and the following process is performed.

첫번째 단계에서, 전처리 장치는 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제1 비교 값을 산출한다. In a first step, the preprocessor calculates a first comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed LDR image.

두번째 단계에서, 전처리 장치는 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제2 비교 값을 산출한다. In the second step, the preprocessor calculates a second comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed residual image.

세번째 단계에서, 전처리 장치는 제1 비교 값과 제2 비교 값에 기초하여, 화질 값 관계식을 산출한다. In the third step, the pre-processing unit calculates an image quality relational expression based on the first comparison value and the second comparison value.

이때, 제1 비교 값은 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값이고, 제2 비교 값은 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값일 수 있다. In this case, the first comparison value may be a variance value of DCT transform coefficients for each block of the DCT-transformed LDR image, and the second comparison value may be a variance value of the DCT transform coefficients for each block of the DCT-transformed residual image.

또 다른 실시예에서는, 화질 값 관계식이 수학식 2 또는 수학식 3에 의거하여 정의될 수 있다. In another embodiment, the image quality value relation may be defined based on Equation 2 or Equation 3.

[수학식 2][Equation 2]

Figure 112015021033717-pat00010
Figure 112015021033717-pat00010

[수학식 3][Equation 3]

Figure 112015021033717-pat00011
Figure 112015021033717-pat00011

이때, Q는 최적 제2 화질 값을 나타내고, q는 제1 화질 값을 나타내고,

Figure 112015021033717-pat00012
는 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값이고,
Figure 112015021033717-pat00013
는 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값을 나타낸다. In this case, Q denotes the optimal second image quality value, q denotes the first image quality value,
Figure 112015021033717-pat00012
is the variance value of the DCT transform coefficients for each block of the DCT-transformed residual image,
Figure 112015021033717-pat00013
denotes the variance value of the DCT transform coefficients for each block of the DCT-transformed LDR image.

한편, 또 다른 실시예에서는 전처리 장치가 제1 화질 값 및 화질값 관계식에 기초하여 산출된 제1 화질 값에 대응되는 최적 제2 화질 값을 표시한 매핑 테이블을 생성할 수 있다. 이때, 매핑 테이블은 제1 화질 값과 최적 제2 화질 값간의 관계를 정량적으로 표시한 결과 값을 선택적으로 더 포함할 수 있다. Meanwhile, in another embodiment, the preprocessing apparatus may generate a mapping table indicating the first image quality value and the optimal second image quality value corresponding to the first image quality value calculated based on the relational expression of the image quality value. In this case, the mapping table may further selectively include a result value of quantitatively indicating the relationship between the first image quality value and the optimal second image quality value.

매핑 테이블의 예시는 표 1과 같다. An example of a mapping table is shown in Table 1.

[표 1][Table 1]

Figure 112015021033717-pat00014
Figure 112015021033717-pat00014

표 1을 참조하면, 표 1의 최상단에 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값

Figure 112015021033717-pat00015
과, DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값
Figure 112015021033717-pat00016
간의 관계가 정량적으로 표시되어 있고, 하단에는 그에 대응되는 최적 제2 화질 값 Q와 제1 화질 값 q가 표시되어 있다. Referring to Table 1, the variance value of the DCT transform coefficients for each block of the DCT-transformed residual image at the top of Table 1
Figure 112015021033717-pat00015
and the variance value of the DCT transform coefficient for each block of the DCT transformed LDR image
Figure 112015021033717-pat00016
The relationship between the two is quantitatively displayed, and an optimal second image quality value Q and a first image quality value q corresponding thereto are indicated at the bottom.

예컨대, 표 1을 참조하면, 제1 화질 값 q가 36일때 최적 제2 화질 값 Q는 52이고

Figure 112015021033717-pat00017
는 0.5인 것을 알 수 있다. For example, referring to Table 1, when the first image quality value q is 36, the optimal second image quality value Q is 52
Figure 112015021033717-pat00017
It can be seen that is 0.5.

도 4는 본 발명의 일 실시예에 따른 부호화 장치에 탑재된 전처리 장치를 설명하기 위하여 도시한 도면이다. 4 is a diagram illustrating a pre-processing apparatus mounted in an encoding apparatus according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 전처리 장치(400)는 입력부(410), 최적 화질 값 산출부(420) 및 관계식 산출부(430)를 포함한다. Referring to FIG. 4 , the preprocessing apparatus 400 according to an embodiment of the present invention includes an input unit 410 , an optimal image quality value calculation unit 420 , and a relational expression calculation unit 430 .

입력부(410)는 HDR 이미지에 톤 매핑을 적용하여 생성된 낮은 동적 범위(LDR) 이미지의 부호화에 적용될 제1 화질 값을 입력받는다. The input unit 410 receives a first quality value to be applied to encoding a low dynamic range (LDR) image generated by applying tone mapping to an HDR image.

최적 화질값 산출부(420)는 HDR 이미지와 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값을 산출한다. The optimal image quality calculation unit 420 is configured to provide an optimal second image quality in which the restored image corresponding to the HDR image has the optimal image quality among a plurality of second image quality values applicable to the residual image corresponding to the residual value between the HDR image and the LDR image. Calculate the quality value.

관계식 산출부(430)는 제1 화질 값과 최적 제2 화질 값간의 관계를 나타내는 화질값 관계식을 산출한다. The relational expression calculator 430 calculates an image quality relational expression representing the relationship between the first image quality value and the optimal second image quality value.

도 5는 본 발명의 일 실시예에 따른 최적 화질 값 산출부를 설명하기 위하여 도시한 도면이다. 5 is a diagram illustrating an optimal image quality value calculator according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 최적 화질 값 산출부(420)는 제1 부호화부(422), 제2 부호화부(424), 복원부(426) 및 연산부(428)를 포함한다. Referring to FIG. 5 , the optimum image quality value calculating unit 420 according to an embodiment of the present invention includes a first encoder 422 , a second encoder 424 , a restoration unit 426 , and an operation unit 428 . include

제1 부호화부(422)는 제1 화질 값에 기초하여 LDR 이미지를 부호화하여 부호화된 LDR 이미지를 생성한다. The first encoder 422 generates an encoded LDR image by encoding the LDR image based on the first image quality value.

제2 부호화부(424)는 복수의 제2 화질 값에 기초하여 레지듀얼 이미지를 부호화하여 복수의 부호화된 레지듀얼 이미지를 생성한다. The second encoder 424 generates a plurality of encoded residual images by encoding the residual images based on the plurality of second image quality values.

복원부(426)는 부호화된 LDR 이미지와 복수의 부호화된 레지듀얼 이미지에 기초하여 복수의 복원 이미지를 생성한다. The reconstructor 426 generates a plurality of reconstructed images based on the encoded LDR image and the plurality of encoded residual images.

연산부(428)는 복수의 복원 이미지 중에서 HDR 이미지와의 PSNR(Peak Signal to Noise Ratio)이 가장 높은 복원 이미지에 대응되는 제2 화질 값을 최적 제2 화질 값으로 산출한다. The calculator 428 calculates a second image quality value corresponding to a restored image having the highest peak signal to noise ratio (PSNR) with the HDR image among the plurality of restored images as an optimal second image quality value.

지금까지는 단일 화질 값 기반의 HDR 이미지 부호화 장치의 전처리 방법 및 장치에 대하여 설명하였다. 이하에서는 단일 화질 값에 기초하여 HDR 이미지를 부호화하는 방법 및 부호화 시스템에 대해 설명한다. So far, a pre-processing method and apparatus of an HDR image encoding apparatus based on a single image quality value have been described. Hereinafter, a method and encoding system for encoding an HDR image based on a single image quality value will be described.

도 6은 본 발명의 일 실시예에 따라 단일 화질 값에 기초하여 HDR 이미지를 부호화하는 방법을 설명하기 위하여 도시한 흐름도이다. 6 is a flowchart illustrating a method of encoding an HDR image based on a single image quality value according to an embodiment of the present invention.

단계 610에서는, 부호화 장치가 LDR 이미지의 부호화에 적용될 제1 화질 값을 입력받는다. In operation 610, the encoding apparatus receives a first quality value to be applied to encoding the LDR image.

단계 620에서는, HDR 이미지와 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값과 제1 화질 값간의 관계를 나타내는 화질 값 관계식에 기초하여, 최적 제2 화질 값을 산출한다. In step 620, an optimal second image quality value for which a restored image corresponding to the HDR image has an optimal image quality among a plurality of second image quality values applicable to a residual image corresponding to a residual value between the HDR image and the LDR image, and a first image quality value An optimal second image quality value is calculated based on the image quality value relational expression indicating the relationship between the image quality values.

단계 630에서는, 부호화 장치가 제1 화질 값 및 최적 제2화질 값에 기초하여, LDR 이미지 및 레지듀얼 이미지를 부호화한다. In operation 630, the encoding apparatus encodes the LDR image and the residual image based on the first image quality value and the optimal second image quality value.

도 6의 실시예에 따르면, 부호화 장치가 사용자로부터 제1 화질 값을 입력 받음으로써, HDR 이미지에 대응되는 복원 이미지가 제1 화질 값을 기준으로 최적 화질을 가지도록 LDR 이미지 및 레지듀얼 이미지가 복원 이미지를 부호화할 수 있게 된다. According to the embodiment of FIG. 6 , when the encoding apparatus receives a first image quality value from a user, the LDR image and the residual image are restored so that the restored image corresponding to the HDR image has the optimal image quality based on the first image quality value. Images can be encoded.

도 7은 본 발명의 일 실시예에 따른 부호화 장치의 전처리 방법이 적용된 부호화 시스템을 설명하기 위하여 도시한 도면이다. 7 is a diagram illustrating an encoding system to which a preprocessing method of an encoding apparatus according to an embodiment of the present invention is applied.

도 7을 참조하면, 본 발명의 일 실시예에 따른 부호화 시스템(700)은 HDR 이미지 저장부(712), 톤 매핑부(714), LDR 이미지 저장부(716), 기저계층 부호화부(718), 화질 제어부(720), 레지듀얼 이미지 생성부(722), 레지듀얼 이미지 저장부(724), 레지듀얼 계층 부호화부(726) 및 스트림 출력부(728)를 포함한다. Referring to FIG. 7 , the encoding system 700 according to an embodiment of the present invention includes an HDR image storage unit 712 , a tone mapping unit 714 , an LDR image storage unit 716 , and a base layer encoding unit 718 . , a quality control unit 720 , a residual image generation unit 722 , a residual image storage unit 724 , a residual layer encoding unit 726 , and a stream output unit 728 .

HDR 이미지 저장부(712)는 HDR 이미지를 저장한다. The HDR image storage unit 712 stores the HDR image.

톤 매핑부(714)는 HDR 이미지에 대해 톤 매핑을 적용하여 LDR 이미지를 생성한다. The tone mapping unit 714 generates an LDR image by applying tone mapping to the HDR image.

LDR 이미지 저장부(716)는 톤 매핑부(714)가 생성한 LDR 이미지를 저장한다. The LDR image storage unit 716 stores the LDR image generated by the tone mapping unit 714 .

기저계층 부호화부(718)는 사용자로부터 제1 화질 값(q)을 입력받고, 제1 화질 값(q)에 기초하여 LDR 이미지를 부호화한다. The base layer encoder 718 receives the first image quality value q from the user and encodes the LDR image based on the first image quality value q.

화질 제어부(720)는 기저계층 부호화부(718)로부터 제1 화질 값(q)을 전달받고, 그 제1 화질 값(q)에 기초하여 레지듀얼 이미지에 적용할 최적 제2 화질 값(Q)을 산출한다. The image quality control unit 720 receives the first image quality value q from the base layer encoder 718, and an optimal second image quality value Q to be applied to the residual image based on the first image quality value q. to calculate

이때, 화질 제어부(720)는 자신에게 저장되어 있는 화질 값 관계식 또는 매핑 테이블에 기초하여 최적 제2 화질 값(Q)을 산출할 수 있다. In this case, the image quality control unit 720 may calculate the optimal second image quality value Q based on the image quality value relational expression or mapping table stored therein.

레지듀얼 이미지 생성부(722)는 HDR 이미지 저장부(712)에 저장되어 있는 HDR 이미지와 톤 매핑부(714)가 생성한 LDR 이미지간의 레지듀얼 값을 이용하여 레지듀얼 이미지를 생성한다. The residual image generating unit 722 generates a residual image by using a residual value between the HDR image stored in the HDR image storage unit 712 and the LDR image generated by the tone mapping unit 714 .

레지듀얼 이미지 저장부(724)는 레지듀얼 이미지 생성부(720)가 생성한 레지듀얼 이미지를 저장한다. The residual image storage unit 724 stores the residual image generated by the residual image generation unit 720 .

레지듀얼 계층 부호화부(726)는 화질 제어부(720)로부터 전달받은 최적 제2 화질 값(Q)에 기초하여 레지듀얼 이미지를 부호화한다. The residual layer encoder 726 encodes the residual image based on the optimal second image quality value Q received from the image quality controller 720 .

스트림 출력부(728)는 기저 계층 부호화부(718)와 레지듀얼 계층 부호화부(726) 각각으로부터 생성된 부호화된 LDR 이미지와 부호화된 레지듀얼 이미지에 기초하여 스트림을 생성하여 출력한다. The stream output unit 728 generates and outputs a stream based on the encoded LDR image and the encoded residual image generated from each of the base layer encoder 718 and the residual layer encoder 726 .

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.The computer-readable recording medium includes a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM, DVD, etc.).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, with respect to the present invention, the preferred embodiments have been looked at. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims (19)

단일 화질 값만을 설정하여 높은 동적 범위(HDR) 이미지를 부호화하는 부호화 장치를 구현하기 위한 전처리 방법에 있어서,
상기 HDR 이미지에 톤 매핑을 적용하여 생성된 낮은 동적 범위(LDR) 이미지의 부호화에 적용될 제1 화질 값을 입력받는 단계;
상기 HDR 이미지와 상기 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 상기 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값을 산출하는 단계; 및
상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 나타내는 화질값 관계식을 산출하는 단계를 포함하고,
상기 화질 값 관계식을 산출하는 단계는,
상기 제1 화질 값에 기초하여 부호화될 상기 LDR 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 블럭별 DCT 변환 계수를 산출하는 단계;
상기 최적 제2 화질 값에 기초하여 부호화될 상기 레지듀얼 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 상기 블럭별 DCT 변환 계수를 산출하는 단계; 및
상기 LDR 이미지의 상기 블럭별 DCT 변환 계수와 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수에 기초하여 상기 화질 값 관계식을 산출하는 단계를 포함하며,
상기 LDR 이미지의 상기 블럭별 DCT 변환 계수는
상기 제1 화질 값에 기초하여 결정되고, 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수는 상기 최적 제2 화질 값에 기초하여 결정될 때,
상기 화질 값 관계식은 상기 제1 화질 값과 상기 최적 제2 화질 값간의 n차 방정식(n은 1이상의 정수)으로 표시되는 것을 특징으로 하는 부호화 장치의 전처리 방법. A pre-processing method for implementing an encoding device that encodes a high dynamic range (HDR) image by setting only a single image quality value,
receiving a first image quality value to be applied to encoding a low dynamic range (LDR) image generated by applying tone mapping to the HDR image;
Calculating an optimal second image quality value at which the restored image corresponding to the HDR image has an optimal image quality from among a plurality of second image quality values applicable to a residual image corresponding to a residual value between the HDR image and the LDR image ; and
calculating an image quality value relational expression representing a relationship between the first image quality value and the optimal second image quality value;
Calculating the image quality value relational expression includes:
performing DCT transform by dividing the LDR image to be encoded into a plurality of blocks based on the first image quality value, and calculating DCT transform coefficients for each block;
performing DCT transformation by dividing the residual image to be encoded into a plurality of blocks based on the optimal second image quality value, and calculating DCT transform coefficients for each block; and
calculating the image quality value relational expression based on the DCT transform coefficient for each block of the LDR image and the DCT transform coefficient for each block of the residual image,
The DCT transform coefficient for each block of the LDR image is
When it is determined based on the first image quality value, and the DCT transform coefficient for each block of the residual image is determined based on the optimal second image quality value,
The image quality value relational expression is expressed as an nth-order equation (n is an integer greater than or equal to 1) between the first image quality value and the optimal second image quality value. 삭제delete 삭제delete 제1항에 있어서,
상기 LDR 이미지의 상기 블럭별 DCT 변환 계수와 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수에 기초하여 상기 화질 값 관계식을 산출하는 단계는
상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제1 비교 값을 산출하는 단계;
상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제2 비교 값을 산출하는 단계; 및
상기 제1 비교 값과 상기 제2 비교 값에 기초하여, 상기 화질 값 관계식을 산출하는 단계를 포함하는 것을 특징으로 하는 부호화 장치의 전처리 방법. According to claim 1,
Calculating the image quality value relational expression based on the DCT transform coefficient for each block of the LDR image and the DCT transform coefficient for each block of the residual image includes:
calculating a first comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed LDR image;
calculating a second comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed residual image; and
and calculating the image quality value relational expression based on the first comparison value and the second comparison value. 제4항에 있어서,
상기 제1 비교 값은 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값이고,
상기 제2 비교 값은 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값인 것을 특징으로 하는 부호화 장치의 전처리 방법. 5. The method of claim 4,
The first comparison value is a variance value of DCT transform coefficients for each block of the DCT-transformed LDR image,
and the second comparison value is a variance value of DCT transform coefficients for each block of the DCT-transformed residual image. 제5항에 있어서,
상기 화질 값 관계식은 수학식 2 또는 수학식 3에 의거하여 정의되는 것을 특징으로 하는 부호화 장치의 전처리 방법.
[수학식 2]
Figure 112015021033717-pat00018

[수학식 3]
Figure 112015021033717-pat00019

이때, 상기 Q는 상기 최적 제2 화질 값을 나타내고, 상기 q는 상기 제1 화질 값을 나타내고,
Figure 112015021033717-pat00020
는 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값이고,
Figure 112015021033717-pat00021
는 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값을 나타냄.6. The method of claim 5,
The image quality value relational expression is defined based on Equation (2) or Equation (3).
[Equation 2]
Figure 112015021033717-pat00018

[Equation 3]
Figure 112015021033717-pat00019

In this case, Q represents the optimal second quality value, and q represents the first image quality value,
Figure 112015021033717-pat00020
is a variance value of DCT transform coefficients for each block of the DCT-transformed residual image,
Figure 112015021033717-pat00021
denotes a variance value of DCT transform coefficients for each block of the DCT-transformed LDR image. 제6항에 있어서,
상기 제1 화질 값 및 상기 화질값 관계식에 기초하여 산출된 상기 제1 화질 값에 대응되는 상기 최적 제2 화질 값을 표시한 매핑 테이블을 생성하는 단계를 더 포함하고,
상기 매핑 테이블은 상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 정량적으로 표시한 결과 값을 선택적으로 더 포함하는 것을 특징으로 하는 부호화 장치의 전처리 방법. 7. The method of claim 6,
The method further includes generating a mapping table indicating the first image quality value and the optimal second image quality value corresponding to the first image quality value calculated based on the image quality value relational expression;
and the mapping table further selectively includes a result value of quantitatively indicating the relationship between the first image quality value and the optimal second image quality value. 제1항에 있어서,
상기 제1 화질 값 및 상기 제2 화질 값은
소정 개수의 단계 중 하나로 구분되거나,
정량적인 수치로 표시되는 것을 특징으로 하는 부호화 장치의 전처리 방법. According to claim 1,
The first image quality value and the second image quality value are
divided into one of a predetermined number of steps, or
A preprocessing method of an encoding device, characterized in that it is displayed as a quantitative numerical value. 제1항에 있어서,
상기 최적 제2 화질 값을 산출하는 단계는
상기 제1 화질 값에 기초하여 상기 LDR 이미지를 부호화하여 부호화된 LDR 이미지를 생성하는 단계;
상기 복수의 제2 화질 값에 기초하여 상기 레지듀얼 이미지를 부호화하여 복수의 부호화된 레지듀얼 이미지를 생성하는 단계;
상기 부호화된 LDR 이미지와 상기 복수의 부호화된 레지듀얼 이미지에 기초하여 복수의 복원 이미지를 생성하는 단계; 및
상기 복수의 복원 이미지 중에서 상기 HDR 이미지와의 PSNR(Peak Signal to Noise Ratio)이 가장 높은 복원 이미지에 대응되는 제2 화질 값을 상기 최적 제2 화질 값으로 산출하는 단계를 포함하는 것을 특징으로 하는 부호화 장치의 전처리 방법. According to claim 1,
Calculating the optimal second image quality value includes:
generating an encoded LDR image by encoding the LDR image based on the first image quality value;
generating a plurality of encoded residual images by encoding the residual images based on the plurality of second image quality values;
generating a plurality of reconstructed images based on the encoded LDR image and the plurality of encoded residual images; and
and calculating a second quality value corresponding to a reconstructed image having the highest PSNR (Peak Signal to Noise Ratio) with the HDR image among the plurality of reconstructed images as the optimal second quality value. Method of pretreatment of the device. 단일 화질 값만을 설정하여 높은 동적 범위(HDR) 이미지를 부호화하는 부호화 장치를 구현하기 위해 상기 부호화 장치에 탑재된 전처리 장치에 있어서,
상기 HDR 이미지에 톤 매핑을 적용하여 생성된 낮은 동적 범위(LDR) 이미지의 부호화에 적용될 제1 화질 값을 입력받는 입력부;
상기 HDR 이미지와 상기 LDR 이미지간의 레지듀얼 값에 대응되는 레지듀얼 이미지에 적용 가능한 복수의 제2 화질값 중에서 상기 HDR 이미지에 대응되는 복원 이미지가 최적 화질을 가지게 되는 최적 제2 화질 값을 산출하는 최적 화질값 산출부; 및
상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 나타내는 화질값 관계식을 산출하는 관계식 산출부를 포함하고,
상기 관계식 산출부는
상기 제1 화질 값에 기초하여 부호화될 상기 LDR 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 블럭별 DCT 변환 계수를 산출하고, 상기 최적 제2 화질 값에 기초하여 부호화될 상기 레지듀얼 이미지를 복수의 블럭으로 분할하여 DCT 변환을 수행하고, 상기 블럭별 DCT 변환 계수를 산출한 후, 상기 LDR 이미지의 상기 블럭별 DCT 변환 계수와 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수에 기초하여 상기 화질 값 관계식을 산출하며,
상기 LDR 이미지의 상기 블럭별 DCT 변환 계수는,
상기 제1 화질 값에 기초하여 결정되고, 상기 레지듀얼 이미지의 상기 블럭별 DCT 변환 계수는 상기 최적 제2 화질 값에 기초하여 결정될 때,
상기 화질 값 관계식은 상기 제1 화질 값과 상기 최적 제2 화질 값간의 n차 방정식(n은 1이상의 정수)으로 표시되는 것을 특징으로 하는 전처리 장치. In the pre-processing apparatus mounted on the encoding apparatus to implement an encoding apparatus that encodes a high dynamic range (HDR) image by setting only a single image quality value,
an input unit receiving a first image quality value to be applied to encoding a low dynamic range (LDR) image generated by applying tone mapping to the HDR image;
Optimal for calculating an optimal second image quality value at which the restored image corresponding to the HDR image has an optimal image quality among a plurality of second image quality values applicable to a residual image corresponding to a residual value between the HDR image and the LDR image image quality calculation unit; and
and a relational expression calculation unit for calculating an image quality value relation representing a relationship between the first image quality value and the optimal second image quality value;
The relational expression calculation unit
DCT transformation is performed by dividing the LDR image to be encoded into a plurality of blocks based on the first image quality value, DCT transform coefficients are calculated for each block, and the residual image to be encoded based on the optimal second image quality value. is divided into a plurality of blocks to perform DCT transform, and after calculating the DCT transform coefficients for each block, based on the DCT transform coefficients for each block of the LDR image and the DCT transform coefficients for each block of the residual image, the Calculating the image quality value relation,
The DCT transform coefficient for each block of the LDR image is,
When it is determined based on the first image quality value, and the DCT transform coefficient for each block of the residual image is determined based on the optimal second image quality value,
The image quality value relational expression is expressed as an nth-order equation (n is an integer greater than or equal to 1) between the first image quality value and the optimal second image quality value. 삭제delete 삭제delete 제10항에 있어서,
상기 관계식 산출부는
상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제1 비교 값을 산출하고, 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수간의 비교 값인 제2 비교 값을 산출하는 동작을 더 수행하고,
상기 화질 값 관계식은 상기 제1 비교 값과 상기 제2 비교 값에 기초하여 산출되는 것을 특징으로 하는 전처리 장치. 11. The method of claim 10,
The relational expression calculation unit
Calculating a first comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed LDR image, and calculating a second comparison value that is a comparison value between DCT transform coefficients for each block of the DCT-transformed residual image do,
The image quality value relational expression is calculated based on the first comparison value and the second comparison value. 제13항에 있어서,
상기 제1 비교 값은 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값이고,
상기 제2 비교 값은 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값인 것을 특징으로 하는 전처리 장치. 14. The method of claim 13,
The first comparison value is a variance value of DCT transform coefficients for each block of the DCT-transformed LDR image,
The second comparison value is a preprocessing device, characterized in that it is a variance value of DCT transform coefficients for each block of the DCT-transformed residual image. 제14항에 있어서,
상기 화질 값 관계식은 수학식 1 또는 수학식 2에 의거하여 정의되는 것을 특징으로 하는 전처리 장치.
[수학식 2]
Figure 112015021033717-pat00022

[수학식 3]
Figure 112015021033717-pat00023

이때, 상기 Q는 상기 최적 제2 화질 값을 나타내고, 상기 q는 상기 제1 화질 값을 나타내고,
Figure 112015021033717-pat00024
는 상기 DCT 변환된 레지듀얼 이미지의 블럭별 DCT 변환 계수의 분산 값이고,
Figure 112015021033717-pat00025
는 상기 DCT 변환된 LDR 이미지의 블럭별 DCT 변환 계수의 분산 값을 나타냄.15. The method of claim 14,
The image quality value relational expression is a pre-processing apparatus, characterized in that defined based on Equation 1 or Equation 2.
[Equation 2]
Figure 112015021033717-pat00022

[Equation 3]
Figure 112015021033717-pat00023

In this case, Q represents the optimal second quality value, and q represents the first image quality value,
Figure 112015021033717-pat00024
is a variance value of DCT transform coefficients for each block of the DCT-transformed residual image,
Figure 112015021033717-pat00025
denotes a variance value of DCT transform coefficients for each block of the DCT-transformed LDR image. 제15항에 있어서,
상기 제1 화질 값 및 상기 화질값 관계식에 기초하여 산출된 상기 제1 화질 값에 대응되는 상기 최적 제2 화질 값을 표시한 매핑 테이블을 생성하는 매핑 테이블 생성부를 더 포함하고,
상기 매핑 테이블은 상기 제1 화질 값과 상기 최적 제2 화질 값간의 관계를 정량적으로 표시한 결과 값을 선택적으로 더 포함하는 것을 특징으로 하는 전처리 장치. 16. The method of claim 15,
and a mapping table generator for generating a mapping table displaying the first image quality value and the optimal second image quality value corresponding to the first image quality value calculated based on the image quality value relational expression;
The mapping table further comprises selectively a result value of quantitatively indicating the relationship between the first image quality value and the optimal second image quality value. 제10항에 있어서,
상기 제1 화질 값 및 상기 제2 화질 값은
소정 개수의 단계 중 하나로 구분되거나,
정량적인 수치로 표시되는 것을 특징으로 하는 전처리 장치. 11. The method of claim 10,
The first image quality value and the second image quality value are
divided into one of a predetermined number of steps, or
A pretreatment device, characterized in that it is expressed as a quantitative number. 제10항에 있어서,
상기 최적 화질값 산출부는
상기 제1 화질 값에 기초하여 상기 LDR 이미지를 부호화하여 부호화된 LDR 이미지를 생성하는 제1 부호화부;
상기 복수의 제2 화질 값에 기초하여 상기 레지듀얼 이미지를 부호화하여 복수의 부호화된 레지듀얼 이미지를 생성하는 제2 부호화부;
상기 부호화된 LDR 이미지와 상기 복수의 부호화된 레지듀얼 이미지에 기초하여 복수의 복원 이미지를 생성하는 복원부; 및
상기 복수의 복원 이미지 중에서 상기 HDR 이미지와의 PSNR(Peak Signal to Noise Ratio)이 가장 높은 복원 이미지에 대응되는 제2 화질 값을 상기 최적 제2 화질 값으로 산출하는 연산부를 포함하는 것을 특징으로 하는 전처리 장치. 11. The method of claim 10,
The optimal image quality value calculation unit
a first encoder for encoding the LDR image based on the first image quality value to generate an encoded LDR image;
a second encoder for encoding the residual images based on the plurality of second image quality values to generate a plurality of encoded residual images;
a reconstruction unit for generating a plurality of reconstructed images based on the encoded LDR image and the plurality of encoded residual images; and
and a calculator for calculating a second quality value corresponding to the restored image having the highest PSNR (Peak Signal to Noise Ratio) with the HDR image among the plurality of restored images as the optimal second image quality value. Device. 삭제delete
KR1020150029769A 2015-03-03 2015-03-03 Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value KR102291585B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150029769A KR102291585B1 (en) 2015-03-03 2015-03-03 Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150029769A KR102291585B1 (en) 2015-03-03 2015-03-03 Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value

Publications (2)

Publication Number Publication Date
KR20160106967A KR20160106967A (en) 2016-09-13
KR102291585B1 true KR102291585B1 (en) 2021-08-20

Family

ID=56946498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150029769A KR102291585B1 (en) 2015-03-03 2015-03-03 Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value

Country Status (1)

Country Link
KR (1) KR102291585B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140205009A1 (en) * 2013-01-21 2014-07-24 The Regents Of The University Of California Method and apparatus for spatially scalable video compression and transmission

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1989882B1 (en) * 2006-01-23 2015-11-11 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140205009A1 (en) * 2013-01-21 2014-07-24 The Regents Of The University Of California Method and apparatus for spatially scalable video compression and transmission

Also Published As

Publication number Publication date
KR20160106967A (en) 2016-09-13

Similar Documents

Publication Publication Date Title
JP5558603B2 (en) High dynamic range codec
JP4002502B2 (en) Coordinate interpolator encoding / decoding apparatus and method
JP6617142B2 (en) Improved video and image encoding process
JP2016226001A (en) Decoder and decoding method
JP5218784B2 (en) Image quality evaluation system, apparatus, method and program used therefor
JPWO2008152797A1 (en) Statistical image enhancement method, image encoding method, and image decoding method
US11151748B2 (en) 3D point cloud data encoding/decoding method and apparatus
JP2014116733A (en) Image encoding device, image encoding method and program, image decoding device and image decoding method and program
KR20200007734A (en) 3d point cloud data encoding/decoding method and apparatus
JP2000082965A (en) Digital video coding/decoding device/method using water marking
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
KR102291585B1 (en) Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value
WO2017036061A1 (en) Image encoding method, image decoding method and device
Wieckowski et al. VVC in the cloud and browser playback: it works
JP2009111625A5 (en)
US20190089955A1 (en) Image encoding method, and image encoder and image decoder using same
KR20160040930A (en) Method and apparatus for re-encoding an image
US10477211B2 (en) Image re-encoding method and device thereof
JP4241517B2 (en) Image encoding apparatus and image decoding apparatus
KR20110071483A (en) Apparatus and method for processing depth image using bit depth reduction
JP4255071B2 (en) Pixel value selection type encoding device and decoding device of interest
US10356424B2 (en) Image processing device, recording medium, and image processing method
JP4793150B2 (en) Video signal processing apparatus, video signal information processing method, and program
JP2006217424A5 (en)
JP2011114770A (en) Image encoding device, image decoding device, image encoding-decoding system, and method for the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right