KR101024104B1 - METHOD AND APPARATUS OF ASSESSING IMAGE QUALITY USING THE QUANTIZATION IN THE R-θ PLANE - Google Patents

METHOD AND APPARATUS OF ASSESSING IMAGE QUALITY USING THE QUANTIZATION IN THE R-θ PLANE Download PDF

Info

Publication number
KR101024104B1
KR101024104B1 KR1020090110705A KR20090110705A KR101024104B1 KR 101024104 B1 KR101024104 B1 KR 101024104B1 KR 1020090110705 A KR1020090110705 A KR 1020090110705A KR 20090110705 A KR20090110705 A KR 20090110705A KR 101024104 B1 KR101024104 B1 KR 101024104B1
Authority
KR
South Korea
Prior art keywords
image
quantization
difference
original image
pixel value
Prior art date
Application number
KR1020090110705A
Other languages
Korean (ko)
Inventor
최정태
한호성
박래홍
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020090110705A priority Critical patent/KR101024104B1/en
Application granted granted Critical
Publication of KR101024104B1 publication Critical patent/KR101024104B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

PURPOSE: A method and an apparatus for evaluating the pixel quality by partitioning a polar coordinate plane into a quantized region are provided to efficiently extract an image in an RR pixel quality evaluation method. CONSTITUTION: An original image and a deteriorate image are partitioned to a plurality of unit blocks(410). Each pixel value of the unit blocks is calculated(420). A representative image pixel difference between a horizontal direction and a vertical direction is calculated by block(430). The representative pixel value difference is transformed to the coordinate of a polar coordinate plane(440). An image quality assessment metric is calculated by using the difference between the original image and the deteriorate image(460).

Description

극좌표 평면 분할을 이용한 화질 평가 방법 및 장치{Method and apparatus of assessing image quality using the quantization in the r-θ plane}Method and apparatus for assessing image quality using polar plane segmentation {Method and apparatus of assessing image quality using the quantization in the r-θ plane}

본 발명은 극좌표 평면 분할을 이용한 화질 평가에 관한 것으로서, 더욱 상세하게는 기존의 객관적인 화질 평가 방법에 의한 평과결과보다 사람이 직접 평가한 주관적인 화질평가결과와 더 유사한 극좌표 평면 분할을 이용한 화질 평가 방법 및 장치에 관한 것이다.The present invention relates to image quality evaluation using polar plane splitting, and more particularly, to a quality evaluation method using polar plane splitting, which is more similar to a subjective image quality evaluation result directly evaluated by a person than a conventional objective image quality evaluation method. Relates to a device.

화질 평가(image quality assessment, IQA)는 영상의 화질이 얼마나 좋은지 측정하는 것이다. 화질 평가는 주관적인 화질 평가와 객관적인 화질 평가 두 개의 타입으로 구별된다. 주관적인 화질 평가는 정지 영상이나 동영상의 질이 인간의 시각적 인지를 통해 평가되기 때문에 객관적인 화질 평가보다 더 정확한 평가가 된다. 그러나 이러한 주관적인 화질 평가는 고비용이 드는 평가를 반복적으로 해야하는 문제점이 있으므로 실제 어플리케이션에서 사용하기에는 적절하지 않다. 따라서 객관적인 화질 평가가 주관적 화질 평가보다 실제적인 화질 평가에 더 적합하기 때문에 많은 객관적인 화질 평가가 연구되어 왔다. 일반적으로 객관적인 화질평가 결과가 주관적인 화질평가 결과에 가까울수록 더 정확한 화질 평가로 본다.Image quality assessment (IQA) is a measure of how good an image is. Image quality evaluation is divided into two types: subjective quality evaluation and objective quality evaluation. Subjective image quality evaluation is more accurate than objective image quality evaluation because the quality of still images or videos is evaluated through human visual perception. However, this subjective image quality evaluation is not suitable for use in actual applications because of the problem of repeatedly making expensive evaluations. Therefore, many objective image quality evaluations have been studied because the objective image quality evaluation is more suitable for the actual image quality evaluation than the subjective image quality evaluation. In general, the closer the objective quality evaluation result is to the subjective quality evaluation result, the more accurate image quality evaluation.

최근에는 많은 화질 평가 방법이 개발되고 있으며, VQEG(Video quality experts group)과 ITU(International Telecommunication Union)에서는 표준을 정하는 역할을 하고 있다. LIVE(Laboratory for image and video engineering)는 정지 영상이나 동영상의 객관적인 화질 평가 방법을 연구하고 있으며, LIVE가 제공하는 영상 데이터베이스는 많은 연구자들에 의하여 사용되고 있다.Recently, many image quality evaluation methods have been developed, and VQEG (Video quality experts group) and ITU (International Telecommunication Union) play a role in setting standards. LIVE (Laboratory for image and video engineering) is studying the objective image quality evaluation method of still images and videos, and the image database provided by LIVE is used by many researchers.

객관적인 화질 평가 방법은 원영상과 열화영상 간의 차이에 기초하여 이루어진다. 객관적인 화질 평가 방법은 전체참조(full reference, FR), 부분참조(reduced reference, RR), 및 참조없음(no-reference, NR)의 세 가지 카테고리가 있다. The objective image quality evaluation method is based on the difference between the original image and the degraded image. There are three categories of objective image quality evaluation methods: full reference (FR), reduced reference (RR), and no-reference (NR).

전체참조(FR)에서는 영상의 모든 정보가 알려져있는 것으로 가정하기 때문에 가장 정확한 결과를 산출하고, 다른 두 개의 객관적인 화질 평가 방법보다 더 많이 연구되고 있다. 대표적인 전체참조(FR) 화질평가 방법은 MSE(mean square error)와 PSNR(peak signal to noise ratio)를 들 수 있다. 그러나 이러한 방법들은 인간의 시각 시스템(human visual system, HVS)를 정확하게 반영하지 못한다. In the FR, it is assumed that all the information of the image is known, and thus the most accurate results are obtained and more research is conducted than the other two objective image quality evaluation methods. Representative full reference (FR) image quality evaluation methods include mean square error (MSE) and peak signal to noise ratio (PSNR). However, these methods do not accurately reflect the human visual system (HVS).

구조적 유사도(structural similarity, SSIM)는 원영상과 열화영상 간의 평균, 분산, 공분산을 연산하여 화질을 평가하는 것으로 영상의 구조적 차이를 이용한다. 예를 들어, SVD(singular value decomposition) 지수는 원영상과 열화영상에 있어서 각각의 블럭이 갖는 고유값(singular value)을 비교하는 방법이다. 그러나 대부분의 실제 적용시에 원영상이 항상 이용가능한 것은 아니므로, 그러한 경우에는 참조없음(NR) 화질 평가 방법을 이용할 수 있다. NR 화질 평가 방법은 어떠한 원영상도 화질을 평가하는데 이용하지 않는다. 대신 컬러 블리딩(color bleeding), 블록킹(blocking), 블러링(blurring)과 같은 아티팩트(artifacts)를 이용한다. NR 화질 평가 방법은 원영상에 대한 어떠한 정보도 이용하지 않기 때문에 데이터를 전송할 필요가 없다는 장점이 있으나 FR 화질 평가 방법만큼 효과적인 화질 평가 방법은 아니다. 한편, FR 화질 평가 방법과는 달리 RR 화질 평가 방법에서는 영상으로부터 추출된 특징들이 이용된다. Structural similarity (SSIM) evaluates the image quality by calculating the average, variance, and covariance between the original image and the degraded image, and uses the structural difference of the image. For example, a single value decomposition (SVD) index is a method of comparing singular values of each block in an original image and a degraded image. However, since the original image is not always available in most practical applications, in such a case, a referenceless (NR) quality evaluation method can be used. The NR image quality evaluation method does not use any original image to evaluate image quality. Instead, they use artifacts such as color bleeding, blocking, and blurring. The NR image quality evaluation method has the advantage of not needing to transmit data since no information on the original image is used, but it is not as effective as the image quality evaluation method. On the other hand, unlike the FR image quality evaluation method, the features extracted from the image are used in the RR image quality evaluation method.

도 1은 종래의 RR 화질 평가 장치의 블록도이다.1 is a block diagram of a conventional RR image quality evaluation apparatus.

도 1을 참조하면, 송신기의 특징 추출부가 원영상으로부터 특징을 추출하고, 추출된 특징을 보조 채널을 통해 수신기로 전송한다. 수신기는 보조 채널을 통해 수신한 특징을 이용하여 열화 채널부를 통해 수신기로 수신된 열화영상의 화질을 평가한다. 즉 수신기는 열화채널부를 통해 수신한 원영상으로부터 추출한 특징과 송신기로부터 보조 채널부를 통해 수신한 특징을 RR 화질 분석부에서 비교함으로써, 화질을 평가한다. 원영상으로부터 추출된 특징은 원영상 전체 데이터 량보다 훨씬 적은 데이터량으로 구성된다. 따라서 RR 화질 평가 방법의 성능은 원영상으로부터 추출되는 특징들에 의존적이다. 따라서 화질 평가에 적정한 특징을 효과적으로 추출하는 것이 RR 화질 평가 방법에 필요하다.Referring to FIG. 1, a feature extractor of a transmitter extracts a feature from an original image and transmits the extracted feature to a receiver through an auxiliary channel. The receiver evaluates the image quality of the deteriorated image received by the receiver through the deterioration channel unit by using the feature received through the auxiliary channel. That is, the receiver evaluates the image quality by comparing the feature extracted from the original image received through the degradation channel unit and the feature received from the transmitter through the auxiliary channel unit in the RR image quality analyzer. The feature extracted from the original image consists of a much smaller amount of data than the total amount of original image. Therefore, the performance of the RR quality estimation method depends on the features extracted from the original image. Therefore, it is necessary for the RR image quality evaluation method to effectively extract a feature suitable for image quality evaluation.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 RR 화질 평가 방법에 사용되는 영상의 특징을 효과적으로 추출할 수 있는 극좌표 평면 분할을 이용한 화질 평가 방법을 제공하는 것이다.Accordingly, the first problem to be solved by the present invention is to provide an image quality estimation method using polar coordinate plane division that can effectively extract the features of the image used in the RR image quality evaluation method.

본 발명이 해결하고자 하는 두 번째 과제는 RR 화질 평가 방법에 사용되는 영상의 특징을 효과적으로 추출할 수 있는 극좌표 평면 분할을 이용한 화질 평가 장치를 제공하는 것이다.A second problem to be solved by the present invention is to provide an image quality evaluation apparatus using polar coordinate plane division that can effectively extract the features of the image used in the RR image quality evaluation method.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 원영상과 열화영상을 복수의 단위 블록들로 분할하는 단계; 상기 분할된 단위 블록들 각각의 대표 화소값을 연산하는 단계; 상기 단위 블록별로 수평방향과 수직방향의 대표 화소값 차이를 연산하는 단계; 상기 연산된 수평방향과 수직방향의 대표 화소값 차이를 극좌표 평면상의 좌표로 변환하는 단계; 상기 극좌표 평면이 양자화 영역들로 분할된 경우 상기 변환된 극좌표 평면상의 좌표가 상기 양자화 영역들 각각에 속하는 영역포함횟수를 상기 원영상과 상기 열화영상별로 산출하는 단계; 상기 양자화 영역별로 상기 원영상과 상기 열화영상 간의 영역포함횟수의 차이를 산출하는 단계; 및 상기 산출된 양자화 영역별 영역포함횟수의 차이에 근거하여 화질 평가 지수를 산출하는 단계를 포함하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 방법을 제공한다.The present invention comprises the steps of: dividing the original image and the degraded image into a plurality of unit blocks to achieve the first object; Calculating a representative pixel value of each of the divided unit blocks; Calculating a representative pixel value difference in a horizontal direction and a vertical direction for each unit block; Converting the calculated difference between the representative pixel values in the horizontal direction and the vertical direction into coordinates on a polar coordinate plane; Calculating the number of regions including the area corresponding to each of the quantized regions in which the coordinates on the converted polar coordinate plane belong to each of the original image and the deteriorated image when the polar coordinate plane is divided into quantized regions; Calculating a difference of the area inclusion count between the original image and the deteriorated image for each quantization region; And calculating an image quality evaluation index based on the calculated difference of the area inclusion counts for each quantization region.

본 발명의 일 실시예에 의하면, 상기 화소값은 밝기값일 수 있다.According to an embodiment of the present invention, the pixel value may be a brightness value.

또한, 상기 극좌표 평면(r,θ)의 양자화 영역들은 r축은 불균일하게 양자화되고, θ축은 균일하게 양자화되어 형성될 수 있다.In addition, the quantization regions of the polar planes r and θ may be formed by uneven quantization of the r-axis and uniform quantization of the θ-axis.

본 발명의 다른 실시예에 의하면, 상기 양자화 영역들 각각에 속하는 영역포함횟수를 상기 원영상과 상기 열화영상별로 산출시, 상기 양자화 영역들을 계급구간으로, 상기 영역포함횟수를 도수로 하는 히스토그램을 상기 원영상과 상기 열화영상별로 산출할 수 있다.According to another embodiment of the present invention, when the area inclusion counts belonging to each of the quantization areas are calculated for each of the original image and the deteriorated image, a histogram of the quantization areas as a class interval and the frequency of the area inclusions as the frequency is calculated. It may be calculated for each image and the deteriorated image.

본 발명의 또 다른 실시예에 의하면, 상기 양자화 영역별로 상기 원영상과 상기 열화영상 간의 영역포함횟수의 차이를 산출하고, 상기 산출된 양자화 영역별 영역포함횟수의 차이를 합산할 수 있다.According to another embodiment of the present invention, the difference in the area inclusion count between the original image and the deteriorated image may be calculated for each quantization region, and the difference in the area inclusion count for each quantization region may be summed.

또한, 상기 분할된 단위 블록들 각각의 대표 화소값을 연산하는 단계는 상기 분할된 단위 블록들 내에 포함되어 있는 화소들의 밝기값들의 평균을 대표 화소값으로 연산함으로써 이루어질 수 있다. 상기 단위 블록은 8×8 단위 블록인 것이 바람직하다.The calculating of the representative pixel value of each of the divided unit blocks may be performed by calculating the average of the brightness values of the pixels included in the divided unit blocks as the representative pixel value. The unit block is preferably an 8 × 8 unit block.

본 발명은 상기 두 번째 과제를 달성하기 위하여, 원영상과 열화영상을 복수의 단위 블록들로 분할하는 블록 분할부; 상기 분할된 단위 블록들 각각의 대표 화소값을 연산하는 대표 화소값 연산부; 상기 단위 블록별로 수평방향과 수직방향의 대표 화소값 차이를 연산하는 대표 화소값 차이 연산부; 상기 연산된 수평방향과 수직방향의 대표 화소값 차이를 극좌표 평면상의 좌표로 변환하는 극좌표 변환부; 상기 극좌표 평면이 양자화 영역들로 분할된 경우 상기 변환된 극좌표 평면상의 좌 표가 상기 양자화 영역들 각각에 속하는 영역포함횟수를 상기 원영상과 상기 열화영상별로 산출하는 양자화부; 및 상기 양자화 영역별로 상기 원영상과 상기 열화영상 간의 영역포함횟수의 차이를 산출하고, 상기 산출된 영역포함횟수의 차이를 이용하여 화질 평가 지수를 산출하는 화질 평가 지수 산출부를 포함하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 장치를 제공한다. The present invention provides a block divider for dividing an original image and a degraded image into a plurality of unit blocks in order to achieve the second object. A representative pixel value calculator configured to calculate a representative pixel value of each of the divided unit blocks; A representative pixel value difference calculator for calculating a difference between the representative pixel values in the horizontal direction and the vertical direction for each unit block; A polar coordinate converter configured to convert the calculated difference between the representative pixel values in the horizontal direction and the vertical direction into coordinates on a polar coordinate plane; A quantization unit configured to calculate, according to the original image and the deteriorated image, the number of inclusions of the region in which the coordinates on the converted polar coordinate plane belong to each of the quantization regions when the polar coordinate plane is divided into quantization regions; And an image quality evaluation index calculator for calculating a difference in the area inclusion frequency between the original image and the deteriorated image for each quantization region, and calculating an image quality evaluation index by using the calculated difference in the area inclusion frequency. Provided is an image quality evaluation apparatus using polar coordinate plane division.

본 발명에 따르면, 극좌표 평면을 양자화된 영역으로 분할함으로써 RR 화질 평가 방법에 사용되는 영상의 특징을 효과적으로 추출할 수 있으므로, 멀티미디어 서비스를 제공하는 데 있어서, 성능이 우수한 RR 화질 평가 지수로 사용할 수 있다. 또한 본 발명에 따르면, 기존의 객관적인 화질 평가 방법에 의한 평과결과보다 사람이 직접 평가한 주관적인 화질평가결과와 더 유사하여 보다 나은 화질 평가 성능을 보여준다.According to the present invention, since the feature of the image used in the RR image quality estimation method can be effectively extracted by dividing the polar plane into a quantized region, it can be used as an excellent RR image quality index in providing multimedia services. . In addition, according to the present invention, it is more similar to the subjective image quality evaluation result directly evaluated by the human person than the evaluation result by the conventional objective image quality evaluation method, showing a better image quality performance.

이하, 본 발명을 상세하게 설명한다.EMBODIMENT OF THE INVENTION Hereinafter, this invention is demonstrated in detail.

본 발명의 일 실시예에 따른 극좌표 평면 분할을 이용한 화질 평가 방법은 원영상과 열화영상을 복수의 단위 블록들로 분할하는 단계; 상기 분할된 단위 블록들 각각의 대표 화소값을 연산하는 단계; 상기 단위 블록별로 수평방향과 수직방향의 대표 화소값 차이를 연산하는 단계; 상기 연산된 수평방향과 수직방향의 대표 화소값 차이를 극좌표 평면상의 좌표로 변환하는 단계; 상기 극좌표 평면이 양자화 영역들로 분할된 경우 상기 변환된 극좌표 평면상의 좌표가 상기 양자화 영역들 각 각에 속하는 영역포함횟수를 상기 원영상과 상기 열화영상별로 산출하는 단계; 상기 양자화 영역별로 상기 원영상과 상기 열화영상 간의 영역포함횟수의 차이를 산출하는 단계; 및 상기 산출된 양자화 영역별 영역포함횟수의 차이에 근거하여 화질 평가 지수를 산출하는 단계를 포함한다.According to an embodiment of the present invention, a method for evaluating image quality using polar coordinate plane segmentation comprises: dividing an original image and a degraded image into a plurality of unit blocks; Calculating a representative pixel value of each of the divided unit blocks; Calculating a representative pixel value difference in a horizontal direction and a vertical direction for each unit block; Converting the calculated difference between the representative pixel values in the horizontal direction and the vertical direction into coordinates on a polar coordinate plane; Calculating the number of inclusions of the region in which the coordinates on the converted polar coordinate plane belong to each of the quantization regions when the polar coordinate plane is divided into quantized regions for each of the original image and the deteriorated image; Calculating a difference of the area inclusion count between the original image and the deteriorated image for each quantization region; And calculating an image quality evaluation index based on the calculated difference in region inclusion counts for each quantization region.

본 발명의 일 실시예에 따른 극좌표 평면 분할을 이용한 화질 평가 방법은 RR(Reduced-Reference) 화질 평가 방법으로, 벡터 양자화 히스토그램 화질 지수 (vector quantization histogram quality metric, VQHQM)에 기반한 방법이다. The image quality estimation method using polar coordinate plane division according to an embodiment of the present invention is a reduced-reference (RR) image quality evaluation method and is based on a vector quantization histogram quality metric (VQHQM).

이하, 바람직한 실시예를 들어 본 발명을 더욱 상세하게 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. Hereinafter, the present invention will be described in more detail with reference to preferred examples. However, these examples are intended to illustrate the present invention in more detail, it will be apparent to those skilled in the art that the scope of the present invention is not limited thereby.

도 2는 본 발명의 일 실시예에 따른 극좌표 평면 분할을 이용한 화질 평가 장치의 블록도이다.2 is a block diagram of an image quality evaluation apparatus using polar coordinate plane division according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 화질 평가장치는 블록 분할부(210), 대표 화소값 연산부(220), 대표 화소값 차이 연산부(230), 극좌표 변환부(240), 양자화부(250), 화질 평가 지수 산출부(260), 및 화질평가지수 산출부(270)로 구성된다.Referring to FIG. 2, the apparatus for evaluating image quality according to an embodiment of the present invention may include a block divider 210, a representative pixel value calculator 220, a representative pixel value difference calculator 230, a polar coordinate converter 240, and quantization. The unit 250 includes a picture quality evaluation index calculator 260 and a picture quality evaluation index calculator 270.

블록 분할부(210)는 원영상과 열화영상 각각을 입력받고, 입력받은 원영상과 열화영상을 복수의 단위 블록들로 분할한다. 이러한 단위 블록은 8×8 단위 블록으로 하는 것이 바람직하다. The block dividing unit 210 receives the original image and the degraded image, respectively, and divides the received original image and the degraded image into a plurality of unit blocks. Such unit blocks are preferably 8 × 8 unit blocks.

대표 화소값 연산부(220)는 블록 분할부(210)가 분할한 단위 블록 내 화소들의 대표 화소값을 연산한다. 이때 대표 화소값은 단위 블록 내 화소들의 밝기의 평균값인 것이 바람직하나, 대표 화소값을 결정하는 방법은 그 밖의 다양한 방법을 이용하여 결정할 수 있다. 원영상과 열화영상을 8×8 단위 블록으로 나누고, 나누어진 8×8 단위 블록을 단위 블록내 화소들의 밝기 평균값으로 치환하게 되면, 연산량이 줄어들고, 특징 스페이스(feature space)의 차원(dimensionality)이 줄어드는 효과가 있다. 또한, 본 발명의 일 실시예에서는 화소값으로서 밝기를 고려하고 있으나 그 외에도 화소를 표현하는 다른 값, 예를 들면, 색상(hue), 채도(saturation), 명도(Brightness) 등이 될 수 있다.The representative pixel value calculator 220 calculates a representative pixel value of the pixels in the unit block divided by the block divider 210. In this case, the representative pixel value is preferably an average value of brightnesses of the pixels in the unit block, but a method of determining the representative pixel value may be determined using various other methods. When the original image and the degraded image are divided into 8 × 8 unit blocks, and the divided 8 × 8 unit blocks are replaced with the average brightness values of the pixels in the unit block, the amount of calculation is reduced and the dimension space of the feature space is reduced. It has a decreasing effect. In addition, although one embodiment of the present invention considers brightness as a pixel value, other values representing the pixel may be, for example, hue, saturation, and brightness.

대표 화소값 차이 연산부(230)는 각 단위 블록별 수평방향과 수직방향의 대표 화소값 차이를 연산한다. 본 발명의 일 실시예에 따르면 대표 화소값 차이 연산부(230)는 각 8×8 단위 블록별 수평방향과 수직방향의 평균 밝기값의 차이를 연산한다. 대표 화소값 차이 연산부(230)는 다음의 수학식 1을 이용하여 수평방향과 수직방향 각각에 대하여 인접하는 8×8 단위 블록 사이의 평균 밝기값의 차이를 연산한다.The representative pixel value difference calculator 230 calculates the representative pixel value difference in the horizontal direction and the vertical direction for each unit block. According to an exemplary embodiment of the present invention, the representative pixel value difference calculator 230 calculates a difference between average brightness values in the horizontal direction and the vertical direction for each 8 × 8 unit block. The representative pixel value difference calculator 230 calculates a difference of average brightness values between adjacent 8 × 8 unit blocks in each of the horizontal direction and the vertical direction by using Equation 1 below.

Figure 112009070391474-pat00001
Figure 112009070391474-pat00001

여기서 dIx는 (i,j)에 위치한 단위 블록에서 영상의 수평 방향을 따라 연산 된 평균 밝기값의 차이이고, dIy는 (i,j)에 위치한 단위 블록에서 영상의 수직 방향을 따라 연산된 평균 밝기값의 차이이다. 각각의 단위 블록에서 연산된 (dIx,dIy) 쌍은 dIx-dIy 좌표 평면에서 하나의 변이 벡터(variation vector)로 표현될 수 있다.Where dI x is the difference between the average brightness values calculated along the horizontal direction of the image in the unit block located at (i, j), and dI y is calculated along the vertical direction of the image in the unit block located at (i, j). The difference is the average brightness value. The (dI x , dI y ) pairs calculated in each unit block may be represented as one variation vector in the dI x -dI y coordinate plane.

대표 화소값 차이 연산부(230)가 영상을 구성하는 전체 8×8 단위 블록들에 대하여 수평방향과 수직방향을 따라 밝기 차이값을 연산한 결과인 (dIx,dIy)의 분포(distribution)는 영상의 특징을 나타내게 된다.The distribution of (dI x , dI y ), which is the result of calculating the brightness difference value along the horizontal direction and the vertical direction for the entire 8 × 8 unit blocks constituting the image, is represented by the representative pixel value difference calculator 230. The characteristics of the image will be displayed.

극좌표 변환부(240)는 대표 화소값 차이 연산부(230)가 연산한 (dIx,dIy) 좌표를 극좌표(r,θ)로 변환한다. 극좌표의 r은 인접하는 단위 블록 간의 밝기 변이 크기를 나타내는 것으로 원점으로부터의 거리로 표현된다. 극좌표의 θ는 밝기 변이 방향을 의미한다. 따라서 극좌표 변환부(240)가 (dIx,dIy) 좌표로부터 변환한 극좌표 (r,θ)는 극좌표에서의 변이 벡터(variation vector)로 표현될 수 있다.The polar coordinate converting unit 240 converts the coordinates (dI x , dI y ) calculated by the representative pixel value difference calculating unit 230 into polar coordinates (r, θ). The polar coordinate r represents the magnitude of the brightness shift between adjacent unit blocks and is expressed as a distance from the origin. Θ of the polar coordinate means the brightness shift direction. Accordingly, the polar coordinates (r, θ) converted by the polar coordinate converting unit 240 from the (dI x , dI y ) coordinates may be represented as a variation vector in the polar coordinates.

양자화부(250)는 극좌표에서의 변이 벡터를 양자화한다. 즉, 양자화부(250)는 극좌표 평면을 양자화 영역들로 분할하고, 극좌표 평면에서의 변이 벡터가 극좌표 평면의 양자화 영역들 각각에 속하는 영역포함횟수를 원영상과 열화영상별로 산출한다. 이때 극좌표의 θ축에 따른 양자화는 균일하게 영역을 나누어 이루어지고, 극좌표의 r축에 따른 양자화는 불균일하게 영역을 나누어 이루어지는 것이 바람직하다. 즉, 양자화부(250)는 극좌표 평면을 r축과 θ축에 대하여 양자화한 양자화 영역들을 계급구간으로 하고, 양자화된 영역들 각각에 포함되는 변이 벡터의 개수를 히스토그램의 도수로 하여 벡터 양자화 히스토그램을 생성할 수 있다. 벡터 양자화 히스토그램은 얼굴인식과 같은 다양한 응용 어플리케이션에서 사용된다. The quantization unit 250 quantizes the disparity vector in polar coordinates. That is, the quantization unit 250 divides the polar plane into quantization regions, and calculates the number of regions included in each of the quantization regions of the polar plane by the original vector and the degraded image. In this case, it is preferable that the quantization along the θ axis of the polar coordinates is uniformly divided, and the quantization along the r axis of the polar coordinates is uniformly divided. That is, the quantization unit 250 generates a vector quantization histogram by using quantization regions quantized in the polar coordinate plane with respect to the r and θ axes as class intervals, and the number of disparity vectors included in each of the quantized regions as the histogram frequency. can do. Vector quantization histograms are used in a variety of applications such as face recognition.

도 3은 본 발명의 일 실시예에 따른 양자화부(250)가 극좌표에서의 변이 벡터를 양자화하는 방법을 나타낸 것이다.3 illustrates a method in which the quantization unit 250 quantizes the disparity vector in polar coordinates according to an embodiment of the present invention.

도 3(a)는 극좌표 평면에서 양자화된 영역들을 나타낸다. 도 3(b)는 도 3(a)의 양자화된 영역들에 대응하는 양자화 인덱스들을 테이블로 표시한 것이다.3 (a) shows quantized regions in the polar plane. FIG. 3 (b) shows quantization indices corresponding to the quantized regions of FIG. 3 (a) as a table.

도 3(a)을 참조하면, θ축에 대한 양자화 레벨의 수는 8개이고, r축에 대한 양자화 결정 레벨은 1, 4, 7, 12, 20, 60이다. 따라서 극좌표 평면상에서 양자화된 영역들의 총 영역의 수는 42개이다. 이와 같은 양자화 레벨 또는 양자화 결정 레벨은 본 발명의 일 실시예에 따라 경험적으로 결정된 것이며, 상황에 따라 다양하게 결정될 수 있을 것이다.Referring to FIG. 3 (a), the number of quantization levels for the θ axis is eight, and the quantization determination levels for the r axis are 1, 4, 7, 12, 20, and 60. Thus, the total number of regions of quantized regions on the polar coordinate plane is 42. Such a quantization level or quantization determination level is empirically determined according to an embodiment of the present invention, and may be variously determined according to a situation.

도 3(b)를 참조하면, 0≤r≤1과 r≥60인 영역에서는 θ(밝기 변이 방향)에 상관없이 하나의 양자화된 영역을 형성하도록 한다. 양자화부(250)가 극좌표 (r,θ) 변이 벡터를 양자화한다는 것의 의미는 극좌표 (r,θ) 변이 벡터가 극좌표 평면 상의 분할된 양자화된 영역에 포함될 때마다 양자화 영역에 대응하는 영역포함횟수를 증가시키는 것을 의미한다.Referring to FIG. 3B, in the regions where 0 ≦ r ≦ 1 and r ≧ 60, one quantized region is formed regardless of θ (the brightness shift direction). Meaning that the quantization unit 250 quantizes the polar (r, θ) disparity vector means that each time the polar (r, θ) disparity vector is included in the divided quantized region on the polar plane, the area inclusion count corresponding to the quantization region is determined. It means to increase.

한편, 양자화부(250)는 양자화된 영역에 속하는 극좌표 (r,θ) 변이 벡터의 영역포함횟수를 계산하여 원영상과 열화영상에 대응하는 히스토그램을 생성할 수 있다. 원영상에 대응하는 히스토그램을 Hr, 열화영상에 대응하는 히스토그램을 Hd로 표현하기로 한다. 도 3(b)를 참조하면, 히스토그램에는 42개의 계급구간이 나누어져 있으며, 전체 영상을 히스토그램으로 나타내기 위해서는 84바이트(42×2바이트)의 저장공간이 필요하다. 84바이트의 저장공간은 다른 화질 평가 방법에서 사용하는 저장공간에 비하여 적은 공간이다. 이때 2바이트는 플로팅 포인트 값(floating point values)을 나타내기 위해 필요한 바이트수이다.Meanwhile, the quantization unit 250 may generate histograms corresponding to the original image and the degraded image by calculating the area inclusion count of the polar coordinate (r, θ) disparity vector belonging to the quantized region. The histogram corresponding to the original image is represented by H r , and the histogram corresponding to the degraded image is represented by H d . Referring to FIG. 3 (b), the histogram is divided into 42 rank sections, and 84 bytes (42 × 2 bytes) of storage space are required to represent the entire image as a histogram. 84 bytes of storage is less than that of other image quality evaluation methods. 2 bytes is the number of bytes needed to represent floating point values.

화질 평가 지수 산출부(260)는 양자화 영역별로 원영상과 열화영상 간의 영역포함횟수의 차이를 산출하고, 이를 이용하여 화질 평가 지수를 산출한다. 이때 양자화부(250)가 생성한 원영상의 히스토그램과 열화영상의 히스토그램 간의 차이를 이용하면, 손쉽게 영역포함횟수의 차이를 산출할 수 있다. 히스토그램 간의 총 영역포함횟수의 차이(VQHdiff)는 다음의 수학식 2와 같이 계산될 수 있다.The image quality evaluation index calculator 260 calculates a difference in the number of area inclusions between the original image and the deteriorated image for each quantization region, and calculates the image quality evaluation index by using the same. At this time, by using the difference between the histogram of the original image and the histogram of the degraded image generated by the quantization unit 250, it is possible to easily calculate the difference in the number of areas included. The difference in the total area inclusion count (VQH diff ) between the histograms may be calculated as in Equation 2 below.

Figure 112009070391474-pat00002
Figure 112009070391474-pat00002

여기서, k는 양자화된 영역을 나타내는 인덱스이고, M은 양자화된 영역의 전체 개수이다. 본 발명의 일 실시예에서는 M이 42이다. 수학식 2에서 볼 수 있는 바와 같이 양자화 영역별로 원영상과 열화영상 간의 영역포함횟수의 차이를 산출하고, 그 결과들을 합산하여 원영상과 열화영상 간의 총 영역포함횟수의 차이(VQHdiff) 를 산출한다. 이와 같이 산출된 총 영역포함횟수의 차이(VQHdiff)가 벡터 양자화 히스토그램 화질 지수(vector quantization histogram quality metric, VQHQM)이다. Where k is an index representing the quantized region and M is the total number of quantized regions. In one embodiment of the present invention, M is 42. As can be seen in Equation 2, the difference of the area inclusion count between the original image and the degraded image is calculated for each quantization region, and the results are summed to calculate the difference in the total area inclusion count (VQH diff ) between the original image and the degraded image. do. The calculated difference in total area coverage (VQH diff ) is a vector quantization histogram quality metric (VQHQM).

도 4는 본 발명의 일 실시예에 따른 극좌표 평면 분할을 이용한 화질 평가 방법의 흐름도이다.4 is a flowchart of an image quality evaluation method using polar coordinate plane division according to an embodiment of the present invention.

410 단계에서 화질 평가 장치는 원영상과 열화영상 각각을 입력받고, 입력받은 원영상과 열화영상을 복수의 단위 블록들로 분할한다. 이러한 단위 블록은 8×8 단위 블록으로 하는 것이 바람직하다. 8×8 블록으로 분할하기 전이나 분할한 후에 저역 필터(Low Pass Filter)를 이용하여 영사의 노이즈를 제거하는 것이 바람직하다.In operation 410, the image quality evaluation apparatus receives the original image and the degraded image, and divides the received original image and the degraded image into a plurality of unit blocks. Such unit blocks are preferably 8 × 8 unit blocks. It is preferable to remove projection noise by using a low pass filter before or after division into 8x8 blocks.

420 단계에서 화질 평가 장치는 410 단계에서 분할된 단위 블록들 각각의 대표 화소값을 연산한다. 이때 대표 화소값은 단위 블록 내 화소들의 밝기의 평균값인 것이 바람직하나, 대표 화소값을 결정하는 방법은 그 밖의 다양한 방법을 이용하여 결정할 수 있다. In operation 420, the image quality evaluation apparatus calculates a representative pixel value of each of the divided unit blocks in operation 410. In this case, the representative pixel value is preferably an average value of brightnesses of the pixels in the unit block, but a method of determining the representative pixel value may be determined using various other methods.

430 단계에서 화질 평가 장치는 각 단위 블록별 수평방향과 수직방향의 대표 화소값 차이를 연산한다. 본 발명의 일 실시예에 따르면 각 8×8 단위 블록별 수평방향과 수직방향의 평균 밝기값의 차이를 연산한다. 이때 상술한 수학식 1을 이용하여 수평방향과 수직방향 각각에 대하여 인접하는 8×8 단위 블록 사이의 평균 밝기값의 차이를 연산할 수 있다.In operation 430, the image quality evaluation apparatus calculates a difference between representative pixel values in the horizontal direction and the vertical direction for each unit block. According to an embodiment of the present invention, the difference between the average brightness values in the horizontal direction and the vertical direction for each 8 × 8 unit block is calculated. In this case, the difference in the average brightness value between adjacent 8 × 8 unit blocks in each of the horizontal and vertical directions may be calculated using Equation 1 described above.

440 단계에서 화질 평가 장치는 430 단계에서 연산된 수평방향과 수직방향의 대표 화소값 차이를 dIx-dIy 좌표에서 극좌표 평면상의 좌표(r,θ)로 변환한다. 극좌표의 r은 인접하는 단위 블록 간의 밝기 변이 크기를 나타내는 것으로 원점으로부터의 거리로 표현되며, 극좌표의 θ는 밝기 변이 방향을 의미한다. 따라서 수학식 1에 기재된 (dIx,dIy) 좌표로부터 변환한 극좌표 (r,θ)는 극좌표에서의 변이 벡터(variation vector)로 표현될 수 있다.In operation 440, the image quality evaluation apparatus converts the difference in the representative pixel values in the horizontal direction and the vertical direction calculated in operation 430 from coordinates dI x −dI y to coordinates (r, θ) on the polar coordinate plane. The polar coordinate r indicates the magnitude of the brightness shift between adjacent unit blocks, and is expressed as a distance from the origin, and the? Of the polar coordinate indicates the brightness shift direction. Therefore, the polar coordinates (r, θ) converted from the (dI x , dI y ) coordinates described in Equation 1 may be expressed as a variation vector in the polar coordinates.

450 단계에서 화질 평가 장치는 440 단계에서 변환된 극좌표 평면상의 좌표(r,θ)가 극좌표 평면의 양자화된 영역별로 속하는 영역포함횟수를 원영상과 열화영상 각각에 대하여 산출한다. 이것은 극좌표에서의 변이 벡터 양자화를 의미한다. 극좌표 평면을 양자화할 때, 극좌표의 θ축에 따른 양자화는 균일하게 영역을 나누어 이루어지고, 극좌표의 r축에 따른 양자화는 불균일하게 극좌표 평면 영역을 나누는 것이 바람직하다. 또한 극좌표 평면의 양자화 영역들을 계급구간으로 하고, 양자화된 영역들 각각에 포함되는 변이 벡터의 개수를 히스토그램의 도수로 하여 벡터 양자화 히스토그램을 생성할 수 있다. In operation 450, the image quality evaluation apparatus calculates, for each of the original image and the deteriorated image, the number of region inclusions in which the coordinates (r, θ) on the polar plane converted in operation 440 belong to each quantized region of the polar plane. This means disparity vector quantization in polar coordinates. When quantizing the polar plane, it is preferable that the quantization along the θ axis of the polar coordinates is uniformly divided into regions, and the quantization along the r axis of the polar coordinates is uniformly divided into the polar plane regions. In addition, a vector quantization histogram may be generated by using the quantization regions of the polar plane as the class interval, and the number of disparity vectors included in each of the quantized regions as the frequency of the histogram.

460 단계에서 화질 평가 장치는 원영상과 열화영상 간의 영역포함횟수의 차이로부터 화질 평가 지수를 산출한다. 이때 450 단계에서 생성한 원영상의 히스토그램과 열화영상의 히스토그램 간의 계급구간별 차이를 계산함으로써, 영역포함횟수의 차이를 산출할 수 있다. 히스토그램 간의 총 영역포함횟수의 차이(VQHdiff)는 상술한 수학식 2와 같이 계산되며, 총 영역포함횟수의 차이(VQHdiff)가 벡터 양자화 히스토그램 화질 지수(VQHQM)이다. In operation 460, the image quality evaluating apparatus calculates the image quality evaluation index from the difference in the number of area inclusions between the original image and the degraded image. In this case, the difference in the number of region inclusions may be calculated by calculating the difference of each class interval between the histogram of the original image and the histogram of the degraded image generated in operation 450. The difference in the total area inclusion counts (VQH diff ) between the histograms is calculated as in Equation 2, and the difference in the total area inclusion counts (VQH diff ) is the vector quantization histogram quality index (VQHQM).

이상에서 살펴본 본 발명의 일 실시예에 따른 극좌표 평면 분할을 이용한 화질 평가 방법은 원영상과 열화 영상 간의 차이를 연산하여 화질을 평가하는 방법의 일종이다. 화질 평가 방법은 full reference(FR), reduced reference(RR), 및 no-reference(NR)의 세 가지 카테고리가 있는데 본 발명의 일 실시예에서는 RR 화질 평가방법인 벡터 양자화 히스토그램 방법(vector quantization histogram method)을 이용한 것이다. 영상을 블록 분할한 후, 블록의 대표 화소값 변화량을 벡터로 표현하고, 극좌표 평면의 양자화한 영역에 속하는 벡터들의 수를 양자화한 영역별로 합산함으로써 히스토그램을 생성한다. 이와 같이 히스토그램을 생성하는 방법을 벡터 양자화 히스토그램 방법(vector quantization histogram method)이라 한다.The image quality evaluation method using polar coordinate plane division according to an embodiment of the present invention described above is a kind of method for evaluating image quality by calculating a difference between an original image and a degraded image. There are three categories of image quality evaluation methods: full reference (FR), reduced reference (RR), and no-reference (NR). In one embodiment of the present invention, a vector quantization histogram method, which is an RR quality evaluation method, is used. ). After dividing an image into blocks, a histogram is generated by representing the amount of change in the representative pixel value of the block as a vector and summing the number of vectors belonging to the quantized region of the polar coordinate plane for each quantized region. This method of generating a histogram is called a vector quantization histogram method.

이러한 벡터 양자화 히스토그램은 RR 화질 평가방법을 효과적으로 하는데 사용된다. 이하에서는 LIVE(Laboratory for image and video engineering) 영상들에 대하여 본 발명의 일 실시예에 따른 화질 평가 지수(VQHQM)와 DMOS(differential mean opinion score)의 유사도를 살펴보고, 다른 화질 평가 지수와 비교하기로 한다.This vector quantization histogram is used to effectively evaluate the RR quality. Hereinafter, looking at the similarity between the VQHQM and the differential mean opinion score (DMOS) according to an embodiment of the present invention for LIVE (Laboratory for image and video engineering) images, and comparing with other image quality indexes Shall be.

도 5는 본 발명의 일 실시예에 사용되는 실험 영상의 예를 도시한 것이다. 도 5(a)는 빌딩 영상(768×512), 도 5(b)는 앵무새 영상(768×512), 도 5(c)는 돛단배 영상(480×720), 도 5(d)는 등대 영상(480×720), 도 5(e)는 모자 쓴 여성 영상(480×720)이다. 5 shows an example of an experimental image used in an embodiment of the present invention. 5 (a) is a building image (768 × 512), FIG. 5 (b) is a parrot image (768 × 512), FIG. 5 (c) is a sailboat image (480 × 720), and FIG. 5 (d) is a lighthouse image 5 (e), FIG. 5 (e) shows a female image wearing a hat (480 x 720).

도 6은 본 발명의 일 실시예에 사용된 원영상 및 각각 다른 종류의 열화영상의 예를 도시한 것이다. 도 6(a)는 원영상이고, 도 6(b)는 원영상의 JPEG 열화 영 상, 도 6(c)는 원영상의 JPEG 2000 열화 영상, 도 6(d)는 원영상의 가우시안 블러(Gaussian blur) 열화 영상, 도 6(e)는 원영상의 백색 노이즈(white noise) 열화 영상, 도 6(f)는 원영상의 패스트 페이딩(fast fading) 열화 영상이다. 6 illustrates an example of an original image and different types of deteriorated images used in an embodiment of the present invention. Fig. 6 (a) shows the original image, Fig. 6 (b) shows the JPEG deteriorated image of the original image, Fig. 6 (c) shows the JPEG 2000 deteriorated image of the original image, and Fig. 6 (d) shows the Gaussian blur of the original image. Gaussian blur deteriorated image, FIG. 6 (e) shows white noise deteriorated image of the original image, and FIG. 6 (f) shows fast fading deteriorated image of the original image.

화질을 평가하는 목적은 인간의 주관적인 화질 평가와 유사한 계량적인 데이터를 얻는 데 있다. 따라서 본 발명의 일 실시예에 따른 화질 평가 방법의 성능을 측정하기 위해 우선 실험 영상에 대한 MOS(mean opinion score) 데이터가 필요하다. MOS(mean opinion score) 데이터는 인간이 화질을 평가한 주관적인 테스트로부터 얻은 데이터이기 때문에 인간의 시각 시스템(human visual system, HVS)를 잘 반영한다. 따라서 MOS(mean opinion score) 데이터는 화질을 평가하는 기준이 될 수 있으며, 화질 평가의 성능을 비교할 때 필요하다. DMOS(differential mean opinion score)는 주관적인 화질을 의미하는 것으로, 사람이 직접 화질을 평가한 수치인 MOS(mean opinion score)를 double-stimulus continuous quality-scale(DSCQS)방법에 적용하여 DMOS를 얻을 수 있다.The purpose of evaluating image quality is to obtain quantitative data similar to subjective image quality evaluation of human beings. Therefore, in order to measure the performance of the image quality estimation method according to an embodiment of the present invention, first, mean opinion score (MOS) data of an experimental image is required. Mean opinion score (MOS) data reflects the human visual system (HVS) because it is derived from subjective tests of human image quality. Therefore, MOS (mean opinion score) data can be used as a criterion for evaluating image quality and are necessary for comparing the performance of image quality evaluation. Differential mean opinion score (DMOS) means subjective picture quality, and DMOS can be obtained by applying mean opinion score (MOS), which is a value that a person directly evaluates picture quality, to the double-stimulus continuous quality-scale (DSCQS) method. .

서로 다른 화질 평가 지수의 성능을 평가하기 위해서 화질 평가 지수와 DMOS 간의 유사성을 측정하는 피어슨 상관계수(Pearson Correlation Coefficient)를 이용하여 평가한다. In order to evaluate the performance of different image quality indexes, Pearson Correlation Coefficient (Pearson Correlation Coefficient) is used to measure the similarity between the quality index and the DMOS.

표 1은 각 열화영상에 대하여 산출한 4개의 다른 화질 평가 지수의 피어슨 상관 계수를 비교한 표이다. 4개의 화질 평가 지수는 MSE(mean squared error), SSIM(Structural Similarity Index Measurement), MSVD(Mean Singular Value Decomposition), 및 VQHQM이며, 각각의 화질 평가 지수는 5 종류의 다른 열화영상 에 대하여 산출된다. Table 1 compares Pearson's correlation coefficients of four different image quality indexes calculated for each deteriorated image. The four image quality indexes are mean squared error (MSE), structural similarity index measurement (SSIM), mean singular value decomposition (MSVD), and VQHQM, and each image quality index is calculated for five different degradation images.

Figure 112009070391474-pat00003
Figure 112009070391474-pat00003

표 1에서 밑줄 친 값은 5 종류의 다른 열화영상 각각에 대하여 가장 높은 피어슨 상관 계수이며, 피어슨 상관 계수가 높을수록 사람의 시각으로 평가한 척도인 DMOS와 유사함을 의미한다. 따라서, 본 발명의 일 실시예에 따른 VQHQM이 가장 좋은 성능을 보이고 있음을 알 수 있다. 본 발명의 일 실시예에 따른 VQHQM이 JPEG 2000, JPEG, 백색 노이즈(white noise), 가우시안 블러(Gaussian blur) 열화 영상에 대해서는 가장 우수한 성능을 보이고, 패스트 페이딩(fast fading) 열화 영상에 대해서는 SSIM이 가장 우수한 성능을 나타내고 있다. The underlined values in Table 1 are the highest Pearson correlation coefficients for each of the five different deteriorated images, and the higher the Pearson correlation coefficient, the more similar it is to DMOS, which is a measure evaluated by human vision. Therefore, it can be seen that the VQHQM according to an embodiment of the present invention shows the best performance. According to an embodiment of the present invention, VQHQM shows the best performance for JPEG 2000, JPEG, white noise, Gaussian blur, and SSIM for fast fading. It has the best performance.

또한 본 발명의 일 실시예에 따른 화질 평가 방법과 종래의 화질 평가 방법의 성능을 비교하기 위해 총 982개의 LIVE(Laboratory for Image & Video Engineering) 실험 영상을 사용한다. In addition, a total of 982 LIVE (Laboratory for Image & Video Engineering) experimental images are used to compare the performance of the image quality evaluation method and the conventional image quality evaluation method according to an embodiment of the present invention.

표 2는 총 982개의 LIVE 실험 영상 전부에 대하여 각 화질 평가 지수별로 피어슨 상관 계수를 산출하여 성능을 비교한 표이다.Table 2 is a table comparing performance by calculating Pearson's correlation coefficient for each of 982 LIVE test images by each image quality evaluation index.

Figure 112009070391474-pat00004
Figure 112009070391474-pat00004

표 2를 참조하면, 가장 큰 피어슨 상관 계수를 나타내는 화질 평가 지수는 본 발명의 일 실시예에 따른 VQHQM임을 알 수 있다. Referring to Table 2, it can be seen that the image quality evaluation index indicating the largest Pearson correlation coefficient is VQHQM according to an embodiment of the present invention.

도 7은 DMOS와 4개의 다른 화질 평가 지수 간의 scatter 플롯을 도시한 것이다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 VQHQM이 다른 화질 평가 지수들보다 우수한 피팅 결과를 보여주고 있음을 알 수 있다. 7 shows a scatter plot between the DMOS and four different picture quality indexes. Referring to FIG. 7, it can be seen that VQHQM according to an embodiment of the present invention shows better fitting results than other image quality evaluation indices.

본 발명의 일 실시예에 따라 생성되는 VQHQM은 열화 영상의 화질을 평가하는 지수 중의 하나이다. VQHQM은 양자화된 영역에 속하는 변이 벡터의 수를 계산하여 얻은 히스토그램을 이용하여 산출된다. 각각의 화질 평가 지수와 DMOS의 피어슨 상관 계수를 성능 비교에 사용한 결과, 본 발명의 일 실시예에 따라 생성되는 VQHQM은 종래의 화질 평가 지수보다 우수한 성능을 나타낸다는 것을 알 수 있다.The VQHQM generated according to an embodiment of the present invention is one of the indexes for evaluating the image quality of the degraded image. VQHQM is calculated using a histogram obtained by calculating the number of disparity vectors belonging to the quantized region. As a result of using each of the image quality index and the PMOS Pearson correlation coefficient in the performance comparison, it can be seen that the VQHQM generated according to an embodiment of the present invention shows better performance than the conventional image quality index.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by specific embodiments such as specific components and the like. For those skilled in the art to which the present invention pertains, various modifications and variations are possible. Therefore, the spirit of the present invention should not be limited to the described embodiments, and all of the equivalents or equivalents of the claims as well as the claims to be described later will belong to the scope of the present invention. .

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 종래의 RR 화질 평가 장치의 블록도이다.1 is a block diagram of a conventional RR image quality evaluation apparatus.

도 2는 본 발명의 일 실시예에 따른 극좌표 평면 분할을 이용한 화질 평가 장치의 블록도이다.2 is a block diagram of an image quality evaluation apparatus using polar coordinate plane division according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 양자화부(250)가 극좌표에서의 변이 벡터를 양자화하는 방법을 나타낸 것이다.3 illustrates a method in which the quantization unit 250 quantizes the disparity vector in polar coordinates according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 극좌표 평면 분할을 이용한 화질 평가 방법의 흐름도이다.4 is a flowchart of an image quality evaluation method using polar coordinate plane division according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 사용되는 실험 영상의 예를 도시한 것이다. 5 shows an example of an experimental image used in an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 사용된 원영상 및 각각 다른 종류의 열화영상의 예를 도시한 것이다.6 illustrates an example of an original image and different types of deteriorated images used in an embodiment of the present invention.

도 7은 DMOS와 4개의 다른 화질 평가 지수 간의 scatter 플롯을 도시한 것이다.7 shows a scatter plot between the DMOS and four different picture quality indexes.

Claims (15)

원영상과 열화영상을 복수의 단위 블록들로 분할하는 단계;Dividing the original image and the degraded image into a plurality of unit blocks; 상기 분할된 단위 블록들 각각의 대표 화소값을 연산하는 단계;Calculating a representative pixel value of each of the divided unit blocks; 상기 단위 블록별로 수평방향과 수직방향의 대표 화소값 차이를 연산하는 단계;Calculating a representative pixel value difference in a horizontal direction and a vertical direction for each unit block; 상기 연산된 수평방향과 수직방향의 대표 화소값 차이를 극좌표 평면상의 좌표로 변환하는 단계;Converting the calculated difference between the representative pixel values in the horizontal direction and the vertical direction into coordinates on a polar coordinate plane; 상기 극좌표 평면이 양자화 영역들로 분할된 경우 상기 변환된 극좌표 평면상의 좌표가 상기 양자화 영역들 각각에 속하는 영역포함횟수를 상기 원영상과 상기 열화영상별로 산출하는 단계;Calculating the number of regions including the area corresponding to each of the quantized regions in which the coordinates on the converted polar coordinate plane belong to each of the original image and the deteriorated image when the polar coordinate plane is divided into quantized regions; 상기 양자화 영역별로 상기 원영상과 상기 열화영상 간의 영역포함횟수의 차이를 산출하는 단계; 및Calculating a difference of the area inclusion count between the original image and the deteriorated image for each quantization region; And 상기 산출된 양자화 영역별 영역포함횟수의 차이에 근거하여 화질 평가 지수를 산출하는 단계를 포함하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 방법.And calculating a picture quality evaluation index based on the calculated difference in area inclusion counts for each quantization region. 제 1 항에 있어서,The method of claim 1, 상기 화소값은 밝기값인 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 방법.And the pixel value is a brightness value. 제 1 항에 있어서,The method of claim 1, 상기 극좌표 평면(r,θ)의 양자화 영역들은 r축은 불균일하게 양자화되고, θ축은 균일하게 양자화되어 형성되는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 방법.The quantization regions of the polar planes (r, θ) are formed in such a way that the r-axis is non-uniformly quantized and the θ-axis is uniformly quantized. 제 1 항에 있어서,The method of claim 1, 상기 양자화 영역들 각각에 속하는 영역포함횟수를 상기 원영상과 상기 열화영상별로 산출하는 단계는Computing the area inclusion counts belonging to each of the quantization areas for each of the original image and the deterioration image 상기 양자화 영역들을 계급구간으로, 상기 영역포함횟수를 도수로 하는 히스토그램을 상기 원영상과 상기 열화영상별로 산출하는 단계를 더 포함하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 방법.And calculating a histogram having the frequency of the region included in the quantized regions as the class interval for each of the original image and the deteriorated image. 제 1 항에 있어서,The method of claim 1, 상기 양자화 영역별로 상기 원영상과 상기 열화영상 간의 영역포함횟수의 차이를 산출하는 단계는The step of calculating the difference of the area inclusion count between the original image and the deterioration image for each quantization region is 상기 원영상과 상기 열화영상 간의 상기 양자화 영역별 영역포함횟수의 차이를 합산하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 방법.And summing the difference of the area inclusion counts for each quantization region between the original image and the deteriorated image. 제 1 항에 있어서,The method of claim 1, 상기 분할된 단위 블록들 각각의 대표 화소값을 연산하는 단계는Computing the representative pixel value of each of the divided unit blocks 상기 분할된 단위 블록들 내에 포함되어 있는 화소들의 밝기값들의 평균을 대표 화소값으로 연산하는 단계인 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 방법.And calculating an average of brightness values of pixels included in the divided unit blocks as a representative pixel value. 제 1 항에 있어서,The method of claim 1, 상기 단위 블록은 8×8 단위 블록인 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 방법.And the unit block is an 8 × 8 unit block. 제 1 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. A computer-readable recording medium having recorded thereon a program for executing the method of claim 1 on a computer. 원영상과 열화영상을 복수의 단위 블록들로 분할하는 블록 분할부;A block dividing unit dividing the original image and the degraded image into a plurality of unit blocks; 상기 분할된 단위 블록들 각각의 대표 화소값을 연산하는 대표 화소값 연산부;A representative pixel value calculator configured to calculate a representative pixel value of each of the divided unit blocks; 상기 단위 블록별로 수평방향과 수직방향의 대표 화소값 차이를 연산하는 대표 화소값 차이 연산부;A representative pixel value difference calculator for calculating a difference between the representative pixel values in the horizontal direction and the vertical direction for each unit block; 상기 연산된 수평방향과 수직방향의 대표 화소값 차이를 극좌표 평면상의 좌표로 변환하는 극좌표 변환부;A polar coordinate converter configured to convert the calculated difference between the representative pixel values in the horizontal direction and the vertical direction into coordinates on a polar coordinate plane; 상기 극좌표 평면이 양자화 영역들로 분할된 경우 상기 변환된 극좌표 평면 상의 좌표가 상기 양자화 영역들 각각에 속하는 영역포함횟수를 상기 원영상과 상기 열화영상별로 산출하는 양자화부; 및A quantization unit configured to calculate, according to the original image and the deteriorated image, the number of inclusions of the region in which the coordinates on the converted polar coordinate plane belong to each of the quantization regions when the polar coordinate plane is divided into quantization regions; And 상기 양자화 영역별로 상기 원영상과 상기 열화영상 간의 영역포함횟수의 차이를 산출하고, 상기 산출된 영역포함횟수의 차이를 이용하여 화질 평가 지수를 산출하는 화질 평가 지수 산출부를 포함하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 장치.And a picture quality evaluation index calculator configured to calculate a difference in the area inclusion frequency between the original image and the deteriorated image for each quantization area, and calculate a picture quality evaluation index using the calculated difference in the area inclusion frequency. Image quality evaluation device using plane segmentation. 제 9 항에 있어서,The method of claim 9, 상기 화소값은 밝기값인 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 장치.And the pixel value is a brightness value. 제 9 항에 있어서,The method of claim 9, 상기 극좌표 평면의 양자화 영역들은 r축은 불균일하게 양자화되고, θ축은 균일하게 양자화되는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 장치.The quantization regions of the polar plane are quantized nonuniformly in the r-axis, and the θ axis is uniformly quantized. 제 9 항에 있어서,The method of claim 9, 상기 양자화부는The quantization unit 상기 양자화 영역들을 계급구간으로, 상기 영역포함횟수를 도수로 하는 히스토그램을 상기 원영상과 상기 열화영상별로 산출하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 장치.And a histogram having the frequency of the region included in the quantized regions as the class interval for each of the original image and the deteriorated image. 제 9 항에 있어서,The method of claim 9, 상기 화질 평가 지수 산출부는The image quality evaluation index calculation unit 상기 양자화 영역별로 상기 원영상과 상기 열화영상 간의 영역포함횟수의 차이를 합산하여 화질 평가 지수를 산출하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 장치.And an image quality evaluation index is calculated by summing differences in the area inclusion counts between the original image and the deteriorated image for each quantization region. 제 9 항에 있어서,The method of claim 9, 상기 대표 화소값 연산부는 The representative pixel value calculating unit 상기 분할된 단위 블록들 내에 포함되어 있는 화소들의 밝기값들의 평균을 대표 화소값으로 연산하는 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 장치.And an average of brightness values of pixels included in the divided unit blocks as a representative pixel value. 제 9 항에 있어서,The method of claim 9, 상기 단위 블록은 8×8 단위 블록인 것을 특징으로 하는 극좌표 평면 분할을 이용한 화질 평가 장치.And the unit block is an 8 × 8 unit block.
KR1020090110705A 2009-11-17 2009-11-17 METHOD AND APPARATUS OF ASSESSING IMAGE QUALITY USING THE QUANTIZATION IN THE R-θ PLANE KR101024104B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090110705A KR101024104B1 (en) 2009-11-17 2009-11-17 METHOD AND APPARATUS OF ASSESSING IMAGE QUALITY USING THE QUANTIZATION IN THE R-θ PLANE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090110705A KR101024104B1 (en) 2009-11-17 2009-11-17 METHOD AND APPARATUS OF ASSESSING IMAGE QUALITY USING THE QUANTIZATION IN THE R-θ PLANE

Publications (1)

Publication Number Publication Date
KR101024104B1 true KR101024104B1 (en) 2011-03-22

Family

ID=43939272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090110705A KR101024104B1 (en) 2009-11-17 2009-11-17 METHOD AND APPARATUS OF ASSESSING IMAGE QUALITY USING THE QUANTIZATION IN THE R-θ PLANE

Country Status (1)

Country Link
KR (1) KR101024104B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070021912A (en) * 2005-08-19 2007-02-23 삼성전자주식회사 Image processing device for determining image quality and method thereof
KR100938211B1 (en) 2008-08-29 2010-01-22 성균관대학교산학협력단 System and method for video quality measurement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070021912A (en) * 2005-08-19 2007-02-23 삼성전자주식회사 Image processing device for determining image quality and method thereof
KR100938211B1 (en) 2008-08-29 2010-01-22 성균관대학교산학협력단 System and method for video quality measurement

Similar Documents

Publication Publication Date Title
US9756323B2 (en) Video quality objective assessment method based on spatiotemporal domain structure
US8737486B2 (en) Objective image quality assessment device of video quality and automatic monitoring device
JP6067737B2 (en) Method, apparatus, computer program, and storage medium for video quality measurement
Ma et al. Reduced-reference video quality assessment of compressed video sequences
CN110505472B (en) Quality evaluation method for H.265 ultra-high-definition video
US9497468B2 (en) Blur measurement in a block-based compressed image
Engelke et al. Modelling saliency awareness for objective video quality assessment
US20140321552A1 (en) Optimization of Deblocking Filter Parameters
CN106875389B (en) Stereo video quality evaluation method based on motion significance
Feng et al. Saliency inspired full-reference quality metrics for packet-loss-impaired video
KR101327709B1 (en) Apparatus for monitoring video quality and method thereof
EP2257077A1 (en) Method, device, and program for objectively evaluating video quality
Attar et al. Image quality assessment using edge based features
US11909999B2 (en) Coding management method and apparatus based on high efficiency video coding
Konuk et al. A spatiotemporal no-reference video quality assessment model
Vora et al. Analysis of compressed image quality assessments, m
Gao et al. A content-based image quality metric
KR101024104B1 (en) METHOD AND APPARATUS OF ASSESSING IMAGE QUALITY USING THE QUANTIZATION IN THE R-θ PLANE
Ma et al. Reduced reference video quality assessment based on spatial HVS mutual masking and temporal motion estimation
CN107809631B (en) The wavelet field method for evaluating video quality eliminated based on background
Fang et al. Asymmetrically distorted 3D video quality assessment: From the motion variation to perceived quality
KR100612667B1 (en) Apparatus and Methods for Objective Assessment of Video Quality
JP4763241B2 (en) Motion prediction information detection device
KR101101139B1 (en) Method and apparatus of assessing image quality using motif scan
Keimel et al. Extending video quality metrics to the temporal dimension with 2D-PCR

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140317

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150305

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee