KR20110041962A - Method and apparatus for video quality assessment - Google Patents

Method and apparatus for video quality assessment Download PDF

Info

Publication number
KR20110041962A
KR20110041962A KR1020090128538A KR20090128538A KR20110041962A KR 20110041962 A KR20110041962 A KR 20110041962A KR 1020090128538 A KR1020090128538 A KR 1020090128538A KR 20090128538 A KR20090128538 A KR 20090128538A KR 20110041962 A KR20110041962 A KR 20110041962A
Authority
KR
South Korea
Prior art keywords
quantization
histogram
distortion amount
frequency component
equation
Prior art date
Application number
KR1020090128538A
Other languages
Korean (ko)
Inventor
장성환
박희철
이주용
진영민
서창렬
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of KR20110041962A publication Critical patent/KR20110041962A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/10Monitoring; Testing of transmitters
    • H04B17/15Performance testing
    • H04B17/16Test equipment located at the transmitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PURPOSE: A method and device thereof are provided to measure image quality without any information about an original image by using information included in mage data within a bit string inside a receiving side. CONSTITUTION: An image quality measuring method includes as follow: a step of receiving video data; a step of obtaining a discrete cosine transform coefficient and a quantization parameter included in video data; a step of generating a frequency component histogram of video data by using the discrete cosine transform coefficient; a step of generating a histogram which models to a Gaussian function histogram; a step of computing a quantization distortion amount per frequency component of video data by using the modeled histogram modeled and the quantization parameter.

Description

영상 품질 측정 방법 및 장치{METHOD AND APPARATUS FOR VIDEO QUALITY ASSESSMENT}METHOD AND APPARATUS FOR MEASUREMENT OF IMAGE QUALITY {METHOD AND APPARATUS FOR VIDEO QUALITY ASSESSMENT}

본 발명은 영상 품질 측정 방법 및 장치에 관한 것으로, 보다 상세하게는 원본 영상 없이, 비트열(bit-stream)에 포함된 정보만을 이용하여 영상 품질을 측정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for measuring image quality, and more particularly, to a method and apparatus for measuring image quality using only information included in a bitstream without an original image.

최근 유무선 통신 기술의 발전에 따라 VoD(Video on Demand), IPTV(Internet Protocol TeleVision) 등의 디지털 동영상 서비스가 제공되고 있다. 하지만 디지털 동여상 데이터의 대역폭이 너무 크기 때문에 통신망을 통해 서비스를 제공하기 위해서는 동영상 데이터의 대역을 압축하여야 하며, 동영상의 대역 압축 과정에서 화질이 손실되는 경우가 빈번하다. 따라서, 보다 높은 품질의 영상 서비스를 제공하기 위해서는 제공되는 영상의 품질을 측정할 필요가 있다.Recently, with the development of wired and wireless communication technology, digital video services such as VoD (Video on Demand) and IPTV (Internet Protocol TeleVision) are being provided. However, because the bandwidth of digital moving image data is too large, in order to provide a service through a communication network, the bandwidth of the video data must be compressed, and the image quality is often lost during the bandwidth compression of the video. Therefore, in order to provide a higher quality image service, it is necessary to measure the quality of the provided image.

영상 품질 측정 방법은 전기준(Full Reference), 감소기준(Reduced Reference) 및 무기준(No Reference) 방법으로 분류된다. 전기준 방법은 원본 영상 을 사용하여 영상 품질을 측정하는 방법이고, 감소기준 방법은 원본 영상의 특징 만을 사용하여 영상 품질을 측정하는 방법이며, 무기준 방법은 원본 영상에 대한 정보 없이 영상 품질을 측정하는 방법이다.Image quality measurement methods are classified into full reference, reduced reference, and no reference methods. Electron Jun is a method of measuring the image quality using the original image, and the reduction criterion method is a method of measuring the image quality using only the characteristics of the original image, and the non-standard method measures the image quality without information about the original image. That's how.

종래의 무기준 영상 품질 측정 방법은 주로 디코딩된 영상의 Blockiness, Blur, Jerkiness 등을 측정하는 것이다. 무기준 영상 품질 측정 방법은 원본 영상에 대한 정보 없이, 디코딩된 영상으로부터 열화된 영상의 특징을 찾아내어 점수화하는 것이다. Blockiness는 열화된 영상의 특징 중 하나인 8x8 블록 단위로 경계가 발생하는 정도를 점수화한 것이다. Blur는 열화된 영상의 특징 중 하나인 경계(edge)의 뭉개짐 정도를 점수화한 것이다. Jerkiness는 열화된 영상의 특징 중 프레임율 저하의 정도를 점수화한 것이다. The conventional non-standard video quality measurement method mainly measures the blockiness, blur, jerkiness, etc. of the decoded video. A nonstandard video quality measurement method is to find and score a feature of a degraded image from the decoded image without information on the original image. Blockiness is a score of the degree of boundary generation in 8x8 block units, one of the characteristics of deteriorated image. Blur scores the degree of crushing of edges, one of the characteristics of degraded images. Jerkiness scores the degree of frame rate drop among the characteristics of degraded images.

하지만 이와 같은 Blockiness, Blur, Jerkiness 측정은 실제 영상 품질을 정확히 반영하지 못하는 경우가 많다. 예를 들어 Blur 측정의 경우, 원본 영상의 경계가 원래 없는 경우와 화질열화로 인해 경계가 없는 경우와의 차이를 구분하지 못하며, Jerkiness의 경우도 원본 영상의 움직임이 원래 없는 경우와 프레임율이 떨어져서 움직임이 없는 경우의 차이를 구분하기 어렵다. 그 밖에도 다른 무기준 영상 품질 측정 방법이 존재하지만, 기본적으로 원본 영상 없이 품질을 측정하므로 그 성능은 저조한 편이다.However, these blockiness, blur, and jerkiness measurements often do not accurately reflect the actual image quality. For example, in the case of Blur measurement, the difference between the original borderless image and the borderless image due to deterioration of image quality cannot be distinguished. In the case of Jerkiness, the frame rate is lower than the original borderless motion. It is difficult to tell the difference between no motion. There are other non-standard video quality measurement methods, but the performance is poor because it basically measures the quality without the original video.

본 발명은 수신기 측에서 비트열 내의 영상 데이터에 포함된 정보를 이용함으로써 원본 영상에 대한 정보 없이 영상의 품질을 측정할 수 있는 영상 품질 측정 방법 및 장치를 제공하는 것을 일 목적으로 한다.An object of the present invention is to provide an image quality measuring method and apparatus capable of measuring the quality of an image without information on an original image by using information included in image data in a bit string at a receiver.

또한 본 발명은 영상 데이터의 디코딩 이전에 비트열 내의 영상 데이터에 포함된 정보를 이용하여 영상의 품질을 측정함으로써 종래의 무기준 방법보다 정확한 영상 품질 측정이 가능한 영상 품질 측정 방법 및 장치를 제공하는 것을 다른 목적으로 한다.The present invention also provides an image quality measuring method and apparatus capable of measuring image quality more accurately than the conventional non-standard method by measuring the image quality using information included in the image data in the bit stream before decoding the image data. For other purposes.

또한 본 발명은 영상의 왜곡 측정시 각 영역에 따라 서로 다른 가중치를 부여함으로써 해당 영상을 시청하는 시청자의 시각 특성이 반영된 보다 정확한 영상 품질 측정이 가능한 영상 품질 측정 방법 및 장치를 제공하는 것을 또 다른 목적으로 한다.Another object of the present invention is to provide a method and apparatus for measuring image quality, which is capable of measuring image quality more accurately by reflecting visual characteristics of a viewer watching a corresponding image by assigning different weights to each region when measuring distortion of an image. It is done.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention, which are not mentioned above, can be understood by the following description, and more clearly by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

이러한 목적을 달성하기 위한 본 발명은 영상 품질 측정 방법에 있어서, 영상 데이터를 입력받는 단계, 영상 데이터에 포함된 이산 여현 변환 계수 및 양자화 파라미터를 획득하는 단계, 이산 여현 변환 계수를 이용하여 영상 데이터의 주파수 성분별 히스토그램을 생성하는 단계, 생성된 히스토그램을 가우시안(Gaussian) 함수로 모델링한 히스토그램을 생성하는 단계 및 모델링한 히스토그램 및 양자화 파라미터를 이용하여 영상 데이터의 상기 주파수 성분 별 양자화 왜곡량을 연산하는 단계를 포함하는 것을 일 특징으로 한다.In order to achieve the above object, the present invention provides a method for measuring image quality, comprising: receiving image data, obtaining discrete cosine transform coefficients and quantization parameters included in the image data, and using the discrete cosine transform coefficients. Generating a histogram for each frequency component, generating a histogram that models the generated histogram with a Gaussian function, and calculating a quantization distortion amount for each frequency component of the image data using the modeled histogram and quantization parameters. Characterized in that it comprises a.

또한 본 발명은 영상 품질 측정 장치에 있어서, 영상 데이터를 입력받는 입력부, 영상 데이터에 포함된 이산 여현 변환 계수 및 양자화 파라미터를 획득하는 데이터 관리부, 이산 여현 변환 계수를 이용하여 영상 데이터의 주파수 성분별 히스토그램을 생성하고, 생성된 히스토그램을 가우시안(Gaussian) 함수로 모델링한 히스토그램을 생성하며, 모델링한 히스토그램 및 양자화 파라미터를 이용하여 영상 데이터의 주파수 성분 별 양자화 왜곡량을 연산하는 연산부를 포함하는 것을 다른 특징으로 한다.In addition, the present invention provides an image quality measuring apparatus comprising: an input unit for receiving image data, a data management unit for obtaining discrete cosine transform coefficients and quantization parameters included in the image data, and a histogram for each frequency component of the image data using discrete cosine transform coefficients And a histogram modeling the generated histogram with a Gaussian function, and using the modeled histogram and quantization parameters, an operation unit for calculating the quantization distortion amount for each frequency component of the image data. do.

또한 본 발명은 영상 품질 측정 방법에 있어서, 중앙 영역과 주변 영역으로 구분되는 영상 데이터를 입력받는 단계, 중앙 영역 및 주변 영역에 대한 양자화 왜곡량을 연산하는 단계, 중앙 영역에 대한 양자화 왜곡량 및 주변 영역에 대한 양자화 왜곡량에 각각 가중치를 부여하는 단계 및 가중치가 부여된 중앙 영역에 대한 주파수 성분별 양자화 왜곡량 및 주변 영역에 대한 주파수 성분별 양자화 왜곡량을 합산하는 단계를 포함하는 것을 또 다른 특징으로 한다.The present invention also provides a method for measuring image quality, comprising: receiving image data divided into a central region and a peripheral region, calculating a quantization distortion amount for the central region and a peripheral region, a quantization distortion amount for the central region, and a peripheral region Weighting the amount of quantization distortion for the region, and summing the amount of quantization distortion for each frequency component for the weighted center region and the amount of quantization distortion for each frequency component for the peripheral region. It is done.

전술한 바와 같은 본 발명에 의하면, 수신기 측에서 비트열 내의 영상 데이터에 포함된 정보를 이용함으로써 원본 영상에 대한 정보 없이 영상의 품질을 측정할 수 있는 장점이 있다.According to the present invention as described above, by using the information contained in the image data in the bit stream at the receiver side there is an advantage that can measure the quality of the image without information on the original image.

또한 본 발명에 의하면, 영상 데이터의 디코딩 이전에 비트열 내의 영상 데이터에 포함된 정보를 이용하여 영상의 품질을 측정함으로써 종래의 무기준 방법보다 정확한 영상 품질 측정이 가능한 장점이 있다.In addition, according to the present invention, by measuring the quality of the image by using the information contained in the image data in the bit stream before decoding the image data, there is an advantage that the accurate image quality can be measured than the conventional non-standard method.

또한 본 발명은 영상의 왜곡 측정시 각 영역에 따라 서로 다른 가중치를 부여함으로써 해당 영상을 시청하는 시청자의 시각 특성이 반영된 보다 정확한 영상 품질 측정이 가능한 장점이 있다.In addition, the present invention has the advantage that it is possible to measure the image quality more accurately reflecting the visual characteristics of the viewer watching the image by assigning different weights to each region when measuring the distortion of the image.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above objects, features, and advantages will be described in detail with reference to the accompanying drawings, whereby those skilled in the art to which the present invention pertains may easily implement the technical idea of the present invention. In describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to indicate the same or similar components.

도 1은 본 발명에 의한 영상 품질 측정 장치의 동작을 설명하기 위한 통신망 구성도이다.1 is a configuration diagram of a communication network for explaining the operation of the image quality measuring apparatus according to the present invention.

도 1을 참조하면, 방송사나 방송 컨텐츠 제공자등에 의해 제공되는 비디오 신호(원본 영상)는 인코더(102)에 의해 인코딩된다. 그리고 인코더(102)에 의해 비트열 형태로 출력된 인코딩된 영상 데이터(이하, 영상 데이터)는 통신망(104)을 통해 수신측으로 전송된다. 여기서, 영상 데이터는 주로 비트열(bit-stream)의 형태를 갖는다. 수신측의 디코더(106)는 전송된 영상 데이터를 입력받아 디코딩하고, 디코딩된 영상 데이터는 재생장치(108)로 전달되어 재생된다. Referring to FIG. 1, a video signal (original video) provided by a broadcaster, a broadcast content provider, or the like is encoded by the encoder 102. The encoded image data (hereinafter, referred to as image data) output in the form of a bit string by the encoder 102 is transmitted to the receiving side through the communication network 104. Here, the image data mainly has the form of a bit stream. The decoder 106 on the receiving side receives and decodes the transmitted video data, and the decoded video data is transmitted to the playback device 108 for reproduction.

이 때, 앞서 설명한 바 있는 Blockiness, Blur, Jerkiness 등의 측정에 의한 무기준 영상 품질 측정 방법들은 대부분 디코딩된 영상, 즉 디코더(106)에서 출력된 디코딩된 영상 데이터를 이용하여 영상의 품질을 측정한다. 이러한 경우 앞서 설명한 바와 같은 문제점, 즉 실제 영상의 품질을 정확히 측정하지 못하는 문제점이 발생한다. In this case, the methods of measuring non-standard video quality by measuring Blockiness, Blur, Jerkiness, etc. as described above measure the quality of the video using the decoded video, that is, the decoded video data output from the decoder 106. . In this case, a problem as described above, that is, a problem of not accurately measuring the quality of the actual image occurs.

본 발명에 의한 영상 품질 측정 방법은 이러한 문제점을 해결하기 위하여, 디코딩되기 이전의 영상 데이터를 이용하여 영상의 품질을 측정함으로써 종래 측정 방법보다 더욱 정확한 품질 측정 결과를 얻을 수 있다. 도 1에서, 본 발명에 의한 영상 품질 측정 장치(110)는 통신망(104)을 통해 전달된 영상 데이터를 입력받고, 이 영상 데이터에 포함된 유용한 정보들을 획득하여 이를 영상 품질 측정에 이용한다. In order to solve this problem, the image quality measuring method according to the present invention can obtain a more accurate quality measurement result by measuring the quality of the image using the image data before decoding. In FIG. 1, the image quality measuring apparatus 110 according to the present invention receives image data transmitted through the communication network 104, obtains useful information included in the image data, and uses it for image quality measurement.

여기서, 영상 품질 측정 장치(110)가 영상 데이터를 통해 얻을 수 있는 유용 한 정보로는 각종 헤더 정보, 이산 여현 변환(Discrete Cosine Transform: DCT) 계수, 양자화(Quantization) 파라미터, 실제 사용된 비트 수 등을 들 수 있다.Here, useful information that the image quality measuring apparatus 110 can obtain through the image data includes various header information, discrete cosine transform (DCT) coefficients, quantization parameters, the number of bits actually used, and the like. Can be mentioned.

영상 품질 측정 장치(110)는 이러한 정보들을 이용하여 전송된 영상의 품질을 보다 정확하게 측정하여 출력한다. 출력된 측정 결과는 도 1과 같이 송신측, 예를 들면 인코더(102)에 전송됨으로써 송신측으로 하여금 보다 나은 영상 제공을 수행하는 데 도움을 줄 수 있다. 또한 도 1에는 도시되지 않았으나 영상 품질 측정 장치(110)의 영상 품질 측정 결과는 디코더(106)등 다른 장치에 제공될 수도 있다. 또한 디코더(106)에 의해 출력된 디코딩된 영상은 영상 품질 측정 장치(110)에 제공되어 실제 영상과 측정 결과의 비교 등 다양한 목적으로 이용될 수 있다.The image quality measuring apparatus 110 more accurately measures and outputs the quality of the transmitted image by using the information. The output measurement result may be transmitted to the transmitting side, for example, the encoder 102 as shown in FIG. 1, thereby helping the transmitting side to perform a better image providing. Although not shown in FIG. 1, the image quality measurement result of the image quality measuring apparatus 110 may be provided to another device such as a decoder 106. In addition, the decoded image output by the decoder 106 may be provided to the image quality measuring apparatus 110 and used for various purposes such as comparing an actual image with a measurement result.

도 2는 본 발명에 의한 영상 품질 측정 장치의 구성을 나타내는 구성도이다.2 is a configuration diagram showing the configuration of an image quality measuring apparatus according to the present invention.

도 2를 참조하면, 영상 품질 측정 장치(202)는 입력부(204), 데이터 관리부(206), 연산부(208)를 포함한다. Referring to FIG. 2, the image quality measuring apparatus 202 includes an input unit 204, a data manager 206, and a calculator 208.

본 발명의 일 실시예에서, 입력부(204)는 통신망 또는 다른 매체를 통해 전달되는 영상 데이터를 입력받는다. 그리고 데이터 관리부(206)는 입력부(204)를 통해 입력된 영상 데이터에 포함된 정보들, 예를 들면 이산 여현 변환 계수, 양자화 파라미터 등을 획득한다.In an embodiment of the present invention, the input unit 204 receives image data transmitted through a communication network or other medium. The data manager 206 acquires information included in the image data input through the input unit 204, for example, a discrete cosine transform coefficient, a quantization parameter, and the like.

한편, 연산부(208)는 데이터 관리부(206)에 의해 획득된 정보들 및 다른 정보들을 이용하여 영상 데이터의 왜곡량을 연산한다. 구체적으로, 연산부(208)는 이산 여현 변환 계수를 이용하여 영상 데이터의 주파수 성분별 히스토그램을 생성하고, 생성된 히스토그램을 가우시안(Gaussian) 함수로 모델링한 히스토그램을 생성 하며, 모델링한 히스토그램 및 양자화 파라미터를 이용하여 영상 데이터의 주파수 성분 별 양자화 왜곡량을 연산할 수 있다. On the other hand, the calculator 208 calculates the amount of distortion of the image data by using the information obtained by the data manager 206 and other information. Specifically, the operation unit 208 generates a histogram for each frequency component of the image data by using the discrete cosine transform coefficients, generates a histogram modeling the generated histogram with a Gaussian function, and generates the modeled histogram and the quantization parameter. The amount of quantization distortion for each frequency component of the image data can be calculated.

또한 연산부(208)는 주파수 성분별 양자화 왜곡량을 연산하기 위하여, 모델링한 히스토그램에 설정된 양자화 스텝 구간을 n개(단, n은 양의 정수)의 세부구간으로 나누고, 이 양자화 스텝 구간의 세부구간별 함수값을 연산하며, 연산된 세부구간별 함수값을 이용하여 양자화 스텝 구간의 왜곡량을 연산하고, 이 양자화 스텝 구간의 왜곡량을 모두 더하는 연산을 수행할 수 있다.In order to calculate the amount of quantization distortion for each frequency component, the calculating unit 208 divides the quantization step sections set in the modeled histogram into n detailed sections, where n is a positive integer, and the detailed section of the quantization step sections. A function value for each quantization step may be calculated by calculating a function value for each quantized step, using the calculated function value for each subdivision section, and adding the distortion amount of the quantization step section.

본 발명의 다른 실시예에서, 입력부(204)는 중앙 영역과 주변 영역으로 구분되는 영상 데이터를 입력받는다. 그리고 데이터 관리부(206)는 입력부(204)를 통해 입력된 영상 데이터에 포함된 정보들, 예를 들면 이산 여현 변환 계수, 양자화 파라미터 등을 획득한다.In another embodiment of the present invention, the input unit 204 receives image data divided into a central area and a peripheral area. The data manager 206 acquires information included in the image data input through the input unit 204, for example, a discrete cosine transform coefficient, a quantization parameter, and the like.

연산부(208)는 데이터 관리부(206)에 의해 획득된 정보들 및 다른 정보들을 이용하여 영상 데이터의 왜곡량을 연산한다. 구체적으로, 연산부(208)는 중앙 영역 및 주변 영역에 대한 양자화 왜곡량을 연산하고, 중앙 영역에 대한 양자화 왜곡량 및 주변 영역에 대한 양자화 왜곡량에 각각 가중치를 부여하며, 가중치가 부여된 중앙 영역에 대한 주파수 성분별 양자화 왜곡량 및 주변 영역에 대한 주파수 성분별 양자화 왜곡량을 합산함으로써, 인간의 시각 특성을 반영한 보다 정확한 영상 품질 측정 결과를 얻게 된다. 여기서 연산부(208)가 중앙 영역 및 주변 영역에 대한 양자화 왜곡량을 연산하는 단계는 앞서 설명한 본 발명의 일 실시예와 유사하게 진행될 수 있다.The calculator 208 calculates the amount of distortion of the image data by using the information obtained by the data manager 206 and other information. Specifically, the calculating unit 208 calculates the quantization distortion amount for the center region and the peripheral region, weights the quantization distortion amount for the central region and the quantization distortion amount for the peripheral region, respectively, and the weighted center region. By summing the quantization distortion amount for each frequency component with respect to the quantization distortion amount for each frequency component with respect to the surrounding area, a more accurate image quality measurement result reflecting human visual characteristics can be obtained. Herein, the operation of calculating the quantization distortion for the center region and the peripheral region by the calculator 208 may proceed similarly to the above-described embodiment of the present invention.

이하에서는 구체적인 실시예들을 통해 본 발명에 의한 영상 품질 측정 방법에 대해 보다 상세하게 설명한다.Hereinafter, the image quality measuring method according to the present invention will be described in more detail with reference to specific embodiments.

(1) 양자화에 의한 왜곡량 연산(1) Calculation of distortion by quantization

본 발명의 일 실시예에 의한 영상 품질 측정 방법에서는 영상 데이터로부터 획득된 정보와 영상의 특성을 활용하여 무기준으로 영상의 품질을 측정한다. 앞서 설명한 바와 같이, 수신측에서는 통신망을 통해 전송된 영상 데이터를 디코딩하기 이전에, 해당 영상 데이터로부터 각종 헤더 정보, DCT 계수, 움직임 벡터 등의 다양한 정보를 획득할 수 있으며, 디코더는 이러한 정보들을 이용하여 영상 데이터를 디코딩함으로써 영상 화소를 만든다. 이 때, 디코더가 영상 데이터를 디코딩하여 만든 영상 화소에는 왜곡이 포함되는데, 이 왜곡은 영상 데이터에 포함된 DCT 계수에 양자화로 인해 발생한 왜곡이 포함되어 있기 때문이다. 따라서 전송 과정에서 오류가 없다는 가정하에, DCT 계수의 양자화에 의한 왜곡이 영상 품질 저하의 원인이 될 수 있다. 이에 따라 DCT 계수에 포함된 양자화 왜곡의 양을 정확히 추정할 수 있다면, 원본 영상 없이 해당 영상의 품질을 보다 정확하게 계산할 수 있을 것이다.In the image quality measuring method according to an exemplary embodiment of the present invention, the quality of an image is measured based on no reference by using information obtained from the image data and characteristics of the image. As described above, the receiver may acquire various information such as various header information, DCT coefficients, motion vectors, etc. from the video data before decoding the video data transmitted through the communication network. Image pixels are made by decoding the image data. In this case, the image pixels generated by decoding the image data include distortion, because the distortion includes distortion generated by quantization in the DCT coefficients included in the image data. Therefore, under the assumption that there is no error in the transmission process, distortion due to quantization of the DCT coefficients may be a cause of image quality degradation. Accordingly, if the amount of quantization distortion included in the DCT coefficient can be accurately estimated, the quality of the corresponding image can be more accurately calculated without the original image.

먼저 영상 데이터를 입력받는다(S302). 그리고 영상 데이터에 포함된 DCT 계수 및 양자화 파라미터를 획득한다(S304). 영상 데이터에 포함된 DCT 계수는 인트라(Intra) 모드의 DCT 계수와 예측(Prediction) 모드의 DCT 계수로 나뉜다. 인트라 모드의 DCT 계수는 원래 영상의 화소값을 이산 여현 변환한 값이고, 예측 모드의 DCT 계수는 참조 영상 화소값과 현재 영상 화소값과의 차이(residue)를 이산 여현 변환한 값이다. First, image data is input (S302). In operation S304, DCT coefficients and quantization parameters included in the image data are obtained. The DCT coefficients included in the image data are divided into DCT coefficients of intra mode and DCT coefficients of prediction mode. The DCT coefficient of the intra mode is a value obtained by performing discrete cosine transform on the pixel value of the original image, and the DCT coefficient of the prediction mode is a value obtained by performing discrete cosine transform on the difference between the reference image pixel value and the current image pixel value.

다음으로, DCT 계수를 이용하여 영상 데이터의 주파수 성분별 히스토그램을 생성한다(S306). 도 4는 예측 모드 영상을 4×4블록으로 나눈 후 이산 여현 변환하고, 그에 따른 DCT 계수를 양자화하기 전에 만든 각 주파수 성분별 히스토그램이다. MPEG이나 H.264 등의 규격에 따르는 인코더는 인코딩시 해당 영상을 8×8 또는 4×4 크기의 블록으로 나눈 후 2차원 이산 여현 변환을 한다. 도 4에서 좌측 상단의 성분은 4×4 블록의 DC 성분(주파수 (0,0) 위치)에 해당하며, 이는 21600개의 4×4 블록으로부터 (0,0)주파수 성분만을 모아 만든 히스토그램이다. 도 4에서 오른쪽으로 갈수록 (0,1), (0,2), (0,3)과 같이 수평 방향의 주파수가 높아지며, 아래쪽으로 갈수록 (1,0), (2,0), (3,0)과 같이 수직 방향의 주파수가 높아진다.Next, a histogram for each frequency component of the image data is generated using the DCT coefficients (S306). FIG. 4 is a histogram for each frequency component generated after dividing a prediction mode image into 4 × 4 blocks and performing discrete cosine transform and quantization of DCT coefficients accordingly. Encoder conforming to MPEG, H.264, etc. divides the video into 8 × 8 or 4 × 4 sized blocks and encodes two-dimensional discrete cosine. In FIG. 4, the upper left component corresponds to a DC component (frequency (0,0) position) of a 4 × 4 block, which is a histogram obtained by collecting only (0,0) frequency components from 21600 4 × 4 blocks. In FIG. 4, the frequency in the horizontal direction increases as goes to the right as (0,1), (0,2), and (0,3), and toward the bottom, as in (1,0), (2,0), (3, As in 0), the frequency in the vertical direction increases.

예측 모드에서 참조 영상 화소값과 현재 영상 화소값과의 차이를 구할 때, 화소값이 유사한 영상끼리의 차이를 구하게 되므로 대부분 0 또는 0에 가까운 값이 많게 된다. 도 4에 나타난 바와 같이, 예측 모드에서 DCT 계수들에 대한 히스토그램을 구해보면 0 값이 가장 많다. 이처럼 0 값이 많은 경우 영상을 압축하기 용이하므로, 인코더가 영상을 인코딩할 때에는 압축 성능을 높이기 위하여 영상의 대부분을 인트라 모드보다 예측 모드로 인코딩한다. When the difference between the reference picture pixel value and the current picture pixel value is obtained in the prediction mode, a difference between images having similar pixel values is obtained. As shown in FIG. 4, when the histogram for the DCT coefficients is obtained in the prediction mode, the value of 0 is the most. When the value of 0 is large, it is easy to compress the image. When encoding the image, the encoder encodes most of the image in the prediction mode rather than the intra mode in order to increase the compression performance.

도 4에서 볼 수 있듯이, 예측 모드의 모든 주파수 성분에 대한 히스토그램을 그려보면 0 근처의 도수가 가장 많고, 0으로부터 멀어질수록 도수가 줄어드는 것을 알 수 있다. As shown in FIG. 4, when the histograms of all the frequency components of the prediction mode are drawn, it can be seen that the frequency near zero is the highest, and the frequency decreases as the distance is far from zero.

도 5는 인트라 모드 영상을 4×4블록으로 나눈 후 이산 여현 변환하고, 그에 따른 DCT 계수를 양자화하기 전에 만든 각 주파수 성분별 히스토그램이다.FIG. 5 is a histogram for each frequency component generated after dividing an intra mode image into 4 × 4 blocks and performing discrete cosine transform and quantization of DCT coefficients accordingly.

도 5를 참조하면, 인트라 모드의 DC 성분은 화소의 평균값이므로, DC 성분의 히스토그램은 0이 아닌 영상의 평균 화소값에서 도수가 가장 높고, 평균 화소값에서 멀어질수록 도수가 줄어든다. 나머지 주파수 성분의 히스토그램은 중심에서 도수가 가장 많고 주변으로 갈수록 도수가 줄어드는 분포를 갖는다. Referring to FIG. 5, since the DC component of the intra mode is an average value of pixels, the histogram of the DC component has the highest frequency at the non-zero average pixel value of the image, and decreases as the distance increases from the average pixel value. The histogram of the remaining frequency components has the highest frequency at the center and the frequency decreases toward the periphery.

다음으로, 생성된 히스토그램을 가우시안 함수로 모델링한 히스토그램을 생성한다(S308). 도 4 및 도 5에 나타난 각 주파수 성분별 히스토그램은 가우시안(Gaussian) 분포와 매우 유사한 형태를 갖는 것을 알 수 있다. 따라서 본 발명에서는 위와 같이 구한 인트라 또는 예측 모드의 주파수 성분별 히스토그램을 가우시안 함수로 모델링한다. 도 6는 DCT 계수의 주파수 성분별 히스토그램을 가우시안 함수를 이용하여 모델링한 결과를 나타낸다.Next, a histogram in which the generated histogram is modeled as a Gaussian function is generated (S308). It can be seen that the histogram for each frequency component shown in FIGS. 4 and 5 has a form very similar to a Gaussian distribution. Therefore, in the present invention, the histogram for each frequency component of the intra or prediction mode obtained as described above is modeled as a Gaussian function. 6 shows a result of modeling a histogram of frequency components of DCT coefficients using a Gaussian function.

DCT 계수의 주파수 성분별 히스토그램을 모델링하기 위한 가우시안 함수는 [수학식 1]과 같다. A Gaussian function for modeling the histogram for each frequency component of the DCT coefficient is shown in [Equation 1].

Figure 112009079130812-PAT00001
Figure 112009079130812-PAT00001

[수학식 1]에서,

Figure 112009079130812-PAT00002
는 각 주파수 성분별 히스토그램의 표준편차 값이다. 구 체적으로, 예측 모드에서는 참조 영상과 현재 영상간의 화소의 차(residue)의 각 주파수 성분별 히스토그램에 대해 계산한 표준편차이며, 인트라 모드에서는 원래 영상의 화소의 각 주파수 성분별 히스토그램에 대해 구한 표준편차이다.In [Equation 1],
Figure 112009079130812-PAT00002
Is the standard deviation value of the histogram for each frequency component. Specifically, in the prediction mode, it is a standard deviation calculated for the histogram for each frequency component of the pixel difference between the reference image and the current image. Deviation.

[수학식 2]는 [수학식 1]의 k값을 구하기 위한 식이다.[Equation 2] is an equation for obtaining the k value of [Equation 1].

Figure 112009079130812-PAT00003
Figure 112009079130812-PAT00003

[수학식 2]에서, max(H(i))는 양자화된 DCT 계수의 히스토그램의 최대 도수이다. 여기서 k는 [수학식 1]의 가우시안 함수를 그래프로 나타낼 때 가운데 부분의 높이를 결정하는 인자로서, [수학식 2]의 k값은 실험을 통해 얻어진 이상적인 값이다.In Equation 2, max (H (i)) is the maximum frequency of the histogram of the quantized DCT coefficients. Where k is a factor that determines the height of the middle part when the Gaussian function of Equation 1 is graphed. The k value of Equation 2 is an ideal value obtained through experiments.

마지막으로, 모델링한 히스토그램 및 양자화 파라미터를 이용하여 영상 데이터의 주파수 성분별 양자화 왜곡량을 연산한다(S310). 앞서 설명한 도 4와 도 5는 양자화가 이루어지기 전의 DCT 계수에 대한 히스토그램이다. 하지만 디코더에서는 양자화 후의 DCT 계수만을 얻을 수 있기 때문에, 양자화 전의 히스토그램을 예측해야만 양자화에 의한 왜곡량을 정확하게 계산할 수 있다. 이를 위해, [수학식 1]을 통해 모델링한 히스토그램을 이용한다.Finally, the amount of quantization distortion for each frequency component of the image data is calculated using the modeled histogram and the quantization parameter (S310). 4 and 5 described above are histograms of DCT coefficients before quantization is performed. However, since the decoder can only obtain DCT coefficients after quantization, the distortion amount due to quantization can be accurately calculated only by predicting the histogram before quantization. To this end, a histogram modeled using Equation 1 is used.

도 7은 DCT 계수의 양자화 전 히스토그램과 양자화 후 히스토그램을 비교하여 나타낸 것이다.7 shows a comparison of a histogram before quantization and a histogram after quantization of DCT coefficients.

도 7에서, 점으로 표현된 히스토그램은 양자화가 이루어진 후의 히스토그램을 나타내고, 곡선으로 이루어진 히스토그램은 [수학식 1]을 통해 모델링한, 양자화 전의 DCT 계수의 히스토그램을 나타낸다. 그리고 도 7의 가로축은 DCT 계수값이며 세로축은 DCT 계수의 도수이다. DCT 계수값은 양자화가 되면 가장 가까운 불연속 양자화 값으로 매핑되므로, 양자화 전의 DCT 계수값은 연속적이나 양자화 후에는 불연속적으로 나타난다.In FIG. 7, the histogram represented by a dot represents a histogram after quantization, and the histogram composed of a curve represents a histogram of DCT coefficients before quantization, modeled through Equation 1. 7 is a DCT coefficient value, and a vertical axis is the frequency of DCT coefficients. Since DCT coefficient values are mapped to the nearest discrete quantization values when quantized, DCT coefficient values before quantization appear continuously but discontinuously after quantization.

도 7을 통해 설명할 본 발명의 일 실시예에서는 15개의 양자화 스텝 값을 갖도록 하였으며, 도 7에서 검은 점들은 양자화 후의 도수를 표시한다. 양자화 후의 도수가 양자화 전의 연속값의 도수보다 큰 이유는 DCT 계수의 전체 도수의 합이 양자화 전과 후에 동일해야 하기 때문이다. 즉, 양자화 스텝 값 사이에 있는 연속값들은 양쪽의 양자화 스텝 값으로 매핑되기 때문에, 양자화 스텝 값의 도수는 양자화 전의 연속값보다 커지게 된다. In an embodiment of the present invention to be described with reference to FIG. 7, 15 quantization step values are provided, and black dots in FIG. 7 indicate the frequency after quantization. The reason why the frequency after quantization is larger than the frequency of continuous values before quantization is that the sum of the total powers of the DCT coefficients must be the same as before and after quantization. That is, since the continuous values between the quantization step values are mapped to both quantization step values, the frequency of the quantization step values becomes larger than the continuous value before quantization.

도 8은 양자화 왜곡을 계산하는 방법을 설명하기 위하여 도 7의 일부분을 확대한 것이다.FIG. 8 is an enlarged view of a portion of FIG. 7 to explain a method of calculating quantization distortion.

도 8에는 양자화 스텝 값 (i-1)Qstep, iQstep, (i+1)Qstep이 나타나 있으며, (i-1)Qstep, iQstep 사이로부터 iQstep, (i+1)Qstep 사이까지의 구간을 Qstep, 즉 양자화 스텝 구간으로 정의한다. 8 shows quantization step values (i-1) Qstep, iQstep, and (i + 1) Qstep, and the steps from (i-1) Qstep, iQstep to iQstep and (i + 1) Qstep are Qstep, That is, it is defined as a quantization step interval.

도 8에서 Qstep으로 표시된 구간 사이에 위치하는 DCT 계수 값들은 양자화에 의해 Qstep 구간 중앙의 iQstep 값으로 매핑므로, iQstep 값에 해당되는 양자화 후의 돗수는 Δn 만큼 증가한다. 다시 말해서, Δn개의 DCT 계수는 원래 iQstep 값은 아니었으나 양자화에 의하여 iQstep 값으로 매핑된 것이다. 따라서 Δn개의 DCT 계수는 원래 값과 iQstep 값과의 차이만큼 양자화 왜곡을 포함하게 되고, 이에 따라 Qstep, 즉 양자화 스텝 구간의 왜곡량을 계산하기 위해서는 Δn개의 DCT 계수에 대한 왜곡량을 계산해야 한다.In FIG. 8, DCT coefficient values located between the sections indicated by Qstep are mapped to iQstep values in the center of the Qstep section by quantization, so that the number of times after quantization corresponding to the iQstep value increases by Δn. In other words, the Δn DCT coefficients were not originally iQstep values but were mapped to iQstep values by quantization. Accordingly, the Δn DCT coefficients include quantization distortion by the difference between the original value and the iQstep value. Accordingly, in order to calculate the distortion amount of the Qstep, that is, the quantization step interval, the distortion amount of the Δn DCT coefficients must be calculated.

여기서 Δn개의 DCT 계수는 양자화 스텝 구간 내에 골고루 퍼져 있다고 가정할 수 있으므로, 양자화 스텝 구간을 n개의 세부 구간(단, n은 정수)로 나누어 각각의 세부 구간에 대한 왜곡량을 구하고 이를 합산하여 양자화 스텝 구간에 대한 왜곡량을 구한다.Since the Δn DCT coefficients can be assumed to be evenly distributed in the quantization step interval, the quantization step interval is divided into n subdivision intervals (where n is an integer) to obtain a distortion amount for each subdivision interval, and the sum is added to the quantization step. Find the amount of distortion for the interval.

도 9은 양자화 스텝 구간을 세부 구간으로 나누어 가우시안 함수 값을 구하는 방법을 설명하기 위한 도면이다.9 is a diagram for describing a method of obtaining a Gaussian function value by dividing a quantization step interval into detailed intervals.

본 발명의 일 실시예에서는 도 9에 나타난 바와 같이 양자화 스텝 구간 Qstep을 8개의 세부 구간으로 나누었다. 따라서 세부 구간의 간격은 도 9과 같이 Qstep/8이 될 것이다. 본 발명의 다른 실시예에서는 세부 구간 간격을 더 작게 나누어 계산함으로써 계산의 정확도를 높일 수 있다. In an embodiment of the present invention, as illustrated in FIG. 9, the quantization step interval Qstep is divided into eight subdivisions. Therefore, the interval of the detailed section will be Qstep / 8 as shown in FIG. 9. In another embodiment of the present invention, the accuracy of calculation can be improved by dividing the subdivided interval into smaller sections.

도 9에서 Δn개의 DCT 계수는 각 세부 구간에서 균일하게 분포하지 않고 [수학식 1]의 가우시안 함수 h(x)를 따라 분포하므로, 각 세부 구간 간격마다 가우시안 함수 값을 구해야 한다. 이 때 [수학식 1]에서 정의된 h(x)에는 세부 구간에 따라 [수학식 3]과 같은 x값이 대입된다.In FIG. 9, the Δn DCT coefficients are distributed along the Gaussian function h (x) of [Equation 1] rather than uniformly distributed in each subdivision section. Therefore, a Gaussian function value should be obtained for each subdivision interval. In this case, x value as shown in [Equation 3] is substituted into h (x) defined in [Equation 1] according to the detailed section.

Figure 112009079130812-PAT00004
Figure 112009079130812-PAT00004

[수학식 3]에서, j는 세부 구간의 순서, 즉 1~8의 값을 갖는다. 또한 본 발명의 일 실시예에서는 양자화 스텝 구간을 8등분 했으므로 n=8이 될 것이다. [수학식 3]을 통해 각 세부 구간에서의 x값을 구할 수 있고, 이 x값을 [수학식 1]에 대입함으로써 각 세부 구간에서의 h(x)값을 얻을 수 있다.In Equation 3, j has a value of 1 to 8, that is, the order of subdivisions. In an embodiment of the present invention, since the quantization step interval is divided into eight equal parts, n = 8. [Equation 3] can be obtained x value in each sub-section, and by substituting this x value in [Equation 1] to obtain the h (x) value in each sub-section.

도 10는 각 세부 구간별 왜곡량을 연산하여 양자화 스텝 구간의 왜곡량을 구하는 방법을 설명하기 위한 도면이다.FIG. 10 is a diagram for describing a method of calculating a distortion amount of a quantization step section by calculating a distortion amount of each subdivision section.

[수학식 3]을 통해 설명한 바와 같이, 각 세부 구간 j에서의 함수값을 구하고, 이 함수값을 도 10와 같이 h1, h2, … , h8로 표시하면, 각 세부 구간에서의 왜곡량을 구할 수 있다. 도 10에 나타난 바와 같이, h1과 h8은 Qstep/2 (=4Qstep/8), h2와 h7은 3Qstep/8, h3과 h6은 Qstep/4 (=2Qstep/8), h4와 h5는 Qstep/8의 왜곡량을 갖는다. As described through Equation 3, a function value in each sub-section j is obtained, and the function value is represented by h 1 , h 2 ,... , h 8 , the distortion amount in each detailed section can be obtained. As shown in FIG. 10, h 1 and h 8 are Qstep / 2 (= 4Qstep / 8), h 2 and h 7 are 3Qstep / 8, h 3 and h 6 are Qstep / 4 (= 2Qstep / 8), h 4 and h 5 have a distortion amount of Qstep / 8.

결국 양자화 스텝 구간 Qstep의 왜곡량은 8개의 각 세부 구간별 함수값 h1~ h8을 구한 후, 이들을 이용하여 구할 수 있다. 양자화 스텝 구간의 왜곡량을 구하는 식은 [수학식 4]와 같다. As a result, the distortion amount of the quantization step section Qstep can be obtained by calculating the function values h 1 to h 8 for each of the eight detailed sections. The equation for calculating the distortion amount of the quantization step section is shown in [Equation 4].

Figure 112009079130812-PAT00005
Figure 112009079130812-PAT00005

[수학식 4]에서 k는 n개의 세부 구간을 표시하는 첨자이고, dk는 k번째 세부 구간의 왜곡량을, Df는 한 양자화 스텝 구간의 왜곡량을 각각 나타낸다. [수학식 4]의 의미를 설명하면, Δn개의 DCT 계수를 가우시안 함수 hk값의 비율로 각 세부 구간마다 분배한 후, 각 세부 구간마다의 왜곡량을 구하는 것이다. In Equation 4, k denotes a subscript indicating n subdivisions, d k represents a distortion amount of the kth subdivision, and D f represents a distortion amount of one quantization step interval. When the meaning of Equation 4 is explained, Δn DCT coefficients are distributed for each subdivision section by the ratio of the Gaussian function h k value, and then the amount of distortion for each subdivision section is obtained.

이에 따라 한 주파수 성분에 대한 왜곡량은 각 양자화 스텝 구간에 대해서 [수학식 4]와 같이 왜곡을 구하여 모두 더하면 된다. 또한 영상 전체의 왜곡량은 각 주파수 성분에 대한 왜곡량을 모두 더하여 구할 수 있다.Accordingly, the amount of distortion for one frequency component may be added to each of the quantization step intervals by calculating the distortion as shown in [Equation 4]. In addition, the distortion amount of the entire image can be obtained by adding all the distortion amounts for each frequency component.

(2) 인간의 시각 특성을 반영하는 가중치를 부여한 왜곡량 연산(2) Weighted distortion calculation that reflects human visual characteristics

사람이 TV나 모니터 화면을 볼 때에는 가운데 부분에 주로 초점을 맞추어 보며, 화면의 구석을 보는 경우는 상대적으로 적다. 화면의 구석을 보는 경우는 화면 때문이 아니라 TV나 모니터의 유리가 깨졌는지를 알고 싶거나 또는 특정 객체가 화면의 구석에 위치하고 있는 경우이다. 하지만 숨은 그림 찾기를 하는 경우가 아니라면 영상 촬영자는 TV 시청자가 화면의 가운데를 보도록 카메라 앵글을 잡으며, 관심 있는 객체가 구석으로 이동하면 카메라는 다시 객체를 따라서 이동함으로써 관심 객체는 다시 화면의 중심에 있게 된다. When a person is watching a TV or monitor screen, the focus is mainly on the center, and relatively few corners of the screen are relatively small. If you look at the corner of the screen, you want to know if the glass on your TV or monitor is broken, not because of the screen, or if a specific object is located in the corner of the screen. Unless you're looking for a hidden picture, however, the videographer angles the camera so that the TV viewer sees the center of the screen, and when the object of interest moves to the corner, the camera moves back along the object, bringing the object of interest back to the center of the screen. do.

이에 따라 TV를 보는 사람의 눈은 화면의 구석을 배경이라고 인식하며 자세히 초점을 맞추어 보지 않는다. 하지만 시청자가 화면의 중심에서 어디에 초점을 맞추고 자세히 볼지는 알 수 없기 때문에 중심 부분의 일정 영역에 대해서는 인간의 시각이 모두 민감하다고 봐야 하며, 이러한 영역에 왜곡이 발생하는 경우에는 구석 부분의 왜곡보다 높은 가중치를 부여할 필요가 있다. Accordingly, the viewer's eyes perceive the corner of the screen as the background and do not focus on it in detail. However, since the viewer cannot know where to focus and see in detail, the human vision is sensitive to a certain area of the center, and if a distortion occurs in this area, the distortion is higher than the corner distortion. It needs to be weighted.

도 11은 같은 양의 왜곡이 발생하더라도 화면의 위치에 따라 사람의 눈에 어떻게 다르게 인식되는지를 실험하기 위하여 여러가지 영상에 왜곡을 준 것이다. 왼쪽 영상(1102, 1106)은 중앙에 왜곡을 주었고, 오른쪽 그림(1104, 1108)은 영상의 주변에 왜곡을 주었다. 이러한 실험을 통해, 동일한 왜곡량이라 하더라도 주변 영역의 왜곡보다는 중앙 영역에 왜곡을 준 경우에 시청자가 왜곡을 더 크게 인식한다는 것을 알 수 있다.11 illustrates distortions of various images in order to experiment with how the human eye perceives differently according to the position of the screen even when the same amount of distortion occurs. The left images 1102 and 1106 distorted the center, and the right pictures 1104 and 1108 distorted the periphery of the image. Through these experiments, it can be seen that even if the same amount of distortion, the viewer perceives the distortion more when the distortion is applied to the center region than to the distortion of the peripheral region.

도 12은 인간의 시각 특성을 반영하는 가중치를 부여하기 위하여 화면을 중앙 영역과 주변 영역으로 나눈 것이다.12 is divided into a central region and a peripheral region in order to give a weight reflecting human visual characteristics.

본 발명의 일 실시예에서는 위에서 설명한 바와 같이 화면의 구석보다는 중앙 부분에 더 민감한 인간의 시각 특성을 반영하기 위하여 화면을 중앙 영역과 주변 영역으로 분리하고, 중앙 영역과 주변 영역 각각에 대하여 왜곡량을 연산하며, 연산된 중앙 영역의 왜곡량과 주변 영역의 왜곡량에 각각 가중치를 부여한다. 이 때 중앙 영역의 왜곡량에 부여되는 가중치는 주변 영역의 왜곡량에 부여되는 가중 치보다 상대적으로 크게 설정됨으로써, 화면 중앙 부분의 왜곡에 더 크게 반응하는 인간의 시각 특성을 영상 품질 측정에 반영할 수 있다.In an embodiment of the present invention, as described above, the screen is divided into a central region and a peripheral region to reflect human visual characteristics that are more sensitive to the center portion than the corners of the screen, and the distortion amount is applied to each of the central region and the peripheral region. The calculations are performed to give weights to the calculated distortion amount of the center region and the distortion amount of the peripheral region, respectively. At this time, the weight given to the distortion amount in the center region is set to be relatively larger than the weighting value applied to the distortion amount in the peripheral region, thereby reflecting the visual characteristics of the human being more responsive to the distortion in the center portion of the screen. Can be.

먼저, 중앙 영역과 주변 영역으로 구분되는 영상 데이터를 입력받는다(S1202). 화면을 중앙 영역과 주변 영역으로 구분하는 방법은 여러가지가 존재할 수 있으나, 본 발명의 일 실시예에서는 도 10와 같이 화면의 가로 크기를 6등분하고 화면의 세로 크기를 5등분하여, 화면을 30개의 블록으로 나눈다. 이 때 가운데의 12개 블록을 중앙 영역으로, 나머지 18개 블럭을 주변 영역으로 정의할 수 있다. 이러한 화면 분할 및 중앙 영역, 주변 영역의 정의는 실시예에 따라 얼마든지 달라질 수 있음을 유념해야 한다.First, image data divided into a central area and a peripheral area is received (S1202). There may be various methods for dividing the screen into a central area and a peripheral area. However, in one embodiment of the present invention, as shown in FIG. 10, the screen is divided into six equal parts and the vertical size of the screen is divided into five equal parts. Divide into blocks In this case, the 12 blocks in the middle may be defined as the central region, and the remaining 18 blocks may be defined as the peripheral region. It should be noted that the definition of the screen division, the central region, and the peripheral region may vary depending on the embodiment.

이와 같이 중앙 영역과 주변 영역으로 구분되는 영상 데이터에 대해서, (1) 절에서 설명한 왜곡량 계산을 실시한다(S1204). 이 때, 중앙 영역의 12개 블럭과 주변 영역의 18개 블록에 대해서 왜곡량을 따로 연산하고, 연산된 중앙 영역의 왜곡량 및 주변 영역의 왜곡량 각각에 대하여 가중치를 부여한다(S1206). 그리고 가중치가 부여된 중앙 영역에 대한 주파수 성분별 양자화 왜곡량 및 주변 영역에 대한 주파수 성분별 양자화 왜곡량을 합산한다(S1208). 여기서 중앙 영역의 왜곡량 및 주변 영역의 왜곡량을 구하는 방법은 (1)절을 통해 설명한 바 있으므로, 여기서는 자세한 설명을 생략한다.Thus, the distortion amount calculation described in section (1) is performed on the image data divided into the center area and the peripheral area (S1204). At this time, the distortion amount is calculated separately for the 12 blocks in the center region and 18 blocks in the peripheral region, and weighted for each of the calculated distortion amount in the central region and the distortion amount in the peripheral region (S1206). Then, the quantization distortion amount for each frequency component of the weighted center region and the quantization distortion amount for each frequency component of the peripheral region are added (S1208). Since the method of obtaining the distortion amount of the center region and the distortion amount of the peripheral region has been described through Section (1), detailed description thereof will be omitted.

[수학식 5]는 중앙 영역의 왜곡량 및 주변 영역의 왜곡량 각각에 대하여 가중치를 부여하여 인간 시각의 특성이 반영된 전체 영상의 왜곡량을 구하는 식이다.[Equation 5] is a formula for calculating the amount of distortion of the entire image reflecting the characteristics of human vision by assigning a weight to each of the amount of distortion in the center region and the amount of distortion in the peripheral region.

Figure 112009079130812-PAT00006
Figure 112009079130812-PAT00006

[수학식 5]에서, Dc는 중앙 영역의 왜곡량을, Dp는 주변 영역의 왜곡량을 각각 나타낸다. 또한 Dc에는 1의 가중치가, Dp에는 w의 가중치가 각각 곱해진다. 본 발명의 일 실시예에서는 가중치 w에 0.8을 대입한다. 이렇게 되면 같은 왜곡량이라 하더라도 주변 영역의 왜곡량은 중앙 영역의 왜곡량에 비해 0.8배 적게 되므로, 중앙 영역의 왜곡량이 상대적으로 더 높게 평가될 것이다.In Equation 5, Dc represents a distortion amount of the center region and Dp represents a distortion amount of the peripheral region, respectively. Dc is multiplied by 1, and Dp is multiplied by w. In an embodiment of the present invention, 0.8 is substituted for the weight w. In this case, even if the same amount of distortion, the amount of distortion in the peripheral region is 0.8 times less than the amount of distortion in the central region, so that the amount of distortion in the central region will be relatively higher.

이처럼 전체 영상 데이터의 왜곡을 구한 후에는 [수학식 6]과 같이 PSNR을 구할 수도 있다.After the distortion of the entire image data is obtained, the PSNR may be obtained as shown in [Equation 6].

Figure 112009079130812-PAT00007
Figure 112009079130812-PAT00007

[수학식 6]에서, M과 N은 화면의 가로와 세로 화소 수이다. In Equation 6, M and N are the number of horizontal and vertical pixels on the screen.

전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨 터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.The method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art. In addition, the created program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. And the recording medium includes all types of recording media (intangible medium such as a carrier wave as well as tangible media such as CD and DVD) readable by a computer.

전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by.

도 1은 본 발명에 의한 영상 품질 측정 장치의 동작을 설명하기 위한 통신망 구성도.1 is a communication network configuration for explaining the operation of the image quality measuring apparatus according to the present invention.

도 2는 본 발명에 의한 영상 품질 측정 장치의 구성을 나타내는 구성도.2 is a configuration diagram showing a configuration of an image quality measuring apparatus according to the present invention.

도 3은 본 발명의 일 실시예에 의한 영상 품질 측정 방법의 흐름을 도시한 흐름도.3 is a flow chart showing the flow of the image quality measurement method according to an embodiment of the present invention.

도 4은 예측 모드 영상을 4x4블록으로 나눈 후 이산 여현 변환하고, 그에 따른 DCT 계수를 양자화하기 전에 만든 각 주파수 성분 별 히스토그램.4 is a histogram of each frequency component generated before dividing the prediction mode image into 4x4 blocks and performing discrete cosine transform and quantizing the DCT coefficients accordingly.

도 5는 인트라 모드 영상을 4×4블록으로 나눈 후 이산 여현 변환하고, 그에 따른 DCT 계수를 양자화하기 전에 만든 각 주파수 성분별 히스토그램.FIG. 5 is a histogram for each frequency component produced by dividing an intra mode image into 4 × 4 blocks and then performing discrete cosine transform and quantizing the DCT coefficients accordingly. FIG.

도 6는 DCT 계수의 주파수 성분별 히스토그램을 가우시안 함수를 이용하여 모델링한 결과.6 is a result of modeling a histogram for each frequency component of DCT coefficients using a Gaussian function.

도 7은 DCT 계수의 양자화 전 히스토그램과 양자화 후 히스토그램을 비교하여 나타낸 것.7 shows a comparison of a histogram before quantization and a histogram after quantization of DCT coefficients.

도 8은 양자화 왜곡을 계산하는 방법을 설명하기 위하여 도 7의 일부분을 확대한 것.8 is an enlarged view of a portion of FIG. 7 to explain a method of calculating quantization distortion. FIG.

도 9은 양자화 스텝 구간을 세부 구간으로 나누어 가우시안 함수 값을 구하는 방법을 설명하기 위한 도면.9 is a diagram for describing a method of obtaining a Gaussian function value by dividing a quantization step interval into detailed intervals.

도 10는 각 세부 구간별 왜곡량을 연산하여 양자화 스텝 구간의 왜곡량을 구하는 방법을 설명하기 위한 도면.FIG. 10 is a diagram for describing a method of calculating a distortion amount of a quantization step section by calculating a distortion amount of each subdivision section. FIG.

도 11은 같은 양의 왜곡이 발생하더라도 화면의 위치에 따라 사람의 눈에 어떻게 다르게 인식되는지를 실험하기 위하여 여러가지 영상에 왜곡을 준 것.FIG. 11 illustrates distortions of various images in order to experiment with how the human eye perceives differently according to the position of the screen even when the same amount of distortion occurs.

도 12은 인간의 시각 특성을 반영하는 가중치를 부여하기 위하여 화면을 중앙 영역과 주변 영역으로 나눈 것.12 is a screen divided into a central region and a peripheral region in order to give a weight reflecting human visual characteristics.

도 13은 본 발명의 일 실시예에 의한 영상 품질 측정 방법의 흐름을 도시한 흐름도.13 is a flowchart illustrating a flow of a method for measuring image quality according to an embodiment of the present invention.

Claims (10)

영상 데이터를 입력받는 단계;Receiving image data; 상기 영상 데이터에 포함된 이산 여현 변환 계수 및 양자화 파라미터를 획득하는 단계;Obtaining discrete cosine transform coefficients and quantization parameters included in the image data; 상기 이산 여현 변환 계수를 이용하여 상기 영상 데이터의 주파수 성분별 히스토그램을 생성하는 단계;Generating a histogram for each frequency component of the image data using the discrete cosine transform coefficients; 상기 히스토그램을 가우시안(Gaussian) 함수로 모델링한 히스토그램을 생성하는 단계; 및Generating a histogram modeling the histogram as a Gaussian function; And 상기 모델링한 히스토그램 및 상기 양자화 파라미터를 이용하여 상기 영상 데이터의 상기 주파수 성분 별 양자화 왜곡량을 연산하는 단계를 포함하고,Calculating a quantization distortion amount for each frequency component of the image data by using the modeled histogram and the quantization parameter, 상기 가우시안 함수는 하기 [식 1]과 같이 정의되는 영상 품질 측정 방법.The Gaussian function is defined as shown in the following [Equation 1].
Figure 112009079130812-PAT00008
Figure 112009079130812-PAT00008
제1항에 있어서,The method of claim 1, 상기 [식 1]의 상기 k는 하기 [식 2]와 같이 정의되는 영상 품질 측정 방법.K in the above [Formula 1] is defined as shown in [Formula 2].
Figure 112009079130812-PAT00009
Figure 112009079130812-PAT00009
제1항에 있어서,The method of claim 1, 상기 주파수 성분별 양자화 왜곡량을 연산하는 단계는Computing the quantization distortion amount for each frequency component 상기 모델링한 히스토그램에 설정된 양자화 스텝 구간을 n개(단, n은 양의 정수)의 세부구간으로 나누는 단계;Dividing the quantization step interval set in the modeled histogram into n subdivisions (where n is a positive integer); 상기 [식 1]을 이용하여 상기 양자화 스텝 구간의 세부구간별 함수값을 연산하는 단계;Calculating a function value for each subdivision of the quantization step interval using Equation 1; 상기 세부구간별 함수값 및 하기 [식 3]을 이용하여 상기 양자화 스텝 구간의 왜곡량을 연산하는 단계; 및Calculating a distortion amount of the quantization step section by using the function value for each subdivision section and the following [Equation 3]; And 상기 양자화 스텝 구간의 왜곡량을 모두 더해 상기 주파수 성분별 양자화 왜곡량을 연산하는 단계를Computing the quantization distortion amount for each frequency component by adding all the distortion amount of the quantization step interval 포함하는 영상 품질 측정 방법.Image quality measurement method comprising.
Figure 112009079130812-PAT00010
Figure 112009079130812-PAT00010
영상 데이터를 입력받는 입력부;An input unit for receiving image data; 상기 영상 데이터에 포함된 이산 여현 변환 계수 및 양자화 파라미터를 획득하는 데이터 관리부;A data manager obtaining a discrete cosine transform coefficient and a quantization parameter included in the image data; 상기 이산 여현 변환 계수를 이용하여 상기 영상 데이터의 주파수 성분별 히스토그램을 생성하고, 상기 히스토그램을 가우시안(Gaussian) 함수로 모델링한 히스토그램을 생성하며, 상기 모델링한 히스토그램 및 상기 양자화 파라미터를 이용하여 상기 영상 데이터의 상기 주파수 성분 별 양자화 왜곡량을 연산하는 연산부를Generate a histogram for each frequency component of the image data by using the discrete cosine transform coefficients, generate a histogram of which the histogram is modeled by a Gaussian function, and use the modeled histogram and the quantization parameter to generate the histogram. An operation unit for calculating the quantization distortion amount for each frequency component of 포함하고, 상기 가우시안 함수는 상기 [식 1]과 같이 정의되는 영상 품질 측정 장치.And the Gaussian function is defined as in Equation 1 below. 제4항에 있어서,The method of claim 4, wherein 상기 [식 1]의 상기 k는 상기 [식 2]와 같이 정의되는 영상 품질 측정 장치.Wherein k in Equation 1 is defined as in Equation 2. 상기 연산부는The calculation unit 상기 모델링한 히스토그램에 설정된 양자화 스텝 구간을 n개(단, n은 양의 정수)의 세부구간으로 나누고, 상기 [식 1]을 이용하여 상기 양자화 스텝 구간의 세부구간별 함수값을 연산하며, 상기 세부구간별 함수값 및 상기 [식 3]을 이용하여 상기 양자화 스텝 구간의 왜곡량을 연산하고, 상기 양자화 스텝 구간의 왜곡량을 모두 더해 상기 주파수 성분별 양자화 왜곡량을 연산하는 영상 품질 측정 장치.The quantization step interval set in the modeled histogram is divided into n subdivisions (where n is a positive integer), and a function value for each subdivision period of the quantization step interval is calculated using Equation 1 above. And calculating a distortion amount of the quantization step section by using a function value for each subdivision section and [Equation 3], and calculating the quantization distortion amount for each frequency component by adding all the distortion amounts of the quantization step section. 중앙 영역과 주변 영역으로 구분되는 영상 데이터를 입력받는 단계;Receiving image data divided into a central area and a peripheral area; 상기 중앙 영역 및 상기 주변 영역에 대한 양자화 왜곡량을 연산하는 단계;Calculating a quantization distortion amount for the center region and the peripheral region; 상기 중앙 영역에 대한 양자화 왜곡량 및 상기 주변 영역에 대한 양자화 왜곡량에 각각 가중치를 부여하는 단계; 및Weighting the quantization distortion amount for the center region and the quantization distortion amount for the peripheral region, respectively; And 상기 가중치가 부여된 상기 중앙 영역에 대한 주파수 성분별 양자화 왜곡량 및 상기 주변 영역에 대한 주파수 성분별 양자화 왜곡량을 합산하는 단계를Summing quantization distortion amount for each frequency component of the weighted center region and quantization distortion amount for each frequency component of the peripheral region. 포함하는 영상 품질 측정 방법.Image quality measurement method comprising. 제7항에 있어서,The method of claim 7, wherein 상기 중앙 영역 및 상기 주변 영역에 대한 양자화 왜곡량을 연산하는 단계는Computing the quantization distortion amount for the center region and the peripheral region 상기 영상 데이터에 포함된 이산 여현 변환 계수 및 양자화 파라미터를 획득하는 단계;Obtaining discrete cosine transform coefficients and quantization parameters included in the image data; 상기 이산 여현 변환 계수를 이용하여 상기 영상 데이터의 주파수 성분별 히스토그램을 생성하는 단계;Generating a histogram for each frequency component of the image data using the discrete cosine transform coefficients; 상기 히스토그램을 가우시안(Gaussian) 함수로 모델링한 히스토그램을 생성하는 단계; 및Generating a histogram modeling the histogram as a Gaussian function; And 상기 모델링한 히스토그램 및 상기 양자화 파라미터를 이용하여 상기 영상 데이터의 상기 주파수 성분 별 양자화 왜곡량을 연산하는 포함하고, 상기 가우시안 함수는 상기 [식 1]과 같이 정의되는 영상 품질 측정 방법.And calculating the amount of quantization distortion for each frequency component of the image data by using the modeled histogram and the quantization parameter, wherein the Gaussian function is defined as in Equation 1. 제8항에 있어서,The method of claim 8, 상기 [식 1]에서In [Equation 1] 상기 k는 상기 [식 2]와 같이 정의되는 영상 품질 측정 방법.K is an image quality measurement method defined as in Equation 2. 제8항에 있어서,The method of claim 8, 상기 주파수 성분별 양자화 왜곡량을 연산하는 단계는Computing the quantization distortion amount for each frequency component 상기 모델링한 히스토그램에 설정된 양자화 스텝 구간을 n개(단, n은 양의 정수)의 세부구간으로 나누는 단계;Dividing the quantization step interval set in the modeled histogram into n subdivisions (where n is a positive integer); 상기 [식 1]을 이용하여 상기 양자화 스텝 구간의 세부구간별 함수값을 연산하는 단계;Calculating a function value for each subdivision of the quantization step interval using Equation 1; 상기 세부구간별 함수값 및 상기 [식 3]을 이용하여 상기 양자화 스텝 구간의 왜곡량을 연산하는 단계; 및Calculating a distortion amount of the quantization step section by using the function value for each subdivision section and [Equation 3]; And 상기 양자화 스텝 구간의 왜곡량을 모두 더해 상기 주파수 성분별 양자화 왜곡량을 연산하는 단계를Computing the quantization distortion amount for each frequency component by adding all the distortion amount of the quantization step interval 포함하는 영상 품질 측정 방법.Image quality measurement method comprising.
KR1020090128538A 2009-10-16 2009-12-21 Method and apparatus for video quality assessment KR20110041962A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090098687 2009-10-16
KR20090098687 2009-10-16

Publications (1)

Publication Number Publication Date
KR20110041962A true KR20110041962A (en) 2011-04-22

Family

ID=44047723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090128538A KR20110041962A (en) 2009-10-16 2009-12-21 Method and apparatus for video quality assessment

Country Status (1)

Country Link
KR (1) KR20110041962A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200062705A (en) * 2018-11-27 2020-06-04 에스케이텔레콤 주식회사 No-reference quality assessment method and apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200062705A (en) * 2018-11-27 2020-06-04 에스케이텔레콤 주식회사 No-reference quality assessment method and apparatus

Similar Documents

Publication Publication Date Title
Wu et al. Digital video image quality and perceptual coding
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
US8948253B2 (en) Networked image/video processing system
US9197904B2 (en) Networked image/video processing system for enhancing photos and videos
US20180124399A1 (en) In-loop block-based image reshaping in high dynamic range video coding
US10701359B2 (en) Real-time content-adaptive perceptual quantizer for high dynamic range images
US10244251B1 (en) Picture encoding device and picture encoding method
EP2553935B1 (en) Video quality measurement
US20020028024A1 (en) System and method for calculating an optimum display size for a visual object
US9137548B2 (en) Networked image/video processing system and network site therefor
US20140254676A1 (en) Video encoding and decoding based on image refinement
US20130243104A1 (en) Adaptive loop filtering
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
US20160234496A1 (en) Near visually lossless video recompression
US20130195206A1 (en) Video coding using eye tracking maps
Hanhart et al. 360-degree video quality evaluation
CN110730346A (en) Video coding rate control method based on coding tree unit distortion optimization
KR20100071820A (en) Method and apparatus for measuring quality of video
US20140133554A1 (en) Advanced video coding method, apparatus, and storage medium
US6755531B2 (en) Motion picture code evaluator and billing system
US20110317758A1 (en) Image processing apparatus and method of processing image and video
KR20110041962A (en) Method and apparatus for video quality assessment
JP6010625B2 (en) Distortion / quality measurement
Sun et al. An efficient quality metric for DIBR-based 3D video
KR20150045951A (en) Receiving device, transmission device, and image transmission method

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination