KR20050024098A - Apparatus and Methods for Objective Assessment of Video Quality - Google Patents

Apparatus and Methods for Objective Assessment of Video Quality Download PDF

Info

Publication number
KR20050024098A
KR20050024098A KR1020030061909A KR20030061909A KR20050024098A KR 20050024098 A KR20050024098 A KR 20050024098A KR 1020030061909 A KR1020030061909 A KR 1020030061909A KR 20030061909 A KR20030061909 A KR 20030061909A KR 20050024098 A KR20050024098 A KR 20050024098A
Authority
KR
South Korea
Prior art keywords
image
correction
value
video
outline
Prior art date
Application number
KR1020030061909A
Other languages
Korean (ko)
Other versions
KR100612667B1 (en
Inventor
이철희
안원석
이상우
나동원
채상호
Original Assignee
에스케이 텔레콤주식회사
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사, 학교법인연세대학교 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020030061909A priority Critical patent/KR100612667B1/en
Publication of KR20050024098A publication Critical patent/KR20050024098A/en
Application granted granted Critical
Publication of KR100612667B1 publication Critical patent/KR100612667B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PURPOSE: An apparatus and a method for estimating video quality using preestimated-value correction are provided to reduce an estimation time, perform real-time estimation and carry out objective estimation according to a predetermined reference. CONSTITUTION: A source video input part(1) receives a source video as an original video. An estimation target video input part(2) receives an estimation target video. A picture quality estimation part(3) estimates picture quality based on the source video and the estimation target video. A correction feature extraction part(4) extracts a feature necessary for correction based on the source video and the estimation target video. An estimation value correction part(5) calculates a correction value by using a correction feature vector which is an output of the correction feature extraction part.

Description

예측치 보정을 이용한 동영상 화질 평가장치 및 방법{Apparatus and Methods for Objective Assessment of Video Quality}Apparatus and Methods for Objective Assessment of Video Quality}

본 발명은 동영상 품질을 객관적으로 평가할 수 있는 예측치보정을 이용한 동영상 화질 평가 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for evaluating video quality using predictive value correction that can objectively evaluate video quality.

일반적으로 동영상(Video)에 대한 품질의 평가는 동영상의 품질을 평가하는 평가자들에 의해 주관적으로 이루어지는데, 이러한 평가들의 대부분은 기준이 되는 동영상을 이용하여 이루어지고 있다.In general, the evaluation of the quality of a video is subjective by evaluators who evaluate the quality of the video, and most of these evaluations are performed using the reference video.

기준 평가(full reference)에 있어서, 평가자는 기준이 되는 동영상과 이와 비교하여 평가를 할 동영상을 비교하고 평가를 할 동영상에 평가자 나름대로의 주관적인 점수를 부여하기 때문에 이러한 평가들은 비디오 품질의 주관적인 테스트라고 일컬어진다.In a full reference, the evaluator is called a subjective test of video quality because the evaluator compares the reference video with the video to be evaluated and assigns subjective scores to the video to be evaluated. Lose.

즉, 이러한 종래의 평가 방법은 인간의 지각력을 반영하는 것으로서, 평가를 하는데 있어 다수의 평가자가 요구되기 때문에 시간이 많이 소요되고 그에 따른 평가 비용이 상승하며 실시간으로 평가를 수행할 수 없는 문제점이 있었다.That is, such a conventional evaluation method reflects human perception, and it requires a lot of evaluators to make an evaluation, so that it takes a lot of time, the evaluation cost increases, and the evaluation cannot be performed in real time. .

본 발명은 이와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 평가시간을 단축할 수 있음은 물론 실시간으로 평가를 수행하고 정해진 기준에 따라 객관적인 평가를 수행할 수 있는 예측치보정을 이용한 동영상 화질평가 장치 및 방법을 제공하는데 있다.The present invention is to solve such a problem, an object of the present invention can reduce the evaluation time, as well as to evaluate the image quality of video using predictive value correction that can perform the evaluation in real time and perform an objective evaluation according to a predetermined criterion An apparatus and method are provided.

상기의 목적을 달성하기 위한 본 발명에 따른 예측치보정을 이용한 동영상 화질평가 장치는, 원래의 동영상인 소스동영상을 입력하기 위한 소스영상입력부, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부, 상기 소스영상입력부로 입력되는 소스동영상과 상기 평가대상 입력부로 입력되는 평가대상동영상을 사용하여 상기 평가대상동영상의 객관적평가치(주관적 화질평가치의 예측치)를 계산하는 화질평가부, 상기 소스영상입력부로 입력되는 소스동영상과 상기 평가대상 입력부로 입력되는 평가대상동영상을 사용하여 보정을 위한 특징을 추출하는 특징추출부, 상기 화질평가부의 출력데이터를 보정하는 예측치보정부를 포함하는 것을 특징으로 한다. An apparatus for evaluating video quality using predictive value correction according to the present invention for achieving the above object includes a source video input unit for inputting a source video that is an original video, an evaluation target video input unit for receiving an image to be evaluated, and An image quality evaluation unit for calculating an objective evaluation value (predictive value of subjective image quality evaluation value) of the evaluation target video using the source video inputted to the source image input unit and the evaluation target video inputted to the evaluation target input unit, and inputting to the source image input unit. And a feature extractor for extracting a feature for correction using a source video and an evaluation target video inputted to the evaluation target input unit, and a prediction value correction unit for correcting output data of the image quality evaluation unit.

본 발명에서 예측치라 함은 화질평가부의 출력데이터, 즉 객과적화질평가치를 의미하며, 이는 주관적 화질평가치의 예측치에 해당한다.In the present invention, the prediction value means output data of the image quality evaluation unit, that is, the object quality evaluation value, which corresponds to the prediction value of the subjective image quality evaluation value.

또한, 본 발명에 따른 예측치보정을 이용한 동영상 화질 평가장치는, 동영상 화질평가 장치에 있어서, 원래의 동영상인 소스 영상을 입력하기 위한 소스영상입력부, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부, 상기 소스영상입력부로 입력되는 소스영상의 외곽선 영역을 추출하기 위한 외곽선 추출부, 상기 외곽선추출부의 출력영상으로부터 마스크 이미지(image, 영상)를 생성하기 위한 마스크 이미지 생성부, 상기 소스영상입력부로 입력되는 영상 중 상기 마스크 이미지에 대응하는 영상 및 상기 평가대상 입력부로 입력되는 영상을 입력으로 하여 외곽선 최대 신호대 잡음비를 산출하는 신호대잡음비산출부, 상기 신호대잡음비 보정부의 출력데이터를 보정하는 예측치보정부와, 상기 예측치보정부의 출력 데이터로부터 화질을 평가하는 화질 평가부를 포함하는 것을 특징으로 한다.In addition, the video quality evaluation apparatus using the predictive value correction according to the present invention, in the video quality evaluation apparatus, a source image input unit for inputting the source image that is the original video, the evaluation target image input unit for receiving the image to be evaluated An outline extractor for extracting an outline region of the source image input to the source image input unit, a mask image generator for generating a mask image from the output image of the outline extractor, and input into the source image input unit A signal-to-noise ratio calculation unit for calculating an outline maximum signal-to-noise ratio by inputting an image corresponding to the mask image and an image input to the evaluation target input unit among the images to be input; The image quality is evaluated from the output data of the prediction correction unit. Which it is characterized in that it comprises the image quality evaluation unit.

또한 본 발명에 따른 예측치보정을 이용한 화질평가방법은, 원래 동영상인 소스 동영상 시퀀스의 각 이미지(영상)에 외곽선을 추출하는 1단계, 상기 외곽선 추출후 상기 추출된 외곽선으로부터 마스크 이미지를 생성하기 위한 문턱값을 설정하고 그에 따라 마스크 이미지를 생성하는 2단계, 상기 마스크 이미지의 외곽선 영역의 픽셀수를 미리 설정된 기준값과 비교하여 상기 픽셀수가 상기 기준값 이상일 경우 신호대잡음비를 산출하는 3단계, 상기 신호대잡음비를 보정하는 4단계, 상기 신호대잡음비에 따라 평가를 산출하는 5단계를 포함하는 것을 특징으로 한다.In addition, the image quality evaluation method using the prediction correction according to the present invention, step 1 for extracting the outline in each image (image) of the source video sequence that is the original video, the threshold for generating a mask image from the extracted outline after the outline extraction Setting a value and generating a mask image accordingly, comparing the number of pixels in the outline region of the mask image with a preset reference value and calculating a signal-to-noise ratio when the number of pixels is equal to or greater than the reference value; Step 4, characterized in that it comprises a five step of calculating the evaluation in accordance with the signal to noise ratio.

이하에서는 첨부된 도면을 참조하면 본 발명의 실시 예를 상세하게 설명하도록 한다. Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention.

도 1은 본 발명에 따른 구성을 설명하기 위한 기본블록도이다.1 is a basic block diagram illustrating a configuration according to the present invention.

도 1을 참조하면, 본 발명에 따른 동영상 화질 평가 시스템은, 원래의 동영상인 소스영상(원동영상)을 입력하기 위한 소스영상입력부(1)와, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부(2)와, 상기 소스영상입력부(1) 및 평가대상 영상입력부(2)로 입력된 각 영상을 이용하여 동영상화질평가를 수행하는 동영상화질평가부(3)와, 상기 소스영상입력부(1) 및 평가대상 영상입력부(2)로 입력된 각 영상으로부터 보정특징을 추출하는 보정특징추출부(4)와, 상기 보정특징 추출부(4)의 출력 데이터를 이용하여 상기 동영상화질평가부의 출력데이터를 보정하는 예측치보정부(5)를 포함한다.Referring to FIG. 1, the video quality evaluation system according to the present invention includes a source video input unit 1 for inputting a source video (moving video), which is an original video, and an evaluation target video for receiving an image to be evaluated. A video quality evaluation unit 3 for performing video quality evaluation using the input unit 2, each of the images input to the source image input unit 1 and the evaluation target image input unit 2, and the source image input unit 1 ) And output data of the video quality evaluation unit by using the correction feature extracting unit 4 for extracting a correction feature from each image input to the evaluation target image input unit 2 and the output data of the correction feature extracting unit 4. And a prediction value corrector 5 for correcting the equation.

상기 소스영상입력부(1) 및 평가대상 영상 입력부(2)는 외부 장치로부터 영상을 입력받는 입력장치 또는 영상이 미리 저장된 저장장치 중 어느 하나가 될 수 있다. 상기 보정특징추출부(4)는 시공간주파수의 각 영역별 에너지, 블로킹정도, 에지 정보, 색상 정보 중 어느 하나 이거나 이들의 조합인 보정특징벡터를 추출하고 예측치보정부(5)로 출력한다. The source image input unit 1 and the evaluation target image input unit 2 may be either an input device that receives an image from an external device or a storage device in which an image is stored in advance. The correction feature extractor 4 extracts a correction feature vector, which is one or a combination of energy, blocking degree, edge information, and color information for each region of the space-time frequency, and outputs the correction feature vector to the predictive value corrector 5.

상기한 도 1의 기본 구성을 경계영역의 열화를 측정하여 화질을 평가하는 동영상 화질평가부를 사용하여 구성할 수도 있는데, 이하에서는 그에 대한 실시예를 상세히 설명하도록 한다.The basic configuration of FIG. 1 may be configured by using a video image quality evaluation unit that measures degradation of a boundary area and evaluates image quality. Hereinafter, an embodiment thereof will be described in detail.

동영상의 품질을 평가하기 위한 방법 중의 하나는 소스 동영상과 평가대상 동영상의 자승평균오차(Mean Squared Error; 이하 'MSE'라 칭함)를 산출하고, 이에 따라 최대 신호대잡음비(Peak Signal-to-Noise Ratio, 이하 'PSNR'이라 칭함)를 산출하여 동영상을 평가할 수 있다.One of the methods for evaluating the quality of a video is to calculate a mean squared error (hereinafter, referred to as 'MSE') between the source video and the video to be evaluated, and accordingly, a peak signal-to-noise ratio. , Hereinafter referred to as PSNR, may be used to evaluate the video.

그러나, 전술한 방법에 따라 자승평균오차를 산출하고 최대 신호대잡음비를 산출하는 방법은 동영상의 전체 프레임의 전체 화소에 대하여 연산을 수행하기 때문에 연산량이 과다하여 상기 연산을 수행하는 장치의 부하가 가중되는 단점이 있고 정확하지 못한 문제가 있었다.However, the method of calculating the squared mean error and calculating the maximum signal-to-noise ratio according to the above-described method performs an operation on all the pixels of all the frames of the video, so that the calculation amount is excessive and the load of the apparatus performing the operation is increased. There were disadvantages and inaccurate problems.

한편, 인간의 시각 시스템은 주로 영상에 포함된 이미지의 외곽선의 상태에 따라 영상의 화질이 좋고 나쁨을 인지한다. 따라서 동영상의 외곽선 부근의 화질의 저하를 측정하고 이로부터 얻어진 데이터(EPSNR)를 보정하여 동영상의 품질을 평가할 수 있는 시스템 및 방법을 사용할 수 있다. 상기 EPSNR을 산출하기 위한 객관적 화질평가 장치에 대한 기술은 본 출원인이 2003년 03월 03일자로 특허출원한 "동영상 화질 평가장치 및 방법"(출원번호 10-2003-0013188)에 상세히 기재되어 있다.On the other hand, the human visual system recognizes that the image quality of the image is good or bad according to the state of the outline of the image included in the image. Therefore, a system and method for measuring the degradation of the image quality near the outline of the moving image and correcting the data (EPSNR) obtained therefrom may be used to evaluate the quality of the moving image. The technique for the objective image quality evaluation apparatus for calculating the EPSNR is described in detail in "Video quality evaluation apparatus and method" (Application No. 10-2003-0013188) filed by the applicant on March 03, 2003.

전술한설명을 바탕으로 한 실시예는 도 2에 도시하였다.An embodiment based on the above description is shown in FIG. 2.

도 2는 도 1 에 도시된 실시예를 더욱 구체적으로 표현한 것으로, 경계영역의 열화를 측정하여 화질을 평가하는 동영상 화질평가부를 사용하는 것을 실시예로 하는 본 발명에 따른 예측치보정방법을 이용한 동영상 화질 평가 시스템의 구성을 설명하기 위한 블록도이다. FIG. 2 illustrates the embodiment shown in FIG. 1 in more detail. The video quality using the predictive value correcting method according to the present invention includes using a video quality evaluating unit which measures degradation of a boundary area and evaluates image quality. It is a block diagram for demonstrating the structure of an evaluation system.

도 2를 참조하면, 본 발명에 따른 동영상 화질 평가 시스템은, 원래의 동영상인 소스영상(원동영상)을 입력하기 위한 소스영상입력부(10)와, 상기 소스영상입력부(10)로 입력되는 소스영상의 외곽선을 추출하기 위한 외곽선 추출부(30)와, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부(20)와, 상기 외곽선추출부(30)의 출력으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부(40)와, 상기 마스크 이미지 생성부(40)의 출력을 사용하여 소스영상과 평가대상영상의 외곽선 최대 신호대 잡음비(이하 'EPSNR'라 칭함)을 산출하는 신호대잡음비산출부(이하 'EPSNR산출부'라 칭함)(50)와, 상기 EPSNR산출부(50)의 출력 데이터를 보정하는 예측치보정부(60)와, 상기 예측치보정부(60)의 출력을 소정비율로 스케일링하는 스케일링부(70)를 포함하여 이루어진다. 상기 스케일링부는 출력값을 사용자의 편의에 따라 스케일링하여 주는 것으로 성능과는 무관하다.Referring to FIG. 2, the video quality evaluation system according to the present invention includes a source video input unit 10 for inputting a source video (moving video) which is an original video, and a source video input to the source video input unit 10. A mask image for generating a mask image from the output of the outline extraction unit 30 for extracting the outline of the image, an evaluation target image input unit 20 for receiving an image to be evaluated, and the outline extracting unit 30. A signal-to-noise ratio calculation unit (hereinafter referred to as 'EPSNR') for calculating an outline maximum signal-to-noise ratio (hereinafter referred to as 'EPSNR') of the source image and the evaluation target image using the output of the generator 40 and the mask image generator 40 50), a predictive value correcting unit 60 for correcting the output data of the EPSNR calculating unit 50, and a scaling unit for scaling the output of the predictive value correcting unit 60 at a predetermined ratio ( Including 70) It is. The scaling unit scales the output value according to the user's convenience and has nothing to do with performance.

상기 소스영상입력부(10) 및 평가대상영상입력부(20)는 외부 장치로부터 영상을 입력받는 입력장치 혹은 영상이 미리 저장된 소정의 저장장치일 수 있다.The source image input unit 10 and the evaluation target image input unit 20 may be an input device that receives an image from an external device or a predetermined storage device in which an image is stored in advance.

상기한 구성을 본 발명에 따른 객관적 동영상 화질평가 시스템은, 외곽선 영역을 찾기 위해 소스 동영상에 외곽선 추출 알고리즘을 적용하고, 문턱값을 이용하는 연산을 적용하여 외곽선영역을 구하고, 소스영상과 평가대상영상의 외곽선 영역의 자승평균오차(Mean Squared Error; MSE)를 산출함으로써 외곽선 영역의 저하 즉, 외곽선의 디그라데이션(Degradation) 정도를 측정한다. 그리고 MSE로부터 EPSNR을 산출하고 예측 보정보정을 수행한다.In the objective video quality evaluation system according to the present invention, an outline extraction algorithm is applied to a source video to find an outline region, an operation using a threshold is obtained, and an outline region is obtained. By calculating the mean squared error (MSE) of the outline region, the degradation of the outline region, that is, the degree of degradation of the outline is measured. The EPSNR is calculated from the MSE and prediction correction is performed.

보다 구체적으로 설명하면, 외곽선 추출부(30)는 외곽선 영역을 찾기 위하여 기존에 제안된 알고리즘의 하나를 사용할 수 있으며, 예를 들어 구배 연산자(Gradient Operator)를 이용할 수 있다. 즉, 구배 연산자 중 수직 구배 연산자를 이용한 외곽선 추출 알고리즘을 소스 영상에 적용하여 수직 구배 이미지를 생성하고, 이와 동시에(혹은 생성한 후) 소스 영상에 수평 구배 연산을 적용하여 수평 구배 이미지를 생성한다. 그리고 생성된 수직 및 수평 구배 이미지에 절대값 연산을 수행하여 절대값 구배 이미지를 생성한다.In more detail, the outline extractor 30 may use one of the algorithms previously proposed to find the outline region, and may use, for example, a gradient operator. That is, a vertical gradient image is generated by applying an edge extraction algorithm using a vertical gradient operator among the gradient operators to a source image, and at the same time (or after generating), a horizontal gradient image is generated by applying a horizontal gradient operation to the source image. An absolute value gradient image is generated by performing an absolute value operation on the generated vertical and horizontal gradient images.

마스크 이미지 생성부(40)는 절대값 구배 이미지에 문턱값 연산을 적용하여 절대값 구배 이미지에서 화소값의 크기가 소정치 이상인 것을 추출함으로써 MSE 산출을 위한 외곽선 영역을 찾는다. 즉, 절대값 구배 이미지의 각 화소의 값이 미리 설정된 문턱값 이상인 화소만 추출하고 이와 같이 하여 추출된 화소들이 외곽선 영역이 된다.The mask image generator 40 finds an outline region for MSE calculation by extracting that the pixel value is greater than or equal to a predetermined value from the absolute value gradient image by applying a threshold operation to the absolute value gradient image. That is, only pixels whose values of each pixel of the absolute value gradient image are equal to or larger than a preset threshold value are extracted, and the extracted pixels become an outline region.

영상의 외곽선 및 마스크 이미지를 추출하는 또 다른 방법을 설명하면 다음과 같다. 외곽선 추출부(30)에서 소스영상에 수직 구배 연산자를 적용하여 수직 구배 이미지를 생성한 후, 생성된 수직 구배 이미지에 수평 구배 연산자를 적용하여 연속적인 수직수평 구배 이미지를 생성한다. 여기에서, 소스 영상에 대하여 수평 구배 이미지를 생성한 후 수직구배연산자를 적용하여 수평수직 구배 이미지를 생성하는 것도 가능하다.Another method of extracting the outline and mask image of an image is as follows. The outline extractor 30 generates a vertical gradient image by applying a vertical gradient operator to the source image, and then generates a continuous vertical horizontal gradient image by applying a horizontal gradient operator to the generated vertical gradient image. Here, it is also possible to generate a horizontal gradient image with respect to the source image and then apply a vertical gradient operator.

이와 같이 수직수평 구배 이미지가 생성되면 외곽선 추출부(30)는 이를 마스크 이미지 생성부(40)로 전송하고, 마스크 이미지 생성부(40)는 수직수평 구배 이미지에 문턱값(te) 연산을 적용하여 구배 이미지의 화소들 중 화소의 절대값이 설정된 문턱값 이상인 화소들만 추출한다. 이와 같이 하여 추출된 화소들로 이루어진 외곽선 영역이 마스크 이미지가 된다. 이때 문턱값(te)은 최초에는 기본값으로 설정한 후 마스크 이미지를 생성하고, 생성된 마스크 이미지에서 소스 동영상 외곽선의 픽셀수가 소정값 이상이 아니면서 문턱값이 미리 설정된 하한값 이하가 아니라면 상기 문턱값을 소정치 감소시키면서 상기 방법을 반복한다.As described above, when the vertical horizontal gradient image is generated, the outline extractor 30 transmits it to the mask image generator 40, and the mask image generator 40 applies a threshold value te to the vertical horizontal gradient image. Only pixels having an absolute value greater than or equal to a threshold value among pixels of the gradient image are extracted. In this way, the outline region composed of the extracted pixels becomes a mask image. At this time, the threshold te is initially set to a default value, and then a mask image is generated, and if the threshold number of pixels of the source video outline is not more than a predetermined value in the generated mask image and the threshold value is not less than or equal to a preset lower limit value, The method is repeated while decreasing the predetermined value.

그후, 소스 동영상 외곽선영역의 픽셀수가 소정값 이상이거나 또는 문턱값이 미리 설정된 하한값 이하일 경우 그때의 마스크 이미지를 생성한 후에는 이를 평가대상 영상과 비교하여 EPSNR을 산출하여야 한다. 이를 위하여 소스 영상과 평가대상 영상의 외곽선 영역간의 자승평균오차(MSE)를 이용한다. 즉, 동영상은 다수의 프레임(또는 필드)으로 이루어지고, 각 프레임의 이미지를 이루는 다수의 화소는 행렬로 나타낼 수 있다. 각 프레임의 화소를 행렬로 나타내면 소스 영상과 평가대상 영상간의 오차를 구할 수 있고, 구해진 오차값을 외곽선 영역의 전체 화소수로 나눔으로써 자승평균오차(MSE)를 산출하고 이를 통하여 EPSNR을 산출할 수 있게 된다.Subsequently, when the number of pixels in the source video outline region is greater than or equal to a predetermined value or the threshold is less than or equal to a predetermined lower limit value, an EPSNR is calculated by comparing the image with the evaluation target image after generating the mask image. To this end, a square mean error (MSE) is used between the outline region of the source image and the target image. That is, the video may be composed of a plurality of frames (or fields), and the plurality of pixels constituting the image of each frame may be represented by a matrix. When the pixels of each frame are represented as a matrix, an error between the source image and the image to be evaluated can be obtained, and the squared mean error (MSE) can be calculated by dividing the obtained error value by the total number of pixels in the outline region, thereby calculating the EPSNR. Will be.

일반적으로 평가대상동영상의 경계영역이 원동영상의 경계영역에 비하여 매우 적을 때, 평가자들은 평가대상동영상을 더 나쁘게 인지하는 경향이 있다. 이와 같은 점을 고려하기 위하여 EPSNR 산출 후에는 경계영역 면적의 손실에 따라 상기 EPSNR에 대하여 보정을 수행하여 보정된 값(MEPSNR)을 산출하는데, 다음의 [수학식 1]을 이용할 수 있다.In general, when the boundary region of the evaluation object video is very small compared to the boundary region of the original image, the evaluators tend to perceive the evaluation object video worse. In order to take this into consideration, after calculating the EPSNR, the corrected value MEPSNR may be calculated by performing correction on the EPSNR according to the loss of the boundary area, and the following Equation 1 may be used.

이때,At this time,

EPsrc : 소스동영상의 외곽선영역 픽셀수, EPsrc : the number of pixels of the outline region of the source movie,

EPcommon : 소스동영상과 처리동영상의 공동 외곽선영역의 픽셀수. EPcommon : The number of pixels in the joint outline area of the source and processed movies.

전술한 바와 같이, 상기 EPsrc 이 기준값(예를 들어 10,000 픽셀, NTSC/PAL 기준 8초 동영상의 경우)보다 크거나 같으면 위식을 사용하고, 상기 EPsrc가 기준값(10,000)보다 작으면, 상기 EPsrc 이 상기 10,000보다 크거나 같을 때까지 문턱값(te)을 소정값(예를 들어 20)씩 감소시킨다. 만일 문턱값이 하한값(예를들어 80)이 되어도, 상기 EPsrc가 10,000보다 작으면 위의 보정을 사용하지 않는다. 이 경계영역의 손실에 근거한 보정방법은 다른 객관적 화질평가방법을 보정하는데 사용할 수도 있다. 상기 [수학식 1]에서 여러 문턱치는 적용대상에 따라 변경할 수 있다.As described above, if the EPsrc is greater than or equal to a reference value (e.g., for 10,000 pixels, an 8 second video based on NTSC / PAL), the above equation is used; if the EPsrc is less than a reference value of 10,000, the EPsrc is The threshold te is reduced by a predetermined value (for example 20) until it is greater than or equal to 10,000. If the threshold is a lower limit (eg 80), the above correction is not used if the EPsrc is less than 10,000. The correction method based on the loss of the boundary region may be used to correct other objective image quality evaluation methods. In Equation 1, various thresholds may be changed according to an application target.

또한 EPSNR의 경우 높은 값을 갖는 경우, 주관적평가치를 과대 평가하는 경향이 있다. 따라서 이러한 경우 다음과 같이 보정한다.In addition, in the case of EPSNR, a high value tends to overestimate the subjective evaluation. Therefore, in this case, correct it as follows.

[수학식 2]에서 여러 문턱치는 적용대상에 따라 변경할 수 있다.In Equation 2, various thresholds can be changed according to the application target.

상기 구현 예에서는 경계영역의 열화를 측정하여 화질을 평가하는 화질평가부를 사용하는 것을 가정하였지만 임의의 화질평가부를 사용하는 경우에도 예측치보정부(60)가 예측치 보정을 수행하는데 그 방법은 다음과 같다.In the above embodiment, it is assumed that the image quality evaluation unit which evaluates the image quality by measuring the deterioration of the boundary area is used, but the prediction value correction unit 60 performs the prediction correction even when an arbitrary image quality evaluation unit is used. .

본 발명에 따른 예측치보정부(60)는 EPSNR산출부(50), 즉 화질평가부의 출력 데이터를 보정하는데, 그 예측치 보정 방법은 객관적 화질 평가 시스템이 보다 정확한 평가치 예측이 가능하도록 처리하는 과정으로서, 동영상 객관적 화질 평가 시스템에서 예측치보정은 임의의 예측방법에 대하여 실제값(주관적평가치)에서 떨어진 값들을 실제 값에 근접하도록 예측치(객관적평가치)를 보정하는 방법이다.The predictive value correcting unit 60 according to the present invention corrects the output data of the EPSNR calculation unit 50, that is, the image quality evaluation unit. The predictive value correction method is a process in which the objective image quality evaluation system can process the prediction more accurately. In the video objective image quality evaluation system, predictive value correction is a method of correcting a predicted value (objective evaluation value) so as to approximate the actual value from the actual value (subjective evaluation value) for an arbitrary prediction method.

이를 위한 본 발명에 따른 예측 보정방법에는 보정특징(보정벡터)들을 추출하여 최적을 선형가중벡터를 찾는 최소평균자승(Least Mean Square; LMS)방법, 룰베이스(Rule Based) 방법, 신경망 등 다양한 방법을 이용할 수 있다. 상기한 최소평균자승방법은 가 최소가 되도록 하는 가중벡터(a)를 구한다. 여기서 Y는 보정에 사용된 보정특징벡터, b는 실제값과 예측값의 차이 그리고 a는 가중벡터를 의미한다. 그리고 구하여진 가중벡터와 보정특징벡터를 곱해서 보정치를 계산하여 예측값에 더해줌으로써 실제값에 근접하도록 해준다.Prediction correction method according to the present invention for extracting the correction features (correction vectors) to find the optimal linear weight vector (Least Mean Square (LMS) method, rule-based method, neural network, etc.) Can be used. The least mean square method described above Find the weight vector a so that is minimized. Where Y is the correction feature vector used for the correction, b is the difference between the actual value and the predicted value, and a is the weight vector. The weighted vector is multiplied by the correction feature vector to calculate the correction value and adds it to the predicted value so that it is close to the actual value.

보정에 이용할 수 있는 특징으로는 시공간주파수의 영역별 차이, 블록킹(blcoking) 측정치, 에지(경계선)정보, 색상차이 등이 있으며, 그 이외에도 임의의 특징으로 설정하고 이용할 수 있다. 특히 시공간주파수의 영역별 차이를 구하기 위하여 웨이블릿 계수를 사용할 수 있다.The features that can be used for the correction include the difference in space-time frequency for each region, blocking (blcoking) measurement, edge (boundary line) information, color difference, etc., and other features can be set and used. In particular, the wavelet coefficient may be used to obtain the difference of the space-time frequency for each region.

상기 웨이블릿 계수는 영상을 웨이블릿 변환한 결과로서 웨이블릿 계수를 직접 사용할 수 도 있고, 각 주파수 영역의 에너지를 사용하거나 에너지의 시간에 따른 변화정보를 이용할 수 도 있다.The wavelet coefficients may directly use wavelet coefficients as a result of wavelet transforming an image, or may use energy of each frequency domain or change information according to time of energy.

블록킹 현상은 이산 코사인 변환(Discrete Cosine Transform)을 이용한 블록기반의 영상부호화 방법에서 나타나는 현상으로서 블록킹의 정도는 화질에 영향을 주는 요소중의 하나이며, 블록의 경계가 나타나는 정도를 수치화하여 보정에 이용할 수 있다.Blocking phenomenon occurs in block-based image encoding using Discrete Cosine Transform. The degree of blocking is one of the factors affecting the image quality. Can be.

영상의 경계선 영역은 인간의 눈이 특히 민감하기 반응하는 것으로 경계선 영역의 왜곡정도(에지의 손상)를 보정특징벡터로 이용할 수 있다. The boundary region of the image is particularly sensitive to the human eye, and the distortion degree (edge damage) of the boundary region can be used as a correction feature vector.

색상차이를 이용하는 방법은 일반적으로 영상을 구성하는 RGB 세 가지 색상의 정보를 이용하여 보정특징벡터로 이용하는 것이다.In general, a method of using color difference is to use information of three colors of RGB constituting an image as a correction feature vector.

상기한 특징들을 이용하여 보정특징벡터를 구성한다. 예를 들어 웨이블릿계수의 각 영역별 에너지를 이용하여 보정특징벡터(y0)를 구성할 수 있고, 이러한 에너지와 블로킹정도(y1), 에지 정보(y2), 색상 정보 (y3)등을 조합하여 특징벡터를 구성할 수 있다.A correction feature vector is constructed using the above features. For example, the correction feature vector y 0 can be constructed using the energy of each region of the wavelet coefficient, and the energy, the degree of blocking (y 1 ), the edge information (y 2 ), the color information (y 3 ), etc. Can be combined to form a feature vector.

즉 각각의 특징 y0, y1, y2, y3... 등으로 보정특징벡터 y 를 구성하고 여기에 적당한 가중벡터 a를 곱하여 아래의 [수학식 3]에서와 같이 보정치 b를 산출한다.In other words, each feature y 0 , y 1 , y 2 , y 3 ... is composed of the correction feature vector y and multiplied by the appropriate weight vector a to calculate the correction value b as shown in Equation 3 below. .

a T y = b a T y = b

이때 화질평가 및 보정은 단 하나의 동영상이 아닌 많은 수의 동영상에 대해 최적화되어야 하므로 여러개의 특징벡터를 이용하여 행렬을 구성할 수 있다. 즉 n개의 동영상을 이용했을 경우 각 특징벡터로 구성한 행렬 Y는 [수학식 4]과 같다.In this case, the image quality evaluation and correction should be optimized for a large number of videos, not just one video, so that a matrix can be constructed using multiple feature vectors. That is, in the case of using n moving images, the matrix Y composed of the feature vectors is expressed by Equation 4.

이에 따라 전술한 바와 같이 가 최소가 되도록 하는 가중벡터 a의 값을 산출한다. 여기서 b는 실제값과 예측치의 차이들을 벡터로 나타낸 차이벡터이다. 또한 보정치를 보정특징벡터의 비선형 함수로 추정하는 방법도 사용될 수 있는데, 예를 들어 다항식, 신경망 등을 사용할 수 있다.Accordingly, as described above Calculate the value of the weight vector a such that is minimized. Where b is the difference vector representing the difference between the actual value and the predicted value. In addition, a method of estimating a correction value as a nonlinear function of a correction feature vector may be used. For example, a polynomial or a neural network may be used.

선형가중치를 사용하는 경우, 상기 가중벡터가 산출되면 그 산출된 가중벡터를 보정특징벡터와 내적하여 화질평가부에서 산출된 데이터에 적용함으로써, 예측치보정을 수행한다.In the case of using the linear weighting value, when the weighting vector is calculated, the calculated weighting vector is applied to the data calculated by the image quality evaluation unit by applying the calculated weighting vector to the correction feature vector, thereby performing predictive value correction.

도 3은 본 발명에 따른 예측치보정방법을 설명하기 위한 그래프이다.3 is a graph illustrating a prediction value correction method according to the present invention.

도 3에 도시한 바와 같이, 상기한 예측치보정방법은 데이터들 중에서, 실제값에서 떨어진 값들을 실제값에 근접하도록 데이터를 보정하는 것이다. As shown in FIG. 3, the above-described predictive value correction method is to correct data such that values that are separated from the actual value among the data are close to the actual value.

도 3에 도시한 바와 같이, 예측치보정 후의 값인 예측치가 예측치보정전에 비하여 실제값에 더 근접하는 것을 알 수 있다. As shown in Fig. 3, it can be seen that the predicted value after the predictive value correction is closer to the actual value than before the predicted value correction.

한편, 상기한 예측치보정방법은 도 4에서와 같이 화질평가부의 출력을 소정의 구간으로 구분하고 각 구간마다 서로 다른 보정방법을 적용할 수도 있다.On the other hand, the prediction value correction method described above may divide the output of the image quality evaluation unit into predetermined sections as shown in FIG. 4 and apply different correction methods to each section.

이를 위해 즉, 화질평가부의 출력 데이터의 값에 따라 다수개의 윈도우(본 실시 예에서는 3개의 window0, window1, window2)를 설정한다. 그리고 각 윈도우마다 서로 보정 방법을 적용할 수도 있다.That is, a plurality of windows (three window0, window1, and window2 in this embodiment) are set according to the value of the output data of the image quality evaluation unit. In addition, a correction method may be applied to each window.

경계영역의 열화를 측정하여 화질을 평가하는 화질평가부를 사용하는 것을 가정하여 상기한 본 발명의 방법을 흐름도를 이용하여 설명하면 다음과 같으며, 후술하는 실시예에서는 도 2에 도시한 바와 같은 경계영역의 열화를 측정하여 화질을 평가하는 화질평가부를 사용하는 구성을 이용하지만, 도 1의 기본구성에 따른 임의의 화질평가방법을 사용하는 것도 당연히 가능하다 할 것이다.The method of the present invention is described below using a flowchart on the assumption that an image quality evaluation unit for evaluating image quality by measuring deterioration of a boundary area is as follows. In the following embodiment, the boundary as shown in FIG. Although the configuration using the image quality evaluation unit for measuring the deterioration of the area and evaluating the image quality is used, it will of course be possible to use any image quality evaluation method according to the basic configuration of FIG.

도 5는 경계영역의 열화를 측정하여 화질을 평가하는 화질평가부를 사용하는 것을 가정하여 본 발명에 따른 예측치보정방법을 이용한 동영상 객관적 화질 평가방법의 실시 예를 설명하기 위한 흐름도이다.5 is a flowchart illustrating an embodiment of a video objective image quality evaluation method using a predictive value correction method according to the present invention on the assumption that an image quality evaluation unit is used to measure image quality by measuring degradation of a boundary area.

도 5를 참조하면, 먼저, 소스영상으로부터 외곽선을 추출한다(S10). 이를 위해 도 2에 도시한 소스영상 입력부(10)를 통해 입력된 소스영상을 외곽선 추출부(30)에서 외곽선을 추출한다. 외곽선 추출을 위하여 예를 들어 구배 연산자를 이용한 외곽선 추출 알고리즘을 적용할 수 있다. 즉, 소스영상에 수직 구배 연산자 및 수평 구배 연산자를 각각 적용하여 수직 구배 이미지 및 수평 구배 이미지를 생성하고 여기에 절대값 연산을 수행함으로써 외곽선을 추출하거나, 소스영상에 수직 구배 연산자를 적용하여 수직 구배 이미지를 생성하고 수직 구배 이미지에 수평 구배 연산자를 적용하여 연속적인 수평 구배 이미지를 생성한 후 절대값 연산을 수행함으로써 소스영상의 외곽선을 추출할 수 있다.Referring to FIG. 5, first, an outline is extracted from a source image (S10). To this end, the outline extraction unit 30 extracts the outline of the source image input through the source image input unit 10 shown in FIG. 2. For outline extraction, for example, an outline extraction algorithm using a gradient operator may be applied. That is, a vertical gradient operator and a horizontal gradient operator are applied to the source image to generate a vertical gradient image and a horizontal gradient image, and an absolute value operation is performed to extract the outline, or to apply a vertical gradient operator to the source image to apply a vertical gradient. By generating an image and applying a horizontal gradient operator to a vertical gradient image to generate a continuous horizontal gradient image, the absolute value calculation can be performed to extract the outline of the source image.

마스크 이미지를 생성하기 위한 문턱값(te)을 소정값, 예를 들어 본 실시 예에서는 te = 260으로 설정한다(S20). 문턱값 설정 후 상기 외곽선 이미지에 문턱값을 적용하고 마스크 이미지를 생성한다(S30). 마스크 이미지는 마스크 이미지 생성부(40)에서 생성한다. 마스크 이미지 생성을 위하여 외곽선 추출부에서 생성한 수직 및 수평 구배 이미지에 문턱값 연산을 적용하여 외곽선을 이루는 화소의 절대값의 크기가 소정치 이상인 것을 추출하고 이를 마스크 이미지로서 출력한다.A threshold te for generating a mask image is set to a predetermined value, for example te = 260 in this embodiment (S20). After setting the threshold value, a threshold value is applied to the outline image and a mask image is generated (S30). The mask image is generated by the mask image generator 40. To generate a mask image, threshold values are applied to the vertical and horizontal gradient images generated by the outline extracting unit, and the absolute value of the pixels forming the outline is greater than or equal to a predetermined value and output as a mask image.

단계 S40에서 마스크 이미지 생성 후 소스 동영상의 외곽선 영역 픽셀수(EPsrc)가 기준값(예를 들어 10000) 이상이거나 혹은 문턱값이 하한값(예를 들어 80)미만인지를 판단한다(S40).In operation S40, it is determined whether the number of outline area pixels EPsrc of the source video after the mask image is greater than or equal to the reference value (for example, 10000) or the threshold value is less than the lower limit (for example, 80) (S40).

상기 단계 S40에서 소스 동영상의 외곽선 영역 픽셀수가 상기 기준값이상이 아니면서 문턱값(te)이 미리 설정된 하한값미만이 아니면 문턱값을 재 설정한다(S41). 이때 문턱값은 이전 값에서 소정값을 감소시킴으로써 재 설정이 이루어진다.In operation S40, if the number of pixels of the outline region of the source video is not greater than or equal to the reference value, and the threshold value te is less than the preset lower limit value, the threshold value is reset (S41). At this time, the threshold value is reset by decreasing the predetermined value from the previous value.

상기 단계에서 조건을 만족하면, 마스크 이미지 및 평가대상 영상을 이용하여 EPSNR 산출부(50)에서 EPSNR을 산출한다(S50). 즉, 소스 영상의 마스크 이미지를 사용하여 외곽선영역의 소스 영상과 평가대상 영상간의 오차를 구할 수 있다. 이와 같이하여 구해진 오차값들을 외곽선 영역의 전체 화소수로 나누어 자승평균오차(MSE)를 산출하고, 이로부터 EPSNR을 산출할 수 있게 된다.If the condition is satisfied in the above step, the EPSNR calculation unit 50 calculates the EPSNR using the mask image and the evaluation target image (S50). That is, an error between the source image of the outline region and the evaluation target image may be obtained using the mask image of the source image. The error values obtained in this way are divided by the total number of pixels in the outline region to calculate a squared mean error (MSE), and the EPSNR can be calculated therefrom.

EPSNR을 산출한 후에는 보정을 수행하는데, 전술한 방법에 따라 다음의 식을 이용하여 보정값 MEPSNR을 산출한다.After the EPSNR is calculated, the correction is performed. The correction value MEPSNR is calculated using the following equation according to the above-described method.

이때,At this time,

EPsrc: 소스동영상의 외곽선영역 픽셀수, EPsrc : the number of pixels of the outline region of the source movie,

EPcommon: 소스동영상과 처리동영상의 공동외곽선영역의 픽셀수. EPcommon : The number of pixels in the joint outline area of the source and processed movies.

이에 따라 전술한 방법에 의해 예측치보정부(60)는 예측치 보정을 수행(S60)할 수 있다. 그리고 예측치보정에 따라 스케일링부(70)는 산출된 데이터에 소정비율의 스케일링을 수행(S70)한다. 상기 스케일링부(70)는 출력값을 사용자의 편의에 따라 스케일링하여 주는 것으로 성능과는 무관하다.Accordingly, the prediction value correcting unit 60 may perform prediction correction by the above-described method (S60). In operation S70, the scaling unit 70 performs scaling on the calculated data according to the prediction value correction. The scaling unit 70 scales the output value according to the user's convenience and has nothing to do with performance.

상기한 단계 S60의 예측치보정 과정을 도 6를 참조하여 설명하도록 한다. 도 6은 본 발명에 따른 예측치보정 방법을 설명하기 위한 흐름도이다.The prediction value correction process of step S60 will be described with reference to FIG. 6. 6 is a flowchart illustrating a prediction value correction method according to the present invention.

앞에서도 설명한 바와 같이 본 발명에 따른 예측치보정부(60)는 예측 보정을 위하여 먼저 보정특징벡터를 구성한다(S71). 예를 들어 시공간주파수의 각 영역별 에너지를 이용하여 보정특징벡터(y0)를 구성할 수 있고, 이러한 에너지와 블로킹정도(y1), 에지 정보(y2), 색상 정보 (y3)등을 조합하여 보정특징벡터를 구성할 수 있다.As described above, the predictive value corrector 60 according to the present invention first constructs a correction feature vector for predictive correction (S71). For example, a correction feature vector (y 0 ) can be constructed using energy of each region of space-time frequency, and such energy, blocking degree (y 1 ), edge information (y 2 ), color information (y 3 ), etc. Can be combined to construct a correction feature vector.

즉 각각의 특징 y0, y1, y2, y3... 등으로 보정특징벡터 y 를 구성하고 이를 위해 사용될 보정함수를 산출한다(S72). 가장 간단한 보정함수로 선형함수를 이용할 수 있고, 이 방법에서는 적당한 가중벡터 a를 곱하여 a T y = b 와 같이 예측치(b)를 계산한다(S73). 다른 보정함수로 비선형함수를 사용할 수 있는데, 예를 들어 신경망, 다항식 등을 사용할 수 있다.That is, a correction feature vector y is composed of each feature y 0 , y 1 , y 2 , y 3 ..., and the like, and a correction function to be used is calculated (S72). A linear function can be used as the simplest correction function, and in this method, the predicted value b is calculated by multiplying an appropriate weight vector a such that a T y = b (S73). Other correction functions can be used for nonlinear functions such as neural networks, polynomials, and so on.

도 7은 본 발명에 따른 객관적 동영상 화질평가 방법의 결과와 주관적 화질평가방법의 상관성을 설명하기 위한 그래프이다. 7 is a graph illustrating the correlation between the results of the objective video quality evaluation method and the subjective video quality evaluation method according to the present invention.

도 7을 참조하면, (a)는 EPSNR을 산출하는 방법에 따른 상관성을 나타낸 것이며, (b)는 본 발명에 따른 보정 후, 상관성을 나타낸 그래프이다. 상기 본 발명에 따른 방법에 의한 결과에 대한 그래프(b)를 살펴보면 각 데이터들은 일반적인 PSNR을 산출하는 방법에 따른 결과의 데이터들보다 각 데이터간의 거리가 더 가까우며 상관성(correlation)이 더 높은 것을 알 수 있다.Referring to FIG. 7, (a) shows a correlation according to a method of calculating EPSNR, and (b) shows a correlation after correlation according to the present invention. Looking at the graph (b) of the result according to the method according to the present invention, it can be seen that the distance between each data is closer and the correlation is higher than the data of the result according to the general PSNR calculation method. have.

상기한 바와 같이 본 발명에 의하면 데이터의 상관성이 종래의 방법에 비하여 더 높은 것으로, 예측치를 보정하는 방법에 의해 더 정확한 주관적 평가치 예측이 가능하도록 한다.As described above, according to the present invention, the correlation of the data is higher than that of the conventional method, and a more accurate subjective evaluation value can be predicted by the method of correcting the predicted value.

이상에서 상세히 설명한 바와 같이, 본 발명에 따른 예측치 보정을 이용한 동영상 화질 평가 장치 및 방법에 의하면, 좀더 정확하게 주관적평가치를 예측할 수 있으며 물론 실시간으로 정해진 기준에 따라 객관적인 평가를 수행할 수 있다.As described in detail above, according to the apparatus and method for evaluating moving image quality using prediction value correction according to the present invention, it is possible to predict subjective evaluation values more accurately and to perform objective evaluation according to predetermined criteria in real time.

도 1은 본 발명에 따른 예측치보정을 이용한 동영상 화질평가 장치의 구성을 설명하기 위한 기본블록도,1 is a basic block diagram for explaining the configuration of a video quality evaluation apparatus using predictive value correction according to the present invention;

도 2는 도 1 에 경계영역의 열화를 측정하여 화질을 평가하는 동영상 화질평가부를 적용하는 구성을 설명하기 위한 블록도, FIG. 2 is a block diagram for explaining a configuration of applying a moving image quality evaluation unit for measuring image quality by measuring degradation of a boundary region in FIG. 1;

도 3은 본 발명에 따른 예측치보정방법을 설명하기 위한 그래프,3 is a graph for explaining a predictive value correction method according to the present invention;

도 4는 본 발명에 따른 예측치보정방법의 다른 실시예를 설명하기 위한 그래프,4 is a graph for explaining another embodiment of a predictive value correction method according to the present invention;

도 5는 본 발명에 따른 예측치보정을 이용한 동영상 화질평가방법을 설명하기 위한 전체 흐름도,5 is a flowchart illustrating a video quality evaluation method using predictive value correction according to the present invention;

도 6는 도 5의 예측치보정단계를 상세히 설명하기 위한 흐름도,FIG. 6 is a flowchart for explaining the prediction value correcting step of FIG. 5 in detail;

도 7은 본 발명에 따른 예측치보정을 이용한 동영상 화질평가 방법에 따른 결과를 설명하기 위한 그래프,7 is a graph illustrating a result according to a video quality evaluation method using predictive value correction according to the present invention;

< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>

10:소스영상입력부 20:평가대상 영상 입력부10: source image input unit 20: evaluation target image input unit

30:외곽선추출부 40:마스크이미지 생성부30: outline extraction unit 40: mask image generation unit

50:EPSNR산출부 60:예측치보정부 50: EPSNR calculation part 60: Prediction

70:스케일링부70: scaling part

Claims (27)

동영상 화질평가 장치에 있어서,In the video quality evaluation apparatus, 원래의동영상인 소스 영상을 입력하기 위한 소스영상입력부,A source video input unit for inputting a source video, which is an original video, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부,Evaluation target image input unit for receiving the image to be evaluated, 상기 소스영상입력부로 입력되는 소스영상과 상기 평가대상 영상입력부로 입력되는 평가대상영상을 이용하여 화질을 평가하는 화질 평가부,An image quality evaluation unit for evaluating image quality by using the source image inputted to the source image input unit and the evaluation target image inputted to the evaluation target image input unit; 상기 소스영상입력부로 입력되는 소스영상과 상기 평가대상 영상입력부로 입력되는 평가대상영상을 이용하여 보정에 필요한 특징을 추출하는 보정특징추출부, A correction feature extracting unit for extracting a feature required for correction by using the source image inputted to the source image input unit and the evaluation target image inputted to the evaluation target image input unit; 상기 보정특징추출부의 출력인 보정특징벡터을 사용하여 보정치를 산출하는 예측치보정부를 특징으로 하는 예측치보정을 이용한 동영상 화질 평가장치.An apparatus for evaluating moving picture quality using predictive value correction, characterized in that a predictive value correction unit calculates a correction value using a corrected feature vector output from the corrected feature extractor. 제 1 항에 있어서,The method of claim 1, 상기 소스영상입력부 및 평가대상 영상 입력부는 외부 장치로부터 영상을 입력받는 입력장치 또는 영상이 미리 저장된 저장장치 중 어느 하나인 것을 특징으로 하는 예측치 보정을 이용한 동영상 화질 평가장치.And the source image input unit and the evaluation target image input unit are any one of an input device for receiving an image from an external device or a storage device in which an image is stored in advance. 제 1 항에 있어서,The method of claim 1, 상기 보정특징추출부의 출력인 보정특징벡터는 시공간주파수의 각 영역별 에너지, 블로킹정도, 에지 정보, 색상 정보 중 어느 하나 이거나 이들의 조합인 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가장치.And a correction feature vector, which is an output of the correction feature extracting unit, is any one of energy, blocking degree, edge information, and color information of each space-time frequency, or a combination thereof. 동영상 화질평가 장치에 있어서,In the video quality evaluation apparatus, 원래의동영상인 소스 영상을 입력하기 위한 소스영상입력부,A source video input unit for inputting a source video, which is an original video, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부,Evaluation target image input unit for receiving the image to be evaluated, 상기 소스영상입력부로 입력되는 소스영상의 외곽선 영역을 추출하기 위한 외곽선 추출부,An outline extracting unit for extracting an outline region of the source image inputted to the source image input unit; 상기 외곽선추출부의 출력영상으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부, A mask image generator for generating a mask image from the output image of the outline extractor; 상기 소스영상입력부로 입력되는 영상 중 상기 마스크 이미지에 대응하는 영상 및 상기 평가대상 입력부로 입력되는 영상을 입력으로 하여 외곽선 최대 신호대 잡음비를 산출하는 신호대잡음비산출부,A signal-to-noise ratio calculation unit configured to calculate an outline maximum signal-to-noise ratio by inputting an image corresponding to the mask image and an image input to the evaluation target input unit among the images input to the source image input unit; 상기 신호대잡음비 보정부의 출력데이터를 보정하는 예측치보정부를 포함하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가장치.And a predictive value corrector for correcting the output data of the signal-to-noise ratio corrector. 제 4 항에 있어서,The method of claim 4, wherein 상기 소스영상입력부 및 평가대상 영상 입력부는 외부 장치로부터 영상을 입력받는 입력장치 또는 영상이 미리 저장된 저장장치 중 어느 하나인 것을 특징으로 하는 예측치 보정을 이용한 동영상 화질 평가장치.And the source image input unit and the evaluation target image input unit are any one of an input device for receiving an image from an external device or a storage device in which an image is stored in advance. 제 4 항에 있어서,The method of claim 4, wherein 상기 예측치보정부의 출력을 소정비율로 스케일링하여 출력하는 스케일링부를 더 포함하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질평가장치.And a scaling unit configured to scale and output the output of the predictive value corrector at a predetermined ratio. 제 4 항에 있어서,The method of claim 4, wherein 상기 외곽선추출부는, 입력되는 동영상의 이미지에 구배 연산에 의한 외곽선 추출알고리즘을 적용하여 외곽선 영역을 추출하고 그 이미지를 상기 신호대잡음비산출부로 전달하는 것을 특징으로 하는 예측치 보정을 이용한 동영상 화질 평가장치. The outline extracting unit extracts an outline region by applying an outline extraction algorithm by a gradient operation to an image of an input video and transfers the image to the signal-to-noise ratio calculating unit. 제 4 항에있어서,According to claim 4, 상기 마스크 이미지 생성부는 외곽선 추출부 출력영상의 화소의 절대값이 미리 설정된 문턱 값 이하인 화소는 영으로 설정하고 문턱 값 이상인 화소는 영이 아닌 값으로 설정하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가 장치.The mask image generating unit sets a pixel whose absolute value of the pixel of the outline extracting unit output image is less than or equal to a preset threshold value to zero, and sets a pixel greater than or equal to the threshold value to a non-zero value. . 제 8 항에 있어서,The method of claim 8, 상기 마스크 이미지 생성부는, 소정값을 문턱값을 설정하고, 상기 문턱값을 적용하여 마스크 이미지를 생성하여 그 마스크 이미지의 외곽선 영역 픽셀수가 미리 설정된 기준값이하이면 현재 마스크 이미지를 최종 마스크 이미지로하여 상기 신호대잡음비생성부로 출력하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가 장치.The mask image generation unit sets a threshold value to a predetermined value, generates a mask image by applying the threshold value, and if the number of pixels in the outline area of the mask image is less than or equal to a preset reference value, the mask image generator uses the current mask image as the final mask image. Apparatus for evaluating video quality using predictive value correction, characterized in that output to the noise ratio generator. 제 9 항에 있어서,The method of claim 9, 상기 마스크 이미지 생성부는, 그 마스크 이미지의 외곽선 영역 픽셀수가 미리 설정된 기준값이상이 아니며 상기 문턱값이 미리 설정된 하한값 이상이면, 상기 문턱값을 소정값만큼 감소시켜 상기 마스크 이미지 생성을 재 수행하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가 장치.The mask image generator may reduce the threshold by a predetermined value and regenerate the mask image when the number of pixels of the outline area of the mask image is not greater than or equal to a preset reference value and the threshold is greater than or equal to a preset lower limit. Apparatus for evaluating video quality using predictive value correction. 제 10 항에 있어서,The method of claim 10, 상기 마스크 이미지 생성부는, 상기 문턱값이 미리 설정된 하한값 이하이면 현재 마스크 이미지를 최종 마스크 이미지로 하여 상기 신호대잡음비생성부로 출력하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가 장치.And the mask image generator outputs the current mask image as a final mask image to the signal-to-noise ratio generator if the threshold value is less than or equal to a preset lower limit value. 제 7 항에있어서,According to claim 7, 상기 신호대잡음비산출부는, 상기 소스 동영상의 외곽선 영역과 평가대상 동영상의 동일 시퀀스의 각 화소 사이의 값의 차를 산출하고 그 전체 값으로부터 외곽선 동영상 시퀀스의 외곽선 영역의 전체 화소수로 나누어 평균을 산출하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가장치.The signal-to-noise ratio calculation unit calculates a difference between a value between an outline region of the source video and each pixel of the same sequence of the evaluation target video and calculates an average by dividing the total number of pixels of the outline region of the outline video sequence by the total value. Apparatus for evaluating video quality using predictive value correction, characterized in that the. 제 4 항에 있어서,The method of claim 4, wherein 상기 예측치보정부는 소스영상의 경계영역면적과 평가대상영상의 경계영역면적을 비교하여 보정치를 계산하는 것을 특징으로 하는 예측보치 정을 이용한 동영상 화질평가장치.And the predictive value correcting unit calculates a correction value by comparing the boundary region area of the source image with the boundary region area of the evaluation target image. 제 4 항에 있어서,The method of claim 4, wherein 상기 예측치보정부는, 예측치보정을 수행하기 위하여, 상기 신호대잡음비보정부의 출력데이터에 대하여 보정특징벡터를 구성하며, 상기 보정특징벡터와 소정의 보정함수를 사용하여 보정치를 산출하여 보정을 수행하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가장치.The prediction value compensator configures a correction feature vector with respect to the output data of the signal-to-noise ratio correction section, and performs correction by calculating a correction value using the correction feature vector and a predetermined correction function to perform prediction correction. Apparatus for evaluating video quality using predictive value correction. 제 14 항에 있어서The method of claim 14, 상기 보정특징벡터는 시공간주파수의 각 영역별 에너지, 블로킹정도, 에지 정보, 색상 정보 중 어느하나 이거나 이들의 조합인 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가장치.The apparatus of claim 1, wherein the correction feature vector is any one of energy, blocking degree, edge information, and color information of each region of space-time frequency, or a combination thereof. 제 14 항에 있어서The method of claim 14, 상기 예측치보정부는 상기 신호대잡음비보정부의 출력데이터를 소정의 구간으로 구분하고 보정특징벡터를 구성하여 상기 각 구간마다 서로 다른 보정함수를 적용함으로써 보정을 수행하는 것을 특징으로 하는 예측치보정을 이용항 동영상 화질평가장치.The predictive value correction section divides the output data of the signal-to-noise ratio correction section into predetermined sections, constructs a correction feature vector, and performs correction by applying different correction functions to each section. Image quality evaluation device. 예측치보정을 이용한 동영상 화질평가방법에 있어서,In the video quality evaluation method using prediction correction, 원래 동영상인 소스 동영상 시퀀스의 각 이미지에 외곽선을 추출하는 1단계,Step 1 extracts the outlines of each image in the source video sequence that is the original video, 상기 외곽선 추출후 상기 추출된 외곽선으로부터 마스크 이미지를 생성하기 위한 문턱값을 설정하고 그에 따라 마스크 이미지를 생성하는 2단계,Setting a threshold value for generating a mask image from the extracted outline after extracting the outline, and generating a mask image accordingly; 상기 마스크 이미지의 외곽선 영역의 픽셀수를 미리 설정된 기준값과 비교하여 상기 픽셀수가 상기 기준값 이상일 경우 신호대잡음비를 산출하는 3단계,Comparing the number of pixels in the outline region of the mask image with a preset reference value and calculating a signal-to-noise ratio when the number of pixels is greater than or equal to the reference value; 상기 신호대잡음비를 보정하는 4단계를 포함하는 것을 특징으로 하는 예측치 보정을 이용한 동영상 화질평가방법.And a four step of correcting the signal-to-noise ratio. 제 17 항에 있어서, The method of claim 17, 상기 외곽선 추출을 위한 알고리즘은 구배 연산자를 사용하는 것을 특징으로 하는 예측치 보정을 이용한 동영상 화질 평가 방법. The algorithm for extracting the outline is a video quality evaluation method using prediction correction, characterized in that using a gradient operator. 제 17 항에 있어서, The method of claim 17, 상기 신호대잡음비는 자승평균오차를 이용하여 산출하며, The signal-to-noise ratio is calculated using a squared mean error, 상기 자승평균오차의 산출은, 상기 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차이를 산출하는 1단계, 상기 1단계의 결과를 전체 프레임에 대하여 합산하여 외곽선영역의 자승오차의 전체 합을 산출하고 상기 전체 합을 외곽선 영역의 화소수로 나누는 2단계에 의해 산출되는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질평가방법.The calculation of the squared mean error may include calculating a difference between pixels of the outline regions between the image of the source video sequence and the evaluation target video sequence image, and adding the results of the first step to the entire frame to determine the area of the outline region. And calculating the total sum of squared errors and dividing the total sum by the number of pixels in an outline region. 제 19 항에 있어서,The method of claim 19, 상기 자승평균오차는 상기 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 전체 화소들 중 상기 마스크 이미지의 화소 값이 상기 미리 설정된 문턱값 이상인 화소들을 대상으로 하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가방법.The squared mean error is a video using predictive value correction, wherein the pixel value of the mask image of all the pixels in the outline regions between the source video sequence and the evaluation target video sequence is equal to or greater than the preset threshold value. Image quality evaluation method. 제 17 항에 있어서,The method of claim 17, 상기 3단계에서, 상기 마스크 이미지의 외곽선 영역의 픽셀수를 미리 설정된 기준값과 비교하여 상기 픽셀수가 상기 기준값 이상이 아닐 경우 상기 문턱값을 소정값 만큼 감소시키고, 상기 2단계에서 마스크 이미지를 재 생성하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가방법.In step 3, comparing the number of pixels in the outline region of the mask image with a preset reference value, if the number of pixels is not equal to or greater than the reference value, the threshold value is decreased by a predetermined value, and in step 2, the mask image is regenerated. Method for evaluating video quality using predictive value correction, characterized in that the. 제 21 항에 있어서, The method of claim 21, 상기 3단계는 상기 문턱값이 미리 설정된 하한값 미만일 경우, 상기 문턱값을 상기 하한값으로 설정하여 상기 신호대잡음비를 산출하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가방법.In the third step, when the threshold value is less than a predetermined lower limit value, the threshold value is set to the lower limit value, and the signal-to-noise ratio is calculated. 제 17 항에 있어서, The method of claim 17, 상기 4단계는 소스영상의 경계영역면적과 평가대상영상의 경계영역면적을 비교하여 보정치를 계산하는 것을 특징으로 하는 예측치 보정을 이용한 동영상 화질 평가방법.Step 4 is a video quality evaluation method using the prediction correction, characterized in that to calculate the correction value by comparing the boundary area of the source image and the area of the evaluation target image. 제 17 항에 있어서, The method of claim 17, 상기 4단계는,The fourth step, 상기 3단계의 결과에 대하여 보정특징벡터를 구성하는 단계와,Constructing a correction feature vector with respect to the result of step 3; 상기 보정특징벡터에 대한 보정함수를 산출하고 상기 보정함수를 상기 보정특징벡터에 적용하여 보정치를 산출하는 단계와, Calculating a correction function for the correction feature vector and applying the correction function to the correction feature vector to calculate a correction value; 상기 보정치를 이용하여 상기 3단계의 결과를 보정하는 단계를 포함하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질 평가방법.And a step of correcting the result of the three steps using the correction value. 제 24 항에 있어서, The method of claim 24, 상기 보정특징벡터는 시공간주파수의 각 영역별 에너지, 블로킹정도, 에지 정보, 색상 정보 중 어느하나 이거나 이들의 조합인 것을 특징으로 하는 예측치보정을 이용한 화질 평가방법.The correction feature vector is any one of a combination of energy, blocking degree, edge information, color information for each region of space-time frequency, or a combination thereof. 제 24 항에 있어서The method of claim 24 상기 4단계에서 보정특징벡터 산출 시, 상기 3단계의 결과를 소정의 구간으로 구분하고 상기 각 구간마다 서로 다른 보정함수를 적용하여 각 구간마다 서로 다른 보정치를 산출하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질평가방법.In calculating the correction feature vector in step 4, the result of step 3 is divided into predetermined sections, and different correction values are calculated for each section to calculate different correction values for each section. How to evaluate video quality. 제 17 항에 있어서,The method of claim 17, 상기 화질평가방법은, 상기 4단계의 결과를 소정비율로 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 예측치보정을 이용한 동영상 화질평가방법.The image quality evaluation method further comprises the step of scaling the result of the step 4 by a predetermined ratio.
KR1020030061909A 2003-09-04 2003-09-04 Apparatus and Methods for Objective Assessment of Video Quality KR100612667B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030061909A KR100612667B1 (en) 2003-09-04 2003-09-04 Apparatus and Methods for Objective Assessment of Video Quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030061909A KR100612667B1 (en) 2003-09-04 2003-09-04 Apparatus and Methods for Objective Assessment of Video Quality

Publications (2)

Publication Number Publication Date
KR20050024098A true KR20050024098A (en) 2005-03-10
KR100612667B1 KR100612667B1 (en) 2006-08-14

Family

ID=37231525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030061909A KR100612667B1 (en) 2003-09-04 2003-09-04 Apparatus and Methods for Objective Assessment of Video Quality

Country Status (1)

Country Link
KR (1) KR100612667B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130079075A (en) * 2012-01-02 2013-07-10 캠텍 리미티드 Method and system for measuring bumps based on phase and amplitude information
US8566690B2 (en) 2009-12-18 2013-10-22 Electronics And Telecommunications Research Institute Apparatus and method for assessing image quality in real-time
KR101416265B1 (en) * 2013-02-28 2014-07-09 연세대학교 산학협력단 Apparatus for measuring quality of video data based on hybrid type and method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281555B (en) * 2013-04-24 2015-06-10 北京邮电大学 Half reference assessment-based quality of experience (QoE) objective assessment method for video streaming service

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8566690B2 (en) 2009-12-18 2013-10-22 Electronics And Telecommunications Research Institute Apparatus and method for assessing image quality in real-time
KR20130079075A (en) * 2012-01-02 2013-07-10 캠텍 리미티드 Method and system for measuring bumps based on phase and amplitude information
KR101416265B1 (en) * 2013-02-28 2014-07-09 연세대학교 산학협력단 Apparatus for measuring quality of video data based on hybrid type and method thereof

Also Published As

Publication number Publication date
KR100612667B1 (en) 2006-08-14

Similar Documents

Publication Publication Date Title
US7668397B2 (en) Apparatus and method for objective assessment of DCT-coded video quality with or without an original video sequence
KR100798834B1 (en) Video quality evaluation device, video quality evaluation method, recording medium for recording video quality evaluation program
JP5721936B2 (en) How to evaluate the quality of a distorted version of a frame sequence
US20040012675A1 (en) Method and apparatus for measuring the quality of video data
Søgaard et al. Applicability of existing objective metrics of perceptual quality for adaptive video streaming
KR20050012751A (en) A method and system for estimating sharpness metrics based on local edge statistical distribution
KR101327709B1 (en) Apparatus for monitoring video quality and method thereof
Wang et al. Screen content image quality assessment with edge features in gradient domain
JP2010134700A (en) Image evaluation device and image evaluation method
Keimel et al. No-reference video quality evaluation for high-definition video
Liu et al. Temporal information assisted video quality metric for multimedia
KR100612667B1 (en) Apparatus and Methods for Objective Assessment of Video Quality
JP4514155B2 (en) Video quality evaluation apparatus, method and program
JP6402088B2 (en) Video quality estimation apparatus, video quality estimation method, and program
EP2754292B1 (en) Method and device for calculating distortion of a video being affected by compression artifacts and channel artifacts
KR100525467B1 (en) Apparatus and Methods for Objective Measurement of Video Quality
Lee et al. New full-reference visual quality assessment based on human visual perception
Cerqueira et al. Video artifacts assessment for live mobile streaming applications
Głowacz et al. Automated qualitative assessment of multi-modal distortions in digital images based on GLZ
Keimel et al. Extending video quality metrics to the temporal dimension with 2D-PCR
Singh et al. F-MAD: a feature-based extension of the most apparent distortion algorithm for image quality assessment
JP5982240B2 (en) Objective video quality evaluation system
Zhu et al. Spatial quality index based rate perceptual-distortion optimization for video coding
Romaniak Towards realization of a framework for integrated video quality of experience assessment
Roja et al. Saliency based assessment of videos from frame-wise quality measures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120720

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130717

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140725

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150723

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160802

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170802

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 13