KR100434162B1 - Apparatus and Method for Objective Measurement of Video Quality - Google Patents

Apparatus and Method for Objective Measurement of Video Quality Download PDF

Info

Publication number
KR100434162B1
KR100434162B1 KR10-2002-0023356A KR20020023356A KR100434162B1 KR 100434162 B1 KR100434162 B1 KR 100434162B1 KR 20020023356 A KR20020023356 A KR 20020023356A KR 100434162 B1 KR100434162 B1 KR 100434162B1
Authority
KR
South Korea
Prior art keywords
video
difference
vector
wavelet
difference vector
Prior art date
Application number
KR10-2002-0023356A
Other languages
Korean (ko)
Other versions
KR20030074041A (en
Inventor
이철희
Original Assignee
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인연세대학교 filed Critical 학교법인연세대학교
Publication of KR20030074041A publication Critical patent/KR20030074041A/en
Application granted granted Critical
Publication of KR100434162B1 publication Critical patent/KR100434162B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Abstract

본 발명은 웨이브렛 변환을 이용한 비디오 화질의 객관적 평가에 관한 것으로, 비디오를 웨이브렛 변환하고, 차분벡터를 생성한 후, 차분벡터를 결합시키고 차분벡터의 각 요소에 가중치를 주어 객관적 비디오 평가 점수를 출력한다.The present invention relates to an objective evaluation of video quality using wavelet transform. The present invention relates to an objective video evaluation score by wavelet transforming a video, generating a difference vector, combining the difference vectors, and weighting each element of the difference vector. Output

이와 같은 본 발명에 의하면, 웨이브렛 변환은 시공간 주파수에서 변화되는 인간의 시각 시스템의 특성에 따라 비디오를 최적으로 평가할 수 있게 한다. 그리고 본 발명의 웨이브렛 변환 분석은 객관적 점수의 산출에 사용될 수 있는 다수의 파라메타를 출력하고, 파라메타가 파라메타 벡터로 표시되어, 가중치를 곱하여 하나의 숫자로 계산된 후 그 숫자는 객관적 점수로 사용될 수 있다.According to the present invention, the wavelet transform allows the video to be optimally evaluated according to the characteristics of the human visual system that changes in space-time frequency. In addition, the wavelet transform analysis of the present invention outputs a plurality of parameters that can be used for the calculation of the objective score, the parameters are expressed as a parameter vector, multiplied by the weight, and calculated as a single number, and then the number can be used as the objective score. have.

Description

객관적 비디오 화질 평가 장치 및 방법{Apparatus and Method for Objective Measurement of Video Quality}Apparatus and Method for Objective Measurement of Video Quality}

본 발명은 객관적 비디오 화질 평가에 관한 것으로, 좀 더 구체적으로는 비디오를 웨이브렛 변환(Wavelet Transform)하여 계수를 비교함으로써 비디오 화질의 차이를 계산하고, 다양한 파라메타의 최적의 선형적인 조합을 산출할 수 있는 객관적 비디오 화질 평가 장치 및 방법에 관한 것이다.The present invention relates to objective video quality evaluation, and more specifically, it is possible to calculate a difference in video quality by calculating a wavelet transform of a video and compare coefficients, and to calculate an optimal linear combination of various parameters. The present invention relates to an objective video quality estimation apparatus and method.

종래에 비디오 화질의 평가는 비디오 화질을 평가하고자 하는 다수의 평가자들에 의해 주관적으로 이루어졌다. 그러한 평가는 기준 비디오가 있는 상태에서 계산되거나 기준 비디오가 없는 상태에서 계산될 수 있다. 기준 비디오가 있는 상태에서의 평가는 평가자들은 원래(기준)의 비디오와 상기 기준 비디오(Reference Video)와 비교되어야 할 처리된 비디오(Processed Video)의 2개의 비디오를 보게 된다. 그리고 평가자들을 상기 2개의 비디오를 비교한 후 비디오에 주관적인 점수를 부여하게 된다. 따라서 이와 같은 방법은 이른바 비디오 화질의 주관적 평가라고 한다. 상기와 같은 주관적인 평가는 인간의 인식을 반영하는 것이므로, 몇 가지 제약사항을 가지고 있다. 첫째 이와 같은 평가방법은 다수의 평가자를 필요로 한다. 그러므로 이와 같은 평가방법은 시간이 많이 소요되고 비용이 높아지게 된다.더욱이 이와 같은 평가방법은 실시간으로 이루어질 수 없는 문제점이 있다.In the past, the evaluation of video quality was subjective by a number of evaluators who wanted to evaluate video quality. Such evaluation can be calculated in the presence of a reference video or in the absence of a reference video. In the presence of a reference video, the evaluator sees two videos of the original (reference) video and the processed video to be compared with the reference video. The evaluators then compare the two videos and assign subjective scores to the videos. Therefore, this method is called subjective evaluation of video quality. Such subjective evaluation reflects human perception and therefore has some limitations. First, such an evaluation method requires multiple evaluators. Therefore, such an evaluation method is time-consuming and expensive. Moreover, such an evaluation method has a problem that cannot be achieved in real time.

따라서 본 발명은 웨이브렛 변환을 사용하여 비디오 화질을 객관적으로 평가할 수 있는 방법을 제공하고자 한다.Accordingly, the present invention seeks to provide a method for objectively evaluating video quality using wavelet transform.

또한 본 발명은 비디오 화질의 객관적 평가를 위해 얻어지는 다양한 파라메타의 최적의 선형적 조합을 출력시킬 수 있는 최적화 방법을 제공하고자 한다.In addition, the present invention is to provide an optimization method capable of outputting an optimal linear combination of various parameters obtained for the objective evaluation of video quality.

도 1은 본 발명의 실시예에 따른 객관적 비디오 화질 평가 장치의 구성을 개략적으로 나타낸 도면,1 is a view schematically showing the configuration of an objective video quality evaluation apparatus according to an embodiment of the present invention;

도 2a는 본 발명의 실시예에 따른 기준 이미지의 예를 나타낸 도면,2A illustrates an example of a reference image according to an embodiment of the present invention;

도 2b는 도 2a에 도시된 기준 이미지를 3-레벨 웨이브렛 변환한 비디오의 예를 나타낸 도면,FIG. 2B is a diagram illustrating an example of a video obtained by three-level wavelet transforming the reference image shown in FIG. 2A;

도 3은 본 발명의 실시예에 따라 3-레벨 웨이브렛 변환된 기준 이미지 또는 처리된 이미지에서 서브밴드 블록의 인덱스를 나타낸 도면,3 is a diagram illustrating an index of a subband block in a three-level wavelet transformed reference image or a processed image according to an embodiment of the present invention;

도 4는 본 발명의 실시예에 따른 기준 이미지 및 처리된 이미지의 서브밴드의 i번째 인덱스 블록의 계수의 차(Squared Error)를 계산하는 예를 나타낸 도면,4 is a diagram illustrating an example of calculating a difference (Squared Error) of coefficients of an i-th index block of a subband of a reference image and a processed image according to an embodiment of the present invention;

도 5a는 본 발명의 실시예에 따른 변환된 3차원 웨이브렛 변환의 예를 나타낸 도면,5A illustrates an example of a transformed three-dimensional wavelet transform according to an embodiment of the present invention;

도 5b는 본 발명의 실시예에 따른 차분벡터를 계산하는 예를 나타낸 도면.5B illustrates an example of calculating a difference vector according to an embodiment of the present invention.

도 6은 본 발명의 실시예에 따른 객관적 비디오 화질 평가 방법을 개략적으로 나타낸 플로우챠트.6 is a flowchart schematically illustrating a method for evaluating objective video quality according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

310 : 기준 비디오 저장수단 320 : 처리된 비디오 저장수단310: reference video storage means 320: processed video storage means

330 : 웨이브렛 변환수단 340 : 차분벡터 생성수단330 wavelet transform means 340 difference vector generating means

350 : 차분벡터 결합수단 360 : 화질점수 출력수단350: difference vector combining means 360: image quality score output means

본 발명에 따른 객관적 비디오 화질 평가 장치는 기준 비디오를 기초로 하여 처리된 비디오의 공간적 주파수 화질을 평가하는 장치에 있어서, 상기 기준 비디오의 각 프레임과 처리된 비디오의 각 프레임을 2차원 웨이브렛 변환하고, 상기 기준 비디오의 각 프레임에 대한 기준 비디오 웨이브렛 계수를 생성하고, 상기 처리된 비디오의 각 프레임에 대한 처리된 비디오 웨이브렛 계수를 생성시키는 웨이브렛 변환 수단과; 상기 웨이브렛 변환 수단으로부터 생성된 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차를 각 프레임마다 모든 서브밴드 블록에 대해 계산하고 그 결과를 모아 1개의 차분벡터로 생성한 후, 상기 기준 비디오와 처리된 비디오의 모든 프레임에 대한 프레임 차분벡터를 출력하는 차분벡터 생성 수단; 상기 차분벡터 생성 수단으로부터 생성된 프레임 차분벡터를 각각의 서브밴드 블록별로 결합하여 단일의 비디오 차분벡터를 생성시키는 차분벡터 결합 수단; 및 상기 차분벡터 결합 수단으로부터 출력된 비디오 차분벡터의 각각의 요소에 가중치를 설정하고, 상기 가중치에 따라 비디오 차분벡터의 모든 요소를 합산하여 단일의 객관적 비디오 화질 점수 값을 출력시키는 가중치 연산 수단으로 구성된다.An objective video quality estimation apparatus according to the present invention is an apparatus for evaluating spatial frequency quality of a processed video based on a reference video, wherein each frame of the reference video and each frame of the processed video are two-dimensional wavelet transformed. Wavelet transform means for generating reference video wavelet coefficients for each frame of the reference video and generating processed video wavelet coefficients for each frame of the processed video; The difference between the reference video wavelet coefficients generated from the wavelet transform means and the processed video wavelet coefficients is calculated for every subband block for each frame, and the result is generated as one difference vector. Difference vector generating means for outputting a frame difference vector for all frames of the processed video; Difference vector combining means for combining a frame difference vector generated from the difference vector generating means for each subband block to generate a single video difference vector; And weighting means for setting a weight on each element of the video difference vector output from the difference vector combining means, summing all the elements of the video difference vector according to the weight, and outputting a single objective video quality score value. do.

또한 본 발명의 객관적 비디오 화질 평가 장치는 기준 비디오를 기초로 하여 처리된 비디오의 시간적 주파수 화질을 평가하는 장치에 있어서, 상기 기준 비디오의 각 프레임과 처리된 비디오의 각 프레임을 2차원 웨이브렛 변환하여 상기 기준 비디오의 각 프레임에 대한 기준 비디오 웨이브렛 계수를 생성하고, 상기 처리된 비디오의 각 프레임에 대한 처리된 비디오 웨이브렛 계수를 생성시키는 웨이브렛 변환 수단과; 상기 웨이브렛 변환 수단으로부터 생성된 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차를 각 프레임마다 모든 서브밴드 블록에 대해 계산하고 그 결과를 모아 1개의 차분벡터로 생성한 후, 상기 기준 비디오와 처리된 비디오의 모든 프레임에 대한 프레임 차분벡터를 출력하는 차분벡터 생성 수단; 상기 차분벡터 생성 수단으로부터 생성된 차분벡터를 시간순으로 정열시킨 후 시간축으로 각 행에 대해 소정의 윈도우를 적용하여 각 윈도우에 대하여 1차원 웨이브렛 변환한 후 윈도우 차분벡터를 출력하는 윈도우 웨이브렛 변환 수단; 상기 윈도우 웨이브렛 변환 수단으로 출력된 윈도우 차분벡터를 각각의 서브밴드에 대하여 결합하여 1개의 비디오 차분벡터로 출력시키는 차분벡터 결합 수단; 및 상기 차분벡터 결합 수단으로부터 출력된 비디오 차분벡터의 각각의 요소에 가중치를 설정하고, 상기 가중치에 따라 비디오 차분벡터의 모든 요소를 합산하여 단일의 객관적 비디오 화질 점수 값을 출력시키는 가중치 연산 수단으로 구성된다.In addition, the objective video quality evaluation apparatus of the present invention is a device for evaluating temporal frequency quality of a processed video based on a reference video, by converting each frame of the reference video and each frame of the processed video by two-dimensional wavelet conversion Wavelet transform means for generating reference video wavelet coefficients for each frame of the reference video and generating processed video wavelet coefficients for each frame of the processed video; The difference between the reference video wavelet coefficients generated from the wavelet transform means and the processed video wavelet coefficients is calculated for every subband block for each frame, and the result is generated as one difference vector. Difference vector generating means for outputting a frame difference vector for all frames of the processed video; Window wavelet transform means for aligning the difference vectors generated by the difference vector generating means in chronological order, applying a predetermined window to each row on the time axis, converting the one-dimensional wavelet to each window, and then outputting the window difference vector. ; Difference vector combining means for combining the window difference vector outputted by the window wavelet converting means for each subband and outputting one video difference vector; And weighting means for setting a weight on each element of the video difference vector output from the difference vector combining means, summing all the elements of the video difference vector according to the weight, and outputting a single objective video quality score value. do.

또한, 본 발명의 객관적 비디오 화질 평가 장치는 기준 비디오를 기초로 하여 처리된 비디오의 공간 및 시간 주파수 화질을 평가하는 장치에 있어서, 기준 비디오와 처리된 비디오간의 공간 및 시간 주파수 차를 계산하고, 상기 기준 비디오 및 처리된 비디오에 대한 각 주파수 대역별 차를 벡터로 생성시키는 주파수 차 생성 수단; 및In addition, the objective video quality evaluation apparatus of the present invention, in the apparatus for evaluating the spatial and temporal frequency image quality of the processed video based on the reference video, calculates the spatial and temporal frequency difference between the reference video and the processed video, Frequency difference generating means for generating a difference for each frequency band for the reference video and the processed video as a vector; And

상기 주파수 차 생성 수단으로부터 출력된 주파수 차의 벡터의 요소에 부여된 가중치에 따라 합산하여 객관적 점수를 출력시키는 가중치 연산 수단으로 구성된다.And weighting means for adding up an objective score by adding the weights to the elements of the vector of frequency differences output from the frequency difference generating means.

상기 주파수 대역별 차 생성수단은 상기 기준 비디오 및 처리된 비디오를 웨이브렛 변환하고, 변환된 웨이브렛의 계수의 차에 기초하여 차분벡터를 출력시킨다.The difference generating means for each frequency band wavelet transforms the reference video and the processed video, and outputs a difference vector based on the difference of coefficients of the transformed wavelet.

그리고 본 발명의 객관적 비디오 화질 평가 방법은 상기 기준 비디오의 각 프레임과 처리된 비디오의 각 프레임을 2차원 웨이브렛 변환하여 상기 기준 비디오의 각 프레임에 대한 기준 비디오 웨이브렛 계수를 생성하고, 상기 처리된 비디오의 각 프레임에 대한 처리된 비디오 웨이브렛 계수를 생성시키는 웨이브렛 변환 단계와; 상기 웨이브렛 변환 단계로부터 생성된 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차를 각 프레임마다 모든 서브밴드 블록에 대해 계산하고 그 결과를 모아 1개의 차분벡터로 생성한 후, 상기 기준 비디오와 처리된 비디오의 모든 프레임에 대한 프레임 차분벡터를 출력하는 차분벡터 생성 단계; 상기 차분벡터 생성 단계로부터 생성된 프레임 차분벡터를 각각의 서브밴드 블록별로 결합하여 단일의 비디오 차분벡터를 생성시키는 차분벡터 결합 단계; 및 상기 차분벡터 결합 단계로부터 출력된 비디오 차분벡터의 각각의 요소에 가중치를 설정하고, 상기 가중치에 따라 비디오 차분벡터의 모든 요소를 합산하여 단일의 객관적 비디오 화질점수 값을 출력시키는 가중치 연산 단계로 구성된다.The objective video quality estimation method of the present invention generates a reference video wavelet coefficient for each frame of the reference video by two-dimensional wavelet transforming each frame of the reference video and each frame of the processed video. A wavelet transform step of generating processed video wavelet coefficients for each frame of video; The difference between the reference video wavelet coefficient generated from the wavelet transform step and the processed video wavelet coefficient is calculated for every subband block for each frame, and the result is generated as one difference vector, and then the reference video is generated. A difference vector generation step of outputting a frame difference vector for all frames of the processed video; A difference vector combining step of generating a single video difference vector by combining the frame difference vectors generated from the difference vector generation step for each subband block; And a weight calculation step of setting weights for each element of the video difference vector output from the difference vector combining step, summing all elements of the video difference vector according to the weight, and outputting a single objective video quality score value. do.

더욱이 본 발명의 객관적 비디오 화질 평가 방법은 상기 기준 비디오의 각 프레임과 처리된 비디오의 각 프레임을 2차원 웨이브렛 변환하여 상기 기준 비디오의 각 프레임에 대한 기준 비디오 웨이브렛 계수를 생성하고, 상기 처리된 비디오의 각 프레임에 대한 처리된 비디오 웨이브렛 계수를 생성시키는 웨이브렛 변환 단계와; 상기 웨이브렛 변환 단계로부터 생성된 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차를 각 프레임마다 모든 서브밴드 블록에 대해 계산하고 그 결과를 모아 1개의 차분벡터로 생성한 후, 상기 기준 비디오와 처리된 비디오의 모든 프레임에 대한 프레임 차분벡터를 출력하는 차분벡터 생성 단계; 상기 차분벡터 생성 단계로부터 생성된 차분벡터를 시간순으로 정열시킨 후 시간축으로 각 행에 대해 소정의 윈도우를 적용하여 각 윈도우에 대하여 1차원 웨이브렛 변환한 후 윈도우 차분벡터를 출력하는 윈도우 웨이브렛 변환 단계; 상기 윈도우 웨이브렛 변환 단계로 출력된 윈도우 차분벡터를 각각의 서브밴드에 대하여 결합하여 1개의 비디오 차분벡터로 출력시키는 차분벡터 결합 수단; 및 상기 차분벡터 결합 수단으로부터 출력된 비디오 차분벡터의 각각의 요소에 가중치를 설정하고, 상기 가중치에 따라 비디오 차분벡터의 모든 요소를 합산하여 단일의 객관적 비디오 화질 점수 값을 출력시키는 가중치 연산 단계로 구성된다. Furthermore, the objective video quality estimation method of the present invention generates a reference video wavelet coefficient for each frame of the reference video by two-dimensional wavelet transforming each frame of the reference video and each frame of the processed video. A wavelet transform step of generating processed video wavelet coefficients for each frame of video; The difference between the reference video wavelet coefficient generated from the wavelet transform step and the processed video wavelet coefficient is calculated for every subband block for each frame, and the result is generated as one difference vector, and then the reference video is generated. A difference vector generation step of outputting a frame difference vector for all frames of the processed video; Window wavelet transformation step of aligning the difference vectors generated from the difference vector generation step in chronological order, applying a predetermined window to each row on the time axis, converting the one-dimensional wavelet to each window, and then outputting the window difference vector. ; Difference vector combining means for combining the window difference vectors outputted by the window wavelet transforming step for each subband and outputting one video difference vector; And a weight calculation step of setting weights to respective elements of the video difference vector outputted from the difference vector combining means, summing all the elements of the video difference vector according to the weights, and outputting a single objective video quality score value. do.

또한, 본 발명의 객관적 비디오 화질 평가 방법은 기준 비디오와 처리된 비디오간의 공간 및 시간 주파수 차를 계산하고, 상기 기준 비디오 및 처리된 비디오에 대한 각 주파수 대역별 차를 벡터로 생성시키는 주파수 대역별 차 생성 단계;및 상기 주파수 차 생성 단계로부터 출력된 주파수 차의 벡터의 요소에 부여된 가중치에 따라 합산하여 객관적 점수를 출력시키는 가중치 연산 단계로 구성된다.In addition, the objective video quality estimation method of the present invention calculates the spatial and temporal frequency difference between the reference video and the processed video, and generates a frequency band difference for each frequency band for the reference video and the processed video as a vector And a weight calculation step of adding an objective score by summing according to weights given to elements of the vector of frequency differences output from the frequency difference generating step.

마지막으로 본 발명의 객관적 비디오 화질 평가 방법은 처리된 비디오의 점수를 설정시키는 단계와; 구하고자 하는 목적의 벡터를 설정시키는 단계; 상기 목적의 벡터를 설정시키는 단계에서 설정된 목적의 벡터의 공분산 매트릭스를 사용하여 고유벡터를 생성시키는 단계; 최대 고유치에 대응되는 고유벡터를 최적 가중치 벡터로 선택하여 출력시키는 최적 가중치 선택 단계로 구성된다.Finally, the objective video quality evaluation method of the present invention comprises the steps of setting the score of the processed video; Setting a vector of a desired target; Generating an eigenvector using a covariance matrix of the vector of the target set in the step of setting the target vector; An optimal weight selection step of selecting and outputting an eigenvector corresponding to the maximum eigenvalue as an optimal weight vector.

이하, 도 1 내지 도 6을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 6.

일반적으로 객관적 평가의 유효성은 주관적 평가 점수와의 상관관계에 의하여 측정된다. 즉, 객관적 평가는 주관적 점수와 가장 근접한 평가점수를 제공할 때 가장 좋은 것이라고 할 것이다.In general, the effectiveness of an objective assessment is measured by its correlation with the subjective assessment score. In other words, an objective evaluation is best when it provides an evaluation score that is closest to the subjective score.

본 발명은 웨이브렛 변환을 사용한 비디오 화질의 객관적 평가방법을 제공하고자 하는 것이다. 특히, 시공간 주파수에서 인지특성을 달리하는 인간의 시각 시스템의 특성을 고려한 객관적 평가방법을 제공하고자 한다. 시공간 주파수를 계산하기 위해서 웨이브렛 변환이 사용되며 시간 주파수를 고려하기 위해서 변형된 3-D 웨이브렛 변환을 사용한다. 그리고 시공간 주파수에서의 차이는 각 서브밴드에서의 웨이브렛 계수의 차(squared error)를 합산하여 얻을 수 있다. 그리고 시공간 주파수의 차는 벡터로 표시된다. 이러한 평균 벡터의 각 요소는 임의의 시공간 주파수 대역에서의 차를 나타낸다. 상기 벡터로부터 1개의 숫자가 벡터의 요소의 가중치 합(Weighted Sum)으로서 계산되는데, 그 숫자가 객관적 화질 평가에 사용된다. 이와 같은 과정은 주관적 점수와 가장 높은 상관관계를 제공하도록 최적화 될 수 있다.An object of the present invention is to provide a method for objectively evaluating video quality using wavelet transform. In particular, it aims to provide an objective evaluation method that takes into account the characteristics of the human visual system with different cognitive characteristics at space-time frequencies. The wavelet transform is used to calculate the space-time frequency, and the modified 3-D wavelet transform is used to consider the time frequency. The difference in space-time frequency can be obtained by summing the squared error of the wavelet coefficients in each subband. The difference in space-time frequency is represented by a vector. Each element of this mean vector represents a difference in any space-time frequency band. One number from the vector is calculated as the weighted sum of the elements of the vector, which number is used for objective picture quality evaluation. This process can be optimized to provide the highest correlation with the subjective score.

도 1은 본 발명의 실시예에 따른 객관적 비디오 화질 평가 장치의 구성을 개략적으로 나타낸 도면이다. 도면에서 참조부호 310은 기준 비디오 저장수단, 320은 처리된 비디오 저장수단, 330은 웨이브렛 변환수단, 340은 차분벡터 생성수단, 350은 차분벡터 결합수단, 360은 화질점수 출력수단을 나타낸다.1 is a diagram schematically showing the configuration of an objective video quality evaluation apparatus according to an embodiment of the present invention. In the figure, reference numeral 310 denotes a reference video storage means, 320 denotes a processed video storage means, 330 denotes a wavelet converting means, 340 denotes a difference vector generating means, 350 denotes a differential vector combining means, and 360 denotes an image quality score output means.

상기 기준 비디오 저장수단(310)은 화질 평가에 사용되는 동영상 또는 정지영상의 데이터를 저장시킨다. 마찬가지로 처리된 비디오 저장수단(320)은 상기 기준 비디오 저장수단에 저장된 기준 비디오를 소정에 처리를 계산한 후의 데이터를 저장한다. 상기 처리된 비디오 저장수단(320)에 저장된 처리된 데이터는 비디오 화질 평가의 대상이 된다.The reference video storage unit 310 stores data of a moving picture or a still image used for image quality evaluation. Similarly, the processed video storage means 320 stores data after calculating a predetermined process of the reference video stored in the reference video storage means. The processed data stored in the processed video storage means 320 is subject to video quality evaluation.

도면에서 웨이브렛 변환수단(330)은 상기 기준 비디오 저장수단(310)과 처리된 비디오 저장수단(320)에 저장된 비디오 데이터를 각각 웨이브렛 변환시킨 후 웨이브렛 계수로서 출력시킨다. 이와 같이 웨이브렛 변환수단(330)로부터 출력된 웨이브렛 계수는 차분벡터 생성수단(340)에 의해, 각각의 서브밴드 블록별로 비교된 후 차분벡터로 출력된다.In the drawing, the wavelet converting means 330 converts the video data stored in the reference video storing means 310 and the processed video storing means 320, respectively, and then outputs the wavelet coefficients as wavelet coefficients. The wavelet coefficients output from the wavelet converting means 330 are compared by the subvector blocks by the difference vector generating means 340 and then output as a difference vector.

그러면, 차분벡터 결합수단(350)는 상기 각각의 프레임별로 출력된 차분벡터를 서브밴드 블록별로 결합시켜 1개의 차분벡터로 출력시킨다. 마지막으로 화질점수 출력수단(360)은 상기 차분벡터 결합수단(350)으로 부터 출력된 차분벡터의 각 요소에 부여된 최적의 가중치를 적용시켜 화질점수를 계산하여 출력시킨다.Then, the difference vector combining means 350 combines the difference vectors output for each frame for each subband block and outputs one difference vector. Finally, the image quality score output means 360 calculates and outputs an image quality score by applying an optimal weight applied to each element of the difference vector output from the difference vector combining means 350.

도 2a는 본 발명의 실시예에 따른 기준 이미지의 예를 나타낸 도면이다. 그리고, 도 2b는 도 2a에 도시된 기준 이미지를 3-레벨 웨이브렛 변환시킨 이미지의 예를 나타낸 도면이다.2A is a diagram illustrating an example of a reference image according to an embodiment of the present invention. 2B is a diagram illustrating an example of an image obtained by three-level wavelet transforming the reference image illustrated in FIG. 2A.

<실시예 1><Example 1>

본 발명은 기준 비디를 사용한 객관적 비디오 화질 측정의 예를 나타낸다. 본 실시예는 기준 비디오가 제공되는 것으로 가정한다.The present invention shows an example of objective video quality measurement using a reference video. This embodiment assumes that a reference video is provided.

일반적으로 비디오는 연속된 프레임으로 구성된다. 처리된 비디오의 화질을 측정하는 가장 단순한 방법중의 하나는 다음의 수학식과 같이 기준 비디오와 처리된 비디오간의 평방오차(Mean Squared Error, emse)를 계산하는 것이다.In general, video consists of consecutive frames. One of the simplest methods of measuring the quality of the processed video is to calculate a mean squared error (e mse ) between the reference video and the processed video, as shown in the following equation.

여기서 U는 기준 비디오, V는 처리된 비디오를 나타낸다. 그리고 M은 1개의 행(Row)에 포함된 픽셀의 수, N은 1개의 열(Column)에 포함된 픽셀의 수, L은 프레임의 수를 나타낸다. 그러나, 인간의 시각 시스템의 민감도는 시공간 주파수에 따라 다르게 변화된다. 즉, 인간의 눈은 다양한 시공간 주파수 요소의 차이를 다르게 인지하는데 이와 같은 인간의 시각 시스템의 특징을 이용하여 비디오 화질의 객관적 측정방법 개발이 가능하다.Where U is the reference video and V is the processed video. M denotes the number of pixels included in one row, N denotes the number of pixels included in one column, and L denotes the number of frames. However, the sensitivity of the human visual system varies with space-time frequency. In other words, the human eye perceives the difference of various spatio-temporal frequency components differently, and it is possible to develop an objective measurement method of video quality by using the characteristics of the human visual system.

근래에는 기준 비디오와 처리된 비디오간의 평방오차(Mean Square Error)를 계산하는 대신, 기준 비디오와 처리된 비디오간의 다양한 주파수 요소의 가중치 차(Weighted Difference)가 사용되고 있다. 비디오 신호의 주파수 성분은 크게 공간 주파수 성분과 시간 주파수 성분의 두가지 형태로 구분된다. 공간 고주파수는 프레임의 픽셀값이 크게 변화되는 것을 나타낸다. 반면, 시간 고주파수는 프레임 열을 따라서 급격한 움직임이 있는 것을 나타낸다. 칼라 비디오의 경우에는 각 색에 대하여 주파수 성분들을 계산할 수 있다. 주파수 성분을 계산하는데 푸리에 변환과 웨이브렛 변환과 같은 방법들이 사용되고 있다.Recently, instead of calculating a mean square error between the reference video and the processed video, a weighted difference between various frequency components between the reference video and the processed video is used. Frequency components of a video signal are classified into two types, spatial frequency components and temporal frequency components. The spatial high frequency indicates that the pixel value of the frame is greatly changed. On the other hand, the time high frequency indicates that there is a sudden movement along the frame row. In the case of color video, frequency components may be calculated for each color. Methods such as Fourier Transform and Wavelet Transform are used to calculate frequency components.

본 발명은 웨이브렛 변환을 사용하였다. 그러나 푸리에 변환을 사용하더라도 본 발명의 효과를 얻을 수 있다.The present invention used a wavelet transform. However, even if the Fourier transform is used, the effect of the present invention can be obtained.

도 3은 도 2a에 도시된 기준 이미지의 3레벨 웨이브렛 변환의 예를 나타낸 것이다. 도 3에 도시된 바와 같이, 3레벨 웨이브렛 변환에는 10개의 서브밴드 블록이 포함되어 있다. 각 블록은 다양한 공간 주파수 요소를 나타내는 것이다. 도면에서 상단 좌측의 블록(120)은 프레임의 가장 낮은 공간 주파수 요소를 나타내는 것이고, 하단 우측의 블록(121)은 가장 높은 공간 주파수 요소를 나타내는 것이다.3 illustrates an example of three-level wavelet transform of the reference image shown in FIG. 2A. As shown in FIG. 3, the three-level wavelet transform includes ten subband blocks. Each block represents various spatial frequency components. In the figure, block 120 on the top left represents the lowest spatial frequency component of the frame, and block 121 on the bottom right represents the highest spatial frequency component.

만일 2레벨 웨이브렛 변환의 경우에는 7개의 서브밴드 블록이 존재하게 되고, 4레벨 웨이브렛 변환의 경우에는 13개의 블록이 존재하게 된다.If there are two level wavelet transforms, there are seven subband blocks, and in the case of four level wavelet transforms, there are 13 blocks.

공간 주파수 요소를 계산하기 위해 기준 비디오 및 처리된 비디오의 각각의 프레임에 웨이브렛 변환이 수행된다. 그리고 도 4에 도시된 바와 같이 각 서브밴드 블록에서의 웨이브렛 계수의 차(평방오차)를 계산한 후 합한다. 즉, i번째 서브밴드 블록에서의 계수의 차는 다음의 수학식에 의해 계산할 수 있다.Wavelet transform is performed on each frame of the reference video and the processed video to calculate the spatial frequency components. As shown in FIG. 4, the difference (square error) of wavelet coefficients in each subband block is calculated and summed. That is, the difference in coefficients in the i-th subband block can be calculated by the following equation.

[수학식 1][Equation 1]

여기서는 기준 비디오의 i번째 블록의 j번째 웨이브렛 계수이고,는 기준 비디오에 대응되어 처리된 비디오의 i번째 블록의 j번째 웨이브렛 계수이다. 따라서 본 발명의 실시예에서는 3레벨 웨이브렛 변환이 적용된 것을 가정하였으므로 10개의 값이 생성되게 되고, 이것을 1개의 벡터로 표현할 수 있게 된다. 벡터의 각각의 요소는 대응되는 서브밴드 블록의 차를 나타낸다. 상기와 같은 과정을 모든 프레임에 대하여 수행하게 되면 연속된 벡터 열이 생성되게 된다. 즉, l번째 프레임의 차분벡터는 다음의 수학식으로 나타낼 수 있다.here Is the j th wavelet coefficient of the i th block of the reference video, Is the j-th wavelet coefficient of the i-th block of video processed corresponding to the reference video. Therefore, in the embodiment of the present invention, since three-level wavelet transform is assumed to be applied, ten values are generated, which can be represented by one vector. Each element of the vector represents a difference of the corresponding subband block. When the above process is performed for every frame, a continuous vector sequence is generated. That is, the difference vector of the l-th frame may be represented by the following equation.

[수학식 2][Equation 2]

여기서는 l 번째 프레임의 i번째 블록의 평방오차의 합을 나타내고,는 기준 비디오의 l번째 프레임의 i번째 블록의 j번째 웨이브렛 계수, K는 2차원 웨이브렛 변환에 포함된 블록의 수,는처리된 비디오의 l번째 프레임의 i번째 블록의 j번째 웨이브렛 계수를 나타낸다. 이와 같은 본 발명의 실시예에 의하면 차의 값을 구하는 방법을 다양하게 할 수 있다.here Represents the sum of square errors of the i th block of the l th frame, Is the j th wavelet coefficient of the i th block of the l th frame of the reference video, K is the number of blocks included in the two-dimensional wavelet transform, Denotes the j th wavelet coefficient of the i th block of the l th frame of the processed video. According to such an embodiment of the present invention, a method of obtaining a difference value can be various.

마지막으로 전체 프레임에 걸친 벡터의 평균은 다음의 수학식으로 나타낼 수 있다.Finally, the average of the vector over the entire frame can be expressed by the following equation.

[수학식 3][Equation 3]

본 발명에서는 평균벡터의 각 요소의 가중치 합으로서 1개의 숫자를 계산할 수 있고, 이와 같은 결과 값은 처리된 비디오의 객관적 측정으로 사용될 수 있다. 즉, 상기의 값은 다음의 수학식에 의하여 구할 수 있다.In the present invention, one number may be calculated as the weighted sum of the elements of the mean vector, and the resultant value may be used as an objective measure of the processed video. That is, the above value can be obtained by the following equation.

여기서는 가중치 벡터,와 K는 벡터의 크기를 나타낸다.here Is the weight vector, And K represent the magnitude of the vector.

<실시예 2><Example 2>

수학식 1의 i번째 블록에서의 차는 각 픽셀의 웨이브렛 계수의 차를 합산하여 구할 수 있다. 그러나 인간의 눈은 소정의 문턱값(Threshold)보다 작은 차를 나타내는 픽셀간의 차이는 인식할 수 없다. 따라서, i번째 블록의 차는 이러한 인간의 시각 시스템의 특징을 고려하여 다음의 수학식으로 나타낼 수 있다.The difference in the i-th block of Equation 1 can be obtained by summing the difference of wavelet coefficients of each pixel. However, the human eye cannot recognize the difference between pixels that show a difference smaller than a predetermined threshold. Therefore, the difference of the i-th block can be represented by the following equation in consideration of the characteristics of the human visual system.

여기서는 문턱값(Threshold)을 나타낸다.here Denotes a threshold.

<실시예 3><Example 3>

수학식 3의 차분벡터는 공간 주파수 차만을 나타낸다. 시간 주파수 차를 고려하기 위해서는 3차원 웨이브렛 변환을 적용할 수 있다. 그러나 3차원 웨이브렛 변환을 비디오에 적용시키는 것은 많은 연산량과 메모리를 요구한다. 즉, 이와 같은 작업을 수행하기 위해서는 큰 용량의 메모리와 긴 작업시간이 소요되게 된다. 본 발명의 실시예에서는 비디오의 시간 주파수 특성을 고려할 수 있도록 변형된 3차원 웨이브렛 변환을 적용한다. 그러나 비용과 시간을 충분히 투입할 수 있는 경우에는 종래의 3차원 웨이브렛 변환을 적용하여도 된다.The difference vector in Equation 3 represents only a spatial frequency difference. In order to consider the time frequency difference, three-dimensional wavelet transform may be applied. However, applying three-dimensional wavelet transform to video requires a lot of computation and memory. That is, to perform such a task requires a large memory and a long work time. In the embodiment of the present invention, the modified 3D wavelet transform is applied to take into account the time-frequency characteristic of the video. However, if the cost and time can be put enough, the conventional three-dimensional wavelet transform may be applied.

전체의 프레임에 대하여 수학식 2의 차분벡터를 계산하면, 연속된 차분벡터 열을 얻을 수 있다. 차분벡터의 열은 도 5a에 도시된 바와 같이 차분벡터가 2차원 배열의 각각의 열(Column)을 구성하도록 2차원 배열로 만들 수 있다. 그러면, 2차원 배열의 각 행(Row)은 각각의 서브밴드 블록의 시간적 변화의 차를 나타내게 된다. 시간 주파수 특성을 계산하기 위해 각각의 열(Column)이 차분벡터로 구성된 2차원 배열의 각각의 행(Row)에 1차원 웨이브렛 변환을 수행한다.By calculating the difference vector of Equation 2 for the entire frame, a continuous difference vector sequence can be obtained. The columns of the difference vectors may be made into a two-dimensional array such that the difference vectors form respective columns of the two-dimensional array as shown in FIG. 5A. Each row of the two-dimensional array then represents a difference in temporal change of each subband block. In order to calculate the temporal frequency characteristic, one-dimensional wavelet transformation is performed on each row of a two-dimensional array in which each column is a difference vector.

먼저, 도면에 도시된 바와 같이 2차원 배열의 각 행(Row)에 대하여 윈도우(220)를 적용시켜 행의 세그먼트가 생성되도록 하고, 상기 세그먼트에 대하여 시간방향으로 1차원 웨이브렛 변환을 수행한다. 그리고 다음의 수학식에 의해 l번째 윈도우의 j번째 행의 1차원 웨이브렛 변환의 각 서브밴드의 평방합을 계산할 수 있다.First, as shown in the drawing, a window 220 is applied to each row of a two-dimensional array to generate a segment of a row, and a one-dimensional wavelet transformation is performed on the segment in the time direction. The sum of squares of the respective subbands of the one-dimensional wavelet transform of the j-th row of the l-th window may be calculated by the following equation.

여기서 l은 l번째 윈도우, j는 j번째 행, i는 i번째 서브밴드를 나타낸다.Where l is the l-th window, j is the j-th row, and i is the i-th subband.

이와 같이 수행하면 도 5b에 도시된 바와 같은 결과를 얻을 수 있다.By doing this, a result as shown in FIG. 5B can be obtained.

상기와 같은 처리는 모든 행(Row)에 대하여 반복적으로 수행되고, 모든 결과값은 다음과 같이 벡터로 표현할 수 있다.The above process is repeatedly performed for all rows, and all the result values can be expressed as vectors as follows.

이때, 1차원 웨이브렛 변환의 레벨은 3이라고 가정한다. 상기와 같이 수행되면, 결과벡터의 크기는 원래벡터보다 커지게 된다. 예를 들어, 1차원 웨이브렛 변환의 레벨이 3이고 원래벡터의 크기가 K이면, 결과벡터의 크기는 4K가된다.In this case, it is assumed that the level of the one-dimensional wavelet transform is three. When performed as above, the size of the result vector becomes larger than the original vector. For example, if the level of the one-dimensional wavelet transform is 3 and the magnitude of the original vector is K, the magnitude of the result vector is 4K.

이어서 윈도우(221)를 소정의 크기만큼 이동시키고 상기의 처리를 반복한다. 이와 같이 하여 모든 벡터 열에 대하여 처리가 완료되면, 원래벡터보다 큰 새로운벡터를 얻을 수 있다. 상기와 같은 새로운 벡터의 열은 공간 주파수 특성뿐만 아니라 시간 주파수 특성에 대한 정보를 포함하게 된다.The window 221 is then moved by a predetermined size and the above process is repeated. In this way, when the processing is completed for all the vector columns, a new vector larger than the original vector can be obtained. The new vector column includes information on temporal frequency characteristics as well as spatial frequency characteristics.

상기와 같은 벡터에서 평균벡터는 다음과 같이 계산된다.In such a vector, an average vector is calculated as follows.

여기서 L'는 공간 주파수 특성과 시간 주파수 특성의 정보를 포함하는 벡터의 수를 나타낸다.Here, L 'represents the number of vectors including the information of the spatial and temporal frequency characteristics.

상기 실시예는 시공간 주파수 특성을 처리하도록 변형된 3차원 웨이브렛 변환을 사용하였으나, 공간 및 시간 주파수의 차를 포함하도록 다른 방법을 사용하여도 된다. 예를 들어, 일반적으로 3차원 웨이브렛 변환 또는 3차원 푸리에 변환을 사용하여 시공간 주파수 요소를 나타내는 다수의 파라메타를 생성시킬 수 있다. 이와 같은 공간 및 시간 주파수의 차이는 벡터로서 표현되고, 다음의 실시예에 나타내는 최적화 방법에 의하여 선형적 차의 조합을 최적으로 출력하도록 적용시켜, 객관적 점수를 나타내는 숫자를 생성하도록 사용될 수 있다. 상기와 같은 공간 및 시간 주파수를 계산하기 위하여 사용되는 변환에는 하르 변환(Haar Transform) 및 이산 코사인 변환(Discrete Cosine Transform)이 있다.The above embodiment uses a three-dimensional wavelet transform that is modified to process space-time frequency characteristics, but other methods may be used to include the difference between spatial and temporal frequencies. For example, three-dimensional wavelet transforms or three-dimensional Fourier transforms can generally be used to generate a number of parameters representing space-time frequency components. This difference in spatial and temporal frequency is expressed as a vector, and can be used to generate a number representing an objective score by applying the optimum combination of linear differences by the optimization method shown in the following examples. Transforms used to calculate such spatial and temporal frequencies include a Har Transform and a Discrete Cosine Transform.

<실시예 4><Example 4>

2차원 웨이브렛 변환을 사용하거나 변형된 3차원 웨이브렛 변환을 사용하거나 전통적인 3차원 웨이브렛 변환을 사용하게 되면, 결과적으로 기준 비디오와 처리된 비디오의 차를 나타내는 단일의 벡터가 생성되게 된다. 상기의 벡터로부터 벡터의 각 요소의 가중치 합으로서 단일의 값을 계산할 필요가 있게 되고, 이와 같이 계산된 단일의 값은 객관적 점수로서 사용되게 된다. 이와 같은 값은 다음과 같이 하여 구할 수 있다.Using a two-dimensional wavelet transform, using a modified three-dimensional wavelet transform or using a traditional three-dimensional wavelet transform results in a single vector representing the difference between the reference video and the processed video. It is necessary to calculate a single value as the sum of the weights of the elements of the vector from the vector, and the single value thus calculated is used as the objective score. Such a value can be obtained as follows.

[수학식 4][Equation 4]

여기서 T는 전치(Transpose)를 나타내고,,, K는 벡터의 크기를 나타낸다.Where T stands for Transpose, , , K represents the magnitude of the vector.

먼저, x를 처리된 비디오의 DMOS(Difference Mean Opinion Score)와 같은 주관적 점수라 정의한다. 그러면 x와 y는 랜덤 변수(Random Variable)로서 생각할 수 있다. 본 실시예에서는 최적의 가중치 벡터 W를 선택하여 변수 x와 y의 상관계수가 최대가 되도록 하는 것이다. 상관 계수에서는 절대값이 중요한 것이다. 즉, 상관계수가 0.9 및 -0.9를 나타내는 2개의 객관적 시험 방법은 동일한 성능을 제공하는 것이다.First, x is defined as a subjective score such as a Difference Mean Opinion Score (DMOS) of the processed video. Then x and y can be thought of as random variables. In this embodiment, the optimal weight vector W is selected to maximize the correlation coefficient between the variables x and y. The absolute value is important in the correlation coefficient. In other words, two objective test methods with correlation coefficients of 0.9 and -0.9 provide the same performance.

2개의 랜덤 변수간의 상관계수는 다음의 수학식으로 나타낼 수 있다.The correlation coefficient between two random variables can be expressed by the following equation.

여기서로 대치시키면,here If you replace with

가 된다. 상기 Cov는 공분산, Var은 분산을 나타낸다.Becomes Cov represents covariance and Var represents dispersion.

여기서는 수학식 4에 나타낸 D의 공분산 행렬을 나타내고, E(ㆍ)는 기대값 연산자를 나타낸다.here Denotes a covariance matrix of D shown in equation (4), and E (·) denotes an expected value operator.

랜덤 변수 x에 대한 기대값은 다음의 수학식으로 계산할 수 있다.The expected value for the random variable x can be calculated by the following equation.

여기서는 x의 확률밀도함수를 나타낸다.here Denotes the probability density function of x.

일반적으로, 정규화(Normalization) 및 천이(Translation)를 적용하여,이고가 되게 할 수 있다. 상기와 같은 정규화 및 천이는 다른 랜덤 변수와의 상관계수에 영향을 주지 않는다. 이러한 과정을 거친 후 상관계수는 다음의 수학식으로 나타낼 수 있다.In general, by applying normalization and translation, ego Can be Such normalization and transition do not affect the correlation coefficient with other random variables. After this process, the correlation coefficient can be expressed by the following equation.

여기서이다.here to be.

본 실시예에서는 상관계수를 최대화시키는 W를 구하는 것이다. 수학식을 단순화시키기 위해,대신 최대화 시킴으로써 최적의 가중치값 W를 구할 수있다. 그리고는 다음의 수학식으로 구할 수 있다.In this embodiment, the correlation coefficient Find W that maximizes. To simplify the equation, To Instead, by maximizing, the optimal weight value W can be found. And Can be obtained from the following equation.

여기서이다.here to be.

본 실시예에서는 W를 구하기 위해를 최대화시키도록의 구배(Gradient)를 구하면 된다. 상기의 구배는 다음과 같은 수학식에 의해 구할 수 있다.In this example, to find W To maximize Find the gradient of. remind The gradient of can be obtained by the following equation.

상기에서 나타낸 바와 같이, W는 가중치 벡터의 고유벡터이고,(가중치 벡터)의 고유값을 나타낸다. 그러므로의 고유벡터가 먼저 계산되고, 최대 고유값에 대응되는 고유벡터는 최적의 가중치 벡터(W)로서 사용되게 된다.=이므로 상관계수는 최대 고유값에 대응되는 고유벡터가 최적의 가중치 벡터(W)로서 사용될 때 최대가 된다.As indicated above, W is a weight vector Eigenvector of, Is The eigenvalue of (weight vector). therefore Eigenvectors of is computed first The eigenvector corresponding to is used as the optimal weight vector (W). = Therefore, the correlation coefficient becomes maximum when the eigenvector corresponding to the maximum eigenvalue is used as the optimal weight vector (W).

상기 수학식 4에서 벡터 D는 임의의 벡터가 될 수 있다. 예를 들어, 벡터 D의 각 요소는 비디오 화질의 임의의 측정을 나타내도록 하면, 최적의 가중치 벡터 W를 구하도록 상기 최적화 과정을 사용할 수 있으며, 이때 그러므로 주관적 점수와 최고의 상관계수를 나타내게 된다. 즉, 공간 및 시간 주파수 요소의 차이를 계산하도록 웨이브렛 변환을 사용하지 않더라도 비디오 화질을 측정하도록 다른 방법을 사용할 수 있고, 상기 기술한 최적화 방법을 사용하여 최적의 선형합을 구할 수 있다. 이때, 최종적인 객관적 점수는 주관적 점수의 최대의 상관 계수를 제공하게 된다.In Equation 4, the vector D may be any vector. For example, if each element of the vector D represents an arbitrary measure of video quality, then the optimization process can be used to find the optimal weight vector W, thus representing the subjective score and the best correlation coefficient. That is, even if the wavelet transform is not used to calculate the difference between the spatial and temporal frequency components, another method may be used to measure the video quality, and the optimal linear sum may be obtained using the optimization method described above. In this case, the final objective score provides the maximum correlation coefficient of the subjective score.

도 6은 본 발명의 실시예에 따른 객관적 비디오 화질 평가 방법을 개략적으로 나타낸 플로우챠트이다.6 is a flowchart schematically illustrating a method for evaluating objective video quality according to an embodiment of the present invention.

도면에 도시된 바와 같이, 먼저 기준 비디오와 처리된 비디오를 웨이브렛 변환한다(S310). 이때 상기 웨이브렛 변환의 결과는 각각의 서브밴드 블록의 픽셀별로 웨이브렛 변환 계수값으로 출력된다. 이어서 상기 출력된 웨이브렛 변환 계수값을 기초로 하여 각각의 서브밴드 블록별로 차분벡터를 생성한다(S320).As shown in the figure, first, wavelet transforms the reference video and the processed video (S310). In this case, the result of the wavelet transform is output as a wavelet transform coefficient value for each pixel of each subband block. Subsequently, a difference vector is generated for each subband block based on the output wavelet transform coefficient value (S320).

상기와 같이 차분벡터가 생성되면, 서브밴드 블록의 차분벡터를 결합시켜 1개의 차분벡터를 생성한다(S330). 마지막으로 상기 생성된 1개의 차분벡터의 모든 요소에 대하여 가중치를 적용시켜 합산하여 단일의 최종 평가 결과 값을 출력시킨다(S340).When the difference vector is generated as described above, one difference vector is generated by combining the difference vectors of the subband blocks (S330). Finally, a weight is applied to all the elements of the generated one difference vector and summed to output a single final evaluation result value (S340).

따라서 본 발명에 의하면, 평가하고자 하는 비디오를 변형된 웨이브렛 변환을 사용함으로써 처리속도가 빠르면서 우수한 비디오 화질 평가 결과를 얻을 수 있다.Therefore, according to the present invention, by using the modified wavelet transform of the video to be evaluated, it is possible to obtain an excellent video quality evaluation result with high processing speed.

또한, 본 발명에 의하면 인간의 시각 시스템에 근사하게 평가할 수 있도록 가중치 계수를 산출하고 적용시킬 수 있어 객관적 화질 평가 방법으로 사용될 수 있다.In addition, according to the present invention, the weighting coefficient can be calculated and applied so that the human visual system can be evaluated in an approximate manner, and thus can be used as an objective image quality evaluation method.

Claims (14)

기준 비디오를 기초로 하여 처리된 비디오의 공간적 주파수를 이용하여 화질을 평가하는 장치에 있어서,An apparatus for evaluating image quality using spatial frequencies of processed video based on reference video, 상기 기준 비디오의 각 프레임과 처리된 비디오의 각 프레임을 2차원 웨이브렛 변환하여 상기 기준 비디오의 각 프레임에 대한 기준 비디오 웨이브렛 계수를 생성하고, 상기 처리된 비디오의 각 프레임에 대한 처리된 비디오 웨이브렛 계수를 생성시키는 웨이브렛 변환 수단과;2D wavelet transform each frame of the reference video and each frame of the processed video to generate a reference video wavelet coefficient for each frame of the reference video, and process the processed video wave for each frame of the processed video. Wavelet transform means for generating a lett coefficient; 상기 웨이브렛 변환 수단으로부터 생성된 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차를 각 프레임마다 모든 서브밴드 블록에 대해 계산하고 그 결과를 모아 1개의 차분벡터로 생성한 후, 상기 기준 비디오와 처리된 비디오의 모든 프레임에 대한 프레임 차분벡터를 출력하는 차분벡터 생성 수단;The difference between the reference video wavelet coefficients generated from the wavelet transform means and the processed video wavelet coefficients is calculated for every subband block for each frame, and the result is generated as one difference vector. Difference vector generating means for outputting a frame difference vector for all frames of the processed video; 상기 차분벡터 생성 수단으로부터 생성된 프레임 차분벡터를 각각의 서브밴드 블록별로 결합하여 단일의 비디오 차분벡터를 생성시키는 차분벡터 결합 수단; 및Difference vector combining means for combining a frame difference vector generated from the difference vector generating means for each subband block to generate a single video difference vector; And 상기 차분벡터 결합 수단으로부터 출력된 비디오 차분벡터의 각각의 요소에 가중치를 설정하고, 상기 가중치에 따라 비디오 차분벡터의 모든 요소를 합산하여 단일의 객관적 비디오 화질 점수 값을 출력시키는 가중치 연산 수단으로 구성된 것을 특징으로 하는 객관적 비디오 화질 평가 장치.Weighting means for setting weights of the elements of the video difference vectors outputted from the difference vector combining means, summing all the elements of the video difference vectors according to the weights, and outputting a single objective video quality score value. An objective video quality evaluation apparatus. 제 1 항에 있어서,The method of claim 1, 상기 차분벡터 생성 수단은 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차가 소정의 문턱값 이상인 경우에 계산하여 차분벡터를 출력하는 것을 특징으로 하는 객관적 비디오 화질 평가 장치.And the difference vector generating means calculates when the difference between the reference video wavelet coefficient and the processed video wavelet coefficient is equal to or greater than a predetermined threshold value and outputs the difference vector. 제 1 항에 있어서,The method of claim 1, 상기 가중치 연산 수단은 가중치 매트릭스의 최대 고유치에 대응되는 고유벡터를 산출하여 가중치로 설정하는 것을 특징으로 하는 객관적 비디오 화질 평가 장치.And the weight calculating means calculates an eigenvector corresponding to the maximum eigenvalue of the weight matrix and sets the weight as a weight. 기준 비디오를 기초로 하여 처리된 비디오의 시공간적 주파수를 이용하여 화질을 평가하는 장치에 있어서,An apparatus for evaluating image quality using a spatiotemporal frequency of a processed video based on a reference video, 상기 기준 비디오의 각 프레임과 처리된 비디오의 각 프레임을 2차원 웨이브렛 변환하여 상기 기준 비디오의 각 프레임에 대한 기준 비디오 웨이브렛 계수를 생성하고, 상기 처리된 비디오의 각 프레임에 대한 처리된 비디오 웨이브렛 계수를 생성시키는 웨이브렛 변환 수단과;2D wavelet transform each frame of the reference video and each frame of the processed video to generate a reference video wavelet coefficient for each frame of the reference video, and process the processed video wave for each frame of the processed video. Wavelet transform means for generating a lett coefficient; 상기 웨이브렛 변환 수단으로부터 생성된 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차를 각 프레임마다 모든 서브밴드 블록에 대해 계산하고 그 결과를 모아 1개의 차분벡터로 생성한 후, 상기 기준 비디오와 처리된 비디오의 모든 프레임에 대한 프레임 차분벡터를 출력하는 차분벡터 생성 수단;The difference between the reference video wavelet coefficients generated from the wavelet transform means and the processed video wavelet coefficients is calculated for every subband block for each frame, and the result is generated as one difference vector. Difference vector generating means for outputting a frame difference vector for all frames of the processed video; 상기 차분벡터 생성 수단으로부터 생성된 차분벡터를 시간순으로 정열시킨 후 시간축으로 각 행에 대해 소정의 윈도우를 적용하여 각 윈도우에 대하여 1차원 웨이브렛 변환한 후 윈도우 차분벡터를 출력하는 윈도우 웨이브렛 변환 수단;Window wavelet transform means for aligning the difference vectors generated by the difference vector generating means in chronological order, applying a predetermined window to each row on the time axis, converting the one-dimensional wavelet to each window, and then outputting the window difference vector. ; 상기 윈도우 웨이브렛 변환 수단으로 출력된 윈도우 차분벡터를 각각의 서브밴드에 대하여 결합하여 1개의 비디오 차분벡터로 출력시키는 차분벡터 결합 수단; 및Difference vector combining means for combining the window difference vector outputted by the window wavelet converting means for each subband and outputting one video difference vector; And 상기 차분벡터 결합 수단으로부터 출력된 비디오 차분벡터의 각각의 요소에 가중치를 설정하고, 상기 가중치에 따라 비디오 차분벡터의 모든 요소를 합산하여 단일의 객관적 비디오 화질 점수 값을 출력시키는 가중치 연산 수단으로 구성된 것을 특징으로 하는 객관적 비디오 화질 평가 장치.Weighting means for setting weights of the elements of the video difference vectors outputted from the difference vector combining means, summing all the elements of the video difference vectors according to the weights, and outputting a single objective video quality score value. An objective video quality evaluation apparatus. 제 4 항에 있어서,The method of claim 4, wherein 상기 차분벡터 생성 수단은 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차가 소정의 문턱값 이상인 경우에 계산하여 차분벡터를 출력하는 것을 특징으로 하는 객관적 비디오 화질 평가 장치.And the difference vector generating means calculates when the difference between the reference video wavelet coefficient and the processed video wavelet coefficient is equal to or greater than a predetermined threshold value and outputs the difference vector. 제 4 항에 있어서,The method of claim 4, wherein 상기 가중치 연산 수단은 가중치 매트릭스의 최대 고유치에 대응되는 고유벡터를 산출하여 가중치로 설정하는 것을 특징으로 하는 객관적 비디오 화질 평가 장치.And the weight calculating means calculates an eigenvector corresponding to the maximum eigenvalue of the weight matrix and sets the weight as a weight. 기준 비디오를 기초로 하여 처리된 비디오의 공간 및 시간 주파수 화질을 평가하는 장치에 있어서,An apparatus for evaluating spatial and temporal frequency image quality of a processed video based on a reference video, 기준 비디오와 처리된 비디오간의 공간 및 시간 주파수 차를 계산하고, 상기 기준 비디오 및 처리된 비디오에 대한 각 주파수 대역별 차를 벡터로 생성시키는 주파수 대역별 차 생성 수단; 및Frequency band difference generating means for calculating a spatial and temporal frequency difference between the reference video and the processed video, and generating a vector for each frequency band for the reference video and the processed video as a vector; And 상기 주파수 차 생성 수단으로부터 출력된 주파수 차의 벡터의 요소에 부여된 가중치에 따라 합산하여 객관적 점수를 출력시키는 가중치 연산 수단으로 구성된 것을 특징으로 하는 객관적 비디오 화질 평가 장치.And weight calculation means for adding up an objective score by adding the weights to the elements of the vector of frequency differences output from the frequency difference generating means. 제 7 항에 있어서,The method of claim 7, wherein 상기 주파수 대역별 차 생성수단은 상기 기준 비디오 및 처리된 비디오를 웨이브렛 변환하고, 변환된 웨이브렛의 계수의 차에 기초하여 차분벡터를 출력시키는 것을 특징으로 하는 객관적 비디오 화질 평가 장치.And the difference generation means for each frequency band converts the reference video and the processed video into a wavelet, and outputs a difference vector based on a difference of coefficients of the transformed wavelet. 제 8 항에 있어서,The method of claim 8, 상기 주파수 대역별 차 생성수단은 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차가 소정의 문턱값 이상인 경우에 계산하여 차분벡터를 출력하는 것을 특징으로 하는 객관적 비디오 화질 평가 장치.And the difference generating means for each frequency band calculates and outputs a difference vector when the difference between the reference video wavelet coefficient and the processed video wavelet coefficient is greater than or equal to a predetermined threshold value. 제 7 항에 있어서,The method of claim 7, wherein 상기 가중치 연산 수단은 가중치 매트릭스의 최대 고유치에 대응되는 고유벡터를 산출하여 가중치로 설정하는 것을 특징으로 하는 객관적 비디오 화질 평가 장치.And the weight calculating means calculates an eigenvector corresponding to the maximum eigenvalue of the weight matrix and sets the weight as a weight. 기준 비디오를 기초로 하여 처리된 비디오의 공간적 주파수를 이용하여 화질을 평가하는 방법에 있어서,In the method of evaluating the image quality using the spatial frequency of the processed video based on the reference video, 상기 기준 비디오의 각 프레임과 처리된 비디오의 각 프레임을 2차원 웨이브렛 변환하여 상기 기준 비디오의 각 프레임에 대한 기준 비디오 웨이브렛 계수를 생성하고, 상기 처리된 비디오의 각 프레임에 대한 처리된 비디오 웨이브렛 계수를 생성시키는 웨이브렛 변환 단계와;2D wavelet transform each frame of the reference video and each frame of the processed video to generate a reference video wavelet coefficient for each frame of the reference video, and process the processed video wave for each frame of the processed video. Generating a wavelet coefficient; 상기 웨이브렛 변환 단계로부터 생성된 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차를 각 프레임마다 모든 서브밴드 블록에 대해 계산하고 그 결과를 모아 1개의 차분벡터로 생성한 후, 상기 기준 비디오와 처리된 비디오의 모든 프레임에 대한 프레임 차분벡터를 출력하는 차분벡터 생성 단계;The difference between the reference video wavelet coefficient generated from the wavelet transform step and the processed video wavelet coefficient is calculated for every subband block for each frame, and the result is generated as one difference vector, and then the reference video is generated. A difference vector generation step of outputting a frame difference vector for all frames of the processed video; 상기 차분벡터 생성 단계로부터 생성된 프레임 차분벡터를 각각의 서브밴드 블록별로 결합하여 단일의 비디오 차분벡터를 생성시키는 차분벡터 결합 단계; 및A difference vector combining step of generating a single video difference vector by combining the frame difference vectors generated from the difference vector generation step for each subband block; And 상기 차분벡터 결합 단계로부터 출력된 비디오 차분벡터의 각각의 요소에 가중치를 설정하고, 상기 가중치에 따라 비디오 차분벡터의 모든 요소를 합산하여 단일의 객관적 비디오 화질 점수 값을 출력시키는 가중치 연산 단계로 구성된 것을 특징으로 하는 객관적 비디오 화질 평가 방법.A weight calculation step of setting weights to respective elements of the video difference vector output from the difference vector combining step, summing all the elements of the video difference vector according to the weights, and outputting a single objective video quality score value. Characterized by the objective video quality evaluation method. 기준 비디오를 기초로 하여 처리된 비디오의 시간적 주파수 화질을 평가하는 방법에 있어서,In the method for evaluating temporal frequency image quality of processed video based on reference video, 상기 기준 비디오의 각 프레임과 처리된 비디오의 각 프레임을 2차원 웨이브렛 변환하여 상기 기준 비디오의 각 프레임에 대한 기준 비디오 웨이브렛 계수를 생성하고, 상기 처리된 비디오의 각 프레임에 대한 처리된 비디오 웨이브렛 계수를 생성시키는 웨이브렛 변환 단계와;2D wavelet transform each frame of the reference video and each frame of the processed video to generate a reference video wavelet coefficient for each frame of the reference video, and process the processed video wave for each frame of the processed video. Generating a wavelet coefficient; 상기 웨이브렛 변환 단계로부터 생성된 기준 비디오 웨이브렛 계수와 처리된 비디오 웨이브렛 계수의 차를 각 프레임마다 모든 서브밴드 블록에 대해 계산하고 그 결과를 모아 1개의 차분벡터로 생성한 후, 상기 기준 비디오와 처리된 비디오의 모든 프레임에 대한 프레임 차분벡터를 출력하는 차분벡터 생성 단계;The difference between the reference video wavelet coefficient generated from the wavelet transform step and the processed video wavelet coefficient is calculated for every subband block for each frame, and the result is generated as one difference vector, and then the reference video is generated. A difference vector generation step of outputting a frame difference vector for all frames of the processed video; 상기 차분벡터 생성 단계로부터 생성된 차분벡터를 시간순으로 정열시킨 후 시간축으로 각 행에 대해 소정의 윈도우를 적용하여 각 윈도우에 대하여 1차원 웨이브렛 변환한 후 윈도우 차분벡터를 출력하는 윈도우 웨이브렛 변환 단계;Window wavelet transformation step of aligning the difference vectors generated from the difference vector generation step in chronological order, applying a predetermined window to each row on the time axis, converting the one-dimensional wavelet to each window, and then outputting the window difference vector. ; 상기 윈도우 웨이브렛 변환 단계로 출력된 윈도우 차분벡터를 각각의 서브밴드에 대하여 결합하여 1개의 비디오 차분벡터로 출력시키는 차분벡터 결합 수단; 및Difference vector combining means for combining the window difference vectors outputted by the window wavelet transforming step for each subband and outputting one video difference vector; And 상기 차분벡터 결합 수단으로부터 출력된 비디오 차분벡터의 각각의 요소에가중치를 설정하고, 상기 가중치에 따라 비디오 차분벡터의 모든 요소를 합산하여 단일의 객관적 비디오 화질 점수 값을 출력시키는 가중치 연산 단계로 구성된 것을 특징으로 하는 객관적 비디오 화질 평가 방법.A weighting step of setting weights of the elements of the video difference vectors output from the difference vector combining means, summing all the elements of the video difference vectors according to the weights, and outputting a single objective video quality score value Characterized by the objective video quality evaluation method. 기준 비디오를 기초로 하여 처리된 비디오의 시공간 주파수를 이용하여 화질을 평가하는 방법에 있어서,In the method for evaluating the image quality using the space-time frequency of the processed video based on the reference video, 기준 비디오와 처리된 비디오간의 공간 및 시간 주파수 차를 계산하고, 상기 기준 비디오 및 처리된 비디오에 대한 각 주파수 대역별 차를 벡터로 생성시키는 주파수 대역별 차 생성 단계; 및A step of generating a frequency band difference for calculating a spatial and temporal frequency difference between the reference video and the processed video, and generating a difference of each frequency band for the reference video and the processed video as a vector; And 상기 주파수 차 생성 단계로부터 출력된 주파수 차의 벡터의 요소에 부여된 가중치에 따라 합산하여 객관적 점수를 출력시키는 가중치 연산 단계로 구성된 것을 특징으로 하는 객관적 비디오 화질 평가 방법.And a weight calculation step of outputting an objective score by summing according to weights given to elements of the vector of frequency differences output from the frequency difference generating step. 기준 비디오를 기초로 하여 처리된 비디오의 시간적 주파수 화질을 평가하는 방법에서 파라미터 벡터를 결합시키는 계수를 생성시키는 방법에 있어서,In the method for evaluating the temporal frequency image quality of the processed video based on the reference video, a method for generating coefficients for combining the parameter vector, 처리된 비디오의 점수 x를 설정시키는 단계와;Setting a score x of the processed video; 객관적 품질을 나타내는 파라미터 벡터 D를 설정시키는 단계;Setting a parameter vector D indicative of the objective quality; 상기 파라미터 벡터를 설정시키는 단계에서 설정된 파라미터 벡터의 공분산 매트릭스를 사용하여 가중치 매트릭스를 생성시키는 단계;Covariance matrix of the parameter vector set in the step of setting the parameter vector Wow Weight matrix Generating a; 상기 가중치 매트릭스의 최대 고유치에 해당되는 고유벡터를 최적 가중치 벡터로 선택하여 출력시키는 최적 가중치 선택 단계로 구성된 것을 특징으로 하는 객관적 비디오 화질 평가 방법.The weight matrix And an optimal weight selection step of selecting and outputting an eigenvector corresponding to the maximum eigenvalue as an optimal weight vector.
KR10-2002-0023356A 2002-03-13 2002-04-29 Apparatus and Method for Objective Measurement of Video Quality KR100434162B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020020013652 2002-03-13
KR20020013652 2002-03-13

Publications (2)

Publication Number Publication Date
KR20030074041A KR20030074041A (en) 2003-09-19
KR100434162B1 true KR100434162B1 (en) 2004-06-04

Family

ID=32224683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0023356A KR100434162B1 (en) 2002-03-13 2002-04-29 Apparatus and Method for Objective Measurement of Video Quality

Country Status (1)

Country Link
KR (1) KR100434162B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192017B1 (en) 2019-07-16 2020-12-16 연세대학교 산학협력단 Method and Apparatus for Assessing Visual Quality of Video Based on Human Visual System

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731358B1 (en) * 2005-11-09 2007-06-21 삼성전자주식회사 Method and system for measuring the video quality
KR100669251B1 (en) * 2005-11-25 2007-01-16 한국전자통신연구원 Apparatus and method for automatically analyzing digital image quality
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
CN105976132A (en) * 2016-05-27 2016-09-28 中车青岛四方机车车辆股份有限公司 Quantitative evolution system and method for quality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US5909516A (en) * 1996-03-29 1999-06-01 Sarnoff Corporation Method and apparatus for decomposing an image stream into units of local contrast
US6137904A (en) * 1997-04-04 2000-10-24 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
US6285797B1 (en) * 1999-04-13 2001-09-04 Sarnoff Corporation Method and apparatus for estimating digital video quality without using a reference video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US5909516A (en) * 1996-03-29 1999-06-01 Sarnoff Corporation Method and apparatus for decomposing an image stream into units of local contrast
US6137904A (en) * 1997-04-04 2000-10-24 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
US6285797B1 (en) * 1999-04-13 2001-09-04 Sarnoff Corporation Method and apparatus for estimating digital video quality without using a reference video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192017B1 (en) 2019-07-16 2020-12-16 연세대학교 산학협력단 Method and Apparatus for Assessing Visual Quality of Video Based on Human Visual System

Also Published As

Publication number Publication date
KR20030074041A (en) 2003-09-19

Similar Documents

Publication Publication Date Title
US10425649B2 (en) Method and apparatus for performing graph-based prediction using optimization function
Wang et al. Information content weighting for perceptual image quality assessment
KR101664913B1 (en) Method and system for determining a quality measure for an image using multi-level decomposition of images
JP4755012B2 (en) Video evaluation device, spatio-temporal frequency analysis device, video evaluation method, spatio-temporal frequency analysis method, video evaluation program, and spatio-temporal frequency analysis program
CN106097327B (en) In conjunction with the objective evaluation method for quality of stereo images of manifold feature and binocular characteristic
CN108074239B (en) No-reference image quality objective evaluation method based on prior perception quality characteristic diagram
KR20140019358A (en) Method and system for increasing robustness of visual quality metrics using spatial shifting
Moorthy et al. Visual perception and quality assessment
CN104376565A (en) Non-reference image quality evaluation method based on discrete cosine transform and sparse representation
US20070297516A1 (en) Optimization methods for objective measurement of video quality
Kottayil et al. Blind quality estimation by disentangling perceptual and noisy features in high dynamic range images
Sinno et al. Spatio-temporal measures of naturalness
KR100434162B1 (en) Apparatus and Method for Objective Measurement of Video Quality
Messai et al. 3D saliency guided deep quality predictor for no-reference stereoscopic images
KR100770067B1 (en) Information signal processing device, information signal processing method, image signal processing device, image display comprising the same, and information providing medium
JP7301589B2 (en) Image processing device, image processing method, and program
CN112950592B (en) Non-reference light field image quality evaluation method based on high-dimensional discrete cosine transform
US8774545B2 (en) Image processing apparatus and image processing method with weighted vectors for filtering
Madhuri et al. Performance evaluation of multi-focus image fusion techniques
Schiavon et al. 3-D poststack seismic data compression with a deep autoencoder
Shao et al. A novel no-reference stereoscopic image quality assessment method
Sadou et al. Blind Image Quality Assessment Using Singular Value Decomposition Based Dominant Eigenvectors for Feature Selection
CN112381448B (en) Teaching quality assessment method and device based on face space-time characteristics and electronic equipment
Conni et al. Texture stationarity evaluation with local wavelet spectrum
Gupta et al. Image Quality Assessment Using Non-Linear MultiMetric Fusion Approach

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120509

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee