KR101024384B1 - Method and system for video quality measurement - Google Patents

Method and system for video quality measurement Download PDF

Info

Publication number
KR101024384B1
KR101024384B1 KR1020090017020A KR20090017020A KR101024384B1 KR 101024384 B1 KR101024384 B1 KR 101024384B1 KR 1020090017020 A KR1020090017020 A KR 1020090017020A KR 20090017020 A KR20090017020 A KR 20090017020A KR 101024384 B1 KR101024384 B1 KR 101024384B1
Authority
KR
South Korea
Prior art keywords
video
pixel values
quality evaluation
feature
image quality
Prior art date
Application number
KR1020090017020A
Other languages
Korean (ko)
Other versions
KR20100098047A (en
Inventor
이철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020090017020A priority Critical patent/KR101024384B1/en
Publication of KR20100098047A publication Critical patent/KR20100098047A/en
Application granted granted Critical
Publication of KR101024384B1 publication Critical patent/KR101024384B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

동영상 화질평가 방법 및 시스템이 개시된다. 본 발명에 따른 동영상 화질평가 방법은, 원동영상을 부호화하여 부호화된 동영상을 생성하는 단계; 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 단계; 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 단계; 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하는 단계; 및 상기 부호화된 동영상과 상기 정합용 특징 및 상기 화질평가용 특징을 부호화하여 네트워크를 통해 송신하는 단계를 포함하는 것을 특징으로 한다. 본 발명에 의하면 화질평가를 위한 원동영상과 전송된 동영상의 정합을 보다 신속하고 정확하게 수행할 수 있다. Disclosed are a video quality evaluation method and system. According to an aspect of the present invention, there is provided a video quality evaluation method comprising: generating an encoded video by encoding an original video; Generating a decoded video by decoding the encoded video by a decoding method corresponding to the encoding method; Extracting a matching feature to be used for matching for image quality evaluation from the decoded video; Extracting an image quality evaluation feature to be used for image quality evaluation from the original image; And encoding the encoded video, the matching feature, and the image quality evaluation feature through a network. According to the present invention, matching of the original video and the transmitted video for image quality evaluation can be performed more quickly and accurately.

동영상 화질평가, 정합 Video quality evaluation, matching

Description

동영상 화질평가 방법 및 시스템{Method and system for video quality measurement}Method and system for video quality measurement {Method and system for video quality measurement}

본 발명은 동영상 화질평가 방법 및 시스템에 관한 것으로서, 보다 상세하게는 화질평가를 위한 원동영상과 전송된 동영상의 정합을 보다 신속하고 정확하게 수행할 수 있는 동영상 화질평가 방법 및 시스템에 관한 것이다.The present invention relates to a video quality estimation method and system, and more particularly, to a video quality estimation method and system that can more quickly and accurately match the original image and the transmitted video for image quality evaluation.

동영상 코덱의 성능을 검증하고 새로운 압축 기법을 개발함에 있어 동영상에 대한 화질을 평가하는 것은 매우 중요하다. 또한 IPTV와 같이 통신망을 사용하여 멀티미디어 데이터가 전송될 때, 품질열화가 발생할 수 있으며 이를 모니터링하는 것은 중요한 문제로 부각되고 있다.In verifying the performance of video codecs and developing new compression techniques, it is very important to evaluate the quality of video. In addition, when multimedia data is transmitted using a communication network such as IPTV, quality deterioration may occur and monitoring of the data is emerging as an important problem.

일반적으로 동영상에 대한 품질 평가는 동영상의 품질을 평가하는 평가자들에 의해 주관적으로 이루어진다. 이러한 평가방법은 인간의 지각력을 반영하는 것으로, 평가시 다수의 평가자가 요구되고 시간과 비용의 측면에 있어 비효율적이라는 문제점이 있다.In general, quality evaluation of a video is subjectively performed by evaluators who evaluate the quality of the video. Such an evaluation method reflects human perception, and there is a problem that a large number of evaluators are required for evaluation and are inefficient in terms of time and cost.

이러한 문제점을 해결하기 위해 본 출원인은 "동영상 화질평가장치 및 방법"을 출원한 바 있다(등록특허 제0525467호). 상기 특허는 소스 동영상 시퀀스의 영 상과 평가대상 동영상 시퀀스 영상 사이의 외곽선 영역의 화소값 차이를 이용하여 동영상의 화질을 평가함으로써, 평가시간을 단축하고 실시간으로 평가를 수행할 수 있도록 하였다.In order to solve this problem, the present applicant has filed an "image quality evaluation apparatus and method" (Registration No. 0525467). The patent evaluates the video quality by using the pixel value difference of the outline region between the source video sequence image and the evaluation target video sequence image, thereby shortening the evaluation time and performing the evaluation in real time.

코덱에 의해 인코딩 및 디코딩되는 과정(encoding, decoding)과 전송 과정(transmission)에서 원동영상은 시공간적인 정렬이 어긋나는 경우가 발생할 수 있다(spatial and temporal shift). 특히 부호화 과정 및 전송 매체를 통해 동영상 데이터가 전송되는 과정에서 프레임의 x축 상의 이동(Δx)과 y축 상의 이동(Δy) 및 시간축 상의 이동(Δt)이 발생할 수 있다. 또한, 동일한 프레임이 반복되어 나타나거나 일부 프레임이 손실되는 경우가 나타날 수 있다. 특히, 낮은 비트율로 전송하는 경우 부호화기에서는 초당 프레임 수를 감소시킨 후 부호화할 수 있으므로, 수신측에서 동일한 프레임이 주기적으로 반복될 수 있다. 또한, 전송에러로 인하여 정지프레임이 발생할 수도 있다.In a process of encoding and decoding by a codec and a transmission process, an original image may be displaced in space and time (spatial and temporal shift). In particular, during video encoding and transmission of video data through a transmission medium, a movement (Δx), a movement (Δy) on the y axis, and a movement (Δt) on the time axis of the frame may occur. In addition, the same frame may appear repeatedly or some frames may be lost. In particular, when transmitting at a low bit rate, the encoder may reduce the number of frames per second and then encode the same, and thus the same frame may be periodically repeated on the receiving side. In addition, a still frame may occur due to a transmission error.

시공간 정합(registration)은 이와 같은 변형을 검출하여 그 변형이 최소화되는 위치에 영상을 정확히 일치시키는 것을 일컬으며 공간 정합(spatial registration) 뿐만 아니라 시간 축을 따라서도 정합(temporal registration)을 해야 할 필요가 있다. 특히 객관적인 화질평가에 있어서 화질평가 결과는 영상 정합의 여부와 정도에 따라 큰 차이를 보인다. 화질평가 수치는 처리된 영상과 원본 영상의 차이로부터 얻어지므로 두 영상 간의 정합은 필수적이라 하겠다. Spatio-temporal registration refers to precisely matching an image to a location where the deformation is minimized by detecting such deformation, and need to be registered along the time axis as well as spatial registration. . Especially, in the objective image quality evaluation, the quality evaluation result shows a big difference depending on whether or not the image is matched. Since the quality evaluation value is obtained from the difference between the processed image and the original image, matching between the two images is essential.

본 발명이 이루고자 하는 기술적 과제는 화질평가를 위한 원동영상과 전송된 동영상의 정합을 보다 신속하고 정확하게 수행할 수 있는 동영상 화질평가 시스템 및 방법을 제공하는 데 있다.The technical problem to be achieved by the present invention is to provide a video quality evaluation system and method that can more quickly and accurately match the original image and the transmitted video for image quality evaluation.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 동영상 수신장치에서의 화질평가가 가능하도록 하는 동영상 송신장치는, 상기 동영상 수신장치로 전송할 원동영상을 부호화하여 부호화된 동영상을 생성하는 제1 부호화부; 상기 제1 부호화부의 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 복호화부; 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 정합용 특징추출부; 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하는 화질평가용 특징추출부; 및 상기 화질평가용 특징과 상기 정합용 특징을 부호화하는 제2 부호화부를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, according to the present invention, a video transmission apparatus for enabling an image quality evaluation in a video receiving apparatus includes: a first encoder for encoding a moving image to be transmitted to the video receiving apparatus to generate an encoded video; A decoder configured to decode the encoded video by using a decoding method corresponding to an encoding method of the first encoder, to generate a decoded video; A matching feature extracting unit for extracting matching features to be used for matching for image quality evaluation from the decoded video; An image quality evaluation feature extracting unit for extracting an image quality evaluation feature to be used for image quality evaluation from the original image; And a second encoder which encodes the image quality evaluation feature and the matching feature.

여기서, 상기 정합용 특징추출부는, 상기 복호화된 동영상으로부터 경계영역을 검출하는 경계영역 검출부; 및 상기 검출된 경계영역의 화소의 화소값 및 위치정보를 상기 정합용 특징으로 추출하는 화소선택부를 포함할 수 있다.The matching feature extracting unit may include: a boundary area detecting unit detecting a boundary area from the decoded video; And a pixel selector for extracting pixel values and position information of the detected pixel of the boundary area as the matching feature.

또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하는 난수 생성부; 및 상기 생성된 난수에 따라 선택되는 화소들의 화소값 및 난수발생용 시드값을 상기 정합용 특징으로 추출하는 화소 선택부를 포함할 수 있다.The matching feature extracting unit may include a random number generating unit generating a random number within a range of pixel position values defined in the decoded video; And a pixel selector configured to extract pixel values and random number generation seed values of pixels selected according to the generated random number as the matching feature.

또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상의 각 프레임에서의 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출할 수 있다.Alternatively, the matching feature extractor may extract the sum of pixel values or the sum of squares of pixel values in each frame of the decoded video as the matching feature.

또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값들의 합 또는 화소값의 제곱들의 합과 난수 발생용 시드값을 상기 정합용 특징으로 추출할 수 있다.Alternatively, the matching feature extracting unit may generate a random number within a range of pixel position values defined in the decoded video, and may include a sum of pixel values or sums of squares of pixel values of pixels selected according to the generated random number. The seed value for random number generation may be extracted as the matching feature.

또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상의 프레임 내에서 임의의 영역에 속한 화소들을 선택하고, 상기 선택된 화소들의 화소값들을 이용하여 상기 정합용 특징을 추출할 수 있다. 이때, 상기 선택된 화소들의 화소값의 평균, 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출할 수 있다.Alternatively, the matching feature extractor may select pixels belonging to an arbitrary area within the frame of the decoded video and extract the matching feature by using pixel values of the selected pixels. In this case, an average of pixel values of the selected pixels, a sum of pixel values, or a sum of squares of pixel values may be extracted as the matching feature.

또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상의 인접한 프레임 간의 각 화소에서의 화소값의 차이를 이용하여 상기 정합용 특징을 추출할 수 있다. 이때, 상기 인접한 프레임 간의 각 화소에서의 화소값의 차이의 합을 상기 정합용 특징으로 추출할 수 있다.Alternatively, the matching feature extracting unit may extract the matching feature by using a difference in pixel values at each pixel between adjacent frames of the decoded video. In this case, the sum of the difference of pixel values in each pixel between the adjacent frames may be extracted as the matching feature.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 동영상 화질평가 시스템은, 원동영상을 부호화하여 부호화된 동영상을 생성하며, 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특 징을 추출하여 부호화하고, 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하여 부호화하고, 상기 부호화된 화질평가용 특징과 상기 부호화된 정합용 특징을 네트워크를 통하여 송신하는 동영상 송신장치; 및 상기 동영상 송신장치로부터 상기 네트워크를 통해 수신한 동영상을 상기 정합용 특징을 이용하여 정합하고 상기 정합된 동영상에 대하여 상기 화질평가용 특징을 이용하여 화질평가를 수행하는 동영상 수신장치를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, the video quality evaluation system according to the present invention generates an encoded video by encoding an original video, and decodes the encoded video by a decoding method corresponding to the encoding method. After generating, extracting and encoding matching features to be used for matching from the decoded video, encoding and extracting the quality evaluation features to be used for image quality evaluation from the original image, and encoding the image quality evaluation. A video transmission device for transmitting a video feature and the encoded matching feature through a network; And a video receiving apparatus for matching the video received from the video transmitting apparatus through the network using the matching feature and performing image quality evaluation on the matched video using the quality evaluation feature. It is done.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 동영상 화질평가 시스템은, 동영상 송신장치에서 원동영상을 부호화하여 부호화된 동영상을 생성하고 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합을 위해 추출된 정합용 특징으로 이용하여 네트워크를 통해 수신한 동영상을 정합하고 상기 정합된 동영상에 대하여 화질평가용 특징을 이용하여 화질평가를 수행하는 동영상 수신장치를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, the video quality evaluation system according to the present invention generates a coded video by encoding a moving picture in a video transmission apparatus, and decodes the coded video by decoding the decoding method corresponding to the coding method. After the video is generated, the video received through the network is matched using the matching feature extracted for matching for quality evaluation from the decoded video, and the quality evaluation is performed using the quality evaluation feature for the matched video. Characterized in that it comprises a video receiving device to perform.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 동영상 화질평가 방법은, (a) 원동영상을 부호화하여 부호화된 동영상을 생성하는 단계; (b) 상기 (a) 단계에서의 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 단계; (c) 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 단계; (d) 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하는 단계; 및 (e) 상기 부호화된 동영상과 상기 정합용 특징 및 상기 화질평가용 특징을 부호화하여 네트워크를 통 해 송신하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a video quality evaluation method comprising: (a) generating an encoded video by encoding a moving image; (b) generating a decoded video by decoding the encoded video by a decoding method corresponding to the encoding method in step (a); (c) extracting matching features to be used for matching for image quality evaluation from the decoded video; (d) extracting an image quality evaluation feature to be used for image quality evaluation from the original image; And (e) encoding the encoded video, the matching feature, and the image quality evaluation feature and transmitting the encoded video over a network.

여기서, 상기 (c) 단계는, 상기 복호화된 동영상으로부터 경계영역을 검출하고, 상기 검출된 경계영역의 화소의 화소값 및 위치정보를 상기 정합용 특징으로 추출할 수 있다.Here, in step (c), a boundary region may be detected from the decoded video, and pixel values and position information of pixels of the detected boundary region may be extracted as the matching feature.

또는, 상기 (c) 단계는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값 및 난수 발생용 시드값을 상기 정합용 특징으로 추출할 수 있다.Alternatively, the step (c) may generate a random number within a range of pixel position values defined in the decoded video, and match the pixel value and the random number generation seed value of the pixels selected according to the generated random number. Can be extracted as a feature.

또는, 상기 (c) 단계는, 상기 복호화된 동영상의 각 프레임에서의 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출할 수 있다.Alternatively, in the step (c), the sum of the pixel values or the sum of the squares of the pixel values in each frame of the decoded video may be extracted as the matching feature.

또는, 상기 (c) 단계는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값들의 합 또는 화소값의 제곱들의 합과 난수 발생용 시드값을 상기 정합용 특징으로 추출할 수 있다.Alternatively, the step (c) may generate a random number within a range of pixel position values defined in the decoded video, and add the sum of the pixel values of the pixels selected according to the generated random number or the sum of the squares of the pixel values. The seed value for random number generation may be extracted as the matching feature.

또는, 상기 (c) 단계는, 상기 복호화된 동영상의 프레임 내에서 임의의 영역에 속한 화소들을 선택하고, 상기 선택된 화소들의 화소값들을 이용하여 상기 정합용 특징을 추출할 수 있다. 이때, 상기 선택된 화소들의 화소값의 평균, 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출할 수 있다.Alternatively, step (c) may select pixels belonging to an arbitrary region within the frame of the decoded video, and extract the matching feature using pixel values of the selected pixels. In this case, an average of pixel values of the selected pixels, a sum of pixel values, or a sum of squares of pixel values may be extracted as the matching feature.

또는, 상기 (c) 단계는, 상기 복호화된 동영상의 인접한 프레임 간의 각 화소에서의 화소값의 차이를 이용하여 상기 정합용 특징을 추출할 수 있다. 이때. 상기 인접한 프레임 간의 각 화소에서의 화소값의 차이의 합을 상기 정합용 특징으로 추출할 수 있다.Alternatively, in the step (c), the matching feature may be extracted by using a difference of pixel values in each pixel between adjacent frames of the decoded video. At this time. The sum of differences of pixel values in each pixel between the adjacent frames may be extracted as the matching feature.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 동영상 화질평가 방법은, (a) 동영상 송신장치에서 원동영상을 부호화하여 부호화된 동영상을 생성하고 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합을 위해 추출된 정합용 특징을 이용하여 네트워크를 통해 수신한 동영상을 정합하는 단계; 및 (b) 상기 정합된 동영상에 대하여 화질평가용 특징을 이용하여 화질평가를 수행하는 단계를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, the video quality estimation method according to the present invention comprises: (a) generating a video encoded by encoding a moving image in a video transmission apparatus and decoding the encoded video by a decoding method corresponding to the encoding method. Generating a decoded video and matching the video received through the network using the matching feature extracted for matching for image quality evaluation from the decoded video; And (b) performing image quality evaluation on the matched video using the image quality evaluation feature.

상기된 본 발명에 의하면, 화질평가를 위한 원동영상과 전송된 동영상의 정합을 보다 신속하고 정확하게 수행할 수 있다. According to the present invention described above, it is possible to more quickly and accurately match the original video and the transmitted video for image quality evaluation.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

일반적으로 시공간 정합에는 많은 연산을 필요로 하며, 원동영상을 부호화하게 되면 모든 화소값이 변환되어 시공간 상에서 정합 오류가 발생할 수 있다. 본 발명에서는 이러한 문제를 해결하기 위하여 송신측에서 압축동영상데이터(부호화된 동영상)를 복호화하고, 복호화된 동영상데이터로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출한 뒤 수신측에서 이 정합용 특징을 이용하여 시공간 정합을 수행한다. In general, space-time matching requires a lot of operations, and when the original image is encoded, all pixel values are converted to cause a matching error in space-time. In order to solve such a problem, the present invention decodes compressed video data (encoded video) at the transmitting side, extracts a matching feature to be used for matching for image quality evaluation from the decoded video data, and then at the receiving side, the matching feature. Space-time matching is performed using.

도 1은 본 발명의 일 실시예에 따른 동영상 화질평가 시스템의 구성을 나타낸다. 본 실시예에 따른 동영상 화질평가 시스템은, 동영상을 송신하는 주체인 동영상 송신장치(100)와, 동영상 송신장치(100)가 송신하는 동영상을 소정의 네트워크(10)를 경유하여 수신하는 클라이언트인 동영상 수신장치(200)를 포함한다. 이때, 네트워크(10)는 무선 및 유선 통신망을 모두 포함한다. 또한, 동영상 수신장치(200)는 사용자의 이동통신 단말기가 될 수 있다. 이하에서는 송신하고자 하는 동영상을 '원동영상', 원동영상을 부호화한 것을 '압축동영상데이터', 수신장치에서 압축동영상데이터를 복호화한 것을 '수신동영상'이라 칭하기로 한다. 전송과정 에서 압축동영상데이터에 에러가 발생할 수 있고, 이 경우 수신동영상은 전송에러로 인한 열화를 포함하게 된다. 또한, 본 발명에서는 프레임 단위를 가정하고 기술하고 있으나, 비월주사(interlaced) 신호인 경우에는 필드(field) 단위로 적용될 수 있다.1 illustrates a configuration of a video quality evaluation system according to an embodiment of the present invention. The moving picture quality evaluation system according to the present embodiment is a moving picture transmitting device 100 which is a main body for transmitting a moving picture, and a moving picture which is a client receiving a moving picture transmitted by the moving picture transmitting device 100 via a predetermined network 10. It includes a receiver 200. At this time, the network 10 includes both wireless and wired communication networks. In addition, the video receiving apparatus 200 may be a user's mobile communication terminal. Hereinafter, a moving picture to be transmitted is referred to as a 'moving picture', a moving picture encoding the moving picture is referred to as 'compressed moving picture data', and a decoded compressed moving picture data at the receiving device is referred to as a 'receiving picture.' An error may occur in the compressed video data during the transmission process. In this case, the received video may include deterioration due to a transmission error. In the present invention, a frame unit is assumed and described. However, in the case of an interlaced signal, it may be applied in a field unit.

동영상 송신장치(100)는 원동영상을 부호화하여 압축동영상데이터를 생성하며, 부호화 방식에 상응하는 복호화 방식으로 상기 압축동영상데이터를 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하고 부호화하여 정합특징데이터를 생성하고, 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하고 부호화하여 화질평가데이터를 생성하고, 압축동영상데이터, 정합특징데이터, 및 화질평가데이터를 네트워크(10)를 통하여 송신한다. 이 때 정합용 특징의 시공간상의 위치와 화질평가용 특징의 시공간상의 위치에 대한 정보도 함께 전송되어야 함은 물론이다. 이는 프레임 또는 필드 인덱스를 사용하여 쉽게 구현할 수 있다. 예로 한 프레임 또는 필드에서 정합용 특징과 화질평가용 특징을 추출한 후 이들을 함께 부호화하여 전송하여 이 들이 동일 프레임 또는 필드에서 추출되었음을 수신측에 알릴 수 있다.The video transmission apparatus 100 generates compressed video data by encoding an original video, and decodes the compressed video data by a decoding method corresponding to an encoding method to generate a decoded video, and then evaluates the image quality from the decoded video. Matching feature data is generated by extracting and encoding matching features to be used for matching, and image quality evaluation data is generated by extracting and encoding quality evaluation features to be used for image quality evaluation from the original image, and compressed video data and matching features. Data and image quality evaluation data are transmitted via the network 10. At this time, the information on the space-time position of the matching feature and the space-time position of the feature for image quality evaluation must also be transmitted. This can easily be done using a frame or field index. For example, a matching feature and an image quality evaluation feature may be extracted from one frame or field, and then encoded and transmitted together to inform a receiver that they have been extracted from the same frame or field.

동영상 수신장치(200)는 네트워크(10)를 통해 수신한 압축동영상데이터, 화질평가데이터 및 정합특징데이터를 각각 복호화하고, 정합특징데이터를 복호화한 결과 얻어지는 정합용 특징을 이용하여 수신동영상을 시공간상에서 정합한 후, 화질평가데이터를 복호화한 결과 얻어지는 화질평가용 특징을 이용하여 수신동영상의 화질평가를 수행한다. 여기서 화질평가 방법은 등록특허 제0525467호에 기술한 바 와 같이 경계영역 화소를 이용할 수 있다. 즉, 먼저 화질평가를 위해 경계영역에서 일정 수의 화소를 선택하고 이 화소값과 위치정보를 부호화하여 수신측으로 전송한다. 수신측에서는 이를 복호화하여 이 경계영역 화소에 대응하는 수신동영상 화소와의 자승오차의 합계를 구하고 이를 전체 경계영역 화소수로 나누어 화소당 평균자승오차를 구하고 이를 이용하여 화질지수를 계산할 수 있다.The video receiving apparatus 200 decodes the compressed video data, the image quality evaluation data, and the matching feature data received through the network 10, respectively, and uses the matching feature obtained by decoding the matched feature data in time and space. After matching, the image quality evaluation of the received video is performed using the image quality evaluation feature obtained as a result of decoding the image quality evaluation data. In this case, the image quality evaluation method may use boundary area pixels as described in Korean Patent No. 0525467. That is, a predetermined number of pixels are selected in the boundary region for image quality evaluation, and the pixel values and position information are encoded and transmitted to the receiving side. The receiving side can decode this to obtain the sum of the squared errors with the received video pixels corresponding to the pixel of the boundary region, divide it by the total number of pixels of the boundary region to obtain the mean squared error per pixel, and use it to calculate the image quality index.

도 2는 본 발명의 일 실시예에 따른 동영상 송신장치의 구성을 나타낸다.2 shows a configuration of a video transmission apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 실시예에 따른 동영상 송신장치(100)는 원동영상(소스 비디오)을 입력하기 위한 영상입력부(110), 영상입력부(110)로부터 입력되는 원동영상을 부호화하여 압축동영상데이터를 출력하는 제1 부호화부(120), 제1 부호화부(120)의 부호화 방식에 상응하는 복호화 방식으로 압축동영상데이터를 복호화하는 복호화부(130), 복호화부(130)에서 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 정합용 특징추출부(140), 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하는 화질평가용 특징추출부(150), 정합용 특징추출부(140)로부터의 정합용 특징과 화질평가용 특징추출부(150)로부터의 화질평가용 특징을 각각 부호화하여 정합특징데이터와 화질평가데이터를 출력하는 제2 부호화부(160), 그리고 압축동영상데이터와 정합특징데이터와 화질평가데이터를 네트워크(10)를 통해 전송하는 통신부(170)를 포함하여 이루어진다. 여기서, 제2 부호화부(160)는 내부적으로 정합용 특징추출부(140)로부터의 정합용 특징을 부호화하는 부호화부와 화질평가용 특징추출부(150)로부터의 화질평가용 특징을 부호화하는 부호화부로 따로 구성할 수 있다. Referring to FIG. 2, the video transmission apparatus 100 according to the present embodiment encodes a moving image input from an image input unit 110 and an image input unit 110 for inputting a moving image (source video). Image quality from the video decoded by the first encoder 120 to output the decoded data, and a decoder 130 to decode the compressed video data using a decoding method corresponding to the encoding method of the first encoder 120. Matching feature extraction unit 140 for extracting matching features to be used for matching for evaluation, picture quality evaluation feature extraction unit 150 for extracting features for picture quality evaluation to be used for picture quality evaluation from a moving image, matching feature A second encoding unit 160 which encodes the matching features from the extraction unit 140 and the quality evaluation features from the image quality evaluation feature extraction unit 150, respectively, and outputs the matching feature data and the image quality evaluation data, and compression. It comprises a communication unit 170 for transmitting the video data and the matching feature data and image quality evaluation data over a network (10). Here, the second encoder 160 internally encodes an encoding unit for encoding a matching feature from the matching feature extraction unit 140 and an image quality evaluation feature from the image quality evaluation feature extraction unit 150. It can be configured separately.

영상입력부(110)는 외부 장치로부터 동영상을 입력받는 입력장치 혹은 영상이 미리 저장된 소정의 저장장치일 수 있다. 또한, 원동영상은 컨텐츠 제공업자에 의해 부호화되어 제공될 수도 있다.The image input unit 110 may be an input device that receives a video from an external device or a predetermined storage device in which an image is stored in advance. In addition, the original video may be provided by being encoded by the content provider.

화질평가에 이용되는 화질평가데이터와 정합에 이용되는 정합특징데이터의 전송에는 오류가 발생하지 말아야 하므로 특수한 부호화 기법을 사용하는 것도 가능하다. 또한, 부호화된 압축동영상데이터와 정합특징데이터 및 화질평가데이터에 동시에 오류가 발생하는 것은 피하는 것이 바람직하다. 따라서, 압축동영상데이터와 정합특징데이터 및 화질평가데이터는 다른 채널을 사용하여 전송하는 것이 바람직하다. 일례로, 압축동영상데이터와 정합특징데이터 및 화질평가데이터는 서로 다른 패킷을 사용하여 전송할 수 있고, 시간차를 두어 전송할 수도 있다.It is also possible to use a special coding technique because no error should occur in the transmission of the image quality evaluation data used for image quality evaluation and the matched characteristic data used for matching. In addition, it is desirable to avoid an error occurring simultaneously in the encoded compressed video data, the matched feature data and the image quality evaluation data. Therefore, the compressed video data, the matched feature data and the image quality evaluation data are preferably transmitted using different channels. For example, compressed video data, matching feature data, and image quality evaluation data may be transmitted using different packets, or may be transmitted with a time difference.

도 3은 본 발명의 일 실시예에 따른 동영상 수신장치의 구성을 나타낸다.3 shows a configuration of a video receiving apparatus according to an embodiment of the present invention.

도 3을 참조하면, 본 실시예에 따른 동영상 수신장치(200)는 네트워크를 통해 수신된 압축동영상데이터를 복호화하는 제1 복호화부(210), 네트워크를 통해 수신된 정합특징데이터와 화질평가데이터를 각각 복호화하는 제2 복호화부(220), 제2 복호화부(220)에서 복호화된 정합용 특징을 이용하여 수신동영상을 시공간상에서 정합하는 정합부(230), 및 시공간상에서 정합된 수신동영상에 대하여 제2 복호화부(220)에서 복호화된 화질평가용 특징을 이용하여 화질평가를 수행하는 화질평가부(240)를 포함하여 이루어진다. 제2 복호화부(220)는 내부적으로 정합특징데이터를 복호화하는 복호화부와 화질평가데이터를 복호화하는 복호화부로 나뉘어져 구성될 수 있다. Referring to FIG. 3, the video receiving apparatus 200 according to the present embodiment may include a first decoder 210 for decoding compressed video data received through a network, and matched feature data and image quality evaluation data received through a network. A second decoding unit 220 decoding each, a matching unit 230 matching the received video in space-time using the matching feature decoded by the second decoding unit 220, and a received video matched in space-time And a picture quality evaluator 240 which performs picture quality evaluation by using the picture quality evaluation feature decoded by the decoder 220. The second decoder 220 may be divided into a decoder that decodes the matched feature data internally and a decoder that decodes the image quality evaluation data.

일 실시예에서, 정합용 특징추출부(140)는 프레임 내의 다수 개의 화소들을 선택하고, 선택된 화소들의 화소값 및 위치 정보를 정합용 특징으로 추출할 수 있다. 이 경우, 정합부(230)에서 수행되는 시공간상에서의 정합은 다음과 같이 모델링할 수 있다.In one embodiment, the matching feature extractor 140 may select a plurality of pixels in the frame and extract pixel values and position information of the selected pixels as the matching feature. In this case, the matching in space-time performed by the matching unit 230 may be modeled as follows.

O(t+Δt, x+Δx, y+Δy) = I(t, x, y)O (t + Δt, x + Δx, y + Δy) = I (t, x, y)

I(t, x, y)는 원동영상의 t번째 프레임의 (x, y) 지점의 화소에서의 화소값, O(t, x, y)는 수신동영상의 t번째 프레임의 (x, y) 지점의 화소에서의 화소값, Δx는 공간좌표 x축 상의 이동, Δy는 공간좌표 y축 상의 이동, Δt는 시간축 상의 이동을 나타낸다. 여기서 x는 프레임의 가로축, y는 세로축을 의미한다. 시공간상에서의 정합은 Δx, Δy, Δt를 주어진 한도 안에서 변경하면서 다음과 같은 평균자승오차를 최소화하는 Δx, Δy, Δt 값들을 시공간상에서 정합 결과(x, y, t축으로의 이동값)로 구할 수 있다.I (t, x, y) is the pixel value at the pixel at the (x, y) point of the t-th frame of the original image, and O (t, x, y) is the (x, y) of the t-th frame of the received video. The pixel value in the pixel at the point, Δx represents the movement on the spatial coordinate x-axis, Δy represents the movement on the spatial coordinate y-axis, and Δt represents the movement on the time axis. Where x is the horizontal axis of the frame and y is the vertical axis. In space-time matching, the values of Δx, Δy, and Δt that change Δx, Δy, and Δt within given limits and minimize the following mean square error are obtained as the result of the match in space-time (movement in the x, y, t axis). Can be.

Figure 112009012415938-pat00001
Figure 112009012415938-pat00001

여기서, N은 정합용 화소의 개수를, j는 선택된 각 화소의 인덱스를 나타낸다. Where N is the number of matching pixels and j is the index of each selected pixel.

도 4는 정합용 특징추출부(140)의 일 실시예를 나타낸 구성이다. 본 실시예에 따른 정합용 특징추출부(140)는 복호화부(130)로부터의 동영상으로부터 경계영 역을 검출하는 경계영역 검출부(410)와, 검출된 경계영역의 화소의 화소값 및 위치정보를 추출하는 경계영역 화소 선택부(420)를 포함하여 이루어진다. Figure 4 is a configuration showing an embodiment of the matching feature extraction unit 140. The matching feature extractor 140 according to the present exemplary embodiment includes a boundary region detector 410 that detects a boundary region from a video from the decoder 130, and pixel values and position information of pixels of the detected boundary region. And a boundary area pixel selector 420 to be extracted.

본 실시예에 따른 정합용 특징추출부(140)는 프레임 내의 다수 개의 화소들의 화소값 및 위치 정보를 추출하는 형태이다. 또한, 화질평가용 특징추출부(150) 역시 원동영상의 경계영역으로부터 화질평가에 이용될 화소의 화소값 및 위치정보를 추출할 수 있는 점에서 본 실시예에 따른 정합용 특징추출부(140)와 동일한 구성 및 동작을 가질 수 있다. 다만, 화질평가용 특징추출부(150)가 화질평가에 이용될 화질평가용 특징을 선택하는 기법은 본 실시예 이외에도 다양한 기법이 적용될 수 있음은 물론이다.The matching feature extractor 140 according to the present exemplary embodiment extracts pixel values and position information of a plurality of pixels in a frame. In addition, the feature extraction unit 150 for image quality evaluation can also extract pixel values and position information of pixels to be used for image quality evaluation from the boundary region of the original image. It may have the same configuration and operation. However, the technique of selecting the image quality evaluation feature to be used for the image quality evaluation by the feature extraction unit 150 for image quality evaluation may be applied in various ways in addition to the present embodiment.

도 5a는 동영상으로부터 경계영역을 검출하는 일례를 도시한 도면이다. 5A is a diagram illustrating an example of detecting a boundary region from a moving image.

본 실시예에서는 경계영역을 검출하기 위해 동영상에 외곽선 검출 알고리즘(Edge Detection Algorithm)을 적용한다. 외곽선 검출 알고리즘으로는 기존에 제안된 알고리즘의 하나를 사용할 수 있으며, 일례로 구배 연산자(Gradient Operator)를 이용할 수 있다.In the present embodiment, an edge detection algorithm is applied to a video to detect a boundary area. As an edge detection algorithm, one of the conventionally proposed algorithms may be used. For example, a gradient operator may be used.

경계영역 검출부(410)는 수직 구배 연산자와 수평 구배 연산자를 이용하여 각각 수직 구배 영상과 수평 구배 영상을 생성한다. 그리고, 생성된 수직 구배 영상과 수평 구배 영상에 절대값 연산을 수행하여 수직 및 수평 구배 영상을 생성한다. 이러한 수직 및 수평 구배 영상에 문턱값 연산을 적용하여 화소값의 크기가 소정치 이상인 것을 추출함으로써 경계영역을 생성한다. 경계영역을 검출하여 경계영역 화소를 추출하는 방법은 대한민국 특허 제0525467호에 상세하게 기재되어 있으 므로, 이에 대한 상세한 설명은 생략하기로 한다.The boundary area detector 410 generates a vertical gradient image and a horizontal gradient image by using a vertical gradient operator and a horizontal gradient operator, respectively. An absolute value is calculated on the generated vertical and horizontal gradient images to generate vertical and horizontal gradient images. A threshold area is generated by applying a threshold operation to the vertical and horizontal gradient images to extract a pixel value having a predetermined value or more. Since a method of extracting the boundary region pixel by detecting the boundary region is described in detail in Korean Patent No. 0525467, a detailed description thereof will be omitted.

도 5b는 검출된 경계영역으로부터 일정 수의 화소를 선택하는 일례를 도시한 도면이다.5B is a diagram illustrating an example of selecting a predetermined number of pixels from the detected boundary region.

경계영역 화소 선택부(420)는 검출된 경계영역에서 경계영역 화소를 선택하되, 주어진 비트율이 허용하는 한도내에서 수행한다. 이는 정합용 특징 및 화질평가용 특징 모두에 해당한다. 경계영역의 화소를 선택하는 방법은 여러 가지가 가능하며, 일례로 프레임에 구배연산자를 적용하여 구배영상을 구하고 구배영상의 화소값 기준으로 화소값이 큰 순서대로 이에 대응하는 동영상 화소를 순차적으로 선택할 수 있다. 만일 프레임당 10개의 경계영역화소를 선택하는 경우, 먼저 프레임 구배영상의 화소값이 최상위인 10개의 화소를 검색하고 이들에 대응하는 동영상 화소들을 경계영역 화소로 선택한다. 다른 예로는 구배영상의 화소값이 문턱치 이상인 화소에 대응하는 동영상 화소중에서 임의로 추출하는 방법이 있다. 예컨대, 구배영상의 화소값의 크기를 기준으로 상위 10%에 해당하는 화소들에 대응하는 동영상 화소들 중에서 무작위로 선택할 수 있다. 또한, 이전 프레임에서 선택된 화소와 동일한 위치에 존재하는 화소는 선택에서 제외할 수도 있음은 물론이다. 일반적으로 경계영역 화소는 프레임당 가능한 일정 수를 유지하도록 선택할 수 있다. 구배영상을 구하는 방법과 경계영역 화소를 추출하는 방법은 대한민국 특허 제0525467호에 자세히 기술되어 있다.The boundary area pixel selector 420 selects a boundary area pixel from the detected boundary area, but performs the data within a limit allowed by a given bit rate. This corresponds to both the matching feature and the image quality evaluation feature. There are several ways to select pixels in the boundary area. For example, a gradient image is obtained by applying a gradient operator to a frame, and the video pixels corresponding to the pixel values are sequentially selected based on the pixel value of the gradient image. Can be. If ten boundary region pixels are selected per frame, first, ten pixels having the highest pixel value of the frame gradient image are searched, and video pixels corresponding thereto are selected as the boundary region pixels. As another example, there is a method of randomly extracting from video pixels corresponding to a pixel whose pixel value of the gradient image is greater than or equal to a threshold. For example, a random selection may be made among video pixels corresponding to pixels corresponding to the top 10% based on the size of the pixel value of the gradient image. In addition, pixels existing at the same position as the pixel selected in the previous frame may be excluded from the selection. In general, the border area pixels may be selected to maintain a certain number of possible frames. A method for obtaining a gradient image and a method for extracting boundary region pixels are described in detail in Korean Patent No. 0525467.

도 5c는 정합부(230)가 경계영역 화소를 이용하여 수신동영상을 시공간상에서 정합하는 일례를 도시한 도면이다. 수신동영상의 한 프레임에 해당하는 복호화 된 동영상 프레임을 찾기 위하여 정합용 특징을 이용하여 주어진 시간축 범위내에서 복호화된 동영상의 프레임을 검색한다. 이때 수신측에서 복호화된 동영상 프레임에 대한 정보는 정합특징데이터의 여러 개의 경계영역 화소만 존재하므로 프레임간의 차이는 복호화된 동영상 프레임 경계영역 화소에 대응하는 수신동영상 프레임 화소만을 사용하여 계산한다. 즉, 복호화된 동영상 p번째 프레임과 수신동영상 q번째 프레임의 평균자승오차는 다음과 같이 계산될 수 있다.FIG. 5C illustrates an example in which the matching unit 230 matches the received video in space-time using boundary area pixels. In order to find the decoded video frame corresponding to one frame of the received video, the frame of the decoded video is searched within the given time axis range using the matching feature. In this case, since the information on the decoded video frame exists only several boundary region pixels of the matched feature data, the difference between the frames is calculated using only the received video frame pixels corresponding to the decoded video frame boundary region pixels. That is, the mean square error of the decoded video p th frame and the received video q th frame may be calculated as follows.

Figure 112009012415938-pat00002
Figure 112009012415938-pat00002

여기서 EDEC_p(i)는 복호화된 동영상 p번째 프레임의 경계영역 화소이고, EPVS_q_DEC_p(i)는 q번째 프레임에서 복호화된 동영상 p번째 프레임의 경계영역 화소에 대응하는 화소이며, NDEC _p는 복호화된 동영상 p번째 프레임의 경계영역 화소수이다.Where E DEC_p (i) is a boundary pixel of the decoded video pth frame, E PVS_q_DEC_p (i) is a pixel corresponding to the boundary area pixel of the video p-th frame decoded in the qth frame, and N DEC _p is decoded. The number of pixels in the boundary region of the p-th frame of the video.

도 6은 정합용 특징추출부(140)의 다른 일 실시예를 나타낸 구성으로서, 본 실시예에 따른 정합용 특징추출부(140)는 프레임 내에서 랜덤하게 다수 개의 화소들을 선택하고, 선택된 화소들을 정합용 특징으로 추출한다. 이를 위하여 본 실시예에 따른 정합용 특징 추출부(140)는 복호화된 동영상데이터에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하는 난수 생성부(610)와, 생성된 난수에 따라 화소를 선택하고, 선택된 화소들의 화소값을 추출하는 화소 선택부(620)를 포함하여 이루어진다. 이 경우 동일한 난수 생성부를 수신측에 마련하고, 난수 발생용 시 드(seed)값을 정합용 특징으로 동영상 송신장치(100)로부터 동영상 수신장치(200)로 전송할 수 있다. 동영상 수신장치(200)에서는 이 시드값으로 난수를 발생시켜 추출된 화소의 위치를 알 수 있다.6 is a diagram illustrating another example of the matching feature extractor 140. The matching feature extractor 140 according to the present embodiment randomly selects a plurality of pixels within a frame and selects the selected pixels. Extract with matching features. To this end, the matching feature extractor 140 according to the present embodiment selects a random number generator 610 that generates a random number within a range of pixel position values defined in the decoded video data, and selects a pixel according to the generated random number. And a pixel selector 620 for extracting pixel values of the selected pixels. In this case, the same random number generating unit may be provided on the receiving side, and a seed value for generating random numbers may be transmitted from the video transmitting apparatus 100 to the video receiving apparatus 200 as a matching feature. The video receiving apparatus 200 may generate a random number based on the seed value to determine the position of the extracted pixel.

일 실시예에서, 특히 시간축 정합을 목적으로 하는 경우 정합용 특징추출부(140)는 각 프레임에서 화소값들의 합 또는 화소값의 제곱들의 합을 정합용 특징으로 추출할 수 있다. 즉, 복호화된 동영상의 각 프레임에 대하여 다음 수학식과 같이 화소값들의 합 sumx와 화소값의 제곱들의 합 sumxx를 계산한다. In one embodiment, especially for time axis matching, the matching feature extractor 140 may extract the sum of the pixel values or the sum of the squares of the pixel values in each frame as the matching feature. That is, for each frame of the decoded video, the sum sumx of the pixel values and the sum sumxx of the squares of the pixel values are calculated as in the following equation.

Figure 112009012415938-pat00003
Figure 112009012415938-pat00003

도 7은 이러한 실시예에 따른 정합용 특징추출부(140)의 구성으로서, 복호화된 동영상의 각 프레임에 대하여 화소값들의 합을 계산하는 화소합 계산부(710)와 화소값의 제곱들의 합을 계산하는 화소제곱합 계산부(720)를 포함하여 이루어진다. 본 실시예에서 정합용 특징추출부(140)는 화소합 계산부(710)와 화소제곱합 계산부(720) 중 어느 하나만을 구비할 수도 있다.FIG. 7 illustrates a configuration of a matching feature extractor 140 according to an exemplary embodiment, and includes a sum of squares of pixel values and a pixel sum calculator 710 that calculates a sum of pixel values for each frame of a decoded video. And a pixel sum sum calculating unit 720 for calculating. In the present exemplary embodiment, the matching feature extractor 140 may include only one of the pixel sum calculator 710 and the pixel sum calculator 720.

일반적으로 서로 다른 프레임의 경우 화소값들의 합 및 화소값의 제곱들의 합은 서로 다른 값을 가지게 된다. 따라서 sumx 또는 sumxx를 프레임 인덱스와 함께 수신측으로 전송하고, 수신측에서는 Δt를 주어진 한도 안에서 변경하면서 sumx 또는 sumxx가 일치하거나 그 차이가 최소가 되는 Δt 값을 시간상에서의 정합 결과로 구할 수 있다. 그 외에도 화소값 등을 이용하여 프레임의 특성을 나타내는 함수를 계산하고, 그 차이를 프레임마다 비교함으로써 시간축 상의 정합을 수행할 수 있다.In general, in the case of different frames, the sum of pixel values and the sum of squares of the pixel values have different values. Therefore, sumx or sumxx may be transmitted to the receiver along with the frame index, and the receiver may change Δt within a given limit and obtain a Δt value in which the sumx or sumxx coincides or minimizes the difference as a result of matching in time. In addition, a function indicating a characteristic of a frame may be calculated using pixel values, and the matching may be performed on a time axis by comparing the difference for each frame.

상기된 화소값들의 합 또는 화소값의 제곱들의 합은 복호화된 동영상의 각 프레임의 모든 화소들을 대상으로 계산될 수도 있고, 임의로 일정 수의 화소들을 선택한 뒤 선택된 화소들의 화소값들의 합 또는 화소값의 제곱들의 합을 구할 수도 있다. 이러한 실시예에 따른 정합용 특징추출부(140)는 도 8에 도시된 바와 같이, 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하는 난수 생성부(810)와 생성된 난수에 따라 선택되는 화소들에 대하여 화소값들의 합을 계산하는 화소합 계산부(820)와 화소값의 제곱들의 합을 계산하는 화소제곱합 계산부(820)를 포함하여 이루어진다. 본 실시예에서 역시 정합용 특징추출부(140)는 화소합 계산부(810)와 화소제곱합 계산부(820) 중 어느 하나만을 구비할 수도 있다. 이 경우 동일한 난수 생성부를 수신측에 마련하고, 난수 발생용 시드(seed)값을 정합용 특징으로 동영상 송신장치(100)로부터 동영상 수신장치(200)로 전송할 수 있다. 동영상 수신장치(200)에서는 이 시드값으로 난수를 발생시켜 추출된 화소의 위치를 알 수 있다.The sum of the pixel values or the sum of the squares of the pixel values may be calculated for all the pixels of each frame of the decoded video, and a random number of pixels may be arbitrarily selected and then the sum of the pixel values or the pixel values of the selected pixels. You can also sum the squares. As illustrated in FIG. 8, the matching feature extractor 140 according to the present embodiment may include a random number generator 810 for generating a random number within a range of pixel position values defined in the decoded video and a random number generated. And a pixel sum calculator 820 for calculating a sum of pixel values with respect to the pixels selected according to the selected pixel, and a pixel square sum calculator 820 for calculating a sum of squares of pixel values. In the present exemplary embodiment, the matching feature extractor 140 may include only one of the pixel sum calculator 810 and the pixel sum calculator 820. In this case, the same random number generating unit may be provided on the receiving side, and a seed value for generating random numbers may be transmitted from the video transmitting apparatus 100 to the video receiving apparatus 200 as a matching feature. The video receiving apparatus 200 may generate a random number based on the seed value to determine the position of the extracted pixel.

일 실시예에서, 정합용 특징추출부(140)는 복호화된 동영상데이터의 프레임 내에서 임의의 영역에 속한 화소들을 선택하고, 선택된 화소들의 화소값들을 이용하여 정합용 특징을 추출할 수 있다. 예를 들어, 도 9에 도시된 바와 같이 각 프레 임에 특정 패턴을 가지는 블록을 정의하고, 이 블록에 속한 화소들의 화소값의 평균, 화소값들의 합, 또는 화소값의 제곱들의 합 등을 계산하여 영역 정보와 함께 정합용 특징으로 사용할 수 있다.In one embodiment, the matching feature extractor 140 may select pixels belonging to an arbitrary area within the frame of the decoded video data and extract the matching feature using pixel values of the selected pixels. For example, as illustrated in FIG. 9, a block having a specific pattern is defined in each frame, and an average of pixel values, sum of pixel values, or sum of squares of pixel values of pixels included in the block is calculated. It can be used as matching feature with area information.

일 실시예에서, 역시 시간축 정합을 목적으로 하는 경우 정합용 특징추출부(140)는 인접한 프레임 간의 각 화소에서의 화소값 차이를 계산하여 정합용 특징으로 추출할 수 있다. 예를 들어 j 번째 프레임에 대하여 다음 수학식과 같이 이전 프레임인 (j-1) 번째 프레임과의 화소값 차이의 합 FDj를 계산하여 정합용 특징으로 사용한다. In an embodiment, when the time axis matching is also aimed at, the matching feature extractor 140 may calculate a pixel value difference in each pixel between adjacent frames to extract the matching feature. For example, the sum FD j of the pixel value difference from the (j-1) th frame, which is the previous frame, is calculated for the j th frame and used as a matching feature.

Figure 112009012415938-pat00004
Figure 112009012415938-pat00004

여기서,

Figure 112009012415938-pat00005
는 j 번째 프레임에서의 화소값을,
Figure 112009012415938-pat00006
는 (j-1) 번째 프레임에서의 화소값을 나타낸다. 이러한 실시예에 따른 정합용 특징추출부(140)는 도 10에 도시된 바와 같이, 복호화부(130)로부터 입력되는 복호화된 동영상을 한 프레임만큼 지연시켜 출력하는 버퍼(1010)와, 복호화부(130)로부터 입력되는 복호화된 동영상의 프레임과 버퍼(1010)로부터의 동영상의 프레임에 대하여 화소값의 차이의 합을 계산하는 프레임 차이 계산부(1020)를 포함하여 이루어진다.here,
Figure 112009012415938-pat00005
Is the pixel value in the j th frame,
Figure 112009012415938-pat00006
Denotes a pixel value in the (j-1) th frame. As shown in FIG. 10, the matching feature extractor 140 according to the present embodiment includes a buffer 1010 for delaying and outputting a decoded video input from the decoder 130 by one frame, and a decoder ( And a frame difference calculator 1020 that calculates a sum of difference of pixel values with respect to the frame of the decoded video inputted from 130 and the frame of the video from the buffer 1010.

정합용 특징추출부(140)는 상술한 여러 실시예에 따른 정합용 특징추출부(140)의 구성들을 조합하여 구현될 수 있다. 예를 들어, 도 4에 도시된 구성과 도 7에 도시된 구성을 조합하여, 정합용 특징추출부(140)는 경계영역 화소의 화소값 및 위치정보와 함께 각 프레임의 화소값들의 합 또는 화소값의 제곱들의 합을 정합용 특징으로 추출할 수 있다.The matching feature extracting unit 140 may be implemented by combining the components of the matching feature extracting unit 140 according to the above-described embodiments. For example, by combining the configuration shown in FIG. 4 with the configuration shown in FIG. 7, the matching feature extractor 140 sums or sums the pixel values of each frame together with the pixel value and position information of the boundary area pixel. The sum of squares of values may be extracted as a matching feature.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명의 일 실시예에 따른 동영상 화질평가 시스템의 구성을 나타낸다.1 illustrates a configuration of a video quality evaluation system according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 동영상 송신장치의 구성을 나타낸다.2 shows a configuration of a video transmission apparatus according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 동영상 수신장치의 구성을 나타낸다.3 shows a configuration of a video receiving apparatus according to an embodiment of the present invention.

도 4는 정합용 특징추출부(140)의 일 실시예를 나타낸 구성이다.Figure 4 is a configuration showing an embodiment of the matching feature extraction unit 140.

도 5a는 동영상으로부터 경계영역을 검출하는 일례를 도시한 도면이다.5A is a diagram illustrating an example of detecting a boundary region from a moving image.

도 5b는 검출된 경계영역으로부터 경계영역 화소를 선택하는 일례를 도시한 도면이다.5B illustrates an example of selecting a boundary area pixel from the detected boundary area.

도 5c는 정합부(230)가 경계영역 화소를 이용하여 수신동영상을 시공간상에서 정합하는 일례를 도시한 도면이다.FIG. 5C illustrates an example in which the matching unit 230 matches the received video in space-time using boundary area pixels.

도 6은 정합용 특징추출부(140)의 다른 일 실시예를 나타낸 구성이다.6 is a view illustrating another embodiment of the matching feature extraction unit 140.

도 7은 정합용 특징추출부(140)의 또 다른 실시예를 나타낸 구성이다.7 is a configuration illustrating another embodiment of the matching feature extraction unit 140.

도 8은 정합용 특징추출부(140)의 또 다른 실시예를 나타낸 구성이다.8 is a configuration illustrating another embodiment of the matching feature extraction unit 140.

도 9는 각 프레임에 특정 패턴을 가지는 블록이 정의되는 모습의 예를 나타낸다.9 shows an example of how a block having a specific pattern is defined in each frame.

도 10은 정합용 특징추출부(140)의 또 다른 실시예를 나타낸 구성이다.10 is a configuration illustrating another embodiment of the matching feature extraction unit 140.

Claims (23)

동영상 수신장치에서의 화질평가가 가능하도록 하는 동영상 송신장치에 있어서,In the video transmission device to enable the image quality evaluation in the video reception device, 상기 동영상 수신장치로 전송할 원동영상을 부호화하여 부호화된 동영상을 생성하는 제1 부호화부;A first encoder configured to generate an encoded video by encoding an original video to be transmitted to the video receiving apparatus; 상기 제1 부호화부의 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 복호화부;A decoder configured to decode the encoded video by using a decoding method corresponding to an encoding method of the first encoder, to generate a decoded video; 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징-상기 정합용 특징은 상기 복호화된 동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 추출하는 정합용 특징추출부;A matching feature to be used for matching for image quality evaluation from the decoded video, wherein the matching feature includes at least some pixel values or an operation value of the at least some pixel values in the decoded video; Matching feature extraction unit; 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징-상기 화질평가용 특징은 상기 원동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 추출하는 화질평가용 특징추출부; 및Image quality evaluation feature to be used for image quality evaluation from the original image, wherein the image quality evaluation feature includes at least some pixel values in the original image or an operation value of the at least some pixel values. Feature extraction unit; And 상기 화질평가용 특징과 상기 정합용 특징을 부호화하는 제2 부호화부를 포함하는 것을 특징으로 하는 동영상 송신장치.And a second encoder which encodes the image quality evaluation feature and the matching feature. 제1항에 있어서,The method of claim 1, 상기 정합용 특징추출부는,The matching feature extraction unit, 상기 복호화된 동영상으로부터 경계영역을 검출하는 경계영역 검출부; 및A boundary region detector for detecting a boundary region from the decoded video; And 상기 검출된 경계영역의 화소의 화소값 및 위치정보를 상기 정합용 특징으로 추출하는 화소선택부를 포함하는 것을 특징으로 하는 동영상 송신장치.And a pixel selector for extracting pixel values and position information of the detected boundary region pixels as the matching feature. 제1항에 있어서,The method of claim 1, 상기 정합용 특징추출부는,The matching feature extraction unit, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하는 난수 생성부; 및A random number generator generating a random number within a range of pixel position values defined in the decoded video; And 상기 생성된 난수에 따라 선택되는 화소들의 화소값 및 난수발생용 시드값을 상기 정합용 특징으로 추출하는 화소 선택부를 포함하는 것을 특징으로 하는 동영상 송신장치.And a pixel selector configured to extract pixel values and random number generation seed values of pixels selected according to the generated random number as the matching feature. 제1항에 있어서,The method of claim 1, 상기 정합용 특징추출부는,The matching feature extraction unit, 상기 복호화된 동영상의 각 프레임에서의 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 송신장치.And a sum of pixel values or sums of squares of pixel values in each frame of the decoded video as the matching feature. 제1항에 있어서,The method of claim 1, 상기 정합용 특징추출부는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값들의 합 또는 화소값의 제곱들의 합과 난수 발생용 시드값을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 송신장치.The matching feature extracting unit generates a random number within a range of pixel position values defined in the decoded video, and generates a sum of pixel values or sums of squares of pixel values and a random number of pixels selected according to the generated random number. And a seed value for extraction as the matching feature. 제1항에 있어서,The method of claim 1, 상기 정합용 특징추출부는, 상기 복호화된 동영상의 프레임 내에서 임의의 영역에 속한 화소들을 선택하고, 상기 선택된 화소들의 화소값들을 이용하여 상기 정합용 특징을 추출하는 것을 특징으로 하는 동영상 송신장치.And the matching feature extracting unit selects pixels belonging to an arbitrary area within the frame of the decoded video and extracts the matching feature using pixel values of the selected pixels. 제6항에 있어서,The method of claim 6, 상기 정합용 특징추출부는, 상기 선택된 화소들의 화소값의 평균, 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 송신장치.And the matching feature extracting unit extracts an average of pixel values of the selected pixels, a sum of pixel values, or a sum of squares of pixel values as the matching feature. 제1항에 있어서,The method of claim 1, 상기 정합용 특징추출부는, 상기 복호화된 동영상의 인접한 프레임 간의 각 화소에서의 화소값의 차이를 이용하여 상기 정합용 특징을 추출하는 것을 특징으로 하는 동영상 송신장치.And the matching feature extracting unit extracts the matching feature by using a difference in pixel values at each pixel between adjacent frames of the decoded video. 제8항에 있어서,The method of claim 8, 상기 정합용 특징추출부는, 상기 인접한 프레임 간의 각 화소에서의 화소값의 차이의 합을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 송신장치.And the matching feature extraction unit extracts a sum of differences of pixel values in each pixel between the adjacent frames as the matching feature. 동영상 화질평가 시스템에 있어서,In the video quality evaluation system, 원동영상을 부호화하여 부호화된 동영상을 생성하며, 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징-상기 정합용 특징은 상기 복호화된 동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 추출하여 부호화하고, 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징-상기 화질평가용 특징은 상기 원동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 추출하여 부호화하고, 상기 부호화된 화질평가용 특징과 상기 부호화된 정합용 특징을 네트워크를 통하여 송신하는 동영상 송신장치; 및 Encodes an original video to generate an encoded video, decodes the encoded video by a decoding method corresponding to the encoding method, generates a decoded video, and then uses it for matching for image quality evaluation from the decoded video Extract and encode a feature, wherein the matching feature includes at least some pixel values in the decoded video or an operation value of the at least some pixel values, and evaluates an image to be used for image quality evaluation from the original image. Extract and encode a feature, wherein the feature for image quality evaluation includes at least some pixel values in the original image or an operation value of the at least some pixel values, and encodes the coded image quality characteristic and the coded match. A video transmission device for transmitting a feature for transmission over a network; And 상기 동영상 송신장치로부터 상기 네트워크를 통해 수신한 동영상을 상기 정합용 특징을 이용하여 정합하고 상기 정합된 동영상에 대하여 상기 화질평가용 특징을 이용하여 화질평가를 수행하는 동영상 수신장치를 포함하는 것을 특징으로 하는 동영상 화질평가 시스템.And a video receiving apparatus for matching the video received from the video transmitting apparatus through the network using the matching feature and performing image quality evaluation on the matched video using the quality evaluation feature. Video quality rating system. 동영상 화질평가 시스템에 있어서,In the video quality evaluation system, 동영상 송신장치에서 원동영상을 부호화하여 부호화된 동영상을 생성하고 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합을 위해 추출된 정합용 특징-상기 정합용 특징은 상기 복호화된 동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 이용하여 네트워크를 통해 수신한 동영상을 정합하고 상기 정합된 동영상에 대하여 화질평가용 특징-상기 화질평가용 특징은 상기 원동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 이용하여 화질평가를 수행하는 동영상 수신장치를 포함하는 것을 특징으로 하는 동영상 화질평가 시스템.After generating the encoded video by encoding the moving image in the video transmission apparatus and decoding the encoded video by the decoding method corresponding to the encoding method, the video is transmitted to match the image quality evaluation. Match the video received through the network using the extracted matching feature, wherein the matching feature includes at least some pixel values or an operation value of the at least some pixel values in the decoded video. An image receiving apparatus for performing an image quality evaluation using an image quality evaluation feature, wherein the image quality evaluation feature includes at least some pixel values in the original image or an operation value of the at least some pixel values. Video quality evaluation system comprising a. 동영상 화질평가 방법에 있어서,In the video quality evaluation method, (a) 원동영상을 부호화하여 부호화된 동영상을 생성하는 단계;(a) encoding an original video to generate an encoded video; (b) 상기 (a) 단계에서의 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 단계;(b) generating a decoded video by decoding the encoded video by a decoding method corresponding to the encoding method in step (a); (c) 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징-상기 정합용 특징은 상기 복호화된 동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 추출하는 단계;(c) a matching feature to be used for matching from the decoded video for image quality evaluation, wherein the matching feature includes at least some pixel values or an operation value of the at least some pixel values in the decoded video. Extracting the; (d) 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징-상기 화질평가용 특징은 상기 원동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 추출하는 단계; 및(d) extracting an image quality feature to be used for image quality evaluation from the original image, wherein the image quality feature includes at least some pixel values in the original image or an operation value of the at least some pixel values. step; And (e) 상기 부호화된 동영상과 상기 정합용 특징 및 상기 화질평가용 특징을 부호화하여 네트워크를 통해 송신하는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.and (e) encoding the encoded video, the matching feature, and the quality evaluation feature and transmitting the encoded video over a network. 제12항에 있어서,The method of claim 12, 상기 (c) 단계는, 상기 복호화된 동영상으로부터 경계영역을 검출하고, 상기 검출된 경계영역의 화소의 화소값 및 위치정보를 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 화질평가 방법.In the step (c), the boundary region is detected from the decoded video, and the pixel value and position information of the pixel of the detected boundary region are extracted as the matching feature. 제12항에 있어서,The method of claim 12, 상기 (c) 단계는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값 및 난수 발생용 시드값을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 화질평가 방법.In the step (c), the random number is generated within a range of pixel position values defined in the decoded video, and the pixel value and the random number generation seed value of the pixels selected according to the generated random number are matched. Video quality evaluation method characterized in that the extraction. 제12항에 있어서,The method of claim 12, 상기 (c) 단계는, 상기 복호화된 동영상의 각 프레임에서의 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 화질평가 방법.In the step (c), the sum of pixel values or sum of squares of pixel values in each frame of the decoded video is extracted as the matching feature. 제12항에 있어서,The method of claim 12, 상기 (c) 단계는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값들의 합 또는 화소값의 제곱들의 합과 난수 발생용 시드값을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 화질평가 방법.In the step (c), the random number is generated within a range of pixel position values defined in the decoded video, and the sum of pixel values or sums of squares of pixel values and random numbers of pixels selected according to the generated random number is generated. And a seed value for extraction as the matching feature. 제12항에 있어서,The method of claim 12, 상기 (c) 단계는, 상기 복호화된 동영상의 프레임 내에서 임의의 영역에 속한 화소들을 선택하고, 상기 선택된 화소들의 화소값들을 이용하여 상기 정합용 특징을 추출하는 것을 특징으로 하는 동영상 화질평가 방법.In the step (c), the video quality evaluation method of selecting a pixel belonging to an arbitrary region in the frame of the decoded video and extracting the matching feature using the pixel values of the selected pixels. 제17항에 있어서,The method of claim 17, 상기 (c) 단계는, 상기 선택된 화소들의 화소값의 평균, 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 화질평가 방법.In the step (c), the average of pixel values of the selected pixels, a sum of pixel values, or a sum of squares of pixel values are extracted as the matching feature. 제12항에 있어서,The method of claim 12, 상기 (c) 단계는, 상기 복호화된 동영상의 인접한 프레임 간의 각 화소에서의 화소값의 차이를 이용하여 상기 정합용 특징을 추출하는 것을 특징으로 하는 동영상 화질평가 방법.In the step (c), the matching feature is extracted using the difference in pixel values in each pixel between adjacent frames of the decoded video. 제19항에 있어서,The method of claim 19, 상기 (c) 단계는, 상기 인접한 프레임 간의 각 화소에서의 화소값의 차이의 합을 상기 정합용 특징으로 추출하는 것을 특징으로 하는 동영상 화질평가 방법.In the step (c), the sum of the difference of pixel values in each pixel between the adjacent frames is extracted as the matching feature. 동영상 화질평가 방법에 있어서, In the video quality evaluation method, (a) 동영상 송신장치에서 원동영상을 부호화하여 부호화된 동영상을 생성하고 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합을 위해 추출된 정합용 특징-상기 정합용 특징은 상기 복호화된 동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 이용하여 네트워크를 통해 수신한 동영상을 정합하는 단계; 및(a) the video transmission apparatus generates an encoded video by encoding the original video, decodes the encoded video by a decoding method corresponding to the encoding method, generates a decoded video, and then evaluates the image quality from the decoded video. Match the video received through the network using a matching feature extracted for matching, wherein the matching feature includes at least some pixel values in the decoded video or an operation value of the at least some pixel values. Making; And (b) 상기 정합된 동영상에 대하여 화질평가용 특징-상기 화질평가용 특징은 상기 원동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 이용하여 화질평가를 수행하는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.(b) image quality evaluation of the matched video using the quality evaluation feature, wherein the quality evaluation feature includes at least some pixel values in the original image or an operation value of the at least some pixel values. Video quality evaluation method comprising the step of performing. 동영상 송신장치로부터 전송된 동영상을 수신하는 동영상 수신장치에 있어서, In the video receiving apparatus for receiving a video transmitted from the video transmitting apparatus, 상기 동영상 송신장치에서의 제1 부호화 방식에 상응하는 복호화 방식에 따라 수신된 동영상을 복호화하는 제1 복호화부; A first decoder to decode a received video according to a decoding method corresponding to a first encoding method in the video transmitting apparatus; 상기 동영상 송신장치에서의 제2 부호화 방식에 상응하는 복호화 방식에 따라 수신된 화질평가용 특징-상기 화질평가용 특징은 상기 동영상 송신장치에 입력된 원동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 복호화하는 제2 복호화부; 및 Feature for image quality evaluation received according to a decoding scheme corresponding to a second encoding scheme in the video transmission apparatus—The image quality evaluation feature may include at least some pixel values or the at least some pixel values in the original image input to the video transmission apparatus. A second decoder to decode an operation value of the pixel values of? And 상기 제2 복호화부에서 복호화된 화질평가용 특징을 이용하여, 상기 제1복호화부에서 복호화된 동영상에 대해 화질 평가를 수행하는 화질 평가부;An image quality evaluation unit configured to perform image quality evaluation on the video decoded by the first decoder by using the image quality evaluation feature decoded by the second decoder; 를 포함하는 것을 특징으로 하는 동영상 수신장치.Video receiving apparatus comprising a. 제22항에 있어서,The method of claim 22, 상기 제1복호화부에서 복호화된 동영상을 정합용 특징-상기 정합용 특징은 상기 복호화된 동영상 내의 적어도 일부의 화소값들 또는 상기 적어도 일부의 화소값들의 연산 값을 포함함-을 이용하여 정합하는 정합부;를 더 포함하고,Matching to match the video decoded by the first decoding unit using a matching feature, wherein the matching feature includes at least some pixel values in the decoded video or an operation value of the at least some pixel values. It further comprises; 상기 화질 평가부는, 상기 정합된 동영상에 대해 상기 화질평가용 특징을 이용하여 화질 평가를 수행하는 것을 특징으로 하는 동영상 수신장치. And the image quality evaluation unit performs image quality evaluation on the matched video using the image quality evaluation feature.
KR1020090017020A 2009-02-27 2009-02-27 Method and system for video quality measurement KR101024384B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090017020A KR101024384B1 (en) 2009-02-27 2009-02-27 Method and system for video quality measurement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090017020A KR101024384B1 (en) 2009-02-27 2009-02-27 Method and system for video quality measurement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020100084312A Division KR101471010B1 (en) 2010-08-30 2010-08-30 Method and system for video quality measurement

Publications (2)

Publication Number Publication Date
KR20100098047A KR20100098047A (en) 2010-09-06
KR101024384B1 true KR101024384B1 (en) 2011-03-23

Family

ID=43005072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090017020A KR101024384B1 (en) 2009-02-27 2009-02-27 Method and system for video quality measurement

Country Status (1)

Country Link
KR (1) KR101024384B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092522A (en) 1998-09-08 2000-03-31 Tektronix Inc Method and device for analyzing quality of image
JP2001045525A (en) 1999-07-30 2001-02-16 Kdd Corp Quality evaluation device for compressed transmission image and transmitter and receiver used for it
JP2003319420A (en) 2002-04-19 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> Method, device, and program for downloading video contents
KR20050105630A (en) * 2004-04-30 2005-11-04 에스케이 텔레콤주식회사 Systems and methods for measurement of video quality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092522A (en) 1998-09-08 2000-03-31 Tektronix Inc Method and device for analyzing quality of image
JP2001045525A (en) 1999-07-30 2001-02-16 Kdd Corp Quality evaluation device for compressed transmission image and transmitter and receiver used for it
JP2003319420A (en) 2002-04-19 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> Method, device, and program for downloading video contents
KR20050105630A (en) * 2004-04-30 2005-11-04 에스케이 텔레콤주식회사 Systems and methods for measurement of video quality

Also Published As

Publication number Publication date
KR20100098047A (en) 2010-09-06

Similar Documents

Publication Publication Date Title
RU2699388C1 (en) Device and method for decoding a moving image, adapted to extract information on movement
KR101505195B1 (en) Method for direct mode encoding and decoding
JP6837056B2 (en) Methods and equipment for encoding and decoding light field-based images and corresponding computer program products
ES2778227T3 (en) Device, method and program for bipredictive image decoding
CN104303504B (en) Stablize different coding and the decoding of information and instantaneous/random information
US20100303364A1 (en) Image quality evaluation method, image quality evaluation system and image quality evaluation program
KR100612691B1 (en) Systems and Methods for Measurement of Video Quality
CN103988500A (en) Video quality measurement
KR100938211B1 (en) System and method for video quality measurement
JP4789212B2 (en) Video quality evaluation method and apparatus
KR101540113B1 (en) Method, apparatus for gernerating image data fot realistic-image and computer-readable recording medium for executing the method
CN104853186A (en) Improved video steganalysis method based on motion vector reply
JP5950605B2 (en) Image processing system and image processing method
KR101716082B1 (en) Method and apparatus for video quality measurement
KR101471010B1 (en) Method and system for video quality measurement
KR101024384B1 (en) Method and system for video quality measurement
KR101366244B1 (en) Method and apparatus for error concealment of image using residual data
KR101316699B1 (en) System for video quality mesurement, apparutus for transmitting video, apparutus for receiving video and method thereof
KR101642965B1 (en) Apparatus and method for processing depth image using bit depth reduction
KR100933284B1 (en) Video quality evaluation system, video transmitter, video receiver and its method
KR101209890B1 (en) Digital broadcasting transmission apparatus and method, digital broadcasting receiving apparatus and method, for error concealment
JP2009171023A (en) Image quality evaluation apparatus, image quality evaluation method, program for image quality evaluation, and video reception terminal
Brites et al. Multiview side information creation for efficient Wyner–Ziv video coding: Classifying and reviewing
JPWO2008123126A1 (en) Image quality evaluation system, method and program
Guichemerre et al. Deep learning assisted quality ranking for list decoding of videos subject to transmission errors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150204

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160202

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee