KR20150078548A - Method for Real-time Perceptive Video Quality Modeling based on GOP Information - Google Patents
Method for Real-time Perceptive Video Quality Modeling based on GOP Information Download PDFInfo
- Publication number
- KR20150078548A KR20150078548A KR1020130168001A KR20130168001A KR20150078548A KR 20150078548 A KR20150078548 A KR 20150078548A KR 1020130168001 A KR1020130168001 A KR 1020130168001A KR 20130168001 A KR20130168001 A KR 20130168001A KR 20150078548 A KR20150078548 A KR 20150078548A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- calculating
- distortion value
- gop
- image quality
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
본 발명은 비디오 영상 품질을 측정에 관한 것으로, 더욱 상세하게는 실시간으로 영상의 체감 품질을 예측하는 방법에 관한 것이다.BACKGROUND OF THE
최근, IPTV의 상용화로 영상 품질에 대한 관심이 부쩍 높아졌다. 이에, IPTV 사업자의 입장에서는 시청자가 경험하는 화질의 수준을 모니터링하고, 그 결과를 컨텐츠 생성이나 전송 방식에 반영하여 고객의 만족도를 높이려는 다양한 노력들을 시도하고 있는데, 이를 위해서는 IPTV의 화질을 측정하고 평가하는 방법이 필요하다.Recently, the commercialization of IPTV has raised interest in image quality. Therefore, IPTV operators are trying various efforts to increase the satisfaction of customers by monitoring the level of image quality experienced by viewers and reflecting the result in content generation or transmission method. To do this, we measure the image quality of IPTV A method of evaluation is needed.
현재 ITU-T SG9과 VQEG을 중심으로 주관적 체감 화질의 객관적 품질 측정방법에 대한 표준화를 진행하고 있으며, 이는 크게 전기준법(FR;Full Reference), 감소기준법(RR; Reduced Reference) 및 무기준법(NR; No Reference)으로 구분될 수 있다.At present, ITU-T SG9 and VQEG are focusing on the objective quality measurement method of subjective subjective image quality, which is divided into FR (full reference), Reduced reference (RR) and inorganic compliance No Reference).
이 중, 전기준법은 원본 영상 대비 재생 영상의 유사성 또는 왜곡량을 측정하는 방법이다. 또한, 감소기준법은 원본 영상으로부터 추출한 특징 정보와 재생 영상으로부터 추출한 특징 정보를 비교하여 상대적인 화질을 측정하는 방법이며, 무기준법은 원본 영상 자체나 특징 정보가 존재하지 않는 상태에서 시청자에게 보이는 재생 영상만으로 화질을 측정하는 방법이다.Among them, the former standard method is a method of measuring the similarity or distortion amount of the reproduced image compared to the original image. The reduction criterion method is a method of measuring the relative image quality by comparing the feature information extracted from the original image with the feature information extracted from the reproduced image. In the inorganic criterion, only the reproduced image It is a method to measure image quality.
이 중 전기준법이 가장 정확한 결과를 제공해주며, 무기준법이 가장 부정확하다고 알려져 있다.Among these, the full standard law provides the most accurate results and it is known that the inorganic law is the most inaccurate.
그러나, 실제 IPTV사업에 있어서는 재생 영상의 화질에 영향을 미치는 요소들이 매우 많기 때문에, 상기한 표준에서 제시하는 단순한 원본 대비 재생 영상 간의 상대적인 비교만으로는 IPTV 사업에서 발생하는 화질 열화와 같은 문제점들에 제대로 대처하기 어렵다.However, since there are many factors that affect the quality of reproduced video in the actual IPTV business, it is difficult to cope with the problems such as image deterioration occurring in the IPTV business by only a relative comparison between the reproduced video and the simple original It is difficult to do.
예를 들어, 인코딩된 영상의 왜곡, 즉 Front-end 단에서의 왜곡은 주로 원본 영상의 불량이나 인코딩 과정에서 유입된 왜곡에 의한 것이고, 네트워크나 셋탑박스(set-top box)의 결함에 의한 왜곡, 즉 Back-end 단에서의 왜곡은 주로 패킷 손실이나 셋탑박스의 오동작으로 인한 왜곡이기 때문에, Front-end 단에서의 왜곡과 Back-endFor example, the distortion of the encoded image, that is, the distortion in the front-end stage, is mainly caused by a defect in the original image or a distortion introduced in the encoding process, and distortion caused by a defect in a network or a set- , That is, distortion in the back-end stage is mainly caused by packet loss or malfunction of the set-top box, so distortion at the front-end stage and back-end
단에서의 왜곡은 그 원인이 서로 다르다. The distortion in the stage is different from the cause.
따라서, 시청자의 TV에 표현되는 셋탑박스의 재생 영상은 모든 왜곡의 총 합으로 나타나므로 왜곡이 발생했을 때 그 원인을 찾아내기가 쉽지 않다.Therefore, since the reproduced image of the set-top box displayed on the viewer's TV is represented by the total sum of all the distortions, it is not easy to find the cause when the distortion occurs.
이에, ITU-T에서 2004년 6월에 표준화한 J.240 (Framework for remote monitoring of transmitted picture signal-to-noise ratio using spread-spectrum and orthogonal transform)에서는, 입력 영상을 적당한 크기의 블록으로 나누어 대역 확산(spread spectrum)과 직교 변환(orthogonal transform)을 이용하여 주파수 영역 또는 공간 영역에서 영상 데이터를 무작위화(random)하여, 그 중 한 샘플을 특징 정보로 취하는 방법을 제안하였으며, 최대 신호대 잡음비(Peak Signal-to-Noise Ratio, 이하 PSNR이라 칭함)의 추정된 평균이 매우 정확하다고 주장하고 있다.Therefore, in J.240 (Framework for remote monitoring of transmitted picture-to-noise ratio using spread-spectrum and orthogonal transform) standardized by ITU-T in June 2004, the input image is divided into blocks of appropriate size, We propose a method to randomize image data in frequency domain or spatial domain using spread spectrum and orthogonal transform and take one sample as feature information. The maximum signal - to - noise ratio (Peak Signal-to-Noise Ratio (PSNR)) is very accurate.
그러나 이 방법은 특징 정보를 추출하기 위해 영상 데이터를 PN(pseudo-noise) 시퀀스와 곱하고 Walsh-Hadamard 변환을 해야 하는 연산이 필요하다. 이 연산은 연산량이 매우 많지는 않지만 모든 픽셀 정보에 대해 연산이 수 행되어야 하므로 이를 셋탑박스에서 처리하기에는 매우 부담스러우며, 개별 프레임 수준에서 추정된 PSNR 값은 주장과는 달리 큰 차이가 날 수도 있다.However, this method requires an operation that multiplies the image data with a pseudo-noise (PN) sequence and performs a Walsh-Hadamard transformation to extract feature information. Although this computation is not very large, it is very difficult to process it in the set-top box because all pixel information must be computed, and the estimated PSNR value at the individual frame level may differ greatly from the assertion.
예를 들어, 720x480@30 fps 영상의 경우 특징 정보가 차지하는 대역폭이 1,296kbps나 필요하여 이를 셋탑박스에 서 처리하기에는 매우 부담스럽다.For example, for a 720x480 @ 30 fps image, the bandwidth required for the feature information is 1,296 kbps, which is very cumbersome to process in a set-top box.
또한, YAMADA et al("Reduced-reference based video quality metrics using representative-luminance values," in Proc. International Workshop on Video Processing and Quality Metrics for Consumer Electronics, Scottsdale, Ariz., USA, Jan. 2007.)이 제안한 방법은 입력 영상에서"대표 휘도값"을 가지는 픽셀들의 위치와 그 값을 특징 정보로 전송하고 수신측에서 이 위치의 화소값들을 특징 정보로 추출하여 비교함으로써 PSNR을 추정한다.In addition, it is proposed by YAMADA et al ("Reduced-reference based video quality metrics using representative-luminance values," in Proc. International Workshop on Video Processing and Quality Metrics for Consumer Electronics, Scottsdale, Ariz., USA, Jan. 2007.) The method estimates the PSNR by transmitting the position and the value of the pixels having the "representative luminance value" in the input image as the feature information, and extracting the pixel values of the position as the feature information at the receiving end.
이 방식은 간단하긴 하나"대표 휘도값"의 위치 정보가, 많은 데이터량을 수반하며, 이를 실용화하기 위해서는 위치 정보를 압축하기 위한 별도의 이진(binary) 압축 코덱이 필요한 단점이 있다.Although this method is simple, the position information of the "representative luminance value " is accompanied by a large amount of data, and there is a disadvantage in that a separate binary compression codec for compressing the position information is required for practical use.
따라서, 셋탑박스의 연산 부담을 최소화하면서 셋탑박스에서 재생되는 영상의 품질을 정량적으로 측정하고, 재생 영상에 대한 화질 열화에 대한 다양한 정보를 쉽게 확인할 수 있는 방안이 요구되고 있는 실정이다.Accordingly, there is a need for a method that can quantitatively measure the quality of an image reproduced in a set-top box while minimizing the computational burden of the set-top box and easily identify various information on the image quality deterioration with respect to the reproduced image.
주관적인 품질 평가는 동영상을 시청하는 시청자가 주관적으로 경험하고 인지하는 품질 수준으로 MOS(Mean Score Opinion)값으로 대표된다.The subjective quality evaluation is represented by the Mean Score Opinion (MOS) value, which is the level of quality experienced by the viewers watching the video subjectively and perceived.
MOS값은 영상 품질 전문가 그룹인 평가단이 실제 디코딩된 영상을 시청하면서 영상에 대한 품질을 5가지 (Excellent, Good, Fair, Poor, Bad)중 하나로 평가하는 방식이다.The MOS value is a method of evaluating the quality of the image as one of 5 kinds (Excellent, Good, Fair, Poor, Bad) while the evaluation team of the image quality expert group is watching the decoded image.
이 방식은 일반적으로 24명 내외의 평가자가 참여하며 동영상에 대해 각 평가자가 부여한 평가 점수의 평균을 취하여 MOS값을 결정하게 된다.This method is generally performed by 24 or more evaluators, and the MOS value is determined by taking the average of the evaluation scores given by each evaluator for the video.
하지만 IPTV 서비스에서는 개별 콘텐츠에 대해 시청자들이 느끼는 MOS값은 개별 시청자들의 주관적인 성향이나 구비 하드웨어 장치 및 시청 환경에 따라서 각기 다르게 나타나게 될 수 있으므로, 서비스 제공 사업자의 입장에서는 IPTV 서비스를 안정적으로 제공하기 위한 객관적인 화질 평가 기술이 필요하게 된다.However, in the IPTV service, the MOS value experienced by the viewers with regard to the individual contents may be different depending on subjective tendencies of the individual viewers, the hardware devices, and the viewing environment. Therefore, from the viewpoint of the service provider, A picture quality evaluation technique is required.
시청자의 주관적 체감 화질의 객관적인 품질 측정 방법에 대해서는 현재 ITU-T SG9과 VQEG을 중심으로 표준화가 진행되고 있는데, 크게 FR(Full Reference), RR(Reduced Reference), NR(No Reference) 방법으로 접근하고 있다.The subjective quality of image quality of viewers is being standardized around ITU-T SG9 and VQEG at present. Approaches are mainly FR (Full Reference), RR (Reduced Reference) and NR (No Reference) have.
이 중 FR(Full Reference)방식은 원본 영상 대비 재생 영상의 유사성 또는 왜곡량을 측정하는 방법이고, RR(Reduced Reference)방식은 원본 영상으로부터 추출한 특징 정보와 재생 영상으로부터 추출한 특징 정보를 비교하여 상대적인 화질을 측정하는 방식이다. In the RR (Reduced Reference) method, the feature information extracted from the original image is compared with the feature information extracted from the reproduced image, and the relative image quality .
그리고 NR(No Reference)방식은 원본 영상 자체나 특징 정보가 존재하지 않는 상태에서 시청자에게 보이는 재생영상만으로 화질을 측정한다.In the NR (No Reference) method, the image quality is measured only by the reproduced image that is seen by the viewer in the state where the original image or feature information does not exist.
그러나, 이 방식들은 화질을 평가하기 위해서 망을 통해 전송된 콘텐츠의 암호를 고객별 디코더(STB)로 복화화 해야 할 뿐만 아니라, 실시간 방송의 경우 IPTV 서비스 제공 사업자가 실시간으로 원본 영상을 확보할 수도 없어서 운용성이나 경제성 측면에서 어려움이 있기 때문에, CAS(Conditional Access System)나 DRM(Digital Right Management)으로 암호화된 콘텐츠를 대규모 망을 통해 실시간으로 전송하는 서비스 제공 사업자들이 활용하기는 어려움이 있다.However, in order to evaluate the picture quality, these methods not only require the encryption of the content transmitted through the network to be decoded into a customer-specific decoder (STB), but also can provide an IPTV service provider in real- There is a difficulty in terms of operability and economical efficiency. Therefore, it is difficult to utilize service providers that transmit real-time encrypted content from CAS (Conditional Access System) or DRM (Digital Right Management) over a large-scale network in real time.
또한, ITU-T에서는 FG IPTV에서 IPTV QoS/QoE(Qulaity of Service/Quality of Experience) Metric을 Perceptual Quality Metrics, Video Stream Metrics, Transport Metrics 등 3개 계층으로 나누어, 각 계층별 측정 항목을 정의하고 있다.In ITU-T, IPTV QoS / Quality of Experience (QoE) metrics are divided into three layers: Perceptual Quality Metrics, Video Stream Metrics, and Transport Metrics in FG IPTV, and measurement items for each layer are defined .
각 계층별 측정 항목의 품질 지표들은 모두 크게 또는 작게 IPTV 서비스에 영향을 미치게 되지만, 고객이 실제 시청하는 영상은 셋톱 박스의 Jitter Buffer나 손실 숨김(Error Concealment) 알고리즘에 의해서 보상된 화면이기 때문에, 실제로 고객이 체감하는 IPTV 품질은 IPTV 전달망의 품질 지표와 고객의 체감 품질(MOS값)이 정확히 일치하지는 않는 문제가 있다.However, since the image that the customer actually watches is the screen compensated by the jitter buffer of the set-top box or the error concealment algorithm, The IPTV quality experienced by the customer has a problem that the quality index of the IPTV transmission network does not exactly match the quality of experience (MOS value) of the customer.
본 발명이 이루고자 하는 기술적 과제는 비디오 영상 품질을 측정함에 있어, 미디어 레이어(media-layer) 기반의 영상 품질 측정에서 참조 영상을 필요로 하던 한계를 극복하고, 패킷 손실 정보와 GOP 구조 및 프레임 구성 정보를 바탕으로 실시간으로 영상의 체감 품질을 예측하는 방법을 제공하는데 있다. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to overcome the limitations of a reference image in media-layer based image quality measurement, And a method for predicting a visual quality of a video image in real time based on the image quality.
일 측면에 있어서, 본 발명에서 제안하는 GOP 정보 기반의 실시간 체감형 영상 품질 모델링 방법은 프레임을 구성하는 패킷 수를 확인하는 단계, 상기 프레임을 포함하는 GOP의 프레임 당 평균 패킷 수를 확인하는 단계, 상기 프레임의 단일 패킷 손실 시 단일 프레임에서의 왜곡 값을 계산하는 단계 및 상기 프레임의 단일 패킷 손실 시 미리 정해진 거리만큼 떨어진 단일 프레임에서의 왜곡 값을 계산하는 단계를 포함할 수 있다. According to an aspect of the present invention, there is provided a GOP information-based real-time perceptual image quality modeling method of the present invention, comprising: checking the number of packets constituting a frame; checking an average number of packets per frame of a GOP including the frame; Calculating a distortion value in a single frame upon a single packet loss of the frame, and calculating a distortion value in a single frame a predetermined distance away from a single packet loss of the frame.
본 발명에서 제안하는 GOP 정보 기반의 실시간 체감형 영상 품질 모델링 방법은 상기 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 단계를 더 포함할 수 있다. The GOP information-based real-time haptic image quality modeling method proposed by the present invention may further include a step of calculating a distortion value in a single GOP upon the single packet loss.
상기 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 단계는 참조 프레임에서의 총체적 왜곡 값을 계산하는 단계, 비참조 프레임에서의 총체적 왜곡 값을 계산하는 단계를 포함할 수 있다. The step of calculating a distortion value in a single GOP at the time of the single packet loss may include calculating a global distortion value in a reference frame, and calculating a global distortion value in a non-reference frame.
상기 프레임의 비디오 시퀀스에서의 복수 패킷 손실 시, 단일 이벤트에서 하나 이상의 연속된 패킷이 손실 되었을 경우 총체적 왜곡 값을 계산하는 단계를 더 포함할 수 있다.Calculating a total distortion value when one or more consecutive packets are lost in a single event upon loss of a plurality of packets in a video sequence of the frame.
본 발명의 실시예들에 따르면 서비스 사업자의 경우 SLA의 새로운 기준으로 적용 가능하고, 기존의 하드웨어 솔루션 기반 툴의 고비용으로 인한 현실성 해결 및 기본 측정 소프트웨어 대비 정확성의 향상을 기대할 수 있다. 또한, 망 관리 및 운용에 있어 새로운 제어 프레임워크의 기반 측정 기술로의 확장이 가능할 수 있다.According to the embodiments of the present invention, a service provider can apply the SLA as a new standard, solve the realities due to the high cost of existing hardware solution-based tools, and improve the accuracy compared to the basic measurement software. It may also be possible to extend to the underlying measurement technology of the new control framework in network management and operation.
도 1은 본 발명의 일 실시예에 따른 GOP 정보 기반의 실시간 체감형 영상 품질 모델링 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 방법을 설명하기 위한 도면이다
도 3는 본 발명의 일 실시예에 따른 ITU-T 기반 영상 품질 분류를 나타내는 도면이다. FIG. 1 is a flowchart illustrating a method of modeling a GOP-based real-time haptic image quality according to an exemplary embodiment of the present invention.
2 is a diagram for explaining a method of calculating a distortion value in a single GOP in a single packet loss according to an embodiment of the present invention
3 is a diagram illustrating an ITU-T-based image quality classification according to an embodiment of the present invention.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 GOP 정보 기반의 실시간 체감형 영상 품질 모델링 방법을 설명하기 위한 흐름도이다. FIG. 1 is a flowchart illustrating a method of modeling a GOP-based real-time haptic image quality according to an exemplary embodiment of the present invention.
GOP 정보 기반의 실시간 체감형 영상 품질 모델링 방법은 프레임을 구성하는 패킷 수를 확인하는 단계(110), 프레임을 포함하는 GOP의 프레임 당 평균 패킷 수를 확인하는 단계(120), 상기 프레임의 단일 패킷 손실 시 단일 프레임에서의 왜곡 값을 계산하는 단계(130), 프레임의 단일 패킷 손실 시 미리 정해진 거리만큼 떨어진 단일 프레임에서의 왜곡 값을 계산하는 단계(140)를 포함할 수 있다. A method of modeling real-time perceived image quality based on GOP information includes a
단계(110)에서 프레임을 구성하는 패킷 수를 확인할 수 있다. 그리고 단계(120)에서 프레임을 포함하는 GOP의 프레임 당 평균 패킷 수를 확인할 수 있다. 그리고, 단계(130)에서, 프레임의 단일 패킷 손실 시 단일 프레임에서의 왜곡 값을 계산할 수 있다. 이때, 수학식1과 같이 나타낼 수 있다.
In
단계(140)에서, 프레임의 단일 패킷 손실 시 미리 정해진 거리만큼 떨어진 단일 프레임에서의 왜곡 값을 계산할 수 있다. 이때, 프레임 k로부터 i번째 떨어진 프레임이 받은 왜곡 값은 수학식2와 같이 나타낼 수 있다.
In
여기에서 a(0<a<1)는 공간 필터링에 의한 에러 전파율이고 수학식3과 같이 나타낼 수 있다.
Here, a (0 < a < 1) is an error propagation rate due to spatial filtering and can be expressed by Equation (3).
또한, GOP 정보 기반의 실시간 체감형 영상 품질 모델링 방법은 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 단계를 더 포함할 수 있다. 이러한 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 단계는 참조 프레임에서의 총체적 왜곡 값을 계산하는 단계, 비참조 프레임에서의 총체적 왜곡 값을 계산하는 단계를 포함할 수 있다. 도 2를 참조하여 상세히 설명한다. In addition, the GOP information-based real-time haptic image quality modeling method may further include a step of calculating a distortion value in a single GOP when a single packet is lost. The step of calculating a distortion value in a single GOP upon such a single packet loss may include calculating a global distortion value in the reference frame, and calculating a global distortion value in the non-reference frame. Will be described in detail with reference to FIG.
또한, GOP 정보 기반의 실시간 체감형 영상 품질 모델링 방법은 상기 프레임의 비디오 시퀀스에서의 복수 패킷 손실 시, 단일 이벤트에서 하나 이상의 연속된 패킷이 손실 되었을 경우 총체적 왜곡 값을 계산하는 단계를 더 포함할 수 있다. In addition, the GOP information-based real-time decay-type image quality modeling method may further include calculating a total distortion value when one or more consecutive packets are lost in a single event when a plurality of packets are lost in the video sequence of the frame have.
m(m≥1)개의 연속된 패킷이 손실되었을 경우의 총체적 왜곡 값은 수학식4와 같이 나타낼 수 있다.
The total distortion value when m (m? 1) consecutive packets are lost can be expressed by Equation (4).
여기에서 waf 는 단일 이벤트에서 m(m≥1)개의 연속된 패킷이 손실 되었을 경우 영향을 받은 패킷 수를 나타낸다. Where w af represents the number of packets affected when m (m ≥ 1) consecutive packets are lost in a single event.
그리고, 단말에서 재건된 비디오의 왜곡 기대 값은 수학식5와 같이 나타낼 수 있다.
Then, the distortion expected value of the reconstructed video at the terminal can be expressed by Equation (5).
여기에서, Pm은 비디오 시퀀스에서 m개의 패킷 손실 확률, 
Where P m is the m packet loss probability in the video sequence,
도 2는 본 발명의 일 실시예에 따른 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 방법을 설명하기 위한 도면이다. 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 단계(200)는 참조 프레임에서의 총체적 왜곡 값을 계산하는 단계(210), 비참조 프레임에서의 총체적 왜곡 값을 계산하는 단계(220)를 포함할 수 있다. 2 is a diagram for explaining a method of calculating a distortion value in a single GOP in a single packet loss according to an embodiment of the present invention. The
단계(210)에서, 참조 프레임에서의 총체적 왜곡 값을 계산할 수 있다. 단일 패킷 손실이 참조 프레임(I/P frame)에서 발생했을 경우 참조프레임에서의 총체적 왜곡 값은 수학식7과 같이 나타낼 수 있다.
In
여기에서, Nref 는 단일 GOP에서의 참조 프레임 수를 나타낸다. Where N ref represents the number of reference frames in a single GOP.
단계(220)에서, 비참조 프레임에서의 총체적 왜곡 값을 계산할 수 있다. 단일 패킷 손실이 참조 프레임(I/P frame)에서 발생했을 경우 비참조 프레임(B frame)에서의 총체적 왜곡 값은 수학식8과 같이 나타낼 수 있다.
In
여기에서 b는 참조 프레임으로부터 비참조 프레임으로의 에러 전파율을 나타내고 수학식9와 같이 나타낼 수 있다.
Here, b represents the error propagation rate from the reference frame to the non-reference frame, and can be expressed by Equation (9).
그리고, Nnrf 는 참조 프레임들 사이의 비참조 프레임 수를 나타내고, 
단일 패킷 손실이 참조 프레임에서 일어났을 때의 총체적 왜곡 값은 수학식 10과 같이 나타낼 수 있다.
The total distortion value when a single packet loss occurs in the reference frame can be expressed by Equation (10).
그리고, 단일 패킷 손실이 비참조 프레임에서 발생했을 경우의 총체적 왜곡 값은 수학식11과 같이 나타낼 수 있다.
The total distortion value when a single packet loss occurs in a non-reference frame can be expressed by Equation (11).
이때, 에러의 전파가 없으므로 a와 b가 0이 되어 α와 β값은 각각 1과 0일 수 있다. At this time, since there is no error propagation, a and b become 0, and α and β can be 1 and 0, respectively.
따라서, 
therefore,
도 3는 본 발명의 일 실시예에 따른 ITU-T 기반 영상 품질 분류를 나타내는 도면이다.3 is a diagram illustrating an ITU-T-based image quality classification according to an embodiment of the present invention.
도 3을 참조하면, 비디오 정보(Video Information) 및 품질 디자인 파라미터(Quality Design Parameters)에 대한 분류를 나타내었다. 비디오 정보는 Decoded Media, Es(Bitstream), PES, TS, MP4, RTP, UDP, IP 등을 포함할 수 있다. 품질 디자인 파라미터는 Speech-related Quality, Video-related Quality Parameters 등을 포함할 수 있다.
Referring to FIG. 3, video information (Video Information) and quality design parameters are classified. Video information may include Decoded Media, Es (Bitstream), PES, TS, MP4, RTP, UDP, IP, Quality design parameters may include Speech-related Quality, Video-related Quality Parameters, and the like.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (3)
상기 프레임을 포함하는 GOP의 프레임 당 평균 패킷 수를 확인하는 단계; 및
상기 프레임의 단일 패킷 손실 시 단일 프레임에서의 왜곡 값을 계산하는 단계;
상기 프레임의 단일 패킷 손실 시 미리 정해진 거리만큼 떨어진 단일 프레임에서의 왜곡 값을 계산하는 단계
를 포함하는 영상 품질 모델링 방법.Confirming the number of packets constituting the frame;
Confirming an average number of packets per frame of a GOP including the frame; And
Calculating a distortion value in a single frame upon a single packet loss of the frame;
Calculating a distortion value in a single frame a predetermined distance away from a single packet loss of the frame
Wherein the image quality modeling method comprises:
상기 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 단계
를 더 포함하고,
상기 단일 패킷 손실 시 단일 GOP에서의 왜곡 값을 계산하는 단계는,
참조 프레임에서의 총체적 왜곡 값을 계산하는 단계; 및
비참조 프레임에서의 총체적 왜곡 값을 계산하는 단계
를 포함하는 영상 품질 모델링 방법.The method according to claim 1,
Calculating a distortion value in a single GOP at the time of the single packet loss
Further comprising:
Wherein calculating the distortion value in a single GOP at the single packet loss comprises:
Calculating a total distortion value in the reference frame; And
Calculating a total distortion value in the non-reference frame
Wherein the image quality modeling method comprises:
상기 프레임의 비디오 시퀀스에서의 복수 패킷 손실 시, 단일 이벤트에서 하나 이상의 연속된 패킷이 손실 되었을 경우 총체적 왜곡 값을 계산하는 단계
를 더 포함하는 영상 품질 모델링 방법.The method according to claim 1,
Calculating a total distortion value when one or more consecutive packets are lost in a single event upon loss of a plurality of packets in a video sequence of the frame
Wherein the image quality modeling method further comprises:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130168001A KR20150078548A (en) | 2013-12-31 | 2013-12-31 | Method for Real-time Perceptive Video Quality Modeling based on GOP Information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130168001A KR20150078548A (en) | 2013-12-31 | 2013-12-31 | Method for Real-time Perceptive Video Quality Modeling based on GOP Information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150078548A true KR20150078548A (en) | 2015-07-08 |
Family
ID=53791056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130168001A KR20150078548A (en) | 2013-12-31 | 2013-12-31 | Method for Real-time Perceptive Video Quality Modeling based on GOP Information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20150078548A (en) |
-
2013
- 2013-12-31 KR KR1020130168001A patent/KR20150078548A/en not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Raake et al. | A bitstream-based, scalable video-quality model for HTTP adaptive streaming: ITU-T P. 1203.1 | |
| Barman et al. | An evaluation of video quality assessment metrics for passive gaming video streaming | |
| KR100935650B1 (en) | Video Quality Estimation Apparatus, Method, and Computer-Readable Recording Medium for Recording Program | |
| RU2597493C2 (en) | Video quality assessment considering scene cut artifacts | |
| KR100933509B1 (en) | Computer-readable recording media recording video quality estimation apparatus, methods and programs | |
| US20100110199A1 (en) | Measuring Video Quality Using Partial Decoding | |
| JP5964852B2 (en) | Method and apparatus for evaluating video signal quality during video signal encoding and transmission | |
| Joskowicz et al. | Towards a general parametric model for perceptual video quality estimation | |
| EP2413604B1 (en) | Assessing the quality of a video signal during encoding or compressing of the video signal | |
| Argyropoulos et al. | No-reference bit stream model for video quality assessment of H. 264/AVC video based on packet loss visibility | |
| Ghadiyaram et al. | A no-reference video quality predictor for compression and scaling artifacts | |
| Leszczuk et al. | Assessing quality of experience for high definition video streaming under diverse packet loss patterns | |
| Feitor et al. | Objective quality prediction model for lost frames in 3D video over TS | |
| Wang et al. | Inferring end-to-end latency in live videos | |
| KR20100071820A (en) | Method and apparatus for measuring quality of video | |
| Barkowsky et al. | Hybrid video quality prediction: reviewing video quality measurement for widening application scope | |
| Yamada et al. | Accurate video-quality estimation without video decoding | |
| US11638051B2 (en) | Real-time latency measurement of video streams | |
| Wang et al. | No-reference hybrid video quality assessment based on partial least squares regression | |
| JP6907958B2 (en) | Estimator, estimation method and program | |
| Garcia et al. | Towards a content-based parametric video quality model for IPTV | |
| KR20110129325A (en) | Method and apparatus for commercial detecting | |
| KR20150078548A (en) | Method for Real-time Perceptive Video Quality Modeling based on GOP Information | |
| Grbić et al. | Real-time video freezing detection for 4K UHD videos | |
| JP2009159462A (en) | Objective quality evaluating method, objective quality evaluating apparatus, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |