KR101857842B1 - 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치 - Google Patents

패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치 Download PDF

Info

Publication number
KR101857842B1
KR101857842B1 KR1020137017415A KR20137017415A KR101857842B1 KR 101857842 B1 KR101857842 B1 KR 101857842B1 KR 1020137017415 A KR1020137017415 A KR 1020137017415A KR 20137017415 A KR20137017415 A KR 20137017415A KR 101857842 B1 KR101857842 B1 KR 101857842B1
Authority
KR
South Korea
Prior art keywords
packet loss
quality
visibility
video signal
feature
Prior art date
Application number
KR1020137017415A
Other languages
English (en)
Other versions
KR20140008508A (ko
Inventor
사바스 아르기로포울로스
버나드 페이튼
마리-네쥬 가르시아
피터 리스트
알렉산더 라케
Original Assignee
도이체 텔레콤 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도이체 텔레콤 악티엔 게젤샤프트 filed Critical 도이체 텔레콤 악티엔 게젤샤프트
Publication of KR20140008508A publication Critical patent/KR20140008508A/ko
Application granted granted Critical
Publication of KR101857842B1 publication Critical patent/KR101857842B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하기 위한 방법을 제공하고, 상기 방법은 a) 입력 비디오 비트 스트림을 캡쳐하고 그것을 비디오 비트 스트림 분석기에 제공하는 단계; b) 상기 비트 스트림 분석기에 의해, 캡쳐된 입력 비디오 비트 스트림으로부터 적어도 하나의 특징 또는 특징들의 집합을 추출하는 단계; c) 추출된 특징 또는 특징들의 집합을 패킷 손실 가시성 추정 모듈에 제공하는 단계; d) 상기 패킷 손실 가시성 추정 모듈에 의해, 특정 시간 간격 내에서 발생하는 각각의 패킷 손실 이벤트에 대하여 연속적인 추정치를 할당함으로써 비디오 신호의 전송 중에 발생하는 패킷 손실의 가시성을 결정하는 단계; e) 상기 전송된 비디오 신호 시퀀스의 전체 품질(Q)을 평가하기 위하여, 상기 추정 모듈에 의해 결정되는 패킷 손실 가시성 추정치를 상기 추출된 적어도 하나의 특징 또는 특징들의 집합과 결합하는 단계를 포함한다.

Description

패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치{METHOD AND APPARATUS FOR OBJECTIVE VIDEO QUALITY ASSESSMENT BASED ON CONTINUOUS ESTIMATES OF PACKET LOSS VISIBILITY}
본 발명은 에러 빈발 네트워크(error-prone network)를 통한 비디오 시퀀스 전송 중 발생할 수 있는 패킷 손실들의 가시도 분석에 기반한 비디오 품질 평가 방법 및 장치에 관한 것이다.
근래 비디오 컨텐트 전달의 확산은 객관적 비디오 품질 평가 방법들의 발전을 필요하게 만들었다. 그것은 서비스 품질(Quality of Service, QoS)를 정의하는 네트워크 파라미터들은 일반적으로 경험 품질(Quality of Experience, QoE)로 언급되는, 사용자에 의해 인지되는 서비스 품질을 추정하는데 충분하지 않다는 증거가 되어왔다. 품질 추정 방법들은 보통 비디오 신호의 코딩(압축, Qcod)에 대한 품질 및 전송 중 패킷 손실로 인한 품질(Qtrans)의 우수한 추정을 지원한다. (대개 네트워크 내의 몇몇 지점에서의 일시적 오버로드로 인해) IP 패킷들이 손실될 수 있다는 점이 IP 네트워크들의 내재된 특성이다. 이 손실들 중 몇몇은 소비자에게 거의 보이지 않을 수 있으나 다른 것들은 비디오 품질의 심각한 열화를 일으킬 수 있다. 이 손실들에 대한 대책들이 IPTV 분배 시스템의 일부일지라도, 이들은 절대적인 해결책을 결코 보장할 수 없다. 예를 들어, 재전송 요청이 너무 오래 걸릴 수 있거나, 재전송된 패킷 자체가 손실될 수 있다. 따라서 단편적인 비트 스트림들이 최종 사용자 장치로 전송될 0이 아닌 확률이 언제나 존재한다. 이는 결과적으로 재구성된 비디오 내의 시각적 또는 청각적 열화를 유발할 수 있다. 이에 따라 측정 카테고리들은 손실에 대한 확률을 표현하기 위한 값들 또한 포함할 수 있다. 그러한 값들은 "패킷 손실율" 및 "손실 이벤트들의 버스티니스(burstiness)"의 표현을 포함할 수 있다. Y. Liang, et al, "Analysis of Packet Loss for Compressed Video: Effect of Burst Losses and Correlation between Error Frames," IEEE Trans, on Circuits and Systems for Video Technology, vol. 18, no. 7, Jul. 2008에서, 비디오 품질에 대한 버스트 손실들의 영향이 조사되었다. 손실 패턴은 전체적인 왜곡에 상당한 영향을 갖는다는 점 및 버스트 손실들이 개별적인 손실들보다 더 심각한 영향을 갖는다는 점이 밝혀졌다. 그러나, 이 연구는 사용자의 지각으로부터 인지되는 왜곡을 고려하지 않으며 주로 실제 패킷 손실들이 알려지지 않는 인코더 측에서의 왜곡의 추정에 대해서 제안되고 있다.
IPTV 어플리케이션들에 대한 파라메트릭(parametric) 비디오 품질 모델들은 압축 및 잘못된 전송 모두로 인한 왜곡을 설명한다(예컨대 K. Yamagishi and T. Hayashi, "Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services," in Proc. of IEEE Int. Conf. on Communications, 2008, 또는 M. N. Garcia and A. Raake, "Parametric packet-layer video quality model for IPTV," Int. Conf. on Information Science, Signal Processing and their Applications (ISSPA), Kuala-Lumpur, May 2010 참조).
하지만, 헤더 기반 모델들 만으로는 비디오 시퀀스의 시공간적 특성들 및 패킷 손실들의 통계적 특성들의 측면에서 시각적 품질에 대한 네트워크 장애의 영향을 정확히 커버할 수 없다. 그에 따라, 객관적 비디오 품질 평가 모델들은 패킷 손실들이 동일한 양의 인지되는 열화를 생성하지 않는다는 사실에서의 요인 및 시각적 열화 및 패킷 손실들 간의 관계를 분석해야 한다. 객관적인 패킷 기반, 비트스트림 기반 또는 하이브리드 기반 모델들의 서로 다른 타입 및 그들 각각에 대하여 이용가능한 정보의 서로 다른 양에 대한 개관이 S. Winkler and P. Mohandas, "The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrics," IEEE Trans. on Broadcasting, vol. 54, no. 3, Sep. 2008에 나타나 있다. 무기준 비디오 품질 모니터링 알고리즘들에 대한 정보의 서로 다른 계층들의 보다 상세한 개관은 A. Takahashi, et al, "Standardisation activities in ITU for a QoE assessment of IPTV", IEEE Communications Magazine, vol. 46, no. 2, Feb, 2008에 나타나 있다.
문헌에서 패킷 손실 가시도 예측의 문제는 오직 가시적(visible) 또는 비가시적(invisible)의 양자 택일 식의 패킷 손실 분류 면에서만 다루어져 왔다. S. Kamimuri, P. C. Cosman, A. R. Reibman, V. A, Vaishampayan, "Modeling packet-loss visibility in MPEG-2 video," IEEE Trans. On Multimedia, vol. 8, no. 2, Apr. 2004, pp. 341- 355에서, MPEG-2 비트스트림으로부터 특징들(features)의 집합이 추출되었고 두 개의 모델링 접근이 사용되었는데, Generalized Linear Mode(GLM)은 에러를 검출한 시청자들의 상대적인 수를 추정하기 위하여 사용되었고, 트리 분류기(tree classifier)는 패킷 손실이 가시적 열화로 귀결되는지를 판단하기 위하여 사용되었다. 해당 알고리즘은 S. Kanumuri, S. B. Subramanian, P. C. Cosman, A, R. Reibman, "Predicting H.264 packet loss visibility using a generalized linear model," in Proc. of ICIP, Oct. 2006에서 H.264/AVC 비디오로 확장되었다. 이중(dual) 패킷 손실의 영향이 실험된 S. Kanumuri, S. B. Subramanian, P. C. Cosman, A, R. Reibman, "Predicting H.264 packet loss visibility using a generalized linear model," in Proc. of IEEE Int. Conf. on Image Processing (ICIP), Atlanta, Georgia, Oct. 2006 과, 제안된 프레임워크가 네트워크의 중간 라우터들에서 패킷 우선순위화(packet prioritization)를 위하여 사용된 T.L. Lin, S. Kamimuri, Y. Zhi, D. Poole, P.C. Cosman, and A.R Reibman, "A versatile model for packet loss visibility and its application to packet prioritization," IEEE Trans, on Image Processing, vol. 19, no. 3, pp. 722-735, Mar. 2010 에서, 전자의 분류는 H.264/AVC 비디오에 대하여 확장되었다.
덧붙여서, N. Staelens et al., "Viqid: A no-reference bit stream-based visual quality impairment detector," in IEEE Workshop on Quality of Multimedia Experience, Trondheim, Norway, Jun. 2010에 의해 CIF 시퀀스를 위한 무기준 비트 스트림 기반 결정 트리 분류기가 개발되었다. 여기서, 주관적 품질에 관한 패킷 손실 패턴 및 길이의 영향은 여전히 미결 문제로 남는다. Y. J. Liang, J. G. Apostolopoulos, and B. Girod, "Analysis of packet loss for compressed video: effect of burst losses and correlation between error frames," IEEE Trans, on Circuits and Systems for Video Technology, vol. 18, no. 7, pp. 861-874, Jul. 2008에서, 재구성된 비디오 품질에 대한 버스트 손실들의 영향이 분석되었고, 특정 손실 패턴이 동일한 수의 독립된 손실들보다 더 큰 열화를 만든다는 점이 보여졌다. 또한 유도된 왜곡의 모델링에서 에러 프레임들 간의 상관관계가 고려되었다. 하지만, 해당 알고리즘은 오직 QCIF 시퀀스들에 대해서만, 그에 따라 개별적인 프레임이 하나의 패킷에 포함되는 패킷화 방법으로만 테스트되었다. 게다가 주관적인 평가들에 대한 영향은 테스트되지 않았다.
또한, F. Yang, et al., "No-reference quality assessment for Networked Video via Primaty Analysis of the Bit-Stream", IEEE Circuits and Systems for Video Technology, vol. 20, no.11, pp, 1544-1554, Nov, 2010 에서, 양자화 및 전송 에러들로 인한 열화를 설명하기 위하여 비디오 품질 모니터링 알고리즘이 소개된다. 인지된 품질에 대한 패킷 손실의 영향은 해당 손실이 발생하는 프레임들의 시간적 복잡성에 의해 가중치가 부여된다.
비디오 품질 모니터링에 대한 또 다른 방법이 M. Mu et al., "A discrete perceptual impact evaluation quality assessment framework for IPTV services", in Proc. of ICME, 2010에 소개되었는데, 이는 네트워크 손상들로 인한 비디오 열화의 어그리게이션(aggregation)에 기반한다.
본 발명의 주요 차이점은 각 패킷 손실 이벤트의 가시성이 인지된 품질에 대한 패킷 손실의 영향을 고려하기 위하여 비디오 품질 평가 공식에서도 활용되는 고유한 "가시성 값(visibility value)"에 할당된다는 것이다. 또한, 비디오 스트림으로부터 추출 및 계산되는 채택된 특징들 및각 손실의 가시성 추정치의 계산을 위한 이 특징들의 결합에 대한 알고리즘은 이전의 방법들에 비해 새롭다.
본 발명의 목적은 비디오 시퀀스의 객관적인 품질 평가를 위한 방법 및 장치를 제공하는 것이다. 이 목적은 청구항의 특징들로 달성된다.
본 발명의 방법 및 장치는 에러 빈발 네트워크를 통한 비디오 시퀀스의 전송으로 인해 발생할 수 있는 패킷 손실들의 가시성을 위한 연속적인 확률적(probabilistic) 추정들의 예측 및 비디오 비트 스트림으로부터 추출되는 특징들 의 집합 또는 그 중 적어도 하나에 기반하는 비디오 시퀀스의 객관적인 품질 평가를 제공한다. 명백히, 본 발명의 방법은 무기준 비트 스트림 기반 비디오 품질 평가 방법인데, 이는 그것이 명시적 기준 시퀀스에 대한 요구 없이 오직 수신된 비트 스트림으로부터만 정보를 추출하기 때문이다.
그것의 제1 측면에 따르면, 본 발명은 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하기 위한 방법을 제공하고, 상기 방법은
a) 입력 비디오 비트 스트림을 캡쳐하고 그것을 비디오 비트 스트림 분석기에 제공하는 단계;
b) 상기 비트 스트림 분석기에 의해, 캡쳐된 입력 비디오 비트 스트림으로부터 적어도 하나의 특징 또는 특징들의 집합을 추출하는 단계;
c) 추출된 특징 또는 특징들의 집합을 패킷 손실 가시성 추정 모듈에 제공하는 단계;
d) 상기 패킷 손실 가시성 추정 모듈에 의해, 특정 시간 간격 내에서 발생하는 각각의 패킷 손실 이벤트에 대하여 연속적인 추정치를 할당함으로써 비디오 신호의 전송 중에 발생하는 패킷 손실의 가시성을 결정하는 단계;
e) 상기 전송된 비디오 신호 시퀀스의 전체 품질(Q)을 평가하기 위하여, 상기 추정 모듈에 의해 결정되는 패킷 손실 가시성 추정치를 상기 추출된 적어도 하나의 특징 또는 특징들의 집합과 결합하는 단계를 포함한다.
본 발명에 따르면, 단계 (b)에 따른 특징 추출은 상기 비디오 비트 스트림의 부분적 디코딩에 의해 직접적으로 수행될 수 있다. 대안적으로, 단계 (b)에 따른 특징 추출은 상기 비디오 비트 스트림의 완전 디코딩에 의해 그리고 상기 비디오 신호의 재구성된 픽셀들로부터의 정보를 결합함으로써 수행된다.
본 발명의 바람직한 실시예에 따르면, 전송된 비디오 신호 시퀀스에 대한 불균일하게 인식되는 열화들을 각각의 패킷 손실이 생성한다는 점을 반영하기 위하여 단계(e)는 부가적으로 추출된 특징(들)에 가중치를 부여한다.
상기 적어도 하나의 특징 또는 특징들의 집합은, 프레임 타입, 움직임 벡터들의 평균 크기(AvgMv), 평균 움직임 벡터 차이(AvgMvDiff), 잔차들(residuals)의 에너지(ResEnergy), 파티션들의 최대 개수(MaxPartNr), 디코딩 불가능한 매크로블록들의 개수(LostMbs), 움직임 벡터 정보(mv) 및 매크로블록들의 타입(mb type)을 포함하는 그룹으로부터 선택된다. 보다 바람직한 실시예에 따르면, 이러한 특징들 모두의 조합이 사용된다.
바람직한 실시예에서, 추출된 특징 "프레임 타입"에 기반하여 패킷 손실에 의해 열화되는 프레임들의 개수(ErrDur)가 결정된다.
상기 방법은 움직임 벡터 정보 및 매크로블록들의 타입에 기반하여 비디오 신호 시퀀스의 각 픽쳐에 대하여 바이너리 에러 전파 맵(binary error propagation map)이 생성된다는 점을 더 포함한다.
또한, 에러 전파 맵 및 프레임 타입 정보에 기반하여 패킷 손실에 의해 열화되는 프레임들의 개수(ErrDur)가 결정될 수 있다.
보다 바람직한 실시예에 따르면, 상기 바이너리 에러 전파 맵에 기반하여 패킷 손실로 인해 손상된 픽셀들의 전체 개수(ErrProp)가 계산된다.
패킷 손실 및 에러 전파로 인해 생기는 왜곡의 크기(EstErr)는 움직임 벡터들, 매크로블록 타입들 및 잔차들에 기반하여 결정되는 것이 보다 바람직하다.
비선형 매핑 함수를 이용하여 입력 특징 벡터를 고차원 특징 공간에 매핑하는 것에 의한 서포트 벡터 회귀 테크닉을 이용하여, 그리고 상기 특징 공간에서 선형 모델을 구성하여 단계 (d)가 수행될 수 있다.
또한, 단계 (e)는 패킷 손실 가시성 추정치(V)를 결정된 왜곡의 크기(EstErr) 및 패킷 손실로 인해 손상된 픽셀들의 계산된 전체 개수(ErrProp)와 결합할 수 있다.
상기 방법은 상기 비디오 신호 시퀀스 내에서 발생하는 모든 패킷 손실들의 일시적 풀링(pooling)에 의해 생성되는 전체적인 가시적 왜곡을 추정하는 단계를 단계 d) 및 e) 사이에 더 포함할 수 있다.
그것의 제2 측면에 따르면, 본 발명은 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하기 위한 장치를 제공하고, 상기 장치는
캡쳐된 입력 비디오 비트 스트림을 수신하고, 상기 캡쳐된 입력 비디오 비트 스트림으로부터 적어도 하나의 특징 또는 특징들의 집합을 추출하도록 구성되는 비디오 비트 스트림 분석기;
상기 추출된 특징 또는 특징들의 집합을 수신하는 패킷 손실 가시성 추정 모듈, 상기 패킷 손실 가시성 추정 모듈은 특정 시간 간격 내에서 발생하는 각각의 패킷 손실 이벤트에 대하여 연속적인 추정치를 할당함으로써 비디오 신호의 전송 중에 발생하는 패킷 손실의 가시성을 결정하도록 구성됨;
상기 전송된 비디오 신호 시퀀스의 전체 품질(Q)을 평가하기 위하여, 상기 추정 모듈에 의해 결정되는 패킷 손실 가시성 추정치를 상기 추출된 적어도 하나의 특징 또는 특징들의 집합과 결합하는 결합기를 포함한다.
본 발명에 따르면, 상기 비디오 비트 스트림 분석기는 상기 비디오 비트 스트림을 부분적으로 디코딩함으로써 직접적으로 상기 특징 추출을 수행하도록 구성된다. 대안적으로, 상기 비디오 비트 스트림 분석기는 상기 비디오 비트 스트림을 완전히 디코딩함으로써 그리고 상기 비디오 신호의 재구성된 픽셀들로부터의 정보를 결합함으로써 상기 특징 추출을 수행하도록 구성된다.
본 발명의 바람직한 실시예에 따르면, 상기 결합기는 전송된 비디오 신호 시퀀스에 대한 불균일하게 인식되는 열화들을 각각의 패킷 손실이 생성한다는 점을 반영하기 위하여 추출된 특징(들)에 가중치를 부여하도록 부가적으로 구성된다.
본 발명의 제2 측면에 따르면, 상기 적어도 하나의 특징 또는 특징들의 집합은, 프레임 타입, 움직임 벡터들의 평균 크기(AvgMv), 평균 움직임 벡터 차이(AvgMvDiff), 잔차들의 에너지(ResEnergy), 파티션들의 최대 개수(MaxPartNr), 디코딩 불가능한 매크로블록들의 개수(LostMbs), 움직임 벡터 정보(mv) 및 매크로블록들의 타입(mb type)을 포함하는 그룹으로부터 선택된다. 보다 바람직한 실시예에 따르면, 이러한 특징들 모두의 조합이 사용된다.
바람직한 실시예에서, 상기 장치는, 추출된 특징 "프레임 타입"에 기반하여, 패킷 손실에 의해 열화되는 프레임들의 개수(ErrDur)를 결정하도록 구성되는 수단을 더 포함한다.
바람직한 실시예에 따르면, 상기 장치는 움직임 벡터 정보 및 매크로블록들의 타입에 기반하여 비디오 신호 시퀀스의 각 픽쳐에 대하여 바이너리 에러 전파 맵을 생성하도록 구성되는 에러 전파 추정기를 포함한다.
또한, 에러 전파 맵 및 프레임 타입 정보에 기반하여 패킷 손실에 의해 열화되는 프레임들의 개수(ErrDur)가 결정될 수 있다.
보다 바람직한 실시예에 따르면, 상기 에러 전파 추정기는, 바이너리 에러 전파 맵에 기반하여, 패킷 손실로 인해 손상된 픽셀들의 전체 개수(ErrProp)를 계산하도록 더 구성된다.
상기 장치는 움직임 벡터들, 매크로블록 타입들 및 추출된 잔차들에 기반하여 에러 전파 및 패킷 손실로 인해 생기는 왜곡의 크기(EstErr)를 결정하도록 구성되는 왜곡 추정기를 포함하는 것이 보다 바람직하다.
상기 패킷 손실 가시도 추정 모듈은 비선형 매핑 함수를 이용하여 입력 특징 벡터를 고차원 특징 공간에 매핑하는 것에 의한 서포트 벡터 회귀 테크닉을 이용하여, 그리고 상기 특징 공간에서 선형 모델을 구성하여 상기 패킷 손실의 가시성을 결정하도록 더 구성될 수 있다.
또한, 상기 결합기는 패킷 손실 가시성 추정치(V)를 결정된 왜곡의 크기(EstErr) 및 패킷 손실로 인해 손상된 픽셀들의 계산된 전체 개수(ErrProp)와 결합하도록 더 구성될 수 있다.
상기 장치는 상기 추정 모듈에 의해 결정되는 상기 패킷 손실 가시성 추정치를 상기 추출된 적어도 하나의 특징 또는 특징들의 집합과 결합하기 이전에 상기 비디오 신호 시퀀스 내에서 발생하는 모든 패킷 손실들의 일시적 풀링에 의해 생성되는 전체적인 가시적 왜곡을 추정하도록 더 구성될 수 있다.
본 발명에 따른 방법 및 장치는 문헌에서 제안된 접근법들과 세 가지 요점에서 다르다. 첫째로, 해당 방법은 파라메트릭 모델들([1, 2])과 다른데 이는 그것이 객관적인 비디오 품질을 결정하기 위하여 비트스트림으로부터의 정보를 이용하며 패킷 헤더 정보에만 기반하지는 않기 때문이다. 비트 스트림으로부터 추출된 특징들은 컨텐트 의존성에 대한 고려, 비디오 시퀀스들의 시공간적 특징들에 대한 비디오 품질 측정의 적응을 가능하게 하며 파라메트릭 모델들에서 도외시되는 인간 시각 시스템(human visual system, HVS)의 특성들을 이용한다.
둘째로, 각각의 패킷 손실의 패킷 손실 가시성은 바이너리 형식(가시적 또는 비가시적)으로 추정되지 않고 조사 중인 패킷 손실의 확률이 어떻게 되는지를 나타내는 연속적인 값으로 추정되어 비디오 시퀀스의 지각 가능하고 검출 가능한 열화로 귀결된다. 제안된 방법의 조밀도(granularity)는 네트워크 손상들로 인한 패킷 손실들의 가시성의 보다 정확한 에측을 가능하게 한다. 대조적으로, 문헌에서 이전에 존재했던 모든 방법들은 패킷 손실 가시성 추정에 대한 바이너리 결과들을 제공한다.
셋째로, 전술한 모든 방법들은 인지된 비디오 품질에 대한 패킷 손실 가시성의 영향을 고려하지 않는다. 그들은 단지 수신된 비트 스트림으로부터 추출된 특징들에 기반하여 패킷 손실들의 가시성만을 조사한다. 하지만, 본 발명에서는, 비트 스트림의 품질을 평가하기 위하여 패킷 손실 가시성 분류기 모듈의 출력이 객관적인 비디오 품질 평가 모델에 포함된다. 발명자들이 아는 바에 의하면, 이는 객관적인 비디오 품질 평가를 위하여 연속적인 추정치들과 함께 패킷 손실 가시성 추정을 명시적으로 이용하는 비디오 품질 평가를 위한 최초의 방법이다.
다른 측면들, 특징들 및 장점들은 도면들 및 청구항들을 포함하는 이어지는 기술들뿐만 아니라 위 요약으로부터 분명해질 것이다.
도 1은 제안된 비디오 품질 평가 모델의 아키텍쳐를 나타낸다.
도 2는 비디오 인코딩을 위하여 "픽쳐 그룹"(GOP)에서 프레임들이 어떻게 정렬되는지를 나타낸다.
도 3은 H.264/AVC 표준에 따른 매크로블록들의 파티셔닝 및 4x4 정수 변환의 적용 이후 변환 계수들의 유도를 나타낸다.
도 4는 비디오 시퀀스 내에서 4개의 연속된 프레임들에 대한 에러 전파 맵들을 나타낸다.
도 5는 비디오 품질 평가에 대한 본 발명의 제2 실시예의 블록 다이어그램을 묘사한다.
도 6은 비디오 시퀀스의 프레임들 내에서 패킷 손실(들)로 인해 유도된 가시적 왜곡의 추정에 대한 예시를 묘사한다.
본 발명의 바람직한 실시예에 따른 비디오 품질 평가 모델의 아키텍쳐가 도 1에 묘사된다. 도 1은 패킷 손실 이벤트들의 가시성의 추정에 기반한 객관적인 비디오 품질 평가를 위한 바람직한 방법 및 장치의 블록 다이어그램을 묘사한다. 특히, 그것은 각 패킷 손실의 지각적 영향(perceptual impact)을 평가하기 위하여 수신된 비트스트림으로부터 8개의 특징들을 추출 또는 계산하는 무기준 비트스트림 기반 방법임이 나타난다. 그 결과, 패킷 손실의 가시성에 대한 예측된 값 및 추출된 특징들은 비디오 비트 스트림의 전체 품질을 평가하기 위하여 사용된다.
수신기에서, 프로브(probe) 장치는 비트 스트림을 캡쳐하고 비디오 품질 평가를 위하여 사용되는 다수의 특징들을 추출 또는 계산한다. 해당 특징들은 비트 스트림을 부분적으로 디코딩하거나 재구성된 픽셀들로부터의 정보를 결합(비트 스트림의 완전 디코딩)함으로써 직접적으로 추출된다. 그리고 나서, 추출된 특징들은 각각의 패킷 손실 이벤트의 가시성을 결정할 책임이 있는 모듈에 공급된다. 이 모듈은 특정 시간 간격 내에서 발생하는 각각의 패킷 손실 이벤트(독립된 패킷 손실들 또는 이벤트들의 조합)에 대하여 가시성의 연속적인 추정치를 할당한다. 그 결과, 해당 시퀀스의 전체 품질을 평가하기 위하여 패킷 손실 가시성 모듈의 확률 추정치는 이전에 추출된 특징들과 결합된다. 구체적으로, 각각의 패킷 손실의 가시성의 확률 추정치들에 기반하여, 비디오 신호 시퀀스에 대한 불균일하게 인식되는 열화들을 각각의 패킷 손실이 생성한다는 점을 반영하기 위하여 마지막 알고리즘에서는 추출된 특징들에 가중치가 부여된다. 마지막으로, 프로브 장치는 예측된 비디오 품질의 값(Q)을 출력한다.
비트 스트림으로부터의 특징 추출 및 계산 방법
이하에서는 패킷 손실들의 가시성 및 비디오 시퀀스들의 객관적인 품질을 결정하기 위하여 바람직하게 비트 스트림으로부터 추출된 특징들을 기술한다. 이 예시에서 분석은 H.264/AVC 비디오 코딩 표준에 따라 인코딩된 스트림에 기반한다는 점이 주지되어야 하나(T. Wiegand, G. J. Sullivan, G. Bjontegaard, and A. Luthra, "Overview of the H.264/AVC video coding standard," IEEE Trans, on Circuits and Systems for Video Technology, vol. 13, no. 7, Jul. 2003), 해당 방법은 대응하는 특징들의 계산에 대한 작은 수정들과 함께 임의의 비디오 코딩 표준에 적용될 수 있다.
패킷 손실에 의해 유발되는 지각적 열화의 추정을 위하여 계산될 필요가 있는 특성들 중 하나는 모든 프레임들 및 특히 손실에 의해 영향받는 프레임의 "프레임 타입"이다. "프레임 타입" 특성에 대한 가능한 값들은 "인트라 프레임(Intra-frame)" 또는 "키 프레임(Key-frame)"(이하 I-프레임), "예측 프레임(Predicted-Frame)"(이하 P-프레임) 및 "양방향 프레임(Bidirectional-Frame)"(이하 B-프레임)이다. 오직 I-프레임들만이 임의의 이전 프레임들의 기준 정보 없이 디코딩될 수 있다. 반대로, P-프레임들은 "기준 프레임(reference frames)"이라 불리는 하나 이상의 선행 프레임에 의존하는데, 이는 P-프레임에 대하여 전송되는 정보가 주로 그것이 기술하는 비디오 프레임 및 그것의 기준 사이의 차이로 구성되기 때문이다. 따라서, I-프레임 또는 그것의 이어지는 P-프레임들 내의 패킷 손실들은 이어지는 프레임들 자체에 임의의 손실된 패킷들을 포함하지 않더라도 이어지는 프레임들로 전파된다. 이러한 메커니즘으로 인해, 단일 패킷 손실 에러는 다음의 에러 없는 I-프레임이 나타날 때까지 비디오 시퀀스의 긴 부분들을 통해 남을 수 있다. P-프레임 및 특히 I-프레임들 내의 에러들은 따라서 높은 가시성을 가질 수 있다. B-프레임에 대해서도 동일한 기준 프레임 메커니즘이 적용되나, B-프레임들은 일반적으로 그들 자체가 기준으로 작용하지 않기 때문에, B-프레임 내의 에러는 이 단일 프레임 내에서만 열화를 유발할 것이다.
두 개의 연속적인 I-프레임들 사이의 비디오 프레임들의 체인은 "픽쳐 그룹(Group of Pictures)"(GoP)으로 불린다. 대부분의 경우 GoP 내의 P 및 B-프레임들은 전형적인 GoP 패턴 "I, B, B, P, B, B, P ...."과 같은 보다 더 혹은 덜 엄격한 패턴을 따른다. N이 GOP 길이, 즉 두 개의 연속적인 I-프레임들 사이의 거리를 나타낸다고 하자. 그러면, 만약 특정 GOP의 첫 번째 I-프레임 이후의 t 프레임들에서 첫 번째 패킷 손실이 발생한다면, 추출되는 첫 번째 특징은 패킷 손실로 인해 열화되는 프레임들의 개수인 ErrDur 이다. 이 특성은 다음과 같이 계산된다(도 2 참조).
Figure 112013059802068-pct00001
그에 따라, 패킷 손실이 (I-프레임인) 첫 번째 프레임에서 발생하면 t = 1이고, 패킷 손실에 의해 손상되는 프레임들의 개수는 N으로 GOP 내의 프레임들의 개수와 동일하다.
결과적으로, 손실에 의해 영향받는 모든 매크로블록들(mb)의 수평 및 수직 방향의 평균 움직임 벡터(mean motion vector)를 반영하는 움직임 벡터들의 평균 크기, AvgMv 가 바람직하게 계산된다.
Figure 112013059802068-pct00002
이 패킷 손실이 발생하는 프레임 내의 n번째 매크로블록의 움직임 벡터를 나타낸다고 하자. 그러면, 항 AvgMv 는 다음과 같이 계산된다.
Figure 112013059802068-pct00003
여기서 L은 패킷 손실로 인해 프레임 n에서 손실되는 매크로블록들의 집합의 카디널리티(cardinality)이다. 명백하게, 손실된 매크로블록들에 대한 움직임 벡터 정보가 복구될 수 없기 때문에, 이 정보는 그들의 일시적인 이웃들로부터 추정된다. 즉, 각각의 손실된 매크로블록에 대하여, 움직임 벡터 정보는 이전에 정확히 수신된 프레임 내의 동일 위치의 매크로블록으로부터 복구된다.
또한, 평균 움직임 벡터 차이, AvgMvDiff 는 비트 스트림으로부터 계산될 수 있다. H.264/AVC에서, 움직임 벡터들 사이의 중복성(redundancy)을 이용하기 위하여, 블록의 움직임 벡터 및 이웃하는 매크로블록들로부터의 그것의 예측된 움직임 벡터 사이의 차이만이 비트 스트림 내에 포함된다. 이 특징은 예측가능한 움직임(예컨대, 패닝(panning))을 갖는 시퀀스들 내에서 매우 유의미한데, 평균 움직임이 매우 클 수 있으나, 비트 스트림 내에서 인코딩된 움직임 벡터 차이들은 작다.
Figure 112013059802068-pct00004
가 패킷 손실이 발생한 프레임 내의 n번째 매크로블록의 움직임 벡터 차이를 나타낸다고 하자. 그러면, 항 AvgMvDiff 는 다음과 같이 계산된다.
Figure 112013059802068-pct00005
여기서 L은 패킷 손실로 인해 프레임 n에서 손실되는 매크로블록들의 집합의 카디널리티이다. 위 경우와 유사하게, 손실된 매크로블록들에 대한 움직임 벡터 정보가 복구될 수 없기 때문에, 이 정보는 그들의 일시적인 이웃들로부터 추정된다. 즉, 각각의 손실된 매크로블록에 대하여, 움직임 벡터 정보는 이전에 정확히 수신된 프레임 내의 동일 위치의 매크로블록으로부터 복구된다.
수신된 비디오 비트 스트림으로부터 바람직하게 추출되는 다른 특징은 잔차의 에너지, ResEnergy 로, 이는 손실된 매크로블록들에 포함되며 예측 에러의 변환 계수들로부터 계산된다.
Figure 112013059802068-pct00006
및
Figure 112013059802068-pct00007
이 매크로블록의 b번째 4x4 블록의 i번째 행(row) 및 j열(column)에서의 변환 계수를 나타낸다고 하자(도 3 참조). 그러면, 잔차 에너지는 다음과 같이 계산된다.
Figure 112013059802068-pct00008
여기서 l 및 L은 앞에서와 같이 정의된다.
추출될 수 있는 다른 특징은 손실이 발생하는 프레임 내의 파티션들의 최대 개수, MaxPartNr 이다. H.264/AVC에서, 각각의 16x16 매크로블록은 움직임 추정 프로세스를 위하여 보다 작은 블록들, 즉 16x8, 8x16 또는 8x8 크기의 블록들로 더 쪼개질 수 있다. 만약 8x8 파티션 크기가 선택된다면, 각각의 8x8 파티션은 8x8, 8x4, 4x8 또는 4x4 크기의 루마 샘플들(luma samples)의 서브 파티션들로 더 나누어질 수 있다. 그에 따라, 파라미터 MaxPartNr 은 손실이 발생하는 프레임 내의 정확히 수신된 매크로블록들의 파티션들의 최대 개수와 동일하다. 만약 모든 매크로블록이 삭제되었다면(즉, 전체 프레임이 손실되었다면), 해당 파라미터는 이전에 수신된 프레임으로부터 획득된다.
수신된 비트 스트림으로부터 추출되는 여섯번째 특징은 패킷 손실로 인해 디코딩이 불가능하고 은폐될 필요가 있는 매크로블록들의 개수로, 이하에서는 LostMbs 로 지칭된다.
또한, 움직임 벡터 정보 및 매크로블록들의 타입에 기반하여, 각각의 픽쳐에 대하여 바이너리 에러 전파 맵이 생성될 수 있는데, 이는 예측 코딩으로 인한 동일한 GOP의 연속적인 프레임들에 대한 에러의 전파로 인한 또는 새로운 에러로 인한 패킷 손실(들)에 의해 영향받는 각각의 픽쳐 내의 픽셀들을 나타낸다. I(x, y, k)가 k번째 프레임의 위치 (x, y)에서 바이너리 에러 맵의 값을 나타낸다고 하자. 여기서 x = 1, 2, ..., H 이고 y = 1, 2, ..., W이며, H, W는 각각 비디오 시퀀스의 각 프레임의 높이 및 너비이다. 또한, k = 1, ..., K이고, K는 패킷 손실로 인해 손상된 픽셀들을 포함하는 프레임들의 개수이다. 패킷 손실 또는 해당 영역이 에러가 될 것 같은 기준들로 인해 손상되는 픽셀들에 대한 값은 1로 설정되며, 그렇지 않으면 그 값은 0이다. 따라서
Figure 112013059802068-pct00009
다시 말해서, 패킷 손실 및 그것의 전파에 의해 유발된 에러로 인해 프로브 내에서 디코더의 재구성된 이미지 및 원본 비디오 시퀀스 사이에서 동일하지 않은 모든 픽셀들에 대해 전파 맵 어레이 내의 값은 1로 설정된다. 에러 전파 맵들의 유도의 예시는 도 4에 묘사된다.
도 4는 패킷 손실로 인해 유발되는 초기 에러가 그들의 예측을 위해 초기 프레임을 참조하는 이후의 프레임들로 어떻게 확산되는지를 나타내기 위하여 비디오 시퀀스 내 4개의 연속적인 프레임들에 대한 에러 전파 맵들을 묘사한다. 특히, 도 4a에서, 어두운 영역은 디코딩될 수 없는 영역에 대응하는데 이는 이러한 픽셀들에 대한 정보가 삭제된 패킷에 포함되어 있었기 때문이다. 그 결과, 디코더는 손실된 픽셀들을 대체하기 위하여 (보통 일시적 또는 공간적 이웃들을 이용하여) 이 영역을 은폐한다. 은폐는 원본 정보를 정확하게 복구할 수 없기 때문에, 해당 프레임들에는 약간의 열화가 발생한다. 도 4c, 4c 및 4d는 이어지는 프레임들로 이러한 에러가 어떻게 전파되는지를 나타낸다. 어두운 영역들은 초기에 손실된 (그리고 은폐된) 영역으로부터의 정보를 참조하고 그에 따라 또한 에러가 빈발하는 픽셀들에 대응한다.
패킷 손실은 첫 번째 프레임에서 발생하고(도면에서 어두운 영역은 패킷 손실로 인해 삭제된 매크로블록들을 나타냄) 예측 프로세스를 위해 첫 번째 프레임의 영향받은(affected) 영역을 참조하는 이어지는 프레임들로 전파된다. 대안적인 실시예들에서 에러 전파 맵은 매크로블록 레벨에서 추정될 수 있음이 주지되는데, 이는 각 픽셀 대신 각 매크로블록에 대하여 전파가 추적됨을 의미한다.
에러 전파 맵들에 기반하여, 패킷 손실로 인해 손상된 픽셀들의 전체 개수, ErrProp 가 다음과 같이 계산된다.
Figure 112013059802068-pct00010
마지막으로, 유도된 평균 제곱 오차(mean squared errer, MSE)의 추정을 무기준 방식으로 가능하게 하는 에러 전파 및 패킷 손실로 인해 유도되는 왜곡의 크기를 수량화하기 위하여, 움직임 벡터들, 매크로블록 타입들 및 잔차들에 기반하여 다른 특징, EstErr 이 추출될 수 있다. 유도된 왜곡의 추정 방법은 본 발명의 범위를 벗어나므로, 예컨대 M. Naccari, M. Tagliasacchi, and S. Tubaro, "No-reference video quality monitoring for H.264/AVC coded video," IEEE Trans, on Multimedia, vol. 11, no. 5, pp. 932-946, Aug. 2009에서 제안된 방법과 같이 당업자에게 알려진 임의의 방법이 사용될 수 있다.
나타난 예시에서, GOP 내에서 발생하는 각각의 패킷 손실에 대하여 전술한 8개 특징들이 추출된다. 동일한 GOP 내에서 하나 이상의 패킷 손실이 나타나면, 바람직한 실시예에서는 ErrorDur 및 MaxPartNr 에 대하여 최대 값이 선택되며, 다른 특징들에 대해서는 그들의 합이 최종 특징들로 고려된다. 그러나, 다른 실시예들에서는, GOP 내의 각 패킷 손실로부터 추출된 특징들이 다르게 결합될 수 있는데, 예컨대 평균, 중앙값(median) 또는 임의의 다른 함수를 계산함으로써 결합될 수 있다. 그에 따라, 각 GOP 내에서, 패킷 손실 이벤트들의 가시성의 추정을 위하여 사용되는 다음 특징 벡터가 추출된다.
Figure 112013059802068-pct00011
본 발명의 다른 실시예들에서, 전술한 특징들의 임의의 수 및 조합이 사용될 수 있음이 주지되어야 한다. 이는 (예를 들어, 복잡성의 이유들 또는 고비용의 구현으로 인해) 몇몇 특징들을 계산하지 않는 것이 바람직할 때 주로 유의미하다.
서포트 벡터 회귀(support vector regression)를 이용한 패킷 손실 가시성의 연속적인 추정
각 패킷 손실 이벤트의 추출된 특징들에 기반한 패킷 손실 가시성의 분류를 위하여, 서포트 벡터 회귀(Support Vector Regression, SVR)에 기반한 테크닉이 사용된다. 이 방법으로, 비선형 매핑 함수를 사용하여 입력 특징 벡터가 고차원 특징 공간에 매핑되고 그 후 이 특징 공간에서 선형 모델이 구성된다. 해당 알고리즘은 두 단계로 동작한다. 트레이닝 단계에서는 해당 모델의 파라미터들을 조정하기 위하여 트레이닝 데이터가 사용되고, 평가 단계에서는 해당 모델이 입력 특징 벡터에 대한 예측된 값을 출력한다. 이 두 단계는 이하에서 상세히 기술된다.
트레이닝 단계에서, 그것의 예측 정확성을 최대화하는 모델 파라미터을 추정하기 위하여
Figure 112013059802068-pct00012
로 표현되는 n 개의 트레이닝 데이터가 사용되는데, 여기서
Figure 112013059802068-pct00013
는 수학식 7에서 기술된 특징 벡터이고,
Figure 112013059802068-pct00014
는 타겟 출력 값이다. SVR 알고리즘을 트레이닝하는 방법은 본 발명의 범위를 벗어나며, 그에 따라 당업자에게 알려진 임의의 방법이 사용될 수 있다. 입력 트레이닝 데이터를 사용한 트레이닝 알고리즘의 결과는
Figure 112013059802068-pct00015
및
Figure 112013059802068-pct00016
의 파라미터 집합의 계산으로 이어지는데, 이들은 평가 단계에서 사용된다. 본 발명에서 b 값은 1.27로 선택된다. 그러나, 임의의 다른 값이 사용될 수 있다.
평가 단계에서, 해당 알고리즘은 입력 특징 벡터 f(수학식 7에 기술된 바와 같음)를 입력받고 각 손실의 가시성의 예측 값, V는 다음과 같이 주어진다.
Figure 112013059802068-pct00017
여기서
Figure 112013059802068-pct00018
는 커널 함수(kernel function)이고,
Figure 112013059802068-pct00019
는 트레이닝 데이터로 사용되는 특징 벡터들이다. 본 발명에서는, 다음 함수가 커널 함수로 사용되는데, 이 함수는 또한 방사형 기저 함수(Radial Basis function, RBF)로도 알려져 있다.
Figure 112013059802068-pct00020
본 발명에서,
Figure 112013059802068-pct00021
값은 2로 선택된다. 또한, 다른 실시예들에서는 임의의 다른 커널 함수가 사용될 수 있다. 또한, 패킷 손실을 가시적 또는 비가시적의 두 경우 중 하나로 분류하는 것이 바람직하다면, 패킷 손실의 가시성에 대한 예측된 값 V는 바이너리 값으로 변환될 수 있다. 그 경우,
Figure 112013059802068-pct00022
로 표현되는 패킷 손실의 예측된 바이너리 값은 다음과 같이 계산될 수 있다.
Figure 112013059802068-pct00023
여기서 T는 바이너리 값에서 패킷 손실 가시성의 연속적인 추정치를 분류하기 위한 임계 값(threshold value)이다. 본 발명에서, 제시되는 값은 0.7이지만, 임의의 다른 값이 사용될 수 있다.
해당 알고리즘이 평가 단계에서만 동작하고 새로운 데이터를 트레이닝하는 데는 필요하지 않을 때, 저장된 파라미터들이 사용되며 각 패킷 손실 이벤트의 가시성 V가 수학식 8에서 정의된 바와 같이 예측된다. 앞서 언급된 추출된 특징들은 각 패킷 손실의 가시성의 예측된 값을 반영하도록 정밀해지며(refined), 그에 따라 이어지는 섹션에서 분석되는 바와 같이 가중치가 부여된다.
비디오 품질 측정 방법
제안된 비트 스트림 기반 비디오 품질 평가 모델은 비디오 시퀀스들의 압축에 의해 유발되는 열화, Q cod 및 전송 중 패킷 손실로 인한 품질 열화(Q trans )의 조합이다. 그에 따라, 전체 품질은 다음과 같이 주어진다.
Figure 112013059802068-pct00024
여기서 Q는 해당 시퀀스의 전체 품질을 나타내며 Q 0 는 전송 체인에서 삽입되는 비디오의 소스 품질을 나타낸다. Q cod 항은 다음과 같이 계산된다.
Figure 112013059802068-pct00025
여기서 B는 비디오 시퀀스의 비트 레이트이고, a 1 , a 2 및 a 3 은 상수이다. 본 예시에서, a 1 , a 2 및 a 3 값들은 89.33, -1.21 및 11.47로 선택된다.
채널로 인한 시각적 열화 항은 패킷 손실, 그것의 전파 범위 및 인간 시각 지각 내의 강도에 의해 유발되는 왜곡을 반영한다. 이러한 이유로, 다음 공식이 Q trans 에 대하여 사용된다.
Figure 112013059802068-pct00026
여기서, 인덱스 i는 시퀀스 중에 발생하는 특정 단일 패킷 손실 이벤트를 나타내기 위하여 사용되며
Figure 112013059802068-pct00027
는 임의의 적절한 함수를 나타낸다. 다시 말해서, 전송 에러들로 인한 전체적인 열화는 각 패킷 손실의 가시성, 패킷 손실이 발생한 프레임에 나타나는 에러 및 이어지는 프레임들로의 에러 전파의 함수이다.
이하에서는 특정 공식들과 함께 앞서 언급된 함수
Figure 112013059802068-pct00028
를 표현하기 위하여 본 발명의 두 실시예가 나타난다.
첫 번째 실시예에서, 수학식 13은 다음과 같이 다시 쓰여진다.
Figure 112013059802068-pct00029
여기서 a 4 , a 5 및 a 6 은 회귀에 의해 결정되는 상수이고, i는 각각의 개별적인 패킷 손실을 참조하는 인덱스이며, EstErr i 및 ErrProp i 는 앞서 언급된 바와 같이 각 패킷 손실과 관련된 추출된 특징들이다. 그에 따라, 해당 모델은 시각적 열화의 결정을 위한 각 패킷 손실의 중요성을 고려하고 각 패킷 손실의 발생된 왜곡에 가중치를 부여하기 위하여 가시성 추정의 결과를 활용한다. 본 실시예에서, a 4 , a 5 및 a 6 의 값들은 0.023, 0.000176 및 0.0000465로 선택된다.
도 5에서 묘사되는 두 번째 실시예에서, 수학식 14의 함수
Figure 112013059802068-pct00030
에 대하여 다른 구현이 채택된다. i가 GOP 내에서 발생하는 개별적인 패킷 손실의 인덱스를 나타낸다고 하자. 또한 EstErr i 는 특징 추출 섹션에서 앞서 설명된 바와 같이 추정되는, i번째 패킷 손실이 발생하는 프레임 내에서 생기는 왜곡이라고 하자. 그러면, 이 패킷 손실과 관련된 시각적 열화는 다음과 같이 주어진다.
Figure 112013059802068-pct00031
또한,
Figure 112013059802068-pct00032
는 i번째 패킷 손실에 의해 유발되는 프레임 k내의 손상된 픽셀들의 수 또는 동등하게는 다음을 나타낸다고 하자.
Figure 112013059802068-pct00033
여기서
Figure 112013059802068-pct00034
는 k번째 프레임의 위치 (x, y)에서 바이너리 에러 맵의 값을 나타내며, x = 1, 2, ..., H 이고 y = 1, 2, ..., W이며, H, W는 각각 비디오 시퀀스의 각 프레임의 높이 및 너비이다. 그러면, i번째 패킷 손실의 에러 전파로 인해 다음 프레임 k (k>0)에서 인지되는 열화는 다음과 같이 주어진다.
Figure 112013059802068-pct00035
여기서,
Figure 112013059802068-pct00036
는 패킷 손실 이벤트 i로 인한 새로운 에러(고려중인 패킷 손실에 의해 영향을 받는 첫 번째 프레임에서의 에러)에 의해 유발되는 손상된 픽셀들의 수이며, 이는 상대 프레임 인덱스 k = 0으로 주어진다. 인덱스 k를 갖는 다음 프레임들에 대한 항
Figure 112013059802068-pct00037
의 계산 예시가 도 6에서 묘사된다. 이 도면에서, 인덱스 t를 갖는 프레임 내의 어두운 영역은 항
Figure 112013059802068-pct00038
에 대응되며, 이어지는 프레임들(인덱스 t+1, ... t+m) 내의 어두운 영역은 항
Figure 112013059802068-pct00039
에 대응된다.
그러면,
Figure 112013059802068-pct00040
로 지칭되는 i번째 패킷 손실에 의해 유발되는 전체적인 시각적 열화는 이 패킷 손실로 인해 손상된 모든 프레임들 K i 에 유발되는 열화들의 합으로 고려될 수 있다. 따라서,
Figure 112013059802068-pct00041
해당 합계는 수학식 15에 기술된 바와 같이 인덱스 0에서 초기 왜곡 내의 요소까지의 합이라는 점을 유의한다. 특정 GOP 내의 전체 왜곡은 이 GOP 내에서 발생하는 모든 패킷 손실들에 의해 생성되는 왜곡들의 합으로 계산된다. 따라서,
Figure 112013059802068-pct00042
마지막으로, G는 시퀀스 내의 GOP들의 전체 개수를 나타내고, T는 해당 시퀀스의 전체 지속 시간을 나타낸다고 하자. 그러면, 전송 에러로 인핸 전체 왜곡은 다음과 같이 주어진다.
Figure 112013059802068-pct00043
Figure 112013059802068-pct00044
이 두 번째 타입의 바람직한 실시예에서, 다음과 같이 설정한다.
Figure 112013059802068-pct00045
여기서
Figure 112013059802068-pct00046
및
Figure 112013059802068-pct00047
는 예컨대 품질 등급을 타겟 값으로 사용하여 회귀 프로세스에서 결정되는 상수들이다.
도면 및 앞선 기술에서 본 발명이 상세하게 도시되고 기술되었으나, 그러한 도시 및 기술은 도시적으로 또는 예시적으로 고려되어야 하며 비제한적이다. 이어지는 청구항의 범위 내에서 당업자에 의해 변경 및 수정이 이루어질 수 있음이 이해될 것이다. 특히, 본 발명은 위에서 그리고 이하에서 기술되는 서로 다른 실시예들로부터의 특징들의 임의의 조합과 함께 다른 실시예들을 포함할 수 있다.
또한, 청구항에서 "포함하는(comprising)"은 다른 요소들 또는 단계들을 배제하지 않으며, 부정관서 "a" 또는 "an"은 다수(plurality)를 배제하지 않는다. 단일 유닛은 청구항에 언급된 여러 특징들의 기능들을 충족시킬 수 있다. 용어 "필수적으로(essentially)", "약(about)", "대략(approximately)" 등 속성 또는 값과 관련있는 용어는 특히 정확히 그 속성 또는 정확히 그 값을 각각 정의할 수도 있다. 청구항 내의 어떠한 참조 부호도 범위를 제한하는 것으로 해석되어서는 안 된다.

Claims (15)

  1. 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하기 위한 방법에 있어서,
    a) 입력 비디오 비트 스트림을 캡쳐하고 그것을 비디오 비트 스트림 분석기에 제공하는 단계;
    b) 상기 비트 스트림 분석기에 의해, 캡쳐된 입력 비디오 비트 스트림으로부터 적어도 하나의 특징 또는 특징들의 집합을 추출하는 단계;
    c) 추출된 특징 또는 특징들의 집합을 패킷 손실 가시성 추정 모듈에 제공하는 단계;
    d) 상기 비디오 비트 스트림의 상기 제공된 추출된 특징들을 채택하는 상기 패킷 손실 가시성 추정 모듈에 의해, 특정 시간 간격 내에서 발생하는 각각의 패킷 손실 이벤트에 대하여 가시성의 연속적인 확률을 결정하는 단계;
    e) 전송된 비디오 시퀀스의 전체 품질(Q)의 추정치를 계산하기 위하여, 상기 패킷 손실 가시성 추정 모듈에 의해 결정되는 패킷 손실 가시성의 연속적인 확률을 상기 비디오 비트 스트림으로부터 추출된 적어도 하나의 특징 또는 특징들의 집합의 가중 요소(weighting factor)로 채택하는 단계를 포함하고,
    단계 d)는 프레임 타입, 움직임 벡터들의 평균 크기(AvgMv), 평균 움직임 벡터 차이(AvgMvDiff), 잔차들(residuals)의 에너지(ResEnergy), 파티션들의 최대 개수(MaxPartNr), 디코딩 불가능한 매크로블록들의 개수(LostMbs), 움직임 벡터 정보(mv) 및 매크로블록들의 타입(mb type)을 포함하는 그룹으로부터의 적어도 하나의 비트 스트림 특징을 채택하고,
    단계 e)는 패킷 손실 가시성 추정치(V)를 결정된 왜곡의 크기(EstErr) 및 패킷 손실로 인해 손상된 픽셀들의 계산된 전체 개수(ErrProp)와 결합하는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  2. 제1항에 있어서,
    단계 b)에 따른 특징 추출은 상기 비디오 비트 스트림을 부분적으로(partly) 디코딩함으로써 직접적으로 수행되고,
    "부분적으로"는 비트 스트림을 픽셀 레벨까지 디코딩하지 않는 것을 의미하는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  3. 제1항에 있어서,
    단계 b)에 따른 특징 추출은 상기 비디오 비트 스트림의 완전 디코딩에 의해 그리고 상기 비디오 신호의 재구성된 픽셀들로부터의 정보를 결합함으로써 수행되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  4. 삭제
  5. 제1항에 있어서,
    패킷 손실에 의해 열화된 프레임들의 개수(ErrDur)는 추출된 특징인 "프레임 타입"에 기반하여 결정되고, 패킷 손실 가시성의 확률의 예측에 사용되며, 시각적 품질에 대한 패킷 손실의 영향을 추정하기 위하여 그것을 가시성 확률과 결합하는데 사용되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  6. 제1항에 있어서,
    움직임 벡터 정보 및 매크로블록들의 타입에 기반하여 비디오 신호 시퀀스의 각 픽쳐에 대하여 바이너리 에러 전파 맵(binary error propagation map)이 생성되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  7. 제6항에 있어서,
    상기 바이너리 에러 전파 맵 및 프레임 타입 정보에 기반하여 패킷 손실에 의해 열화되는 프레임들의 개수(ErrDur)가 결정되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 바이너리 에러 전파 맵에 기반하여 패킷 손실로 인해 손상된 픽셀들의 전체 개수(ErrProp)가 계산되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  9. 제1항에 있어서,
    패킷 손실 및 에러 전파로 인해 생기는 왜곡의 크기(EstErr)는 움직임 벡터들, 매크로블록 타입들 및 잔차들에 기반하여 결정되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  10. 제1항에 있어서,
    단계 d)는 비선형 매핑 함수를 이용하여 입력 특징 벡터를 고차원 특징 공간에 매핑하는 것에 의한 서포트 벡터 회귀 테크닉을 이용하여, 그리고 상기 특징 공간에서 선형 모델을 구성하여 수행되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  11. 삭제
  12. 제1항에 있어서,
    단계 d) 및 e) 사이에, 상기 비디오 신호 시퀀스 내에서 발생하는 모든 패킷 손실들의 일시적 풀링(pooling)에 의해 생성되는 전체적인 가시적 왜곡을 추정하는 단계를 더 포함하는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  13. 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하기 위한 장치에 있어서,
    캡쳐된 입력 비디오 비트 스트림을 수신하고, 상기 캡쳐된 입력 비디오 비트 스트림으로부터 적어도 하나의 특징 또는 특징들의 집합을 추출하도록 구성되는 비디오 비트 스트림 분석기;
    상기 추출된 특징 또는 특징들의 집합을 수신하는 패킷 손실 가시성 추정 모듈, 상기 패킷 손실 가시성 추정 모듈은 특정 시간 간격 내에서 발생하는 각각의 패킷 손실 이벤트에 대하여 가시성의 연속적인 확률을 예측함으로써 비디오 신호의 전송 중에 발생하는 패킷 손실의 가시성을 결정하도록 구성됨;
    전송된 비디오 시퀀스의 전체 품질(Q)의 추정치를 계산하기 위하여, 상기 패킷 손실 가시성 추정 모듈에 의해 결정되는 패킷 손실 가시성의 연속적인 확률을 상기 비디오 비트 스트림으로부터 추출된 적어도 하나의 특징 또는 특징들의 집합의 가중 요소(weighting factor)로서 결합하는 결합기를 포함하고,
    상기 패킷 손실 가시성 추정 모듈은 프레임 타입, 움직임 벡터들의 평균 크기(AvgMv), 평균 움직임 벡터 차이(AvgMvDiff), 잔차들(residuals)의 에너지(ResEnergy), 파티션들의 최대 개수(MaxPartNr), 디코딩 불가능한 매크로블록들의 개수(LostMbs), 움직임 벡터 정보(mv) 및 매크로블록들의 타입(mb type)을 포함하는 그룹으로부터의 적어도 하나의 비트 스트림 특징을 채택하고,
    상기 결합기는 패킷 손실 가시성 추정치(V)를 결정된 왜곡의 크기(EstErr) 및 패킷 손실로 인해 손상된 픽셀들의 계산된 전체 개수(ErrProp)와 결합하는
    전송된 비디오 신호 시퀀스의 품질 평가 장치.
  14. 삭제
  15. 삭제
KR1020137017415A 2010-12-10 2011-09-02 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치 KR101857842B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10194580 2010-12-10
EP10194580.6 2010-12-10
PCT/EP2011/065192 WO2012076203A1 (en) 2010-12-10 2011-09-02 Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility

Publications (2)

Publication Number Publication Date
KR20140008508A KR20140008508A (ko) 2014-01-21
KR101857842B1 true KR101857842B1 (ko) 2018-05-14

Family

ID=44719874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017415A KR101857842B1 (ko) 2010-12-10 2011-09-02 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치

Country Status (11)

Country Link
US (1) US9232217B2 (ko)
EP (1) EP2649801B1 (ko)
JP (1) JP6022473B2 (ko)
KR (1) KR101857842B1 (ko)
CN (1) CN103283239B (ko)
BR (1) BR112013014367B1 (ko)
ES (1) ES2541282T3 (ko)
HR (1) HRP20150481T1 (ko)
HU (1) HUE026522T2 (ko)
PL (1) PL2649801T3 (ko)
WO (1) WO2012076203A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2468878B (en) * 2009-03-24 2014-11-19 Strategy & Technology Ltd A device comprising at least one receiver for a testing device
US8804815B2 (en) * 2011-07-29 2014-08-12 Dialogic (Us) Inc. Support vector regression based video quality prediction
GB2497915B (en) 2011-10-25 2015-09-09 Skype Estimating quality of a video signal
US9661348B2 (en) * 2012-03-29 2017-05-23 Intel Corporation Method and system for generating side information at a video encoder to differentiate packet data
US9769501B2 (en) 2012-07-17 2017-09-19 Thomson Licensing Video quality assessment at a bitstream level
JP2015530806A (ja) * 2012-08-27 2015-10-15 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ品質評価のための動き均一性を推定する方法および装置
WO2014094313A1 (en) * 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model
GB2513090B (en) 2013-01-28 2019-12-11 Microsoft Technology Licensing Llc Conditional concealment of lost video data
EP2954676A4 (en) * 2013-02-07 2016-07-13 Thomson Licensing METHOD AND DEVICE FOR CONTEXT-BASED VIDEO QUALITY ASSIGNMENT
EP2954677B1 (en) * 2013-02-07 2019-07-31 InterDigital CE Patent Holdings Method and apparatus for context-based video quality assessment
CN103108210B (zh) * 2013-03-07 2015-04-15 福州大学 基于空域复杂度的无参考视频质量评价方法
US9674515B2 (en) * 2013-07-11 2017-06-06 Cisco Technology, Inc. Endpoint information for network VQM
CN104092960B (zh) * 2014-07-26 2017-06-06 福州大学 一种基于视觉主观感受的视频源切换方法
JP6499993B2 (ja) * 2016-05-18 2019-04-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN111372071B (zh) * 2018-12-25 2022-07-19 浙江宇视科技有限公司 一种搜集视频图像异常信息的方法及装置
JP2022523564A (ja) 2019-03-04 2022-04-25 アイオーカレンツ， インコーポレイテッド 機械学習を使用するデータ圧縮および通信

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4327674B2 (ja) * 2004-07-21 2009-09-09 日本電信電話株式会社 映像品質管理方法および映像品質管理システム
CA2582531C (en) * 2004-10-18 2013-03-12 Nippon Telegraph And Telephone Corporation Video quality objective evaluation device, evaluation method, and program
JP4787210B2 (ja) 2007-05-30 2011-10-05 日本電信電話株式会社 映像品質推定方法、装置、およびプログラム
EP2106154A1 (en) 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation
US20100110199A1 (en) 2008-11-03 2010-05-06 Stefan Winkler Measuring Video Quality Using Partial Decoding
JP5670551B2 (ja) * 2010-04-30 2015-02-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオストリームの品質を評価する方法と装置

Also Published As

Publication number Publication date
JP6022473B2 (ja) 2016-11-09
US20130271668A1 (en) 2013-10-17
CN103283239B (zh) 2016-10-05
BR112013014367B1 (pt) 2022-07-12
HUE026522T2 (en) 2016-06-28
EP2649801A1 (en) 2013-10-16
KR20140008508A (ko) 2014-01-21
CN103283239A (zh) 2013-09-04
EP2649801B1 (en) 2015-04-15
PL2649801T3 (pl) 2015-08-31
HRP20150481T1 (hr) 2015-06-05
JP2014502113A (ja) 2014-01-23
WO2012076203A1 (en) 2012-06-14
US9232217B2 (en) 2016-01-05
BR112013014367A2 (pt) 2021-07-27
ES2541282T3 (es) 2015-07-17

Similar Documents

Publication Publication Date Title
KR101857842B1 (ko) 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치
Yang et al. No-reference quality assessment for networked video via primary analysis of bit stream
KR101414435B1 (ko) 비디오 스트림 품질 평가 방법 및 장치
CN109510919B (zh) 用于感知质量评估的场景变换检测的方法、设备和介质
KR101834031B1 (ko) 비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치
US20130208814A1 (en) Methods and apparatuses for temporal synchronisation between the video bit stream and the output video sequence
US9077972B2 (en) Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
WO2013075318A1 (en) Video quality measurement
Chen et al. Hybrid distortion ranking tuned bitstream-layer video quality assessment
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
JP2015530807A (ja) ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
Huang No-reference video quality assessment by HEVC codec analysis
Ascenso et al. Packet-header based no-reference quality metrics for H. 264/AVC video transmission
Seeling et al. Offset distortion traces for trace-based evaluation of video quality after network transport
Song et al. No-reference video quality assessment model for distortion caused by packet loss in the real-time mobile video services
Hameed et al. Predicting the perceptual quality of networked video through light-weight bitstream analysis
Singam Computational Complexity of Human Visualization Characteristics based on Well Known Metric
Hassan et al. Skip length and inter-starvation distance as a combined metric to assess the quality of transmitted video
Wang et al. Ssim-based end-to-end distortion modeling for h. 264 video coding
Song et al. Objective quality assessment of HD video based on compressed domain
CN104885452A (zh) 用于估计视频质量评估的内容复杂度的方法和装置
EP2798846A1 (en) Assessing packet loss visibility in video

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant