KR20160002659A - 비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치 - Google Patents

비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160002659A
KR20160002659A KR1020157007669A KR20157007669A KR20160002659A KR 20160002659 A KR20160002659 A KR 20160002659A KR 1020157007669 A KR1020157007669 A KR 1020157007669A KR 20157007669 A KR20157007669 A KR 20157007669A KR 20160002659 A KR20160002659 A KR 20160002659A
Authority
KR
South Korea
Prior art keywords
video
quality
content non
predictive parameter
content
Prior art date
Application number
KR1020157007669A
Other languages
English (en)
Inventor
판 장
닝 리아오
카이 시에
지보 첸
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Priority claimed from PCT/CN2013/077846 external-priority patent/WO2014032463A1/en
Publication of KR20160002659A publication Critical patent/KR20160002659A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오의 콘텐츠 복잡성을 추정하기 위해, 예측 오차들의 에너지가 계산된다. 예측 오차들은 통상적으로 비디오가 덜 복잡하고 더 예측 가능할 때 더 작다. 예측 오차들의 스케일들은 또한 인코딩 구성들에 의존하는데, 예를 들어 I 픽처들은 통상적으로 콘텐츠가 매우 유사하고, 따라서 유사한 인식되는 콘텐츠 복잡성을 갖는 경우에도 P 및 B 픽처들보다 큰 예측 오차들을 갖는다. 콘텐츠 복잡성을 더 면밀하게 반영하기 위해, 상이한 인코딩 구성들에 대해 정렬 스케일링 팩터들이 추정된다. 예측 오차들의 에너지 및 정렬 스케일링 팩터들에 기초하여, 전체 콘텐츠 비예측성 파라미터를 추정하여 비디오에 대한 압축 왜곡 팩터를 계산할 수 있다. 압축 왜곡 팩터는 슬라이싱 및 프리징 왜곡 팩터들과 결합되어, 비디오에 대한 비디오 품질 규준을 추정하는 데 사용될 수 있다.

Description

비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING CONTENT COMPLEXITY FOR VIDEO QUALITY ASSESSMENT}
관련 출원의 상호 참조
본원은 2012년 8월 27일자로 출원된 WO 국제 출원 No. PCT/CN2012/080632의 이익을 주장한다.
기술분야
본 발명은 비디오 품질 측정에 관한 것으로서, 구체적으로는 비트스트림 레벨에서 비디오 품질 규준을 결정하기 위한 방법 및 장치에 관한 것이다. 또한, 결정된 비디오 품질 규준은 예를 들어 인코딩 파라미터들을 조정하거나 수신기 측에서 필요한 비디오 품질을 제공하는 데 사용될 수 있다.
일반적으로, 비디오 콘텐츠가 더 텍스처링되거나 복잡할수록, 비디오 콘텐츠 내의 더 많은 아티팩트가 사람의 눈에 의해 허용될 수 있다. 즉, 비디오 콘텐츠가 사람의 눈에 의해 관찰될 때, 비주얼 아티팩트들은 비디오 콘텐츠 자체에 의해 마스킹될 수 있다. 사람의 눈의 이러한 특성은 마스킹 특성 또는 마스킹 효과로서 알려져 있다. 따라서, 콘텐츠 복잡성이 비디오 품질 평가에서 고려될 수 있다.
우리의 이전의 연구에서, 우리는 콘텐츠 복잡성을 나타내기 위해 콘텐츠 비예측성(CU) 파라미터를 추정한다. 본 명세서에 그 가르침이 구체적으로 참고로 반영되는 F. Zhang, N. Liao, K. Xie 및 Z. Chen에 의한 "Method and apparatus for video quality measurement"라는 명칭의 공유 PCT 출원(PCT/CN11/002096, Attorney Docket No. PA110061, 이하 "Zhang1")에서, 우리는 콘텐츠 비예측성에 의존하는 보정 함수에 의해 조정되는 양자화 파라미터(QP)를 이용하여 비디오 품질을 예측하기 위한 방법을 개시하였다.
본 명세서에 그 가르침이 구체적으로 참고로 반영되는 F. Zhang, N. Liao, K. Xie 및 Z. Chen에 의한 "Video quality measurement"라는 명칭의 공유 PCT 출원(PCT/CN2011/082870, Attorney Docket No. PA110050, 이하 "Zhang2")에서, 우리는 비트스트림으로부터 추출된 파라미터들(예로서, 양자화 파라미터, 콘텐츠 비예측성 파라미터, 손실 블록들의 비율, 전파 블록들의 비율, 에러 은닉 거리, 모션 벡터, 프리징 지속 기간 및 프레임 레이트)을 이용하여 압축 왜곡 팩터, 슬라이싱 왜곡 팩터 및 프리징 왜곡 팩터를 추정하기 위한 방법을 개시하였다.
발명의 요약
본 발명의 원리들은 비트스트림 내에 포함된 비디오의 비디오 품질을 평가하기 위한 방법을 제공하며, 이 방법은 후술하는 바와 같이 상기 비디오 내의 픽처의 블록의 예측 오차들에 응답하여 콘텐츠 비예측성 파라미터를 결정하는 단계; 상기 블록의 인코딩 구성에 응답하여 상기 콘텐츠 비예측성 파라미터를 스케일링하는 단계; 및 상기 스케일링된 콘텐츠 비예측성 파라미터에 응답하여 상기 비트스트림 내에 포함된 상기 비디오의 비디오 품질을 나타내는 품질 규준을 결정하는 단계를 포함한다. 본 발명의 원리들은 이러한 단계들을 수행하기 위한 장치도 제공한다.
본 발명의 원리들은 또한 비트스트림 내에 포함된 비디오의 비디오 품질을 평가하기 위한 방법을 제공하며, 이 방법은 후술하는 바와 같이 상기 비디오 내의 픽처의 블록의 예측 오차들 및 인코딩 구성에 응답하여 콘텐츠 비예측성 파라미터를 결정하는 단계 - 상기 콘텐츠 비예측성 파라미터는 상기 블록의 예측의 난이도를 나타냄 -; 상기 인코딩 구성에 응답하여 상기 콘텐츠 비예측성 파라미터를 스케일링하는 단계 - 상기 스케일링된 콘텐츠 비예측성 파라미터의 값은 유사한 콘텐츠를 갖는 다른 블록에 대한 제2 콘텐츠 비예측성 파라미터의 값과 실질적으로 동일함 -; 및 상기 결정된 콘텐츠 비예측성 파라미터에 응답하여 상기 비트스트림 내에 포함된 상기 비디오의 비디오 품질을 나타내는 품질 규준을 결정하는 단계를 포함한다. 본 발명의 원리들은 이러한 단계들을 수행하기 위한 장치도 제공한다.
본 발명의 원리들은 전술한 방법들에 따라 비트스트림 내에 포함된 비디오의 비디오 품질을 평가하기 위한 명령어들을 저장하나 컴퓨터 판독 가능 저장 매체도 제공한다.
도 1a는 I, P 및 B 픽처들로서 각각 인코딩될 3개의 오리지널 픽처를 예시하는 도면이고, 도 1b는 도 1a에 대응하는 원시 CU 파라미터들을 예시하는 도면이고, 도 1c는 본 발명의 원리들의 일 실시예에 따라 생성된, 정렬된 CU 파라미터들을 예시하는 도면이다.
도 2a는 I, P 및 B 픽처들로서 각각 인코딩될 다른 3개의 오리지널 픽처를 예시하는 도면이고, 도 2b는 도 2a에 대응하는 원시 CU 파라미터들을 예시하는 도면이고, 도 2c는 본 발명의 원리들의 일 실시예에 따라 생성된, 정렬된 CU 파라미터들을 예시하는 도면이다.
도 3은 I, P 및 B 픽처들 각각에 대한 원시 CU 파라미터 분포들을 예시하는 도면이다.
도 4는 본 발명의 원리들의 일 실시예에 따른, 콘텐츠 복잡성에 기초하여 비디오 품질을 추정하기 위한 일례를 나타내는 흐름도이다.
도 5는 본 발명의 원리들의 하나 이상의 구현과 관련하여 사용될 수 있는 비디오 품질 측정 장치의 일례를 나타내는 블록도이다.
도 6은 본 발명의 원리들의 하나 이상의 구현과 관련하여 사용될 수 있는 비디오 처리 시스템의 일례를 나타내는 블록도이다.
분산 및 엔트로피가 자연 이미지들의 복잡성을 측정하는 데 사용될 수 있다는 것이 알려져 있다. 범용 신호 시퀀스에 대해, 분산은 콘트라스트 또는 에너지를 정량화하며, 엔트로피는 무질서도 또는 불확실성을 평가한다. A. B. Watson, R. Borthwick, and M. Taylor, "Image quality and entropy masking," SPIE Proceedings, vol. 3016, 1997에 설명된 연구는 콘트라스트 및 무질서도와 별개인 학습 능력이라고 하는 다른 복잡성 관련 특성이 콘텐츠 복잡성을 측정하는 데 사용될 수 있다는 것을 시사한다.
학습 능력은 예측성과 유사한 것으로 간주될 수 있다. 즉, 신호가 이웃에 의해 표현될 수 있는 가능성이 클수록, 그의 예측성 및 학습 능력은 더 높다. 비디오 코딩에서는 비디오 내의 중복성을 제거하기 위해 인트라 예측 및 인터 예측이 일반적으로 사용된다. 구체적으로, 이전에 인코딩된 블록으로부터 현재 블록이 예측될 수 있으며, 현재 블록 자체가 아니라 현재 블록과 예측 블록 간의 차이(즉, 예측 오차)가 인코딩될 수 있다. 일반적으로, 인트라 예측 또는 인터 예측이 양호하게 작동할 때, 즉 현재 블록이 이전에 인코딩된 블록으로부터 양호하게 예측될 수 있을 때, 예측 오차는 작아지고/지거나 희박해진다. 따라서, 비디오 코딩에서의 예측 오차들의 에너지는 비디오 신호가 얼마나 어렵게 예측될 수 있는지(즉, 콘텐츠 비예측성)의 양호한 지시자일 수 있다. 본 실시예들에서, 우리는 콘텐츠 비예측성을 이용하여 콘텐츠 복잡성을 표현한다.
콘텐츠 예측성 파라미터가 예측 오차들에 기초하여 정의될 때, 이것은 비디오 신호의 예측의 난이도를 측정하기 위한 파라미터로서 계산될 수 있다. 예측 오차들은 압축된 도메인에서 이용 가능하므로, 콘텐츠 예측성 파라미터는 이미지 픽셀들의 완전 디코딩 또는 디코딩된 이미지 픽셀들의 액세스 없이도 측정될 수 있으며, 따라서 QoE(quality of experience) 평가 및 비디오 인덱싱과 같은 CU 파라미터들을 이용하는 응용들의 계산 효율이 향상될 수 있다.
대부분의 기존 비디오 압축 표준들, 예를 들어 H.264 및 MPEG-2는 매크로블록(MB)을 기본 인코딩 단위로 사용한다. 따라서, 아래의 실시예들은 매크로블록을 기본 처리 단위로 사용한다. 그러나, 본 원리들은 상이한 크기의 블록, 예를 들어 8x8 블록, 16x8 블록, 32x32 블록 또는 64x64 블록을 사용하도록 적응될 수 있다.
일 실시예에서, 각각의 매크로블록에 대해, 제곱된 역양자화된 DCT 계수들의 합 - 역양자화된 DC 계수들의 제곱된 합과 이론적으로 동일한 예측 오차들의 분산 또는 에너지를 이용하여 CU 파라미터가 계산될 수 있다. 매크로블록에 대해 예측이 수행되지 않을 때, CU 파라미터는 픽셀들의 에너지로서 계산될 수 있다. 즉, 역 DCT(IDCT)는 CU 파라미터의 계산에 필요하지 않다. 비트스트림으로부터 파싱되는 QP 및 양자화된 DCT 계수들이 주어질 때, 역양자화된 DCT 계수들은 CU 파라미터들을 계산하기 위해 충분한 정밀도로 추정될 수 있다.
일례에서, Zhang1에서, H.264/AVC가 인코딩을 위해 사용될 때, r 번째 매크로블록에 대한 CU 파라미터는 다음과 같이 계산될 수 있다.
[수학식 1]
Figure pct00001
여기서, 상수 KMB는 매크로블록 내의 픽셀들의 총수, 즉 H.264/AVC에 대해 256이고;
Figure pct00002
은 H.264/AVC에 대한 QP 값과 관련하여 양자화 스텝을 계산하는 근사화된 공식이고; l은 r 번째 매크로블록 내의 파티션들을 인덱싱하고; |l|r은 그 안의 파티션들의 총수, 예를 들어 4x4 블록 파티셔닝에 대해 16 파티션 그리고 8x8 블록 파티셔닝에 대해 4 파티션을 나타내고; 음이 아닌 k는 r 번째 매크로블록의 l 번째 파티션에서의 양자화된 DCT 계수들을 인덱싱하고; DCT0 ,l은 l 번째 파티션에서의 양자화된 DC 계수를 나타낸다.
위의 CU 계산은 임의 크기의 블록들(또는 다른 표준들, 예를 들어 HEVC에서의 코딩 단위/예측 단위) 및 블록 내의 임의 파티션들에 적용될 수 있다. 본원에서는, 예를 들어 식 1에서 계산되는 바와 같이, 예측 오차들의 에너지에 기초하여 계산되는 콘텐츠 비예측성 파라미터가 원시 CU 파라미터로서 표시된다.
예측 기술은 인코딩 픽처 타입들에 따라 변한다. 예를 들어, I 픽처들은 인트라 프레임 예측만을 지원하며, P 및 B 픽처들보다 큰 예측 오차들을 가질 수 있다. 인터 프레임 예측으로 인해, P 픽처들은 통상적으로 I 픽처들보다 적은 예측 오차들을 갖는다. B 픽처들은 통상적으로 양방향 인터 프레임 예측으로 인해 I 및 P 픽처들 양자보다 적은 예측 오차들을 갖는다. 즉, 상이한 타입의 픽처들은 대응하는 픽처들이 유사한 콘텐츠를 가질 수 있는 경우에도(예를 들어, 픽처들이 동일 장면에 속하거나, 픽처들 간의 유사성 척도가 임계치보다 작은 경우에도) 상이한 수치 스케일의 예측 오차들을 포함한다. 따라서, 픽처들에 대한 예측 오차 에너지로서 계산되는 원시 CU 파라미터들은 비디오 콘텐츠뿐만 아니라 픽처 타입에도 의존하며, 따라서 픽처들의 복잡성을 정확하게 반영하지 못할 수 있다.
도 1a는 I, P 및 B 픽처들로서 각각 인코딩될 3개의 예시적인 오리지널 픽처를 나타낸다. 대응하는 원시 CU 파라미터들이 도 1b에 도시된다. 가시화를 위해, CU 파라미터 값들은 픽셀 휘도에 대수적으로 맵핑된다(즉, 도 1b의 픽셀의 휘도는 도 1a의 매크로블록에서의 CU 파라미터의 값에 대응한다). 픽셀이 더 밝을수록 CU 파라미터가 더 크다. 3개의 오리지널 픽처가 이미지 콘텐츠에서 매우 유사하고, 따라서 인식되는 콘텐츠 복잡성에서 매우 유사하지만, I 픽처는 가장 큰 원시 CU 파라미터들을 가지며, B 픽처는 가장 작은 CU 파라미터들을 갖는다. 도 2a 및 2b에 도시된 다른 예에서도 유사한 관측들이 이루어진다.
도 3은 상이한 픽처 타입들에 대한 매크로블록의 원시 CU 파라미터 값들의 예시적인 분포들을 나타낸다. 확률 분포 함수들은 15의 빈 폭(bin width)(즉, 원시 CU 파라미터 값들의 간격들)을 갖는 정규화된 히스토그램들에 의해 근사화된다. 원시 CU 파라미터들은 576-라인 비디오의 연속적인 250개의 프레임 내의 I, P 및 B 픽처들 각각으로부터의 모든 매크로블록들에 대해 계산된다. 일반적으로, 원시 CU 파라미터들은 I 픽처들에 대해 가장 크며, B 픽처들에 대해 가장 작다. I, P 픽처에서 B 픽처로, 확률 분포 곡선의 꼬리가 가늘어진다. 도 3의 범례는 각각의 타입의 픽처들에 대해 개별적으로 맞춰진 Γ 분포 파라미터들을 나타낸다. 이 예에서, 우리는 형상 파라미터들(I 픽처들에 대해 0.033, P 픽처들에 대해 0.041, B 픽처들에 대해 0.049)이 매우 유사한 반면에 스케일 파라미터들(I 픽처들에 대해 4916, P 픽처들에 대해 1086, B 픽처들에 대해 324)은 매우 상이하다는 점에 주목한다.
도 1-3에 도시된 예들로부터, 우리는 인식되는 콘텐츠 복잡성이 매우 유사할 때에도 픽처 타입들에 따라 원시 CU 파라미터들이 크게 변할 수 있다는 점에 주목한다. 콘텐츠 복잡성을 더 정확하게 측정하기 위해, 본 발명의 원리들은 전술한 인식된 변화들을 고려하여 콘텐츠 비예측성 파라미터들의 추정을 개선하기 위한 방법 및 장치와 관련된다. 구체적으로, 원시 CU 파라미터들은 다른 인코딩 구성에서 획득되는 CU 파라미터들과 정렬되도록 스케일링되며, 따라서 정렬된 CU 파라미터들은 인식된 콘텐츠 복잡성을 더 면밀하게 반영한다. CU 파라미터 정렬 후에, 하나의 인코딩 구성에서의 현재 블록의 정렬된 CU 파라미터의 값은 다른 인코딩 구성에서의 다른 블록이 현재 블록과 유사한 콘텐츠를 가질 때 상기 다른 블록의 정렬된 CU 파라미터의 값과 실질적으로 동일하다.
제안되는 CU 파라미터 정렬 방법은 아래에서 설명되는 바와 같은 2개의 일반적인 가정에 기초하다.
가정 1: 매크로블록들의 원시 CU 파라미터 값들은 독립적인 감마 분포(Γ 분포)를 따른다. 형상 파라미터(k) 및 스케일 파라미터(θ)를 갖도록 감마 분포되는 Y~Γ(k,θ)로서 표시되는 무작위 변수 Y는 아래와 같은 확률 분포 함수를 갖는다.
[수학식 2]
Figure pct00003
가정 1은 매크로블록의 원시 CU 파라미터가 픽셀들 또는 예측 오차들의 분산으로서 정의된다는 관찰 결과는 물론, 아래의 전제에도 기초한다.
전제: x1, x2,..., xn이 i.i.d.
Figure pct00004
무작위 변수들인 경우, 그들의 분산, 즉
Figure pct00005
은 감마 분포의 특수 사례
Figure pct00006
를 따른다.
엄밀하게 말하면, 어떠한 인접하는 픽셀들 또는 오차들도 독립적으로 가우스 분포되지 않으며, 따라서 우리는 그들의 분산이 완화된 형상 파라미터(k)를 갖는 일반화된 Γ 분포
Figure pct00007
를 따르도록 주의 깊은 근사화를 수행하며, 여기서 k는 더 이상 (n-1)/2와 정확하게 동일하지 않다. 일반적으로, 인접하는 픽셀들의 상관성 및 희박성은 k가 (n-1)/2보다 훨씬 작게 한다. 그러나, 그러한 상관성은 상이한 인코딩 구성들에도 불구하고 동일한 비주얼 콘텐츠에 대해 비교적 일관되어야 한다. 따라서, 우리는 아래의 가정을 행한다.
가정 2: 상이한 구성들에서 (동일하거나 유사한 콘텐츠의) 원시 CU 파라미터 분포들은 일정한 형상 파라미터(k) 및 아마도 상이한 스케일 파라미터들(θ)를 갖는다.
위의 가정들에 기초하여, CU 정렬의 문제는 상이한 구성들에 대한 스케일 파라미터들(θ)의 추정이 된다. 2개의 구성(X, Y)이 존재하는 것으로 가정하면, 추정 문제는 아래와 같이 CU 훈련 세트 {x}X 및 {y}Y에 대한 분포 파라미터들의 최대 가능성 추정자에 의해 풀릴 수 있다.
[수학식 3]
Figure pct00008
여기서, x 및 y는 구성들(X, Y) 각각에서의 MB들의 원시 CU 파라미터 값들을 나타내고, nx 및 ny는 각각 세트 {x}X 및 {y}Y의 총수이다.
이어서, 우리는 각각의 구성에 대한 MB-와이즈(wise) CU를 정렬하여, (
Figure pct00009
로 표시되는) 정렬된 MB-와이즈 CU를 예를 들어 아래와 같이 획득할 수 있다.
[수학식 4]
Figure pct00010
= MBi가 X로 구성되는 경우에는
Figure pct00011
이고, MBi가 Y로 구성되는 경우에는 CUi
아래에서, 우리는 식 3에서 설명되는 바와 같은 추정 문제를 풀기 위한 일 실시예를 제공한다. 식 2 및 3을 참조하면, 가능성은 다음과 같다.
Figure pct00012
θX에 대한 로그-가능성의 도함수를 0으로 설정하는 것은 다음 식을 산출하며,
Figure pct00013
아래와 같이 θX에 대한 최대 가능성 추정자를 유도한다.
Figure pct00014
유사하게, θY에 대한 최대 가능성 추정자는 다음과 같이 도출될 수 있다.
Figure pct00015
따라서, k를 추정하지 않고서, 우리는 다음 식을 얻는다.
[수학식 5]
Figure pct00016
즉, 식 5는 구성들(X, Y)에 대한 스케일 파라미터들(θ) 간의 비율을 제공하며, 이 비율은 구성들(X, Y) 사이에 원시 CU 파라미터들을 정렬하기 위해 그들을 스케일링하기 위한 정렬 스케일링 팩터로도 지칭된다.
일례에서, ITU-T P.NBAMS(Parametric Non-intrusive Bitstream Assessment of video Media Streaming quality) 데이터베이스들이 훈련을 위해 사용될 때, 우리는 정렬 스케일링 팩터들을 도출하고, 비디오 시퀀스의 콘텐츠 복잡성을 비디오 시퀀스의 모든 픽처들 내의 모든 가용 MB들에 대한 정렬된 CU 파라미터들의 평균 값으로서 추정한다. 이 예에서, 콘텐츠 복잡성은 아래와 같이 CU들의 가중 결합으로서 정밀화된다.
[수학식 6]
Figure pct00017
여기서, t∈{I}, t∈{P} 및 t∈{B}는 각각 I 픽처들, P 픽처들 및 B 픽처들을 나타내고, CUr은 r 번째 MB의 원시 콘텐츠 비예측성 파라미터 값이고, T는 픽처들의 총수이고, c는 상수이고, |r|t는 r 번째 MB 내의 파티션들의 총수를 나타낸다. 상수 20.6은 I 픽처들과 B 픽처들 간의 정렬 스케일링 팩터이고, 상수 3.52는 P 픽처들과 B 픽처들 간의 정렬 스케일링 팩터이다.
도 1a 및 2a의 예들에 대해, 정렬된 CU 파라미터들은 각각 도 1c 및 2c에 도시된다. 도 1b 및 2b에 도시된 원시 CU 파라미터들에 비해, 정렬된 CU 파라미터들은 상이한 픽처 타입에 대해 더 유사한 스케일을 갖는다. 따라서, 정렬된 CU 파라미터들은 콘텐츠 복잡성을 더 잘 반영할 수 있다.
픽처 타입들에 더하여, 다른 인코딩 구성들, 예컨대 사용되는 압축 표준, 최대 연속 B 픽처들, GOP(group of picture) 구조, 순간 리프레시 레이트 및 인트라 예측의 예측 방향들의 총수가 예측 효율에 영향을 미칠 수 있으며, 따라서 특히 I 프레임들이 드물게 사용될 때(즉, 긴 GOP가 사용될 때) B, P 또는 I 픽처들의 평균 원시 CU 파라미터 값들에 영향을 미칠 수 있다. 더욱이, 원시 CU 파라미터 값들은 또한 비디오 해상도 및 프레임 레이트에 의존한다. 예를 들어, 더 높은 해상도 또는 프레임 레이트는 종종 더 낮은 원시 CU 파라미터 값들을 유발한다. 결과적으로, 상이한 구성들에 걸치는 정렬을 결정하는 것이 필요하다. 일 실시예에서, 인코딩 구성들에 따라, 상이한 훈련 세트들이 사용될 수 있으며, 따라서 정렬 스케일링 팩터들이 그에 따라 추정될 수 있다. 예를 들어, 해상도에 관한 멱 함수 및 프레임 레이트에 관한 멱 함수가 정렬을 위해 사용될 수 있으며, 이는 정렬된 CU 파라미터들이 구성들과 무관하고, 콘텐츠와만 관련되게 할 수 있다.
비디오 시퀀스에 대한 추정된 콘텐츠 비예측성 파라미터, 예를 들어 식 6의 zc는 비디오 품질을 측정하기 위한 Zhang1(PCT/CN11/002096)의 식 1의 Qc 또는 압축 왜곡 팩터를 계산하기 위한 Zhang2(PCT/CN2011/082870)의 식 3의 CUT를 대체하는 데 사용될 수 있다. 즉, 압축 왜곡 팩터는 다음과 같이 계산될 수 있다.
[수학식 7]
Figure pct00018
여기서, QPT는 비디오 클립에 대한 평균 QP이고, b1 및 b2는 상수들이다.
압축 왜곡 팩터와 다른 왜곡 팩터들(예로서, 슬라이싱 왜곡 팩터 및 프리징 왜곡 팩터)을 결합하여, 비디오 시퀀스에 대한 전체 비디오 품질 규준을 획득할 수 있다. 예측 오차들이 비트스트림에서 이용 가능하므로, 본 발명의 원리들에 따른 비디오 품질 측정은 비트스트림 레벨에서 구현될 수 있다.
zc 및 다른 파라미터들을 이용하여, 아래와 같이 품질 규준이 계산될 수 있다.
[수학식 8]
Figure pct00019
여기서, 출력 변수 q는 예측된 품질 스코어이고; 상수 MOSub 및 MOSlb는 각각 MOS(Mean Opinion Score)의 상한 및 하한, 즉 5 및 1이고; α, β, {a} 및 {b}는 모델 파라미터들이고(항상 ac = 1); 첨자 c, f 및 s는 각각 압축, 프리징 및 슬라이싱 결함들을 나타내고; 변수 {x} 및 {z}는 모델 팩터들이고, 일반적으로 비디오 데이터로부터 추출되는 특징들로도 지칭되며; R은 폭*높이/256이고; F는 프레임 레이트이다. 특히, {x} 및 {z} 각각은 각각의 결함 타입과 관련된 키 팩터 및 공변량이며, 예를 들어 xc는 압축 결함에 대한 키 팩터이고, zs는 슬라이싱 결함에 대한 공변량이다.
도 4는 본 발명의 원리들의 일 실시예에 따른, 콘텐츠 복잡성에 기초하여 비디오 품질을 측정하기 위한 예시적인 방법(400)을 나타낸다. 방법(400)은 단계 410에서 시작되며, 여기서 예를 들어 비트스트림으로부터 예측 오차들이 액세스된다. 단계 420에서, 예를 들어 식 1에 나타난 바와 같은 예측 오차들의 에너지로서 원시 CU 파라미터들이 계산된다. 단계 430에서, 예를 들어 식 5를 이용하여 상이한 인코딩 구성들에 대한 정렬 스케일링 팩터들이 추정된다. 단계 440에서, 원시 CU 파라미터들 및 정렬 스케일링 팩터들에 기초하여, 정렬된 CU 파라미터들을 추정하여 콘텐츠 복잡성을 추정한다. 단계 450에서, 정렬된 CU 파라미터들 및 다른 인코딩 파라미터들(예로서, 양자화 파라미터들)에 기초하여 압축 왜곡 팩터가 계산될 수 있다. 단계 460에서, 예를 들어 식 8을 이용하여 압축 왜곡 팩터와 슬라이싱 및/또는 프리징 왜곡 팩터들을 결합하여 전체 비디오 품질 규준을 추정할 수 있다.
비디오 품질 측정에 더하여, 콘텐츠 비예측성 파라미터는 텍스처 인식, 물체 인식 또는 장면 인식에서도 사용될 수 있다.
도 5는 비디오 품질 규준을 생성하는 데 사용될 수 있는 예시적인 비디오 품질 측정 장치(500)의 블록도를 나타낸다. 장치(500)의 입력은 비트스트림을 포함하는 전송 스트림을 포함한다. 입력은 비트스트림을 포함하는 다른 포맷들일 수 있다. 수신기는 수신된 비트스트림 내의 패킷 손실들을 시스템 레벨에서 결정한다.
디멀티플렉서(510)는 입력 스트림을 파싱하여 기본 스트림 또는 비트스트림을 획득한다. 이것은 또한 패킷 손실에 대한 정보를 디코더(520)로 전송한다. 디코더(520)는 각각의 블록 또는 매크로블록에 대한 QP, 픽처 타입, 변환 계수 및 모션 벡터를 포함하는 필요한 정보를 파싱하여, 비디오의 품질을 추정하기 위한 파라미터들을 생성한다. 디코더는 또한 패킷 손실에 대한 정보를 이용하여, 비디오 내의 어느 매크로블록이 손실되었는지를 결정한다. 디코더(520)는 완전 디코딩이 수행되지 않는다는 것을, 즉 비디오가 재구성되지 않는다는 것을 강조하기 위해 부분 디코더로서 표시된다.
QP 파서(533)는 디코더(520)로부터 파싱된 MB 레벨 QP들을 이용하여 픽처들에 대한 그리고 전체 비디오 클립에 대한 평균 QP들을 획득한다. 변환 계수 파서(532)는 디코더(520)로부터 획득된 변환 계수들을 이용하여 계수들을 파싱한다. 콘텐츠 비예측성 파라미터 계산기(534)는 변환 계수들, 양자화 파라미터들 및 인코딩 구성들에 기초하여 개별 픽처들에 대한 그리고 전체 비디오 클립에 대한 콘텐츠 비예측성 파라미터를 계산한다. 손실 MB 태거(531)는 어느 매크로블록이 손실되었는지에 관한 정보를 이용하여 어느 MB가 손실되었는지를 마킹한다. 또한, 전파 MB 태거(535)는 모션 정보를 이용하여 어느 MB가 예측을 위해 손실 블록을 직접 또는 간접 사용하는지(즉, 어느 블록이 에러 전파에 의해 영향을 받는지)를 마킹한다. MV 파서(536)는 블록들에 대한 모션 벡터들을 이용하여 MB들, 픽처들 및 전체 비디오 클립에 대한 모션 파라미터를 계산한다. 다른 모듈들(도시되지 않음)을 이용하여, 에러 은닉 거리, 프리징 지속기간 및 프레임 레이트를 결정할 수 있다.
압축 왜곡 예측기(540)는 압축 왜곡 팩터를 추정하고, 슬라이싱 왜곡 예측기(542)는 슬라이싱 왜곡 팩터를 추정하며, 프리징 왜곡 예측기(544)는 프리징 왜곡 팩터를 추정한다. 품질 예측기(550)는 추정된 왜곡 팩터들에 기초하여 전체 비디오 품질 규준을 추정한다.
여분의 계산이 허용될 때, 디코더(570)가 픽처들을 디코딩한다. 디코더(570)는 완전 디코더로서 표시되며, 픽처들을 재구성하고, 필요한 경우에는 에러 은닉을 수행할 것이다. 모자이크 검출기(580)는 재구성된 비디오에 대해 모자이크 검출을 수행한다. 모자이크 검출 결과들을 이용하여, 손실 MB 태거(531) 및 전파 MB 태거(535)는 관련 파라미터들, 예컨대 손실 블록 플래그 및 전파 블록 플래그를 갱신한다. 텍스처 마스킹 추정기(585)는 텍스처 마스킹 가중치들을 계산한다. 텍스처 마스킹 가중치들은 왜곡들을 가중화하는 데 사용될 수 있다.
비디오 품질 측정 장치(500)는 예를 들어 ITU-T P.NBAMS 표준에서 사용될 수 있으며, 이 표준은 각각 고해상도(HR) 시나리오 및 저해상도(LR) 시나리오라고도 하는 2개의 응용 시나리오, 즉 IPTV 및 이동 비디오 스트리밍에서 비디오 품질 평가 모델들에 대해 작용한다. 2개의 시나리오 간의 차이는 비디오 콘텐츠 및 코딩 구성의 공간-시간 해상도 내지 전송 프로토콜들 및 시청 조건들의 범위에 걸친다.
P.NBAMS VQM(Video Quality Model)에 대한 입력은 모든 전송 패킷 헤더들(UDP/IP/RTP 또는 UDP/IP/RTP/TS)을 갖는 코딩된 비디오 비트스트림이다. 출력은 객관적인 MOS 스코어이다. P.NBAMS 작업의 주요 타겟 응용은 셋톱 박스(STB) 또는 게이트웨이에서 비디오 품질을 모니터링하는 것이다. P.NBAMS 모드 1 모델은 비트스트림 정보만을 사용하며, 모드 2 모델은 비디오 시퀀스의 부분들 또는 전부를 디코딩할 수 있고, 픽셀 정보는 예측 정밀도를 개선하기 위해 비트스트림 정보를 파싱하는 것에 더하여 비주얼 품질 예측을 위해 사용된다.
도 6을 참조하면, 전술한 특징들 및 원리들을 적용할 수 있는 비디오 전송 시스템 또는 장치(600)가 도시된다. 프로세서(605)는 비디오를 처리하며, 인코더(610)는 비디오를 인코딩한다. 인코더로부터 생성된 비트스트림은 분배 네트워크(620)를 통해 디코더(630)로 전송된다. 비디오 품질 모니터 또는 비디오 품질 측정 장치, 예컨대 장치(500)가 상이한 스테이지들에서 사용될 수 있다.
일 실시예에서, 비디오 품질 모니터(640)가 콘텐츠 생성기에 의해 사용될 수 있다. 예를 들어, 추정된 비디오 품질은 인코더에 의해 모드 결정 또는 비트 레이트 할당과 같은 인코딩 파라미터들의 결정에 사용될 수 있다. 다른 예에서, 비디오가 인코딩된 후, 콘텐츠 생성기는 비디오 품질 모니터를 이용하여, 인코딩된 비디오의 품질을 모니터링한다. 품질 규준이 사전 정의된 품질 레벨을 충족시키지 못하는 경우, 콘텐츠 생성기는 비디오 품질을 개선하기 위해 비디오를 다시 인코딩하기로 결정할 수 있다. 콘텐츠 생성기는 또한 품질에 기초하여 인코딩된 비디오를 등급화할 수 있고, 그에 따라 콘텐츠에 대해 과금한다.
다른 실시예에서, 비디오 품질 모니터(650)가 콘텐츠 배포기에 의해 사용될 수 있다. 비디오 품질 모니터가 배포 네트워크 내에 배치될 수 있다. 비디오 품질 모니터는 품질 규준들을 계산하고, 이들을 콘텐츠 배포기에 보고한다. 비디오 품질 모니터로부터의 피드백에 기초하여, 콘텐츠 배포기는 대역폭 할당 및 액세스 제어를 조정함으로써 그의 서비스를 개선할 수 있다.
콘텐츠 배포기는 또한 인코딩을 조정하기 위해 피드백을 콘텐츠 생성기로 전송할 수 있다. 인코더에서 인코딩 품질을 개선하는 것은 디코더 측에서 품질을 반드시 개선하지는 못할 수 있다는 점에 유의하는데, 그 이유는 고품질 인코딩된 비디오가 통상적으로 전송 보호를 위해 더 많은 대역폭을 필요로 하고 더 적은 대역폭을 남기기 때문이다. 따라서, 디코더에서 최적의 품질에 도달하기 위해서는 인코딩 비트 레이트와 채널 보호를 위한 대역폭 간의 균형이 고려되어야 한다.
다른 실시예에서, 비디오 품질 모니터(660)가 사용자 장치에 의해 사용될 수 있다. 예를 들어, 사용자 장치가 인터넷에서 비디오들을 검색할 때, 검색 결과는 요청된 비디오 콘텐츠에 대응하는 많은 비디오 또는 비디오들에 대한 많은 링크를 반환할 수 있다. 검색 결과들 내의 비디오들은 상이한 품질 레벨들을 가질 수 있다. 비디오 품질 모니터는 이러한 비디오들에 대한 품질 규준들을 계산하고, 어느 비디오를 저장할지를 선택하기로 결정할 수 있다. 다른 예에서, 디코더는 상이한 에러 은닉 모드들과 관련하여 은닉된 비디오들의 품질들을 추정한다. 추정에 기초하여, 더 좋은 은닉 품질을 제공하는 에러 은닉이 디코더에 의해 선택될 수 있다.
본 명세서에서 설명되는 구현들은 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. (예를 들어, 단지 방법으로서 설명되는) 단일 형태의 구현에만 관련하여 설명되는 경우에도, 설명되는 특징들의 구현은 다른 형태들(예로서, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어 및 펌웨어에서 구현될 수 있다. 방법들은 예를 들어 일반적으로 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능 논리 장치를 포함하는 처리 장치들을 지칭하는 예를 들어 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한 예를 들어 컴퓨터, 셀폰, 휴대용/개인용 디지털 보조 장치("PDA") 및 최종 사용자들 간의 정보의 통신을 용이하게 하는 다른 장치와 같은 통신 장치들을 포함한다.
본 발명의 원리들의 "하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현" 또는 "일 구현"에 대한 참조는 물론, 이들의 다른 변형들은 실시예와 관련하여 설명되는 특정 특징, 구조, 특성 등이 본 발명의 원리들의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에서 다양한 곳에 나오는 "하나의 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현에서" 또는 "일 구현에서"라는 표현의 출현들은 물론, 임의의 다른 변형들은 모두가 반드시 동일 실시예를 참조하지는 않는다.
게다가, 본원 또는 그의 청구항들은 다양한 정보의 "결정"을 언급할 수 있다. 정보의 결정은 예를 들어 정보의 추정, 정보의 계산, 정보의 예측 또는 메모리로부터의 정보의 검색 중 하나 이상을 포함할 수 있다.
또한, 본원 또는 그의 청구항들은 다양한 정보의 "액세스"를 언급할 수 있다. 정보의 액세스는 예를 들어 정보의 수신, (예를 들어, 메모리로부터의) 정보의 검색, 정보의 저장, 정보의 처리, 정보의 전송, 정보의 이동, 정보의 복사, 정보의 소거, 정보의 계산, 정보의 결정, 정보의 예측 또는 정보의 추정 중 하나 이상을 포함할 수 있다.
게다가, 본원 또는 그의 청구항들은 다양한 정보의 "수신"을 언급할 수 있다. 수신은 "액세스"와 같이 광범위한 용어인 것을 의도한다. 정보의 수신은 예를 들어 정보의 액세스 또는 (예로서, 메모리로부터의) 정보의 검색 중 하나 이상을 포함할 수 있다. 또한, "수신"은 통상적으로 예를 들어 정보의 저장, 정보의 처리, 정보의 전송, 정보의 이동, 정보의 복사, 정보의 소거, 정보의 계산, 정보의 결정, 정보의 예측 또는 정보의 추정과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.
이 분야의 기술자에게 명백하듯이, 구현들은 예를 들어 저장 또는 전송될 수 있는 정보를 지니도록 포맷팅된 다양한 신호를 생성할 수 있다. 정보는 예를 들어 방법을 수행하기 위한 명령어들 또는 설명되는 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는 설명되는 실시예의 비트스트림을 갖도록 포맷팅될 수 있다. 그러한 신호는 예를 들어 (예를 들어, 스펙트럼의 무선 주파수 부분을 이용하는) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은 예를 들어 데이터 스트림을 인코딩하고, 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 지니는 정보는 예를 들어 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 바와 같은 다양한 상이한 유선 또는 무선 링크를 통해 전송될 수 있다. 신호는 프로세서 판독 가능 매체 상에 저장될 수 있다.

Claims (19)

  1. 비트스트림 내에 포함된 비디오의 비디오 품질을 평가하기 위한 방법으로서,
    상기 비디오 내의 픽처의 블록의 예측 오차들에 응답하여 콘텐츠 비예측성 파라미터를 결정하는 단계(420);
    상기 블록의 인코딩 구성에 응답하여 상기 콘텐츠 비예측성 파라미터를 스케일링하는 단계(440); 및
    상기 스케일링된 콘텐츠 비예측성 파라미터에 응답하여 상기 비트스트림 내에 포함된 상기 비디오의 비디오 품질을 나타내는 품질 규준(quality metric)을 결정하는 단계(460)
    를 포함하는 비디오 품질 평가 방법.
  2. 제1항에 있어서,
    상기 콘텐츠 비예측성 파라미터는 상기 블록의 예측의 난이도를 나타내고, 상기 스케일링된 콘텐츠 비예측성 파라미터의 값은 상기 블록과 유사한 콘텐츠를 갖는 다른 블록에 대한 제2 콘텐츠 비예측성 파라미터의 값과 실질적으로 동일한 비디오 품질 평가 방법.
  3. 제1항에 있어서,
    상기 인코딩 구성은 픽처 타입 및 GOP(Group of Picture: 픽처의 그룹) 구조 중 적어도 하나를 포함하는 비디오 품질 평가 방법.
  4. 제1항에 있어서,
    콘텐츠 비예측성 파라미터를 결정하는 상기 단계는
    상기 예측 오차들의 에너지를 결정하는 단계; 및
    상기 인코딩 구성에 응답하여 상기 예측 오차들의 상기 에너지를 스케일링하는 단계
    를 포함하는 비디오 품질 평가 방법.
  5. 제4항에 있어서, 상기 스케일링 단계에서 사용되는 스케일링 팩터는 상기 예측 오차들이 감마 분포를 따른다는 것에 기초하여 결정되는 비디오 품질 평가 방법.
  6. 제5항에 있어서,
    상기 인코딩 구성에 대한 상기 감마 분포의 형상 파라미터가 다른 인코딩 구성에 대한 다른 형상 파라미터와 동일하다는 것에 기초하여 복수의 인코딩 구성에 대해 각각의 스케일링 팩터가 결정되는 비디오 품질 평가 방법.
  7. 제1항에 있어서,
    상기 비디오 내의 복수의 블록 각각에 대해 각각의 콘텐츠 비예측성 파라미터가 결정되며, 상기 비디오에 대한 전체 콘텐츠 비예측성 파라미터가 상기 복수의 블록에 대한 상기 콘텐츠 비예측성 파라미터들에 응답하여 결정되는 비디오 품질 평가 방법.
  8. 제1항에 있어서,
    상기 비트스트림의 품질을 모니터링하는 것, 상기 품질 규준에 응답하여 상기 비트스트림을 조정하는 것, 상기 품질 규준에 기초하여 새로운 비트스트림을 생성하는 것, 상기 비트스트림을 전송하는 데 사용되는 배포 네트워크의 파라미터들을 조정하는 것, 상기 품질 규준에 기초하여 상기 비트스트림을 유지할지를 결정하는 것 및 디코더에서 에러 은닉 모드를 선택하는 것 중 적어도 하나를 수행하는 비디오 품질 평가 단계
    를 더 포함하는 비디오 품질 평가 방법.
  9. 제1항에 있어서,
    상기 품질 규준을 결정하는 상기 단계는 해상도 및 프레임 레이트 중 적어도 하나에 더 응답하는 비디오 품질 평가 방법.
  10. 비트스트림 내에 포함된 비디오의 비디오 품질을 평가하기 위한 장치(500)로서,
    상기 비디오의 픽처의 블록에 대한 예측 오차들에 액세스하고, 상기 블록의 인코딩 구성을 결정하도록 구성되는 디코더(520);
    상기 블록의 예측 오차들에 응답하여 콘텐츠 비예측성 파라미터를 결정하고, 상기 블록의 상기 인코딩 구성에 응답하여 상기 콘텐츠 비예측성 파라미터를 스케일링하도록 구성되는 콘텐츠 비예측성 파라미터 계산기(534); 및
    상기 스케일링된 콘텐츠 비예측성 파라미터에 응답하여 상기 비트스트림 내에 포함된 상기 비디오의 비디오 품질을 나타내는 품질 규준을 결정하도록 구성되는 품질 예측기(550)
    를 포함하는 비디오 품질 평가 장치.
  11. 제10항에 있어서,
    상기 콘텐츠 비예측성 파라미터는 상기 블록의 예측의 난이도를 나타내고, 상기 스케일링된 콘텐츠 비예측성 파라미터의 값은 상기 블록과 유사한 콘텐츠를 갖는 다른 블록에 대한 제2 콘텐츠 비예측성 파라미터의 값과 실질적으로 동일한 비디오 품질 평가 장치.
  12. 제10항에 있어서,
    상기 인코딩 구성은 픽처 타입 및 GOP(Group of Picture: 픽처의 그룹) 구조 중 적어도 하나를 포함하는 비디오 품질 평가 장치.
  13. 제10항에 있어서,
    상기 콘텐츠 비예측성 파라미터 계산기는 상기 예측 오차들의 에너지를 결정하고, 상기 인코딩 구성에 응답하여 상기 예측 오차들의 상기 에너지를 스케일링하는 비디오 품질 평가 장치.
  14. 제13항에 있어서, 상기 콘텐츠 비예측성 파라미터 계산기는 상기 예측 오차들이 감마 분포를 따른다는 것에 기초하여 스케일링 팩터를 결정하는 비디오 품질 평가 장치.
  15. 제14항에 있어서,
    상기 인코딩 구성에 대한 상기 감마 분포의 형상 파라미터가 다른 인코딩 구성에 대한 다른 형상 파라미터와 동일하다는 것에 기초하여 복수의 인코딩 구성에 대해 각각의 스케일링 팩터가 결정되는 비디오 품질 평가 장치.
  16. 제10항에 있어서,
    상기 비디오 내의 복수의 블록 각각에 대해 각각의 콘텐츠 비예측성 파라미터가 결정되며, 상기 비디오에 대한 전체 콘텐츠 비예측성 파라미터가 상기 복수의 블록에 대한 상기 콘텐츠 비예측성 파라미터들에 응답하여 결정되는 비디오 품질 평가 장치.
  17. 제10항에 있어서,
    상기 비트스트림의 품질을 모니터링하는 동작, 상기 품질 규준에 응답하여 상기 비트스트림을 조정하는 동작, 상기 품질 규준에 기초하여 새로운 비트스트림을 생성하는 동작, 상기 비트스트림을 전송하는 데 사용되는 배포 네트워크의 파라미터들을 조정하는 동작, 상기 품질 규준에 기초하여 상기 비트스트림을 유지할지를 결정하는 동작 및 디코더에서 에러 은닉 모드를 선택하는 동작 중 적어도 하나를 수행하도록 구성되는 비디오 품질 모니터(640, 650, 660)
    를 더 포함하는 비디오 품질 평가 장치.
  18. 제10항에 있어서,
    상기 콘텐츠 비예측성 파라미터 계산기는 해상도 및 프레임 레이트 중 적어도 하나에 더 응답하여 상기 품질 규준을 결정하는 비디오 품질 평가 장치.
  19. 제1항 내지 제9항 중 어느 한 항에 따라 비트스트림 내에 포함된 비디오의 비디오 품질을 평가하기 위한 명령어들을 저장한 컴퓨터 판독 가능 저장 매체.
KR1020157007669A 2012-08-27 2013-06-25 비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치 KR20160002659A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2012/080632 2012-08-27
CN01280632 2012-08-27
PCT/CN2013/077846 WO2014032463A1 (en) 2012-08-27 2013-06-25 Method and apparatus for estimating content complexity for video quality assessment

Publications (1)

Publication Number Publication Date
KR20160002659A true KR20160002659A (ko) 2016-01-08

Family

ID=57123004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157007669A KR20160002659A (ko) 2012-08-27 2013-06-25 비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20160002659A (ko)

Similar Documents

Publication Publication Date Title
US10009611B2 (en) Visual quality measure for real-time video processing
EP2712482B1 (en) Low complexity mode selection
KR20090063406A (ko) 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법
WO2013075318A1 (en) Video quality measurement
EP2875640B1 (en) Video quality assessment at a bitstream level
WO2021136110A1 (zh) 编码方法及编码器
EP2710802A1 (en) Rate -distortion optimization for video coding
WO2021136056A1 (zh) 编码方法及编码器
EP2888877B1 (en) Method and apparatus for estimating content complexity for video quality assessment
US11303916B2 (en) Motion compensation techniques for video
KR20160002659A (ko) 비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치
CN111901605B (zh) 视频处理方法、装置、电子设备及存储介质
WO2014198062A1 (en) Method and apparatus for video quality measurement
Cai Video Coding Strategies for Machine Comprehension
KR20150052049A (ko) 비디오 품질 평가를 위해 모션 균일성을 추정하기 위한 방법 및 장치
KR100772753B1 (ko) 화질열화 방지 비디오 디코더
CN104885452A (zh) 用于估计视频质量评估的内容复杂度的方法和装置
Xie et al. Rate control for H. 264/AVC using enhanced coding complexity measure
Hu Bit rate control for real-time multipoint video conferencing

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid