KR20100116216A - 비디오 품질의 객관적 평가 방법, 장치 및 프로그램 - Google Patents

비디오 품질의 객관적 평가 방법, 장치 및 프로그램 Download PDF

Info

Publication number
KR20100116216A
KR20100116216A KR20107020798A KR20107020798A KR20100116216A KR 20100116216 A KR20100116216 A KR 20100116216A KR 20107020798 A KR20107020798 A KR 20107020798A KR 20107020798 A KR20107020798 A KR 20107020798A KR 20100116216 A KR20100116216 A KR 20100116216A
Authority
KR
South Korea
Prior art keywords
video
subjective quality
bit string
macroblock
quality
Prior art date
Application number
KR20107020798A
Other languages
English (en)
Inventor
케이시로 와타나베
준 오카모토
카즈히사 야마기시
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20100116216A publication Critical patent/KR20100116216A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

인코딩된 비디오의 비트 스트링에 존재하고 장면들 사이의 차이를 나타내는 파라미터의 역할을 하는 움직임 벡터 또는 DCT 계수, 또는 인코딩된 비디오의 비트 스트링을 부분적으로 디코딩함으로써 얻어진 픽셀 정보 또는 인코딩 제어 정보는 비디오 품질 객관적 평가에 사용된다. 따라서 전체 비디오의 비트 스트링을 디코딩함으로써 얻어진 픽셀 정보를 사용하는 비디오 픔질 객관적 평가 장치와 비교하여 많은 양의 계산을 요구하는 픽셀 정보 디코딩 처리의 양을 절감할 수 있다.

Description

비디오 품질의 객관적 평가 방법, 장치 및 프로그램{Method, device and program for objectively evaluating video quality}
본 발명은 비디오 데이터의 손실에 의해 야기된 비디오 품질의 열화를 검출하는 비디오 품질 객관적 평가 기술, 더 구체적으로는 비디오를 보는 사람에 의해 경험된 품질(주관적 품질)을 추정하는 경우, 특수 실험실에서 비디오를 실제로 봄으로써 다수의 대상이 품질을 평가하는 주관적 품질 평가 실험을 하지 않고 사용자가 본 비디오의 인코딩된 비트 스트링 정보로부터 주관적 품질을 객관적으로 유도하는, 비디오 품질 객관적 평가 방법, 비디오 품질 객관적 평가 장치, 및 프로그램에 관한 것이다.
전송되거나 또는 저장되어 있는 인코딩된 비디오 비트 스트링에서 손실이 있는 경우에, IP 통신 또는 비디오 인코딩의 파라미터 정보를 사용하여 비디오 품질을 평가하는 기술(Masataka Masuda, Thshiko Tominaga, 및 Takanori Hayashi, "Non-intrusive Quality Management for Video Communication Services by using Invalid Frame Rate", Technical Report of IEICE, CQ2005-59, pp.55-60, Sept. 2005(참고문헌 1)) 및 ITU-T G.1070, "Opinion model for video-telephony applications", Apr.2007(참고문헌2), 또는 픽셀 신호들까지 인코딩된 비디오 비트 스트링을 디코딩하며 픽셀 정보에 기초하여 비디오 품질을 객관적으로 추정하는 기술(ITU-T J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference", Feb.2000(참고문헌 3))이 통상적으로 검토되었다.
참고 문헌 1 또는 2에 설명된 기술을 평가기에 의해 가정된 몇 개의 장면의 평균 주관적 품질을 추정한다. 그러나, 실제 비디오에서, 비트 스트링 구성이 크게 장면들 사이에서 변하기 때문에, 비트 스트링에서의 손실은 비디오 장면들 사이의 주관적 품질에서의 큰 변화를 야기한다. 그러므로, 참고문헌 1 또는 2의 기술에서, 비디오 장면들 사이의 차이를 고려하는 것은 어려우며, 높은 추정 정확성을 실현하는데 문제가 있다. 또한, IP 통신의 파라미터 정보를 사용하여 주관적 품질을 추정하는 경우, IP 통신에 대한 것 이외의 프로토콜의 사용은 주관적 품질 추정을 불가능하게 한다.
참고문헌 3은 인코딩된 비디오의 비트 스트링을 디코딩함으로써 얻어진 비디오의 픽셀 정보를 사용하여 주관적 품질을 추정하는 것을 시도한다. 그러나, 많은 양의 계산이 픽셀 정보를 디코딩하는데 필요하기 때문에, 실시간 주관적 품질 추정에 필요한 계산량은 매우 크며, 장치당 제조 비용도 상승한다.
상기 문제점들을 해결하기 위해, 본 발명에 따르면, 인코딩된 비디오의 비트 스트링에서 손실이 발생하는 경우 주관적 품질을 추정하는 방법은, 손실이 현재유행하는 움직임 보상된 프레임간 예측 및 DCT를 사용하는 인코딩 방법, 더 구체적으로는 H.264에 의해 인코딩된 비트 스트링에서 발생하는 경우, 비트 스트링을 부분적으로 디코딩하며 비트 스트링을 디코딩하는 것에 의해 얻어진 비디오에서 열화 영역이 검출되는 영역을 검출함으로써 얻어진 픽셀 정보 또는 비디오 스트링만을 분석하는 단계, 가중 계수로서 사람에 대한 열화 영역의 영향을 유도하는 단계, 비디오를 디코딩하는 경우 사람이 비디오에서의 열화를 검출하는 것을 디코더가 어렵게 하는 열화 은폐 처리의 효과를 추정하는 단계, 열화가 발생한 프레임/슬라이스/움직임 벡터의 I/P/B 속성을 검출하는 단계, 정보의 이들 조각들을 총체적으로 고려하여 비디오의 단일 프레임에서의 열화 강도를 나타내는 값을 유도하는 단계, 모든 프레임에 대한 단일 프레임에서의 열화 강도를 유도하고 열화 강도를 총체적으로 고려함으로써 손실된 비트 스트링에 의해 야기된 모든 프레임의 열화의 대표값을 유도하는 단계, 및 인코딩 영화에 대한 주관적 품질 및 손실 비트 스트링에 의해 야기된 모든 프레임의 열화의 대표값 모두에 기초하여 일반적 주관적 품질을 추정하는 단계를 포함한다.
더 구체적으로는, 본 발명에 따르면,
비디오를 보고 있는 시청자에 의해 경험된 비디오 품질을 나타내는 주관적 품질을 추정하는 비디오 품질 객관적 평가 방법이 제공되어 있으며, 손실이 움직임 보상 및 DCT를 사용하여 인코딩된 비디오의 비트 스트링에서 발생된다면, 주관적 품질 상의 장면들 사이의 차이의 영향은 잔존 비트 스트링 및 손실 비트 스트링을 고려하고, 주관적 품질은 완벽한 디코딩을 요구하지 않고 추정된다.
손실이 비트 스트링에서 발생하는 경우, 주관적 품질은 손실 비트 스트링에서 손실 프레임(또는 슬라이스, 매크로블록, 또는 서브 매크로블록)의 공간 위치 정보 또는 시계열 위치 정보를 사용하여 추정된다.
손실이 움직임 보상 기능에서 또다른 프레임(또는 슬라이스, 매크로블록 또는 서브 매크로블록)에 의해 참고되는 기준 프레임(또는 슬라이스, 매크로블록 또는 서브 매크로블록)의 비트 스트링에서 발생한다면, 주관적 품질은 기준 프레임(또는 슬라이스, 매크로블록 또는 서브 매크로블록)의 비트 스트링의 손실에 의해 또다른 프레임 (또는 슬라이스, 매크로블록 또는 서브 매크로블록)에 주어진 손실을 고려하여 추정된다.
인코딩 처리에 의해 열화된 주관적 품질은 비트 스트링의 손실의 경우에 주관적 품질의 최대값으로서 정의된다.
단일 프레임에서 발생한 열화의 대표값으로서, 비트 스트링 손실을 가지는 블록들의 개수의 합을 가중함으로써 얻은 값은 비디오 품질 객관적 평가를 위해 사용된다.
이 경우에, 단일 프레임에서 발생한 열화의 대표값은 비디오의 모든 프레임에 대해 유도되며, 합계를 가중함으로써 얻어진 값은 비디오 품질 객관적 평가를 위해 사용된다.
비디오 품질 객관적 평가에 사용되는 가중치는 움직임 벡터 데이터의 통계량, 비디오 재생 단말기에 의해 수행되는 열화 은폐 처리의 통계량, 열화가 발생한 위치의 통계량, 또는 DCT 계수들의 통계량, 또는 로컬 픽셀 정보의 통계량, 또는 이들의 조합에 따라 결정된다.
움직임 벡터 데이터의 통계량으로서, 프레임에서 모든 매크로블록 또는 몇 개의 매크로블록의 움직임 벡터의 방향 또는 크기에 관련한 통계량이 사용된다.
DCT 계수들의 통계량으로서, 프레임에서의 모든 매크로블록 또는 몇 개의 매크로블록의 DCT 계수들의 통계량이 사용된다.
다양한 종류의 열화 은폐 처리에 의한 주관적 품질 개선량은 미리 주관적 품질 평가 실험을 하여 측정되며, 데이터베이스가 생성된다. 비디오 품질을 객관적으로 평가하는 경우, 데이터베이스를 참고하며, 각각의 열화 은폐 처리로 조정된 주관적 품질이 추정된다.
열화 은폐 처리에 의한 주관적 품질 개선량은 로컬 픽셀 신호들로서 디코딩된 정보 또는 인코딩된 비디오의 비트 스트링을 사용하여 추정된다.
로컬 픽셀 정보로서, 손실 비트 스트링에 포함된 매크로블록에 인접한 매크로블록의 픽셀 정보가 사용된다.
본 발명에 따르면, 손실이 비트 스트링에서 발생한다면, 그리고 손실 비트 스트링에 보존된 정보가 인코딩 제어 정보라면, 주관적 품질은 인코딩 제어 정보에 의해 주관적 품질상에 가해진 영향의 정도에 따라 추정된다.
비디오 품질을 객관적으로 평가하는 경우, 평가식은 인코딩 방법, 프레임 레이트 및 비디오의 해상도 중 하나에 따라 최적화된다.
전술한 바와 같이, 현재 유행하는 움직임 보상 프레임간 예측 및 DCT에 의해 인코딩 방법을 사용하는 비디오의 비트 스트링은 움직임 벡터, DCT 계수, 또는 인코딩 제어 정보(예를 들어, 양자화를 제어하기 위한 양자화 계수/파라미터)를 포함한다. 정보의 이들 조각들이 내용은 비디오 장면들 사이에서 크게 변한다. 그러므로, 정보의 이들 조각들을 사용하는 것은 비디오 장면에서의 차이를 고려하여 주관적 품질을 추정하도록 한다. 또한, 비트 스트링에 삽입된 픽셀 정보가 아닌 정보가 직접 사용되는 경우, 계산량은 획득을 위해 많은 계산량을 요구하는 픽셀 정보가 불필요하기 때문에, 크게 감소될 수 있다. 비디오의 비트 스트링을 부분적으로 디코딩함으로써 픽셀 정보를 획득하는 경우, 부하는 비트 스트링에 삽입된 정보만을 사용하는 처리와 비교하여 약간 증가한다. 그러나, 계산량은 여전히 전체 비디오를 디코딩하는 것과 비교하여 크게 절약될 수 있다. 그러므로, 픽셀 정보로서 비디오 장면에서의 차이를 고려하기 위해, 정보는 주관적 품질을 추정하기 위해 더해질 수 있다. 이는 비싸지 않은 컴퓨터를 사용하여 단시간에 정확한 비디오 품질 객관적 평가를 수행하도록 한다. 예를 들어, 시청자가 일반적으로 비디오 서비스에서 다른 비디오를 보더라도, 각각의 비디오의 주관적 품질은 차이를 고려하여 추정될 수 있다. 이는 각각의 시청자에 대한 품질을 고려하여 정확한 지원을 가능하게 하거나, 또는 비디오 서비스의 캐리어의 헤드엔드(carrier's headend)가 각각의 채널 또는 각각의 장면에 대한 비디오의 주관적 품질을 효율적으로 비싸지 않게 관리하도록 한다. 비디오 비트 스트링을 획득하는 것만이 필요함에 따라, 비디오 품질 객관적 평가는 비트 스트링을 전송하는데 사용되는 프로토콜에 상관없이 행해질 수 있다. 즉, 이 방법은 IP 통신 이외의 통신 방법으로 확장될 수 있으며, 그러므로 다양한 통신 방법들에 의해 전송된 비디오에 적용가능하다.
본 발명에 따르면, 인코딩된 비트 스트링에서의 손실의 경우에, 인코딩된 비디오의 비트 스트링 정보를 사용한다. 이는 주관적 품질을 효율적으로 그리고 정확하게 추정하는 것을 가능하게 하며, 따라서 본 발명으로 주관적 품질 평가 방법 또는 통상적 객관적 품질 평가 방법을 교체함으로써 많은 노력과 시간의 필요를 없앤다. 그러므로, 대규모로 그리고 실시간으로 사용자에 의해 감지된 주관적 품질을 획득하는 것이 가능하다.
도 1은 본 발명에 따른 비디오 품질 객관적 평가 장치의 배열을 나타내는 블록도이다;
도 2는 비디오 품질 객관적 평가 장치의 각각의 기능 유닛의 개략적 동작을 설명하는 흐름도이다;
도 3은 프레임에서 매크로블록 디코딩 상태를 나타내는 도면이다;
도 4는 손실 매크로블록에서 에지 추정 방법을 설명하기 위한 도면이다;
도 5는 손실 매크로블록 및 인접한 매크로블록의 에지 대표값을 나타내는 도면이다;
도 6은 손실 매크로블록에서 에지 추정 방법을 설명하기 위한 도면이다;
도 7은 8×8 DCT 계수들의 3D 표현을 나타내는 도면이다;
도 8은 8×8 DCT 계수들의 2D 표현을 나타내는 도면이다;
도 9는 움직임 벡터 유도 타겟 프레임으로부터 상대적 위치들을 나타내는 도면이다;
도 10은 움직임 벡터 유도 타겟 프레임 바로 뒤 프레임에 움직임 벡터가 투영되어 있는 예를 나타내는 도면이다;
도 11은 움직임 벡터 유도 타겟 프레임 바로 앞의 프레임에 움직임 벡터가 투영되어 있는 예를 나타내는 도면이다;
도 12는 손실 매크로블록 가까이의 움직임 벡터 유도 타겟 프레임의 상태를 나타내는 도면이다;
도 13은 움직임 벡터의 방위를 설명하는 도면이다;
도 14는 관심 있는 영역의 정의를 설명하는 도면이다;
도 15는 프레임에서의 매크로블록들의 좌표 시스템을 나타내는 도면이다;
도 16은 비디오 품질 객관적 평가 장치의 하드웨어 구성을 나타내는 블록도이다;
도 17은 한 프레임에서의 인접한 블록들 및 열화된 블록들을 나타내는 도면이다; 그리고
도 18은 시간 방향에서 열화 은폐(degradation concealment) 처리의 효과를 추정하는 방법을 설명하기 위한 도면이다.
본 발명의 실시예는 첨부한 도면을 참고로 하여 설명될 것이다.
(제 1 실시예)
이 실시예에 따르면 비디오 품질 객관적 평가 장치는 인코딩된 비디오의 비트 스트링을 입력하기 위해 사용되는 인터페이스를 포함하는 정보 처리 장치, 서버 장치 또는 개인 컴퓨터와 같은 산술 장치, 및 저장 장치로부터 형성된다. 비디오 품질 객관적 평가 장치는 인코딩된 비디오의 비트 스트링을 입력하고, 입력 비디오에 대응하는 주관적 품질을 출력한다. 하드웨어 구성은 도 16에 도시된 바와 같이, 수신 유닛(2), 산술 유닛(3), 저장 매체(4) 및 출력 유닛(5)을 포함한다. 도 16에 도시된 H.264 인코더(6)는 이하 설명되는 H.264에 의해 입력 비디오를 인코딩한다. 인코딩된 비디오 비트 스트링은 전송 데이터로서 전송 네트워크를 통해 분배되며 비디오 품질 객관적 평가 장치(1)로 송신된다.
비디오 품질 객관적 평가 장치(1)의 수신 유닛(2)은 전송 데이터, 즉, 인코딩된 비트 스트링을 수신한다. CPU는 저장 매체(4)에 저장된 프로그램을 판독하고, 수행하며, 이에 의해 산술 유닛(3)의 기능을 이행한다. 더 구체적으로는, 산술 유닛(3)은 수신 유닛(2)에 의해 수신된 비트 스트링의 정보를 사용하여 다양한 종류의 산술 처리를 수행하며, 디스플레이 유닛과 같은 출력 유닛(5)으로 산술 처리 결과를 출력하며, 이에 의해 비디오의 주관적 품질을 추정한다.
더 구체적으로는, 산술 유닛(3)은 산술 처리 기능으로서, 도 1에 도시하는 바와 같이, 계수 데이터베이스(D11~D17), 열화(degradation) 영역 특정 기능 유닛(F11), 열화 영역에 대한 가중 결정 기능 유닛(F12), 열화 은폐 처리 특정 기능 유닛(F13), 단일 프레임에 대한 열화 대표값 유도 기능 유닛(F14), 모든 프레임에 대한 열화 대표값 유도 기능 유닛(F15), 인코딩 열화에 대한 주관적 품질 추정 기능 유닛(F16), 및 주관적 품질 추정 기능 유닛(F7)을 가진다.
움직임 보상 및 DCT를 사용하여 H.264에 의해 인코딩된 비디오의 비트 스트링에서 손실이 발생하는 경우, 비디오 품질 객관적 평가 장치(1)는 인코딩된 비디오의 비트 스트링의 손실 부분 및 정상 부분의 내용을 사용하여 비디오의 주관적 품질을 추정한다. 이는 이론적으로 움직임 보상 및 DCT를 사용하는 인코딩 방법에 적용가능하다.
비디오 품질 객관적 평가 장치의 각각의 기능 유닛의 기능은 도 1을 참고로 하여 상세히 이하 설명될 것이다. 각각의 기능 유닛은 필수 메모리를 가진다.
열화 영역 (위치 및 카운트) 특정 기능 유닛(F11)은 입력 인코딩된 비디오의 비트 스트링을 스캔한다(scan). 손실이 비트 스트링에서 발생하였다면, 열화 영역 특정 기능 유닛(F11)은 한 프레임에서 열화 정보(11a 및 11b)로서 열화된 매크로블록들의 개수 및 위치를 특정하고, 열화 대표값 유도 기능 유닛(F14) 및 가중 결정 기능 유닛(F12)으로 각각 열화 정보(11a 및 11b)를 출력한다.
열화 영역에 대한 가중 결정 기능 유닛(F12)은 열화 영역 특정 기능 유닛(F11)으로부터 수신된 열화 정보(11b)를 스캔하고, 주변 매크로블록들의 패턴 및 움직임의 복잡성 및 열화된 매크로블록의 위치에 기초하여 각각의 열화된 매크로블록의 주관적 품질에 대한 영향의 정도를 측정하며, 열화 대표값 유도 기능 유닛(F14)으로 열화량 정보(12a)를 출력한다.
열화 은폐 처리 특정 기능 유닛(F13)은 사용되는 열화 은폐 처리에 따라, 열화 은폐 처리에 의해 주관적 품질 상의 영향의 정도와 관련한, 데이터베이스에 저장되거나 또는 동적으로 유도된 가중치를 스위칭하며, 열화 은폐 처리 정보(13a)로서 열화 대표값 유도 기능 유닛(F14)으로 이를 출력한다.
단일 프레임에 대한 열화 대표값 유도 기능 유닛(F14)은 기능 유닛(F11, F12, F13)으로부터 출력된 열화 정보(11a), 열화량 정보(12a), 및 열화 은폐 처리 정보(13a)에 기초하여 단일 프레임에 존재하는 모든 열화된 매크로블록의 영향과 관련한 열화 강도의 대표값을 유도하고, 모든 프레임에 대한 열화 대표값 유도 기능 유닛(F15)으로 프레임 열화 대표값(14a)을 출력한다.
모든 프레임에 대한 열화 대표값 유도 기능 유닛(F15)은 단일 프레임에 대한 열화 대표값 유도 기능 유닛(F14)으로부터 출력된 프레임 열화 대표값(14a)에 기초하여 평가 타겟 비디오에 존재하는 모든 프레임의 열화 강도의 대표값을 유도하고, 전체 평가 타겟 비디오의 열화 강도에 위의 강도를 합하며, 모든 프레임에 대한 열화 대표값을 유도하며, 모든-프레임 열화 대표값(15a)으로서 주관적 품질 추정 기능 유닛(F17)으로 이를 출력한다.
인코딩 열화에 대한 주관적 품질 추정 기능 유닛(F16)은 인코딩에 의해 야기된 비디오 열화만을 고려한 주관적 품질을 유도하며, 인코딩 주관적 품질(16a)로서 주관적 품질 추정 기능 유닛(F17)으로 이를 출력한다. 이 경우에, 주관적 품질 추정 기능 유닛(F17)은 주관적 품질의 최대값으로서 인코딩 처리에 의해 열화된 주관적 품질을 사용한다. 주관적 품질 추정 기능 유닛(F17)은 인코딩 열화에 대한 주관적 품질 추정 기능 유닛(F16)으로부터 인코딩 주관적 품질(16a) 및 모든 프레임에 대한 열화 대표값 유도 기능 유닛(F15)으로부터의 모든-프레임 열화 대표값(15a)에 기초하여 비트 스트링에서의 손실 및 인코딩에 의해 야기된 비디오 열화를 고려하여 주관적 품질을 유도한다.
평가식의 계수들의 데이터베이스(D11, D12, D13, D14, D15, D16 및 D17)가 기능 유닛들에 의해 사용되도록, 각각 기능 유닛(F11, F12, F13, F14, F15, F16, 및 F17)으로 부착됨을 유의한다. 데이터 베이스(D11-D17)는 평가식을 최적화하기 위해 사용되도록 계수들을 저장한다. 계수들은 인코딩 방법, 해상도, 및 평가 타겟 비디오의 프레임 레이트에 따라 변한다. 이들 계수들은 미리 행해진 주관적 품질 평가 실험의 결과에 기초한 평가식을 사용하여 회귀 분석(regression analysis)을 수행함으로써 결정될 수 있다. 대안으로, 임의 값이 사용될 수 있다.
비디오 품질 객관적 평가 장치의 각각의 기능 유닛의 상세한 연산은 다른 도면들뿐만 아니라 도 1의 블록도 및 도 2의 흐름도를 참고로 하여 주로 이하 설명될 것이다. 이하 설명되는 모든 픽셀 신호 및 DCT 계수들이 휘도와 관련하여 가정됨을 유의한다. 그러나, 동일한 처리는 색상 차 신호에 적용될 수 있다.
열화 영역 (위치 및 카운트) 특정 기능 유닛(F11)은 비디오의 인코딩된 비트 스트링을 수신할 필요가 있으며, H.264의 가변 길이 코드를 디코딩한다. 이를 하기 위해, 참고문헌 1(ITU-T H.264, "Advanced video coding for generic audiovisual seivices", Feb. 2000)에 따른 H.264 디코더가 사용된다. 디코딩 후, 움직임 벡터들, DCT 계수들 및 움직임 보상 또는 DCT 변환 인코딩에 사용된 동종의 것과 같은 인코딩 정보는 H.264 인코딩의 제어 정보를 포함하는 PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set)과 같은 구문 정보(syntax information) 이외에 각각의 매크로블록 또는 서브 매크로블록에 대해 획득될 수 있다. 더 구체적으로는, 처리는 참고문헌 1에 설명된 사양들에 따른다.
손실이 인코딩된 비트 스트링에서 일어난다면, 기능 유닛(F11)은 이를 정상적으로 디코딩할 수 없다. 그러므로 매크로블록들 또는 서브 매크로블록들에 픽셀 신호를 계산하는데 사용되는 DCT 계수 및 움직임 벡터와 같은 정보 및 인코딩 제어 정보를 정상적으로 획득하는 것이 불가능하다. 매크로블록들의 디코딩의 전체 성공 및 실패에 대한 플래그(flag)는 비디오 품질 객관적 평가 장치의 저장 영역에 준비된다. 플래그는 도 3에 도시된 바와 같이, 인코딩된 비트 스트링을 디코딩하기 위해 어떠한 충분한 데이터도 가지지 않는 각각의 매크로블록 또는 서브 매크로블록에 대해 설정되며, 이에 의해 한 프레임에서 매크로블록 디코딩 성공/실패 상태를 얻는다. 블록(12, 31, 및 35)은 움직임 보상 또는 DCT 인코딩에 대한 정보가 손실된 예들이다. 블록(51-57)은 슬라이스 인코딩 제어 정보가 손실되어 있는 예들이다.
도 3에 도시된 바와 같이, 디코딩 성공/실패 상태에 기초하여, 디코딩 실패에 기인한 열화된 매크로블록들 또는 서브 매크로블록들의 위치 및 개수가 검출될 수 있다. SPS 또는 PPS와 같은 인코딩 제어 정보에서의 손실의 경우에, 대응하는 시퀀스(전체 평가 타겟 비디오)에서의 모든 매크로블록들은 SPS에 대해 손실된다고 가정되거나, 또는 대응하는 픽처(picture)(프레임 또는 필드)에서의 모든 매크로블록은 PPS에 대해 손실된다고 가정된다. 도 3에서의 슬라이스 형태 및 매크로블록들의 개수들은 단지 예이다.
디코딩에서 실패한 매크로블록 또는 서브 매크로블록들이 H.264의 움직임 추정 기능을 사용하여 또다른 매크로블록 또는 서브매크로블록에 의해 참고되는 경우, 손실된 매크로블록 또는 서브 매크로블록을 참고하는 매크로블록 또는 서브 매크로블록은 또한 IPB 속성에 따라 열화한다. IPB 속성은 참고문헌 1에 설명되어 있다. 기준 매크로블록 또는 서브 매크로블록의 디코딩 실패의 경우에, 손실된 매크로블록 또는 서브 매크로블록을 참고로 하는 매크로 블록 또는 서브 매크로블록이 P 프레임에 속한다면, 미리 계수 데이터베이스(D11)에 저장된 열화 가중치 ε=a1가 선택된다. 매크로블록이 B 프레임에 속한다면, 열화 가중치 ε=a2가 선택된다. I 프레임에 대해, 프레임간(inter-frame) 예측은 H.264에 사용된다. 그러므로, 기준 매크로블록 또는 서브 매크로블록의 디코딩 실패의 경우에, 열화 가중치 ε=a3가 선택된다. 예측이 사용되지 않는다면, 열화 가중치 ε=a4가 선택된다. 이 처리는 평가 타겟 비디오에서의 손실을 가지는 매크로블록 또는 서브 매크로블록을 특정하도록 한다.
손실이 이 지점에서 서브 매크로블록에서 발생한다면, 서브 매크로블록을 포함하는 매크로블록에서의 손실로서 간주된다. 디코딩 실패에 기인하여 열화된 매크로블록들의 위치 및 개수 외에, 비디오의 인코딩된 비트 스트링 및 가중치 ε는 열화 정보(11a 및 11b)로서 열화 대표값 유도 기능 유닛(F14) 및 가중 결정 기능 유닛(F12)으로 출력된다.
열화 영역에 대한 가중 결정 기능 유닛(F12)은 열화 정보(11b)를 수신하며, 이하 설명되는 열화 영역을 나타내는 가중 파라미터를 출력한다. 비디오 패턴 복잡성에 기초하여 열화된 매크로블록의 주관적 품질상의 영향의 정도에서의 변화를 측정하는 기능은 설명될 것이다.
먼저, 픽셀 신호들이 부분적으로 획득될 수 있는 경우를 설명할 것이다. 픽셀 신호들은 참고문헌 1에 설명된 알고리즘에 H.264 인코딩의 제어 정보뿐만 아니라 움직임 보상 및 DCT 변환에 사용되는 움직임 벡터들 및 DCT 계수들을 적용함으로써 획득될 수 있다.
더 구체적으로는, 손실 매크로블록의 상부, 하부, 좌측 및 우측 상의 매크로블록들의 픽셀 신호들만이 전술한 참고문헌 1에 따라 획득된다. 비디오 패턴 복잡도의 대표 인덱스는 소벨(Sobel) 필터를 사용하여 얻은 에지들의 방향 및 크기이다. 이 경우에, 열화된 매크로블록에서의 에지의 존재/부존재가 주관적 품질을 변하게 한다고 가정하면, 에지가 열화된 매크로블록에 인접한 매크로블록으로부터 열화된 매크로블록까지 연속하여 존재하는지 여부를 추정한다.
이는 도 4 및 5를 참고로 하여 상세히 설명될 것이다. 도 4는 열화된 매크로블록 및 4 개의 인접한 매크로블록들을 나타낸다. 각각의 인접한 매크로블록은 열화된 매크로블록으로 경계에서 픽셀들의 한 라인(도 4에서 개방된 사각형으로 표시된 픽셀들의 라인)을 가진다. 픽셀들의 다음 라인(인접한 매크로블록들에서의 인접한 매크로 블록과 열화된 매크로블록 사이의 경계로부터 카운트된 픽셀들의 제 2 라인: 도 4에서의 전체 사각형들로 표시된 픽셀들의 라인)은 소벨 필터에 의해 에지 검출을 위해 사용된다. 소벨 필터가 사용되는 경우, 에지는 크기 및 방향을 가지는 양, 즉 벡터량으로 유도된다. 각각의 인접한 매크로블록의 에지 유도 타겟 픽셀 라인에 의해 얻어진 에지는
Figure pct00001
에 의해 정의되며
여기서 i는 (도 4에서 매크로블록 1 내지 4에 대응하는) 인접한 매크로블록의 식별자이며, j는 열화된 매크로블록과 인접한 매크로 사이의 경계에서 존재하는 픽셀들의 개수이며, m은 소벨 필터에 의해 에지 유도 타겟 픽셀 라인에 존재하는 픽셀들의 개수이다. 각각의 인접한 매크로블록에서 소벨 필터에 의해 에지 유도 타겟 픽셀 라인에 의해 유도된 에지의 대표값은
Figure pct00002
(이하 벡터 E{i}로서 언급됨.
Figure pct00003
가 벡터 E{i}j로서 언급되고,
Figure pct00004
가 벡터 E로 언급됨을 유의한다)에 의해 주어지며, 이는
Figure pct00005
에 의해 주어진다.
연산자
Figure pct00006
(이하 maxAj로 언급된다)
는 자연수 A1에서 Am을 참고하여 최대값을 출력하며, 여기서 θ는 도 5에 도시된 바와 같이, 열화된 매크로블록과 인접한 매크로블록 사이의 (도 5에 실선으로 표시된) 인터페이스와 관련하여 벡터 E{i}j의 각도이다. 설정하는 것은 최대 크기를 가지는 벡터를 출력하도록 연산자 max를 사용하여 여기서 행해진다. 대신에, 최소값, 평균값 또는 분산과 같은 임의 통계량이 사용될 수 있다.
추가로, 인접한 매크로블록들에 유도된 벡터 E{i}의 대표값(즉, 벡터 E)은
Figure pct00007
에 의해 유도되며, 여기서 μ는 데이터베이스(D12)에 저장된 계수이다. 설정하는 것은 최대 크기를 가지는 벡터를 출력하도록 연산자 max를 사용하여 여기서 행해진다. 대신에, 최소값, 평균값, 또는 분산과 같은 임의 통계량이 사용될 수 있다. 그러나, 인접한 매크로블록이 열화되거나 또는 존재하지 않는다면, 대표값(즉, 벡터 E)를 유도하는 것을 사용하지 않는다. 어떠한 벡터 E{i}도 모든 인접한 매크로블록들에서 유도될 수 없다면, 벡터 E의 절대값은 데이터베이스(D12)에 저장된 임의 상수(예를 들어, 0)로서 정의된다. 이는 단일 프레임에 존재하는 열화된 매크로블록의 각각의 주관적 품질 상의 비디오 패턴 복잡성의 영향을 측정하도록 한다.
비디오 패턴 복잡성에 기초한 열화된 매크로블록의 주관적 품질상의 영향의 정도에서의 변화를 측정하는 기능은 인코딩된 비디오의 비트 스트링 정보만이 사용가능한 제 2 경우를 예를 들어 설명될 것이다. 제 1 경우에, 열화된 매크로블록에서의 에지의 존재/부존재가 주관적 품질이 변하도록 한다고 가정하면, 열화된 매크로블록에 인접한 매크로블록에서 열화된 매크로블록까지 에지가 연속하여 존재하는지를 추정한다. 이는 도 6, 7, 및 8을 참고로 하여 상세히 설명될 것이다.
도 6은 열화된 매크로블록 및 4 개의 인접한 매크로블록을 도시한다. 도 6이 도 4와 유사하더라도, 도 4에서의 각각의 매크로블록은 픽셀 정보로부터 형성되는 반면 도 6에서의 각각의 매크로블록은 DCT 계수들로부터 형성된다. 도 6에서의 각각의 인접한 매크로블록이 I 슬라이스 또는 I 프레임에 속한다면, 이하 설명되는 처리는 직접 수행된다. 그러나, 인접한 매크로블록들은 인접한 매크로블록들이 P 속성 또는 B 속성의 매크로블록을 포함한다면, 시계열로 가장 가깝도록 프레임에서의 동일한 공간 위치에 위치된 I 속성의 매크로블록은 대안으로서 사용될 수 있거나, 또는 처리는 임의 대안 없이 연속될 수 있다.
더 구체적으로는, 각각이 매크로블록의 DCT 계수들의 예는 도 7에 도시된 바와 같이 배열된다. x-축은 수평 주파수를 나타내고, y-축은 수직 주파수를 나타내며, z-축은 DCT 계수를 나타낸다. 도 7이 DCT가 8×8 픽셀 블록에 적용되는 경우를 설명함을 유의한다. DCT가 4×4 픽셀 블록으로 적용되는 경우, 수평 주파수 및 수직 주파수 모두는 1에서 4의 정수 범위에서 변한다. DCT가 16×16 픽셀 블록에 적용되는 경우, 수평 주파수 및 수직 주파수 모두는 1에서 16의 정수 범위에서 변한다. 즉, DCT가 n×n 픽셀 블록에 적용되는 경우, 수평 주파수 및 수직 주파수 모두는 1에서 n의 정수 범위에서 변한다.
도 8은 도 7에서의 y-축을 따른 수직 주파수 및 x-축을 따른 수평 주파수를 나타내는 도면이다. 도 8에서, x-축 y-축이 동일한 값들을 가지는 대각선 A 상의 DCT 계수 그룹의 상부에 존재하는 DCT 계수 그룹은 그룹 1로서 정의되며, 하부 측 상에 존재하는 DCT 계수 그룹은 그룹 2로서 정의된다. 그룹 1은 수직 주파수가 수평 주파수보다 더 큰 영역, 즉 수평 에지가 수직 에지보다 더 강한 영역을 나타낸다. 그룹 2는 수평 주파수가 수직 주파수보다 더 높은 영역, 즉 수직 에지가 수평 어제보다 더 강한 영역을 나타낸다.
도 8에서의 좌표는 (수평 주파수, 수직 주파수)에 의해 표현된다. Dpq가 좌표(p,q)에서 DCT 계수이며,
Figure pct00008
에 의해 주어진 수직 에지 Ev(즉, 벡터 Ev)의 세기 (이하 벡터 Ev의 절대값으로 언급되며,
Figure pct00009
는 벡터 Eh의 절대값으로서 언급될 것이며,
Figure pct00010
는 벡터 E의 절대값으로 언급될 것이다) 및 수평 에지 Eh(즉 벡터 Eh)의 절대값이 계산되며, 여기서 n은 에지 유도 타겟 매크로블록은 n×n 픽셀을 포함한다.
Figure pct00011
에지 세기 유도 처리를 사용하여, 벡터 Ev의 절대값은 도 6에서의 인접한 매크로블록(1 및 3)에서 유도된다. 벡터 Eh의 절대값은 도 6에서의 인접한 매크로블록(2 및 4)에 유도된다. 이들 에지의 세기는 인접한 매크로블록들의 에지의 세기의 대표값 벡터 E{i}로서 정의되며, 여기서 i는 인접한 매크로블록의 식별자(1≤i≤4)이다. 또한, 각각이 인접한 매크로블록에 유도된 벡터 E{i}의 대표값 벡터 E는
Figure pct00012
에 의해 유도되며, 여기서 μ는 데이터베이스(D12)에 저장된 계수이다. 설정하는 것은 최대 크기를 가지는 벡터를 출력하도록 연산자 max를 사용하여 여기서 행해진다. 대신에, 최소값, 평균값, 또는 분산과 같은 임의 통계량이 사용될 수 있다. 그러나, 인접한 매크로블록이 열화되거나 또는 존재하지 않는다면, 인접한 매크로블록은 벡터 E를 유도하는데 사용되지 않는다. 어떠한 벡터 E{i}도 모든 인접한 매크로블록들에서 유도될 수 없다면, 벡터 E의 절대값은 데이터베이스(D12)에 저장된 임의 상수(예를 들어, 0)로서 정의된다. 이는 단일 프레임에 존재하는 열화된 매크로블록의 각각의 주관적 품질상의 비디오 패턴 복잡성의 영향의 레벨을 측정하도록 한다.
열화 영역에 대한 가중 결정 기능 유닛(F12)에 대해, 주관적 품질상의 열화된 매크로블록 주의의 각각의 매크로블록의 움직임의 크기의 영향을 측정하는 기능은 이하 설명될 것이다. 주관적 품질상의 움직임의 크기의 영향은 움직임 벡터들의 대표값에 기초하여 결정된다. 움직임 벡터들의 대표값을 유도하는 방법은 도 9, 10, 11, 및 12를 참고로 하여 설명될 것이다.
전체 프레임의 움직임 벡터들의 대표값을 유도하는 방법을 먼저 설명할 것이다. 도 9에 도시된 바와 같이, H.264에서, 항상 전방 및 후방 프레임일 필요가 없는, 2 개의 임의 기준 프레임은 움직임 벡터를 유도하는 데 사용되도록 각각의 매크로블록/서브 매크로블록에 대해 선택될 수 있다. 이는 이론적으로 MPEG2 또는 MPEG4의 양방향 프레임에 적용가능하다. 표준화는 매크로블록들/서브 매크로블록들에 대해 설정된 움직임 벡터들의 크기들이 블록들 사이에서 비교할만하게 하도록 수행된다. 각각의 매크로블록/서브매크로블록의 움직임 벡터는 움직임 벡터 유도 타겟 프레임의 후방 프레임들 중 하나 및 전방 프레임들중 하나에 투영된다. 상세한 처리는 도 10 및 11을 참고로 하여 설명될 것이다.
도 10은 움직임 벡터 유도 타겟 프레임(s)에서의 t번째의 기준 프레임(MBst)이 프레임 s뒤의 (r+1) 번째 프레임인 경우를 설명한다. 도 10에 도시된 바와 같이,
Figure pct00013
(이하 벡터 MVst로서 언급됨)
에 의해 주어진 움직임 벡터는 움직임 벡터는 움직임 벡터 유도 타겟 프레임(s)으로부터 기준 프레임까지 존재한다. 벡터 MVst는
Figure pct00014
에 의한 움직임 벡터 유도 타겟 프레임(s) 뒤의 제 1 프레임의 벡터 MV'st 상으로 투영된다.
도 11은 움직임 벡터 유도 타겟 프레임(s)에서의 t 번째 프레임 MBst의 기준 프레임이 프레임 s의 앞의 (r+1) 번째 프레임인 경우를 설명한다. 도 11에 도시된 바와 같이, 움직임 벡터(MVst)는 움직임 벡터 유도 타겟 프레임(s)에서 기준 프레임으로 존재한다. 벡터(MVst)는
Figure pct00015
에 의해 움직임 벡터 유도 타겟 프레임(s)의 앞의 제 1 프레임이 벡터 MV'st 상으로 투영된다.
위의 처리로, 움직임 벡터 유도 타겟 프레임(s)의 각각의 매크로블록/서브 매크로블록 t(1≤t≤x)에 대해 설정된 움직임 벡터는 (s±1) 번째 프레임 상의 벡터 상으로 투영될 수 있으며, 여기서 x는 프레임 s에서의 블록의 개수이다. 움직임 벡터 유도 타겟 프레임(s)의 2 개의 기준 프레임이 존재한다면, 전술한 처리에 의해 투영된 움직임 벡터는 2 개의 기준 프레임에 대해 유도되며, 평균 벡터는 움직임 벡터 유도 타겟 프레임(s)의 각각의 블록의 MV'st로서 정의됨을 유의한다.
움직임 벡터 유도 타겟 프레임(s) 상의 유도된 벡터 MV'st를 사용하며, 벡터들의 크기의 평균은 다음 식에 의해 움직임 벡터 유도 타겟 프레임(s)의 통계량으로서 유도된다. 평균 이외에, 최대값, 최소값, 표준 편차 및 분산과 같은 다양한 종류의 통계량이 대안으로서 사용가능하다. 다음 식에서,
Figure pct00016
(이하 벡터 MV'st의 절대값으로서 언급됨)은 벡터의 크기를 나타낸다.
Figure pct00017
연산자는
Figure pct00018
(이하 aveAj로 언급됨) 자연수 A1에서 Am을 참고함으로써 평균값을 출력한다.
도 12에 도시된 바와 같이(도 12는 손실 매크로블록 가까이의 움직임 벡터 유도 타겟 매크로블록들을 나타내며, 얇은 프레임의 블록은 디코딩 성공을 나타내며, 굵은 프레임의 블록은 디코딩 실패를 나타낸다), 전체 프레임의 움직임 벡터 통계량을 유도하는 경우와 같은 동일한 처리가 열화된 매크로블록 주위의 24개의 매크로블록들에 대해 수행되며, 이에 의해 24 개의 매크로블록의 움직임 벡터의 대표값을 유도하며, 이는 각각의 열화된 매크로블록에 대해,
Figure pct00019
(벡터 MVave(t)로 이하 언급됨)
에 의해 유도된다. T는 프레임(s)에서의 열화된 매크로블록이 개수이다.
MVave(s) 및 MVave(t)를 사용하여, 열화된 매크로블록의 주관적 품질상의 손실을 가지는 매크로블록 주변에 존재하는 매크로블록 그룹의 움직임이 크기의 영향의 정도를 나타내는 가중치는
Figure pct00020
에 의해 유도되며, 여기서 α 및 β는 데이터베이스(D12)에 저장된 계수들이다. 식(16)에서의 ave에 의한 평균 연산은 최대값, 최소값 또는 임의 다른 통계량으로 교체될 수 있다.
전술한 처리는 손실 매크로블록이 P 또는 B 속성을 가지는 경우 적용된다. I 속성에 대해, Mweight는 데이터베이스(D12)에 저장된 임의 상수(예를 들어, 1)이다. 계산에 필요한 매크로블록 또는 서브 매크로블록이 열화된다면, 이의 존재는 무시되며, 통계량은 현재 매크로블록 또는 서브 매크로블록으로부터 유도된다.
열화 영역에 대해 가중 결정 기능 유닛(F12)에 대해, 주관적 품질상의 열화된 매크로블록 주의의 각각의 매크로블록의 움직임의 방향의 영향을 측정하는 기능은 이하 설명될 것이다. 주관적 품질상의 움직임의 방향의 영향의 정도는 움직임 벡터들의 대표값에 기초하여 결정된다. 움직임 벡터들의 대표값들을 유도하는 방법은 도 13을 참고로 하여 설명될 것이다.
먼저, 평가 타겟 비디오에 존재하는 모든 매크로블록들이 참고되며, 움직임 벡터 세트를 가지는 각각의 매크로블록에 대해, 영역(1에서 8)들 중 하나가 매크로블록을 포함하는 것은 도 13에 기초하여 결정된다. 움직임 벡터 0은 예로서 도시되어 있다. 움직임 벡터 0은 영역 2에 존재한다. 동일한 처리가 평가 타겟 비디오 프레임에서 모든 매크로블록들에 적용된다. 각각의 영역에 존재하는 움직임 벡터들의 개수가 카운트되며, 각각의 영역에서 존재하는 움직임 벡터들의 전체 개수 MVNNUM(1≤NUM≤8)가 유도되며, 여기서 NUM은 각각의 영역의 식별자이다. 유도된 MVNNUM에 대해, 각각의 MVNNUM의 샘플 분산 σMVN이 유도된다. 획득한 σMVN이 열화된 매크로블록의 주관적 품질상의 매크로블록의 움직임의 방향의 영향의 정도를 나타내는 가중치로서 정의된다.
열화 영역에 대한 가중 결정 기능 유닛(F12)에 대해, 열화된 매크로블록의 주관적 품질 상의 열화된 매크로블록의 발생 위치의 영향의 정도를 유도할 것이다. 도 14는 상세히 나타낸다. 도 14에 도시된 바와 같이, 수직 및 수평 길이 50% 에 대응하는 중심 영역은 관심 영역으로 설정된다. 열화된 매크로블록이 관심 영역 상에 존재한다면, 열화된 매크로블록의 주관적 품질상의 열화된 매크로블록의 발생 위치의 영향의 정도를 나타내는 가중 C는 C=c1으로 설정되며, 열화된 매크로블록이 관심있는 영역 상에 존재하지 않는다면, C=c2로 설정되고, 여기서 c1 및 c2는 데이터베이스(D12)에 저장된 상수들이다. 열화된 매크로블록의 주관적 품질상의 열화된 매크로블록의 발생 위치의 영향의 정도를 나타내는 가중 C는 평가 타겟 비디오의 각각의 매크로블록에 대해 계산된다.
열화 영역에 대한 가중 결정 기능 유닛(F12)은 주관적 품질 상의 열화 위치결정(localization)의 영향을 유도한다. 도 15에 도시된 바와 같이, (도 15에서, 얇은 프레임의 블록은 디코딩 성공을 나타내며, 굵은 프레임의 블록은 디코딩 실패를 나타낸다), 매크로블록 좌표 체계는 하부 좌측 포인트에서 원점을 설정하는 동안 X-좌표를 우측으로 Y-좌표를 좌측으로 플롯함으로써 형성되며, 각각의 매크로블록의 좌표들은 (X,Y)로서 표현된다. 열화된 매크로블록 그룹의 X-좌표 및 Y-좌표의 샘플 분산이 유도되며, 주관적 품질 상의 열화 위치결정의 영향은
L=fL(σx,σy)에 의해 계산된다.
이 경우에, fL(σx,σy)=σx×σy이다. 그러나, 곱셈 이외의 임의 연산이 수행될 수 있다. 열화 위치결정 L은 평가 타겟 비디오의 각각의 프레임에 대해 계산된다. 열화 영역에 대한 가중 결정 기능 유닛(F12)에 의해 계산되는, 각각의 블록의 벡터 E, Mweight, σMVN, C 및 L은 열화량 정보(12a)로서 단일 프레임에 대한 열화 대표값 유도 기능 유닛(F14)으로 출력된다.
열화 은폐 처리 특정 기능 유닛(F13)의 세부내용은 이하 설명될 것이다. 열화 은폐 처리 특정 기능 유닛(F13)은 데이터베이스(D13)에 저장된 열화 은폐에 대한 정보를 수신하며, 열화 은폐 처리에 의해 주관적 품질의 개선을 나타내는 파라미터를 출력한다. 주관적 품질상의 열화 은폐 처리의 영향이 주관적 품질 평가 실험의 결과에 따라 결정되는 경우를 먼저 설명할 것이다. 더 구체적으로는, 설명은 표 1 및 2를 사용하여 이루어질 것이다.
Figure pct00021
Figure pct00022
표 1에 도시된 바와 같이, 열화 은폐 처리를 적용하지 않고 평가 타겟 및 처리로서 열화 은폐 처리의 개별적 방식들은 장면 유형 및 비트 스트링 손실 패턴을 변경하는 동안 적용되며, 주관적 품질은 각각의 경우에 획득된다. 주관적 품질 평가의 스케일로서, 절대값으로서 열화된 비디오의 주관적 품질을 평가하는 절대 스케일을 사용한다. 표 1에서, MOS(Mean Opinion Score)는 주관적 품질의 예로서 사용된다. MOSefg는 장면 e(1≤e≤s), 손실 패턴 f(1≤f≤M), 및 열화 은폐 방식 g(0≤g≤N)에 대한 MOS이다. 이 경우에, g=0은 열화 은폐가 수행되지 않는 경우를 의미한다.
열화 은폐 처리를 적용하지 않고 획득한 MOS에 대한 각각의 조건 하에서 획득한 주관적 품질의 비 Wefg는 표 2에 도시된 바와 같이, 계산된다. Wefg는 장면 e(1≤e≤S), 데이터 손실 패턴 f(1≤f≤M), 및 열화 은폐 방식 g(0≤g≤N)에 대한 열화 은폐 방식 g의 주관적 품질 개선 효과를 나타낸다. 각각의 열화 은폐 방식에 대해, 장면 및 데이터 손실 패턴에 대한 주관적 품질 개선 효과를 평균화한다. 더 구체적으로는,
Figure pct00023
이 값은 각각의 열화 은폐 방식의 주관적 품질 개선 효과의 대표값으로서 정의된다. 원본 비디오의 품질로부터의 차이로서 주관적 품질을 나타내는 열화 스케일(예를 들어, DMOS)은 주관적 품질 평가 스케일로서 사용가능하다. 이는 표 3 및 4에 도시된 바와 같이, 절대 스케일처럼 유도된다.
Figure pct00024
Figure pct00025
이 경우에, 그러나, 각각의 열화 은폐 방식의 주관적 품질 개선 효과들의 대표값은 다음 방법으로 유도된다. Wg는 사용되는 균등 평가(equality assessment) 스케일의 유형에 따라 선택된다.
Figure pct00026
위에서 사용된 계수들은 데이터베이스(D13)에 저장된다.
주관적 품질 평가 실험의 결과에 따라 구성된 데이터베이스를 사용하는 것 대신에, 열화 은폐 처리 특정 기능 유닛(F13)은 픽셀 신호들로서 디코딩된 정보 또는 인코딩된 비디오의 비트 스트링을 사용하여 각각의 평가 타겟 비디오에 대한 주관적 품질 상의 열화 은폐 처리의 영향을 동적으로 추정하는 방법을 사용할 수 있다.
더 구체적으로는, 주변 에지량 및 열화 은폐 처리의 효과는 상관관계를 가진다고 공지되어 있다. 그러므로, 열화 영역에 대한 가중 결정 기능 유닛(F12)에서 열화된 매크로블록의 주관적 품질 상의 비디오 패턴 복잡성의 영향의 정도를 측정하는 기능의 제 1 또는 제 2 경우에 유도된 벡터 E를 사용하여, 열화 은폐 특성의 가중 W는
Figure pct00027
에 의해 계산되며, 여기서 ω는 데이터베이스(D13 또는 D12)에 저장된 계수이고, W는 각각의 매크로블록에 대해 유도된다. 이 경우에서만, W는 열화 영역에 대한 가중 결정 기능 유닛(F12)에 의해 계산될 수 있으며, 열화량 정보(12a)로서 단일 프레임에 대한 열화 대표값 유도 기능 유닛(F14)으로 출력된다.
열화 은폐 처리 특정 기능 유닛(F13)에 의해 유도된 각각의 매크로블로그의 Wg 또는 W는 열화 은폐 처리 정보(13a)로서 단일 프레임에 대한 열화 대표값 유도 기능 유닛(F14)으로 출력된다.
단일 프레임에 대한 열화 대표값 유도 가능 유닛(F14)의 세부사항은 이하 설명될 것이다. 단일 프레임으로터 열화 대표값 유도 기능 유닛(F14)은 열화 영역 (위치 및 카운트) 특정 기능 유닛(F11), 열화 영역에 대한 가중 결정 기능 유닛(F12), 및 열화 은폐 처리 특정 기능 유닛(F13)으로부터 출력(11a, 12a, 13a)을 출력하고, 프레임 열화 대표값(14a)으로서 주어진 프레임에서 모든 열화된 매크로블록들의 영향을 고려하여 열화 위치결정 및 열화 대표값을 출력한다. 더 구체적으로는, 가중 함수를 사용하여, 프레임 열화 대표값은
Figure pct00028
에 의해 유도되고, 여기서 τ는 데이터베이스(D14)에 저장된 계수이고, ε는 기준 블록이 P 속성, B 속성, 또는 I 속성을 가지는지 여부에 기초하여 결정된 가중이며, 열화 영역(위치 및 카운트) 특정 기능 유닛(F11)에 의해 유도된다.
Figure pct00029
(벡터 E(i)의 절대값으로서 언급됨)
은 주관적 품질상의 열화 영역에 대한 가중 결정 기능 유닛(F12)에 의해 유도된 열화된 매크로블록 i에서의 에지의 영향의 벡터 E이고, Mweight(i)는 주관적 품질 상의 열화 영역에 대한 가중 결정 기능 유닛(F12)에 의해 유도된 열화된 매크로블록(i)에서의 움직임의 크기의 영향 Mweight이고, σMVN은 주관적 품질 상의 열화 영역에 대한 가중 결정 기능 유닛(F12)에 의해 유도된 움직임의 방향의 영향이고, wg는 열화 은폐 처리 특정 기능 유닛(F13)에 의해 유도된 열화 은폐 방식 k의 주관적 품질 개선 효과이다. Wg를 대신하여,
Figure pct00030
은 식(19)로부터 얻어질 수 있고 사용되며, x는 한 프레임에 존재하는 열화된 매크로블록의 전체 개수이다. 가중 함수 WF1(w)는 임의 함수를 취할 수 있다. 이 경우에, 예를 들어,
WF1(w)=u1*log(w-u2)+u3가 사용되며, 여기서, u1, u2, u3은 데이터베이스(D14)에 저장된 계수들이다.
단일 프레임에 대한 열화 대표값 유도 기능 유닛(F14)은 또한 열화 영역(위치 및 카운트) 특정 기능 유닛(F11), 열화 영역에 대한 가중 결정 기능 유닛(F12) 및 열화 은폐 처리 특정 기능 유닛(F13)으로부터 출력(11a, 12a, 13a)에 기초하여 주어진 슬라이스에서 모든 열화된 매크로블록의 영향을 고려하여 영하 대표값 DS를 유도하는 선택적 기능을 가진다. 더 구체적으로는, 가중 함수 WF1(w)를 사용하여, 열화 대표값(DS)은
Figure pct00031
에 의해 유도되며, 여기서 SN은 한 슬라이스에 존재하는 열화된 매크로블록의 전체 개수이다. Wg 대신에,
Figure pct00032
가 사용될 수 있다. 프레임 열화 대표값(14a)은 모든 프레임에 대해 열화 대표값 유도 기능 유닛(F15)으로 출력된다.
모든 프레임에 대한 열화 대표값 유도 기능 유닛(F15)의 세부사항은 다음에 설명될 것이다. 모든 프레임에 대한 열화 대표값 유도 기능 유닛(F15)은 평가 타겟 비디오에서 존재하는 모든 프레임의 열화 위치결정 및 열화 대표값을 수신하며, 이는 단일 프레임에 대한 열화 대표값 유도 기능 유닛(F14)으로부터 출려되며, 모든-프레임 열화 대표값(15a)으로서 평가 타겟 비디오의 열화 대표값 D를 출력한다. 가중 함수 WF2(w)를 사용하여, 열화 대표값 D는
Figure pct00033
에 의해 유도되며, 여기서 Lf는 주관적 품질상의 프레임 f에서 열화 위치결정이 영향이며, 이는 열화 영역에 대한 가중 결정 기능 유닛(F12)에 의해 유도된다. 가중 함수 WF2(w)는 임의 함수를 취할 수 있다. 이 경우에, 예를 들어,
WF2(w)= h1*log(w-h2)+h3가 사용되며, 여기서, h1, h2, 및 h3가 데이터베이스(D15)에 저장된 계수들이며, F는 평가 타겟 비디오에 존재하는 프레임의 전체개수이다. Ds는 Df 대신에 사용될 수 있다. 이 경우에, 평가 타겟 비디오의 열화 대표값 D는
Figure pct00034
에 의해 유도되며, 여기서 ASN은 평가 타겟 비디오에 존재하는 슬라이스의 전체개수이다. 모든-프레임 열화 대표값(15a)은 주관적 품질 추정 기능 유닛(F17)으로 출력된다.
인코딩 열화에 대한 주관적 품질 추정 기능 유닛(F16)의 사항은 설명될 것이다. 인코딩 열화에 대한 주관적 품질 추정 기능 유닛(F16)은 인코딩에 의해 야기된 비디오 열화만을 고려하며 유도 주관적 품질 Ecoded의 기능을 가진다. 기능 유닛(F16)은 인코딩 주관적 품질(16a)로서 임이 통상적 방법이 출력을 사용할 수 있다. Ecoded는 데이터베이스(D16)에 저장될 수 있고, 인코딩 주관적 품질(16a)로서 출력한다.
인코딩 열화에 대한 주관적 품질 추정 기능 유닛(F16) 및 모든 프레임에 대한 열화 대표값 유도 기능 유닛(F15)으로부터의 출력을 수신하고, 패킷 손실 및 인코딩에 의해 야기된 비디오에 관련하여 주관적 품질 Eall를 출력하는 주관적 품질 추정 기능 유닛(F17)에 대한 세부사항은 이하 설명될 것이다. 함수 ev(x,y)를사용하여, 주관적 품질 추정 기능 유닛(F17)은
Eall=ev(Ecoded, D)
에 의해 주관적 품질 Eall을 유도한다.
함수 ev(v1,v2)는 임의 함수를 취할 수 있다. 이 경우에, 예를 들어,
ev(v1,v2)=l1 (v1/v2)+l2
가 사용되며, 여기서 l1 및 l2는 데이터베이스(D17)에 저장된 계수들이다.
위에서 설명된 방식으로, 손실이 인코딩된 비트 스트링에서 발생하는 경우, 비디오의 주관적 품질은 정확하고 효율적으로 추정될 수 있다.
(도 2 실시예)
이 실시예에서, 열화 은폐 처리의 영향을 나타내는 파라미터 Wg를 유도하는 방법을 제외하는 제 1 실시예에서와 같은 동일한 처리가 수행된다. 공간 방향에서 열화 은폐 처리의 영향을 나타내는 WgS 및 시간 방향에서의 열화 은폐 처리의 영향을 나타내는 WgT를 사용하여, Wg는
Wg=ω1×WgS×SgT+ω2×WgS+ω3×WgT에 의해 유도되며, 여기서 ω1, ω2, 및 ω3는 데이터베이스(D13)에 저장된 계수들이다.
공간 방향에서 열화 은폐 처리의 영향을 나타내는 Wgs를 유도하는 방법은 도 17을 참고로 하여 설명될 것이다. 도 17에서의 매크로블록들의 개수 및 슬라이스 형태는 단지 예이다.
Wgs를 유도하는 경우, 도 17에 도시된 단일 프레임에서 열화 영역에 수직으로, 수평으로, 비스듬히 인접한 주변 매크로블록들(도 17에서의 매크로블록(13, 14, 15, 23, 25, 26, 33, 36, 43, 44, 45 및 46))에 집중되어 있다. 각각의 주변 매크로블록과 모든 인접한 주변 매크로블록들 사이의 유사성이 계산된다. 이 실시예에서, 2 개의 매크로블록의 모든 픽셀의 휘도 정보의 평균 제곱 오차(mean square error)가 유사성으로 사용된다. 그러나, 유사성이 항상 이 방법에 의해 유도될 필요는 없으며, 모든 공지된 유사성 유도 알고리즘이 사용가능하다. 이 실시예에서, 더 구체적으로는, 매크로블록(1) 및 매크로블록(2)이 존재하는 경우, 유사성은
Figure pct00035
에 의해 유도되며, 여기서, P1i 및 Pl2는 매크로블록(1 및 2)에서의 동일한 공간 위치에 있는 픽셀들이다.
다음으로, 각각이 주변 매크로블록과 모든 인접한 주변 매크로블록들 사이의 유사성이 유도된다(예를 들어, 도 17에서의 주변 매크로블록(14)에 대해, 양 인접한 주변 매크로블록(13 및 15)에 대한 유사성이 유도된다). 모든 인접한 주변 매크로블록들에 대한 각각의 주변 매크로블록에 대해 유도된 유사성이 평균된다. 이 값은 주변 매크로블록의 유사성 대표값으로 정의된다. 모든 주변 매크로블록의 유사성 대표값은 단일 프레임의 유사성 Sframe을 얻기 위해 평균된다. 프레임에서 열화된 매크로블록들이 개수가 Nframe이며, wgs는
Figure pct00036
여기서, ω4, ω5, ω6, ω7 및 ω8는 데이터베이스(D13)에 저장된 계수들이다.
시간 방향에서의 열화 은폐 처리의 영향을 나타내는 WgT를 유도하는 방법은 또한 도 17을 참고로 하여 설명될 것이다. WgT를 유도하는 경우, 도 17에 도시된 단일 프레임에서 열화 영역(매크로블록 24, 34 및 35)에 수직으로, 수평으로, 비스듬히 인접한 주변 매크로블록들(도 17에서의 매크로블록(13, 14, 15, 23, 25, 26, 33, 36, 43, 44, 45 및 46))에 집중되어 있다. 동시에, 시계열로 프레임i 전 및 후 프레임 (i-1) 및 프레임 (i+1)에 집중되어 있다. 도 18에 도시된 바와 같이, (도 18에서, 블록(24)은 손실 블록이며, 블록(13, 14 및 23)은 주변 매크로블록들 중 일부이며, 좌측 상의 매크로블록(13, 14, 23, 및 24)은 프레임(i-1)에 포함되어 있으며, 중심에서 매크로블록(13, 14, 23 및 24)은 프레임 i에 포함되어 있으며, 우측 상의 매크로블록(13, 14, 23, 및 24)은 프레임(i+1)에 포함되어 있다), 움직임 벡터의 크기 및 방향은 프레임 i의 각각의 주변 매크로블록에 대해 계산된다. 동시에, 프레임 i의 주변 매크로블록의 것과 동일한 공간 위치에서 움직임 벡터의 방향 및 크기는 프레임 (i-1) 및 (i+1)에 대해 검출된다. 이 처리는 참고문헌 1에 따라 수행된다.
프레임 (i-1) 및 (i+1)의 움직임 벡터에 대해, 프레임 i의 주변 매크로블록들의 움직임 벡터의 내적이 계산된다. 예를 들어, 도 17에서의 주변 매크로블록(14)에 대해, IP14i 및 IP14 (i+1)은 유도된다. AIP14i는 IP14i 및 IP14 (i+1)의 평균값으로서 유도된다. 내적을 계산하는데 사용되는 움직임 벡터의 크기는 1로 균일하게 설정될 수 있다. 마찬가지로, AIPΔi(Δ는 주변 매크로블록 번호이다)는 프레임 i에서 모든 주변 매크로블록에 대해 계산된다. 모든 주변 매크로블록의 AIPΔi의 평균값은 프레임 i의 시간 방향에서 열화 은폐 처리의 영향을 나타내는 WgT=AIPi로서 정의된다. 만약, 프레임 (i-1) 및 프레임 (i+1)에서, 어떠한 움직임 벡터도 프레임 i의 주변 매크로블록에 공간적으로 대응하는 매크로블록에 대해 설정되거나, 또는 움직임 벡터가 손실된다면, WgT는 0 벡터로서 매크로블록의 움직임 벡터와 관련하여 계산될 수 있다. 이 실시예에서, 내적을 계산하는데 사용되는 움직임 벡터는 열화된 프레임 전 및 후의 프레임으로부터 계산된다. 대신에, 내적을 계산하는데 사용되는 움직임 벡터는 2 개의 임의 프레임으로부터 계산될 수 있다.
Wgs 및 WgT가 각각의 열화된 프레임에 대해 다시 계산되는 값들임을 유의한다.
본 발명의 내용에 포함되어 있음.

Claims (19)

  1. 비디오를 보는 시청자가 경험한 비디오의 주관적 품질을 추정하며, 이에 의해 비디오의 품질을 객관적으로 평가하는 비디오 품질 객관적 평가 방법으로서,
    움직임 보상 및 DCT를 사용하여 인코딩된 비디오의 비트 스트링을 수신하는 단계;
    손실이 비디오의 수신된 비트 스트링에서 발생한다면, 잔존 비트 스트링 및 손실 비트 스트링을 사용하여 기결정된 연산을 수행하는 단계; 및
    기결정된 연산을 수행하는 단계의 연산 결과에 기초하여 비디오의 주관적 품질을 추정하는 연산을 수행하는 단계를 포함하며,
    기결정된 연산을 수행하는 단계에서, 비트 스트링에서 보존된 손실 블록의 시계열 위치 정보 및 공간 위치 정보 중 하나가 추출되며, 그리고
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질은 추출된 공간 위치 정보 또는 시계열 위치 정보에 기초하여 추정되는 비디오 품질 객관적 평가 방법.
  2. 제 1 항에 있어서,
    기결정된 연산을 수행하는 단계에서, 손실이 움직임 보상 기능을 사용하여 또다른 블록에 의해 참고되는 기준 블록의 비트 스트링에서 발생한다면, 기준 불록의 비트 스트링의 손실에 의해 손실 기준 블록을 참고하는 블록에 주어진 손실은 수량화되며, 그리고
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질은 기결정된 연산을 수행하는 단계의 연산 결과에 기초하여 추정되는 비디오 품질 객관적 평가 방법.
  3. 제 1 항에 있어서,
    기결정된 연산을 수행하는 단계에서, 인코딩 처리에 의해 열화된 주관적 품질은 비트 스트링의 손실의 경우에 주관적 품질의 최대값으로서 정의되는 비디오 품질 객관적 평가 방법.
  4. 제 1 항에 있어서,
    기결정된 연산을 수행하는 단계에서, 비트 스트링의 손실 블록들의 개수에 가중치(weight)를 적용하여 얻은 값은 단일 프레임에서 발생하는 열화의 대표값으로서 계산되며, 그리고
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 계산된 값은 주관적 품질을 추정하는데 사용되는 비디오 품질 객관적 평가 방법.
  5. 제 4 항에 있어서,
    기결정된 연산을 수행하는 단계에서, 단일 프레임에서 발생하는 열화의 대표값은 비디오의 모든 프레임들에 대해 유도되며, 값이 대표값에 가중치를 적용하여 계산되고, 그리고
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 계산된 값은 주관적 품질을 추정하는 데 사용되는 비디오 품질 객관적 평가 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    기결정된 연산을 수행하는 단계에서, 주관적 품질을 추정하는데 사용되는 가중치는 움직임 벡터 데이터, 비디오 재생 단말기에 의해 수행되는 열화 은폐 처리, 열화가 발생된 위치, 및 DCT 계수들 중 하나, 또는 로컬 픽셀 정보, 또는 이들의 조합에 따라 결정되는 비디오 품질 객관적 평가 방법.
  7. 제 6 항에 있어서,
    기결정된 연산을 수행하는 단계에서, 움직임 벡터 데이터의 통계량으로서, 프레임에서 모든 매크로블록 또는 일부 매크로블록의 움직임 벡터들의 크기 또는 방향과 관련한 통계량이 사용되는 비디오 품질 객관적 평가 방법.
  8. 제 6 항에 있어서,
    기결정된 연산을 수행하는 단계에서, DCT 계수들의 통계량으로서, 프레임에서 모든 매크로블록 또는 일부 매크로블록의 DCT 계수들의 통계량이 사용되는 비디오 품질 객관적 평가 방법.
  9. 제 6 항에 있어서,
    미리 주관적 품질 평가 실험을 하여 다양한 종류의 열화 은폐 처리에 의해 주관적 품질 개선량을 측정하고, 데이터베이스를 생성하는 단계를 더 포함하고,
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오 품질을 객관적으로 평가하는 경우, 데이터베이스를 참고하며, 각각의 열화 은폐 처리로 조정된 주관적 품질이 유도되는 비디오 품질 객관적 평가 방법.
  10. 제 6 항에 있어서,
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 열화 은폐 처리에 의한 주관적 품질 개선량은 로컬 픽셀 신호들로서 디코딩된 정보 또는 인코딩된 비디오의 비트 스트링을 사용하여 추정되는 비디오 품질 객관적 평가 방법.
  11. 제 6 항에 있어서,
    기결정된 연산을 수행하는 단계에서, 로컬 픽셀 정보로서, 손실 비트 스트링에 포함된 매크로블록 가까이의 매크로블록의 픽셀 정보가 사용되는 비디오 품질 객관적 평가 방법.
  12. 제 1 항에 있어서,
    기결정된 연산을 수행하는 단계에서, 손실 비트 스트링에 보존된 정보가 인코딩 제어 정보라면, 인코딩 제어 정보에 의해 주어진 주관적 품질 상의 영향의 정도가 계산되며, 그리고
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질은 기결정된 연산을 수행하는 단계의 연산 결과에 기초하여 추정되는 비디오 품질 객관적 평가 방법.
  13. 제 1 항에 있어서,
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하기 위해 비디오 품질을 객관적으로 평가하는 경우, 평가식은 인코딩 방법, 프레임 레이트 및 비디오의 해상도 중 하나에 따라 최적화되는 비디오 품질 객관적 평가 방법.
  14. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    블록은 프레임, 슬라이스, 매크로블록 및 서브 매크로블록 중 하나인 비디오 품질 객관적 평가 방법.
  15. 비디오를 보는 시청자가 경험한 비디오의 주관적 품질을 추정하며, 이에 의해 비디오의 품질을 객관적으로 평가하는 비디오 품질 객관적 평가 장치로서,
    움직임 보상 및 DCT를 사용하여 인코딩된 비디오의 비트 스트링을 수신하는 수신 유닛;
    손실이 비디오의 수신된 비트 스트링에서 발생한다면, 잔존 비트 스트링 및 손실 비트 스트링을 사용하여 기결정된 연산을 수행하는 산술 유닛; 및
    기결정된 연산을 수행하는 단계의 연산 결과에 기초하여 비디오의 주관적 품질을 추정하는 연산을 수행하는 추정 유닛을 포함하고,
    상기 산술 유닛은 비트 스트링에 보존된 프레임, 슬라이스, 매크로블록 및 서브 매크로블록 중 하나의 공간 손실 위치 정보 및 시계열 손실 위치 정보 중 하나를 추출하고, 그리고
    상기 추정 유닛은 추출된 공간 위치 정보 또는 시계열 위치 정보에 기초하여 비디오의 주관적 품질을 추정하는 비디오 품질 객관적 평가 장치.
  16. 컴퓨터가:
    움직임 보상 및 DCT를 사용하여 인코딩된 비디오의 비트 스트링을 수신하는 처리;
    손실이 비디오의 수신된 비트 스트링에서 발생한다면, 비트 스트링에 보존된 프레임, 슬라이스, 매크로블록 및 서브 매크로블록 중 하나의 공간 손실 위치 정보 및 시계열 손실 위치 정보 중 하나를 추출하는 처리, 및
    추출된 공간 위치 정보 또는 시계열 위치 정보에 기초하여 비디오의 주관적 품질을 추정하는 처리를 수행하도록 하는 프로그램.
  17. 제 6 항에 있어서,
    주관적 품질을 추정하는 연산을 수행하는 단계에서, 열화 은폐 처리에 의한 주관적 품질 개선량은 시간 방향에서의 열화 은폐 처리의 영향을 표현하는 값 및 공간 방향에서 열화 은폐 처리의 영향을 표현하는 값을 사용하여 추정되는 비디오 품질 객관적 평가 방법.
  18. 제 17 항에 있어서,
    공간 방향에서 열화 은폐 처리의 영향을 표현하는 값은 열화 영역의 크기 및 열화 영역 주위의 유사성을 사용하여 계산되는 비디오 품질 객관적 평가 방법.
  19. 제 17 항에 있어서,
    시간 방향에서의 열화 은폐 처리의 영향을 표현하는 값은 프레임들 사이의 움직임 벡터의 방향 및 크기의 변화를 사용하여 계산되는 비디오 품질 객관적 평가 방법.
KR20107020798A 2008-03-21 2009-03-23 비디오 품질의 객관적 평가 방법, 장치 및 프로그램 KR20100116216A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008074576 2008-03-21
JPJP-P-2008-074576 2008-03-21
JPJP-P-2009-041462 2009-02-24
JP2009041462A JP2009260941A (ja) 2008-03-21 2009-02-24 映像品質客観評価方法、映像品質客観評価装置、及びプログラム

Publications (1)

Publication Number Publication Date
KR20100116216A true KR20100116216A (ko) 2010-10-29

Family

ID=41091063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20107020798A KR20100116216A (ko) 2008-03-21 2009-03-23 비디오 품질의 객관적 평가 방법, 장치 및 프로그램

Country Status (7)

Country Link
US (1) US20110026585A1 (ko)
EP (1) EP2257077A4 (ko)
JP (1) JP2009260941A (ko)
KR (1) KR20100116216A (ko)
CN (1) CN101978701A (ko)
BR (1) BRPI0908561A2 (ko)
WO (1) WO2009116667A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101277341B1 (ko) * 2011-12-27 2013-06-20 연세대학교 산학협력단 영상 시퀀스의 화질 측정 방법, 영상 프레임의 화질 측정 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275038B2 (en) * 2009-11-30 2012-09-25 Faraday Technology Corp. Motion detecting method and motion detector
JP5670551B2 (ja) * 2010-04-30 2015-02-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオストリームの品質を評価する方法と装置
KR101279705B1 (ko) 2011-12-22 2013-06-27 연세대학교 산학협력단 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법
CN104754343B (zh) * 2013-12-27 2019-07-19 财团法人工业技术研究院 图像处理方法与系统、解码方法、编码器与解码器
CN103945218B (zh) * 2014-04-25 2016-01-13 厦门大学 一种基于双眼视觉融合的立体图像质量评测方法
CN104159104B (zh) * 2014-08-29 2016-02-10 电子科技大学 基于多级梯度相似的全参考视频质量评估方法
KR102264840B1 (ko) * 2014-11-27 2021-06-15 삼성전자주식회사 비디오 프레임 인코딩 회로, 그것의 인코딩 방법 및 그것을 포함하는 비디오 데이터 송수신 장치
KR102236561B1 (ko) * 2014-12-31 2021-04-07 삼성디스플레이 주식회사 열화 보상 장치, 이를 포함하는 표시 장치 및 열화 보상 방법
US20230095350A1 (en) * 2021-09-17 2023-03-30 Smart Science Technology, LLC Focus group apparatus and system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
JP2000341688A (ja) * 1999-05-31 2000-12-08 Ando Electric Co Ltd 動画通信品質判定装置
US6822675B2 (en) * 2001-07-03 2004-11-23 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
FR2847412B1 (fr) * 2002-11-15 2005-01-14 Telediffusion De France Tdf Procede et systeme de mesure des degradations d'une image video introduites par les systemes de diffusion numerique
KR100798834B1 (ko) * 2003-08-22 2008-01-28 니뽄 덴신 덴와 가부시키가이샤 영상품질 평가장치, 영상품질 평가방법, 영상품질 평가프로그램을 기록한 기록매체
EP1779673A1 (en) * 2004-07-15 2007-05-02 Qualcomm Incorporated H.264 spatial error concealment based on the intra-prediction direction
CA2582531C (en) * 2004-10-18 2013-03-12 Nippon Telegraph And Telephone Corporation Video quality objective evaluation device, evaluation method, and program
WO2006078595A2 (en) * 2005-01-18 2006-07-27 Thomson Licensing Method and apparatus for estimating channel induced distortion
JP4514155B2 (ja) * 2005-03-04 2010-07-28 日本電信電話株式会社 映像品質評価装置、方法およびプログラム
JP4482031B2 (ja) * 2005-07-11 2010-06-16 日本電信電話株式会社 映像整合装置、方法、およびプログラム
CN101411171B (zh) * 2006-01-31 2013-05-08 艾利森电话股份有限公司 非侵入信号质量评测的方法和设备
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
CN101087438A (zh) * 2006-06-06 2007-12-12 安捷伦科技有限公司 计算无参考视频质量评估的分组丢失度量的系统和方法
US8159960B2 (en) * 2006-12-18 2012-04-17 Verizon Patent And Licensing Inc. Content processing device monitoring
US20100053300A1 (en) * 2007-02-02 2010-03-04 Einarsson Torbjoern Method And Arrangement For Video Telephony Quality Assessment
KR20090063406A (ko) * 2007-12-14 2009-06-18 삼성전자주식회사 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101277341B1 (ko) * 2011-12-27 2013-06-20 연세대학교 산학협력단 영상 시퀀스의 화질 측정 방법, 영상 프레임의 화질 측정 장치 및 방법

Also Published As

Publication number Publication date
JP2009260941A (ja) 2009-11-05
US20110026585A1 (en) 2011-02-03
BRPI0908561A2 (pt) 2019-09-24
WO2009116667A1 (ja) 2009-09-24
CN101978701A (zh) 2011-02-16
EP2257077A1 (en) 2010-12-01
EP2257077A4 (en) 2011-02-16

Similar Documents

Publication Publication Date Title
KR20100116216A (ko) 비디오 품질의 객관적 평가 방법, 장치 및 프로그램
AU2011381970B2 (en) Video quality measurement
KR101558636B1 (ko) 비디오 품질 측정 방법
US20110255589A1 (en) Methods of compressing data and methods of assessing the same
Lin et al. No-reference video quality assessment in the compressed domain
US20130293725A1 (en) No-Reference Video/Image Quality Measurement with Compressed Domain Features
EP1958454A2 (en) Video quality measurement
Moorthy et al. Efficient video quality assessment along temporal trajectories
EP2856766A1 (en) Methods and apparatus for providing a presentation quality signal
EP2649801A1 (en) Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
Nur Yilmaz A no reference depth perception assessment metric for 3D video
US8644388B2 (en) Method and device for approximating a DC coefficient of a block of pixels of a frame
Aabed et al. PeQASO: perceptual quality assessment of streamed videos using optical flow features
Liu et al. Hybrid no-reference video quality assessment focusing on codec effects
Hu et al. In-loop perceptual model-based rate-distortion optimization for HEVC real-time encoder
Zhang et al. Compressed-domain-based no-reference video quality assessment model considering fast motion and scene change
Oelbaum et al. A reduced reference video quality metric for AVC/H. 264
Jung Comparison of video quality assessment methods
Shahid et al. Perceptual quality estimation of H. 264/AVC videos using reduced-reference and no-reference models
Yamada et al. Video-quality estimation based on reduced-reference model employing activity-difference
Zhu et al. Spatial quality index based rate perceptual-distortion optimization for video coding
Cheng et al. Reference-free objective quality metrics for MPEG-coded video
Ben Amor et al. A no reference quality metric to measure the blocking artefacts for video sequences
Søgaard et al. No-reference video quality assessment using MPEG analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee