KR20140022065A

KR20140022065A - 비트스트림 레벨로 비디오 품질을 추정하는 방법 및 장치

Info

Publication number: KR20140022065A
Application number: KR1020137029708A
Authority: KR
Inventors: 닝 리아오; 시아오 동 구; 지보 첸; 카이 시에
Original assignee: 톰슨 라이센싱
Priority date: 2011-05-12
Filing date: 2011-05-12
Publication date: 2014-02-21
Also published as: AU2011367779B2; WO2012151719A1; AU2011367779A1; CN103548342A; EP2708028B1; BR112013028991A2; CN103548342B; EP2708028B8; US9549183B2; JP5911563B2; EP2708028A1; EP2708028A4; US20140219350A1; JP2014519735A

Abstract

비트스트림 레벨로 비디오 품질을 추정하는 방법 - 비디오 품질은 오차 은폐(error concealment) 후의 비디오를 참조하며, 이 방법은 상기 오차 은폐 전의 비트스트림 레벨로 수행됨 - 은, 비디오 비트스트림으로부터 복수의 글로벌 조건 특징들을 추출 및/또는 계산하는 단계; 적어도 손실된 MB에 대한 복수의 로컬 유효성 특징들을 추출 및/또는 계산하는 단계; 상기 오차 은폐에 사용되는 오차 은폐 방법을 에뮬레이팅함으로써 MB 각각(또는 적어도 손실된 MB 각각)에 대한 수치 오차 은폐 유효성 레벨을 계산하는 단계; 및 계산된 오차 은폐 유효성 레벨을 비디오 품질의 추정된 가시성 아티팩트 레벨로서 제공하는 단계를 포함한다.

Description

비트스트림 레벨로 비디오 품질을 추정하는 방법 및 장치{METHOD AND DEVICE FOR ESTIMATING VIDEO QUALITY ON BITSTREAM LEVEL}

본 발명은 지각된 비디오 품질을 특히, 비디오 디코딩 전의 비트스트림 레벨로 추정하는 방법 및 장치에 관한 것이다.

이 섹션은 이하 설명되고/거나 주장되는 본 발명의 다양한 양태와 관련된 것일 수 있는 다양한 기술 양태를 독자에게 소개하기 위한 것이다. 이러한 설명은 본 발명의 다양한 양태를 더 잘 이해할 수 있도록 배경 정보를 독자에게 제공하는데 도움이 될 것이다. 따라서, 종래 기술을 받아들이는 것이 아니라, 이러한 관점에서 이들 내용을 읽어야 한다는 점이 이해되어야 한다.

IP 네트워크를 통한 비디오 전달은 신뢰할 수 없다. 비디오 품질 모델링(VQM:video quality modeling)의 요구사항은 비디오 압축으로 인한 품질 저하뿐 아니라, IP 전송 장애(예를 들어, 패킷 손실, 딜레이(delay), 지터(jitter))로 인한 품질 저하를 평가(rate)하는 것이다. 그 결과가 관측자에 의해 지각되는 비디오 품질에 관한 것이어야 하기 때문에, 이러한 아티팩트(artifact)들은 디코더에서 오차 은폐(EC:error concealment)를 적용한 후 평가된다. EC의 목적은 최소 정도의 지각 품질 저하를 제공하기 위해 비트 삭제(bit-erasure) 또는 패킷 손실로 인해 일어나는 누락된 매크로블록(MB:macroblock)들을 추정하는 것이다. 따라서, EC 유효성의 정확한 예측은 전송 장애를 측정하는 VQM의 기본적인 부분이다.

EC 방법들은 공간적(즉, 주로 I-프레임들을 위한 2중 선형 보간법(bilinear interpolation))이거나 시간적(즉, 주로 B-프레임 및 P-프레임들을 위한 손실 모션 벡터들(MV:motion vector)의 추정)이다. VQM 기술들은 패킷-층 모델, 비트스트림-레벨 모델, 미디어 레벨 모델, 및 하이브리드 모델로 카테고리화될 수 있다. ITU-T SG12/Q14는 비트스트림-레벨 무-기준 비디오 품질(VQ) 평가 모델(bitstream-level no-reference video quality (VQ) assessment model)을 고려하여 모바일 스트리밍 및 IPTV 애플리케이션들의 품질에 대한 관찰된 코딩 및 IP 네트워크 장애의 영향을 예측한다. 비트스트림 정보와, 패킷 헤더들에 포함된 정보, 미디어 스트림에 대한 종래 지식, 및 클라이언트로부터의 버퍼링 정보를 사용하여 평균 평가점(Mean Opinion Score(MOS))을 예측한다.

J. Zhejiang Univ.-Sci. A, Vol. 7, pp. 131-136 (Jan.2006)에 실린 "Evaluation of packet loss impairment on streaming video"에서, H. Rui, C. Li, 및 S. Qiu는 패킷 손실의 힌트로서 강한 공간적 불연속성을 사용하고, 디코딩된 픽셀 정보에 기반하는 VQM 모델을 제안한다. 그러나, 이러한 정보는 비트스트림 레벨에 이용될 수 없다.

Packet Video, 288-293, (2007)에 실린 "No-reference video quality estimation based on error-concealment effectiveness"에서, T. Yamada, Y. Miyamoto, 및 M. Serizawa는 비트스트림 레벨 정보 및 디코딩된 픽셀 정보를 사용하여 무-기준 하이브리드(no-reference hybrid) VQM을 설명한다. 오차 은폐가 효과가 없다고 판단되는 MB들의 개수를 MOS 값에 매핑한다.

앞선 방법들의 문제점은 손실된 MB가 고정적이지 않은 경우 잘 작용하지 않는다는 점이며, 이러한 문제는 실제 비디오 시퀀스에 자주 일어난다.

IEEE Transactions on Multimedia, 6(2), 327-334, (2004)에 실린 "Quality monitoring of video over a packet network"에서, A. R. Reibman, V. A. Vaishampayan, 및 Y. Sermadevi는 무-기준 비트스트림 레벨 VQM을 사용하여 전송 장애의 경우 EC 비디오 시퀀스의 평균 제곱 오차(MSE:Mean Squared Error)를 추정한다. (I-프레임 MB들의 DCT의 DC 성분 및 AC 성분, P-MB 및 B-MB의 모션 벡터들과 같은) 매크로블록에 기반하여 수신된 비디오 비트스트림으로부터의 일부 통계적인 파라미터들의 추정치들이 사용된다. 이 모델의 하나의 문제점은 주관적 MOS를 대신하여, 목표 시각 품질 메트릭(metric)으로서 평균 제곱 오차(MSE)를 사용한다는 점이다. MSE가 주관적 비디오 품질, 특히 전송 장애로 인한 품질 저하를 측정하기 위해 우수한 메트릭이 아니라는 점이 널리 공지되어 있다.

픽셀 보간 기반 EC 방식에 의해 생성된 가시성 아티팩트(visible artifact)와 모션 벡터(MV) 추정 기반 EC 방식에 의해 생성된 가시성 아티팩트는 매우 상이하다. 일반적으로, 공간적 접근법은 누락 MB의 모호한 추정치들을 생성하고, 시간적 접근법은 덜 간섭하거나 볼 수 없는 에지 아티팩트들을 생성한다.

본 발명은 비트스트림-레벨 VQM 모델의 기본적으로 중요한 부분인 비트스트림-레벨 EC 유효성 평가 방법 및 대응 장치를 제공한다. 이러한 방법 및 장치는 일반적으로 네트워크 전송 장애로 인한 지각적 비디오 품질 저하의 무-기준 VQM 측정에 적어도 사용될 수 있다. 특히, 이러한 방법 및 장치는 인터넷 프로토콜(IP) 네트워크 전송 장애의 경우에 유리하다.

본 발명에 따르면, EC 유효성을 반영하는 가시성 아티팩트 레벨을 평가하는 방식은 비트스트림 레벨로 코딩된 비디오의 복수의 로컬 특징(여기서 유효성 특징이라고도 지칭됨) 및 복수의 글로벌 특징(여기서 조건 특징이라고도 지칭됨)을 추출하는 단계, 및 디코더에서 사용된 특정 오차 은폐 방법의 프로세스를 에뮬레이팅함으로써 EC 유효성의 수치 레벨을 계산하는 단계를 포함한다.

복수의 유효성 특징은 예를 들어, 공간적 모션 동질성(spatial motion homogeneity), 시간적 모션 일치성(temporal motion consistence), 텍스처 평탄성(texture smoothness), 및 하나 이상의 전용 인코딩 모드들의 확률의 그룹으로부터 기원한다. 일 실시예에서, 3개의 유효성 특징, 즉 공간적 모션 동질성, 시간적 모션 일치성, 및 텍스처 평탄성이 추출된다.

복수의 조건 특징은 수신된 비트스트림으로부터 계산되는 바와 같은 각 프레임의 글로벌 특징들이다. 이들은 어느 타입의 EC 방법이 전송 손실 후에 프레임에 사용되는지를 판단하거나 추정하기 위한 조건 역할을 한다. 예시적인 조건 특징들은 프레임 타입, 인트라-MB(intra-MB)/인터-MB(inter-MB)의 비, 모션 인텍스, 및 텍스처 인덱스이다. 텍스처 인덱스는 임의의 공지된 텍스처 분석법에 기반할 수 있는데, 예를 들어, DC 계수 및/또는 선택된 AC 계수들을 임계치와 비교한다. 일 실시예에서, 이들 조건 특징 중 4개 모두가 각각 추출 또는 계산된다.

사용된 특징들 모두는 비트스트림 레벨로, 즉 비트 스트림을 픽셀 영역(domain)으로 디코딩하지 않고, 코딩된 비디오로부터 추출되는 데이터에 기반한다. 이는 복잡한 비디오 디코딩 프로세스가 포함되지 않고 단지 비디오 구문 분석만이 요구되기 때문에 비디오 품질 평가 모드의 계산 복잡성이 낮게 유지된다는 이점을 갖고, 한편 비디오 콘텐츠 특징, 코딩 특징, 및 디코더 특징이 고려되기 때문에 모델의 비디오 품질 예측 정확성이 개선된다. 다른 이점은 그 결과가 실제 사용되는 디코더와 독립적이어서 객관적이므로 다양한 결과들이 비교 가능하다는 점이다.

일 실시예에서, 손실되거나 부정확한 MB에 대해 계산된 공간적 모션 동질성은 인접하고 있는 정확한 MB들의 MV들로부터 획득된다. 일 실시예에서, 시간적 모션 일치성은 MV 균일성(MV uniformity)으로부터 획득된다. 일 실시예에서, 텍스처 평탄성은 인접한 MB들의 DCT 계수로부터 I-프레임에 대해서만 계산된다. 일 실시예에서, MB에 대한 인터-스킵 모드 비(inter-skip mode ratio) 및/또는 인터-다이렉트 모드 비(inter-direct mode ratio)는 인접한 MB들의 4x4 블록들로부터의 데이터에 기반한다.

일 실시예에서, 비디오 품질을 추정하는 방법 - 비디오 품질은 오차 은폐(EC) 후의 비디오를 참조하며, 이 방법은 상기 EC 전의 비트스트림 레벨로 수행됨 - 은 비디오 비트스트림으로부터 복수의 글로벌 조건 특징들을 추출 및/또는 계산하는 단계; 매크로블록(MB)이 손실된 것으로 판정하는 단계; 적어도 손실된 MB에 대한 복수의 로컬 유효성 특징을 추출 및/또는 계산하는 단계; 상기 EC에 사용되는 EC 방법을 에뮬레이팅함으로써 MB 각각(또는 적어도 손실된 MB 각각)에 대한 수치 EC 유효성 레벨을 계산하는 단계; 및 계산된 EC 유효성 레벨을 비디오 품질의 추정된 가시성 아티팩트 레벨로서 제공하는 단계를 포함한다.

일 실시예에서, 비디오 품질을 추정하는 장치 - 비디오 품질은 오차 은폐 후의 비디오를 참조하며, 상기 오차 은폐 전의 비트스트림 레벨로 추정됨 - 는, 비디오 비트스트림으로부터 복수의 글로벌 조건 특징을 추출 및 계산하는 제1 추출 및 계산 수단; 매크로블록(MB)이 손실된 것으로 판정하는 판단 수단; 적어도 손실된 MB에 대한 복수의 로컬 유효성 특징을 추출 및 계산하는 제2 추출 및 계산 수단; 오차 은폐 방법을 에뮬레이팅함으로써 MB 각각(또는 적어도 손실된 MB 각각)에 대한 수치 EC 유효성 레벨을 계산하는 계산 수단; 및 계산된 오차 은폐 유효성 레벨을 비디오 품질의 추정된 가시성 아티팩트 레벨로서 제공하는 출력 수단을 포함한다.

본 발명의 유리한 실시예들은 종속항, 다음의 상세한 설명, 및 도면들에 개시되어 있다.

본 발명의 예시적인 실시예들은 다음의 첨부 도면을 참조하여 설명된다.
도 1은 VQM 및 아티팩트 타입의 개요이다.
도 2는 제안된 방식의 블록도이다.
도 3은 EC 유효성 특징의 추출 및 조건 특징의 추출의 블록도이다.
도 4는 손실된 MB 및 그의 이웃(neighbor) MB를 도시한다.
도 5는 H.264에서 인트라_4x4 및 인트라_8x8 예측 모드 방향을 도시한다.

유무선 IP 네트워크를 통한 비디오 통신(예를 들어, IPTV 서비스)은 매우 인기가 높아지고 있다. 케이블 네트워크를 통한 전통적인 비디오 전송에 비해, IP 네트워크를 통한 비디오 전달은 훨씬 덜 신뢰할 수 있다. 이러한 상황은 무선 네트워크 환경에서 훨씬 좋지 않다. 대응적으로, 비디오 품질 모델링(VQM)이 비디오 압축으로 인한 품질 저하뿐 아니라, IP 전송 장애(예를 들어, 패킷 손실, 딜레이, 지터)로 인한 품질 저하를 평가하는 것이 바람직할 수 있다. 도 1에 도시된 바와 같이, 전송 및 비디오 코딩으로부터 개별적으로 기인하는 가시성 아티팩트들의 2개의 카테고리, 즉 전송 장애/네트워크 장애(50) 및 코딩 아티팩트(60)가 존재한다.

코딩 아티팩트만을 측정하는 VQM과 비교하여, 네트워크 장애로 인한 지각 아티팩트를 측정하는 VQM에 특수한 하나의 도전 과제는 디코더에서 오차 은폐를 적용한 후 아티팩트들을 평가한다는 것이다. 코딩된 비디오 비트스트림의 일부 부분들이 네트워크 전송 중에 손실되는 경우, 디코더는 지각적인 비디오 품질 저하를 감소시키기 위한 노력으로 오차 은폐(EC) 방법을 채택하여 손실된 부분들을 은폐할 것이다. 은폐된 손실 아티팩트가 덜 보일수록, EC 방법은 더 효과적이다. EC 유효성은 비디오 콘텐츠 특징에 크게 의존한다. EC 유효성의 평가는 패킷 손실이 일어나는 경우 초기 가시성 아티팩트(IVA:initial visible artifact) 레벨을 판단한다. 또한, IVA는 H.264, MPEG-2 등과 같은 예측 비디오 코딩 프레임워크에서 참조로서 사용하는 영역들에 시공간적으로 전파될 것이다. 요약하면, EC 유효성의 정확한 예측은 전송 장애를 측정하는 VQM의 기본적인 부분이다. VQM에 이용 가능한 입력 정보에 따라, VQM 기법들은 패킷-층 모델(10), 비트스트림 레벨 모델(20), 미디어 레벨 모델(30), 및 하이브리드 모델(40)로 카테고리화될 수 있다.

패킷-층 모델(10)은 디멀티플렉서 및 디패킷타이저(demultiplexer and de-packetizer)(11)를 포함한다. 비트스트림-레벨 모델(20)은 또한 디멀티플렉서 및 디패킷타이저(21)를 포함하지만, 코딩된 비디오 비트스트림을 위한 구문 분석기(syntax parser)(22)를 더 포함한다. 양자 모델은 비디오 디코더(25)에 들어가기 전에 비디오 신호를 고려한다. 비디오 디코더(25)는 대개 EC 유닛을 포함하거나 이에 결합된다. 따라서, 패킷-층 모델들(10) 및 비트스트림-레벨 모델들(20)은 시청자에 의해 지각되는 비디오 품질을 평가할 때 EC 유닛의 효과를 추정해야 한다. 한편, 미디어 레벨 모델들(30) 및 하이브리드 모델들(40)은 비디오 디코딩 및 EC 유닛(25) 다음에 사용된다. 하이브리드 VQM(40)은 또한 디멀티플렉서 및 디패킷타이저(41), 코딩된 비디오 비트스트림들을 위한 분석기(parser)(42), 및 EC 유닛을 포함하는 비디오 디코더(43)를 포함한다. P.NBAMS(ITU-T SG12/Q14)에 의해 고려되는 전술한 비트스트림 레벨 비디오 품질 평가 모델은 예를 들어, 미디어-층 모델(30)에 비해 경량 모델(light-weight model)이며, STB 또는 홈 게이트웨이와 같은 고객 장치를 실시간으로 모니터링하고, 이에 쉽게 배치하는데 적합하다. 후술될 비트스트림-레벨 EC 유효성 평가 방법은 비트스트림-레벨 VQM 모델(20)의 중요 부분이다.

코딩된 비디오 비트스트림의 부분들이 네트워크 전송 중에 손실되는 경우, 디코딩 및 EC 유닛(25)은 손실 부분을 은폐하기 위해 EC를 채택할 것이다. 패킷 손실에 의해 생성된 아티팩트의 정도는 채용된 EC 방식에 크게 의존한다. EC의 목적은 최소 정도의 지각 품질 저하를 제공하기 위해 비트 삭제(bit-erasure) 또는 패킷 손실로 인해 일어나는 압축된 비디오 스트림에서의 누락된 매크로블록(MB)들의 픽셀들을 추정하는 것이다. 보통, EC 방법들은 대략 2개의 카테고리, 즉 공간적 및 시간적으로 구분된다. 공간적 카테고리에서, 로컬 픽셀들 사이의 공간적 상관 관계가 활용되는데, 즉 누락 MB들이 이웃 픽셀들로부터의 보간 기법들에 의해 복구된다. 시간적 카테고리에서, 에지 교차 블록 경계(edges cross block boundary)에 따른 모션 필드의 코히어런스(coherence) 및 픽셀들의 공간적 평탄성(spatial smoothness) 양자는 손실된 MB의 모션 벡터(MV)를 추정하는데 활용된다. 예를 들어, H.264 JM 기준 디코더에서, 2중 선형 보간법을 사용함으로써 인트라-코딩된 프레임들(I-프레임들)의 손실된 MB를 추측하는데 공간적 접근법이 적용된다. 시간적 접근법은 이웃하는 MB들의 MV들로부터 손실된 MB들의 MV들을 추정함으로써 인터-예측된 프레임(P-프레임, B-프레임)에 대한 손실된 MB들을 추측하는데 적용된다. 최선의 MV 추정치를 선택하는데 경계 매칭 기준(boundary-matching criterion)이 사용된다.

픽셀 보간 기반 EC 방식에 의해 생성된 가시성 아티팩트와 모션 벡터 추정 기반 EC 방식에 의해 생성된 가시성 아티팩트는 매우 상이하다. 일반적으로, 공간적 접근법은 누락 MB의 모호한 추정치들을 생성하고, 시각적 접근법은 추측된 MV가 정확하지 않으면 에지 아티팩트들을 생성한다. 일부 다른 경우에, 시간적 접근법은 가시성 아티팩트를 거의 생성하지 않는다.

EC 유효성을 반영하면서 가시성 아티팩트들을 평가하기 위한 개시된 방식의 블록도가 도 2에 도시된다. 입력 신호(105)가 2개의 특징 추출 유닛(120 및 130)에 제공된다. 로컬 특징 추출 유닛(120)에서, EC 방법의 유효성을 반영하는 적어도 2개의 로컬 특징들은 수신된 비트스트림 정보에 기반하여 MB 각각(또는 적어도 손실된 MB 각각)에 대해 추출 및/또는 계산된다. 글로벌 특징 추출 유닛(130)에서, 각각의 프레임의 적어도 2개의 글로벌 특징들이 수신된 비트스트림으로부터 추출 및/또는 계산되며, 어느 타입의 EC 방법이 전송 손실을 갖는 프레임에 사용되는지를 판단하는데 조건으로서 사용된다. 마지막으로, 디코더에서 채용된 미리 알려진 EC 방법을 에뮬레이팅함으로써, EC 유효성의 수치 가시성 아티팩트 레벨이 MB 각각(또는 적어도 손실된 MB 각각)에 대해 EC 유효성 추정 유닛(140)에서 획득된다. 출력은 EC 유효성을 반영하는 가시성 아티팩트 레벨 값(145)이다. 디코더에서 채용되는 EC 방법은 임의의 방법을 통해, 예를 들어 자동 검출, 수동 입력, 사전 프로그래밍 등에 의해 획득될 수 있다. 또한, 디코딩 및 EC 유닛(25)에 의해 직간접적으로 제공될 수 있다.

도 3은 로컬 특징 추출 유닛(120) 및 글로벌 특징 추출 유닛(130)의 실시예들을 도시한다.

일 실시예에서, 로컬 특징 추출 유닛(120)은 상이한 유효성 특징들을 평가하기 위한 3개의 서브유닛(121 내지 123), 즉 공간적 MV 동질성(homogeneity)을 계산하기 위한 제1 서브유닛(121), 시간적 MV 균일성(uniformity)을 계산하기 위한 제2 서브유닛(122), MV 크기를 계산하기 위한 제3 서브유닛(123), 및 텍스처 평탄성(texture smoothness)을 계산하기 위한 제4 서브유닛(124)을 포함한다. 추가적으로(미도시), 인터_스킵 모드 및/또는 인터_다이렉트 모드와 같은 일정한 모드의 확률을 계산하기 위한 하나 이상의 추가 서브유닛들이 존재할 수 있다.

일 실시예에서, 글로벌 특징 추출 유닛(130)은 상이한 조건 특징들을 평가하기 위한 4개의 서브유닛(131 내지 134), 즉 프레임 타입 판단 서브유닛(131), 인트라/인터 비 검출 서브유닛(132), 모션 인덱스 판단 서브유닛(133), 및 텍스처 인덱스 판단 서브유닛(134)을 포함한다.

서브유닛들에 대한 다음의 설명에서, 프레임 인덱스는 n으로 표시되고, 프레임에서의 MB의 좌표는 (i,j)로 표시된다. 프레임 n에서 손실된 MB (i,j)에 대해, 프레임 n에 관한 조건 특징들과 MB (i,j)에 관한 로컬 특징들이 계산된다. 일 실시예에서, 조건 특징들은 로컬 특징보다 먼저 계산된다. 다음으로, 로컬 특징 판단 유닛(120)의 서브유닛들이 도 3을 참조하여 설명된다.

공간적 동질성 판단 유닛(121)은 공간적 MV 동질성을 계산한다. 일 실시예에서, 공간적 균일성을 위한 2개의 별도의 파라미터들이 다음과 같이 x방향 및 y방향에서 계산된다.

도 4b는 손실된 MB(n,i,j)를 갖는 현재의 비디오 프레임(n)의 일부를 도시한다. 도 4a는 이전 비디오 프레임(n-1)의 동일 부위를 도시하며, 도 4c는 다음 비디오 프레임(n+1)의 동일 부위를 도시한다. 손실된 MB(n,i,j) 주변의 8개의 MB 중 어느 하나가 수신 또는 복구되기만 하면, 공간적 MV 동질성을 계산하는데 모션 벡터가, 존재하는 경우, 사용된다. 이용 가능한 이웃 MB가 존재하지 않으면, 공간적 MV 균일성이 이전 기준 프레임(즉, 계층적 H.264 코딩에서 P-프레임 또는 기준 B-프레임)에 배열된(collocated) MB의 공간적 MV 균일성으로 설정된다. H.264 비디오 인코더의 경우, 하나의 MB가 모션 추정을 위한 서브-블록들로 분할될 수 있다. 이로 인해, H.264 인코더의 경우, MB의 하나의 모션 벡터 대신에, MB의 4x4 사이즈의 블록들의 16개의 모션 벡터들이 전술한 수학식에 사용될 수 있다. 각 모션 벡터는 현재 프레임부터 대응 기준 프레임까지의 거리에 의해 정규화된다. 이러한 실시가 모션 벡터들의 조작을 포함하는 다음의 계산들에 또한 적용된다. 이웃 MV들의 표준 배리언스(standard variance)가 작을수록, 이들 MB의 모션이 더 동질성이 있다. 그 결과, 일정한 타입의 모션-추정 기반 시간적 EC 방법이 여기에 적용되면, 손실된 MB는 가시성 아티팩트 없이 더 잘 은폐될 수 있다. 이러한 특징은 P-프레임들 및 B-프레임들과 같은 인터-예측 프레임들의 손실된 MB들에 적용될 수 있다. B-프레임들의 경우, 2개의 모션 필드, 즉 전방(forward) 및 후방(backward)이 존재할 수 있다. 공간적 균일성이 2개의 방향에서 개별 계산된다.

시간적 균일성 판단 유닛(122)은 시간적 MV 균일성을 계산한다. 일 실시예에서, 시간적 균일성을 위한 2개의 별도의 파라미터들이 다음과 같이 x방향 및 y방향에서 계산된다.

∈ {9개의 시간적으로 이웃하는 MB들의 위치}}

도 4에 도시된 바와 같이, 시간적 MV 균일성은 인접 프레임들에 배열된 MB들 사이의 모션 차이의 표준 배리언스로서 계산된다. 표준 배리언스가 작을수록, 시간 축에서의 이들 MB의 모션은 더 균일하며, 그 결과 모션-투영 기반 시간적 EC 방법이 여기에 적용되면, 손실된 MB는 가시성 아티팩트 없이 더 잘 은폐될 수 있다. 이러한 특징은 인트라 프레임(예를 들어, I_프레임) 및 인터-예측 프레임(예를 들어, P_프레임 및/또는 B_프레임) 양자의 손실된 MB들에 적용될 수 있다.

인접 프레임들 중 하나(예를 들어, 프레임(n+1))가 코딩된 비트스트림에 이용 가능한 MV가 존재하지 않는 인트라 프레임이면, 손실된 MB의 공간적으로 인접한 MB들(즉, 도 4b에 도시된 바와 같은 (n, i±1, j±1))의 MV들과 인터-예측 프레임(예를 들어, 프레임(n-1) 및/또는 프레임(n+1))의 시간적으로 인접한 MB들의 MV들이 시간적 MV 균일성을 계산하는데 사용된다. 즉,

∈ {8개의 이웃하는 MB들의 위치}}

MV 크기 판단 유닛(123)은 MV 크기를 계산한다. 간단한 제로 모션 복사 기반 EC 방식의 경우, MV 크기가 클수록, 손실 아티팩트는 더 잘 보일 것이다. 일 실시예에서, 이웃 MB들 및 현재 MB(손실되지 않은 경우)의 모션 벡터들의 평균이 계산된다. 즉,

∈ {9개의 시간적으로 이웃하는 MB들의 위치}}

다른 실시예에서, 이웃하는 MB들의 모션 벡터들의 중앙값(median value)의 크기는 손실된 현재 MB의 모션 크기로서 사용된다. 손실된 현재 MB가 이웃 MB들을 갖지 않으면, 손실된 현재 MB의 모션 크기는 이전 프레임에서 배열된 MB의 모션 크기로 설정된다.

텍스처 평탄성 판단 유닛(124)은 텍스처 평탄성을 계산한다. 일 실시예에서, 다음의 방법이 사용된다.

I-프레임의 경우, 정확히 수신된 MB의 텍스처 평탄성은 다음에 따른 DCT 계수들을 사용하여 계산된다.

여기서,

이고,

이면,

이고; k는 DCT 계수들의 인덱스이고, k=0은 DC 성분을 지칭하고; M은 DCT 변환의 사이즈이고; T는 0 내지 1의 범위의 임계치로서 데이터세트에 따라 경험적으로 설정된다(본 실험에서는 0.8을 취함). H.264에서, DCT 변환의 사이즈는 16×16 또는 8×8 또는 4×4일 수 있다. DCT 변환의 사이즈가 8×8(또는 4×4)이면, 일 방법에서, 전술한 수학식이 MB의 4(또는 16)개의 기본 DCT 변환 유닛에 개별적으로 적용되어 MB의 texturesmoothness는 4(또는 16)개의 기본 DCT 변환 유닛의 texturesmoothness 값들의 평균이다. 다른 방법에서, 4×4 DCT 변환의 경우, 4×4 아다마르 변환(Hadamard transform)이 16개의 기본 4×4 DCT 계수 유닛들의 동일한 성분으로 구성된 16개의 4×4 어레이에 적용된다. 8×8 DCT 변환의 경우, 하르 변환(Haar transform)이 64개의 8×8 DCT 계수 유닛들의 동일 성분들로 구성된 64개의 2×2 어레이에 적용된다. 그 다음, MB에 의해 DCT 변환의 어떠한 사이즈가 사용되든지 간에 256개의 계수가 획득된다. 그 다음, 전술한 수학식을 이용하여 MB의 texturesmoothness를 계산한다. 인트라 프레임의 MB가 손실되면, 그 텍스처 평탄성은 이웃 MB들의 텍스처 평탄성의 중간값(medium value)과 같다. 손실된 MB가 이웃 MB들을 갖지 않으면, 텍스처 평탄성은 이전 프레임에 배열된 MB의 텍스처 평탄성과 같다.

인터 예측 프레임(P 또는 B 프레임)의 경우, 현재 MB의 모션 활동(예를 들어, 위에서 정의된 공간적 동질성 또는 모션 크기)이 제로이거나 MB가 예측 레지듀얼(prediction residual)(예를 들어, 스킵 모드, 또는 예측 레지듀얼의 DCT 계수들이 제로임)을 갖지 않으면, MB의 텍스처 평탄성은 이전 프레임에 배열된 MB의 텍스처 평탄성과 같다. 그렇지 않으면, 정확한 MB의 텍스처 평탄성은 전술한 평탄성 계산 수학식에 따라 계산되고; 손실된 MB의 텍스처 평탄성은 (존재하는 경우) 이웃 MB들의 텍스처 평탄성의 중간값(medium value)으로서 계산되거나, 이전 프레임에 배열된 MB의 텍스처 평탄성과 동일하다. 텍스처 평탄성을 위한 전술한 수학식 이면의 기본 아이디어는 텍스처가 평탄한 경우 에너지의 대부분이 DCT 계수의 DC 성분에 집중된다는 점이며, 한편 높은 활동성의 MB의 경우, MB가 더 많이 텍스처되면, MB의 에너지가 DCT의 상이한 AC 성분들에 더 균일하게 분포된다. 전술한 수학식에 따라 계산된 텍스처 평탄성 메트릭은 가시성 아티팩트 검출에 텍스처 마스킹 효과를 적용하는데 사용될 수 있다.

H.264의 I_프레임에 대한 다른 덜 복잡하고 따라서 덜 정확한 실시예에서, 인트라_4×4 및 인트라_8×8 인트라 MB를 위한 하나의 인트라_DC 예측 모드뿐 아니라, 도 5에 도시된 바와 같이, 8개 타입의 방향성(directional) 인트라 예측 모드들이 존재한다.

인트라_16×16 MB를 위한 4개의 예측 모드, 즉 수직(Vertical), 수평(Horizontal), DC, 및 평면(Plan)이 존재한다. 따라서, 공간적으로 이웃하는 MB들의 인트라 예측 모드는 손실된 MB의 평탄성을 추론하는데 직접 사용될 수 있다. 즉,

(num. = number) 인트라-픽셀 보간 기반 EC 방법이 손실된 MB를 복구하는데 사용되면, texturesmoothness(n,i,j)의 값이 작을수록, 오차 은폐 후에 손실된 MB의 아티팩트가 덜 보일 것이다.

일 실시예에서, 텍스처 평탄성이 적어도 인접 MB들의 DCT 계수들로부터 획득된다. 일 실시예에서, 텍스처 평탄성은 DC+AC 계수 에너지에 대한 DC 계수 에너지의 비와 임계치의 비교(예를 들어, E_DC/E_DC ₊ _AC < thr ?)로부터 획득되며, 현재의 MB와 인접한 MB들의 DCT 계수들을 사용한다.

일 실시예에서, 확률 판단 유닛은 인터_스킵 모드 및/또는 인터_다이렉트 모드와 같은 일정한 모드들의 확률을 계산한다. 이들 모드는 H.264 코딩된 비트스트림 전용이다. 그 밖의 코딩 포맷들은 사용될 수 있는 다른 모드들을 가질 수 있다.

일 실시예에서, 다음의 방법을 사용하여, 인터_스킵_모드의 확률이 계산된다.

H.264에서의 스킵 모드는 추가 데이터가 비트스트림에서 MB에 대해 존재하지 않는다는 것을 의미한다. MB가 더 작은 블록들로 분할되는지 여부와 관계없이, 전술한 수학식의 블록들은 손실된 MB의 이웃하는 MB들의 4×4_사이즈_블록들을 지칭한다.

일 실시예에서, 다음의 방법을 사용하여 인터_다이렉트_모드의 확률이 계산된다.

H.264에서의 다이렉트 모드(direct mode)는 MV 차이 또는 기준 인덱스들이 MB에 대해 존재하지 않는다는 것을 의미한다. MB가 더 작은 블록들로 분할되는지 여부와 관계없이, 전술한 수학식의 블록들은 손실된 MB의 이웃하는 MB들의 4×4_사이즈_블록들을 지칭한다.

앞선 2개의 특징 InterSkipModeRatio 및 InterDirectModeRatio은, 예를 들어 합산의 형태로 함께 사용될 수 있다. 일반적으로, MB가 H.264에서 스킵 모드 또는 다이렉트 모드를 사용하여 예측되면, 그 모션은 공간적 또는 시간적 이웃하는 MB들의 모션으로부터 잘 예측될 수 있다. 따라서, 시간적 EC 접근법들이 누락 픽셀들을 복구하는데 적용되면, 이러한 타입의 MB는, 손실된 경우, 덜 가시적인 아티팩트들로 은폐될 수 있다.

다음으로, 글로벌 특징 판단 유닛들(130)의 서브유닛들이 도 3을 참조하여 설명된다. 하나 이상의 손실된 패킷을 갖는 각각의 프레임마다, 4개의 조건 특징들이 이 실시예에서 추출된다.

프레임 타입 판단 서브유닛(131)은 프레임 타입을 판단한다. 가능한 프레임 타입들은 인트라-예측된 프레임 또는 인터-예측된 프레임으로서 P-프레임 또는 B-프레임일 수 있다.

프레임이 부분적으로 손실되면, 프레임 타입 정보는 프레임의 수신 패킷의 슬라이스 헤더를 분석함으로써 파악될 수 있다. 프레임이 완전히 손실되면, 프레임 타입은 시퀀스의 GOP 구조로부터 추론될 수 있다.

인트라/인터 비 검출 서브유닛(132)은 프레임 내의 인터-예측 MB들에 대한 인트라-예측 MB들의 비를 계산한다.

이 특징은 부분적으로 손실된 프레임에 대해 계산되며, 정확히 수신된 MB들에 기반한다.

모션 인덱스 판단 서브유닛(133)에서, 모션 인덱스는 프레임의 수신된 MB들의 모션 벡터들을 사용하여, 부분적으로 손실된 P-프레임 및/또는 B-프레임(즉, 프레임의 절반 미만이 손실됨)에 대해 계산된다.

손실된 I-프레임들 또는 그 밖에 부분적으로 손실된 P/B-프레임들의 경우(즉, 프레임의 절반보다 많이 손실됨), 모션 인덱스는 정확히 수신된 인접한 P-프레임들 또는 B-프레임들의 모션 벡터들을 사용하여 계산된다.

인접한 2개의 프레임이 완전히 손실되면, 이전 프레임의 MotionIndex 파라미터가 사용되는데, 즉 MotionIndex(n) = MotionIndex(n-1)이다. MotionIndex 값이 커질수록, 프레임의 모션이 높아진다.

텍스처 인덱스 판단 서브유닛(134)은 손실된 MB들을 갖는 프레임의 텍스처 인덱스를 판단한다.

프레임이 인트라-예측되거나 인터-예측되는지와 상관없이, 텍스처 인덱스는 프레임의 관심 MB들의 텍스처 평탄성 값을 사용하여 계산된다. 일 실시예에서, 관심 MB들은 손실된 MB 자체 및 손실된 MB에 인접한 MB들이다. TextureIndex는 관심 MB들의 텍스처 평탄성 값의 평균을 사용하여 다음과 같이 계산된다.

여기서, K는 관심 MB들의 총 개수이며; k는 관심 MB의 인덱스이다. TextureIndex 값이 클수록 프레임의 텍스처는 풍부해진다.

마지막으로, EC 유효성 추정 유닛(140)은 가시성 아티팩트 레벨을 예측하는데, 여기서 공지된 EC 방법을 에뮬레이팅한다. 전술한 바와 같이, 비트스트림-레벨 VQM에 대한 하나의 도전과제는 디코더에서 채용된 EC 전략의 유효성을 추정하는 것인데, 그 이유는 실제 디코딩이 없으면 아티팩트들의 가시성이 알려지지 않기 때문이다. 비트스트림 레벨에서는, EC 전략을 이용하여 디코딩한 후에 손실된 MB들의 아티팩트 레벨을 추정만 할 수 있다. 기존의 EC 방법들의 유효성과 밀접하게 관련된 통상적인 조건 특징들 및 로컬 콘텐츠/코딩 특징들을 어떻게 추출하는지에 대해 위에 설명되어 있다. 디코더의 EC 전략이 공지되어 있으면, 손실된 MB의 가시성 아티팩트 레벨은 비트스트림 레벨에서 EC 방법의 유효성을 에뮬레이팅함으로써 추출된 특징들을 사용하여 추정될 수 있다.

예를 들어, EC 유효성 추정 유닛(140)의 일 실시예에서 JM 기준 디코더가 사용된다고 가정한다. JM 디코더에 의해 사용된 EC 방법들이 앞서 설명되었다. 입력 비디오 비트스트림은 인코딩 순서로 분석된다. 손실된 MB들이 분석 중에 검출된 각각의 프레임마다, 조건 특징들 및 로컬 특징들이 계산되고, 그 후 가시성 아티팩트 레벨이 다음의 단계에 따라 MB 각각(또는 적어도 손실된 MB 각각)에 대해 평가된다.

프레임이 인트라-예측되면(즉, 앞서 판단된 프레임 타입이 인트라 프레임이면), 아티팩트 레벨은 앞서 계산된 텍스처 평탄성으로부터 다음에 따라 도출된다

그렇지 않고, 프레임이 인터-예측되면(즉, 앞서 판단된 프레임 타입이 인터 프레임이면), 아티팩트 레벨은 앞서 계산된 공간적 균일 파라미터들로부터 다음에 따라 (계산 복잡도가 높은 경우) 도출되거나,

다음에 따라 (계산 복잡도가 낮은 경우) 도출된다.

양자 모두 똑같이 적합하다.

JM 디코더에서, 인터-예측된 프레임의 손실된 MB의 모션 벡터가 공간적으로 이웃하는 MB들의 모션 벡터를 사용하여 추정하기 때문에, spatialuniformMV 특징은 손실된 MB의 가시성 아티팩트 레벨을 계산하는데 사용된다. 다른 타입의 EC 전략의 경우, temporaluniformMV 특징 및 averagemagnitudeMV 특징은 손실된 MB의 가시성 아티팩트 레벨을 예측하기 위해 더 나을 수 있다.

EC 유효성 추정 유닛(140)의 다른 실시예에서, ffmpeg 디코더가 사용된다고 가정한다. 여기서, EC 전략은 JM 디코더를 위한 EC 전략보다 더 진보한 것이다. 인트라 프레임이 손실된 MB들을 가지면, isIntraMoreLike라고 지칭된 값이 현재 프레임 및 이전 프레임의 디코딩된 픽셀에 기반하여 계산된다. 파라미터 isIntraMoreLike > 0이면, 공간적 픽셀 보간 기반 EC 방법이 사용된다. 그렇지 않으면, 시간적 EC 방법이 사용된다. 인터-예측된 프레임이 손실된 MB들을 가지면, 수신된 인트라-코딩된 MB들의 개수가 수신된 인터-코딩된 MB들의 개수와 비교된다. 인터-코딩된 MB들의 개수가 인트라-코딩된 MB들의 개수보다 많으면, 시간적 EC 방법이 사용되고, 그렇지 않으면 공간적 EC 방법이 사용된다.

따라서, 디코더에서 프로세스를 에뮬레이팅함으로써, MB 각각(또는 적어도 손실된 MB 각각)에 대한 가시성 아티팩트 레벨은 다음의 단계들에 따라 평가된다.

디코더에 사용된 미리 알려진 EC 전략에 따라, 위에서 정의된 특징들이 별도로 또는 함께 사용되어, 손실된 MB의 가시성 아티팩트 레벨을 오차 은폐 후에 예측할 수 있다는 점에 유의한다.

일 실시예에서, 본 발명은 비디오 비트스트림으로부터 복수의 글로벌 조건 특징들을 추출 및/또는 계산하는 단계; 매크로블록(MB)이 손실된 것으로 판정하는 단계; 적어도 손실된 MB에 대한 복수의 로컬 유효성 특징을 추출 및/또는 계산하는 단계; 상기 오차 은폐에 사용되는 오차 은폐 방법을 에뮬레이팅함으로써 MB 각각(또는 적어도 손실된 MB 각각)에 대한 수치 오차 은폐 유효성 레벨을 계산하는 단계; 및 계산된 오차 은폐 유효성 레벨을 비디오 품질의 추정된 가시성 아티팩트 레벨로서 제공하는 단계를 포함하는 방법을 컴퓨터로 하여금 수행하게 하는 실행 명령어들을 갖는 컴퓨터 판독가능 매체에 관한 것이다.

전술한 바와 같이, 특징들이 MB 각각(또는 적어도 손실된 MB 각각)에 대해 추출 및/또는 계산될 때마다, 이는 일 실시예에서는 단지 손실된 MB만을 참조할 수 있거나, 다른 실시예에서는 추가적으로 하나 이상의 정확히 수신된 MB들을 참조할 수 있다. 본 발명이 채널 아티팩트들을 다루는 한, 아티팩트 레벨은 손실된 MB 각각에 대해 계산되는데, 그 이유는 정확히 수신된 MB의 아티팩트 레벨이 제로로 간주되기 때문이다. 대응적으로, EC 유효성 레벨이 손실된 MB 각각에 대해 계산된다. 그러나, 정확한 MB들의 특징들은 손실된 MB들의 특징들을 추정하는데 사용된다. 따라서, 일 실시예에서, 알고리즘의 간략화 및 소프트웨어 구현예의 프로그래밍의 편의성을 위해, 제안된 로컬 특징들이 MB 각각(즉, 손실된 MB 및 정확한 MB)에 대해 계산된다. 이는, 정확한 MB들의 특징들이 필요에 따라 용이하게 이용 가능하다는 이점을 갖는다.

본 발명은 비디오 품질 평가 분야, 특히 수신기, 디코더 등, 또는 라우터 등과 같은 네트워크 요소에 일반적으로 사용될 수 있다.

본 발명은 순전히 예시로서 설명되어 있으며, 본 발명의 범위에서 벗어나지 않고 상세부가 수정될 수 있다는 점이 이해될 것이다. 본 발명의 바람직한 실시예에 적용되는 본 발명의 기본적인 신규한 특징들이 도시되고, 설명되고, 명시되어 있지만, 본 발명의 사상에서 벗어나지 않는 한, 설명된 장치 및 방법, 개시된 장치의 형태 및 상세사항, 및 이들의 동작에서의 다양한 생략 및 대체 및 변경이 당업자에 의해 수행될 수 있다는 점이 이해될 것이다. 동일한 결과들을 획득하기 위하여 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 이들 요소의 모든 조합이 본 발명의 범위 내에 있다는 것을 명백히 의도한다. 설명된 하나의 실시예로부터 다른 실시예로의 요소들의 대체는 또한 충분히 의도되고 숙고된다. 명세서, (적절한 경우) 청구항, 및 도면에 개시된 각각의 특징은 독립적이거나 임의의 적절한 조합으로 제공될 수 있다.

특징들은 적절하다면 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 청구항에 표시된 참조 부호는 단지 예시적인 것이며, 청구항의 범위에 제한적인 영향을 미치지 않는다.

[선행기술문헌]

H. Rui, C. Li, 및 S. Qiu: "Evaluation of packet loss impairment on streaming video", J. Zhejiang Univ.-Sci. A, Vol. 7, pp. 131-136 (Jan.2006)

T. Yamada, Y. Miyamoto, 및 M. Serizawa: "No-reference video quality estimation based on error-concealment effectiveness", Packet Video, 288-293, (2007)

A. R. Reibman, V. A. Vaishampayan, 및 Y. Sermadevi: "Quality monitoring of video over a packet network", IEEE Transactions on Multimedia, 6(2), 327-334, (2004)

Claims

비트스트림 레벨로 비디오 품질을 추정하는 방법으로서 - 상기 비디오 품질은 오차 은폐(error concealment) 후의 비디오를 참조하며, 상기 방법은 상기 오차 은폐 전의 비트스트림 레벨로 수행됨 -,
비디오 비트스트림으로부터 복수의 글로벌 조건 특징들을 추출 및/또는 계산하는 단계;
매크로블록(MB:macroblock)이 손실된 것으로 판정하는 단계;
적어도 상기 손실된 MB에 대한 복수의 로컬 유효성 특징들을 추출 및/또는 계산하는 단계;
상기 오차 은폐에 사용되는 오차 은폐 방법을 에뮬레이팅함으로써 상기 손실된 MB에 대한 수치 오차 은폐 유효성 레벨을 계산하는 단계; 및
상기 계산된 오차 은폐 유효성 레벨을 비디오 품질의 추정된 가시성 아티팩트 레벨로서 제공하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 복수의 조건 특징들은 프레임 타입, 인트라-MB(intra-MB) 대 인터-MB(inter-MB)의 비, 모션 인덱스, 및 텍스처 인덱스 중 적어도 2개를 포함하는, 방법.
제2항에 있어서,
상기 복수의 조건 특징들은 적어도 프레임 타입, 인트라-MB 대 인터-MB의 비, 모션 인덱스, 및 텍스처 인덱스를 포함하는, 방법.
제2항 또는 제3항에 있어서,
상기 텍스처 인덱스는 상기 프레임의 관심 MB들의 텍스처 평탄성(texture smoothness) 특징으로부터 획득되고, 상기 관심 MB들은 상기 손실된 MB들 자체 및 상기 손실된 MB들에 인접한 MB들을 포함하고, 상기 텍스처 평탄성 특징은 합산된 DC 및 AC 계수 에너지에 대한 DC 계수 에너지의 비와 임계값의 비교로부터 획득되는, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 복수의 로컬 유효성 특징들은 공간적 모션 벡터 동질성(spatial motion vector homogeneity), 시간적 모션 벡터 균일성(temporal motion vector uniformity), 및 텍스처 평탄성 중 적어도 2개를 포함하는, 방법.
제5항에 있어서,
상기 복수의 로컬 유효성 특징들은 적어도 공간적 모션 벡터 동질성, 시간적 모션 벡터 균일성, 평균 모션 크기, 및 텍스처 평탄성을 포함하는, 방법.
제5항 또는 제6항에 있어서,
상기 공간적 모션 벡터 동질성은 인접해 있는 정확한 MB들의 모션 벡터들에 기반하는, 방법.
제5항 내지 제7항 중 어느 한 항에 있어서,
상기 텍스처 평탄성은 DC+AC 에너지에 대한 DC 계수 에너지의 비와 임계값의 비교로부터 획득되며, 현재의 MB와 인접한 MB들의 DCT 계수들에 기반하는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
H.264 인코딩이 사용되고, 상기 복수의 로컬 유효성 특징들은 인터-스킵 모드 비(inter-skip mode ratio)와 인터-다이렉트 모드 비(inter-direct mode ratio) 중 적어도 하나를 포함하는, 방법.
비디오 품질을 추정하는 장치로서 - 상기 비디오 품질은 오차 은폐(EC) 후의 비디오를 참조하며, 상기 오차 은폐 전의 비트스트림 레벨로 추정됨 -,
비디오 비트스트림으로부터 복수의 글로벌 조건 특징들을 추출 및/또는 계산하는 제1 추출 및 계산 수단(120);
매크로블록(MB)이 손실된 것으로 판정하는 판단 수단;
적어도 상기 손실된 MB에 대한 복수의 로컬 유효성 특징들을 추출 및/또는 계산하는 제2 추출 및 계산 수단(130);
오차 은폐 방법을 에뮬레이팅함으로써 상기 손실된 MB에 대한 수치 EC 유효성 레벨을 계산하는 계산 수단(140); 및
상기 계산된 오차 은폐 유효성 레벨을 비디오 품질의 추정된 가시성 아티팩트 레벨로서 제공하는 출력 수단(141)
을 포함하는 장치.
제10항에 있어서,
상기 복수의 조건 특징들은 프레임 타입, 인트라-MB 대 인터-MB의 비, 모션 인덱스, 및 텍스처 인덱스 중 적어도 2개를 포함하는, 장치.
제11항에 있어서,
상기 복수의 조건 특징들은 적어도 프레임 타입, 인트라-MB 대 인터-MB의 비, 모션 인덱스, 및 텍스처 인덱스를 포함하는, 장치.
제11항 또는 제12항에 있어서,
상기 텍스처 인덱스는 상기 프레임의 관심 MB들의 텍스처 평탄성으로부터 획득되고, 상기 텍스처 평탄성은 합산된 DC 및 AC 계수 에너지에 대한 DC 계수 에너지의 비와 임계값의 비교로부터 획득되고, 상기 관심 MB들은 상기 손실된 MB들 자체 및 상기 손실된 MB들에 인접한 MB들을 포함하는, 장치.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 복수의 로컬 유효성 특징들은 공간적 모션 벡터 동질성, 시간적 모션 벡터 균일성, 및 텍스처 평탄성 중 적어도 2개를 포함하는, 장치.
제10항 내지 제14항 중 어느 한 항에 있어서,
H.264 인코딩이 사용되고, 상기 복수의 로컬 유효성 특징들은 인터-스킵 모드 비와 인터-다이렉트 모드 비 중 적어도 하나를 포함하는, 장치.