KR20130019435A - 비디오 스트림 품질 평가 방법 및 장치 - Google Patents

비디오 스트림 품질 평가 방법 및 장치 Download PDF

Info

Publication number
KR20130019435A
KR20130019435A KR1020127031342A KR20127031342A KR20130019435A KR 20130019435 A KR20130019435 A KR 20130019435A KR 1020127031342 A KR1020127031342 A KR 1020127031342A KR 20127031342 A KR20127031342 A KR 20127031342A KR 20130019435 A KR20130019435 A KR 20130019435A
Authority
KR
South Korea
Prior art keywords
slice
parameter
level
video data
frame
Prior art date
Application number
KR1020127031342A
Other languages
English (en)
Other versions
KR101414435B1 (ko
Inventor
닝 니아오
지 보 첸
시안 레이 왕
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130019435A publication Critical patent/KR20130019435A/ko
Application granted granted Critical
Publication of KR101414435B1 publication Critical patent/KR101414435B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Abstract

미디어 계층 또는 패킷 계층에서 오디오/비디오 체감 품질(QoE)을 추정하는 객관적인 비디오 품질 평가 모델들이 공지되어 있다. 기존의 모델들은 안정적인 성능을 제공할 수 없다. 비디오 데이터의 프레임 스트림의 품질 평가를 가능하게 하는 방법은 패킷 시퀀스를 수신하는 단계(31), 파라미터 집합을 생성하는 단계(32) 및 상기 생성된 파라미터 집합을 보조 정보로서 상기 프레임 스트림에 삽입하는 단계(33)를 포함하며, 적어도 하나의 파라미터는 비디오 슬라이스 레벨을 나타낸다. 비디오 데이터의 프레임 스트림의 품질을 평가하는 방법은 패킷 시퀀스를 수신하는 단계(41), 상기 패킷 시퀀스로부터 파라미터 집합을 추출하는 단계(42) 및 추정된 평균 평가 점수(45)를 생성하는데 단계(43)를 포함하며, 상기 비디오 데이터는 슬라이스 레벨을 포함하고 상기 추출된 파라미터 집합은 비디오 슬라이스 레벨을 나타내는 적어도 하나의 파라미터를 포함한다.

Description

비디오 스트림 품질 평가 방법 및 장치{METHOD AND APPARATUS FOR ASSESSING QUALITY OF VIDEO STREAM}
본 발명은 비디오 스트림 품질 평가 방법 및 장치에 관한 것이다. 본 발명은 또한 비디오 스트림 품질 평가를 가능하게 하는 방법 및 장치에 관한 것이다.
인터넷 프로토콜(IP) 네트워크가 개발됨에 따라, 무선 및 유선 IP 네트워크를 통한 비디오 통신(예컨대, IPTV 서비스)이 큰 인기를 얻고 있다. 케이블 네트워크를 통한 전통적인 비디오 전송과 달리, IP 네트워크를 통한 비디오 전달은 훨씬 신뢰가 덜 간다. 이러한 상황은 무선 네트워크 환경에서 훨씬 심각하다. 이에 대응하여, 비디오 품질 모델링(video quality modelling: VQM)의 최근의 한가지 요건은 비디오 압축에 의해 발생되는 것들 외에 IP 전송 장애에 의한 품질 저하, 예를 들어, 패킷 손실, 지연, 지터(jitter)를 평가하는 것이다. 현재의 연구는 오디오/비디오 체감 품질(quality of experience: QoE)i을 추정하기 위해 미디어 계층에서 또는 패킷 계층에서 객관적인 비디오 품질 평가를 다룬다. 품질은 일반적으로 평균 평가 점수(mean opinion score: MOS) 값으로 표현된다. 미디어 계층 모델은 음성 파형 또는 비디오 픽셀 데이터와 같은 미디어 신호를 이용한다. 패킷 계층 모델은 단지 패킷 헤더 정보만을 이용하며, 자동적인 네트워크 진단에서 사용자 경험을 보장하는데 도움을 줄 수 있다. 이러한 패킷 계층 모델은 미디어 계층 모델과 비교하여 경량화(light-weight) 모델이므로, 실시간 모니터링에 적합하고 고객 디바이스(예컨대, STBs)에서 배치를 용이하게 하는데 적합하다.
현재 알려진 객관적인 패킷 계층 모델은 입력 파라미터로서 패킷 정보, 예를 들어, 패킷 손실률, RTP 헤더 내의 타임스탬프(timestamp) 및 패킷 크기를 활용한다. 이러한 입력 파라미터는 비디오 콘텐츠에 독립적이다. 그러나, 비디오 콘텐츠의 다른 부분의 손실은 다른 인지(perceptual) 저하를 불러 일으킨다. 이 점이 추정 정확도 및 강인성 면에서 그 성능에 영향을 미치는 기존 패킷 계층 VQM의 결점이다.
기존 모델들의 다른 문제는 에러 은닉(error concealment: EC)의 효과가 충분히 고려되지 않는다는 것이다. 손실된 패킷이 시각적인 품질에 미치는 영향은 인코더 구성 외에 디코더에 사용되는 에러 은닉 방법에 크게 좌우된다. 공지의 VQM 모델ii이 사용되는 패킷 손실 은닉 방식에 따라 두 가지 모델 계수를 이용하고 있지만, 두 가지 모델 계수 b0 및 b1는 주어진 방식에 고정된다. 유사한 모델은 디코더에 사용되는 주어진 EC 방식에 고정된 EC 가중치(weights)를 이용하며, 여기서 EC 가중치 값은 경험적으로 설정된다. 그러나, 각 디코더에 고정된 EC 가중치를 설정하는 것은 실제 EC 효과를 근사화하는 것과 거리가 멀다는 것이 관찰되었다.
또한, 패킷 기반 네트워크에서, 코딩된 비디오 프레임 비트들은 기저 네트워크의 최대 전송 단위(MTU) 크기에 따라 RTP 패킷과 같은 여러 패킷들로 캡슐화될 수 있다. H.264 인코더의 경우, 비디오 프레임은 여러 슬라이스들로 인코드될 수 있다. 전송을 위해, 슬라이스 데이터는 여러 RTP 패킷들로 캡슐화될 수 있거나, 또는 여러 슬라이스들은 하나의 RTP 패킷으로 캡슐화될 수 있거나, 또는 MTU 크기에 따라 패킷마다 하나의 슬라이스가 사용된다. 따라서, 패킷 손실에 대한 통계적 특징(statistics features)과 MOS 간의 관계는 안정적이지 않다. 따라서, 기존의 모델들은 단지 패킷 손실에 대한 통계적 특징 및 MOS만을 고려하는 한계로 인해 안정적인 성능을 제공할 수 없다.
디코더에서 다른 슬라이스에 다른 EC 방법이 적용될 수 있기 때문에, 각 디코더에 대해 고정된 EC 가중치를 설정하는 충분하지 않다는 것을 알았다. 게다가, 실세계 응용에서, H.264 인코드된 하나의 비디오 프레임은 여러 슬라이스로 인코드될 수 있으며, 다른 슬라이스가 손실되면 디코더에서 EC 후에 가시적 아티팩트(artefacts) 정도가 매우 다를 수 있다. 따라서, 디코더 레벨에서 다른 EC 가중치를 적용하는 접근법은 더 정제되었다.
본 발명은 적어도 전술한 문제점들에 대한 정제된 해법을 제공한다.
비디오 데이터의 프레임 스트림의 품질 평가를 가능하게 하는 방법이 개시되며, 상기 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어진다. 상기 방법은 상기 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스를 수신하는 단계, 상기 패킷 시퀀스로부터 파라미터 집합(a set of parameters)을 생성하는 단계 - 상기 파라미터 집합은 상기 비디오 데이터의 프레임 스트림의 추정된 평균 평가 점수(mean opinion score)를 생성하는데 적합함 -, 및 상기 생성된 파라미터 집합을 보조 정보로서 상기 프레임 스트림에 삽입하는 단계를 포함한다. 상기 비디오 데이터는 슬라이스 레벨을 포함하며, 상기 생성된 파라미터 집합은 상기 비디오의 슬라이스 레벨을 개별적으로 나타내는 적어도 하나의 파라미터를 포함한다.
또한, 비디오 데이터의 프레임 스트림의 품질을 평가하는 방법이 개시되며, 상기 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어진다. 상기 방법은 상기 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스를 수신하는 단계, 상기 패킷 시퀀스로부터 파라미터 집합을 추출하는 단계, 및 상기 파라미터 집합에 기초하여 추정된 평균 평가 점수를 생성하는데 단계를 포함한다. 상기 비디오 데이터는 슬라이스 레벨을 포함하며, 상기 추출된 파라미터 집합은 상기 비디오의 슬라이스 레벨을 개별적으로 나타내는 적어도 하나의 파라미터를 포함한다.
상기 품질 평가를 가능하게 하는 방법을 구현하기에 적합한 장치는 청구항 14에 개시되며, 상기 평가 방법을 구현하기에 적합한 장치는 청구항 15에 개시된다.
또한, 본 발명의 일 실시예는 비디오 품질 추정 디바이스를 위한 컴퓨터 실행가능한 프로그램이며, 상기 프로그램은 상기 디바이스의 컴퓨터가 상기 품질 평가를 가능하게 하는 방법 및/또는 상기 스트림의 품질을 평가하는 방법을 실행하게 한다. 다른 실시예는 상기 컴퓨터 실행가능한 프로그램을 기록한 컴퓨터 판독가능한 기록 매체이다.
본 발명의 유리한 실시예들은 종속항, 다음의 상세한 설명 및 도면에 개시된다.
본 발명의 예시적인 실시예는 첨부의 도면을 참조하여 설명된다.
도 1은 통상적인 패킷 계층 모델의 구조이다.
도 2는 본 발명의 블록도이다.
도 3은 비디오 품질 평가를 가능하게 하는 방법의 흐름도이다.
도 4는 비디오 품질을 평가하는 방법의 흐름도이다.
도 5는 비디오 품질 평가를 가능하게 하는 디바이스의 블록도이다.
도 6은 비디오 품질을 평가하는 디바이스의 블록도이다.
전통적으로, 도 1에 도시된 바와 같이, 비디오 품질 평가 모델의 입력은 패킷 스트림의 패킷 헤더 정보(14) 및 인코더 구성(configuration) 정보(13)이다. 패킷 정보 분석(11) 후에, 패킷 손실률 PLR 및 버스트 손실 주파수 BLF와 같은 분석 데이터는 이 분석 데이터를 추정된 비디오 품질 점수(즉, 평균 평가 점수 MOS)인 객관적인 비디오 품질 값(15)에 매핑(12)하기 위해 제공된다. 인코더 구성 정보(13)는 가정(assumptions), 즉, 코덱 유형, 화상 그룹(GOP) 구조, (전송 패킷 헤더로부터 얻은) 비디오 포맷 및 몇 가지 비디오 콘텐츠 특징, 예를 들어, 픽셀 데이터를 기초로 한다.
전술한 기존의 패킷 계층 VQM 모델의 문제점과 관련하여, 본 발명은 패킷 계층 VQM 모델의 정확도 및 강인성을 개선할 수 있으며, 동시에 낮은 계산 복잡도를 유지할 수 있다. 이는 특히 실시간 비디오 품질을 모니터링하는데 유리하다.
본 발명은 다음의 구현 실시예에 기초하여 예시적으로 설명된다.
먼저, 각 비디오 슬라이스마다, 그리고 각 화상 그룹(GOP) 또는 각 장면(scene) 그룹 또는 슬라이스 그룹마다 예시적인 보조 정보 구문(side information syntax)이 규정된다. "장면 그룹" 및 "슬라이스 그룹"이라는 용어는 이하에서 해석될 것이다.
다음에, 규정된 보조 정보는 도 2에 도시된 바와 같은 신규한 패킷 계층 비디오 품질 평가 모델의 입력으로서 사용된다. 결과적으로, 규정된 보조 정보는 추정 정확도 및 강인성 측면에서 모델 성능을 개선하는 역할을 할 수 있다. 예를 들어, 보조 정보는 패킷 계층 VQM에서 EC 가중치 값 및 에러 전파(EP) 가중치 값의 설정을 안내하는데 사용되며, 따라서 이는 전술한 결점을 극복한다. 반면에, 보조 정보의 오버헤드는 가능한 작게 유지될 것이다. 설명된 보조 정보를 이용하면, 단지 두 가지 또는 세 가지 레벨만 전송되더라도 품질 추정 정확도가 상당히 개선될 수 있다.
전술한 바와 같이, 입력에 따라 객관적인 비디오 품질 모델링에 대한 세 가지 일반적인 카테고리, 즉, 패킷 계층 모델, 비트스트림 레벨 모델, 및 미디어 계층 모델이 있다. 미디어 계층 모델은 픽셀 도메인에서 동작한다. 파라미터의 패킷 계층 모델은 패킷 헤더 정보, 네트워크 파라미터(예컨대, 대역폭, 패킷 손실률, 지연 등), 및 인코더 구성 정보를 기초로 한다. 비트스트림 레벨 모델은 반-디코드된(half-decoded) 비디오 비트스트림 정보 및 패킷 헤더 정보에도 기초하는 하이브리드 모델이다. 감소 기준법(reduced-reference) 미디어 계층 모델은, 예를 들어, ITU 표준 ITU-T Rec. J.246에 맞게 제안되었다. 그러나, 아직까지 패킷 계층 모델에 맞는 감소 기준법 모델은 존재하지 않는다.
본 발명의 방식에서, 코딩된 비트 스트림 내 각 슬라이스의 보조 정보 집합 또는 각 그룹의 보조 정보 집합 또한 입력으로 사용된다. 모델의 출력은 MOS 값이다.
본 발명의 (하나의 패킷에 캡슐화된) 각 비디오 슬라이스에 대한 보조 정보 구문과 각 비디오 패킷에 대한 우선 순위(priority level) 사이의 차이를 모니터링할 가치가 있다. 후자는 인코드된 상이한 프레임 유형(예를 들어, IDR/I/P/B 프레임)에 따라 패킷들의 중요도를 차별화하는 전통적인 방법이므로, 혼잡 네트워크는 최종 사용자에게 가능한 양호한 비디오 품질을 제공하기 위한 일환으로 패킷을 더 재빠르게 폐기할 수 있다. 제안된 유형의 보조 정보는 프레임 유형과 다르며, 이 정보는 디코더의 EC 효과, 시각적 중요도(또는 관심 영역, ROI), 및 비디오 슬라이스의 에러 전파(EP) 감쇄율을 반영한다. 이러한 정보는 패킷 계층 VQM의 성능을 상당히 개선시킬 수 있으며, 또한 패킷 계층 모델의 경량화 특징을 유지하여, 매우 낮은 전송 오버헤드만을 발생할 수 있다.
도 2는 본 발명의 기능 블록도이다. 패킷 정보 분석 블록(21)은 RTP/UDP 헤더 정보(25)를 이용하여 각 프레임마다 파라미터 집합(a set of parameters)을 획득한다. 예를 들어, H.264/AVC 인코더의 경우, 프레임(인덱스가 i인 프레임) 당 파라미터 집합(28)은 비디오 프레임 내 전체 슬라이스의 개수 Ni , total, 손실된 슬라이스의 개수 Ni , lost, 및 손실된 슬라이스의 인덱스를 포함한다. "패킷" 정보 대신에 "슬라이스" 정보에 대한 통계치가 사용되는 것이 중요하다. 프레임은 인코더 구성에 따라 하나 이상의 슬라이스로 인코드될 수 있다. 예를 들어, 프레임 내 하나의 매크로블록(MB) 행(row)은 하나의 슬라이스일 수 있거나, 또는 하나의 슬라이스는 그 크기가 MTU 크기보다 크지 않도록 설정될 수 있다. 슬라이스는 독립적인 디코딩 단위이다. 실세계 비디오 전송에서, 슬라이스 데이터는 기저 네트워크의 MTU 크기에 따라 하나 이상의 RTP 패킷으로 캡슐화될 수 있다. 반면에, (RFC3984에 상세히 기술된 바와 같이) 프레임의 여러 슬라이스가 하나의 RTP 패킷으로 조립되는 것도 또한 가능하다. 만일 슬라이스의 어떤 패킷이 손실되면, 이 슬라이스는 적절히 디코드될 수 없고 손실된 것으로 간주된다. 또한, 프레임의 여러 슬라이스의 손실에 대응하는 패킷 손실이 검출되는 다른 상황이 있다. RFC3984마다 NALU 헤더를 분석함으로써, 프레임마다 정확하게 수신된 슬라이스가 식별될 수 있다. 마지막으로, 상이한 프레임을 식별하기 위해, RTP 패킷 헤더 내에 있는 타임스탬프가 사용된다.
시각적 아티팩트 검출 블록(22)에서, 슬라이스 당 기술된 보조 정보 집합(27), 프레임 당 계산된 파라미터 집합(28) 및 인코더 구성 정보(29)는 각 프레임의 "시각적 아티팩트 레벨(LoVA)"을 계산하는데 사용된다. i번째 프레임에 대한 LoVA는 수학식(1)에 의해 추정된다.
Figure pct00001
제안된 보조 정보 트리플릿(triplet)은 {EC 가중치 레벨, ROI 가중치 레벨, 및 EP 감쇄 레벨}이며, 이는 이하에서 설명되는 바와 같이 수학식(1)에서 세 가지 가중치 계수의 설정을 안내하는데 사용된다.
평균 LoVA(MLoVA) 계산 블록(23)에서, 평균(Mean) LoVA(즉, 평균(average) LoVA)는 일련의 주어진 지속 시간, 예를 들어, t초 동안 계산된다. 이전의 연구iii로부터 알려진 바와 같이, 시각적 아티팩들 간의 단순한 평균 시간 메트릭은 MOS와 0.94의 평균 상관 관계를 갖는다. 따라서, 여기서 간단한 평균화 방법이 시간적 풀링(pooling) 방법으로서 사용된다. 즉,
Figure pct00002
여기서 M은 t초 동안의 총 프레임 수이고, fr은 비디오 시퀀스의 초당 프레임율이다.
매핑 블록(24)에서, MLoVA는, 예를 들어, 최소 제곱 곡선 맞춤 방법(least square curve fitting method)과 같은 곡선 맞춤 방법을 이용하여 훈련된 함수에 따라 객관적인 MOS 값에 매핑된다.
수학식(1)에서, 프레임 내 각각의 손실된 슬라이스의 위치에 따라 상이한 가중치
Figure pct00003
가 손실된 슬라이스에 할당된다. 이 가중치는 ROI 레벨의 보조 정보를 고려하여 설정될 수 있다. 슬라이스에 대하여, "1"(슬라이스가 ROI 포함) 또는 "0"(슬라이스에 ROI 없음)으로 태그된 두 ROI 레벨이 있다. 이에 대응하여, 가중치
Figure pct00004
는 슬라이스가 ROI를 갖는 경우 더 큰 값으로 설정되거나, 또는 그렇지 않으면 이들의 시각적 영향을 차별화하기 위해 더 작은 값으로 설정된다. 실험에서,
Figure pct00005
가 , 예를 들어, ROI_레벨이 "1"일 때 두 배로 된 경우에 유리하다고 밝혀졌다.
수학식(1)에서,
Figure pct00006
는 여러 손실된 슬라이스의 여러 EC 효과를 반영한 EC 가중치이다. 손실된 슬라이스의 EC 효과는 디코더에 사용된 EC 방법과 인코더에 사용된 슬라이싱 모드뿐만 아니라, 슬라이스 내의 비디오 콘텐츠 특징, 즉, 공간 복잡도 측정치 SIi ,j 및 시간 복잡도 측정치 TIi ,j에 좌우된다. 값
Figure pct00007
은 EC 레벨의 보조 정보를 고려하여 설정되며, 이는 여러 슬라이스의 여러 EC 효과 및 사용되는 EC 방법들을 반영하도록 더 작거나 더 큰 값으로 설정된다. 실험에서, 인터 예측된(inter-predicted) 슬라이스의 경우,
Figure pct00008
는, 예를 들어, 각각 0, 1 및 2의 EC_레벨에 대응하는 0.01, 0.3 및 0.6으로 설정된다. 인트라 코딩된(intra-coded) 슬라이스의 경우,
Figure pct00009
는 0 또는 1의 EC_레벨에 대응하는 0.01 또는 2로 설정된다.
수학식(1)에서,
Figure pct00010
는 전파된 에러의 감쇄 정도를 반영한다. 이것은 프레임 내 인트라 코딩된 MB 및 예측 잔류(predictive residue) 정보량의 비율과 관련된다.
Figure pct00011
의 값은 프레임 내 슬라이스의 EP_레벨을 고려하여 설정될 수 있다. 인트라 MB 대 슬라이스 내 총 MB 개수의 비율(IRRi ,j로 나타냄)은 EP_레벨 값으로부터 얻을 수 있다. 그러면, 실험에서,
Figure pct00012
이다. 즉,
Figure pct00013
는 에러가 전파하지 못하도록 막는 인트라 MB의 역할을 반영하도록 설정된다.
수학식(1)에서,
Figure pct00014
는 기준 프레임으로부터 전파된 가시적 아티팩트의 양을 나타낸다. 이 값은 인코더 구성 정보, 즉, 기준 프레임들의 개수에 크게 좌우된다. 실험에서, 기준 프레임들의 개수는 2이고, 예측(P-) 및 양방향 예측(bi-directionally predicted)(B-) 프레임 유형이 사용된다.
Figure pct00015
는 다음과 같이 계산된다.
Figure pct00016
여기서 E1 ,j 및 E2 ,j는 두 개의 이전 기준 슬라이스들의 저장된 아티팩트 값들이다. a 및 b는 여러 기준 프레임으로부터 전파된 에러의 가중치들이며, 여기서 a+b=1, a,b∈(0,1)이다. 실험에서, a 및 b는 P-프레임의 경우 a=0.9, b=0.1, 그리고 B-프레임의 경우 a=b=0.5로 설정되었다.
이하에서는, 보조 정보 전송을 위한 예시적인 구문에 대해 설명된다.
보조 정보 구문의 하나의 집합은 표 1에 나타낸 바와 같이 인코딩 슬라이스 레벨로 규정된다. 프레임은 H.264/AVC에서 하나 이상의 슬라이스로 인코드될 수 있다. 프레임의 다른 슬라이스와 관계없이 디코딩 단위는 인코딩 슬라이스이다. 만일 프레임이 여러 슬라이스로 인코드된다면, 하나의 슬라이스는, 예를 들어, 한 행(row)의 MB들을 포함할 수 있다.
본 실시예에서, 보조 정보 집합은 각 비디오 슬라이스마다 {EC_레벨, ROI 레벨, 및 EP 감쇄 레벨}을 포함한다. 제안된 보조 정보 집합은, 예를 들어, 가변 개수의 MB들이 프레임의 슬라이스에 포함된 경우 파라미터 size_in_MB를 추가로 포함할 수 있다. 이는, 예를 들어, H.264/AVC 인코더가 "슬라이스 당 고정 바이트"라는 슬라이스 모드로 구성된 경우에 수행될 수 있다.
Figure pct00017
EC_level은 "에러 은닉 레벨" 값이다. 이 파라미터는 슬라이스의 움직임 및/또는 텍스처(texture) 복잡도, 및 사용된 EC 방법을 반영한다. 이러한 파라미터는 현재 슬라이스의 손실시 EC 효과를 측정하는데 도움을 줄 수 있다. 일반적으로, (2 비트에 해당하는) 두 레벨 또는 세 레벨이면 충분하다.
ROI_level은 "관심 영역 레벨" 값이다. 이 파라미터는 현재 슬라이스 콘텐츠가 인지 관심 영역, 예를 들어, 눈 및 입인지 여부를 반영한다. 이 파라미터는 1 비트로 코딩될 수 있다.
EP_attenuation_level은 "에러 전파 감쇄 레벨" 값이다. 이 파라미터는 현재 슬라이스 또는 현재 프레임에 대한 전파 에러의 다른 감쇄 속도를 반영한다. 이 파라미터는 인코더 구성(예컨대, H.264에서 인트라 리프레시 비율) 및 비디오 콘텐츠 자체(예컨대, 예측 코딩 후의 잔여 정보량)와 관련된다. 이 파라미터는 인코딩 슬라이스 당 한번 또는 프레임 당 한번 계산될 수 있다. 일반적으로, (16 레벨에 해당하는) 4 비트이면 충분하다.
size_in_MB는 현재 슬라이스 내 MB들의 개수이다. 이 파라미터는 단지 가변 개수의 MB들이 프레임의 슬라이스에 포함된 경우에만 유용하다. 그 크기는 프레임 크기에 좌우되며, 일반적으로 8 비트이면 충분하다.
만일 예비 대역폭(auxiliary bandwidth)이 제한되면, 슬라이스 레벨 파라미터들은 선택적으로 전송될 수 있다. 실험에서, EC_level이 성능을 가장 크게 향상시키는데 도움이 된다는 것을 알았다. 두 번째 중요한 정보는 ROI_level이며, 세 번째는 EP_level 정보이다. 마지막 정보는 size_in_MBs인데, 이는 단지 가변 개수의 MB들이 프레임의 여러 슬라이스에 포함된 경우에만 유용하다. 일 실시예에서, 사용되는 슬라이스 레벨에 대해서는 단지 EC_level 파라미터만 존재한다. 또한, 후술하는 바와 같이, 이 파라미터는, 예를 들어, 슬라이스의 예측 유형(인트라 또는 인터) 또는 사용되는 은닉 유형과 같은 기준에 의해 슬라이스에 따라 다른 수식에 의해 (반드시 필요한 것은 아니지만) 계산될 수 있다.
일반적으로, 은닉 방법은 두 유형 또는 카테고리, 즉, 픽셀 보간 기반 방법 및 움직임 추정 기반 방법으로 나뉜다. 두 유형의 시각적 아티팩트는 다르다. 따라서, 두 가지 은닉 유형의 EC 효과를 차별화하는 것이 유리하다. 사용되는 은닉 유형은 또한, 예를 들어, JVT JM 디코더에서의 예측 유형에 좌우될 수 있다.
JVT JM 비실시간 디코더 외에, 폭넓게 사용되는 실시간 디코더는 ffmpeg 디코더이다. 현재 버전에서, ffmpeg 디코더는 손실된 슬라이스를 JVT 디코더보다 훨씬 잘 복원할 수 있다는 것을 알았으며; 일 실시예에서, 디코더는 먼저 (a) 손실된 슬라이스(들)를 갖는 프레임이 인트라일 가능성이 높은지(intra-more-likely) 여부를 판단한다. 만일 프레임이 인트라일 가능성이 높으면, 픽셀 보간 기반 방법이 사용되며; 그렇지 않으면 움직임 추정 기반 방법이 사용된다. 인트라일 가능성이 높은 프레임을 판단하는 가능한 기준은,
(1) 만일 기준이 되는 이전 프레임이 존재하지 않으면, 현재 프레임이 인트라일 가능성이 높은 프레임이고;
(2) 만일 프레임이 I-프레임이면, 정확하게 수신된 현재 프레임의 MB들에 기초하여 현재 프레임 및 바로 이전 프레임 간의 절대차를 계산한다. 만일 절대차가 크면, 프레임은 이전 프레임과 다를 가능성이 높고, 따라서 인트라 픽셀 보간 기반 방법을 사용하여야 할 가능성이 높다. 예시적인 구현에에서, 프레임에 대한 변수 is_intra_like를 규정하고, 이를 절대차의 값만큼 증가한다. 그렇지 않으면, 즉, 만일 절대차가 작으면, 이전 프레임 내에서 수직으로 인접한 MB들 간의 절대차를 계산하고; 만일 그 차가 크면, 이전 프레임은 풍부한 텍스처(rich texture)를 가질 가능성이 높다. 이러한 현재 프레임의 특징이 현재 및 이전 프레임에서 유사하다고 추정되므로, 현재 프레임은 풍부한 텍스처를 가질 가능성이 높다. 이 경우, 현재 프레임은 픽셀 보간 기반 방법으로 은닉되지 않아야 하는데, 왜냐하면 픽셀 보간 기반 방법이 부드러운 영역(smooth regions)에 더 적합하기 때문이다. 이 경우, 변수 is_intra_like를 절대차의 값만큼 감소한다. 이 프로시져는 프레임의 모든 MB에 대해 반복된다. 마지막으로, 만일 변수 is_intra_like가 제로보다 크면, 프레임은 인트라일 가능성이 높은 것으로 판단되고, 픽셀 보간 기반 방법이 사용될 것이다. 그렇지 않으면, 움직임 추정 기반 방법이 사용될 것이다.
(3) 만일 프레임이 인터 예측된다면(즉, P- 또는 B-프레임), 정확하게 수신된 현재 프레임의 MB들에 기초하여 변수 is_intra_like를 계산한다. 만일 MB가 인트라 코딩되면 is_intra_like를 증분하고, 만일 MB가 인터 코딩되면 is_intra_like를 감소한다. 만일 마지막으로 is_intra_like가 제로보다 크면, 프레임은 인트라일 가능성이 높고, 픽셀 보간 기반 방법이 사용될 것이다. 다시 말하면, 만일 인트라 코딩된 MB들의 개수가 인터 코딩된 MB들의 개수보다 크면, 프레임은 인트라일 가능성이 높은 것으로 판단되고, 픽셀 보간 기반 방법이 사용될 것이다. 그렇지 않으면, 움직임 추정 기반 방법이 사용될 것이다.
다른 실시예에서, 사용되는 슬라이스 레벨에 대해서는 단지 ROI_level 파라미터만 존재한다.
또한, 인코딩 GOP 또는 장면 그룹 레벨에서 제2 보조 정보 구문 집합이 규정될 수 있다. 장면 그룹은 인접한 두 장면 변화 간의 픽쳐 그룹이다. 인코딩 GOP 구조는 장면 그룹과 정렬될 수 있거나 정렬되지 않을 수 있다. 일반적으로, 장면 그룹 내 비디오 콘텐츠는 그의 인접 장면 그룹들의 특성과 매우 다른 특성을 갖지만, 그 그룹 내에서는 유사한 특성을 갖는다. 만일 프레임이 여러 슬라이스로 인코드된다면, 예를 들어, 하나의 슬라이스가 한 행의 MB들을 포함한다면, 그룹 내에서 프레임들의 동일 위치에 있는 슬라이스들을 이하에서는 슬라이스 그룹이라 지칭한다.
일 실시예에서, 보조 정보 집합은 또한 각 인코딩 GOP 또는 장면 그룹마다 {시간 복잡도 레벨, 공간 복잡도 레벨}을 포함한다. 제안된 보조 정보 집합은 한 프레임 내에 여러 슬라이스가 존재하는 경우, 예를 들어, 슬라이스 당 하나의 MB 행이 존재하는 경우, ROI 레벨 파라미터 group_ROI_Level을 추가로 포함할 수 있다. 각 슬라이스 그룹마다 group_ROI_level이 계산된다.
Figure pct00018
temporal_complexity_level은 GOP/장면 그룹 또는 슬라이스 그룹 내 콘텐츠의 전체 움직임의 여러 레벨을 반영한다. 일반적으로, 4 레벨이면 충분하다.
spatial_complexity_level은 GOP/장면 그룹 또는 슬라이스 그룹 내 콘텐츠의 전체 텍스처 복잡도의 여러 레벨을 반영한다. 일반적으로, 4 레벨이면 충분하다.
group_ROI_level은 슬라이스 그룹의 "ROI 레벨" 값이다. 이 파라미터는 단지 프레임 내 여러 슬라이스가 존재하는 경우, 예를 들어, 슬라이스 당 하나의 MB 행이 존재하는 경우에만 계산된다. group_ROI_level은 GOP 또는 장면 그룹 내 각 슬라이스 그룹마다 계산된다.
전술한 보조 정보 파라미터들의 계산에 대해 이하에서 설명된다.
EC_level 계산
인코딩 슬라이스의 경우, "EC_level"은 여러 EC 방법에 따라 계산될 수 있다. 예를 들어, H.264 기준 디코더(JVT 디코더 또는 JVT JM 모델이라고도 지칭됨)에서, 인터 예측된 슬라이스 및 인트라 예측된 슬라이스에 대해 다른 EC 방법이 적용되며; 그러므로, 일 실시예에서, 두 가지 슬라이스 유형에 대해 다른 계산 방법이 사용된다. JVT 디코더에서, 인트라 픽셀 보간 방법은 손실된 "인트라 예측된" 슬라이스의 MB들을 은닉하는데 사용되며; 시간 도메인 움직임 벡터 추정 기반 에러 은닉 방법은 손실된 "인터 예측된" 슬라이스의 MB들에 사용된다. 몇 가지 더 진보된 디코더에서, 슬라이스 유형에 따르지 않고, 슬라이스의 다른 특징에 따라 두 부류의 EC 방법들이 선택된다. 일례가 이하에서 제시된다. 다른 유사한 계산 방법들도 사용될 수 있다.
예를 들어, JVT 디코더에서, 각각의 인터 예측된 슬라이스마다 슬라이스를 디코드하고 4x4 서브블록의 평균 움직임 벡터(MV)들을 평균하여 각 MB의 평균 MV를 계산한다. 만일 MB가 인트라 예측 모드로 인코드되면, 그것의 MV를 최대 움직임 탐색 범위 값으로 설정한다. 서브 픽셀 정밀도 대신에 픽셀 단위의 MV가 구해진다. 이것이 MB의 MV를 구하는 저 복잡도 방법이다. 대안으로, 다른 기존의 움직임 탐색 방법을 이용하여 각 MB의 MV가 계산될 수 있다. i번째 MB의 MV를 MVi라고 나타낸다. 슬라이스의 MVi를 다음과 같이 내림순, 즉
Figure pct00019
으로 소팅하고, 여기서 N은 슬라이스 내 MB들의 총 개수이다. 슬라이스의 시간 복잡도는 다음과 같이 상위 M개의 MV들을 평균하여 계산된다.
Figure pct00020
실험에서, M=3 또는 M=N/3이다. 슬라이스의 EC_level은 다음과 같이 계산된다.
Figure pct00021
인터 예측된 슬라이스의 EC_level 계산을 뒷받침하는 근거는 EC 효과가 손상된 슬라이스들의 다른 시간 복잡도에 따라 크게 달라진다는 것이다. 정지(stationary) 슬라이스의 경우, 그것은 현저한 아티팩트없이 복원될 수 있다. 그러나, 움직임이 큰 슬라이스의 경우, 에러를 은닉하는 것이 어렵고, 일반적으로 에지 왜곡이 심각하여, 인지적으로 매우 성가시다.
각각의 인트라 예측된 슬라이스의 경우, 그 슬라이스가 분실되고 그의 인접 슬라이스들이 정확하게 수신되었다고 가정한다. JVT 디코더에 적용된 픽셀 도메인 보간 EC 방법은 슬라이스 콘텐츠를 재구성하는데 사용된다. 인지 왜곡은 다음과 같이 계산된다.
Figure pct00022
Figure pct00023
여기서
Figure pct00024
는 (j,k)로 인덱스된 손실이 없는 디코드된 MB의 휘도(luminance) 성분이고,
Figure pct00025
는 (j,k)로 인덱스된 에러 은닉된 MB의 휘도 성분이고, M은 슬라이스 내 MB들의 총 개수이고, N은 MB 내 픽셀들의 총 개수이며, JNDj ,k는 공지의 방법iv을 이용하여 계산될 수 있는 MB의 가시성(visibility) 임계치("최소 감지가능한 차이(Just Noticeable Difference")이다. 가시성 임계치는 공간 대조 민감도(spatial contrast sensitivity) 및 휘도 적응(luminance adaptation)과 같은 그러한 효과에 영향을 받는다.
실험에서, 단지 휘도 마스킹 효과만을 고려하고 이를 아래와 같이 약간 수정한 실험식4에 따라 계산하였다.
Figure pct00026
여기서 Lj ,k는 (j,k)로 인덱스된 MB의 배경 휘도이다. 이 파라미터는 디코드된 MB의 픽셀들의 휘도 값들을 평균하여 계산된다. 파라미터 f, g, h는 f=22, g=20, h=10으로 선택될 수 있다. 그러면, 슬라이스의 EC 레벨은 다음과 같이 계산될 수 있다.
Figure pct00027
여기서 Thrd는 상수이며 제로에 가까운 작은 값, 예를 들어, 0.05로 설정된다.
인트라 코딩된 슬라이스의 EC 레벨 계산을 뒷받침하는 근거는 픽셀 보간 방법으로 에러 은닉된 슬라이스의 품질 저하가 어떤 특수한 상황(예를 들어, 매우 어둡거나 밝은 강도 또는 균일한 텍스처를 갖는 영역, 또는 풍부한 텍스처를 갖는 영역)에서 인지되지 않을 수 있다는 것이다. 인터 코딩된 슬라이스의 EC 레벨은 유사한 방식으로 계산될 수 있다. 그러나, 전술한 방법은 계산상 더 효율적이고 더 효과적이다.
ROI_level 계산
파라미터 ROI_level은 두 가지 값을 가질 수 있다. "0"는 슬라이스가 ROI가 아니라는 것을 나타내고, 그리고 "1"은 슬라이스가 ROI라는 것을 나타낸다. ROI를 규정하는 방법은 공지되어 있다. 예를 들어, 만일 슬라이스가 눈 및/또는 입과 같은 이목에 민감한 관심 영역을 포함한다면, 슬라이스 ROI_level은 "1"이다. 그렇지 않으면, 슬라이스 ROI_level은 "0"이다. 여기서는 어떠한 기존의 ROI 분할(segmentation) 방법(세일리언시(saliency) 매핑이라고도 알려짐)이라도 사용될 수 있다. 다른 실시예에서, 만일 인코더가 전경(foreground)이 ROI이고 배경이 ROI가 아닌 "전경 및 배경"의 FMO 슬라이스 모드를 사용하도록 구성된다면, 전경 슬라이스는 "1"의 ROI_level을 갖고, 배경 슬라이스는 "0"의 ROI_level을 갖는다.
EP_level 계산
예시적으로, 에러 전파 감쇄(EP) 레벨은 다음과 같이 계산된다. 인트라 코딩된 슬라이스의 경우, 각 슬라이스의 EP 레벨은 "0"으로 설정되는데, 그 이유는 모든 MB들이 인트라 코딩되고, 이전 프레임들로부터 전파된 에러가 없기 때문이다. 인터 코딩된 슬라이스의 경우, 이를 디코드하여 인트라 코딩된 MB들의 개수를 획득하고; IRR로 나타낸 인트라 MB들 대 슬라이스의 총 MB들의 비율을 계산한다. 각 슬라이스의 EP 레벨은 IRR의 값에 따라 설정된다. 예를 들어, 만일 IRR 레벨을 나타내는데 4 비트가 사용된다면, {(2n+1)/32, n=0,...,15}의 16가지 레벨이 존재한다. 슬라이스의 IRR 레벨은 그의 IRR 값을 대응하는 IRR 레벨로 라운딩(rounding)하여 결정된다. 프레임의 EP 레벨은 유사한 방식으로 결정될 수 있다.
이하에서는, 그룹 레벨에 대해 전술한 보조 정보 파라미터들의 계산에 대해 설명된다.
그룹 Temporal_Complexity_Level 계산
GOP 또는 장면 그룹 또는 슬라이스 그룹(이하에서는 총칭하여 그룹으로 불림)의 경우, 시간 복잡도 레벨(temporal complexity level)은 그룹에 대한 "제로 MV" 비율, 그룹에 대한 "평균(average mean) MV 크기" 및/또는 그룹 내 "이동 균일성"으로부터 계산된다. 각 MB의 MV는 슬라이스 레벨에 대해 전술한 바와 동일한 방식으로 얻어진다. Z로 나타낸 평균 제로 MV 비율은 그룹 내 제로 MV의 개수 대 총 MV의 비율로 계산된다.
Figure pct00028
V로 나타낸 평균 MV 크기는 그룹에 대해 하나의 슬라이스/프레임 내의 비제로 MV들의 평균 크기의 평균으로서 계산된 다음, 프레임 깊이로 정규화된다. 임계치 방법을 이용하면, 시간 복잡도는, 예를 들어, 세 가지 레벨, 즉, 정지(레벨 0), 매우 큰 움직임(레벨 2), 기타/중간(레벨 1)으로 분류된다.
그룹 Spatial_Complexity_Level 계산
GOP 또는 장면 그룹의 경우, 공간 복잡도 레벨(spatial complexity level)은 먼저 그룹의 각 프레임/슬라이스에 에지 검출 연산자(예를 들어, 소벨(Sobel) 연산자)를 적용하여 계산된다. 다음에, 예를 들어, 두 가지 또는 세 가지 레벨, 즉, 부드러운 텍스처를 갖는 영역(레벨 0) 또는 풍부한 텍스처를 갖는 영역(레벨 2)을 분류하기 위해 에지의 크기를 조작한다. 또한, 제3 레벨은 기타/중간(레벨 1)일 수 있다.
Group_ROI_level
Group_ROI_level 파라미터는 단지 (앞에서 규정된) 슬라이스 그룹에 대해서만 사용된다. 만일 현재 슬라이스 그룹이 눈 및 입과 같은 이목에 민감한 영역을 포함한다면, 그의 ROI_level은 "1"이고; 그렇지 않다면, 그 레벨은 "0"이다.
전술한 파라미터들 각각이 개별적으로, 또는 어떤 조합으로 사용될 수 있음을 주목하여야 한다. 일반적으로 슬라이스 레벨 파라미터가 그룹/GOP 레벨 파라미터보다 더 강력한 효과를 낸다고 알고 있지만, 이 파라미터는 일 실시예의 응용 관련 상황에 좌우될 수 있다.
설명된 예들에 따르면, 많은 유리한 실시예들이 만들어질 수 있다. 이하의 실시예들은 조합될 수 있다. 특히, 방법 관련 실시예들은 장치 관련 실시예들로 전개될 수 있다.
도 3은 비디오 품질 평가를 가능하게 하는 방법(30)의 흐름도이다. 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어진다. 이 방법은 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스(34)를 수신하는 단계(31), 상기 패킷 시퀀스로부터 파라미터 집합(a set of parameters)을 생성하는 단계(32), 및 상기 생성된 파라미터 집합을 보조 정보로서 상기 프레임 스트림에 삽입하는 단계(33)를 포함한다. 상기 비디오 데이터는 적어도 하나의 슬라이스 레벨을 포함하며, 상기 생성된 파라미터 집합은 상기 비디오의 슬라이스(즉, 다른 슬라이스가 아님) 레벨을 개별적으로 나타내는 적어도 하나의 파라미터를 포함한다. 상기 파라미터 집합은 비디오 데이터의 프레임 스트림에 대한 추정된 평균 평가 점수(MOS)를 생성하는데 적합하다.
도 4는 비디오 품질을 평가하는 방법(40)의 흐름도이다. 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어진다. 비디오 데이터의 프레임 스트림의 품질을 평가하는 방법은 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스(44)를 수신하는 단계(41), 상기 패킷 시퀀스로부터 파라미터 집합을 추출하는 단계(42), 및 상기 파라미터 집합에 기초하여 추정된 평균 평가 점수(45)를 생성하는데 단계(43)를 포함한다. 상기 비디오 데이터는 적어도 하나의 슬라이스 레벨을 포함하며, 상기 추출된 파라미터 집합은 상기 비디오의 슬라이스(즉, 다른 슬라이스가 아님) 레벨을 개별적으로 나타내는 적어도 하나의 파라미터를 포함한다.
모든 실시예에서, 만일 하나의 프레임이 하나보다 많은 슬라이스(슬라이스 레벨로 나타냄)를 갖는다면, 파라미터 집합은 비디오의 특정 슬라이스 또는 슬라이스 레벨(다른 슬라이스/슬라이스 레벨이 아님)을 개별적으로 나타내는 적어도 하나의 파라미터를 포함한다.
일 실시예에서, 파라미터 집합은 비디오의 GOP 레벨 또는 장면 그룹 레벨을 개별적으로 나타내는 적어도 하나의 파라미터를 더 포함한다.
일 실시예에서, 제1 파라미터(EC_level)는 슬라이스의 에러 은닉 레벨을 나타낸다. 일 실시예에서, 제1 파라미터는 슬라이스의 움직임 및/또는 텍스처 복잡도를 반영하며, 파라미터가 생성된 경우, 제1 파라미터를 생성하는 단계는 슬라이스가 인트라 예측된 경우 제1 계산 방법(37a)(도 3 참조)을 이용하여 제1 파라미터를 생성하는 단계, 및 슬라이스가 인터 예측된 경우 다른 제2 계산 방법(37b)을 이용하여 제1 파라미터를 생성하는 단계를 포함한다. 또한, EC 유형을 선택, 예를 들어, 인트라 예측된 슬라이스를 JVT JM 디코더에 대해 인터 예측된 슬라이스와 구별하기 위해 구별 또는 선택 단계(36)가 수행될 수 있다. 더 진보된 디코더에서, 슬라이스 유형에 따르지 않고, 슬라이스의 다른 특징에 따라 두 부류의 EC 방법들이 선택된다(36). EC_level의 계산은 손실된 슬라이스의 콘텐츠에 발생되는 EC 효과를 구별하는 것을 목표로 하며 상이한 EC 방법들은 손실된 슬라이스를 은닉하기 위해 적용된다. 전술한 바와 같이, 일 실시예에서, 제1 계산 방법(37a)은 슬라이스가 인터 MB보다 더 많은 인트라 MB를 갖는 경우에 사용되며, 반면에 제2 계산 방법(37b)은 그렇지 않은 경우에 사용된다.
일 실시예에서, 제2 파라미터(ROI_level)는 슬라이스가 관심 영역(ROI)을 포함하는지 여부를 나타낸다.
일 실시예에서, 제3 파라미터(EP_attenuation_level)는 슬라이스의 에러 전파 감쇄 레벨을 나타낸다. 파라미터가 생성되는 실시예에서, 생성된 파라미터 집합에서 제3 파라미터를 생성하는 단계는 인터 코딩된 슬라이스의 경우 인트라 코딩된 매크로블록들 및 슬라이스 내 매크로블록들의 총 개수의 비율을 계산하는 단계를 포함하며, 여기서 인트라 코딩된 슬라이스의 경우 제3 파라미터는 제로로 설정된다.
일 실시예에서, 제4 파라미터(size_in_MBs)는 슬라이스 내 매크로블록들의 개수를 나타낸다.
일 실시예에서, 제5 파라미터(temporal_complexity_level)는 GOP 또는 장면 그룹의 시간 복잡도 레벨을 나타낸다. 도 3에 도시된 실시예에서, 파라미터가 생성되는 경우, 생성된 파라미터 집합에서 제5 파라미터를 생성하는 단계는 GOP 또는 장면 그룹의 제로 움직임 벡터들의 비율을 결정하는 서브 단계(38a), GOP 또는 장면 그룹을 적어도 세 가지 움직임 레벨 중 하나로 분류하는 서브 단계(38b) - 움직임 레벨은 적어도 정지 레벨, 중간 움직임 레벨 및 매우 큰 움직임 레벨을 포함함 -, 및 GOP 또는 장면 그룹이 분류된 움직임 레벨에 따라 GOP 또는 장면 그룹의 제5 파라미터를 생성하는 서브 단계(38c)를 포함한다.
일 실시예에서, 제6 파라미터(spatial_complexity_level)는 GOP 또는 장면 그룹의 공간 복잡도 레벨을 나타내며, GOP 또는 장면 그룹의 각 슬라이스 또는 프레임에서 에지 검출이 사용되며, 에지 양에 따라 GOP 또는 장면 그룹이 적어도 두 가지 공간 복잡도 레벨들 중 하나로 분류되며, 상기 레벨들은 부드러운 텍스처 및 풍부한 텍스처에 해당한다.
일 실시예에서, 제7 파라미터(group_ROI_level)는 GOP 또는 장면 그룹 내 슬라이스 그룹의 그룹 ROI 레벨을 나타내며, 이는 GOP 또는 장면 그룹 내 대응하는 슬라이스들이 관심 영역(ROI)을 포함하는지 여부를 나타낸다.
일 실시예에서, 도 5에 도시된 바와 같이, 비디오 데이터의 프레임 스트림의 품질 평가를 가능하게 하는 장치(50)로서, 상기 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어지며, 상기 장치는 상기 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스를 수신하는 수신 수단(51), 상기 패킷 시퀀스로부터 파라미터 집합(a set of parameters)을 생성하는 계산 수단(52) - 상기 파라미터 집합은 상기 비디오 데이터의 프레임 스트림의 추정된 평균 평가 점수(mean opinion score)를 생성하는데 적합함 -, 및 상기 생성된 파라미터 집합을 보조 정보로서 상기 프레임 스트림에 삽입하는 삽입 수단(53)을 포함한다. 상기 비디오 데이터는 슬라이스 레벨을 포함하고 상기 생성된 파라미터 집합은 상기 비디오의 슬라이스 레벨을 나타내는 적어도 하나의 파라미터를 포함한다. 상기 수신 수단(51)은 입력단, 수신기, 커넥터 등일 수 있다. 상기 계산 수단(52)은 (마이크로-)프로세서, 소프트웨어 실행 유닛, 계산 유닛 등일 수 있다. 상기 삽입 수단(53)은 멀티플렉서, 중재기 또는 유사한 것일 수 있다.
도 5는 인터 코딩된 슬라이스와 인트라 코딩된 슬라이스 사이를 구별하는 구별 유닛(56), 슬라이스가 인트라 코딩된 경우 제1 파라미터를 생성하는 제1 계산 유닛(57a) 및 슬라이스가 인터 코딩된 경우 제1 파라미터를 생성하는 제2 계산 유닛(57b)을 더 포함하는 실시예를 도시한다.
또한, 도 5에 도시된 실시예는, 생성된 파라미터 집합에서 제5 파라미터를 생성하기 위해, 상기 GOP 또는 장면 그룹의 제로 움직임 벡터들의 비율을 결정하는 제1 결정 수단(58a), 상기 GOP 또는 장면 그룹을 적어도 세 개의 움직임 레벨들 중 하나로 분류하는 분류 수단(58b) - 상기 움직임 레벨은 적어도 정지 레벨, 중간 움직임 레벨 및 매우 큰 움직임 레벨을 포함함 - 및 상기 GOP 또는 장면 그룹이 분류된 움직임 레벨에 따라 그 GOP 또는 장면 그룹의 상기 제5 파라미터를 생성하는 생성 수단(58c)을 포함한다.
일 실시예에서, 도 6에 도시된 바와 같이, 비디오 데이터의 프레임 스트림의 품질을 평가하는 장치(60)가 개시된다. 비디오 데이터(44)는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어진다. 비디오 데이터의 프레임 스트림의 품질을 평가하는 상기 장치(60)는 상기 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스를 수신하는 수신 수단(61), 상기 패킷 시퀀스로부터 파라미터 집합을 추출하는 추출 수단(62), 및 상기 파라미터 집합에 기초하여 추정된 평균 평가 점수(45)를 생성하는 계산 수단(63)을 포함한다. 상기 비디오 데이터는 슬라이스 레벨을 포함하며, 상기 추출된 파라미터 집합은 상기 비디오의 슬라이스 레벨을 나타내는 적어도 하나의 파라미터를 포함한다.
일 실시예에서, 비디오 품질 추정 디바이스용 컴퓨터 실행가능한 프로그램이 제공되며, 이 컴퓨터 실행가능한 프로그램은 상기 디바이스의 컴퓨터가 청구항 1 내지 청구항 13 중 어느 항에 따른 방법을 실행하도록 한다. 일 실시예에서, 컴퓨터 판독가능한 기록 매체에는 상기 컴퓨터 실행가능한 프로그램이 기록되어 있다.
본 발명은 패킷화된 비디오 신호의 전송 전 또는 수신 후에 패킷 계층 VQM 모델에서 사용될 수 있다. 보조 정보(즉, 삽입된 파라미터)의 다른 용도는, 네트워크 혼잡의 경우, 네트워크 소자, 예를 들어, 라우터가 최적의 최종 사용자가 인지한 비디오 품질을 유지하면서, 이러한 파라미터를 이용하여 최종 사용자의 품질을 추정하고 어느 패킷을 폐기할지 판단할 수 있다는 것이다.
본 발명의 바람직한 실시예들에 적용된 바와 같은 본 발명의 근본적인 신규한 특징들이 제시되고, 설명되고, 지적되었지만, 개시된 디바이스들의 형태 및 상세 내용에서, 그리고 그 동작에 있어서, 설명된 장치 및 방법의 여러 생략 및 대체 및 변경이 본 발명의 정신으로부터 벗어남이 없이 당업자에 의해 이루어질 수 있다. 실질적으로 동일한 기능을 실질적으로 동일한 방식으로 수행하여 동일한 결과를 얻는 그러한 소자들의 모든 조합은 본 발명의 범주 내에 있음이 명백히 의도된다. 설명된 일 실시예로부터의 다른 실시예로의 소자들의 대체 또한 충분히 의도되고 예상된다.
본 발명이 순전히 예를 들어 설명되었고, 본 발명의 범주로부터 벗어남이 없이 상세 내용의 변형이 이루어질 수 있음을 이해할 것이다.
상세한 설명에 개시된 각 특징 및 (적절한 경우) 특허청구범위 및 도면은 독립적으로 또는 어떤 적절한 조합으로 제공될 수 있다. 특징들은 적절한 곳에서 하드웨어, 소프트웨어, 또는 이들 둘의 조합으로 구현될 수 있다. 특허청구범위에 나타나는 참조 부호는 단지 예시적이며 특허청구범위의 범주에 어떠한 제한적인 영향도 미치지 않을 것이다.
<참고>
i Akira Takahashi: Framework and Standardization of Quality of Experience (QoE) Design and Management for Audiovisual Communication Services, NTT Technical Review 4/2009, www.ntt-review. jp/archive/2009/200904. html
ii A. Raake, M.-N. Garcia, S. Moller J. Berger, F. Kling, P. List, J. Johann, C. Heidemann, T-V-MODEL: PARAMETER-BASED PREDICTION OF IPTV QUALITY, ICASSP 2008
iii Nitin Suresh, Mean Time Between Visible Artefacts in Visual Communications, PHD thesis, Georgia Inst. of Tech., August 2007
iv e.g. in W.Lin et al., "Visual Distortion Gauge Based on Discrimination of Noticeable Contrast Changes", IEEE Transactions On Circuit and System for Video Tech., Vol.15, No.7, Jul.2005

Claims (15)

  1. 비디오 데이터의 프레임 스트림(a stream of frames)의 품질 평가(quality assessment)를 가능하게 하는 방법으로서 - 상기 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어짐 -,
    상기 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스(a sequence of packets)를 수신하는 단계(31);
    상기 패킷 시퀀스로부터 파라미터 집합(a set of parameters)을 생성하는 단계(32) - 상기 파라미터 집합은 상기 비디오 데이터의 프레임 스트림의 추정된 평균 평가 점수(mean opinion score)를 생성하는데 적합함 -; 및
    상기 생성된 파라미터 집합을 보조 정보(side information)로서 상기 프레임 스트림에 삽입하는 단계(33)
    를 포함하며,
    상기 비디오 데이터는 슬라이스 레벨을 포함하고 상기 생성된 파라미터 집합은 상기 비디오의 슬라이스 레벨을 개별적으로 나타내는 적어도 하나의 파라미터를 포함하는 방법.
  2. 비디오 데이터의 프레임 스트림의 품질을 평가하는 방법으로서 - 상기 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어짐 -,
    상기 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스를 수신하는 단계(41);
    상기 패킷 시퀀스로부터 파라미터 집합을 추출하는 단계(42); 및
    상기 파라미터 집합에 기초하여 추정된 평균 평가 점수(45)를 생성하는 단계(43)
    를 포함하며,
    상기 비디오 데이터는 슬라이스 레벨을 포함하고 상기 추출된 파라미터 집합은 상기 비디오의 슬라이스 레벨을 개별적으로 나타내는 적어도 하나의 파라미터를 포함하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 파라미터 집합은 상기 비디오의 GOP 레벨 또는 장면 그룹 레벨(scene group level)을 개별적으로 나타내는 적어도 하나의 파라미터를 더 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 제1 파라미터는 슬라이스의 에러 은닉 레벨(error concealment level)을 나타내는 방법.
  5. 제4항에 있어서, 상기 제1 파라미터는 상기 슬라이스의 움직임 및/또는 텍스처 복잡도(texture complexity)를 반영하고, 적어도 제1항을 인용하는 제4항의 경우, 상기 생성된 파라미터 집합에서 상기 제1 파라미터를 생성하는 단계는,
    상기 슬라이스가 인트라(intra) 예측되었는지 인터(inter) 예측되었는지를 결정하는 단계;
    상기 슬라이스가 인트라 예측된 경우 제1 계산 방법(37a)을 이용하여 상기 제1 파라미터를 생성하는 단계; 및
    상기 슬라이스가 인터 예측된 경우 다른 제2 계산 방법(37b)을 이용하여 상기 제1 파라미터를 생성하는 단계를 포함하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 제2 파라미터인 파라미터는 슬라이스가 관심 영역(ROI)을 포함하는지 여부를 나타내는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 제3 파라미터는 슬라이스의 에러 전파 감쇄 레벨(error propagation attenuation level)을 나타내는 방법.
  8. 제7항에 있어서, 적어도 제1항을 인용하는 경우, 상기 생성된 파라미터 집합에서 상기 제3 파라미터를 생성하는 단계는 인터 코딩된 슬라이스의 경우, 인트라 코딩된 매크로블록들 및 상기 슬라이스 내 매크로블록들의 총 개수의 비율을 계산하는 단계를 포함하며, 인트라 코딩된 슬라이스의 경우, 상기 제3 파라미터는 제로로 설정되는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 제4 파라미터는 슬라이스 내 매크로블록들의 개수를 나타내는 방법.
  10. 제3항 내지 제9항 중 어느 한 항에 있어서, 제5 파라미터는 GOP 또는 장면 그룹의 시간 복잡도 레벨을 나타내는 방법.
  11. 제10항에 있어서, 제3항 내지 제9항 중 어느 한 항이 적어도 제1항을 인용하는 경우, 상기 생성된 파라미터 집합에서 상기 제5 파라미터를 생성하는 단계는,
    상기 GOP 또는 장면 그룹의 제로 움직임 벡터들의 비율을 결정하는 단계(38a);
    상기 GOP 또는 장면 그룹을 적어도 세 개의 움직임 레벨들 중 하나로 분류하는 단계(38b) - 상기 움직임 레벨들은 적어도 정지(stationary) 레벨, 중간 움직임 레벨 및 매우 큰 움직임 레벨을 포함함 -; 및
    상기 GOP 또는 장면 그룹이 분류된 움직임 레벨에 따라 상기 GOP 또는 장면 그룹의 상기 제5 파라미터를 생성하는 단계(38c)를 포함하는 방법.
  12. 제3항 내지 제11항 중 어느 한 항에 있어서, 제6 파라미터는 GOP 또는 장면 그룹의 공간 복잡도 레벨을 나타내며, 상기 GOP 또는 장면 그룹의 각 슬라이스 또는 프레임마다 에지 검출이 사용되며, 에지 양에 따라, 상기 GOP 또는 장면 그룹은 부드러운 텍스처(smooth texture) 및 풍부한 텍스처(rich texture)에 대응하는 적어도 두 가지 공간 복잡도 레벨들 중 하나로 분류되는 방법.
  13. 제3항 내지 제12항 중 어느 한 항에 있어서, 제7 파라미터는 GOP 또는 장면 그룹 내 슬라이스 그룹의 그룹 ROI 레벨을 나타내며, 이는 상기 GOP 또는 장면 그룹 내 대응하는 슬라이스가 관심 영역(ROI)을 포함하는지 여부를 나타내는 방법.
  14. 비디오 데이터의 프레임 스트림의 품질 평가를 가능하게 하는 장치로서 - 상기 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어짐 -,
    상기 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스를 수신하는 수신 수단(51);
    상기 패킷 시퀀스로부터 파라미터 집합을 생성하는 계산 수단(52) - 상기 파라미터 집합은 상기 비디오 데이터의 프레임 스트림의 추정된 평균 평가 점수를 생성하는데 적합함 -; 및
    상기 생성된 파라미터 집합을 보조 정보로서 상기 프레임 스트림에 삽입하는 삽입 수단(53)
    을 포함하며,
    상기 비디오 데이터는 슬라이스 레벨을 포함하고 상기 생성된 파라미터 집합은 상기 비디오의 슬라이스 레벨을 나타내는 적어도 하나의 파라미터를 포함하는 장치.
  15. 비디오 데이터의 프레임 스트림의 품질을 평가하는 장치(60)로서 - 상기 비디오 데이터는 패킷 네트워크를 통해 전송되며 비디오 데이터의 각 프레임은 가변 개수의 패킷들로 나타내어짐 -,
    상기 비디오 데이터의 프레임 스트림과 연관된 패킷 시퀀스를 수신하는 수신 수단(61);
    상기 패킷 시퀀스로부터 파라미터 집합을 추출하는 추출 수단(62); 및
    상기 파라미터 집합에 기초하여 추정된 평균 평가 점수(45)를 생성하는 계산 수단(63)
    을 포함하며,
    상기 비디오 데이터는 슬라이스 레벨을 포함하고 상기 추출된 파라미터 집합은 상기 비디오의 슬라이스 레벨을 나타내는 적어도 하나의 파라미터를 포함하는 장치.
KR1020127031342A 2010-04-30 2010-04-30 비디오 스트림 품질 평가 방법 및 장치 KR101414435B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/000603 WO2011134113A1 (en) 2010-04-30 2010-04-30 Method and apparatus for assessing quality of video stream

Publications (2)

Publication Number Publication Date
KR20130019435A true KR20130019435A (ko) 2013-02-26
KR101414435B1 KR101414435B1 (ko) 2014-07-01

Family

ID=44860735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127031342A KR101414435B1 (ko) 2010-04-30 2010-04-30 비디오 스트림 품질 평가 방법 및 장치

Country Status (6)

Country Link
US (1) US9288071B2 (ko)
EP (1) EP2564590B1 (ko)
JP (1) JP5670551B2 (ko)
KR (1) KR101414435B1 (ko)
CN (1) CN102959976B (ko)
WO (1) WO2011134113A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379769B2 (en) 2003-09-30 2008-05-27 Sunnybrook Health Sciences Center Hybrid imaging method to monitor medical device delivery and patient support for use in the method
US8155417B2 (en) 2007-03-27 2012-04-10 Hologic, Inc. Post-acquisition adaptive reconstruction of MRI data
WO2010148503A1 (en) 2009-06-23 2010-12-29 Sentinelle Medical Inc. Variable angle guide holder for a biopsy guide plug
EP2503934B1 (en) 2009-11-27 2021-10-20 Hologic, Inc. Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
ES2511044T3 (es) * 2010-07-30 2014-10-22 Deutsche Telekom Ag Evaluación de la calidad de una señal de video durante la codificación o la compresión de la señal de video
US9913596B2 (en) 2010-11-25 2018-03-13 Invivo Corporation Systems and methods for MRI guided trans-orifice and transperineal intervention apparatus with adjustable biopsy needle insertion
JP6022473B2 (ja) * 2010-12-10 2016-11-09 ドイッチェ テレコム アーゲー パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
WO2013048300A1 (en) * 2011-09-26 2013-04-04 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded video stream
KR101885852B1 (ko) 2011-09-29 2018-08-08 삼성전자주식회사 컨텐트 전송 및 수신 방법 및 장치
GB2497915B (en) * 2011-10-25 2015-09-09 Skype Estimating quality of a video signal
US9076246B2 (en) 2012-08-09 2015-07-07 Hologic, Inc. System and method of overlaying images of different modalities
PT2701397E (pt) * 2012-08-20 2014-12-12 Deutsche Telekom Ag Modelo de qualidade de vídeo dependente do conteúdo para serviços de fluxo de vídeo
US11159804B1 (en) * 2012-09-13 2021-10-26 Arris Enterprises Llc QoE feedback based intelligent video transport stream tuning
GB2513090B (en) * 2013-01-28 2019-12-11 Microsoft Technology Licensing Llc Conditional concealment of lost video data
US9646376B2 (en) 2013-03-15 2017-05-09 Hologic, Inc. System and method for reviewing and analyzing cytological specimens
US20140355665A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Adaptive Video Reference Frame Compression with Control Elements
WO2014198062A1 (en) * 2013-06-14 2014-12-18 Thomson Licensing Method and apparatus for video quality measurement
CN104282309A (zh) 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
US9674515B2 (en) * 2013-07-11 2017-06-06 Cisco Technology, Inc. Endpoint information for network VQM
CN103596012B (zh) * 2013-11-14 2017-05-10 山东电子职业技术学院 一种实时的基于avs的视频帧率转码中帧间宏块类型选择方法
CN103647963A (zh) * 2013-12-04 2014-03-19 北京邮电大学 基于GoP场景复杂度的视频质量评价方法
CN103646356B (zh) * 2013-12-18 2016-10-12 国家电网公司 一种特高压交流跨区电能交易中综合网损率的确定方法
CN103841412B (zh) * 2014-03-18 2016-03-02 北京邮电大学 一种网络视频用户体验质量测量方法和装置
US10021402B2 (en) * 2015-12-16 2018-07-10 Dialogic Corporation Estimation of video quality of experience on media servers
US10623744B2 (en) * 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
US20190238856A1 (en) * 2018-01-31 2019-08-01 Hewlett Packard Enterprise Development Lp Estimating video quality of experience
CN110401622B (zh) * 2018-04-25 2022-04-29 中国移动通信有限公司研究院 一种语音质量评估方法、装置、电子设备和存储介质
CN111737304B (zh) * 2020-07-31 2021-03-02 支付宝(杭州)信息技术有限公司 一种区块链数据的处理方法、装置及设备
CN112329515B (zh) * 2020-09-11 2024-03-29 博云视觉（北京）科技有限公司 一种高点视频监控拥堵事件检测方法
CN112367520B (zh) * 2020-11-11 2022-06-21 郑州师范学院 基于人工智能的视频质量诊断系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0303361A (pt) * 2002-03-08 2004-03-30 Koninkl Philips Electronics Nv Método e dispositivos para fornecer informações para obter melhor qualidade de imagem percebida de um fluxo de dados de vìdeo transmitido e para processar um fluxo de dados de vìdeo, formato de sinal para uso na transmissão de um fluxo de dados de vìdeo e meio de armazenamento
US20060221942A1 (en) * 2005-03-31 2006-10-05 Frank Fruth Intelligent voice network monitoring
CN100459717C (zh) * 2005-04-20 2009-02-04 华为技术有限公司 基于h.264的压缩视频传输误码消除方法
EP1727375A1 (en) 2005-05-27 2006-11-29 Psytechnics Limited Assessment of perceived quality of a packetized video stream
EP2018069B1 (en) 2006-05-09 2016-08-10 Nippon Telegraph And Telephone Corporation Video quality estimating device, method, and program
EP2127098A4 (en) * 2006-12-25 2010-05-19 Thomson Licensing METHOD AND DEVICE FOR AUTOMATIC GAIN CONTROL
KR20090110323A (ko) * 2007-01-04 2009-10-21 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비디오 신호를 인코딩하는 방법 및 시스템
US20100053300A1 (en) 2007-02-02 2010-03-04 Einarsson Torbjoern Method And Arrangement For Video Telephony Quality Assessment
ATE473600T1 (de) 2007-05-25 2010-07-15 Psytechnics Ltd Videoqualitätsbestimmung
US8094713B2 (en) 2007-07-16 2012-01-10 Telchemy, Inc. Method and system for viewer quality estimation of packet video streams
CN101558657B (zh) 2007-08-22 2011-07-27 日本电信电话株式会社 视频质量估计装置、视频质量估计方法、帧类型确定方法
JP4791443B2 (ja) * 2007-12-27 2011-10-12 日本電信電話株式会社 客観品質評価方法、客観品質評価装置およびプログラム
EP2229786B1 (en) 2008-01-18 2012-07-25 Thomson Licensing Method for assessing perceptual quality
JP2009260941A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
JP2009260940A (ja) 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
EP2106154A1 (en) * 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation
EP2296379A4 (en) 2008-07-21 2011-07-20 Huawei Tech Co Ltd METHOD, SYSTEM AND DEVICE FOR EVALUATING A VIDEO QUALITY
KR100938211B1 (ko) 2008-08-29 2010-01-22 성균관대학교산학협력단 동영상 화질 평가 시스템 및 방법

Also Published As

Publication number Publication date
EP2564590B1 (en) 2018-06-13
JP5670551B2 (ja) 2015-02-18
EP2564590A1 (en) 2013-03-06
KR101414435B1 (ko) 2014-07-01
EP2564590A4 (en) 2015-01-21
JP2013527688A (ja) 2013-06-27
WO2011134113A1 (en) 2011-11-03
US9288071B2 (en) 2016-03-15
CN102959976A (zh) 2013-03-06
US20130044224A1 (en) 2013-02-21
CN102959976B (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
KR101414435B1 (ko) 비디오 스트림 품질 평가 방법 및 장치
JP5302342B2 (ja) ビデオ符号ストリームの品質を評価する方法、装置およびシステム
JP5981561B2 (ja) シーンカットアーチファクトを考慮するビデオ品質評価
US9077972B2 (en) Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
KR101742930B1 (ko) 비디오 비트스트림에서 품질 결함을 검출하는 방법 및 장치
KR20140008508A (ko) 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치
Garcia et al. Parametric model for audiovisual quality assessment in IPTV: ITU-T Rec. P. 1201.2
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
Tommasi et al. Packet losses and objective video quality metrics in H. 264 video streaming
Kumar et al. Quality of experience driven rate adaptation for adaptive HTTP streaming
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
Khan et al. Impact of video content on video quality for video over wireless networks
Shmueli et al. Effects of an encoding scheme on perceived video quality transmitted over lossy internet protocol networks
US9723301B2 (en) Method and apparatus for context-based video quality assessment
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
EP2954677B1 (en) Method and apparatus for context-based video quality assessment
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
Liao et al. A packet-layer video quality assessment model based on spatiotemporal complexity estimation
Venkatesh Babu et al. Evaluation and monitoring of video quality for UMA enabled video streaming systems
Yang et al. Temporal quality evaluation for enhancing compressed video
CN104995914A (zh) 用于基于上下文的视频质量评估的方法和装置
CN104969548A (zh) 用于基于上下文的视频质量评估的方法和装置
Garcia et al. Video Quality Model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5