KR20190010659A - 적응형 멀티미디어 스트리밍의 품질 추정 - Google Patents
적응형 멀티미디어 스트리밍의 품질 추정 Download PDFInfo
- Publication number
- KR20190010659A KR20190010659A KR1020187037600A KR20187037600A KR20190010659A KR 20190010659 A KR20190010659 A KR 20190010659A KR 1020187037600 A KR1020187037600 A KR 1020187037600A KR 20187037600 A KR20187037600 A KR 20187037600A KR 20190010659 A KR20190010659 A KR 20190010659A
- Authority
- KR
- South Korea
- Prior art keywords
- buffering
- time
- vector
- quality
- multimedia session
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003044 adaptive effect Effects 0.000 title 1
- 239000013598 vector Substances 0.000 claims abstract description 101
- 230000003139 buffering effect Effects 0.000 claims abstract description 75
- 230000015556 catabolic process Effects 0.000 claims abstract description 48
- 238000006731 degradation reaction Methods 0.000 claims abstract description 48
- 230000006870 function Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000000694 effects Effects 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 abstract 1
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003446 memory effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
멀티미디어 세션 MOS를 예측하기 위한 메커니즘들이 제공된다. 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하고, 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현된다. 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 멀티미디어 세션의 개시와 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현된다. 방법은 비디오 품질의 시간-단위-당 스코어들의 벡터 및 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하는 단계를 포함한다. 시청각 품질 피처들은, 비디오 품질의 시간-단위-당 스코어들의 벡터와 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터; 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 - 가중치들은 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들임 -; 시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현하는 음의 바이어스; 및 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항을 포함한다. 방법은 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하는 단계를 포함한다. 방법은 생성된 시청각 품질 피처들 및 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하는 단계를 포함한다.
Description
본 발명은 멀티미디어 세션 MOS(평균 평가 스코어(Mean Opinion Score))를 예측하기 위한 방법, MOS 추정기, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품에 관한 것이다.
소비자 및 기업 사용자들 모두 콘텐츠 소비가 증가함에 따라, 스트리밍 미디어가 그 어느 때보다 인기를 누리고 있다. 이것은 유튜브(YouTube), 트위터(Twitter) 및 페이스북(Facebook)과 같은 소셜미디어에서는 물론, 넷플릭스(Netflix)와 같은 온-디맨드 비디오 서비스들의 제공자들에 의해서도 사용된다. 일부 보고서들에 따르면, 넷플릭스와 유튜브는 함께 북미 지역에서 피크 인터넷 트래픽의 절반을 차지하고 있다. 또한, 가입형 주문형 비디오 가정들의 수가 2020년까지 200개국에 걸쳐 3억 6백만에 달할 전망이다.
예를 들어, 무선 접속에 있어서 네트워크에서의 송신 용량이 변동되는 경우, 미디어 플레이어는 종종 비트레이트를 적응시키도록 선택할 수 있으므로, 비디오가 가끔 품질이 저하되긴 하지만(더 낮은 비트레이트, 더 낮은 해상도 등) 여전히 전달될 수 있다. 60초 비디오에 대한 예가 도 1a에 도시되어 있으며, 여기서 세그먼트 높이들은 비트레이트를 표현하고, 각각의 세그먼트는 5초 길이이다. 거의 모든 경우들에서, 품질은 대응하는 방식으로 변화될 것이며, 즉, 더 높은 비트레이트는 더 높은 품질을 제공할 것이고, 더 낮은 비트레이트는 더 낮은 품질을 제공할 것이다.
따라서, 제공자들이 기본적으로 서비스 품질의 주관적인 평가인 사용자의 체감 품질(Quality of Experience)(QoE)을 추정하는 것이 매우 중요하다. 이를 위해, 시청자 패널에게 스트리밍 미디어의 인식된 품질을 평가하도록 요청하는 주관적인 테스트가 사용될 수 있다. 통상적으로, 품질은 1("불량") 내지 5("우수")의 스케일로 주어지며, 이후 모든 시청자들에 대해 평균을 내어, 평균 평가 스코어(MOS)를 형성한다. 그러나, 이들 주관적인 테스트들은 시간과 비용 모두의 측면에서 소모적이며, 이를 피하기 위해, 객관적인 QoE 추정 방법들("객관적인 품질 모델들")이 개발되었다.
평균 평가 스코어(MOS)는 서비스 또는 애플리케이션 성능에 대한 사용자들의 주관적인 평가 척도이다. 이것은 멀티미디어 애플리케이션들의 품질을 평가하는 데 널리 사용되었다. ITU-T 권고안 P. 800은 시청각 테스트 시퀀스들의 평가를 위해 5포인트의 절대 카테고리 레이팅(Absolute Category Rating)(ACR) 스케일로 MOS 사용을 표준화하였다. ACR 스케일은 5(우수) 내지 1(불량)의 범위이다. 이 방법은 특히 사용자에게 한 번에 하나의 테스트 시퀀스를 제시한 다음, 이를 평가할 것을 요청하는 시나리오들과 관련된다.
상이한 객관적인 품질 모델들이 일반적으로 오디오 및 비디오에 사용된다. 모델들은 비트레이트(오디오 및 비디오), 샘플링 레이트(오디오), 채널들의 수(오디오), 해상도(비디오), 프레임 레이트(비디오), GOP 사이즈(비디오, 비디오 코딩과 관련된 파라미터) 등과 같은 파라미터들을 고려하여 코딩 자체로 인한 품질의 성능 저하를 추정한다. (위의 도면에서와 같은) 완전한 세션에 대한 오디오 또는 비디오 품질 모델로부터의 출력은 통상적으로 객관적인 MOS 스코어들의 리스트이며, 여기서 각각의 스코어는 개별 미디어 세그먼트에 대한 품질을 표현한다(즉, 각각의 스코어는 위의 도면에서 5초 동안의 품질을 표현한다). 오디오 및 비디오 코딩 품질 모델들의 예들은 ITU-T P.1201 권고안에서 찾을 수 있다.
오디오 및 비디오 품질 모델들은, 생성될 때, 주관적인 테스트들의 세트에 대해 트레이닝된다. 이는 다음과 같은 방식으로, 즉, 특정 수의 파라미터들이 변화되고, 이들 파라미터들을 사용하여 멀티미디어 클립들이 생성되는 방식으로 달성된다. 그리고, 이들 클립들은 주관적인 테스트 동안에 시청자들에 의해 점수 매겨지고, 그 후 품질 모델들이 주관적인 테스트들로부터의 결과들과 (어떤 의미에서) 가능한 한 가깝게 매치되게 한다.
통상적으로, 모델들은 통상적으로 미디어 품질이 클립 동안에 다소 일정한 약 5 내지 10초의 더 짧은 신호 세그먼트들에 대해 트레이닝된다. 이는 모델들이 원칙적으로 대응하는 지속기간들의 세그먼트들이 제시될 때 및 주요 품질 변화들이 존재하지 않는 경우에만 정확한 결과들을 제공하는 것을 의미한다. 이보다 훨씬 긴 멀티미디어 클립에 대한 객관적인 스코어를 획득하기 위해서는, 집계 모델( aggregation model)이 필요하다. 비선형 인간 인식 프로세싱으로 인해, 단지 예를 들어, 개별 세그먼트 스코어들을 평균내기만 하는 것은 가능하지 않다.
집계 모델은 또한 오디오 및 비디오 모델 품질 스코어들을 미디어의 전체 인식을 표현하는 결합된 미디어 스코어들로 결합한다. 집계 모델에 대한 다른 태스크는 버퍼링으로 인한 성능 저하들을 고려하는 것이다. 네트워크의 송신 속도가 네트워크에 의해 전달되는 것보다 더 많은 데이터가 미디어 플레이어에서 소비되도록 충분히 높지 않을 때, 버퍼링이 발생한다. 이것은, 도 1b에서 예시된 바와 같이, 미디어 플레이어가 그 데이터 버퍼를 채우는 동안에 미디어 재생에서 "갭들"을 야기할 것이다. 도 1c에 도시된 더 복잡한 예에서와 같이, 집계 모델은 결과적으로 결국 다양한 고유한 오디오 및 비디오 품질 모두와, 버퍼링들로 인한 성능 저하들의 이들 효과들을 모두 고려해야 할 것이다.
버퍼링은 (임의의 미디어가 사용자에게 제시되기 전의) 초기 버퍼링 또는 재생 동안에 가능한 재버퍼링들 중 어느 하나일 수 있다.
예를 들어, ITU-T P.1201에서와 같은 기존의 버퍼 집계 모델들은 지금까지 최대 1분의 세션 길이들로 제한되어 왔는데, 이는 통상적인 비디오 세션, 예를 들어, 유튜브에서 너무 짧다. 더 긴 시퀀스들을 사용하면, 인간의 메모리 효과들 또한 눈에 띄기 시작하며, 이는 사람들이 시간적으로 더 오래 전에 본 것을 덜 기억하기 때문에, 마지막 부분들 이후의 비디오 품질을 대개 평가함을 의미한다. 이것은 기존의 모델들에서는 핸들링되지 않았다. 품질 적응들, 상이한 해상도들, 버퍼링 및 더 긴 세션 시간들의 전체 효과를 정확하게 모방하려면, 더 복잡한 모델이 필요하다.
평균 평가 스코어(Mean Opinion Score)들이 예측되는 방식을 개선하는 것이 목표이다.
실시예들의 제1 양태는 멀티미디어 세션 평균 평가 스코어(Mean Opinion Score)(MOS)를 예측하기 위한 MOS 추정기에 의해 수행되는 방법을 정의한다. 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하고, 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현된다. 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 멀티미디어 세션의 개시와 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현된다. 방법은 비디오 품질의 시간-단위-당 스코어들의 벡터 및 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하는 단계를 포함한다. 시청각 품질 피처들은, 비디오 품질의 시간-단위-당 스코어들의 벡터와 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터; 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 - 가중치들은 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들임 -; 시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현하는 음의 바이어스(negative bias); 및 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항을 포함한다. 방법은 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하는 단계를 포함한다. 방법은 생성된 시청각 품질 피처들 및 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하는 단계를 포함한다.
실시예들의 제2 양태는 멀티미디어 세션 평균 평가 스코어(MOS)를 예측하기 위한 MOS 추정기를 정의한다. 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하고, 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현된다. 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 멀티미디어 세션의 개시와 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현된다. MOS 추정기는 비디오 품질의 시간-단위-당 스코어들의 벡터 및 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하도록 동작하는 프로세싱 수단을 포함한다. 시청각 품질 피처들은, 비디오 품질의 시간-단위-당 스코어들의 벡터와 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터; 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 - 가중치들은 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들임 -; 시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현하는 음의 바이어스; 및 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항을 포함한다. MOS 추정기는 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하도록 동작하는 프로세싱 수단을 포함한다. MOS 추정기는 생성된 시청각 품질 피처들 및 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하도록 동작하는 프로세싱 수단을 포함한다.
실시예들의 제3 양태는 멀티미디어 세션 평균 평가 스코어(MOS)를 예측하기 위한 MOS 추정기를 위한 컴퓨터 프로그램을 정의한다. 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하고, 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현된다. 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 멀티미디어 세션의 개시와 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현된다. 컴퓨터 프로그램은, 실행될 때, 컴퓨터 프로그램으로 하여금, 비디오 품질의 시간-단위-당 스코어들의 벡터 및 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하게 하는 컴퓨터 프로그램 코드를 포함한다. 시청각 품질 피처들은, 비디오 품질의 시간-단위-당 스코어들의 벡터와 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터; 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 - 가중치들은 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들임 -; 시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현하는 음의 바이어스; 및 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항을 포함한다. 컴퓨터 프로그램은, 실행될 때, 컴퓨터 프로그램으로 하여금, 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하게 하는 컴퓨터 프로그램 코드를 포함한다. 컴퓨터 프로그램은, 실행될 때, 컴퓨터 프로그램으로 하여금, 생성된 시청각 품질 피처들 및 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하게 하는 컴퓨터 프로그램 코드를 포함한다.
실시예들의 제4 양태는 컴퓨터 판독 가능 수단 및 컴퓨터 판독 가능 수단 상에 저장된 제3 양태에 따른 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 정의한다.
유리하게는, 실시예들 중 적어도 일부는, 짧은 비디오 세션과 긴 비디오 세션 모두를 핸들링하고 보다 정확한 MOS 스코어를 제공하는 MOS 추정기를 제공한다. 실시예들 중 적어도 일부에 따른 MOS 추정기는 계산 능력 측면에서 상대적으로 덜 복잡하고, 모든 환경들에서 용이하게 구현될 수 있다.
제1, 제2, 제3 및 제4 양태의 임의의 특징은, 적절한 경우, 임의의 다른 양태에 적용될 수 있다는 것에 주의하도록 한다. 마찬가지로, 제1 양태의 임의의 이점은 각각 제2, 제3 및 제4 양태에 동일하게 적용될 수 있고, 그 반대도 마찬가지이다. 첨부된 실시예들의 다른 목적들, 특징들 및 이점들은 이하의 상세한 개시내용, 첨부된 종속 청구항들 및 도면들로부터 명백해질 것이다.
일반적으로, 청구 범위에서 사용된 모든 용어들은, 본 명세서에서 다른 방식으로 명시적으로 정의되지 않는 한, 본 기술 분야에서의 그들의 통상적인 의미에 따라 해석되어야 한다. "엘리먼트, 장치, 컴포넌트, 수단, 단계 등"에 대한 모든 참조들은, 다른 방식으로 명시적으로 언급되지 않는 한, 엘리먼트, 장치, 컴포넌트, 수단, 단계 등의 적어도 하나의 인스턴스를 참조하는 것으로 개방형으로 해석되어야 한다. 본 명세서에 개시된 임의의 방법의 단계들은, 명시적으로 언급되지 않는 한, 개시된 정확한 순서대로 수행될 필요는 없다.
이제, 본 발명은 첨부된 도면들을 참조하여 예로서 설명된다.
도 1a 내지 도 1c는 시간에 따른 버퍼링 및 비트레이트를 예시하는 개략도들이다.
도 2는 본 발명의 실시예들에 따른 MOS 추정기에 의해 수행되는 단계들을 예시한다.
도 3은 본 발명의 실시예들에 따른 샘플 수명의 함수로서의 가중 인자를 예시한다.
도 4는 본 발명의 실시예들에 따른 초기 버퍼링 지속기간의 함수로서의 초기 버퍼링 영향을 도시한다.
도 5는, 본 발명의 실시예들에 따라, 멀티미디어 세션의 시작 시간 이후의 시간의 함수로서의 망각 인자(forgetness factor) 영향을 도시한다.
도 6은, 본 발명의 실시예들에 따라, 재버퍼링 지속기간의 함수로서의 재버퍼링 지속기간 영향을 예시한다.
도 7은, 본 발명의 실시예들에 따라, 재버퍼링 반복 횟수의 함수로서의 재버퍼링 반복 영향을 예시한다.
도 8은, 본 발명의 실시예들에 따라, 마지막 재버퍼링 이후의 시간의 함수로서의 망각 인자 영향을 예시한다.
도 9는 본 발명의 실시예들에 따른 집계 모듈이다.
도 10은 본 발명의 실시예들에 따른 멀티미디어 세션 MOS를 예측하기 위한 MOS 추정기의 기능 유닛들을 예시하는 개략적인 블록도를 도시한다.
도 11은, 본 발명의 실시예들에 따라, 멀티미디어 세션 MOS를 예측하기 위한 컴퓨터 프로그램을 갖는 컴퓨터 프로그램 제품을 포함하는 컴퓨터를 예시하는 개략적인 블록도를 예시한다.
도 1a 내지 도 1c는 시간에 따른 버퍼링 및 비트레이트를 예시하는 개략도들이다.
도 2는 본 발명의 실시예들에 따른 MOS 추정기에 의해 수행되는 단계들을 예시한다.
도 3은 본 발명의 실시예들에 따른 샘플 수명의 함수로서의 가중 인자를 예시한다.
도 4는 본 발명의 실시예들에 따른 초기 버퍼링 지속기간의 함수로서의 초기 버퍼링 영향을 도시한다.
도 5는, 본 발명의 실시예들에 따라, 멀티미디어 세션의 시작 시간 이후의 시간의 함수로서의 망각 인자(forgetness factor) 영향을 도시한다.
도 6은, 본 발명의 실시예들에 따라, 재버퍼링 지속기간의 함수로서의 재버퍼링 지속기간 영향을 예시한다.
도 7은, 본 발명의 실시예들에 따라, 재버퍼링 반복 횟수의 함수로서의 재버퍼링 반복 영향을 예시한다.
도 8은, 본 발명의 실시예들에 따라, 마지막 재버퍼링 이후의 시간의 함수로서의 망각 인자 영향을 예시한다.
도 9는 본 발명의 실시예들에 따른 집계 모듈이다.
도 10은 본 발명의 실시예들에 따른 멀티미디어 세션 MOS를 예측하기 위한 MOS 추정기의 기능 유닛들을 예시하는 개략적인 블록도를 도시한다.
도 11은, 본 발명의 실시예들에 따라, 멀티미디어 세션 MOS를 예측하기 위한 컴퓨터 프로그램을 갖는 컴퓨터 프로그램 제품을 포함하는 컴퓨터를 예시하는 개략적인 블록도를 예시한다.
이제, 본 발명이 본 발명의 특정 실시예들이 도시된 첨부 도면들을 참조하여 이하에서 보다 상세하게 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구체화될 수 있고, 여기에 설명된 실시예들에 한정되는 것으로 해석되어서는 안되며, 오히려, 이들 실시예들은 본 개시내용이 철저하고 완전해지고, 본 기술분야의 통상의 기술자에게 발명의 범위를 충분히 전달할 수 있도록 예로서 제공된다. 명세서 전반에 걸쳐 유사한 번호들은 유사한 엘리먼트들을 지칭한다.
주관적인 MOS는 인간이 멀티미디어 시퀀스의 품질을 평가하는 방식이다. 객관적인 MOS 추정은 모델들을 사용하여 인간이 이것을 평가하는 방식을 예측/추정하는 것이다. 일반적으로, 파라메트릭 기반 방법들이 대개 멀티미디어 MOS를 예측하는 데 사용된다. 이러한 종류의 파라메트릭 기반 방법들은 대개 상당히 큰 예측 에러를 초래한다.
본 명세서에 제시된 실시예들의 기본적인 아이디어는 멀티미디어 세션 MOS를 예측하는 것이다. 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하며, 여기서 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현된다. 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 멀티미디어 세션의 개시와 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 추가로 표현된다.
시간 단위는 초일 수 있다. 따라서, 비디오 및 오디오 품질의 시간-단위-당 스코어들의 리스트들이 초당 획득될 수 있다. 예를 들어, 300초 클립은 300개의 엘리먼트들 각각을 갖는 오디오 및 비디오 벡터들을 갖는다.
초기 버퍼링 지속기간은 또한 초로 표시될 수 있다. 예를 들어, 8초의 초기 버퍼링(시작 시간이 0초임)은 8초의 지속기간을 갖는다. 재버퍼링 지속기간 및 위치는 또한 초로 표시될 수 있다. 시작 시간들은 미디어 시간이므로, 임의의 이전 버퍼링의 지속기간에 의존하지 않는다.
일 양태에 따르면, 도 2에 설명된 바와 같이, 멀티미디어 세션 평균 평가 스코어(Mean Opinion Score)(MOS)를 예측하기 위한 MOS 추정기에 의해 수행되는 방법이 제공된다. 방법은 비디오 품질의 시간-단위-당 스코어들의 벡터 및 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하는 단계(S1)를 포함한다.
시청각 품질 피처들은 비디오 품질의 시간-단위-당 스코어들의 벡터와 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터를 포함한다. 즉, 비디오 품질과 오디오 품질이 결합된 품질의 척도인 mosBoth로 "병합"된다. 이 병합은 ITU-T P.1201로부터 알 수 있다. 예를 들어, 이하의 소스 코드에서 주어진 바와 같이, 시청각 품질의 시간-단위-당 스코어는
로서 계산될 수 있으며, 여기서 mosV 및 mosA는 각각 비디오 및 오디오 품질의 시간-단위-당 스코어들의 벡터들이고, c[17] 및 c[18]은 오디오 및 비디오 병합 가중치들이다. 예를 들어, c[17]은 0.16233으로, c[18]은 -0.013804로 설정될 수 있지만, 본 발명은 이들 특정 값들에 결코 한정되지 않는다.
시청각 품질 피처들은 시청각 품질의 시간-단위-당 스코어들의 가중치 조합을 추가로 포함하며, 여기서 가중치들은 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들이다. 즉, 메모리 효과들로 인해, 시간적으로 더 오래 전에, 따라서 기억에서 더 오래 전에 재생된 미디어는 약간 망각되기 때문에, 가중치가 낮아진다. 시청각 품질의 시간-단위-당 스코어들의 가중치 조합은 "mosBasic"으로 지칭된다. 멀티미디어 세션 지속기간과 멀티미디어 세션의 (여기서는, 샘플 수명으로 도시된) 시작 시간 이후의 시간 간의 차이의 함수들로서의 가중치들의 예가 도 3에 도시되어 있다. 이하의 소스 코드는 mosBasic이 계산될 수 있는 방법을 입증하며,
여기서, mosLength는 멀티미디어 세션 지속기간에 대응하고, mosTime은 멀티미디어 세션 지속기간과 멀티미디어 세션의 시작 시간 이후의 시간 간의 차이에 대응하고, c[1] 및 c[2]는 메모리 적응 가중치들이다. 예를 들어, c[1]은 0.2855로, c[2]는 10.256으로 설정될 수 있지만, 본 발명은 이들 특정 값들에 결코 한정되지 않는다.
시청각 품질 피처들은 음의 바이어스를 추가로 포함한다. 음의 바이어스는 시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현한다. 미디어 품질이 변화될 때, 유사한 급격한 향상과 비교하여, 급격한 품질의 하락에 의해 영향을 더 많이 받는다. 이 효과는 음의 바이어스에 의해 포착된다. 음의 바이어스는 mosBasic에 대하여 각각의 시간-단위-당(예를 들어, 1초) 품질 스코어에 대한 오프셋들을 계산함으로써 모델링될 수 있다. 이들 오프셋들은 또한 망각 인자 가중치에 의해 스케일링될 수 있으므로, 기억에서 더 오래된 미디어는 더 적은 영향을 받는다.
가중화된 시간-단위-당(즉, 1초) 오프셋들의 이러한 벡터로부터, 특정 백분위 수가 계산될 수 있다. 예를 들어, 이것은 ~10번째 백분위 수일 수 있지만, 상이한 백분위 수일 수도 있다. 이것은 대개 음수인데, 왜냐하면 벡터들의 최저 품질 스코어들이 일반적으로 mosBasic보다 낮아야 하기 때문이며, 이에 따라 결과는 양의 값으로 부정되고, 이는 더 높은 값은 이제 더 높은 음의 바이어스의 영향을 나타냄을 의미한다. 이것은 그 후 올바른 범위로 선형으로 스케일링된다. 음의 바이어스를 계산하기 위한 소스 코드의 예는
와 같다.
동등하게, 음의 바이어스는
로서 계산되며, 여기서 t는 멀티미디어 세션의 시작 시간 이후의 시간이고, T는 멀티미디어 세션 지속기간이다. 여기서, c[22]와 c[23]은 음의 바이어스 계수들을 표현한다. 예를 들어, c[22]는 9.1647로, c[23]은 0.74811로 설정될 수 있지만, 본 발명은 이들 특정 값들에 결코 한정되지 않는다.
시청각 품질 피처들은 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항을 포함한다. 즉, 미디어 품질이 변동될 때, 이것은 성가신 일이며, 품질 변동의 효과는 가중화되지 않은 1초 미디어 품질 스코어들(mosBoth)이 mosBasic보다 높거나 낮아지는 상승들 및 하강들의 수를 카운트함으로써 포착된다. 즉, 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항은, 시청각 품질의 시간-단위-당 스코어들과 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 간의 절대차가 주어진 임계치를 멀티미디어 세션 지속기간으로 나눈 값을 초과할 때의 발생 횟수로서 계산될 수 있다. 임계치는 인식할 수 없는 작은 변화들을 무시하는 데 사용될 수 있다. 임계치에 대한 예는 0.1이며, 즉 0.1의 히스테리시스가 사용된다.
시청각 품질의 시간-단위-당 스코어들에서 진동들로 인한 성능 저하를 표현하는 항인 oscDeg는 또한 최대값이 초당 0.2회의 진동이 되도록 잘릴 수 있다. 그 후, 이것은 시간-단위-당(즉, 초-당) 시청각 품질 값들의 표준 편차와 곱해져, 더 높은 레벨의 진동들이 더 높은 영향을 갖게 할 수 있다. 다음의 소스 코드는 진동들로 인한 성능 저하를 표현하는 항이 계산되는 방법을 예시한다.
결과는 그 후 비선형으로(대략 제곱으로) 스케일링되고, 최종적으로 올바른 범위로 선형으로 스케일링될 수 있다.
방법은 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하는 단계(S2)를 포함한다.
생성된 버퍼링 피처들은 초기 버퍼링으로 인한 성능 저하를 표현하는 항인 initDeg 및 재버퍼링으로 인한 성능 저하를 표현하는 항인 bufDeg을 포함할 수 있다.
초기 버퍼링으로 인한 성능 저하를 표현하는 항은 초기 버퍼링 영향을 표현하는 항과 망각 인자 영향을 표현하는 항의 곱으로서 모델링될 수 있다.
초기 버퍼링 영향은 초기 버퍼링 지속기간의 시그모이드 함수일 수 있다. 예를 들어, 시그모이드 함수는, 도 4에 도시된 바와 같이, 기본적으로 5초 이하에서는 0의 영향을 줄 수 있고, 초기 버퍼링 지속기간이 그것보다 긴 경우, 4의 영향을 줄 수 있다. iniDeg를 계산하기 위한 소스 코드는 다음과 같을 수 있다.
여기서, c[10]와 c[11]은 초기 버퍼링과 관련된 상수들이고, c[4]와 c[5]는 초기 버퍼링과 관련된 메모리 가중치들이다. 예를 들어, c[10]=4.5327, c[11]=1.0054, c[4]=0.054304, c[5]=10.286이지만, 본 발명은 이들 특정 값들에 결코 한정되지 않는다.
그러나, 초기 버퍼링으로부터의 영향은 초기 버퍼링 자체 또는 바로 직후 동안에만 성가신 일이다. 미디어가 계속 스트리밍되는 경우, 이 문제는 곧바로 망각된다. 따라서, 두 번째 모델링은 초기 버퍼링 영향을 망각 인자를 사용하여 가중화하는 것이다. 망각 인자는, 도 5에 도시된 바와 같이, 멀티미디어 세션의 시작 시간 이후의 시간의 지수 함수일 수 있다.
재버퍼링으로 인한 성능 저하를 표현하는 항인 bufDeg은, 모든 재버퍼링 이벤트들 동안의, 재버퍼링 지속기간 영향, 재버퍼링 반복 영향 및 마지막 재버퍼링이 종료된 이후의 시간의 영향의 곱들의 합으로서 모델링될 수 있다. 각각의 재버퍼링 인스턴스마다, 먼저 재버퍼링의 영향이 계산된다. 재버퍼링 지속기간 영향은, 도 6에 도시된 바와 같이, 재버퍼링 지속기간의 시그모이드 함수일 수 있다.
그러나, 재버퍼링 지속기간 영향은 재버퍼링이 발생된 시점과 거의 가깝게 평가되는 단일 재버퍼링만을 모델링한다. 더 많은 재버퍼링들이 있는 경우, 각각의 추가적인 재퍼버링은 더 성가신 일이 된다. 이는 재버퍼링 반복 영향에 의해 모델링된다. 재버퍼링 반복 영향은, 도 7에 도시된 바와 같이, 재버퍼링 반복 횟수의 시그모이드 함수일 수 있다. 예를 들어, 재버퍼링 횟수가 4 이상이 되면, 최대 5의 가중치가 할당된다.
마지막으로, 마지막 재버퍼링 이후에 시간이 경과됨에 따라, 그것에 대해 망각하는 경향이 있다. 마지막 재버퍼링 이후의 시간의 영향, 또는 소위 말하는 망각 인자는, 도 8에 도시된 바와 같이, 마지막 재버퍼링 이후의 시간의 지수 함수로서 모델링될 수 있다.
단일 재버퍼링의 최종 효과를 얻으려면, 재버퍼링 지속기간 영향, 재버퍼링 반복 영향 및 마지막 재버퍼링 이후 시간의 영향이 곱해진다. 이 결과는 그 후, 다음 소스 코드에 나타낸 바와 같이, 모든 재버퍼링들에 대한 전체 영향 결과에 추가된다.
여기에서, lengthDeg, repeatDeg 및 memoryDeg는 각각 재버퍼링 지속기간, 재버퍼링 반복으로 인한 영향들 및 마지막 재버퍼링 이후의 시간의 영향을 나타내고, bufStart[j]는 마지막 재버퍼링 이후의 시간을 나타낸다. 또한, c[12]와 c[13]은 재버퍼링 영향 상수들이고, c[14]-c[16]은 재버퍼링 반복과 관련된 상수들이고, c[7]과 c[8]은 마지막 재버퍼링 이후의 시간 영향이다(재버퍼링 메모리 가중치들로도 지칭된다). 예를 들어, c[12]=-67.632, c[13]=158.18, c[14]=4.9894, c[15]=2.1274, c[16]=2.0001, c[7]=0.17267, c[8]=10으로 설정할 수 있지만, 본 발명은 이들 특정 값들에 결코 한정되지 않는다.
마지막으로, 재버퍼링으로 인한 성능 저하를 표현하는 결과 항은 mosBasic에 대해 재스케일링될 수 있다. 이것은, 품질이 나쁜 경우에는, 재버퍼링이 사람들의 인식을 너무 저하시키지 않지만, 다른 경우에 사람들이 양호한 품질을 갖는 경우에는, 사람들이 재버퍼링에 의해 좀더 성가시기 때문에 수행될 수 있다.
방법은, 도 9에 예시된 바와 같이, 생성된 시청각 품질 피처들 및 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하는 단계(S3)를 포함한다. 멀티미디어 세션 MOS는 시청각 품질의 시간-단위-당 스코어들의 가중치 조합과 음의 바이어스, 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항, 초기 버퍼링으로 인한 성능 저하를 표현하는 항 및 재버퍼링으로 인한 성능 저하를 표현하는 항의 합 간의 차이로서 추정될 수 있다. 스코어는 또한 1 내지 5가 되도록 잘린다. 즉, 멀티미디어 세션 MOS는 이하의 소스 코드에 따라 추정될 수 있다.
도 10은 멀티미디어 세션 MOS를 예측하기 위한 MOS 추정기(100)의 개략적인 블록도로서, 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함한다. 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현된다. 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 멀티미디어 세션의 개시와 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현된다.
MOS 추정기(100)는, 이 양태에 따라, 비디오 품질의 시간-단위-당 스코어들의 벡터 및 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하도록 구성된 생성 유닛(170)을 포함한다. 시청각 품질 피처들은,
- 비디오 품질의 시간-단위-당 스코어들의 벡터와 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터;
- 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 - 가중치들은 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들임 -;
- 시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현하는 음의 바이어스; 및
- 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항
을 포함한다.
생성 유닛(170)은 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하도록 추가로 구성된다.
MOS 추정기(100)는, 이 양태에 따라, 생성된 시청각 품질 피처들 및 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하도록 구성된 추정 유닛(180)을 포함한다.
생성 유닛(170) 및 추정 유닛(180)은 하드웨어 기반, 소프트웨어 기반(이 경우, 각각 생성 모듈 및 추정 모듈이라고 함)일 수도 있고, 또는 하드웨어와 소프트웨어의 조합일 수도 있다.
생성 유닛(170)은 음의 바이어스를
로서 계산할 수 있으며, 여기서 t는 멀티미디어 세션의 시작 시간 이후의 시간이고, T는 멀티미디어 세션 지속기간이고, c[1], c[2] 및 c[23]은 상수들이다.
생성 유닛(170)은, 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를, 시청각 품질의 시간-단위-당 스코어들과 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 간의 절대차가 주어진 임계치를 멀티미디어 세션 지속기간으로 나눈 값을 초과할 때의 발생 횟수로서 계산할 수 있다. 임계치는, 예를 들어, 0.1일 수 있다. 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하는 최대값이 초당 0.2회의 진동이 되도록 잘릴 수도 있다.
생성된 버퍼링 피처들은 초기 버퍼링으로 인한 성능 저하를 표현하는 항 및 재버퍼링으로 인한 성능 저하를 표현하는 항을 포함한다. 따라서, 생성 유닛(170)은, 초기 버퍼링으로 인한 성능 저하를 표현하는 항을, 초기 버퍼링 영향을 표현하는 항과 망각 인자 영향을 표현하는 항의 곱으로서 모델링할 수 있다. 초기 버퍼링 영향은 초기 버퍼링 지속기간의 시그모이드 함수일 수 있고, 망각 인자는 멀티미디어 세션의 시작 시간 이후의 시간의 지수 함수일 수 있다.
생성 유닛(170)은, 재버퍼링으로 인한 성능 저하를 표현하는 항을, 모든 재버퍼링 이벤트들 동안의, 재버퍼링 지속기간 영향, 재버퍼링 반복 영향 및 마지막 재버퍼링이 종료된 이후의 시간의 영향의 곱들의 합으로서 모델링할 수 있다. 재버퍼링 지속기간 영향은 재버퍼링 지속기간의 시그모이드 함수일 수 있다. 재버퍼링 반복 영향은 재버퍼링 반복 횟수의 시그모이드 함수일 수 있다. 마지막 재버퍼링이 종료된 이후의 시간의 영향은 마지막 재버퍼링이 종료된 이후의 시간의 지수 함수일 수 있다.
MOS 추정기(100)는, 멀티미디어 세션 MOS를, 시청각 품질의 시간-단위-당 스코어들의 가중치 조합과 음의 바이어스, 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항, 초기 버퍼링으로 인한 성능 저하를 표현하는 항 및 재버퍼링으로 인한 성능 저하를 표현하는 항의 합 간의 차이로서 추정할 수 있다.
MOS 추정기(100)는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. MOS 추정기(100)는 모바일 전화기, 태블릿, 데스크탑, 넷북, 멀티미디어 플레이어, 비디오 스트리밍 서버, 셋톱 박스 또는 컴퓨터와 같은 사용자 장비에서 구현될 수 있다. MOS 추정기(100)는 또한 통신 네트워크 또는 시스템에서 라디오 기지국과 같은 네트워크 노드의 형태의 또는 네트워크 노드에 접속된 네트워크 디바이스에서 구현될 수 있다.
도 10과 관련하여 개시된 각각의 유닛들은 그 전부가 ASIC(Application Specific Integrated Circuit)들과 같은 특수 목적 회로들일 수 있는 디바이스 내의 물리적으로 별개인 유닛들로서 개시되었지만, 디바이스의 대안적인 실시예들은 유닛들 중 일부 또는 전부가 범용 프로세서 상에서 실행되는 컴퓨터 프로그램 모듈들로서 구현되는 경우도 가능하다. 이러한 실시예가 도 11에 개시되어 있다.
도 11은 DSP(Digital Signal Processor) 또는 CPU(Central Processing Unit)와 같은 프로세싱 유닛(110)을 갖는 컴퓨터(150)의 실시예를 개략적으로 예시한다. 프로세싱 유닛(110)은 본 명세서에서 설명된 방법의 상이한 단계들을 수행하기 위한 단일 유닛 또는 복수의 유닛들일 수 있다. 또한, 컴퓨터는 비디오 품질의 시간-단위-당 스코어들의 벡터, 오디오 품질의 시간-단위-당 스코어들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터 및 초기 버퍼링 지속기간을 수신하기 위한 입/출력(I/O) 유닛(120)을 포함한다. I/O 유닛(120)은 도 11에 단일 유닛으로 예시되었지만, 유사하게 별개의 입력 유닛 및 별개의 출력 유닛의 형태로 될 수 있다.
또한, 컴퓨터(150)는, 예를 들어, EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리 또는 디스크 드라이브와 같은 비휘발성 메모리의 형태의 적어도 하나의 컴퓨터 프로그램 제품(130)을 포함한다. 컴퓨터 프로그램 제품(130)은, 프로세싱 유닛(110)에 의하는 것과 같이 컴퓨터(150) 상에서 실행될 때, 컴퓨터(150)로 하여금, 도 2와 관련하여 위에서 설명된 방법의 단계들을 수행하게 하는 코드 수단을 포함하는 컴퓨터 프로그램(140)을 포함한다.
위에서 설명된 실시예들은 본 발명의 몇 가지 예시적인 예들로서 이해되어야 한다. 본 발명의 범위를 벗어나지 않고, 다양한 수정들, 조합들 및 변경들이 실시예들에 대해 이루어질 수 있다는 것이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 특히, 상이한 실시예들에서의 상이한 부분 솔루션들은, 기술적으로 가능할 경우, 다른 구성들로 조합될 수 있다.
집계 코드
아래의 파이썬(Python) 코드는 본 발명의 실시예들에 따라 MOS를 추정하기 위한 알고리즘을 요약한다.
Claims (17)
- 멀티미디어 세션 평균 평가 스코어(Mean Opinion Score)(MOS)를 예측하기 위한 MOS 추정기(100)에 의해 수행되는 방법으로서 - 상기 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하고, 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 상기 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 상기 멀티미디어 세션의 개시와 상기 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현됨 -,
상기 비디오 품질의 시간-단위-당 스코어들의 벡터 및 상기 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하는 단계(S1) - 상기 시청각 품질 피처들은,
상기 비디오 품질의 시간-단위-당 스코어들의 벡터와 상기 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터;
시청각 품질의 시간-단위-당 스코어들의 가중치 조합 - 상기 가중치들은 상기 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들임 -;
시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 상기 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현하는 음의 바이어스(negative bias); 및
시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항
을 포함함 -;
상기 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하는 단계(S2); 및
상기 생성된 시청각 품질 피처들 및 상기 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하는 단계(S3)
를 포함하는 방법. - 제1항에 있어서, 상기 음의 바이어스는,
로서 계산되며, c[1], c[2] 및 c[23]은 주어진 계수들이고, t는 상기 멀티미디어 세션의 시작 시간 이후의 시간이고, T는 상기 멀티미디어 세션 지속기간인 방법. - 제1항 또는 제2항에 있어서, 상기 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항은, 상기 시청각 품질의 시간-단위-당 스코어들과 상기 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 간의 절대차가 주어진 임계치를 상기 멀티미디어 세션 지속기간으로 나눈 값을 초과할 때의 발생 횟수로서 계산되는 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 생성된 버퍼링 피처들은 초기 버퍼링으로 인한 성능 저하를 표현하는 항 및 재버퍼링으로 인한 성능 저하를 표현하는 항을 포함하는 방법.
- 제4항에 있어서, 상기 초기 버퍼링으로 인한 성능 저하를 표현하는 항은 초기 버퍼링 영향을 표현하는 항과 망각 인자(forgetness factor) 영향을 표현하는 항의 곱(product)으로서 모델링되며, 상기 초기 버퍼링 영향은 상기 초기 버퍼링 지속기간의 시그모이드 함수(sigmoid function)이고, 상기 망각 인자는 상기 멀티미디어 세션의 시작 시간 이후의 시간의 지수 함수인 방법.
- 제4항에 있어서, 상기 재버퍼링으로 인한 성능 저하를 표현하는 항은, 모든 재버퍼링 이벤트들 동안의, 재버퍼링 지속기간 영향, 재버퍼링 반복 영향 및 마지막 재버퍼링이 종료된 이후의 시간의 영향의 곱들의 합으로서 모델링되며, 상기 재버퍼링 지속기간 영향은 재버퍼링 지속기간의 시그모이드 함수이고, 상기 재버퍼링 반복 영향은 재버퍼링 반복 횟수의 시그모이드 함수이고, 상기 마지막 재버퍼링이 종료된 이후의 시간의 영향은 상기 마지막 재버퍼링이 종료된 이후의 시간의 지수 함수인 방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 멀티미디어 세션 MOS는 상기 시청각 품질의 시간-단위-당 스코어들의 가중치 조합과, 상기 음의 바이어스, 상기 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항, 상기 초기 버퍼링으로 인한 성능 저하를 표현하는 항 및 상기 재버퍼링으로 인한 성능 저하를 표현하는 항의 합 간의 차이로서 추정되는 방법.
- 멀티미디어 세션 평균 평가 스코어(MOS)를 예측하기 위한 MOS 추정기(100)로서 - 상기 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하고, 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 상기 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 상기 멀티미디어 세션의 개시와 상기 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현됨 -,
상기 MOS 추정기는 프로세싱 수단을 포함하고, 상기 프로세싱 수단은,
상기 비디오 품질의 시간-단위-당 스코어들의 벡터 및 상기 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하고 - 상기 시청각 품질 피처들은,
상기 비디오 품질의 시간-단위-당 스코어들의 벡터와 상기 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터;
상기 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 - 상기 가중치들은 상기 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들임 -;
상기 시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 상기 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현하는 음의 바이어스; 및
상기 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항
을 포함함 -;
상기 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하고,
상기 생성된 시청각 품질 피처들 및 상기 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하도록
동작하는 MOS 추정기(100). - 제8항에 있어서, 상기 음의 바이어스는,
로서 계산되며, c[1], c[2] 및 c[23]은 주어진 계수들이고, t는 상기 멀티미디어 세션의 시작 시간 이후의 시간이고, T는 상기 멀티미디어 세션 지속기간인 MOS 추정기(100). - 제8항 또는 제9항에 있어서, 상기 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항은, 상기 시청각 품질의 시간-단위-당 스코어들과 상기 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 간의 절대차가 주어진 임계치를 상기 멀티미디어 세션 지속기간으로 나눈 값을 초과할 때의 발생 횟수로서 계산되는 MOS 추정기(100).
- 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 생성된 버퍼링 피처들은 초기 버퍼링으로 인한 성능 저하를 표현하는 항 및 재버퍼링으로 인한 성능 저하를 표현하는 항을 포함하는 MOS 추정기(100).
- 제11항에 있어서, 상기 초기 버퍼링으로 인한 성능 저하를 표현하는 항은 초기 버퍼링 영향을 표현하는 항과 망각 인자 영향을 표현하는 항의 곱으로서 모델링되며, 상기 초기 버퍼링 영향은 상기 초기 버퍼링 지속기간의 시그모이드 함수이고, 상기 망각 인자는 상기 멀티미디어 세션의 시작 시간 이후의 시간의 지수 함수인 MOS 추정기(100).
- 제11항에 있어서, 상기 재버퍼링으로 인한 성능 저하를 표현하는 항은, 모든 재버퍼링 이벤트들 동안의, 재버퍼링 지속기간 영향, 재버퍼링 반복 영향 및 마지막 재버퍼링이 종료된 이후의 시간의 영향의 곱들의 합으로서 모델링되며, 상기 재버퍼링 지속기간 영향은 재버퍼링 지속기간의 시그모이드 함수이고, 상기 재버퍼링 반복 영향은 재버퍼링 반복 횟수의 시그모이드 함수이고, 상기 마지막 재버퍼링이 종료된 이후의 시간의 영향은 상기 마지막 재버퍼링이 종료된 이후의 시간의 지수 함수인 MOS 추정기(100).
- 제8항 내지 제13항 중 어느 한 항에 있어서, 상기 멀티미디어 세션 MOS는 상기 시청각 품질의 시간-단위-당 스코어들의 가중치 조합과, 상기 음의 바이어스, 상기 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항, 상기 초기 버퍼링으로 인한 성능 저하를 표현하는 항 및 상기 재버퍼링으로 인한 성능 저하를 표현하는 항의 합 간의 차이로서 추정되는 MOS 추정기(100).
- 멀티미디어 세션 평균 평가 스코어(MOS)를 예측하기 위한 MOS 추정기로서 - 상기 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하고, 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 상기 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 상기 멀티미디어 세션의 개시와 상기 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현됨 -,
상기 비디오 품질의 시간-단위-당 스코어들의 벡터 및 상기 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을, 그리고 상기 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하도록 구성된 생성 모듈; 및
상기 생성된 시청각 품질 피처들 및 상기 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하도록 구성된 추정 모듈
을 포함하는 MOS 추정기. - 멀티미디어 세션 평균 평가 스코어(MOS)를 예측하기 위한 MOS 추정기를 위한 컴퓨터 프로그램(140)으로서 - 상기 멀티미디어 세션은 비디오 세션 및 오디오 세션을 포함하고, 비디오 품질은 비디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 오디오 품질은 오디오 품질의 시간-단위-당 스코어들의 벡터에 의해 표현되고, 상기 멀티미디어 세션은 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터, 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터, 및 상기 멀티미디어 세션의 개시와 상기 멀티미디어 세션의 시작 시간 사이의 시간인 초기 버퍼링 지속기간에 의해 표현됨 -,
상기 컴퓨터 프로그램(140)은, 컴퓨터(150) 상에서 실행될 때, 상기 컴퓨터(150)로 하여금,
상기 비디오 품질의 시간-단위-당 스코어들의 벡터 및 상기 오디오 품질의 시간-단위-당 스코어들의 벡터로부터 시청각 품질 피처들을 생성하게 하고 - 상기 시청각 품질 피처들은,
상기 비디오 품질의 시간-단위-당 스코어들의 벡터와 상기 오디오 품질의 시간-단위-당 스코어들의 벡터의 다항 함수로서 계산된 시청각 품질의 시간-단위-당 스코어들의 벡터;
상기 시청각 품질의 시간-단위-당 스코어들의 가중치 조합 - 상기 가중치들은 상기 멀티미디어 세션의 시작 시간 이후의 시간과 멀티미디어 세션 지속기간의 지수 함수들임 -;
상기 시청각 품질의 시간-단위-당 스코어들의 급격한 하락이 상기 멀티미디어 세션 MOS에 어떻게 영향을 미치는지를 표현하는 음의 바이어스; 및
상기 시청각 품질의 시간-단위-당 스코어들의 진동들로 인한 성능 저하를 표현하는 항
을 포함함 -;
상기 멀티미디어 세션의 시작 시간으로부터 계산된 각각의 재버퍼링 이벤트의 재버퍼링 시작 시간들의 벡터 및 각각의 재버퍼링 이벤트의 재버퍼링 지속기간들의 벡터로부터 버퍼링 피처들을 생성하게 하고,
상기 생성된 시청각 품질 피처들 및 상기 생성된 버퍼링 피처들로부터 멀티미디어 세션 MOS를 추정하게 하는
컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램(140). - MOS 추정기를 위한 컴퓨터 프로그램 제품으로서,
제16항에 따른 MOS 추정기를 위한 컴퓨터 프로그램, 및 MOS 추정기를 위한 상기 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 수단을 포함하는 컴퓨터 프로그램 제품.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020207030093A KR102417732B1 (ko) | 2016-06-29 | 2017-06-29 | 적응형 멀티미디어 스트리밍의 품질 추정 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662356112P | 2016-06-29 | 2016-06-29 | |
| US62/356,112 | 2016-06-29 | ||
| PCT/EP2017/066153 WO2018002234A1 (en) | 2016-06-29 | 2017-06-29 | Quality estimation of adaptive multimedia streaming |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207030093A Division KR102417732B1 (ko) | 2016-06-29 | 2017-06-29 | 적응형 멀티미디어 스트리밍의 품질 추정 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190010659A true KR20190010659A (ko) | 2019-01-30 |
| KR102170046B1 KR102170046B1 (ko) | 2020-10-27 |
Family
ID=59383535
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207030093A Active KR102417732B1 (ko) | 2016-06-29 | 2017-06-29 | 적응형 멀티미디어 스트리밍의 품질 추정 |
| KR1020187037600A Expired - Fee Related KR102170046B1 (ko) | 2016-06-29 | 2017-06-29 | 적응형 멀티미디어 스트리밍의 품질 추정 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207030093A Active KR102417732B1 (ko) | 2016-06-29 | 2017-06-29 | 적응형 멀티미디어 스트리밍의 품질 추정 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10708636B2 (ko) |
| EP (1) | EP3479579B1 (ko) |
| JP (1) | JP6952061B2 (ko) |
| KR (2) | KR102417732B1 (ko) |
| ES (1) | ES2903550T3 (ko) |
| WO (1) | WO2018002234A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022177211A1 (ko) * | 2021-02-16 | 2022-08-25 | 삼성전자 주식회사 | 오디오의 존재 및 비존재에 따른 비디오 품질 평가 방법 및 장치 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6954289B2 (ja) * | 2016-08-17 | 2021-10-27 | 日本電気株式会社 | ビットレート指示装置、ビットレート指示方法、及び、ビットレート指示プログラム |
| CN109792546B (zh) * | 2016-09-30 | 2022-01-04 | 英国电讯有限公司 | 从服务器向客户端设备传送视频内容的方法 |
| US11317171B2 (en) | 2016-09-30 | 2022-04-26 | British Telecommunications Public Limited Company | Viewer importance adaptive bit rate delivery |
| CN110545483B (zh) * | 2018-05-29 | 2021-08-10 | 北京字节跳动网络技术有限公司 | 网页中切换分辨率播放媒体文件的方法、装置及存储介质 |
| ES2767475A1 (es) | 2020-02-07 | 2020-06-17 | Univ Madrid Politecnica | Metodo y sistema para la estimacion de calidad percibida en senal audiovisual |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7197557B1 (en) * | 2001-05-29 | 2007-03-27 | Keynote Systems, Inc. | Method and system for evaluating quality of service for streaming audio and video |
| JP2004172753A (ja) * | 2002-11-18 | 2004-06-17 | Nippon Telegr & Teleph Corp <Ntt> | 映像・音声品質客観評価方法及び装置 |
| FR2884087A1 (fr) | 2005-03-29 | 2006-10-06 | France Telecom | Procede et dispositif d'evaluation d'une degradation de qualite causee par une invariance d'un stimulus, telle que percue par un destinataire dudit stimulus |
| JP4490374B2 (ja) * | 2006-01-19 | 2010-06-23 | 日本電信電話株式会社 | 映像品質評価装置および方法 |
| US7953069B2 (en) * | 2006-04-18 | 2011-05-31 | Cisco Technology, Inc. | Device and method for estimating audiovisual quality impairment in packet networks |
| CA2666376C (en) | 2006-10-19 | 2015-06-02 | Telefonaktiebolaget L M Ericsson (Publ) | A method of determining video quality |
| KR101753195B1 (ko) * | 2010-07-27 | 2017-07-19 | 아주대학교산학협력단 | 통신 시스템에서 세션 연결 제어 장치 및 방법 |
| US9191284B2 (en) * | 2010-10-28 | 2015-11-17 | Avvasi Inc. | Methods and apparatus for providing a media stream quality signal |
| US9037743B2 (en) * | 2010-10-28 | 2015-05-19 | Avvasi Inc. | Methods and apparatus for providing a presentation quality signal |
| US9398347B2 (en) | 2011-05-30 | 2016-07-19 | Sandvine Incorporated Ulc | Systems and methods for measuring quality of experience for media streaming |
| GB201110254D0 (en) * | 2011-06-17 | 2011-08-03 | Irdeto Corporate Bv | Dynamic fingerprinting |
| US9210419B2 (en) * | 2011-09-30 | 2015-12-08 | Netscout Systems, Inc. | System and method for diagnostic modeling of audio and video quality of service |
| JP6011403B2 (ja) | 2013-03-19 | 2016-10-19 | 富士通株式会社 | 移動通信システム、ユーザ体感品質予測方法、及び監視制御装置 |
| JP6162596B2 (ja) * | 2013-12-24 | 2017-07-12 | 日本電信電話株式会社 | 品質推定装置、方法及びプログラム |
| US10530826B2 (en) * | 2015-08-27 | 2020-01-07 | Cavium, Llc | Method and apparatus for providing a low latency transmission system using adjustable buffers |
| RU2693027C1 (ru) | 2015-12-16 | 2019-07-01 | Ниппон Телеграф Энд Телефоун Корпорейшен | Устройство оценки качества аудиовизуального сигнала и способ оценки качества аудиовизуального сигнала |
-
2017
- 2017-06-29 US US16/309,790 patent/US10708636B2/en active Active
- 2017-06-29 WO PCT/EP2017/066153 patent/WO2018002234A1/en unknown
- 2017-06-29 KR KR1020207030093A patent/KR102417732B1/ko active Active
- 2017-06-29 KR KR1020187037600A patent/KR102170046B1/ko not_active Expired - Fee Related
- 2017-06-29 ES ES17742379T patent/ES2903550T3/es active Active
- 2017-06-29 JP JP2018566839A patent/JP6952061B2/ja active Active
- 2017-06-29 EP EP17742379.5A patent/EP3479579B1/en active Active
-
2020
- 2020-06-22 US US16/907,391 patent/US11463742B2/en active Active
Non-Patent Citations (2)
| Title |
|---|
| "Deriving and Validating User Experience Model for DASH Video Streaming", IEEE Transactions on Broadcasting (Volume: 61 , no. 4 )( 2015.12)* * |
| "Opinion model for network planning of video and audio streaming applications"ITU-T (2015.06)* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022177211A1 (ko) * | 2021-02-16 | 2022-08-25 | 삼성전자 주식회사 | 오디오의 존재 및 비존재에 따른 비디오 품질 평가 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190124375A1 (en) | 2019-04-25 |
| KR102170046B1 (ko) | 2020-10-27 |
| KR102417732B1 (ko) | 2022-07-07 |
| WO2018002234A1 (en) | 2018-01-04 |
| US20200322654A1 (en) | 2020-10-08 |
| ES2903550T3 (es) | 2022-04-04 |
| KR20200123273A (ko) | 2020-10-28 |
| US11463742B2 (en) | 2022-10-04 |
| EP3479579B1 (en) | 2021-11-10 |
| JP6952061B2 (ja) | 2021-10-20 |
| EP3479579A1 (en) | 2019-05-08 |
| JP2019526190A (ja) | 2019-09-12 |
| US10708636B2 (en) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102170046B1 (ko) | 적응형 멀티미디어 스트리밍의 품질 추정 | |
| JP5215288B2 (ja) | 映像符号化のための時間的品質メトリック | |
| CN109618565B (zh) | 流式视频用户体验质量的自动测量方法和系统 | |
| US8749639B2 (en) | Method and apparatus for obtaining video quality parameter, and electronic device | |
| JP4486130B2 (ja) | 映像コミュニケーション品質推定装置、方法、およびプログラム | |
| KR100935650B1 (ko) | 비디오 품질 추정 장치, 방법 및 프로그램을 기록한 컴퓨터 판독가능한 기록매체 | |
| CN101151904B (zh) | 视频品质评估设备、方法 | |
| EP3313073A1 (en) | Method for assessing the perceived quality of adaptive video streaming | |
| US11570228B2 (en) | System and method for managing video streaming quality of experience | |
| US20210409820A1 (en) | Predicting multimedia session mos | |
| Usman et al. | A no reference video quality metric based on jerkiness estimation focusing on multiple frame freezing in video streaming | |
| JP4490374B2 (ja) | 映像品質評価装置および方法 | |
| Suárez et al. | Assessing the qoe in video services over lossy networks | |
| OA18973A (en) | Quality estimation of adaptive multimedia streaming | |
| Arsenović et al. | Quality of Experience Assessment for HTTP Based Adaptive Video Streaming. | |
| JP4460549B2 (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
| JP6431449B2 (ja) | 映像整合装置、映像整合方法、及びプログラム | |
| JP2011010236A (ja) | 網品質管理閾値算出装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20181226 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200228 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200718 |
|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20201020 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20201020 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20201021 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20240731 |