KR20160025558A - 다양한 비트레이트에 대한 품질을 갖는 미디어 데이터 스트림의 품질 결정에 대한 개념 - Google Patents

다양한 비트레이트에 대한 품질을 갖는 미디어 데이터 스트림의 품질 결정에 대한 개념 Download PDF

Info

Publication number
KR20160025558A
KR20160025558A KR1020167001235A KR20167001235A KR20160025558A KR 20160025558 A KR20160025558 A KR 20160025558A KR 1020167001235 A KR1020167001235 A KR 1020167001235A KR 20167001235 A KR20167001235 A KR 20167001235A KR 20160025558 A KR20160025558 A KR 20160025558A
Authority
KR
South Korea
Prior art keywords
quality
data stream
media
section
sections
Prior art date
Application number
KR1020167001235A
Other languages
English (en)
Other versions
KR101789086B1 (ko
Inventor
크리스티안 슈미드머
미하엘 케이힐
마티아스 오베르만
롤란드 비토
Original Assignee
옵티콤 디플 잉크 마이클 케이힐 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 옵티콤 디플 잉크 마이클 케이힐 게엠베하 filed Critical 옵티콤 디플 잉크 마이클 케이힐 게엠베하
Publication of KR20160025558A publication Critical patent/KR20160025558A/ko
Application granted granted Critical
Publication of KR101789086B1 publication Critical patent/KR101789086B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

적응적 스트리밍의 콘텍스트 내에서와 같은, 미디어 콘텐츠를 가로질러 변경되는 비트레이트에 대한 품질 레벨로 상기 미디어 콘텐츠(20)의 서로 다른 미디어 섹션들(26)을 전송하는 데이터 스트림 섹션들의 시퀀스를 포함하는 미디어 데이터 스트림의 품질의 결정은 각각의 데이터 스트림 섹션으로부터, 각각의 데이터 섹션에 대한 식별자를 유도함으로써, 그리고 각각의 데이터 스트림 섹션에 대하여, 각각의 데이터 스트림 섹션을 위하여 유도되는 식별자에 의해 룩-업 테이블로부터 파라미터 세트를 룩-업함으로서, 더 효율적이 되도록 구성되며, 따라서, 파라미터 세트들을 집계하고 이를 기초로 하여 품질을 결정하는 것이 가능하다.

Description

다양한 비트레이트에 대한 품질을 갖는 미디어 데이터 스트림의 품질 결정에 대한 개념{CONCEPT FOR DETERMINING THE QUALITY OF A MEDIA DATA STREAM WITH VARYING QUALITY-TO-BITRATE}
본 발명은 비트레이트에 대한 품질(quality-to-bitrate)의 변화를 갖는 미디어 데이터 스트림의 품질의 결정에 관한 것이다.
현대 전송 기술에서, 데이터 감소를 위한 특정 인코딩 방법들이 오디오 및 비디오 신호들의 전송을 위하여 이용 가능하다. 상기 특정 인코딩 방법들은 최종 사용자에게 전송 채널의 현재 용량의 기능으로서 최상의 가능한 품질을 제공하기 위하여 사용된다.
도 11은 현재 사용되는 것과 같이 최종 사용자로의 일반적인 전송 링크(transmission link)를 도시한다. 이는 전송되려는 모든 종류의 미디어 데이터를 저장하는 데이터베이스, 네트워크를 통한 데이터의 전달을 추월하는 스트리밍 서버(streaming server), 네트워크 자체뿐만 아니라, 원하는 데이터를 수신하는 최종 사용자/클라이언트(client)를 포함한다. 미디어 데이터는 예를 들면, 비디오일 수 있다. 자주 들어오는 질문은 최종 사용자에 의해 지각되는 비디오의 실제 품질에 관한 것이다. 이는 예를 들면, http 상에서의 동적 적응적 스트리밍(Dynamic Adaptive Streaming over http, DASH) 또는 HTTP 라이브 스트리밍(HLS)과 같은 적응적 비디오 스트리밍 기술들의 비율이 증가하는 것으로 밝혀졌으며, 미디어 데이터는 서버 측 상에서 서로 다른 품질 레벨로 제공되고 수신기 측에서 지각되는 미디어 콘텐츠의 품질을 평가하기 위하여 가능한 상당한 정도로 표준화되는 방식으로 서로 다른 프레임 크기들 및/또는 품질 레벨들을 평가할 수 있는 안정적이거나, 또는 균일한 품질 측정을 필요로 한다.
일반적으로, 품질 개념들은 세 가지 범주로 세분될 수 있다:
이른바 전-기준(full-reference, FR) 품질 평가 기술들은 품질이 결정되려는 미디어 콘텐츠로의 압축에 의해 분해되지 않는 원래 미디어 콘텐츠를 비교한다. 여기서의 단점은 미디어 콘텐츠의 원래 버전을 액세스하기 위한 필요성이 존재한다는 것이다. 이른바 비-기준 품질 평가 기술들은 수신된 미디어 콘텐츠를 기초로 하거나, 또는 수신되고 상기 미디어 콘텐츠를 표현하는 데이터 스트림을 기초로 하여 독점적으로 품질을 결정한다. 가능하게는, 이는 단지 품질 측정의 결정을 위하여 전송 아티팩트들의 검출 및 그것들의 정량화만을 포함한다. 이른바 감소된 기준(reduced reference) 품질 측정 기술들은 수신기 측 품질의 결정을 위하여 그것들이 수신된 데이터 스트림 또는 수신된 미디어 스트림을 독점적으로 사용하지 않는다는 점에서 전-기준 및 비-기준 기술들 사이의 일종의 중간 해결책을 나타내나, 전송기(transmitter) 측 상에서 실시간으로 결정되는 중간 결과들은 수신기 측 품질의 결정에 기여한다. 상기 파라미터들 또는 중간 결과들은 일반적으로 전송되는 미디어 데이터 스트림 내에 공동 전송(공동 코딩)된다
특히 모바일 적용들에서, 전-기준 품질 측정 기술들은 거의 구현될 수 없다. 이러한 문제점에 대한 해결책이 미국특허 제 US 2009/0153668 A1호에 설명된다. 전송기 측 상에서, 전송기 측 상에 수신된 품질 분석 결과들은 예를 들면, 리얼 타임 전송 프로토콜(RTP) 확장 헤더 내로와 같은 전송된 데이터 스트림 내로 삽입되고, 상기 품질 분석 결과들은 일반적으로 전송된 미디어 콘텐츠의 전-기준 분석의 결과이다. 수신기 측 상에서, 전송된 미디어 데이터 스트림이 아티팩트들이 없는 방식으로 전송되었는지를 결정하기 위하여 검증(verification)이 실행된다. 이것이 사실인 동안의 단계에서, 데이터 스트림 자체 내에 전송된 품질 정보는 수신된 품질의 결정을 위하여 사용된다. 결함 전송이 발생되는, 즉 전송 아티팩트들이 발생되는 동안의 단계에서, 수신기의 측에서 품질 추정이 실행된다. 결국, 수신기 측 품질은 두 품질 측정의 조합, 즉 간섭이 없는 단계들 동안에 전송된 품질 정보, 및 간섭이 쉬운(interference-prone) 단계들 동안에 수신기의 측에서 추정된 품질 정보를 기초로 하여 획득된 품질 정보로부터 유도된다. 비록 이러한 접근법이 기준 미디어 콘텐츠가 전-기준 방법을 적용하기 위하여 수신기의 측에서 존재할 필요가 없다는 사실을 야기하더라도, 위에 인용된 참고문헌에 제시된 방법은 많은 양상들에서 불리하고 적응적 스트리밍 방법들에서의 만족스런 해결책을 발견하기에 적합하지 않다. 적응적 스트리밍 방법들은 개별 클라이언트들에 다양한 품질 레벨들로 미디어 콘텐츠를 제공한다. 자연적으로, 품질은 어떠한 대역이 현재 상기 클라이언트에 이용 가능한지에 따라 각각의 클라이언트를 위하여 서로 다른 정도로 변경된다. 그러나, 동시에 다수의 클라이언트를 위한 다양한 품질들을 제공하기 위하여, 적응적 스트리밍 방법들은 일반적으로 사전 코딩된 데이터에 의존한다. 예를 들면, 비디오는 시간 슬롯들로 세분되고, 매우 다양한 품질 레벨들의 사전 코딩된 버전들이 각각의 시산 슬롯을 위하여 생성된다. 미리 결정된 프로토콜은 시간 슬롯 경계들에서 개별 품질 레벨들 사이를 스위칭함으로써 클라이언트들이 다양한 품질 레벨들로 비디오를 로딩하는(load) 것을 가능하게 한다. 상기 시간 슬롯들은 예를 들면 2 내지 4초의 길이를 가질 수 있고. 때때로 또한 청크(chunk)들로서 언급된다. 그러나, 예를 들면 주관적인 검사들에 적응된, ITU-T J247과 같은 전-기준 품질 측정 기술들은 품질의 결정을 위하여 청크 기간보다 긴 기간, 즉 몇몇 청크들에 걸치는 기간을 필요로 한다. 따라서, 미국특허 참고문헌에 설명된 방법을 실현하기 위하여, 전송기 측 상의 각각의 클라이언트를 위하여 전송기 측 품질 측정이 특히 실행되어야만 할 것이고 확장 헤더들에 의해, 즉 모든 클라이언트를 위하여 온라인으로 및/또는 실시간으로, 수신기 측에 이용 가능해져야만 할 것이다. 그러나, 동일한 시간에 존재하는 많은 클라이언트를 갖는 많은 적용들을 위하여, 그러한 접근법은 시간 및 에너지와 관련하여 그것의 상당한 비용 대문에 실현 가능하지 않다.
미국특허 제 US 2012/0278441 A1호는 수신기의 측에서의 품질, 즉 최종 사용자에 의해 실제로 지각되는 품질의 추정 방법을 설명한다. 상기 방법에 대한 한 가지 장점은 수신기의 측에서 단지 적은 계산 파워만이 필요하고 어떠한 지점에서도 시간에 맞게 실행될 수 있다는 점이다. 이러한 방법으로, 특히 미디어 데이터의 전달에 영향을 미치기 위하여 수신기 측 측정들을 사용하는 것이 또한 가능하다. 미국특허 문서에 제안된 방법은 전송기 측 상에 서로 다른 품질 레벨들로 미디어 콘텐츠를 제공함으로써 시작한다. 만일 필요하면, 미디어 콘텐츠를 나타내는 서명(signature)이 전송기 측 상에 생성되고, 상기 서명은 거의 전체 화상 콘텐츠에 의존하고 거의 화상(picture) 콘텐츠를 대표한다. 상기 서명은 화상 콘텐츠와 함께, 적어도 수신기가 아티팩트들이 없는 방법으로 수신되는 것과 같이 수신기 측에 전송된다. 수신기 측에서, 그리고 나서 동일한 방법으로 획득된 미디어 콘텐츠로부터 서명이 생산되고 그 뒤에 비교로부터 체감 품질(QoE) 값을 획득하기 위하여 또한 전송된 서명과 비교된다. 체감 품질 값에 비교를 매핑하기 위하여, 연속적으로 훈련되거나 및/또는 사전에 알려진 분류 함수가 사용된다. 체감 품질 값은 이제 예를 들면 "뛰어난(excellent)", "좋은(good)" 및 "나쁜(poor)"의 범주들에서 수신기 측에서의 품질을 나타낸다. 체감 품질 값은 수신기의 측에서 실제로 획득된 품질을 전송 경로의 재설정, 재생 품질의 변경 등과 같은 측정들에 의해 실제로 예상되는 그러한 품질에 적응시키기 위하여, 미디어 서버에 의해 사용되도록 수신기 측으로부터 다시 전송기 측에 전송될 수 있는 것으로 알려졌다.
더 효율적거나 및/또는 엔드-투-엔드(end-to-end)의 의미에서 품질 지각에 결정적인 모든 특성의 검출 및 평가를 가능하게 하는, 미디어 데이터 스트림의 품질을 결정하기 위한 개념을 제공하는 것이 본 발명의 목적이다.
본 발명의 목적은 새로 제출된 독립항들의 주제에 의해 달성된다.
본 발명의 코어 개념은 만일 각각의 섹션을 위하여 각각의 데이터 스트림 섹션으로부터 식별자(identifier)가 유도되고, 만일 각각의 데이터 스트림 섹션을 위하여, 파라미터 세트가 각각의 데이터 스트림 섹션을 유도되는 식별자 의해 룩-업 테이블로부터 룩-업되면, 적응적 스트림의 콘텍스트 내에서와 같은, 미디어 콘텐츠를 가로질러 변경하는 비트레이트에 대한 품질 레벨들을 갖는 미디어 콘텐츠의 서로 다른 미디어 섹션들을 전송하는 데이터 스트림 섹션들의 시퀀스를 포함하는 미디어 데이터 스트림의 품질은 더 효율적으로 결정될 수 있고, 따라서 파라미터 세트들을 종합하고(aggregate) 이를 기초로 하여 품질을 결정하는 것이 가능하다는 발견으로 구성된다. 이러한 접근법은 각각의 클라이언트의 미디어 데이터 스트림이 가능하게는 시간에 따라 변화하는 그것의 개별 대역폭 상황의 함수로서 구성되는 데이터 스트림 섹션들이 변경되지 않은 채로 유지되도록 허용하고 - 데이터 스트림에 어떠한 것도 추가될 필요가 없다. 바꾸어 말하면, 미디어 데이터 스트림과 함께 수신기 측에 품질 정보를 전송하는 것이 필요하지 않다. 오히려, 데이터 스트림 섹션들을 위하여 룩-업 테이블에 제공되는 파라미터들은 수식기의 측에서, 즉 각각의 클라이언트를 위하여 선택되는, 비트레이트에 대한 품질의 변경과 관계없이 그리고 품질이 결정되고 몇몇 미디어 섹션들이 위치되는 검사 또는 분석 섹션에도 불구하고, 각각의 클라이언트에서의 품질을 결정하기에 충분하다. 이러한 방식으로, 예를 들면 품질의 결정을 위한 기본으로서, ITU-T J. 247과 같은, 주관적인 검사들에 적응되는 표준화된 측정 기술들에 의존하는 것이 가능하다.
일 실시 예에 따르면, 식별자의 유도는 예를 들면, 해시 함수(hash function)를 각각이 데이터 스트림 섹션의 비-디코딩된 버전에 적용함으로써 실행된다. 이는 서로 다른 품질들의 데이터 섹션들, 미디어 콘텐츠의 사로 다른 미디어 섹션들, 및 서로 다른 미디어 콘텐츠들 자체 사이의 효율적인 구별 가능성을 가능하게 한다. 특히, 이러한 형태의 식별자 유도는 전송의 변화로부터 본질적으로 방지된다: 클라이언트로의 전송 링크를 따라 전송 아티팩트들뿐만 아니라 변환코딩(transcoding) 운영들은 충분히 높은 확률 레벨로, 룩-업 운영이 실패하고, 따라서 결론적으로 코딩 품질과 본질적으로 상관되나 미디어 데이터 스트림 내의 뒤따르는 변화들과 상관되지 않는, 실수에 의해 미리 결정된 파라미터 세트들은 품질의 결정을 위하여 사용될 수 없다는 사실을 야기한다. 따라서, 룩-업 운영은 만일 예를 들면 요소 스트림(elementary stream, ES) 레벨에서 비-디코딩된 버전에 의해 식별이 실행되면, 또한 분명하게 전송 아티팩트들 및/또는 변환코딩 운영들의 검출을 가능하게 한다.
본 발명의 바람직한 구현들은 독립 청구항들의 주제를 형성한다. 본 발명의 바람직한 실시 예들이 첨부된 도면들을 참조하여 아래에 더 상세히 설명될 것이다.
도 1은 일 실시 예에 따른 상기 환경 내에 품질 결정 개념이 적용되는, 비트레이트에 대한 품질의 변경으로 미디어 데이터 스트림들의 전송이 발생하는 서버 및 클라이언트를 포함하는 네트워크 환경의 개략적인 블록 다이어그램을 도시한다.
도 2는 미디어 데이터 스트림 및 미디어 데이터 스트림 내에 인코딩된 미디어 콘텐츠뿐만 아니라, 서버 측 상에서의 서로 다른 비트레이트에 대한 품질 레벨들의 존재이 개략적인 도면을 도시한다.
도 3은 일 실시 예에 따라 품질 결정을 위한 장치의 블록 다이어그램을 도시하고, 장치는 사전 준비된 룩-업 테이블을 오프라인에서 액세스한다.
도 4는 일 실시 예에 따라 룩-업 테이블을 포함하는 서버의 개략적인 블록 다이어그램을 도시하고, 이는 서버를 위하여 도 3의 장치와 상호 작용하는 것이 가능하다.
도 5는 일 실시 예에 따라 테이블을 생성하는 플로우차트를 도시한다.
도 6은 일 실시 예에 따라 룩-업 테이블을 생성하기 위한 장치의 가능한 구현의 블록 다이어그램을 도시한다.
도 7은 일 실시 예에 따라 수신기의 측에서 품질의 결정을 위한 장치의 운영의 가능한 모드의 플로우차트를 도시한다.
도 8은 일 실시 예에 따른 파라미터 세트 결정의 플로우차트를 도시한다.
도 9는 파라미터 세트 결정을 설명하기 위하여 기준 신호의 시간적으로 상응하는 섹션을 갖는 고정의 특정 비트레이트에 대한 품질 레벨을 포함하는, 서버 측 상에서 이용 가능한 미디어 신호의 일부분을 개략적으로 도시한다.
도 10은 일 실시 예에 따라 전체 품질의 결정 및 전송 아티팩트들의 고려를 위한 가능한 구현을 위한 플로우 차트를 도시한다.
도 11은 비트레이트 적응적 미디어 데이터 스트림 전송을 갖는 공통 서버-클라이언트 네트워크 환경을 도시한다.
도 12는 각각 담당하는 인프라구조 내에 포함된 파티(party) 측에 있고, 4가지 계층에 의해 모델링되는, 그리고 오버-더-톱(over-the-top, OTT, 이하 OTT로 표기) 스트리밍 서비스의 전체 체감 품질를 표현하는 4가지 계층 OTT 품질 모델의 개략적인 표현을 도시한다.
도 1은 서버 및 클라이언트를 포함하고 본 발명의 일 실시 예에 따라 미디어 데이터 스트림의 품질을 결정하기 위한 개념이 사용되는 환경을 도시한다. 특히, 도 1은 미디어 콘텐츠가 사전 코딩되는 방식으로 저장되는 미디어 데이터베이스(10), 미디어 데이터베이스(10)로의 액세스를 갖는 서버(12), 및 네트워크(16)를 통하여 서버(12)에 통신으로(communicatively) 연결되는 클라이언트(14)를 포함하는, 도 11에 도시된 것과 같은 전송 링크를 도시한다. 예를 들면, 클라이언트(14)는 사용자의 단말기(terminal) 상에서 구동하는, 컴퓨터 프로그램, 또는 애플리케이션이다. 단말기는 예를 들면 휴대폰, 노트북 등과 같은, 모바일 단말기일 수 있다. 네트워크(16)는 유선 부분 및/또는 무선 부분을 포함할 수 있다. 서버(12)는 예를 들면, 컴퓨터 또는 컴퓨터 네트워크이고, 미디어 데이터베이스(10)는 예를 들면, 하나 또는 몇몇 하드 디스크 혹은 다른 비-휘발성 메모리들을 포함한다.
서버(12) 및 클라이언트(14) 사이의 통신의 맥락에서, 서버(12)는 예를 들면, 미디어 데이터 스트림을 네트워크(16)를 통하여 클라이언트(14)에 전송한다. 예로서, 다음의 설명은 미디어 데이터 스트림이 미디어 콘텐츠로서 비디오를 표현하는 비디오 데이터 스트림인 것을 가정하나, 뒤따르는 실시 예들은 오디오 콘텐츠, 3차원 그리드 모델(grid model)들 등과 같은, 다른 미디어 콘텐츠, 또는 다른 미디어 데이터 스트림들에 쉽게 전달될 수 있다는 것에 유의하여야 한다. 예로서, 도 2는 그것과 함께 전송되는 미디어 데이터 스트림(18) 및 미디어 콘텐츠(20)를 도시하는데, 여기서는 이미 언급된 것과 같이, 예로서 비디오이다.
도 2에 도시된 것과 같이, 미디어 데이터 스트림(18)은 미디어 콘텐츠(20)의 서로 다른 미디어 섹션들(24)이 미디어 콘텐츠를 가로질러 변경되는 비트레이트에 대한 품질로 인코딩되는 데이터 스트림 섹션들(22)의 시퀀스를 포함한다. 도 2에서 시변(time-varying) 미디어 신호의 일례로서 역할을 하는, 비디오(20)가 도 2에서 직접적으로 상호 인접한 비디오의 연속적인 시간 슬롯들이 개별 미디어 섹션들(24)을 형성한다는 점에서 예를 들면, 미디어 섹션들(24)로 세분되는 것으로 도시된다. 각각의 미디어 섹션(24)은 따라서 비디오(20)의 화상들(26)의 각각의 시퀀스를 포함한다.
섹션들(24)이 데이터 스트림 섹션들(22) 내로 인코딩되는 비트레이트에 대한 품질의 변이는 클라이언트(14) 측으로는 클라이언트에서 미디어 콘텐츠 또는 비디오(20)의 실시간 재생에서의 데이터 스트림 버퍼의 아이들링(idling), 이른바 "스톨(stall)"을 방지하고, 다른 한편으로는 버퍼의 밀집(congestion)을 방지하기 위하여, 예를 들면 적절한 기준에 따라 제어된다. 적응적 스트리밍은 예를 들면 이른바 미디어 표현 기술(media presentation description, MPD)들을 통하여 서버(12)가 클라이언트(14)에 이용 가능한 다운로드할 수 있는 비트레이트에 대한 품질에 대한 정보를 제공하는, DASH와 같은, 미디어 데이터 스트림(18)의 http 기반 스트리밍일 수 있다. 상기 레벨들을 기초로 하여, 클라이언트(14) 내에 위치되는 조정 모듈(adjustment module)이 서버(12)로부터 클라이언트(14)로 효율적으로 이용 가능한 전송 대역폭에 대하여 만들어진 추정들의 함수로서 그리고 클라이언트(14)에서의 현재 버퍼 충전 레벨의 함수로서 이용 가능한 레벨들 중에서의 선택을 실행하고 변경할 수 있다.
도 2에 도시된 것과 같이, 미디어 데이터베이스(10)는 각각의 미디어 섹션(24)을 위하여, 복수의 비트레이트에 대한 품질 레벨(Q1-Q4) 각각을 위하여, 그 안에 저장되는 데이터 스트림 섹션을 갖는다. 상기 데이터 스트림 섹션들은 도 2에서 직사각형으로 도시된다. 실제로 클라이언트(14)를 위하여 출력된 미디어 데이터 스트림(18)은 따라서 데이터 스트림 섹션들(22)의 시퀀스 또는 스트림으로 구성되고, 각각의 데이터 스트림 섹션(22)은 미디어 섹션들(24) 중 서로 다른 하나와 관련되고 상기 미디어 섹션(24)을 위하여 이용 가능한 저장된 데이터 스트림 섹션들(28) 중 하나와 상응한다. 예로서, 도 2는 미디어 섹션들(24)이 시간들(t0, t1, t2, 및 t3) 사이의 품질 레벨들(Q1, Q3, 및 Q2)에서 미디어 데이터 스트림(18) 내에 전송되나, 위에 설명된 것과 같이, 상기 선택이 개별 클라이언트들(14)과 관련한 상황에 의존하는 것을 도시한다. 도 2는 화살표(30)에 의해 상황 의존적 비트레이트에 대한 품질 조정을 나타낸다. 설명된 것과 같이, 상기 조정은 예를 들면, 클라이언트(14)에 의해 실행될 수 있다.
클라이언트(14)에서 혹은 서버(12) 및 클라이언트(14) 사이의 전송 링크를 따라 다른 위치에서 미디어 데이터 스트림의 품질을 결정하기 위하여, 아래에 설명될 품질을 결정하는 개념은 데이터 스트림 섹션들(22)의 파라미터 세트들을 획득하기 위하여, 하나 이상의 검사 또는 분석 섹션들을 위하여 상기 파라미터 세트들을 종합하기 위하여, 그리고 그것으로부터 품질을 결정하기 위하여 이를 기초로 하여 룩-업 테이블(34) 내에서 룩업하도록 장치(32)가 데이터 스트림으로부터 식별자들을 유도한다는 사실을 제공한다. 설명으로부터 자명해질 것과 같이, 미디어 데이터베이스(10) 내에 저장된 데이터 스트림 섹션들(28)은 이러한 목적을 위하여 변경될 필요가 없고, 이는 품질 결정 개념을 미디어 서버들의 존재하는 인프라구조 내로 도입하는 것을 용이하게 한다. 게다가, 어떠한 다른 정보도 서버-클라이언트 통신 내로 도입될 필요가 없다. 후자는 본래 그대로 남아 있다. 룩-업 테이블(34)의 콘텐츠는 장치(32)의 부품 상의 품질의 결정에 관련된 노력을 합리적으로 낮게 유지하는, 테이블(36)을 생성함으로써 미리 오프라인에서 발생된다. 그럼에도 불구하고, 아래에 더 상세히 설명될 품질 결정을 위한 개념은 특정 검사 또는 분석 섹션을 가로지르는 품질 결정, 혹은 특히 데이터 스트림 섹션들(22)의 시퀀스의 다양한 품질 레벨들(Q)에 불구하고, 예를 들면 몇몇 미디어 섹션들(24)을 가로질러 확장하는 미리 결정된 시간 간격과 같은, 주관적 품질 검사들에 적응되기 위한 전제 조건으로 구성되는 형태로 품질 결정을 허용한다.
지금까지 언급된 미디어 섹션들(24)은 실제로 서로 다른 의미를 갖고 단순성을 위하여 거의 동일한 것으로 설명된 것에 유의하여야 한다: 각각의 경우에 예를 들면 화상들의 그룹(Group Of Pictures, GOP)들과 같은, 서로 개별적으로 미디어 데이터 스트림 내에 인코딩되는 미디어 섹션들, 및 파라미터 세트들이 테이블(3$) 내에 존재하는 미디어 섹션들. 예를 들면 이전의 화상들의 그룹들, 즉 화상 시퀀스들은 IPPP...PP 화상 시퀀스들과 같이, 서로 독립적으로 디코딩할 수 있다. 그러한 미디어 콘텐츠의 유닛들에서, 예를 들면 미디어 데이터 스트림(18)은 레벨들(Q1-Q4)에서 그것의 비트레이트에 대한 품질을 변경할 수 있다. 그러한 미디어 섹션(24) 각각을 위하여, 식별자가 발생될 수 있는데, 즉 비트레이트에 대한 품질의 변이의 입상도(granularity)는 식별자 발생의 입상도와 동일할 수 있다. 그러나, 이는 그럴 필요가 없다. 아래의 설명들은 식별자 발생이 예를 들면 각각의 화상(26)을 위한 것과 같이, 상대적으로 작은 유닛들 내에 발생할 수 있다는 것을 분명하게 나타낸다. 도면부호 24'을 갖는 미디어 섹션들은 항상 각각의 식별자를 갖는 각각의 데이터 스트림 섹션과 관련되는 미디어 콘텐츠(20)의 그러한 섹션으로 언급된다. 화상들의 그룹을 위하여, 즉 다른 화상들의 그룹들로부터 개별적으로 디코딩될 수 있는 자가-포함된 화상 시퀀스를 위하여, 따라서 몇몇 미디어 섹션들(24'), 즉 특히 각각의 비트레이트에 대한 품질 레벨을 위한, 몇몇 식별자들을 포함하는 몇몇 화상들이 존재할 수 있다. 데이터 스트림 섹션들(22)은 항상 상기 미디어 섹션들(24')과 관련되어야 한다. 이와 대조적으로, 아포스트로피(apostrophe)가 없는 미디어 섹션들(24)은 예를 들면 화상들의 그룹들과 같이, 비트레이트가 변경될 수 있는 유닛들 내에 그러한 섹션들을 지정한다. 이미 언급된 것과 같이, 두 유닛들/섹션들 모두는 일치할 수 있으나, 그렇 필요는 없으며, 뒤따르는 실시 예들과 관련하여, 그것들이 이와 관련하여 쉽게 변경될 수 있더라도, 즉 모든 중간 형태, 예를 들면 화상보다 크나 화상들의 그룹보다 작은, 섹션들(24')로 변경되더라도, 이는 실제로 그렇지는 않다. 따라서, 도 2에서, 또한 섹션을 위하여, 즉 섹션들(24') 내로의 섹션(24)의 N 품질 레벨들 및 M 세분(subdivision)을 위하여 M*N 데이터 스트림 섹션들이 존재할 수 있다.
장치, 또는 룩-업 테이블(34)을 포함하는 서버(38)의 가능한 설정이 이제 도 3과 4를 참조하여 설명될 것이다.
도 3에 도시된 것과 같이, 장치(32)는 식별자 발생기(40), 룩-업 유닛(42), 집계자(aggregator, 44), 및 품질 결정기(46)를 포함한다. 도 3에 도시된 것과 같이, 소자들(40 내지 46)이 연속적으로 연결될 수 있고, 식별자 발생기(40)는 미디어 테이터 스트림(18)을 수신하며, 품질 결정기(46)는 미디어 데이터 스트림의 품질(48)을 출력한다.
식별자 발생기(40)는 들어오는 미디어 데이터 스트림(18)의 각각의 데이터 스트림 섹션(22)으로부터 각각의 섹션(24')을 위한 식별자(50)를 유도한다. 룩-업 유닛(42)은 들어오는 미디어 데이터 스트림(18)의 데이터 스트림 섹션(22)을 위한 식별자들(50)을 획득한다. 이는 각각의 데이터 스트림 섹션(22)을 위한 파라미터 세트(52)를 획득하기 위하여 각각의 데이터 스트림 섹션(22)을 위하여 서버(38)의 룩-업 테이블(34) 내에서 룩업하고, 룩-업 유닛(42)은 데이터 스트림 섹션들(22)을 위하여 유도되는 식별자(50)에 의해 룩-업 운영을 실행하며, 얘를 들면 서버(38)에 상응하는 질문(query)들을 보내고, 응답으로서, 각각의 질문 내에 포함된 식별자와 관련된 파라미터 세트를 획득한다. 데이터 스트림 섹션들(22)의 파라미터 세트들은 아래에 더 상세히 설명될 것이다. 간단하게, 그것들은 섹션(24') 당, 예를 들면 각각의 데이터 스트림 섹션(22) 내에 인코딩된 각각의 미디어 콘텐츠(24') 내의 화상(26) 당, 미디어 섹션들(24)은 또한 복수의 각각의 화상(26)의 코딩 품질, 더 정확하게 설명하면, 간섭이 없는 전송의 경우를 위하여 논의되는 화상(26)의 재생 품질을 기술하는 몇몇 파라미터들을 포함하는 측정 파라미터들이고, 또한 파라미터들을 위하여 예로서, 어떠한 인코딩 간섭 없이, 즉 원래 미디어 콘텐츠의 품질을 설명하는 섹션(24') 당 하나 이상의 파라미터를 포함하는 것이 가능하다. 또 다른 상세내용이 아래에 주어질 것이나., 이미 언급된 것과 같이, 본 발명의 적용과 실시 예들은 비디오에 한정되지 않는다는 것에 유의하여야 한다. 예를 들면, 미디어 섹션들(24)은 오디오 신호의 연속적인 시간 간격 또는 시변 그리드 모델의 시간 슬롯들 등일 수 있다. 일반적으로, 관련데이터 스트림 섹션(22)을 위한 파라미터 세트는 코딩 품질, 즉 미디어 콘텐츠(24')의 편차를 설명하고, 이러한 미디어 콘텐츠(24')는 데이터 스트림 섹션(22)으로부터 재생 가능하고 손실 인코딩에 의해 도입되지 않는 원래 인코딩 오류, 및 선택적으로, 일반적으로 미디어 콘텐츠(24')의 품질을 포함한다.
집계자(44)는 원하는 검사 또는 분석 섹션을 위한 파라미터 세트들(52)을 집계한다. 검사 섹션은 예를 들면, 미디어 섹션들(24)의 시퀀스, 및 따라서 또한 섹션들(24')의 시퀀스를 가로질러 확장한다. 도 2와 관련하여, 검사 섹션은 예를 들면, 시간(t0)부터 시간(t6)까지 확장할 수 있다. 시간 간격의 길이는 특정 최소 기간, 연속성, 즉 시간 갭들의 부재 등에 대한 기준과 같은, 상응하는 주관적 FR 품질 검사 방법들에 필요한 기준을 충족한다. 집계자(44)는 따라서 예를 들면 도 2의 t0 및 t6 사이에서와 같이, 미디어 신호의 검사 섹션 내에 위치되는 미디어 섹션들(24')을 전송하는 데이터 스트림 섹션들(22)을 위하여 룩업된 파라미터 세트들(52)의 집계(aggregation, 58)를 출력한다. 위의 설명으로부터 이미 자명한 것과 같이, 집계된 파라미터 세트들(52)은 서로 다른 품질 검사들로부터 기원할 수 있다.
품질 결정기(46)는 따라서 미디어 콘텐츠(20)의 상응하는 검사 섹션 내에 위치되는 모든 미디어 섹션들(24')을 위하여, 복수의 집계(58)를 획득하고 상기 파라미터 세트들(52)의 집계(58)를 기초로 하여, 품질(48)을 결정하는데, 이의 상세내용은 아래에 더 상세히 설명될 것이다.
완전성만을 위하여, 도 4는 룩-업 테이블(34)을 포함하는 도 1의 서버(38)를 도시한다. 미디어데이터베이스(10) 내의 각각의 데이터 스트림 섹션(28)을 위하여, 룩-업 테이블(34)은 데이터 스트림(18)의 섹션으로서, 오류가 없는 전송의 경우에 식별자 발생기(40)에 의해, 발생되는 것과 같이 그 안에 식별자(60)를 저장하였고, 그 안에 상기 데이터 스트림 섹션과 관련되거나 또는 상기 데이터 스트림 섹션(28)과 관련된 미디어 섹션(24')으로부터 발생된, 파라미터 세트(62)를 저장하였다. 도 4에 표시된 것과 같이, 각각의 파라미터 세트(62)는 예를 들면 N 서로 다른 파라미터를 포함할 수 있다. 파라미터 세트들(62)은 미디어 섹션(24), 즉 예를 들면 각각의 경우에 화상(26)과 관련되고, 몇몇 미디어 섹션들(24')은 미디어 섹션(24) 내에 위치될 수 있고, 이러한 유닛들 내에서 클라이언트가 패칭된(fetched) 비트레이트 및/또는 품질과 관련하여 변경된다. 서버(38)는 룩-업 테이블(34)에 연결되고 질문(54)에 응답하도록 구성되는 질문 응답기(query responder, 64)를 포함하고, 이는 장치(32)로부터 오고 이러한 유일한 파라미터 세트를 복귀 전송(return transmission) 내의 장치(32)로 돌려보내기 위하여 테이블(34) 내에 바로 이러한 식별자를 위하여 저장되는 바로 이 파라미터 세트(62)를 갖는, 특정 식별자를 포함한다.
장치(32)와 서버(38) 사이의 통신(54 및 56)은 또한 예를 들면 인터넷 연결과 같은, 네트워크를 통하여 발생할 수 있다. 서버(38)는 서버(12) 및 미디어 데이터베이스(10)와 별도로, 고유의 서버일 수 있다. 룩-업 테이블(34)은 예를 들면 비-휘발성 메모리 내에서 실현될 수 있고, 질문 응답기(64)는 예를 들면, 컴퓨터 또는 컴퓨터 네트워크에 의해 구현될 수 있다. 장치(32)는 클라이언트가 또한 실행되는 그러한 모바일 장치 상에서 실행되는 애플리케이션일 수 있으나, 또한 장치(32)의 다른 배치 및 구현이 물론 가능하다.
위의 설명으로부터 이미 자명해진 것과 같이, 데이터 스트림 섹션들로부터 획득되는 식별자에 의한 파라미터 세트들이 룩업의 접근법의 장점은 파라미터 세트 결정 및 따라서 룩-업 테이블의 설정, 즉 테이블 발생(36)이 이미, 즉 실제로 발생하는 클라이언트들(14)로의 미디어 데이터 스트림 전송들 이전에, 오프라인에서 실행될 수 있다는 사실을 포함한다. 완전성을 위하여, 도 5는 이제 테이블 발생(36)의 가능성을 도시한다. 상기 가능성에 따르면, 미디어 데이터베이스(10) 내의 각각의 데이터 스트림 섹션(28)을 위하여, 특히 방해받지 않은 전송의 경우에 동일 식별자는 식별자 발생기(40)와 그대로 작동하는 방식으로 식별자 발생이 수행되고, 파라미터 세트 결정(68)이 실행된다.
이제 품질 결정 개념에 포함된 소자들의 개요가 도 1 및 5와 관련하여 설명되었고, 예를 들면 이러한 개념 또는 소자들의 상호작용이 구체적으로 어떻게 구현될 수 있는지의 예로서 아래에 설명된다. 이러한 맥락에서, 예를 들면 파라미터 세트들과 관련되나, 또한 위에 설명된 다른 소자들과 관련하여 상대적으로 특이적인 설명들이 주어지고, 모든 상기 구체적 가능성은 위의 이전의 구현에 개별적으로 적용될 수 있어야만 한다. 이는 도 1 내지 5가 아래를 언급해야만 하는 이유이고, 가능한 한, 도 1 내지 5의 설명들에서 사용된 도면부호들이 재사용된다.
본 발명의 설명의 도입부에서 설명된 것과 같이, 미디어 데이터 전달들에서의 중요한 의문은 최종 사용자에 도착하는 미디어 데이터의 품질의 종류에 관한 것이다. 이전 도면들과 관련하여 이미 개략적으로 설명된 것과 같이, 결정은 미리 획득된 파라미터들의 액세스에 의해 만들어질 수 있다. 도 1에 설명된 것과 같이, 이에 포함되는 것은 미디어 데이터베이스(10)를 분석하는 테이블 발생 모듈(36), 미디어 데이터베이스(10)로부터 계산된 파라미터 세트들의 저장을 위한 데이터베이스를 제공하는 룩-업 테이블(34), 및 장치(32), 즉 예를 들면 현재 품질의 계산을 위하여 클라이언트 측에서 사용되는 장치이다.
최종 사용자 또는 클라이언트(14)에서의 미디어 데이터의 전체 품질의 평가에서, 원칙적으로 두 가지 방해 패턴에 유의하여야 한다:
1) 그중에서도, 평균 비트레이트와 같은, 사용된 인코딩 방법 및 사용된 설정들에 에 의존하는 코딩 품질, 및
2) 전송 채널 내의 현재 방해들을 기술하는 전송 품질. 전송 품질은 패킷 손실들, 비트 오류들 등과 같은 방해들을 고려한다.
지금까지 도 1 내지 5의 이전의 설명은 코딩 품질만을 설명하였다. 예를 들면, 이는 설명된 것과 같은 식별자 발생이 예로서 비-디코딩된 도메인 내에서 발생할 때, 결함이 있는 데이터 섹션들은 검출 가능하게 결함이 있는 식별자들을 야기한다는 사실에 의해 충분히 보장되는데 그 이유는 예를 들면 각각의 경우에서 현재 미디어 콘텐츠(20)의 미디어 섹션(24)을 위하여 룩-업 테이블(34) 내에 저장되는, 데이터 스트림 섹션들(28) 중 어느 하나와 관련된 미디어 섹션(24)을 위하여, 그것들이 일치하지 하지 않기 때문이다. 아래에 설명될 것과 같이, 품질 결정기(46)가 파라미터 세트들(52)의 상응하는 집계(58)로부터의 검사 섹션 또는 몇몇 검사 섹션들을 위하여 결정되고 전체 품질을 획득하기 위하여 품질 방해들의 양에 관한 추정들을 갖는 코딩 품질을 반영하는 품질을 결합하는 것이 가능할 수 있다.
신호의 전체 품질의 코딩 품질과 전송 품질의 미리 정해진 하위 영역 내로의 분해는 객관적 방법들이 품질 예측을 위하여 필요한 계산 파워를 최적화하는 것을 가능하게 한다. 여기서 유의하여야 할 점은 코딩 품질이 전송 채널 내의 현재 방해들에 의존하지 않는다는 사실이다. 따라서, 원칙적으로, 서로 다른 입력 시퀀스들 및 인코딩 설정들을 위하여, 즉 전체 검사 섹션을 가로질러 이를 완전하게 계산하는 것이 가능할 수 있다. 그러나 본 발명의 설명의 도입부에서 설명된 것과 같이, 이는 비트레이트가 검사 섹션보다 적은 시간적 유닛들 내에서 클라이언트 개별 방식으로 변경된다는 단순한 이유 대문에 어렵다. 바꾸어 말하면, 인코딩 설정들은 전송 채널의 현재 상태의 함수로서 끊임없이 변경된다. 게다가, 전체 품질은 단지 위에 언급된 품질 레벨들 사이의 선형 연속이 아니다. 이것이 위에 "파라미터들"로서 언급되고 때때로 아래에 "표시기"로서 언급되는, 벤치마크(benchmark) 데이터를 미리 결정하고 실제 전송 특성의 함수로서 품질의 추정을 위하여 이를 사용하는 것이 이해가 되는 이유이다.
도 6은 미디어 콘텐츠로서 비디오의 예를 사용함으로써 미디어 전송을 위하여 미리 파라미터 세트들을 결정하기 위한 장치, 즉 테이블 발생(36)을 실행하기에 적합한 장치를 도시한다.
도시된 것과 같이, 도 6의 장치는 디코더, 분할기(partitioner, 72), 평가기(evaluator, 74), 식별자 결정기(76)뿐만 아니라, 기준 미디어 콘텐츠, 여기서는 기준 비디오를 수신하기 위한 입력, 고정 비트레이트에 대한 품질 레벨에서 미디어 데이터 스트림을 수신하기 위한 입력, 또한 데이터베이스엔트리들 또는 룩-업 테이블(34)의 룩-업 테이블 엔트리들, 즉 식별자들(60)과 관련 파라미터 세트들(62)의 쌍들을 출력하기 위한 출력(82)을 포함한다. 분할기(partitioner, 82)는 세 개의 입력, 입력(78)에 연결되는 입력, 입력(80)에 직접적으로 연결되는 또 다른 입력, 및 입력(80)에서 디코딩되거나 또는 재생 가능한 버전의 미디어 데이터 스트림을 획득하기 위하여 디코더(70)를 통하여 입력(80)에 연결되는 제 3 입력을 포함하고, 이러한 미디어 데이터 스트림은 검사 비디오가 디코더(70)의 출력 또는 분할기(72)의 입력에 존재하는 것과 같이, 예를 들면 도 6에 도시된 것과 같이, H.264에 의해 인코딩될 수 있다. 분할기(72)는 들어오는 기준 비디오, 들어오는 검사 비디오 및 들어오는 미디어 데이터 스트림을 예를 들면 그것들의 크기와 관련하여 본질적으로 이전에 언급된 데이터 스트림 섹션(22)과 상응하고, 각각의 시청 기간을 위하여 입력(80)에서 미디어 데이터 스트림의 상응하는 데이터 스트림 섹션(22)을 식별자 결정기(76)에 전달하며, 각각의 시청 기간 내에 위치하는 검사 비디오로부터의 프레임들(26)과 같은, 미디어 섹션들(24')뿐만 아니라 상응하는 섹션들, 예를 들면 기준 비디오로부터의 화상들을 평가기(74)에 전달하는, 시청 기간들로 분할한다. 단순성을 위하여, 아래에 시청 기간들로의 분할은 어떠한 갭들 없이 발생하는 것으로 추정되고, 따라서 시청 기간들은 균일하게 서로 인접하나, 그것으로부터의 편차들이 또한 실현 가능하다.
식별자 발생기(76)는 위에 설명된 동일한 방법으로 및/또는 또한 장치(32) 내의 식별자 발생기(40)에 의해 수행되는 것과 동일한 매핑으로 들어오는 데이터 스트림 섹션들(22) 모두를 위한 식별자를 결정한다. 식별자 발생기는 해시 값 형성을 포함할 수 있으나, 식별자는 또한 해시 값의 조성 및 예를 들면 구별 가능성의이유로 미디어 라이브러리(10) 내의 개별 미디어 콘텐츠들에 지정되는 또 다른 식별자들일 수 있다는 것이 언급되어야만 한다.
평가기(74) 내의 평가는 아래에 더 상세히 설명될 것과 같이 발생하고 시청 기간로부터의 각각의 미디어 섹션(24')을 위하여, 상응하는 미디어 콘텐츠(23')가 인코딩되는 데이터 스트림 섹션(22)으로부터 획득된 식별자와 관련되는 상응하는 파라미터 세트에 이르게 한다.
방금 설명된 과정은 상응하는 미디어 데이터 스트림(18)이 입력(80)에 적용되고 반면에 기준 비디오는 입력(78)에 존재하고 어떠한 인코딩 손실들 없이 미디어 콘텐츠를 표현한다는 점에서, 미디어 데이터베이스(10) 내에 각각의 미디어 콘텐츠 또는 비디오(20)가 존재하는, 각각의 비트레이트에 대한 품질 레벨들을 위하여, 반복된다. 비트레이트에 대한 품질 레벨은 그때마다 일정하게 유지된다. 더 구체적으로, 입력(80)에서 미디어 데이터 스트림(18)의 데이터 스트림 섹션(22)은 그때마다 모든 데이터 스트림 섹션(22)에 대하여 동일한 비트레이트에 대한 품질 레벨로 관련 미디어 섹션(24)을 표현하고, 레벨은 연속적인 시간들 사이에서 변한다. 이러한 방법으로, 한 쌍의 식별자 및 관련 파라미터 세트는 미디어 콘텐츠(20)의 각각의 미디어 섹션(24)에 대한 비트레이트에 대한 품질 레벨을 위하여, 이미 설명된 것과 같이, 룩-업 테이블을 야기한다.
원칙적으로, 따라서, 도 6의 평가기(74)는 도 5의 파라미터 세트 결정(64)을 적용하고, 식별자 결정기(76)는 도 6의 식별자 발생(66)을 적용한다. 분할기(72)는 파라미터 세트들을 획득하기 위하여 도 6의 실시 예에서 평가기(74)에 의해 실행된 평가와 상관되는 시청 기간으로의 분할을 실행한다. 시청 기간들은 장치(32) 내의 품질 결정기(46)에 의해 검사 섹션을 선택하기 위하여 사용되는 것과 동일한 기준을 충족시킬 수 있는 그러한 기간들이다. 따라서, 시청 기간은 예를 들면, 몇몇 미디어 섹션들(24)을 가로질러 확장할 수 있다. 그럼에도 불구하고, 평가기(74)는 시청 기간의 평가로부터, 현재 시청 기간 내에 있는 미디어 섹션 당 하나의 파라미터 세트를 발생시킨다.
더 구체적으로, 따라서, 기준 비디오뿐만 아니라 각각의 고정 비트레이트에 대한 품질 레벨을 포함하는, 전송되려는 미디어 데이터 스트림, 및 미디어 데이터 스트림으로부터 디코딩되는 검사 비디오는 그것들의 원래 길이들로 도 6의 장치를 위한 입력들의 역할을 한다. 평가기(74)는 예를 들면 주관적 검사를 매핑하기 위하여, ITU-T J.247 또는 ITU-T J.341과 같은 주관적 검사 방법을 사용할 수 있다. 그러한 주관적 검사 방법들은 그러한 검사에서 사용되는 화상 시퀀스들을 위하여 적응된다. 그러한 화상 시퀀스, 또는 그러한 시청 기간의 기간은 예를 들면, 각각의 경우에 10 및 16초 사이 또는 6 및 20초 사이이다. 분할기(72)는 따라서 예를 들면, 기준 비디오, 검사 비디오 및 들어오는 미디어 데이터 스트림을 그러한 시청 기간으로 분할하고 이러한 방법으로 분할된 기준 및 검사 비디오를 평가기(74)로 전달한다. 평가기(74) 내에서 실행되는 객관적 측정 기술 내에서, 파라미터들 또는 지시자들, 즉 파라미터 세트는 그리고 나서 시청 기간 내의 각각의 미디어 섹션(24')을 위하여, 예를 들면 각각의 시청 기간 내의 각각의 화상(26)을 위하여 결정된다. 파라미터 세트들을 추출하기 위하여 가능하게 사용될 수 있는 방법의 더 상세한 설명이 뒤따를 것이다. 또한 파라미터들, 또는 지시자들의 설명이 뒤따를 것이다.
기준 비디오 및 테스트 비디오가 분할기(72)에 의해 분할되는 시청 기간들의 평가에서, 예를 들면 각각의 화상에 대한 것과 같은, 단지 각각의 섹션(24')에 대한 파라미터 세트 결과들로서, 식별자 결정기(76)는 각각의 미디어 섹션(24')에 대하여, 예를 들면 각각의 화상(26)에 대하여, 각각의 데이터 스트림 섹션(22)으로부터, 또한 아래에 식별 소자로서 언급될, 식별자를 결정한다. 식별 소자들은 나중 시점에서 비트스트림(18) 내에 인코딩된 섹션(24')의 데이터베이스 엔트리들과의 연관성이 가능한 것과 같이, 섹션들(24')과 관련하여 계산된다. 식별 소자로서, 분명한 방식으로, 예를 들면 MD5 합계 또는 추정되려는 서로 다른 "해시" 합계가 사용될 수 있다.
위에서 이미 설명된 것과 같이, 지시자들 또는 파라미터 세트는 그 뒤에 "해시" 합계와 함께 데이터베이스 내에 저장되고 선택적으로, 가능하게는 예를 들면, 화상 기하학적 구조에 대한 정보와 같은 소자들을 더 제어한다. 따라서, 코딩 품질의 결정을 위한 어떠한 필요한 정보는 비디오 시퀀스들의 크기 및 프레임 레벨에서의 인코딩 설정들을 위하여 데이터베이스 내에서 이용 가능하다.
도 7은 현재 전송되는 신호 또는 클라이언트(14)에 전송된 미디어 데이터 스트림(18)의 전체 품질을 추정하는 방법을 도시한다. 상기 방법은 예를 들면 도 3에 의한 장치(32)에 의해 실행되나 아래에 설명될 것과 같이, 도 7의 방법을 실행하기 위하여 도 3의 기능성이 추가된다. 이미 언급된 것과 같이, 비록 그것들이 또한 비디오보다 다른 미디어 콘텐츠에 쉽게 전달될 수 있더라도, 비디오 스트림에 대한 도해가 설명된다.
도 7에 도시된 것과 같이, 들어오는 미디어 데이터 스트림(18)은 초기에 데이터 스트림 분석(86)의 대상이 되고, 데이터 스트림(18)은 예를 들면, 수신기에, 일반적인 표현으로, 이미 언급된 것과 같이, 예를 들면 클라이언트(14)와 같은 수신기 측에 도달한다. 미디어 데이터 스트림(18)을 획득하기 위하여, 데이터는 예를 들면 네트워크 카드로부터 꺼내질 수 있다. 데이터 스트림 분석(86)에서, 비디오 관련 데이터 또는 여기서는 예로서 비디오 데이터 스트림인 미디어 데이터 스트림(18)은 패킷 손실들, 비트 오류들, 시간 지연들, 패킷 반복들 등과 같은, 전송 아티팩트들에 대하여 분석된다. 분석은 예를 들면, 전송 아티팩트 분석기 또는 식별자 발생기(40)와 병렬로 연결되거나 및/또는 미디어 데이터 스트림을 획득하는 검출기(186) 내에서 실행될 수 있다. 분석 결과를 기초로 하여, 전솔 연결의 외란(disturbance)들을 기술하는, 현재 전송 품질이 그리고 나서 단계(88)에서 추정될 수 있다. 동시에, 예를 들면 식별자들 또는 식별자 소자들이 계산되는, H.264 비트스트림을 표현하는 데이터 스트림 소자들(22)의 시퀀스는 예를 들면 화상 레벨에서와 같이 또는 각각의 비디오 프레임에 대하여, 들어오는 미디어 데이터 스트림으로부터, 즉 화상 섹션(24') 당 추출된다. 식별자 결정(90)은 예를 들면, 식별자 결정기(40)에 의해 실행된다. 이미 언급된 것과 같이, 동일한 알고리즘 또는 동일한 매핑이 단계(66)에서 또는 식별자 결정기(76)에서 데이터베이스의 발생을 위하여 사용되는 것과 같이 단계(90)에서 계산된 식별 소자들을 위하여 사용된다. 따라서, 만일 "해시" 값들 또는 식별자들이 전송 외란들에 기인하여 결정될 수 없으면, 화상 섹션들(24')의 룩-업 테이블(34) 내의 엔트리들과으 분명한 연관성이 발생할 수 있고, 이러한 단계는 도 3의 룩-업 유닛(42)에 의해 실행된 단계인, 도 7의 데이터베이스 검색(92)으로서 언급된다. 각각의 화상 섹션(24'), 예를 들면 화상(26)을 위하여 룩-업된, 지시자들, 또는 파라미터 세트들은 그리고 나서 현재 코딩 품질의 계산을 위하여, 즉 도 3에서의 집계자(44) 및 품질 결정기(46)에 의해 실행되는, 인코딩 품질 추정의 단계(94)에서 사용된다. 이를 위한 유일한 전제조건은 장치(32)가 이전에 수립된 데이터베이스(34)로의 액세스를 갖는다는 것이다. 이는 예를 들면, 무손실 데이터 라인 또는 서전에 이미 전송된 데이터베이스(34)에 의해 보장될 수 있다. 인코딩 품질 추정(94)의 과정의 더 상세한 과정이 설명에 주어질 것이다.
현 시점에서 지금까지 설명된 실시 예들은 또한 예를 들면 HLS(HTTP 라이브 스트리밍)와 같은 모뎀 스트리밍 방법들을 지원한다는 것에 유의하여야 한다.
단계(96)는 단계들(88 및 94)의 추정된 코딩 품질 및 추정된 전송 품질을 기초로 하여 전체 품질을 최종적으로 추정하는 단계를 포함한다. 이러한 단계는 또한 예를 들면, 전송 품질 추정(88)에서와 같이, 도 3의 품질 결정기(46)에 의해 실행될 수 있다.
따라서, 위의 실시 예들은 적응적 스트리밍 방법들이 존재하는 전송 채널 능력들에 의존하여, 서로 다른 인코딩 품질들을 사용하는 문제점을 해결한다. 코딩 품질은 만일 전송 채널 특성들이 변하면 심지어 전송 동안에 변경될 수 있다. 프레임 레벨에서 어떠한 수의 품질 조합들을 저장하는 룩-업 테이블(34)의 사용에 기인하여, 적절한 지시자들이 항상 위의 실시 예들에 따라 추출될 수 있다.
파라미터 세트 결정(64) 또는 평가기(74)가 어떻게 구성되는지에 대한 더 상세한 설명이 아래에 주어질 것이다. 이미 설명된 것과 같이, 실제로 뛰어난 품질 예측을 제공하기 위하여 이미 입증된 확립된 표준화된 측정 기술들이 지시자들 또는 파라미터들을 추출하는데 사용될 수 있다. 예를 들면, ITU-T J.247의 명칭으로 ITU에 의해 표준화된 방법이 사용될 수 있다. 완전성을 위하여 또한 파라미터 세트들을 획득하기 위하여 다른 비-표준화된 방법들 또는 뉴튼 랩슨(Newton-Raphson, NR) 방법들이 사용될 수 있다는 것에 유의하여야 하나, 이는 일반적으로 측정정확도와 관련하여 손실을 동반한다.
도 8은 특히 도 6의 평가기(74)에 의해, 실행될 수 있는 가능한 순서의 일례를 도시하는데, 평가기(74)는 시청 기간에 대한 파라미터 세트를 결정하기 위하여, 디코딩에 의해 수신된 미디어 데이터 스트림(18)으로부터 획득된 테스트 비디오 및 관련 기준 비디오 모두를 획득하는 것으로 추정된다. 그러나 아래의 설명은 파라미터 세트를 발생시킬 때 시청 기간들로의 분할이 절대적으로 의무적인 것은 아니라는 것을 설명할 것이다. 상기 분할은 단지 파라미터 세트들의 발생을 위하여 완전히 표준화된 측정 기술들을 쉽게 사용하도록 한다.
입력 파라미터들로서, 시청 시간들로 분할된 기준 비디오로부터의 시간 섹션들뿐만 아니라 평가되려고 하고 가능하게는 인코딩 외란을 나타내는 비디오로부터 기원하는 상응하는 시간 섹션이 도 8의 파라미터 세트 추출 방법에 제공된다. 시간적 시청 기간 및/또는 테스트 섹션의 기간은 이에 의해 객관적 측정 기술들이 평가되는 주관적 검사의 일반적인 기간 및 스트리밍 방법들의 요구사항들 모두에 의존할 수 있고, 가능한 품질 스위칭 섹션들(24)이 지정된다. HLS 방법에서, 예를 들면, 개별 파일들로서 전달 섹션들(24)이 존재하고, 상기 길이들의 정수 배수들이 선택된다. 일반적인 값들은 각각의 경우에 예를 들면 4 내지 14초 또는 대안으로서, 2 내지 25초의 섹션 길이들이다.
시청 기간과 상응하는 기준 비디오의 그러한 섹션 및 테스트 비디오의 그러한 섹션 사이에 어떠한 시간적 오프셋도 존재하지 않는 것이 보장된다. 만일 필요하면, 프레임들을 시간적으로 연관시키기 위한 알고리즘이 사용된다.
준비(100), 제 1 단계의 맥락에서, 개별 섹션들이 판독되고 내부 화상 표현 으로 전달된다, 이러한 단계는 선택적이고 만일 어떠한 화상 표현 전달도 필요하지 않으면 생략될 수 있다.
신호 분석(102)에서, 개별 비디오 섹션들, 즉 각각의 시청 기간 또는 각각의 테스트 섹션이 화상 레벨에서 분석되고 특징화된다. 여기서, 화상 시퀀스 분석이 발생하고, 화상 시퀀스들 및 개별 스틸-프레임(still-frame) 섹션들이 인식된다. 이러한 블록에서, 원래 비디오 및 테스트 비디오는 개별적으로 분석된다.
뒤따르는 단계(104)는 색 맞춤을 실행하는 단계를 포함한다. 상기 단계는 개별 그레이 스케일(gray scale)들 및 색 성분들의 히스토그램 분석을 포함하고, 그 뒤에 원래 비디오 및 테스트 비디오 사이의 분포가 적용된다. 약간 다른 시스템 색 디스플레이들(색 표현들) 및 시스템 왜곡들이 여기서 제거되는데 그 이유는 그것들이 일반적으로 시청자에 의해 거의 인식되지 않기 때문이다. 제거는 뒤따르는 지시자 분석(106)이 상기 불완전한 색 디스플레이들(불완전한 표현) 및 왜곡들에 둔감하다는 사실을 야기한다.
특히, 지시자 분석(106)은 품질 평가와 관련된 외란 소자들의 그러한 세트, 즉 파라미터 세트의 추출을 포함한다. 파라미터 세트의 계산은 섹션(24')에 대한 각각의 경우에, 즉 예를 들면 각각의 경우에서의 화상에 대하여, 테스트 비디오 내의에서 실행된다. 따라서 파라미터 세트는 각각의 프레임에 대하여 이용 가능하다. 이미 설명된 것과 같이, 미디어 섹션(24')이 단지 하나의 프레임보다 큰 또 다른 예가 도한 실현 가능할 수 있다. 파라미터들 또는 지시자들의 특성들이 아래에 더 상세히 설명될 것이다.
위에 설명된 것과 같이, 파라미터들 또는 지시자들의 세트(62)는 그리고 나서 인코딩된 형태, 여기서는 예를 들면 개별 화상으로 데이터 스트림 섹션(22)으로부터 획득되었고 상기 세트(62)가 결정된 각각의 미디어 섹션(24')을 포함하는 각각의 식별자와 함께, 또는 상기 식별자와 관련된, 데이터베이스 또는 룩-업 테이블(34) 내로 저장된다. 도 8에 도시된 것과 같이, 세트(62)의 지시자들이 나중의 시점에서의 후처리를 위하여 제어 소자들과 함께 버퍼링되는 것이 가능하다. 그러한 제어 소자들의 실시 예들은 위에서 이미 언급되었다. 데이터베이스 또는 룩-업 테이블(34)의 설정은 이 지점에서 자유롭게 선택 가능하고 크기 및 존재하는 하드웨어와 소프트웨어 요구조건들에 의존하며, 여기서 사용될 수 있는 데이터베이스의 일례로서 MySQL이 구현될 수 있다. 식별자의 발생은 식별자(60), 화상 또는 프레임, 즉 테스트 비디오 내의 미디어 섹션(24')뿐만 아니라 관련 파라미터들 또는 파라미터들의 세트(62) 사이의 분명한 연관성을 보장한다는 사실을 언급할 가치가 있다. 또한 세트(62)의 개별 지시자 값들은 예를 들면, IEEE 부동 소수점 수로서 이용 가능할 수 있다는 것에 유의하여야 한다. 만일 파라미터들의 발생을 위하여 J.247이 사용되면, 데이터베이스 엔트리(82)는 예를 들면, 하나의 식별자(60) 및 선택적으로 하나의 제어 소자의 세트(62)에 대하여 6개의 파라미터로 구성될 수 있다.
어떻게 파라미터들이 선택될 수 있는지, 즉 어떤 차원들이 상기 파라미터들을 갖는지, 파라미터들이 어떻게 생산되는지 등의 가능성들이 아래에 설명될 것이다. 그러나, 뒤따르는 설명은 단지 바람직한 예이고 물론 변경의 가능성들이 존재한다는 것에 유의하여야 한다. 한 이미 위에서 언급된 것과 같이, 예로서, 아래의 설명에서, 개별 화상들 또는 프레임들(26)과 상응하는 미디어 섹션들(24')에 대하여 파라미터 세트들이 결정되는 것이 추정되어야 한다. J.247을 사용하거나 또는 이에 따라 계산이 실행된다. 그러나, 테스트 비디오 내의 각각의 프레임, 즉 미디어 콘텐츠의 재구성된 버전을 위하여 어떻게 파라미터들이 계산되는지에 대한 개요만이 아래에 설명될 것이다. 상세한 수학적 설명을 위하여, 부가적으로 또한 ITU-T J.247, 주로 B.1.10장이 참조되고, 이는 여기에 참조로써 통합된다.
아래에 설명되는 실시 예에 따르면, 다음의 분석, 즉 다음 중 어느 하나 또는 일부 또는 모두는 도 1의 테이블 발생(36)에서 또는 지시자 분석(106)의 콘텍스트 내에서 또는 평가(74)에 의해 실행된다:
유사성 분석:
예를 들면 유사성상 분석의 콘텍스트 내에서, 비디오(20)의 각각의 화상 및 기준 비디오(120)의 상응하는 섹션(124')의 재구성된 버전 사이의 유사성의 상관성 기반 측정이 결정된다. 다시 한 번 분석은 일반적으로 오프라인으로 발생한다는 것에 유의하여야 한다. 비디오(20)는 인코딩에 의해, 일정한 비트레이트에 대한 품질 레벨들을 갖는 데이터 스트림 섹션들의 시퀀스들로 구성되는 미디어 데이터 스트림으로부터 기원한다. 본 발명의 실시 예에서 미디어 섹션들(24')은 개별 프레임들이기 때문에, 유사성 분석은 따라서 테스트 비디오(20)의 화상(26)을 인코딩 손실들에 의해 손상되지 않은 기준 비디오(120)의 시간적으로 상응하는 화상(126)과 비교한다. 테스트 비디오(20) 및 기준 비디오(120) 내의 화상들(26 또는 126)의 시간적 시퀀스들을 나타내기 위하여, 상기 비디오들의 연속적인 화상이 도 9에 도시되고 예로서 지수들(1 및 2)에 의해 구별된다. 상관성 기반 측정의 계산을 위하여, 예를 들면 화상(261 및 1261) 사이의 상관성은 서로 다른 화상 섹션들에서 화상 영역을 가로질러 결정되고, 상관성 기반 측정은 국부적으로 획득된 상관성들의 적절한 평균화를 기초로 하여 결정된다. 따라서 예를 들면, 테스트 비디오(20)로부터 그리고 특히 테스트 섹션으로부터의 화상(261)뿐만 아니라, 기준 비디오(120)의 시간적으로 상응하는 화상(1261)은 개별 화상 영역들(130)로 분할되고, 기준 비디오 및 테스트 비디오 사이의 이러한 영역들에서의 상관성이 결정되는데: 예를 들면, 평균 상관 값은 파라미터들 중 어느 하나를 획득하기 위하여 유사성 측정 및/또눈 상관성 기반 측정으로서 결정된다. 화상들의 영역 구조들 내의 외란들은 특히 이러한 지시자 또는 파라미터의 도움으로 강조된다. 각각의 미디어 섹션(24')에 대하여, 즉 여기서는 테스트 섹션 또는 시청 기간 내의 각각의 프레임(26)에 대하여 유사성 분석이 결정된다.
엣지 분석(edge analysis)
엣지 분석은 각각이 화상(26) 및/또는 각각의 미디어 섹션(24')에 대하여,
각각의 화상(26) 내에 존재하는 엣지들 및 상응하는 화상(126) 내에 존재하는 엣지들의 차이들의 측정에 이르게 한다. 엣지들은 예를 들면, 휘도(luminance) 면 내에서 및/또는 화상들(26 및 126)의 루마(luma) 성분으로부터 결정된다. 매트릭스들의 구별로서, 화상들(26 및 126)로부터 획득되는 상응하는 엣지 화상들의 단순한 뺄셈이 사용된다. 엣지 차이들의 하나의 측정을 달성하기 위하여 화상 영역을 가로질러 적절한 평균화가 사용될 수 있다. 평균화는 예를 들면, L5 표준을 기초로 할 수 있다. 바꾸어 말하면, 엣지 분석은 기준 화상 및 테스트 화상의 휘도 면 내의 엣지 화상들의 비교, 및 차이들을 위한 그것들의 검사를 포함한다. 지시자 값을 결정하기 위하여 외란의 평균화는 예를 들면 가중된 L5 표준(norm)을 통하여 실행된다. 화상을 시청할 때, 눈은 때때로 엣지들에 의해 적응되게 된다. 엣지 외란들은 따라서 특히 명백한 방법으로 지각된다.
블록 분석:
블록 분석은 테스트 섹션 내의 각각의 화상(26) 및/또는 미디어 섹션(24') 내의 블록 외란의 측정을 야기한다. 블록 형성은 현대 "코드들" 내에서 발생하는 주파수 오류 범주이다. 이러한 외란은 또한 "블록니스(blockness)" 또는 "타일링(tiling)"으로서 언급된다. 오류는 엣지 분석과 유사한 방법으로 계산된다. 그러나, 이러한 값을 위하여, 원래 화상(126)과 비교하여 테스트 화상 내에서 추가된 그러한 엣지들만이 평가된다. 국부적 평균화는 여기서 블록 외란들의 측정을 달성하기 위하여 예들 들면 가중된 L2 표준을 통하여 영향을 받는다. 다른 분석, 즉 유사성 분석 및 엣지 분석분만 아니라 뒤따르는 분석들과 마찬가지로, 블록 분석은 시청 기간 내의 각각의 화상(26), 및/또는 테스트 섹션을 위하여 실행된다.
색차 분석(chrominance analysis)
색차 분석은 각각의 화상(26) 및 상응하는 원래 화상(126) 내의 색차 면들의 차이의 측정을 야기한다. 이러한 측정 및/또는 지시자의 값들은 화상들의 색차 면들의 차이를 기초로 한다. 그 뒤에 지시자 값의 결정화를 위하여 예를 들면 원래 및 테스트 화상 사이의 정규화된 화상 지점들의 차이의 가중된 평균화가 뒤따른다.
외란의 시간적 과정의 분석
외란의 시간적 과정의 분석은 테스트 비디오(20)의 화상(26) 내에 존재하는 엣지들의 시간 변화들 및 기준 비디오(120)의 상응하는 화상(126) 내에 존재하는 엣지들의 시간 변화들의 차이들의 측정을 야기한다. 예를 들면 이러한 화상(262) 및 화상(26)을 시간적으로 선행하는 화상의 엣지들이 휘도 레벨 내에서와 같이, 초기에 결정되고, 이러한 시간적으로 연속적인 두 엣지 화상들이 획득된 엣지 화상들의 상응하는 차이와 비교된다는 점에서, 테스트 비디오(20)의 화상(262)의 엣지들의 시간 변화들이 시간적으로 상응하는 화상들(1261 및 1262)로부터 기준 비디오(120) 내에서 결정된다. 다른 분석 옵션들에서와 같이, 엣지 화상들은 또한 예를 들면 상응하는 고역 통과(high-pass) 필터링을 통하여 결정된다. 적절한 국부적 평균화는 이러한 시간적 변화들의 차이의 측정을 달성하기 위하여 재사용될 수 있다. 외란의 시간적 과정에 대한 분석의 배경은 시간적 변화들을 나타내는 예상치 않은 외란들이 매우 짜증나게 하는 것으로서 시청자에 의해 지각된다는 것이다. 이러한 외란 범주를 평가하기 위하여, 기준 비디오 및 테스트 비디오의 엣지 화상의 시간적 변화들은 그것들이 발생함에 따라 로깅된다. 여기서 계산된 식별자들은 기준 화상(126) 및 테스트 화상(26) 사이의 현재 화상 또는 프레임에 대한 엣지 화상의 변화들이 차이를 기술한다, 시청자가 외란이 추가되었는지 또는 일부분이 제거되는지의 기능으로서 서로 다르게 반응하기 때문에, 두 개의 지시자 또는 파라미터가 이러한 범주릉 위하여 계산될 수 있다: 국부적 평균화는 여기서 손실 부분들에 대한 추가된 외란들 및 가중된 L2 표준을 위하여 가중된 L5의 도움으로 실행된다. 그러나, 이것들은 결국, 가능하게는 벗어날 수 있는, 단지 예들이다.
만일 위의 분석들과 결과로서 생긴 파라미터들 모두가 협력되면, 6개의 파라미터의 수는 각각의 파라미터 세트(62)를 야기하고, 상기 6개의 파라미터는 분명하게 식별자와 관련된 데이터 스트림 섹션으로부터의 결과들로서, 각각의 미디어 섹션, 여기서는 각각의 화상을 기술하며, 이는 차례로 상기 파라미터 세트(62)에 속하는 것으로서 테이블(34) 내에 저장된다.
그 뒤에, 품질 결정기(46) 또는 인코딩 품질 추정(94)에 의한 품질 결정을 위한 가능한 상세내용이 설명될 것이다. 예를 들면 데이터베이스(34) 내의 위에 설명된 화상 평면 내의 지시자들 및/또는 파라미터들의 저장은 즉 단일 화상의 크기의 미디어 섹션들(24')을 위하여, 뒤의 시점에서, 즉 테스트 섹션 및/또는 시청 기간을 위하여, 장치(32) 내의 수신기 측에서 획득되는 비디오 시퀀스의 섹션의 품질의 계산을 가능하게 한다. 따라서, 수신기 측에서 인코딩 품질 추정을 실행하는 장치의 더 상세한 설명이 아래에 주어질 것이다. 장치(32)는 개별 지시자들 및/또는 파라미터들로의 액세스만이 필요하다. 위에 설명된 것과 같이, 상기 액세스를 위하여 장치는 식별 소자들 또는 식별자들을 사용한다. 모든 화상 및 모든 품질 레벨에 대한 엔트리는 데이터베이스(34) 내에서 이용 가능하다.
그러나, 가능한 구현 상세내용의 설명을 계속하기 전에, 테이블(34) 내의 파라미터 세트들을 기초로 하는 수신기 측 인코딩 품질 결정은 파라미터 세트들을 발생시키기 위하여 오프라인에서 사용된 시청 기간들, 또는 테이블 발생을 위하여 수신기 측에서 그리고 오프라인으로 사용되는 시청 시간들과 일치할 필요는 없다는 것에 유의하여야 한다. 서로 다른 시작 및 종료 시간이 가능한데, 이러한 맥락에서 시청 기간들 내에서 또는 테스트 섹션들 내에서 어떠한 중단(interruption)도 발생하지 않는다는 것을 보장하는 것이 바람직할 수 있다. 이러한 방법으로 실제 품질 곡선을 추정하기 위하여 현대 스트리밍 방법들의 스위칭 과정을 검출하는 것이 가능하다.
도 10은 인코딩 품질 추정(94) 또는 품질 결정기(46) 내의 품질 결정의 가능한 구현의 플로우차트를 도시한다. 룩-업에 의해 데이터베이스(34) 내의 식별자들(50) 및/또는 미디어 콘텐츠 및/또는 비디오의 현재 시청 기간 또는 현재 테스트 세트를 위한 동일한 집계(58, 예를 들면 도 3)에 의해 획득된 파라미터 세트들(52)은 그리고 나서 평균화의 결과를 기초로 하여 단계 152에서 인코딩-품질 추정을 실행하기 위하여 단계 150에서, 초기화 평균화, 즉 시간에 대한 평균화의 대상이 된다. 더 구체적으로, 따라서, 실제로 전송된 데이터 스트림(18)으로부터 장치(32)에 의해 계산된, 식별 소자들 또는 식별자들에 의해, 데이터베이스(34)부터 관련 파라미터 세트들 및/또는 지시자들(52)이 결정되고 상응하는 평균화 모듈 내에서 평균화(150)의 대상이 된다. 평균화의 대상이 되는 파라미터 세트들의 수는 도 2와 함께 설명된 것과 같이, 시청 기간 내의 프레임들(26)의 수, 즉 인코딩 품질 추정이 실행되려는 시청 시간 및/또는 테스트 섹션과 상응한다.
평균화(150)는 시간에 대한 개별 지시자들 및/또는 파라미터들의 평균화를 포함한다. 예를 들면 서로 다른 지시자 범주들 및/또는 파라미터들 중 서러 다른 것들을 위하여, 서로 다른 평균화 과정들이 사용될 수 있다. 다음의 지시자 및/또는 파라미터 당 평균화가 가능하다:
● 유사성 분석의 지시자들:
소자들의 시간 경로에 대한 뒤따르는 L2 표준(norm)을 갖는 개별 값들의 논리적 매핑을 통하여 상기 지시자의 평균화 1이 영향을 받는다.
소자들의 시간 경로에 대한 뒤따르는 L4 표준을 갖는 개별 값들의 논리적 매핑을 통하여 상기 지시자의 평균화 2가 영향을 받는다.
● 엣지 분석의 지시자들:
시간 소자들에 대한 뒤따르는 L2 표준을 갖는 개별 값들의 선형 매핑을 통하여 상기 지시자의 평균화 1이 영향을 받는다.
시간 소자들에 대한 뒤따르는 L4 표준을 갖는 개별 값들의 선형 매핑을 통하여 상기 지시자의 평균화 2가 영향을 받는다.
● 블록 분석의 지시자들:
시간적으로 평균화된 지시자 값은 개별 값들의 최소 값이다.
● 색차 분석의 지시자들:
상기 지시자들의 평균화는 소자들의 L1 표준을 통하여 영향을 받는다.
● 외란의 시간 경과의 분석을 위한 지시자:
도입된 외란들에 대한 지시자들의 평균화는 L1 표준을 통하여 영향을 받는다.
제거된 섹션들에 대한 지시자들의 평균화는 L1 표준을 통하여 영향을 받는다.
측정되려는 섹션의 품질 추정(152)은 그 뒤에 시간적으로 평균화된 지시자들에 의해 실행된다. 이를 위하여, 개별의, 시간적으로 평균화된 지시자들은 논리 함수에 제공되고 그 뒤에 선형 평균화의대상이 된다. 논리 함수의 파라미터들은 여기서는 또한 프레임 크기에 의존한다.
전송된 신호들의 전체 품질은 코딩 품질 및 전송 품질을 병합함으로써 단계 96에서 결정된다. 여기서 각각의 시청 섹션을 위하여 하나의 인코딩 품질 값의 최대가 계산되는 것에 유의하여야 한다. 예를 들면 전송 불완전성에 기인하여 데이터 관련성이 가능하지 않았기 때문에, 손실되는 어떠한 시청 섹션들은 전송 외란을 고려하는 동안에 보간에 의해 계산될 수 있다. 전체 품질 추정의 측정으로서, 단일 수치(numerical value)가 결정될 수 있거나, 또는 히스토그램 형태로 품질 레벨들의 분포가 표시될 수 있다.
따라서 다시 한 번, 예로서 위의 실시 예들은 결국 대부분 비디오들과 관련되었다는 것에 유의하여야 한다. 그러나, 위의 실시 예들은 오디오 신호들로 쉽게 전달될 수 있다. 품질 결정의 조합, 즉 오디오 및 비디오 신호의 조합의 품질의 결정이 또한 실현 가능하다. 식별자 발생과 관련하여, 일 실시 예에 따라 전자는 디코딩되지 않은 도메인 내에서, 예를 들면 기본 스트림 레벨에서 발생할 필요는 없으며, 특히 반드시 해시 값 형성에 의할 필요는 없다. 오히려, 또한 식별자를 발생시키기 위하여 문제의 데이터 스트림 섹션의 디코딩된 버전의 부분들을 사용하는 것이 가능할 수 있다. 그러나, 바람직한 것은 식별자를 결정하기 위하여 각각의 데이터 스트림 섹션의 디코딩되지 않은 버전이 적어도 대부분, 예를 들면 그것들의 80% 이상을 위하여, 매핑, 예를 들면 또한 상기 섹션 내의 작은 변화들 또는 개별 비트 오류들과 관련하여 서로 다른 식별자를 야기하는 해시 매핑에 제공되는 위에 설명된 버전이고, 따라서 데이터베이스(10) 내의 데이터 스트림 섹션들(28)의 신뢰할만한 구별 가능성이 보장된다.
비록 위에서 설명되지 않았더라도, 장치(32), 룩-업 테이블(34), 및 테이블 발생(32)에 의해 실현되는 품질 결정 서비스는 지불 시스템의 대상으로 만들어질 수 있다는 것은 명백하다. 바꾸어 말하면, 품질 결정 개념은 물론 상업적으로 사용될 수 있다. 각각의 장치에 대하여, 각각의 품질 결정 과정에 대하여, 각각의 테이블 발생(32)에 대하여, 각각의 테이블(34)로의 액세스에 대하여, 제공 기간 및 테이블(34)의 크기 또는 다른 적절한 선택사항들에 대하여, 로열티(royalty) 수익이 발생될 수 있다.
도 7의 설명에서 명백한 것과 같이, 도 3과 관련하여 이미 설명된 소자들에 더하여 전송 아티팩트 검출기(186)가 제공될 수 있고, 상기 전송 아티팩트 검출기(186)는 미디어 데이터 스트림(18)의 불완전하게 수신된 부분을 검출하며, 품질 결정기(46)는 불완전하게 수신된 부분을 위하여, 온라인 방식으로 미디어 데이터 스트림(18)의 전송 아티팩트의 정량화(88)를 실행하고 단계(96)에서의 전체 품질의 결정에 있어서, 불완전하게 수신된 부분을 위하여 결정된 전송 아티팩트를 사용하도록 도록 구성될 수 있다.
데이터베이스의 오프라인 발생과 관련하여, 시청 기간들로의 분할과 관련하여 설명된 가능성이 또한 필요하지 않을 수 있다는 사실에 유의하여야 한다. 파라미터들의 발생이 또한 개별 미디어 섹션들(24')을 위한 그러한 어떤 분할 없이 실행될 수 있다.
이미 설명된 것과 같이, 테스트 섹션의 집계된 파라미터 세트들의 통계 분석은 서로 다른 통계 평가들이 집계된 파라미터 세트들 내에 포함된 파라미터들 중 서로 다른 것들을 위하여 실행되는 것과 실행될 수 있는데, 예를 들면 그러한 서로 다른 통계적 모멘트들 및 측정들은 파라미터들 중 서로 다른 것들을 위한 중심집중 경향 및/또는 분산을 위하여 결정되나, 이것들은 예로서 위에 언급된 것들에 한정되지 않는다.
위에 설명된 실시 예들의 장점들과 효과들을 더 현실적으로 나타내기 위하여, 4가지 계층 품질 모델이 사용되고 도 12를 참조하여 아래에 제시될 것인데, 상기 모델은 전송 동안에 아티팩트들에 기여할 수 있는 서로 다른 소스들을 반영한다.
콘텐츠 품질: 원래 콘텐츠는 매우 높은 비트레이들에서 단지 약하게 압축되거나 또는 인코딩되는, 훌륭한 스튜디오 품질로 제공될 수 있다. 용어 "콘텐츠 품질"은 따라서 원래 콘텐츠의 최고로 이용 가능한 품질을 언급한다. 이는 원래 화상, 또는 프레임, 크기(UHD, HD, 또는 SD), 프로그레시브 또는 비월(interlaced) 스캐닝에 의해 정의되고, 원래 프레임 비율(29.97, 25, 또는 24 프레임/초(fps))에 의해 정의된다. 상당한 저장/전송 자원들을 요구할 수 있는, 원시 비디오 콘텐츠는 저장될 수 있고 분포될 수 있기 전에 인코딩된다.
미디어 스트림 품질: IP에 대한 분포를 위하여, 비디오는 다양한 분포 포맷들과 일치하도록 하기 위하여 변환코딩될(즉, 더 효율적으로 재-코딩될) 필요가 있다. 본 발명의 발명자들은 이러한 계층을 "미디어 스트림 품질"로서 언급할 것이다. 이러한 단계에서 압축된 비디오의 품질은 원래 콘텐츠의 품질 및 코딩 품질에 의해 정의된다. 후자는 인코딩 파라미터들, 대부분 출력 비트레이트뿐만 아니라 몇몇 다른 설정들과 함께, 주로 인코더 형태, 대부분 H.264에 의해 결정된다. 그러한 설정들은 표적 프레임 비율, I, B, 및 P 프레임들의 비율, 또는 화상들뿐만 아니라 인코딩 효율에 영향을 미치는 다른 선택 가능성들, 즉, 엔트로피의 바람직한 형태: 콘텍스트 기반 적응적 가변 길이 인코딩(context-based adaptive variable length encoding, CAVLC) 또는 콘텍스트 기반 적응적 이진 산술 인코딩(context-based adaptive binary arithmetic encoding, CABAC)을 포함한다. 미디어 스트림 품질을 결정할 수 있는 또 다른 양상은 인코더가 고정 비트레이트(CBR) 또는 가변 비트레이트(VBR)을 생산하도록 설정되는가이다.
모든 적응적 스트리밍 솔루션은 공통으로 다양한 비트레이트들 및 따라서 품질로 콘텐츠가 제공되고, 클라이언트는 각각의 네트 또는 네트워크에 의해 허용되는 것과 같은 서로 다른 품질 레벨들 사이에서 다소 "평활하게(smoothly)" 스위칭할 것이라는 점을 갖는다. 실제로, 이는 각각 서로 다른 비트레이트들로 그리고 서로 다른 표적 스크린들을 위하여 인코딩되는, 예를 들면 11 스트림까지 내에서 동일한 콘텐츠가 사버 상에 위치하는 것을 의미할 수 있다. 비트레이트는 이용 가능한 비트레이트에 의존하여, 하나의 스트림으로부터 다른 스트림으로 스위칭할 때, 변화하려고 할 뿐만 아니라, 프레임 크기(해상도) 및 인코더 프로파일도 또한 변할 수 있다는 사실에 유의하여야 한다.
전송 품질: 실제 네트워크에서의 패킷 전송은 손실 손실이 없다. 대역폭 미스매치들, 패킷 드롭(packet drop)들, 잠복(latency), 및 다른 전송 장애들은 비디오 품질의 심각한 저하에 이르게 할 수 있고 따라서 가입자의 체감 품질을 감소시킨다. 그 결과, 전송 품질은 상기 전송 장애들에 의해 결정된다. 고정 및 모바일 네트워크들의 실시간 제약들에 대처하기 위하여, 특히 현재 이용 가능한 비트레이트에 적응시키기 위하여 다양한 스트리밍 설정들 및 프로토콜들이 고안되었다.
프로그레시브 다운로드(progressive download)를 위하여 프레임 크기 및 비트레이트는 일단 선택되면, 비디오 표현 동안에 변화하지 않고 비디오(및/또는 오디오)가 각각 2- 내지 4초 청크를 위하여 다수의 비트레이트로 인코딩될 때 동적 소자는 적응적 스트리밍 프로토콜들을 위하여 활용될 것이다. 클라이언트/플레이어는 이제 그것의 필요성에 최상으로 적합한 그러한 청크들(그러한 순간에 다룰 수 있는 최상의 비트레이트들과 해상도들)을 선택할 수 있다. 웹 서버들은 일반적으로 데이터를 네트워크 대역폭이 허용하는 한 빨리 데이터를 전달한다. 클라이언트는 사용자 대역폭을 쉽게 추정할 수 있고 시간 전에 크거나 또는 작은 청크들을 다운로드할지를 결정할 수 있다.
표현 품질: 지각된 표현 품질을 위한 주요 인자는 클라이언트 장치 자체, 평면 스크린 TV, 태블릿, 또는 스마트폰일 것이다. 완전히 서로 다른 사용자 기대를 포함할 수 있는, 스크린 크기 및 시청 환경에 더하여, 플레이어는 표현 품질에 대하여 주목할만한 영향을 미치는데, 예를 들면, 플레이-아웃의 크기 및 다운로드 버퍼들과 같은 파라미터들이 완전히 주문 맞춤형이다.
위의 양상들에 더하여, 표현 품질은 클라이언트 측에서의 다수의 양상에 의존하는데, 즉 다음에 의존한다:
- 중앙 처리 장치(CPU) 파워, 메모리 및 최종 사용자 장치의 연결성 제약들
- 스트리밍 프로토콜들의 작동 시스템 및 그것의 고유 지원
- 작동 시스템, 인터넷 브라우저, 제삼자 플러그-인(예를 들면, 어도브 플래시(Adobe Flash), 마이크로소프트 실버라이트), 또는 OTT 서비스 제공자에 의해 제공되는 애플리케이션의 특징들의 세트인, 재-버퍼링, 오류 은닉 기술들 등을 포함하는 플레이어 소프트웨어, 및
- 마지막으로, 시청 환경과 함께, (원래) 디스플레이, 혹은 연결된 모니터 또는 TV, 그것의 인터페이싱(interfacing)(WLAN, RGB 또는 HDMI)의 크기, 해상도 및 재생률(refresh rate).
고안된 4가지 계층 OTT 품질 모델이 도 12에 도시된다. 방금 제시된 4가지 계층 접근법은 가입자들과 경쟁하는 체감 품질에서, OTT 스트리밍 서비스들의 경우에, 관련된 그러한 당사자들에 매우 적합하고; 실제로, 도 12의 4가지 계층 모델은 상기 관련 당사자들과의 1:1 상응성을 포함한다:
- 콘텐츠 품질은 콘텐츠 소유주의 책임이다. 콘텐츠 소유주의 예들은 소니 픽쳐스, 파라마운트, 유니버설 워너 브러더스 등(등록된 브랜드)이다. 그들은 새로운 주문형 비디오(video on demand, VoD, 이하 VoD로 표기) 채널들을 통하여 그들의 영화 및 TV 시리즈 제품들의 마케팅에 의해 그들의 수익 스트림들의 확장을 원하고.
- 미디어 스트림 품질은 OTT 제공자들의 책임인데,. OTT 제공자들의 예들은 넷플릭스(Netflix), 훌루(Hulu), 아마존(Amazon)/러브필름(Lovefilm) 등(등록된 브랜드)이다. 그들은 온라인 비디오 오프스프링들을 위하여 서로 협력하나, 또한 자체로 OTT 서비스들을 설정하는 콘텐츠 소유주들과 협력하며.
- 전송 품질은 분명하게 네트워크 제공자의 책임하에 있다. 네트워크 제공자들의 예들은 BBC, 도이치 텔레콤(Deutsche Telekom), 타임 워너 케이블(Time Warner Cable)이다. 이들은 전송 인프라구조를 제공하나, 또한 그들 고유의 VoD 오프스트링들(BBC 플레이어, 텔레콤 엔터테인(Telekon Entertain))을 수립하며,
- 표현 품질은 장치, 또는 핸드셋(handset), 재조사의 책임이다. 그러한 연결된 것과 같은 최종 사용자 장치들, 스마트 TV들, 셋-톱 박스들("STB", 연결된 블루-레이 플레이어들 및 게임 콘솔들을 포함하는), PC들, 태블릿들 및 스마트폰들의 제조사, 및 작동 및 표현 소프트웨어의 판매자들(마이크로소프트, 어도브, 애플)은 시청자(=가입자)에 사용자 인터페이스를 지원한다.
4가지 계층 품질 모델을 기초로 하여, 본 발명의 발명자들은 적응적 스트리밍에 적합한 정확한 지각 측정을 위한 요구조건들이 다음과 같은 것으로 요약할 수 있다:
콘텐츠 품질의 평가: 콘텐츠 품질을 표현하기 위하여 접근 가능성에 의존하여, 원래 콘텐츠의 아주 훌륭한 스튜디오 품질 또는 분포를 위한 (약하게 인코딩되는) 버전이 고려된다. 이러한 "기준" 품질은 인코딩 및 이후의 변환코딩에 의해 축적되는 압축 아티팩트들의 양을 평가하기 위한 어떠한 FR 측정을 위한 기본을 형성할 것이다. 그 결과, 적응적-스트리밍 품질 매트릭스들은 이러한 기준 신호를 수용할 수 있어야만 한다.
미디어 스트림 품질의 평가: 적응적 비디오 스트리밍을 위하여, 하나의 스트림으로부터 다른 스트림으로 스위칭할 때 비트레이트가 변화할 뿐만 아니라, 이용 가능한 비트레이트에 의존하여, 프레임 크기(해상도) 및 인코더 프로파일이 또한 변화할 것이다. 그 결과, 적응적 스트리밍을 위한 지각적 비디오 품질 측정은 해상도들 및 프레임 크기들의 스케일러빌리티(scalability)에 적합하여야만 한다.
전송 품질의 평가: 적응적 스트리밍에 적합한 지각적 품질 측정은 유선 및 무선 IP 네트워크들의 모든 종류의 전송 아티팩트에 민감할 필요가 없을 뿐만 아니라, 장기간 스케일 콘텍스트 내의 서로 다른 비트레이트들의 청크들의 적응적 스위칭으로부터 야기하는 아티팩트들을 평가하기에 적합하여야만 한다. 이는 또한 마이크로-스케일(청크 길이)부터 매크로-스케일(실제 콘텐츠 길이)까지 범위의, 시간 도메인 내의 스케일러빌리티를 필요로 한다.
표현 품질의 평가: 지각된 표현 품질을 위한 주요 인자는 클라이언트 장치 자체, 평면 스크린 TV, 테블릿, 또는 스마트폰일 것이다. 완전히 서로 다른 사용자 기대를 포함할 수 있는, 스크린 크기 및 시청 환경에 더하여, 적응적 스트리밍에 적합한 지각적 품질 측정은 플레이어 소프트웨어에 의해 도입되는 모든 종류의 아티팩트에 민감하여야만 한다.
요약하면, 적응적 비디오 스트리밍을 위한 정확한 지각적 비디오 품질 측정은 서로 다른 비트레이트들을 연속적으로 추적할 수 있어야만 할 뿐만 아니라 얼마나 자주 플레이가 스트림들을 스위칭할 것인지 그리고 플레이어가 얼마나 "평활하게" 밀집된 네트워크 내의 서버와 상호작용할 수 있는지를 평가해야만 한다. 게다가, 서로 다른 프레임 크기들과 프레임 비율들에 대한 화상 품질을 측정하고 비교할 수 있어야만 한다. 최종적으로, 지각된 체감 품질의 정확한 예측을 위하여 장치 특성들 및 시청 환경이 고려되어야만 한다.
위에 제시된 실시 예들은 상기 요구조건들을 충족시킬 수 있거나 또는 적어도 상기 요구조건 모두를 충족시키기 위한 근거를 형성한다.
위에 제시된 실시 예들 뒤의 첫 번째 개념은 여전히 현재 표준들의 표준화된 사용 경우와 합리적으로 들어맞는, 적응적 비디오 스트리밍에서 일반적으로 청크(시퀀스)길이인 것으로 고려되는, 2- 내지 4-초 비디오들의 분석이다. 위에 제시된 실시 예들은 상대적으로 긴 시퀀스들에 대한 연결 측정들의 결합 가능성을 제공한다.
위에 제시된 실시 예들 뒤의 두 번째 개념은 언급된 4가지의 품질 계층(콘텐츠, 미디어, 전송 및 표현 품질)이 동적 및 준-일정 품질 양상들로 그룹핑될 수 있다는 것이다.
일반적인 온-디맨드 OTT 애플리케이션을 위한 스트리밍 서버(예를 들면, 도1의 10 및 12) 상에 존재하는 미디어 스트림의 코딩 품질이 "준-고정인" 것으로서 고려될 수 있다. 일단 서로 다른 품질 레벨들로 인코딩되고 포맷되면 서버 상의 파일들의 코딩 품질은 동일하게 남아있는다.
다른 한편으로, 전송 및 표현 품질은 특정 네트워크를 통한 특정 콘텐츠의 각각의 요구에 대하여 동적으로 변화한다.
이러한 두 가지 양상의 배경에 대항하여, 위의 실시 예들은 심지어 모바일 장치들 상에서도, 예를 들면 FR 고도의 정확도 비디오 품질 측정을 실시간 측정과 결합하는 것을 가능하게 하는 방법으로 준-일정 밑 동적 양상들을 포함할 수 있다. 그 결과, 두 가지 주요 블록: 미디어 스트림 품질 분석(예를 들면, 64 및 66) 및 클라이언트 프로브(예를 들면, 도 3)로 구성되는 하이브리드 설정이 사용된다.
스트리밍 서버(예를 들면, 도 1의 10 및 12) 상에서 존재하는 것과 같이 특정 인코딩된 콘텐츠의 미디어 스트림 품질을 결정하는 것이 미디어 스트림 품질 분석의 작업이다. 적응적 스트리밍의 경우를 위하여, 이는 그러한 콘텐츠의 각각의 품질 레벨에 대한 미디어 스트림 품질의 평가를 의미한다(예를 들면, 도 2 및 5).
이러한 분석은 두 가지 단계: 콘텐츠의 획득 및 실제 품질 측정으로 실행된다.
획득 동안에, 인코딩된 모든 품질 레벨(예를 들면, 도 2의 Q1, 내지 Q4)의 모든 청크는 위에 언급된 미디어 데이터 스트림 섹션들(24)에 따라, 스트리밍 서버로부터 검색된다. 적응적 스트리밍이 TCP에 대하여 구동하기 때문에, 획득 동안에 부가적으로 왜곡(distortion)들을 도입할 수 있는 패킷 손실의 어떠한 위험도 존재하지 않는다. 그러나, 콘텐츠의 모든 품질 레벨이 서버 상의 손실 청크에 의하거나 또는 부정확한 매니페스트 파일(manifest file)에 의해 야기될 수 있는 것과 같은 어떠한 갭 없이 완전히 획득되는 것을 보장하는 것에 유의하여야 한다.
실제 미디어 데이터 품질 분석은 예를 들면, 그리고 위에 설명된 것과 같이, 표준화된 FR 비디오 품질 모델(PEVQ) 상에서 실행되는데. 이는 또한 짧은 길이의 비디오 청크들의 적절한 분석을 보장하도록 진행되었다. 기준 비디오, 일반적으로 고해상도의 원래 콘텐츠는 PEVG 내의 입력으로서 제공될 필요가 있고, 저하된(degraded) 비디오는 기준 디코더로 획득된 품질 레벨의 디코딩에 의해 발생된다. 분석(예를 들면, 도 5)은 각각의 품질 레벨의 각각의 프레임에 대한 품질 값들의 세트를 산출한다. 특정한 짧은 비디오 기간, 예를 들면 10초에 대한 이러한 품질 값들을 집계함으로써(예를 들면, 도 4), 상응하는 비디오에 대하여 예를 들면 J.247을 따르는 평균 평가점(Mean Opinion Score, MOS)을 계산하는 것이 가능하다.
미디어 스트림 품질 데이터베이스(예를 들면, 10)는 각각의 콘텐츠의 메타 정보의 몇몇 아이템과 함께 품질 값들을 저장한다. 데이터베이스 내의 정보는 그리고 나서 동적 품질 양상들의 측정 동안에 클라이언트 프로브(client probe, 즉 도 1의 32)에 의해 사용된다.
디코딩된 비디오 신호들로부터 미디어 데이터 품질 측정의 주요 장점은 분석이 근본적인 코딩 기술에 상관없이 사용되는 점을 포함한다. 이는 서로 다른 코딩 시스템을 가로질러 정확하고 일관된 측정 결과들을 보장한다. 또 다른 주목할만한 장점은 미디어 스트림 품질이 준-일정하도록 고려되기 때문에, 데이터베이스는 각각의 콘텐츠를 위하여 단지 한 번만 발생될 필요가 있다는 점이다. 이는 비디오 디코딩의 계산적 요구 및 가능하게는 FR 품질 분석이 매 검사마다 반복될 필요가 없고, 클라이언트 장치 상에서 구동할 필요도 없으나, 전용 오프-라인 미디어 스트림 품질 분석 장치에 할당될 수 있다는 것을 의미한다.
클라이언트 프로브의 작업은 최종 체감 품질 점수를 계산하기 위하여 동적 비디오 스트리밍 품질(즉, 전송 및 표현 품질)을 분석하고 이를 정적 품질 양상들(콘텐츠 및 미디어 스트림 품질)에 대한 정보와 결합하는 것이다.
그러한 목적을 위하여, 프로브는 들어오는 HTTP 트래픽을 포획하고, 비트-스트림 분석이 뒤따른다.
이러한 비트-스트림 분석 동안에, 예를 들면 지터 및 패킷이 재전송되는 것과 같은, 네트워크 패킷 특성들이 고려될 수 있다. 스트리밍된 비디오 콘텐츠의 각각의 프레임을 위하여, 클라이언트에서의 도착 시간이 계산될 수 있다.
이러한 정보는 그리고 나서 클라이언트 장치 상의 소프트웨어 플레이어의 플레이-아웃 행동을 모델링하는 스트리밍 플레이어 모델 내로 제공된다. 결론적으로, 플레이어-모델 출력은 현재 네트워크 조건들 하에서 비디오의 실제 플레이어-아웃 행동을 표현한다. 이는 초기 버퍼링(제 1 플레이-아웃까지의 시간) 및 재버퍼링/스톨링(stalling)과 같은 효과들을 포함한다.
클라이언트 장치 상의 소프트웨어 플레이어가 네트워크 혼잡 및 따라서 버퍼 러닝 엠프티(buffer running empty)의 함수로서 각각의 청크에 대한 비트레이트를 서버와 협상하는 것을 담당하는 것은 매우 일반적이다. 결론적으로, 미디어 스트림 품질에 대한 품질 값들은 이제 플레이어로부터 요구된 것과 같이, 각각의 청크 및 각각의 비트레이트를 위하여 데이터베이스 내에서 정확하게 식별될 수 있다. 스트리밍된 비디오의 실제 품질은 그때 수신된 비디오 시퀀스에 대한 저장된 품질 값들의 집계 및 후처리에 의해 계산된다.
위에 제시된 하이브리드 접근법은 또한 FR 측정의 계산 부담 없이 클라이언트에서 실제 수신된 비디오의 정확한 코딩 품질을 처리하는 장점을 갖고, 후자는 오프-라인 처리된 미디어 스트림 분석 동안에 쉽게 실행될 수 있다.
프로브는 예를 들면, 데이터베이스로의 HTTP 액세스를 갖는 PC 기반 테스터 상에서 구동할 수 있거나, 또는 모바일 및 휴대용 애플리케이션들 위하여, 프로브는 심지어 스트리밍 클라이언트 상의 소프트웨어 내에 내장될 수 있고, 소프트웨어는 스트리밍 플레이어와 병렬로 구동한다. 각각의 이용 경우, 예를 들면 이른바 모바일 네트워크들의 드라이브 및/또는 워크(walk) 검사(즉, 차량들 또는 도보에서의 모바일 장치들로의 측정)에 의존하여, 잘 정의되고 이에 따라 고도로 제한된 비디오 검사 시퀀스들의 세트가 일반적으로 사용될 것이다. 게다가, 데이터베이스 액세스 동안에 부가적인 네트워크 트래픽에 의해 측정에 대한 어떠한 영향도 배제하기 위하여 데이터베이스 이외에 오프-라인을 클라이언트 장치 상에 저장하는 것이 바람직하다.
따라서, 위에 설명된 실시 예들의 개념은 다수의 적용과 활용을 가능하게 한다. 최적 가능성은 포함된 모든 당사자, 즉 콘텐츠 소유주들, 네트워크 및 CDN 운영자들, OTT 서비스 제공자들, 및 장치 제조사들을 위한 유용한 지침을 제공한다.
하이브리드 구성은 클라이언트 측에서 낮은 복잡도의 비트-스트림 분석의 장점을 매우 정확하나, 복잡한 진정한 픽셀 기반 화상 품질 분석의 FR 측정과 결합시키는데 탁월하게 적합하다.
비록 장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것은 자명하다. 이와 유사하게, 방법 단계와 함께 또는 방법 단계로서 설명된 양상들은 또한 상응하는 블록 또는 상세내용의 설명 혹은 상응하는 장치의 특징을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 하드웨어 장치를 사용하여) 실행될 수 있다. 일부 실시 예들에서, 일부 또는 몇몇 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 예를 들면, 각각의 방법이 실행될 수 있는 프로그램가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 디지털 저장 매체, 예를 들면, 플로피 디스크, DVD, 블루-레이 디스크, CD, ROM, PROM, EPROM, EEPROM 혹은 플래시 메모, 하드 디스크 또는 다른 어떠한 자기 또는 광학 메모리를 사용하는 동안에 영향을 받을 수 있다. 이것이 바로 디지털 저장 매체는 컴퓨터로 판독될 수 있는 이유이다.
본 발명에 따른 일부 실시 예들은 따라서 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이 프로그램가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호들을 포함하는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다.
프로그램 코드는 또한 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 기계 판독가능 캐리어 상에 저장된다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법들의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체)이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 통하여 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 컴퓨터를 수신기로 전달하도록 구성되는 장치 또는 시스템을 포함한다. 전송은 예를 들면, 전자적 또는 광학적일 수 있다. 수신기는 예를 들면, 컴퓨터 모바일 장치, 메모리 장치 또는 이와 유사한 장치일 수 있다. 장치 또는 시스템은 예를 들면 컴퓨터 프로그램을 수신기로 전달하기 위한 파일 서버를 포함할 수 있다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이, FPGA)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 일부 실시 예들에서, 어떠한 하드웨어 장치에 의해 실행된다. 상기 장치는컴퓨터 프로세서(CPU)와 같은 일반적으로 적용 가능한 하드웨어일 수 있거나, 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은, 방법에 특이적인 하드웨어일 수 있다.
위에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 어떠한 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
10 : 미디어 데이터베이스
12 : 서버
14 : 클라이언트
16 : 네트워크
18 : 미디어 데이터 스트림
20 : 미디어 콘텐츠
22 : 데이터 스트림 섹션
24, 24' : 미디어 섹션
26 : 화상
32 : 장치
34 : 룩-업 테이블
38 : 서버
40 : 식별자 발생기
42 : 룩-업 유닛
44 : 집계자
46 : 품질 결정기
48 : 미디어 데이터 스트림의 품질
50 : 식별자
52 : 파라미터 세트
54 : 질문
60 : 식별자
62 : 파라미터 세트
64 : 질문 응답기
70 : 디코더
72 : 분할기
74 : 평가기
76 : 식별자 결정기
80 : 입력
82 : 출력
94 : 인코딩 품질 추정
120 : 기준 비디오
126 : 화상

Claims (13)

  1. 미디어 콘텐츠를 가로질러 변경되는 비트레이트에 대한 품질 레벨로 상기 미디어 콘텐츠(20)의 서로 다른 미디어 섹션들(26)을 전송하는 데이터 스트림 섹션들(22)의 시퀀스를 포함하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치에 있어서,
    각각의 데이터 스트림 섹션(22)으로부터, 상기 각각의 섹션(22)에 대한 식별자(50)를 유도하도록 구성되는 식별자 발생기(40);
    각각의 데이터 스트림 섹션에 대하여, 상기 각각의 데이터 스트림 섹션(22)을 위하여 유도된 상기 식별자(50)에 의해 룩-업 테이블(34)로부터의 파라미터 세트(52)를 룩-업하도록 구성되는 룩-업 유닛(42);
    상기 미디어 콘텐츠(20)의 검사 섹션 내에 위치하는 미디어 섹션들(24')을 전송하는 데이터 스트림 섹션들(22)을 위하여 룩-업되는 상기 파라미터 세트들(52)을 집계하도록 구서오디는 집계자(44); 및
    상기 집계된 파라미터 세트들을 기초로 하여 상기 품질을 결정하도록 구성되는 품질 결정기(46);를 포함하는 것을 특징으로 하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치.
  2. 제 1항에 있어서, 상기 식별자 발생기(40)는 상기 각각의 데이터 스트림 섹션(22)의 디코딩되지 않은 버전을 기초로 하여 상기 식별자의 유도를 실행하도록 구성되는 것을 특징으로 하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치.
  3. 제 1항 또는 2항에 있어서, 상기 데이터 스트림 섹션들(22)의 시퀀스는, 상기 미디어 데이터 스트림의 다른 섹션들로부터 개별적으로 재생 가능하도록 하기 위하여, 상기 비트레이트에 대한 품질 레벨들의 변이가 자가 포함되는 상기 미디어 데이터 스트림(18)의 섹션들의 유닛들 내에서 발생하는 것과 같은 방법으로 상기 미디어 콘텐츠의 상기 서로 다른 미디어 섹션들(24')을 전송하고, 상기 각각의 섹션(24)은 하나 이상의 미디어 섹션(24')을 포함하는 것을 특징으로 하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치.
  4. 제 3항에 있어서, 상기 섹션들(24)은 화상들의 그룹들 또는 개별 파일들인 것을 특징으로 하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치.
  5. 제 1항 내지 4항 중 어느 한 항에 있어서, 상기 데이터 스트림 섹션들은 각각의 경우에서의 미디어 섹션(24')으로서, 미디어 콘텐츠(20)로서 비디오의 화상(26)을 전송하는 것을 특징으로 하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치.
  6. 제 1항 내지 5항 중 어느 한 항에 있어서, 상기 미디어 데이터 스트림(18)의 불완전하게 수신된 부분을 검출하도록 구성되는 전송 아티팩트 검출기(186)를 더 포함하고, 상기 품질 결정기(46)는 상기 불완전하게 수신된 부분에 대한 상기 미디어 데이터 스트림의 전송 아티팩트의 온라인 정량화(88)를 실행하고 상기 품질(96)의 결정을 위하여 상기 불완전하게 수신된 부분에 대한 상기 전송 아티팩트를 사용하도록 구성되는 것을 특징으로 하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치.
  7. 제 1항 내지 6항 중 어느 한 항에 있어서, 각각의 파라미터 세트는:
    상기 각각의 데이터 스트림 섹션에 의해 전송되는 미디어 섹션의 재구성된 버전 및 기준 미디어 콘텐츠의 상응하는 섹션 사이의 유사성의 상관관계 기반 측정;
    상기 각각의 미디어 섹션 내에 위치되는 엣지들의 및 상기 상응하는 기준 섹션 내에 위치되는 엣지들의 차이들의 측정;
    상기 각각의 미디어 섹션 및 상기 상응하는 기준 미디어 섹션 내의 색상 평면들의 차이의 측정; 및
    상기 각각의 섹션 내에 위치되는 엣지들의 시간 변화들 및 상기 상응하는 미디어 섹션 내에 위치되는 엣지들의 시간 변화들의 차이들의 측정; 중
    하나 이상을 포함하는 것을 특징으로 하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치.
  8. 제 1항 내지 7항 중 어느 한 항에 있어서, 상기 품질 결정기는 상기 집계된 품질 파라미터 세트들의 확률적 분석으로부터 상기 품질을 결정하도록 구성되는 것을 특징으로 하는 미디어 데이터 스트림(18)의 품질을 결정하기 위한 장치.
  9. 룩-업 테이블 내에서, 복수의 비트레이트에 대한 품질 레벨 각각을 위한, 미디어 콘텐츠의 각각의 미디어 섹션에 대하여,
    상기 각각의 비트레이트에 대한 품질 레벨에서 상기 각각의 미디어 섹션이 인코딩되는 데이터 스트림 섹션의 코딩 품질을 기술하는 파라미터 세트; 및
    상기 파라미터 세트와 관련되고 모든 상기 데이터 스트림 섹션에 대하여 동일한 유도 사양에 의해, 상기 각각의 비트레이트에 대한 품질 레벨에서 상기 각각의 미디어 섹션이 인코딩되는 상기 데이터 스트림 섹션으로부터 유도될 수 있는 식별자;를 저장하도록 구성되고,
    상기 식별자와 관련된 상기 품질 파라미터를 반환함으로써 식별자를 포함하는 요구에 응답하도록 구성되는 것을 특징으로 하는 서버.
  10. 룩-업 테이블을 발생시키기 위한 장치에 있어서, 상기 장치는 복수의 비트레이트에 대한 품질 레벨 각각을 위한, 미디어 콘텐츠의 각각의 미디어 섹션에 대하여,
    상기 각각의 비트레이트에 대한 품질 레벨에서 상기 각각의 미디어 섹션이 인코딩되는 데이터 스트림 섹션의 코딩 품질을 기술하는 파라미터 세트; 및
    상기 파라미터 세트와 관련되고 모든 상기 데이터 스트림 섹션에 대하여 동일한 유도 사양에 의해, 상기 각각의 비트레이트에 대한 품질 레벨에서 상기 각각의 미디어 섹션이 인코딩되는 상기 데이터 스트림 섹션으로부터 유도될 수 있는 식별자;를 발생시키도록 구성되고,
    상기 식별자와 관련된 상기 품질 파라미터를 반환함으로써 식별자를 포함하는 요구에 응답하도록 구성되는 것을 특징으로 하는 룩-업 테이블을 발생시키기 위한 장치.
  11. 미디어 콘텐츠를 가로질러 변경되는 비트레이트에 대한 품질 레벨로 상기 미디어 콘텐츠의 서로 다른 미디어 섹션들을 전송하는 데이터 스트림 섹션들의 시퀀스를 포함하는 미디어 데이터 스트림의 품질을 결정하는 방법에 있어서,
    각각의 데이터 스트림 섹션으로부터, 상기 각각의 섹션에 대한 식별자를 유도하는 단계;
    각각의 데이터 스트림 섹션에 대하여, 상기 각각의 데이터 스트림 섹션을 위하여 유도된 상기 식별자에 의해 룩-업 테이블로부터의 파라미터 세트를 룩-업하는 단계;
    상기 미디어 콘텐츠의 검사 섹션 내에 위치하는 미디어 섹션들을 전송하는 데이터 스트림 섹션들을 위하여 룩-업되는 상기 파라미터 세트들을 집계하는 단계; 및
    상기 집계된 파라미터 세트들을 기초로 하여 상기 품질을 결정하는 단계;를 포함하는 것을 특징으로 하는 미디어 데이터 스트림의 품질을 결정하는 방법.
  12. 비트레이트에 대한 품질 레벨들 각각을 위한, 각각의 미디어 섹션에 대하여,
    상기 각각의 비트레이트에 대한 품질 레벨에서 상기 각각의 미디어 섹션이 인코딩되는 데이터 스트림 섹션의 코딩 품질을 기술하는 파라미터 세트를 발생시키는 단계;
    상기 파라미터 세트와 관련되고 모든 상기 데이터 스트림 섹션에 대하여 동일한 유도 사양에 의해, 상기 각각의 비트레이트에 대한 품질 레벨에서 상기 각각의 미디어 섹션이 인코딩되는 상기 데이터 스트림 섹션으로부터 유도될 수 있는 식별자를 발생시키는 단계;를 포함하는 것을 특징으로 하는 룩-업 테이블을 발생시키는 방법.
  13. 프로그램이 컴퓨터 상에서 구동할 때, 제 11항 또는 12항에서 청구된 것과 같은 방법을 실행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램
KR1020167001235A 2013-06-19 2014-06-18 다양한 비트레이트에 대한 품질을 갖는 미디어 데이터 스트림의 품질 결정에 대한 개념 KR101789086B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013211571.7A DE102013211571B4 (de) 2013-06-19 2013-06-19 Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
DE102013211571.7 2013-06-19
PCT/EP2014/062853 WO2014202682A1 (de) 2013-06-19 2014-06-18 Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate

Publications (2)

Publication Number Publication Date
KR20160025558A true KR20160025558A (ko) 2016-03-08
KR101789086B1 KR101789086B1 (ko) 2017-11-20

Family

ID=51022840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167001235A KR101789086B1 (ko) 2013-06-19 2014-06-18 다양한 비트레이트에 대한 품질을 갖는 미디어 데이터 스트림의 품질 결정에 대한 개념

Country Status (10)

Country Link
US (1) US10687122B2 (ko)
EP (1) EP3011752B1 (ko)
JP (1) JP6190525B2 (ko)
KR (1) KR101789086B1 (ko)
CN (1) CN105474650B (ko)
AU (1) AU2014283266B2 (ko)
CA (1) CA2915446C (ko)
DE (1) DE102013211571B4 (ko)
ES (1) ES2653462T3 (ko)
WO (1) WO2014202682A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180128824A (ko) * 2016-03-31 2018-12-04 로비 가이드스, 인크. 미디어 자산을 효율적으로 다운로드하는 방법 및 시스템

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014109088A1 (de) * 2014-06-27 2015-12-31 Deutsche Telekom Ag Verfahren zum kontinuierlichen Überwachen einer Synchronität zwischen verschiedenen beim HTTP adaptiven Streaming verwendeten Qualitätsprofilen
FR3030989A1 (fr) * 2014-12-18 2016-06-24 Orange Systeme pour evaluer la qualite de communication dans un reseau sans-fil
EP3254470B8 (en) * 2015-02-07 2022-06-08 SSIMWAVE Inc. Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations
ES2768979T3 (es) * 2015-02-27 2020-06-24 Divx Llc Sistema y método para la duplicación de fotogramas y la ampliación de fotogramas en codificación y envío por flujo continuo de vídeo en directo
US9614756B2 (en) * 2015-03-25 2017-04-04 Ca, Inc. VOIP route selection using call metrics
US10334316B2 (en) * 2015-09-18 2019-06-25 At&T Intellectual Property I, L.P. Determining a quality of experience metric based on uniform resource locator data
US11153359B2 (en) * 2015-09-29 2021-10-19 Sony Group Corporation User equipment and media streaming network assistance node
JP6610187B2 (ja) * 2015-11-16 2019-11-27 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
US9894366B2 (en) * 2016-01-28 2018-02-13 Arris Enterprises Llc Variant and buffer handling for adaptive bitrate streaming
JP2017157904A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
EP3829182A1 (en) 2016-03-06 2021-06-02 SSIMWAVE Inc. Method and system for automatic user quality-of-experience measurement of streaming video
WO2017152932A1 (en) * 2016-03-07 2017-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and scoring node for estimating a user's quality of experience for a delivered service
DE102016214939A1 (de) 2016-08-11 2018-02-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ansteuerung einer sicherheitsrelevanten Funktion eines Fahrzeugs
KR102433822B1 (ko) * 2016-10-12 2022-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간적으로 불균등한 스트리밍
US10348796B2 (en) 2016-12-09 2019-07-09 At&T Intellectual Property I, L.P. Adaptive video streaming over preference-aware multipath
US10798387B2 (en) 2016-12-12 2020-10-06 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
US10509788B2 (en) * 2016-12-30 2019-12-17 Dev Gupta Systems and methods for lossy data compression using key artifacts and dynamically generated cycles
US10362080B2 (en) 2017-04-25 2019-07-23 At&T Intellectual Property I, L.P. Methods, systems, and devices for video streaming adaptation using control theoretic approach
US10945141B2 (en) * 2017-07-25 2021-03-09 Qualcomm Incorporated Systems and methods for improving content presentation
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
KR102424356B1 (ko) 2017-11-06 2022-07-22 삼성전자주식회사 어플리케이션의 QoS 제어 방법, 장치 및 시스템
US10841623B1 (en) * 2018-07-26 2020-11-17 CSC Holdings, LLC System and method for real-time distributed MPEG transport stream analysis
US10728180B2 (en) 2018-08-21 2020-07-28 At&T Intellectual Property I, L.P. Apparatus, storage medium and method for adaptive bitrate streaming adaptation of variable bitrate encodings
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US10735742B2 (en) 2018-11-28 2020-08-04 At&T Intellectual Property I, L.P. Adaptive bitrate video testing
CN109905156B (zh) * 2019-01-23 2021-04-02 武汉科技大学 基于图像结构相似性的迫零预编码器设计方法
CN113557741B (zh) * 2019-03-08 2023-12-08 Vid拓展公司 用于点云的自适应流式传输的方法和装置
WO2020190945A1 (en) * 2019-03-18 2020-09-24 Google Llc Frame overlay for encoding artifacts
US11410680B2 (en) 2019-06-13 2022-08-09 The Nielsen Company (Us), Llc Source classification using HDMI audio metadata
EP4002358A4 (en) * 2019-07-19 2023-03-22 Intellectual Discovery Co., Ltd. ADAPTIVE AUDIO PROCESSING METHOD, DEVICE, COMPUTER PROGRAM AND ASSOCIATED RECORDING MEDIA IN A WIRELESS COMMUNICATION SYSTEM
US11297365B2 (en) * 2019-12-13 2022-04-05 At&T Intellectual Property I, L.P. Adaptive bitrate video testing from screen recording
US12088782B2 (en) * 2020-02-25 2024-09-10 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, video quality estimation method and program
CN113839906B (zh) * 2020-06-08 2022-12-30 华为技术有限公司 音视频流质量的确定方法、装置、设备及可读存储介质
US12088821B1 (en) * 2020-06-30 2024-09-10 Amazon Technologies, Inc. Dynamic encoder-time scaling service for live and on-demand adaptive streaming
WO2023014848A1 (en) * 2021-08-06 2023-02-09 Triveni Digital Inc. Apparatus and method for controlling delivery of broadcast content
US11785262B1 (en) 2022-03-16 2023-10-10 International Business Machines Corporation Dynamic compression of audio-visual data
CN115002086B (zh) * 2022-05-23 2024-04-02 阿里巴巴（中国）有限公司 实时流媒体的传输方法及电子设备
US11689601B1 (en) 2022-06-17 2023-06-27 International Business Machines Corporation Stream quality enhancement
US20240251138A1 (en) * 2023-01-23 2024-07-25 T-Mobile Usa, Inc. Reference video quality measurement feedback
CN118158471B (zh) * 2024-03-20 2024-09-24 广东九安智能科技股份有限公司 一种用于实时视频监控的无线局域网传输方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020093B2 (en) * 2001-05-30 2006-03-28 Intel Corporation Delivery of streaming media
CN100591145C (zh) * 2003-08-22 2010-02-17 日本电信电话株式会社 影像质量评价装置和影像质量评价方法
CA2646805C (en) * 2003-08-22 2012-04-24 Nippon Telegraph And Telephone Corporation Video quality assessing apparatus, video quality assessing method, video quality assessing program, video aligning apparatus, video aligning method, and video aligning program
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US20070271590A1 (en) * 2006-05-10 2007-11-22 Clarestow Corporation Method and system for detecting of errors within streaming audio/video data
JP4798495B2 (ja) * 2006-05-30 2011-10-19 日本電気株式会社 映像配信品質測定システム、装置および方法
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
CA2666376C (en) * 2006-10-19 2015-06-02 Telefonaktiebolaget L M Ericsson (Publ) A method of determining video quality
EP2220617B1 (en) * 2007-11-02 2018-10-24 Ecole de Technologie Supérieure Method and system for generating a quality prediction table for quality-aware transcoding of digital images
JP5176175B2 (ja) * 2007-11-02 2013-04-03 エコール・ドゥ・テクノロジー・スュペリュール 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム
KR20090063406A (ko) 2007-12-14 2009-06-18 삼성전자주식회사 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법
US8621544B2 (en) * 2008-08-13 2013-12-31 At&T Intellectual Property I, L.P. Mitigatation of video artifacts
EP2432161B1 (en) 2010-09-16 2015-09-16 Deutsche Telekom AG Method of and system for measuring quality of audio and video bit stream transmissions over a transmission chain
US9060191B2 (en) * 2011-04-20 2015-06-16 Empire Technology Development Llc Full-reference computation of mobile content quality of experience in real-time
US20120278441A1 (en) * 2011-04-28 2012-11-01 Futurewei Technologies, Inc. System and Method for Quality of Experience Estimation
US20120297433A1 (en) * 2011-05-18 2012-11-22 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for supporting quality estimation of streamed video
US8525883B2 (en) * 2011-09-02 2013-09-03 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for automatic video quality assessment
US8745403B2 (en) * 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9571827B2 (en) * 2012-06-08 2017-02-14 Apple Inc. Techniques for adaptive video streaming

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180128824A (ko) * 2016-03-31 2018-12-04 로비 가이드스, 인크. 미디어 자산을 효율적으로 다운로드하는 방법 및 시스템
US10999614B2 (en) 2016-03-31 2021-05-04 Rovi Guides, Inc. Methods and systems for efficiently downloading media assets
US11202114B2 (en) 2016-03-31 2021-12-14 Rovi Guides, Inc. Methods and systems for efficiently downloading media assets
US11438641B2 (en) 2016-03-31 2022-09-06 Rovi Guides, Inc. Methods and systems for efficiently downloading media assets
US11627352B2 (en) 2016-03-31 2023-04-11 Rovi Guides, Inc. Methods and systems for efficiently downloading media assets
US11871056B2 (en) 2016-03-31 2024-01-09 Rovi Guides, Inc. Methods and systems for efficiently downloading media assets
US12120366B2 (en) 2016-03-31 2024-10-15 Rovi Guides, Inc. Methods and systems for efficiently downloading media assets

Also Published As

Publication number Publication date
DE102013211571A1 (de) 2014-12-24
KR101789086B1 (ko) 2017-11-20
CN105474650B (zh) 2019-07-12
DE102013211571B4 (de) 2016-02-11
CA2915446C (en) 2020-06-09
CN105474650A (zh) 2016-04-06
AU2014283266B2 (en) 2017-11-30
CA2915446A1 (en) 2014-12-24
JP2016530751A (ja) 2016-09-29
US10687122B2 (en) 2020-06-16
US20160105728A1 (en) 2016-04-14
EP3011752A1 (de) 2016-04-27
JP6190525B2 (ja) 2017-08-30
WO2014202682A1 (de) 2014-12-24
EP3011752B1 (de) 2017-11-15
ES2653462T3 (es) 2018-02-07
AU2014283266A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
KR101789086B1 (ko) 다양한 비트레이트에 대한 품질을 갖는 미디어 데이터 스트림의 품질 결정에 대한 개념
Barman et al. QoE modeling for HTTP adaptive video streaming–a survey and open challenges
EP3313043B1 (en) System and method for determining quality of a media stream
US11363345B2 (en) Unified end-to-end quality and latency measurement, optimization and management in multimedia communications
US9037743B2 (en) Methods and apparatus for providing a presentation quality signal
US11638051B2 (en) Real-time latency measurement of video streams
Kumar et al. Quality of experience driven rate adaptation for adaptive HTTP streaming
Barkowsky et al. Hybrid video quality prediction: reviewing video quality measurement for widening application scope
Barkowsky et al. Objective video quality assessment—towards large scale video database enhanced model development
US20220232275A1 (en) Adaptive bitrate video testing from screen recording
Guzman et al. Automatic QoE evaluation for asymmetric encoding of 3D videos for DASH streaming service
Pal et al. Model for mobile online video viewed on samsung galaxy note 5
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
Begen Quality-aware HTTP adaptive streaming
US20240205474A1 (en) Methods and systems for quality of experience measurements
Cheon et al. Quality assessment of mobile videos
Arsenović et al. Quality of Experience Assessment for HTTP Based Adaptive Video Streaming.
Rocha No-Reference Quality Model for 3d Video Quality Assessment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant