TW201813411A - 用於媒體資料串流之補充增強資訊軌跡之系統級發信 - Google Patents

用於媒體資料串流之補充增強資訊軌跡之系統級發信 Download PDF

Info

Publication number
TW201813411A
TW201813411A TW106128732A TW106128732A TW201813411A TW 201813411 A TW201813411 A TW 201813411A TW 106128732 A TW106128732 A TW 106128732A TW 106128732 A TW106128732 A TW 106128732A TW 201813411 A TW201813411 A TW 201813411A
Authority
TW
Taiwan
Prior art keywords
information
video
system level
media
stream
Prior art date
Application number
TW106128732A
Other languages
English (en)
Inventor
湯瑪士 史塔克漢莫
益魁 王
丹姆裘 瑞斯諾斯基
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201813411A publication Critical patent/TW201813411A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4351Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reassembling additional data, e.g. rebuilding an executable program from recovered modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在一個實例中,一種用於擷取媒體資料之器件包括一或多個處理器,該一或多個處理器實施於電路中且經組態以:解析囊封一視訊基本串流之一媒體位元串流之系統級資訊,該系統級資訊指示該視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者的有效負載類型;自該系統級資訊中提取該一或多個SEI訊息及該等有效負載類型;及將該一或多個SEI訊息及該等有效負載類型發送至該器件之一或多個其他處理單元。

Description

用於媒體資料串流之補充增強資訊軌跡之系統級發信
本發明係關於經編碼媒體資料之輸送。
數位媒體能力可併入至廣泛範圍之器件中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議器件及類似者。數位視訊器件實施視訊編碼(例如壓縮)技術從而更有效地傳輸且接收數位視訊資訊,該等視訊編碼技術諸如描述於由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分進階視訊編碼(AVC)、ITU-T H.265 (亦參考高效率視訊寫碼(HEVC))定義的標準及此類標準之延伸中之彼等技術。 在媒體資料已經編碼之後,可將媒體資料封包化以用於傳輸或儲存。可將媒體資料組譯為符合多種標準中之任一者的媒體檔案,該等標準諸如國際標準化組織(ISO)基本媒體檔案格式及其延伸格式。
大體而言,本發明描述用於在媒體位元串流之系統級上傳輸或接收(例如產生或解析)資訊之技術,該資訊表示由媒體位元串流囊封的視訊基本串流之補充增強資訊(SEI)訊息。該資訊可指示以下中的一或多者:用於閉合標題的SEI訊息在視訊基本串流中之存在,在系統級上操作之單元是否必須能夠呈現閉合標題,用於該閉合標題之描述性資訊,閉合標題之多個集合是否存在於視訊基本串流、用於高動態範圍(HDR)格式之主要色彩體積資訊、用於HDR格式之內容亮度級資訊、用於HDR格式之色彩再映射資訊(CRI)訊息,或用於HDR格式之專有資訊。 在一個實例中,一種擷取媒體資料之方法包括:藉由用戶端器件之串流用戶端解析囊封視訊基本串流的媒體位元串流之系統級資訊,該系統級資訊指示視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者之有效負載類型;藉由串流用戶端從系統級資訊提取一或多個SEI訊息及有效負載類型;及藉由串流用戶端將一或多個SEI訊息及有效負載類型發送到用戶端器件之一或多個處理單元。 在另一實例中,一種用於擷取媒體資料之器件包括一或多個處理器,該一或多個處理器實施於電路中且經組態以:解析囊封視訊基本串流之媒體位元串流的系統級資訊,該系統級資訊指示該視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於SEI訊息中之每一者的有效負載類型;自系統級資訊提取一或多個SEI訊息及有效負載類型;及將一或多個SEI訊息及有效負載類型發送到器件之一或多個其他處理單元。 在另一實例中,一種用於擷取媒體資料之器件包括:用於解析囊封視訊基本串流之媒體位元串流的系統級資訊之構件,該系統級資訊指示視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者的有效負載類型;用於自系統級資訊提取一或多個SEI訊息及有效負載類型之構件;及用於將一或多個SEI訊息及有效負載類型發送到器件之一或多個處理單元之構件。 在另一實例中,一種電腦可讀儲存媒體具有儲存於其上之指令,該等指令在執行時使得器件之處理器進行以下操作:解析囊封視訊基本串流之媒體位元串流的系統級資訊,該系統級資訊指示視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者的有效負載類型;自系統級資訊提取一或多個SEI訊息及有效負載類型;及將該等一或多個SEI訊息及有效負載類型發送至器件之一或多個其他處理單元。 在另一實例中,一種傳輸媒體資料之方法包括:藉由內容準備器件之囊封單元自內容準備器件的視訊編碼器接收視訊基本串流,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息;藉由該囊封單元判定用於一或多個SEI訊息中之每一者的有效負載類型;藉由該囊封單元將視訊基本串流囊封於媒體位元串流中;及藉由該囊封單元產生用於媒體位元串流之系統級資訊,該系統級資訊指示視訊基本串流包括一或多個SEI訊息及用於該等SEI訊息中之每一者的有效負載類型。 在另一實例中,一種用於傳輸媒體資料之器件包括一或多個處理器,該一或多個處理器實施於電路中且經組態以:自視訊編碼器接收視訊基本串流,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息;判定用於一或多個SEI訊息中之每一者的有效負載類型;將該視訊基本串流囊封於媒體位元串流中;及產生用於媒體位元串流之系統級資訊,該系統級資訊指示視訊基本串流包括一或多個SEI訊息及用於該等SEI訊息中之每一者的有效負載類型。 在另一實例中,一種用於傳輸媒體資料之器件包括:用於自視訊編碼器接收視訊基本串流之構件,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息;用於判定用於一或多個SEI訊息中之每一者的有效負載類型之構件;用於將該視訊基本串流囊封於媒體位元串流中之構件;及用於產生用於媒體位元串流之系統級資訊之構件,該系統級資訊指示視訊基本串流包括一或多個SEI訊息及用於該等SEI訊息中之每一者的有效負載類型。 在另一實例中,一種其上儲存有指令之電腦可讀儲存媒體,該等指令在執行時使得處理器進行以下操作:自視訊編碼器接收視訊基本串流,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息;判定用於一或多個SEI訊息中之每一者的有效負載類型;將該視訊基本串流囊封於媒體位元串流中;及產生用於媒體位元串流之系統級資訊,該系統級資訊指示視訊基本串流包括一或多個SEI訊息及用於該等SEI訊息中之每一者的有效負載類型。 在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及圖式且自申請專利範圍顯而易見。
本申請案主張於2016年8月24日申請之美國臨時申請案第62 / 379 ,145 號之權益,該申請案之全部內容特此以引用之方式併入。 大體而言,本發明描述用於在輸送媒體資料時在系統級上發信補充增強資訊(SEI)訊息資料之技術。系統級可大體上對應於可經由網路輸送之網路抽象層(NAL)單元及囊封NAL單元。舉例而言,系統級可對應於MPEG-2系統(例如MPEG-2輸送串流(TS))、MPEG媒體輸送(MMT)及/或HTTP動態自適應串流(DASH)。 NAL單元可分類為視訊寫碼層(VCL) NAL單元及非VCL NAL單元。VCL單元可含有核心壓縮引擎且可包括區塊、巨集區塊、寫碼單元(CU)及/或圖塊級資料。其他NAL單元可為非VCL NAL單元。在一些實例中,一個時間例項中之經寫碼圖像(通常呈現為初級經寫碼圖像)可包含於存取單元中,該存取單元可包括一或多個NAL單元。 非VCL NAL單元可尤其包括參數集NAL單元及SEI NAL單元。參數集可含有序列級標頭資訊(在序列參數集(SPS)中)及不頻繁改變的圖像級標頭資訊(在圖像參數集(PPS)中)。在參數集(例如,PPS及SPS)之情況下,不頻繁改變的資訊不需要針對每一序列或圖像重複,因此可改良寫碼效率。此外,使用參數集可實現重要標頭資訊之帶外傳輸,從而避免對於用於抗誤碼之冗餘傳輸的需要。在帶外傳輸實例中,參數集NAL單元可在與其他NAL單元(諸如SEI NAL單元)不同之頻道上傳輸。 SEI訊息可含有資訊,該資訊不為解碼來自VCL NAL單元之經寫碼圖像樣本所需,但可輔助與解碼、顯示、抗誤碼及其他目的相關之程序。SEI訊息可包含於非VCL NAL單元中。SEI訊息為一些標準規範之規範部分,且因此對於標準相容之解碼器實施並非始終是必選的。SEI訊息可為序列級SEI訊息或圖像級SEI訊息。某一序列級資訊可包含於SEI訊息中,諸如SVC之實例中的可縮放性資訊SEI訊息,及MVC中的視圖可縮放性資訊SEI訊息。此等實例SEI訊息可傳達例如關於操作點之提取及操作點之特性的資訊。 諸如PPS及SPS之參數集可包括視訊可用性資訊(VUI)。VUI通常提供關於圖像的定時之資訊,例如當應對圖像進行解碼及呈現時。VUI亦可提供與經解碼圖像之顯示相關之其他資料,諸如縱橫比、色彩原色及類似者。此外,VUI可指示諸如設定檔、層及層級資訊之資訊,該資訊大體上指示針對寫碼對應視訊資料將啟用或禁用哪些寫碼工具。 因此,SEI及VUI為可插入至視訊位元串流中以出於廣泛多種目的增強視訊資料在視訊位元串流中的使用之資訊集。SEI訊息可(例如)含有關於信號之顯示及呈現的資訊。SEI訊息之各種實例已定義於ITU-T H.264/AVC (進階視訊寫碼)及ITU-T H.265/高效率視訊寫碼(HEVC)中。SEI訊息類型藉由定義於相關視訊寫碼說明書(例如H.264或H.265)中之有效負載型索引識別。SEI訊息甚至可用於藉由註冊遞送私人使用者資料,因此可遞送大量資訊。SEI訊息可含有重要資訊。若此資訊存在,則媒體引擎能夠存取資料或准許媒體引擎用戶端存取資料。 可存在系統層針對恰當操作需要解析SEI訊息及自SEI訊息提取資訊的情況。然而,在缺乏本發明之技術的情況下,若視訊基本串流含有某些SEI訊息且若用戶端要求處理SEI訊息中之資訊以便能夠存取系統,則沒有在系統層上發信的現行方式。 在串流媒體資料時,各種類型之媒體資料可包括於諸如音訊、視訊及/或定時文字(或閉合標題)之媒體串流中。定時文字/閉合標題資料發信可根據例如CEA-608、CEA-708及EIA-608之各種標準來執行。閉合標題之存在及其在視訊軌跡之SEI訊息內之攜載定義於ANSI/SCTE 128-1 2013,章節8.1的標題、有效格式描述(AFD)及條形資料之編碼及輸送中。此類發信可指示視訊軌跡可包括攜載CEA-608/708閉合標題之SEI訊息。具有值4的SEI訊息語法元素payload_type用於指示基於Rec. ITU-T T.35之SEI訊息在使用中。標題之存在在系統級上的發信與某些情況下之調控問題非常相關。DASH-IF已定義在DASH MPD中發信此標題之存在之方式(參看DASH-IF IOP準則條款6.4.3),但該方式在其他系統中不可用。 公共媒體應用格式,條款9.5「Video Elementary Stream Embedded Captions」表示: · MPEG檔案系統組指定一種以ISOBMFF發信視訊SEI NAL單元中之標題資料的存在之方法及對部分30之規劃修改。預期該修改可供用於當發佈CMAF時在此處引用。 · 建議資訊清單發信儲存SEI的閉合標題之存在以及所包括的服務及語言。若使用者或播放器指示對音訊可存取性的偏好,則該播放器可自動地選擇經發信之軌跡以含有標題。 因此,在以檔案格式級與以系統級提供此發信之間存在間隙。在某些情況下,在系統級上操作之器件必須提取SEI訊息以用於呈現(如例如將在DASH用戶端案例中進行的)。因此,系統級資訊係重要的。 本發明認為用於串流媒體資料之習知技術缺失以下內容: · 檔案格式級上之信號,該信號指示: o 用於CEA-608/708的SEI訊息在視訊基本串流中之存在, o 系統級必須能夠呈現標題, o 諸如標題的語言或其他資訊之額外資訊包括於SEI訊息中,及 o 可能存在多個標題(例如針對不同語言)。 · MPD/DASH/SYSTEM級上之信號用以支援以上所有。 · MPEG-2 TS級上之信號用以支援以上所有。 · MMT系統級上之信號用以支援以上所有。 超HD及高動態範圍(HDR)技術的出現已將若干不同媒體格式及描述其之後設資料引入至視訊寫碼團體。HDR不同於標準動態範圍(SDR)之實例特性為:色彩原色(使用BT.2020或P3而非BT.709)、傳送特性(使用SMPTE ST 2084(PQ)或HLG而非BT.709),及色彩傳送矩陣(使用BT.2020或XYZ而非BT.709)。此等特性通常經由VUI資訊在視訊基本串流中發信,且存在使用獨立寫碼碼點(CICP)訊息將此傳播至MPD級之現有方法,例如根據ISO/IEC 23001-8:2016。HDR技術可包括(例如)廣色域(WCG)。 舉例而言,為發信BT.2020原色及傳送函數(VUI程式碼9)及PQ傳送特性(VUI程式碼14)的使用,內容準備器件可將以下性質附加至AdaptationSet: · <SupplementalProperty schemeIdUri="urn:mpeg:mpegB:cicp:ColorPrimaries " value="9"/> · <SupplementalProperty schemeIdUri="urn:mpeg:mpegB:cicp:TransferCharacteristics" value="14"/> · <SupplementalProperty schemeIdUri="urn:mpeg:mpegB:cicp:MatrixCoefficients " value="9"/> 此機制依賴於補充性質及由MPEG定義之CICP描述符。 額外SEI訊息可經提供以用於HDR。此類SEI訊息可指示額外特性,諸如對於一些HDR格式而言可能重要的資訊。此類資訊可包括主要色彩體積資訊(例如如藉由ST 2086所定義)、及/或內容亮度級資訊(諸如MaxFALL及/或MaxCLL參數)。用於HDR的SEI訊息亦可包括色彩再映射資訊(CRI)訊息及/或專有訊息,諸如定義於ETSI TS 103 433或ETSI CCM ISG中之彼等訊息。此外,用於HDR的SEI訊息可包括主要色彩體積資訊以在伽瑪域色彩值與再現域中之預期亮度級之間建立映射,及/或包括可用於判定此類映射可能將顯示及內容特性給出至哪一程度之內容亮度級資訊。 若干業界組織已提議指定所謂的「HDR-10」格式。此等組織包括藍光光碟協會、DECE及超HD論壇。亦存在在不存在此類後設資料的情況下產生的格式之例項。若此後設資料不存在,則將感知量化(PQ)值假設為直接與光強度級相關,該等光強度級可能需要不同呈現。超HD論壇將UHD格式之此變體分類為「PQ10」。 不同顯示技術(例如LCD、AMOLED及類似者)可有效地再現不同的亮度範圍。一些動態背光LCD顯示器可提供數千尼特,而其他顯示器限於數百尼特。顯示器之黑階、反射性及有效對比度亦在顯示技術之間顯著地不同。顯示器亦在其色域、白點、本機EOTF及介面能力中有所變化。此外,顯示技術可支援各種資料格式及介面能力。 考慮到兩種格式以及顯示器及介面能力之所給變化,對播放內容的選擇/定向之一些功能將自然地落在邏輯系統層上。舉例而言,當接收到UHD內容時,DASH播放器可能需要經組態以判定內容是否可將可用的顯示及介面恰當地呈現至顯示器,自複數個可用的以HDR為主的內容集合選擇適當的以HDR為主的內容集合(其中適當的集合可為將在可用顯示器上最佳地再現之彼集合),判定當SDR串流存在時SDR之使用是否將比HDR更佳(例如考慮顯示器之能力),及其他此類考量。 本發明之技術可應用於符合根據以下中之任一者囊封之視訊資料的視訊檔案:ISO基本媒體檔案格式、可調式放視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式及/或多視圖視訊寫碼(MVC)檔案格式或其他類似視訊檔案格式。 在HTTP串流中,頻繁使用之操作包括HEAD、GET及部分GET。HEAD操作擷取與給定的統一資源定位符(URL)或統一資源名稱(URN)相關聯之檔案的標頭,而不擷取與URL或URN相關聯之有效負載。GET操作擷取與給定URL或URN相關聯之整個檔案。部分GET操作接收位元組範圍作為輸入參數且擷取檔案之連續數目個位元組,其中位元組之數目對應於所接收的位元組範圍。因此,可提供電影片段以用於HTTP串流,此係因為部分GET操作可得到一或多個單獨的電影片段。在電影片段中,可存在不同軌跡之若干軌跡片段。在HTTP串流中,媒體表現可為用戶端可存取之資料的結構化集合。用戶端可請求且下載媒體資料資訊以向使用者表現串流服務。 在使用HTTP串流來串流傳輸3GPP資料之實例中,可能存在對多媒體內容之視訊及/或音訊資料的多個表示。如下文所解釋,不同表示可對應於不同寫碼特性(例如,視訊寫碼標準之不同設定檔或層級)、不同寫碼標準或寫碼標準之延伸(諸如多視圖及/或可調式延伸)或不同位元速率。此類表示之資訊清單可定義於媒體表現描述(MPD)資料結構中。媒體表現可對應於HTTP串流用戶端器件可存取之資料的結構化集合。HTTP串流用戶端器件可請求且下載媒體資料資訊以向用戶端器件之使用者表現串流服務。媒體表現可描述於MPD資料結構中,MPD資料結構可包括MPD之更新。 媒體表現可含有一或多個週期之序列。每一週期可延伸直至下一週期開始,或在最末週期的情況下,直至媒體表現結束。每一週期可含有用於相同媒體內容之一或多個表示。表示可為音訊、視訊、定時文字或其他此類資料之數個替代性經編碼版本中之一者。表示可因編碼類型而異(例如,對於視訊資料,因位元速率、解析度及/或編解碼器而異,且對於音訊資料,因位元速率、語言及/或編解碼器而異)術語表示可用於指代經編碼音訊或視訊資料的對應於多媒體內容之特定週期且以特定方式編碼之部分。 特定週期之表示可指派給由MPD中之屬性(其指示表示所屬之調適集)指示之群組。同一調適集中之表示通常被視為彼此之替代例,此係因為用戶端器件可在此等表示之間動態且順暢地切換,例如以執行頻寬調適。舉例而言,特定週期之視訊資料之每一表示可指派給同一調適集,以使得可選擇該等表示中之任一者以用於解碼從而表現對應週期之多媒體內容的媒體資料(諸如視訊資料或音訊資料)。在一些實例中,一個週期內之媒體內容可由來自群組0 (若存在)之一個表示,或由來自每一非零群組的至多一個表示之組合來表示。可相對於週期之開始時間來表達週期之每一表示之定時資料。 一表示可包括一或多個片段。每一表示可包括初始化片段,或表示之每一片段可自初始化。當存在時,初始化片段可含有用於存取表示之初始化資訊。大體而言,初始化片段不含媒體資料。片段可由識別符唯一地參考,諸如統一資源定位符(URL)、統一資源名稱(URN)或統一資源識別符(URI)。 MPD可為每一片段提供識別符。在一些實例中,MPD亦可提供呈範圍 屬性之形式的位元組範圍,該等位元組範圍可對應於可由URL、URN或URI存取之檔案內之片段的資料。 可選擇不同表示以用於實質上同時擷取不同類型之媒體資料。舉例而言,用戶端器件可選擇音訊表示、視訊表示及定時文字表示,自該等表示擷取片段。在一些實例中,用戶端器件可選擇特定調適集以用於執行頻寬調適。亦即,用戶端器件可選擇包括視訊表示之調適集、包括音訊表示之調適集及/或包括定時文字之調適集。替代地,用戶端器件可選擇用於某些類型的媒體(例如視訊)之調適集且直接選擇用於其他類型的媒體(例如音訊及/或定時文字)之表示。 圖1為說明實施用於經由網路串流媒體資料之技術的實例系統10之方塊圖。在此實例中,系統10包括內容準備器件20、伺服器器件60及用戶端器件40 (210)。用戶端器件40與伺服器器件60藉由網路74以通信方式耦接,該網路可包含網際網路。在一些實例中,內容準備器件20與伺服器器件60亦可藉由網路74或另一網路耦接,或可直接以通信方式耦接。在一些實例中,內容準備器件20及伺服器器件60可包含相同器件。 在圖1之實例中,內容準備器件20包含音訊源22及視訊源24。音訊源22可包含(例如)麥克風,其產生表示待藉由音訊編碼器26編碼之所捕獲音訊資料的電信號。替代地,音訊源22可包含儲存媒體(其儲存先前記錄之音訊資料)、音訊資料產生器(諸如電腦化之合成器)或任何其他音訊資料源。視訊源24可包含:視訊攝影機,其產生待藉由視訊編碼器28編碼之視訊資料;儲存媒體,其編碼有先前記錄之視訊資料;視訊資料產生單元,諸如電腦圖形源;或任何其他視訊資料源。內容準備器件20未必在所有實例中均以通信方式耦接至伺服器器件60,而可將多媒體內容儲存至由伺服器器件60讀取之單獨媒體。 原始音訊及視訊資料可包含類比或數位資料。類比資料可在由音訊編碼器26及/或視訊編碼器28編碼之前數位化。音訊源22可在說話參與者正在說話時自說話參與者獲得音訊資料,且視訊源24可同時獲取說話參與者之視訊資料。在其他實例中,音訊源22可包含電腦可讀儲存媒體(其包含所儲存之音訊資料),且視訊源24可包含電腦可讀儲存媒體(其包含所儲存之視訊資料)。以此方式,本發明中所描述之技術可應用於實況、串流、即時音訊及視訊資料或所存檔的、預先記錄的音訊及視訊資料。 對應於視訊訊框之音訊訊框通常為含有藉由音訊源22捕獲(或產生)之音訊資料的音訊訊框,音訊資料同時伴隨包含於視訊訊框內的藉由視訊源24捕獲(或產生)之視訊資料。舉例而言,當說話參與者通常藉由說話而產生音訊資料時,音訊源22捕獲音訊資料,且視訊源24同時(即,在音訊源22正捕獲音訊資料的同時)捕獲說話參與者之視訊資料。因此,音訊訊框在時間上可對應於一或多個特定視訊訊框。因此,對應於視訊訊框之音訊訊框大體上對應於同時捕獲到音訊資料及視訊資料且音訊訊框及視訊訊框分別包含同時捕獲到的音訊資料及視訊資料的情形。 在一些實例中,音訊編碼器26可對每一經編碼音訊訊框中表示記錄經編碼音訊訊框的音訊資料之時間的時戳進行編碼,且類似地,視訊編碼器28可對每一經編碼視訊訊框中表示記錄經編碼視訊訊框的視訊資料之時間的時戳進行編碼。在此等實例中,對應於視訊訊框之音訊訊框可包含:包含時戳之音訊訊框及包含相同時戳之視訊訊框。內容準備器件20可包含內部時脈,音訊編碼器26及/或視訊編碼器28可根據該內部時脈產生時戳,或音訊源22及視訊源24可使用該內部時脈以分別使音訊資料及視訊資料與時戳相關聯。 在一些實例中,音訊源22可向音訊編碼器26發送對應於記錄音訊資料之時間的資料,且視訊源24可向視訊編碼器28發送對應於記錄視訊資料之時間的資料。在一些實例中,音訊編碼器26可對經編碼音訊資料中的序列識別符進行編碼以指示經編碼音訊資料之相對時間排序,但未必指示記錄音訊資料之絕對時間,且類似地,視訊編碼器28亦可使用序列識別符來指示經編碼視訊資料之相對時間排序。類似地,在一些實例中,序列識別符可映射或以其他方式與時戳相關。 音訊編碼器26通常產生經編碼音訊資料之串流,而視訊編碼器28產生經編碼視訊資料之串流。每一個別資料(不論音訊或視訊)串流可被稱為基本串流。基本串流為表示之單一的經數位化寫碼(可能經壓縮)之分量。舉例而言,表示之經寫碼視訊或音訊部分可為基本串流。基本串流可在被囊封於視訊檔案內之前被轉換成封包化基本串流(PES)。在相同表示內,可使用串流ID來區分屬於一個基本串流的PES封包與屬於其他基本串流的PES封包。基本串流之資料之基本單元為封包化基本串流(PES)封包。因此,經寫碼視訊資料大體上對應於基本視訊串流。類似地,音訊資料對應於一或多個各別基本串流。 許多視訊寫碼標準(諸如ITU-T H.264/AVC及即將出現的高效率視訊寫碼(HEVC)標準)定義無誤差位元串流之語法、語義及解碼程序,該等無誤差位元串流中之任一者符合特定設定檔或層級。視訊寫碼標準通常並不指定編碼器,但編碼器具有保證所產生之位元串流對於解碼器而言係標準相容之任務。在視訊寫碼標準之上下文中,「設定檔」對應於演算法、特徵或工具及施加至演算法、特徵或工具之約束的子集。舉例而言,如H.264標準所定義,「設定檔」為由H.264標準指定的完整位元串流語法之子集。「層級」對應於解碼器資源消耗(諸如,解碼器記憶體及計算)之限制,該等限制係關於圖像解析度、位元速率及區塊處理速率。設定檔可藉由profile_idc (設定檔指示符)值發信,而層級可藉由level_idc (層級指示符)值發信。 舉例而言,H.264標準認為,在由給定設定檔之語法所強加的界限內,仍然可能要求編碼器及解碼器之效能有較大變化,此取決於位元串流中之語法元素(諸如,經解碼圖像之指定大小)所取的值。H.264標準進一步認為,在許多應用中,實施能夠處理特定設定檔內之語法之所有假設使用的解碼器既不實際又不經濟。因此,H.264標準將「層級」定義為強加於位元串流中之語法元素之值的約束之指定集。此等約束條件可僅為對值的限制。替代地,此等約束條件可呈對值之算術組合(例如,圖像寬度乘以圖像高度乘以每秒解碼的圖像數目)之約束的形式。H.264標準進一步規定,個別實施對於每一所支援設定檔可支援不同層級。 符合設定檔之解碼器一般支援設定檔中所定義之所有特徵。舉例而言,作為寫碼特徵,B圖像寫碼在H.264/AVC之基線設定檔中不被支援,但在H.264/AVC之其他設定檔中被支援。符合一層級之解碼器應能夠對不需要超出該層級中所定義之限制的資源之任何位元串流進行解碼。設定檔及層級之定義可對可解釋性有幫助。舉例而言,在視訊傳輸期間,可針對整個傳輸工作階段協商及同意一對設定檔定義及層級定義。更具體而言,在H.264/AVC中,層級可定義對於需要處理之巨集區塊的數目、經解碼圖像緩衝器(DPB)大小、經寫碼圖像緩衝器(CPB)大小、豎直運動向量範圍、每兩個連續MB的運動向量之最大數目及B區塊是否可具有小於8×8像素之子巨集區塊分區的限制。以此方式,解碼器可判定解碼器是否能夠恰當地對位元串流進行解碼。 在圖1之實例中,內容準備器件20之囊封單元30自視訊編碼器28接收包含經寫碼視訊資料之基本串流且自音訊編碼器26包含經寫碼音訊資料之基本串流。在一些實例中,視訊編碼器28及音訊編碼器26可各自包括用於自經編碼資料形成PES封包的封包化器。在其他實例中,視訊編碼器28及音訊編碼器26可各自與用於自經編碼資料形成PES封包之各別封包化器介接。在另外其他實例中,囊封單元30可包括用於自經編碼音訊及視訊資料形成PES封包之封包化器。 視訊編碼器28可以多種方式對多媒體內容之視訊資料進行編碼,從而以各種位元速率且以各種特性產生多媒體內容之不同表示,該等特性諸如像素解析度、訊框速率、對各種寫碼標準之符合性、對各種寫碼標準之各種設定檔及/或設定檔層級之符合性、具有一或多個視圖之表示(例如,對於二維或三維播放)或其他此類特性。如本發明中所使用,表示可包含音訊資料、視訊資料、文字資料(例如,用於閉合標題)或其他此類資料中之一者。表示可包括諸如音訊基本串流或視訊基本串流之基本串流。每一PES封包可包括stream_id,其識別PES封包所屬之基本串流。囊封單元30負責將基本串流組譯成各種表示之視訊檔案(例如,片段)。 囊封單元30自音訊編碼器26及視訊編碼器28接收表示之基本串流的PES封包且自該等PES封包形成對應的網路抽象層(NAL)單元。在H.264/AVC (進階視訊寫碼)之實例中,經寫碼視訊片段係組織成NAL單元,該等單元提供「網路友好」視訊表示,其處理諸如視訊電話、儲存、廣播或串流之應用。 另外,囊封單元30可形成資訊清單檔案,諸如描述表示之特性的媒體呈現描述(MPD)。囊封單元30可根據可延伸標記語言(XML)來格式化MPD。 囊封單元30可向輸出介面32提供用於多媒體內容之一或多個表示的資料以及資訊清單檔案(例如,MPD)。輸出介面32可包含網路介面或用於寫入至儲存媒體之介面,諸如通用串列匯流排(USB)介面、CD或DVD寫入器或燒錄器、至磁性或快閃儲存媒體之介面,或用於儲存或傳輸媒體資料之其他介面。囊封單元30可向輸出介面32提供多媒體內容之表示中之每一者的資料,該輸出介面可經由網路傳輸或儲存媒體向伺服器器件60發送該資料。在圖1之實例中,伺服器器件60包括儲存各種多媒體內容64之儲存媒體62,每一多媒體內容包括各別資訊清單檔案66及一或多個表示68A至68N (表示68)。在一些實例中,輸出介面32亦可將資料直接發送至網路74。 在一些實例中,表示68可分成若干調適集。亦即,表示68之各種子集可包括各別共同特性集,諸如編解碼器、設定檔及層級、解析度、視圖數目、片段之檔案格式、可識別語言或待與待由揚聲器解碼及表現之表示及/或音訊資料一起顯示的文字之其他特性的文字類型資訊、可描述調適集中之表示之場景的攝影機角度或真實世界攝影機視角的攝影機角度資訊、描述針對特定觀眾之內容適合性的分級資訊,或其類似資訊。 資訊清單檔案66可包括指示對應於特定調適集之表示68之子集以及該等調適集之共同特性的資料。資訊清單檔案66亦可包括表示調適集之個別表示的個別特性(諸如位元速率)之資料。以此方式,調適集可提供簡化的網路頻寬調適。可使用資訊清單檔案66之調適集元素的子代元素來指示調適集中之表示。 伺服器器件60包括請求處理單元70及網路介面72。在一些實例中,伺服器器件60可包括複數個網路介面。此外,伺服器器件60之特徵中之任一者或全部可在內容遞送網路之其他器件(諸如路由器、橋接器、代理器件、交換機或其他器件)上實施。在一些實例中,內容遞送網路之中間器件可快取多媒體內容64之資料,且包括實質上符合伺服器器件60之彼等組件的組件。大體而言,網路介面72經組態以經由網路74來發送及接收資料。 請求處理單元70經組態以自用戶端器件(諸如,用戶端器件40)接收對儲存媒體62之資料的網路請求。舉例而言,請求處理單元70可實施超文字傳送協定(HTTP)版本1.1,如RFC 2616,R.Fielding等人於1999年6月在Network Working Group, IETF的「Hypertext Transfer Protocol - HTTP/1.1,」中所描述。亦即,請求處理單元70可經組態以接收HTTP GET或部分GET請求,且回應於該等請求而提供多媒體內容64之資料。請求可指定表示68中之一者之片段,例如使用片段之URL。在一些實例中,該等請求亦可指定片段之一或多個位元組範圍,因而包含部分GET請求。請求處理單元70可進一步經組態以服務於HTTP HEAD請求以提供表示68中之一者之片段的標頭資料。在任何情況下,請求處理單元70可經組態以處理該等請求從而將所請求之資料提供至請求器件(諸如用戶端器件40)。 另外或替代地,請求處理單元70可經組態以經由諸如eMBMS之廣播或多播協定而遞送媒體資料。內容準備器件20可以與所描述大體上相同之方式產生DASH片段及/或子片段,但伺服器器件60可使用eMBMS或另一廣播或多播網路輸送協定來遞送此等片段或子片段。舉例而言,請求處理單元70可經組態以自用戶端器件40接收多播群組加入請求。亦即,伺服器器件60可向用戶端器件(包括用戶端器件40)通告與多播群組相關聯之網際網路協定(IP)位址,其與特定媒體內容(例如,實況事件之廣播)相關聯。用戶端器件40隨後可提交加入多播群組之請求。此請求可遍及網路74 (例如,構成網路74之路由器)傳播,以使得促使該等路由器導引被預定用於與多播群組相關聯之IP位址的訊務以訂用用戶端器件(諸如用戶端器件40)。 如圖1之實例中所說明,多媒體內容64包括資訊清單檔案66,該資訊清單檔案可對應於媒體表現描述(MPD)。資訊清單檔案66可含有不同替代表示68 (例如,具有不同品質之視訊服務)的描述,且該描述可包括例如編解碼器資訊、設定檔值、層級值、位元速率及表示68之其他描述性特性。用戶端器件40可擷取媒體表現之MPD以判定存取表示68之片段的方式。 具體而言,擷取單元52可擷取用戶端器件40之組態資料(未展示)以判定視訊解碼器48之解碼能力及視訊輸出44之呈現能力。組態資料亦可包括由用戶端器件40之使用者選擇的語言偏好、對應於由用戶端器件40之使用者設定的深度偏好之一或多個攝影機視角及/或由用戶端器件40之使用者選擇的分級偏好中之任一者或全部。舉例而言,擷取單元52可包含經組態以提交HTTP GET及部分GET請求之網頁瀏覽器或媒體用戶端。擷取單元52可對應於由用戶端器件40之一或多個處理器或處理單元(未展示)執行的軟體指令。在一些實例中,關於擷取單元52所描述的功能性之全部或部分可以硬體或硬體、軟體及/或韌體之組合來實施,其中可提供必需的硬體以執行軟體或韌體之指令。 擷取單元52可將用戶端器件40之解碼及呈現能力與由資訊清單檔案66之資訊指示之表示68的特性進行比較。擷取單元52可首先擷取資訊清單檔案66之至少一部分以判定表示68之特性。舉例而言,擷取單元52可請求資訊清單檔案66之描述一或多個調適集之特性的一部分。擷取單元52可選擇具有可藉由用戶端器件40之寫碼及呈現能力滿足之特性的表示68之子集(例如調適集)。擷取單元52可隨後判定調適集中之表示的位元速率,判定網路頻寬之當前可用量,且自具有可由網路頻寬滿足之位元速率的表示中之一者擷取片段。 根據本發明之技術,囊封單元30可提供(且擷取單元52可接收)包括表示包括於經囊封視訊位元串流中之資料之所發信資訊之獨立寫碼碼點(CICP)訊息。舉例而言,CICP訊息可指示以下的任一者或全部:用於CEA-608/708之SEI訊息是否包括於視訊基本串流中,系統級是否必須能夠呈現閉合標題,該等閉合標題之語言或另外包括於SEI訊息中之其他資訊,及/或是否存在多個閉合標題(例如針對不同語言)。另外或替代地,CICP訊息可包括表示主要色彩體積資訊、內容亮度級資訊、CRI訊息、關於主要色彩體積資訊之映射資訊及/或包括於針對HDR的SEI訊息中之專有訊息的信令。 藉由以此方式使用CICP訊息,所發信資料可獨立於用於寫碼對應媒體資料的編解碼器。另外,CICP訊息可包括於例如資訊清單檔案66中。CICP訊息可用於支援必要及補充資訊。CICP訊息亦可定義對對此資訊之詳述語義。然而,本發明認為,CICP訊息可特定針對後設資料,可不覆蓋SEI訊息,且大體上不用於在檔案格式級上發信(例如在ISO BMFF檔案格式資訊中)。 另外或在替代例中,囊封單元30可提供(且擷取單元30可接收)根據ISO/IEC 23009-1之DASH描述符。此類描述符可包括表示包括於經囊封視訊位元串流中之資料的所發信資訊。舉例而言,DASH描述符可指示以下中的任一者或全部:用於CEA-608/708之SEI訊息是否包括於視訊基本串流中,系統級是否必須能夠呈現閉合標題,該等閉合標題之語言或另外包括於SEI訊息中之其他資訊,及/或是否存在多個閉合標題(例如針對不同語言)。另外或替代地,DASH描述符可包括表示主要色彩體積資訊、內容亮度級資訊、CRI訊息、關於主要色彩體積資訊之映射資訊及/或包括於針對HDR的SEI訊息中之專有訊息。 藉由以此方式使用DASH描述符,所發信資料可獨立於用於寫碼對應媒體資料的編解碼器。另外,DASH描述符可在DASH MPD中得以發信(其可對應於資訊清單檔案66)。DASH描述符可用於支援必要及補充資訊。DASH描述符亦可針對此資訊在DASH中定義詳述語義。然而,本發明認為,DASH描述符並不覆蓋全部SEI訊息,通常不用於在檔案格式級上發信(例如在ISO BMFF檔案格式資訊中),僅特定針對DASH,且不預期為廣泛可用的。 另外或在替代例中,囊封單元30可提供(且擷取單元30可接收)樣本條目資訊作為檔案格式資料之部分,例如在用於DASH片段或其他此類串流檔案之ISO BMFF檔案格式資訊中。在將詳述能力加入信號運載SEI有效負載之情況下,此類樣本條目資訊可以具有發信所攜載SEI有效負載之具體能力的樣本條目之形式添加至AVC或HEVC檔案格式(例如根據ISO/IEC 14496-15),且每一有效負載可定義關於另外將被添加的對象的更多細節。 此類樣本條目資訊可獨立於用於寫碼對應媒體資料的編解碼器。樣本條目資訊可在DASH MPD中發信(其可對應於資訊清單檔案66)。此類樣本條目資訊可覆蓋全部現有及未來SEI訊息。樣本條目資訊將不一定允許經由@codecs參數在檔案格式級及DASH級上發信資訊。然而,本發明認為,樣本條目資訊可以不用於支援必要及補充資訊,且在說明書文字中加以定義可為複雜的。 另外或在替代例中,囊封單元30可提供(且擷取單元30可接收)發信以下中之一或多者之字串語法:基本串流含有一或多個SEI訊息有效負載類型,含有有效負載類型之每一基本串流經發信,對於每一類型,可用於發信額外資訊的使用者定義欄位之選項(較佳地在非常簡單的基礎上,例如指定一些靜態含有的資訊),及/或關於使用者定義資料之有效負載類型4。此類資訊可在檔案格式級上發信。此信號亦可由系統層繼承,例如在DASH MPD (或通常資訊清單檔案66)中。 另外,為產生如上文中所論述之系統級資訊,囊封單元30可判定哪些SEI訊息包括於視訊基本串流中以及用於該等SEI訊息之有效負載類型,且產生系統級資訊以指示該等SEI訊息包括於視訊基本串流中。類似地,擷取單元52可判定用戶端器件40之能力(例如用戶端器件40是否能夠使用SEI訊息之資料),且基於該等能力及如由系統級資訊指示的SEI訊息的所發信資訊來選擇適當媒體串流(例如調適集及/或調適集之表示)。 上文所論述之系統級資訊可單獨地或以任何組合指示哪些SEI訊息存在(或可能存在)於位元串流或基本串流中。此類系統級資訊可包括(例如)存在(或可能存在)的多個SEI訊息類型及/或SEI訊息類型之陣列。每一類型可由(例如)16位元非負整數或使用可變長度寫碼的值表示。 在經寫碼視訊位元串流中,關於哪些SEI訊息存在(或可能存在)於視訊位元串流中之資訊可在(例如)參數集中發信,該參數集諸如視訊參數集(例如,如HEVC中所指定)、序列參數集(例如,如HEVC或H.264/AVC中所指定)或序列級SEI訊息。 在檔案格式、DASH MPD、MPEG-2 TS及/或MMT中,指示哪些SEI訊存在(或可能存在)於軌跡中之視訊基本位元串流中之資訊可在以下中之一或多者中發信:新的框,例如「SeiMsgInfoBox」,其可包括於視覺樣本條目中,例如作為視情況選用的框;視情況選用之新的MIME參數,例如名為「seimsgtypes」,且此框可包括為「編解碼器」參數之部分或與其並行,該「編解碼器」參數隨後可包括於DASH MPD或其他資訊清單檔案中;在調適集處或表示級上之新的或現有DASH MPD元素或描述符;新的或現有序列級MPEG-2 TS描述符,及/或新的或現有序列級MMT描述符。 各種類型之SEI訊息可包括於位元串流中。SEI訊息可包括(例如)具有針對HDR及/或WCG之資訊的SEI訊息。可根據本發明之技術在該等SEI訊息中且因此在系統級資訊中發信之特性可另外或替代地包括以下中的任一者或全部:主要色彩體積資訊,例如,如由ST 2086所定義(其可包括主要顯示器之色彩原色及白點(內容之描述)及/或該主要顯示器之明度的最小值及/或最大值(內容之描述));內容亮度級資訊(例如MaxFALL及/或MaxCLL參數,該等參數可表示針對內容之給定片段的最大亮度級(內容之描述)及/或針對內容之給定片段的最大平均訊框亮度級(內容之描述));色彩再映射資訊,例如,如在HEVC中所定義(例如目標表示之原色(輸出之描述)、目標表示之傳送特性(輸出之描述)及/或色彩再映射ID (在一些生態系統中之應用ID的描述));及/或針對色彩體積變換之HDR動態後設資料,例如,如在ST 2094-10,20,30,40中所定義(其可包括目標顯示器之色彩原色及最小/最大峰值明度(輸出之描述))。 在一個實例中,位元串流中可存在多個SEI實體。每一SEI可以不同顯示能力為目標。根據本發明之技術,囊封於該等SEI訊息中之參數可能在系統級上可用。亦即,囊封單元30可提供(且擷取單元52可接收)另外包括於在系統級上之SEI訊息中之資訊的任一者或全部。因此,終端器件(諸如用戶端器件40)可基於表示SEI訊息資訊之系統級資訊來選擇適當的位元串流(例如表示68中之一者),以使得所選位元串流具有匹配(例如)視訊輸出44之能力的特性。 在另一實例中,位元串流中可存在單個SEI實體,例如在具有反饋通道之系統中。單個位元串流於編碼器側(例如在伺服器器件60或內容準備器件20處)可能係可用的。基於經由反饋通道提供(且由例如伺服器器件60接收)之解碼器能力(例如視訊解碼器48之能力),視訊編碼器(諸如視訊編碼器28)可囊封位元串流SEI訊息之資料以根據解碼器能力來提供調適。根據本發明之技術,SEI訊息之參數可在系統級上發信。 大體而言,較高位元速率表示可產生較高品質之視訊播放,而較低位元速率表示可在可用網路頻寬減少時提供足夠品質之視訊播放。因此,當可用網路頻寬相對高時,擷取單元52可自相對高位元速率之表示擷取資料,而當可用網路頻寬較低時,擷取單元52可自相對低位元速率之表示擷取資料。以此方式,用戶端器件40可經由網路74串流多媒體資料,同時亦適應網路74之改變的網路頻寬可用性。 另外或替代地,擷取單元52可經組態以根據諸如eMBMS或IP多播之廣播或多播網路協定來接收資料。在此類實例中,擷取單元52可提交加入與特定媒體內容相關聯之多播網路群組的請求。在加入多播群組之後,擷取單元52可在另外請求未發佈至伺服器器件60或內容準備器件20的情況下接收多播群組之資料。擷取單元52可在不再需要多播群組之資料時提交離開多播群組的請求,例如停止播放或將通道改變至不同多播群組。 網路介面54可接收所選表示之片段的資料且將該資料提供至擷取單元52,該擷取單元隨後可將該等片段提供至檔案格式處理單元50。檔案格式處理單元50可將視訊檔案之元素解囊封為組成PES串流,將該等PES串流解封包化以擷取經編碼資料,且將經編碼資料發送至音訊解碼器46或視訊解碼器48,其取決於經編碼資料是音訊串流還是視訊串流之部分(例如如由該串流之PES封包標頭所指示)。音訊解碼器46對經編碼音訊資料進行解碼,且向音訊輸出42發送經解碼音訊資料,而視訊解碼器48對經編碼視訊資料進行解碼,且向視訊輸出44發送經解碼視訊資料,該經解碼視訊資料可包括串流的複數個視圖。 視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、擷取單元52及檔案格式處理單元50在適當時各自可實施為多種合適的處理電路中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器28及視訊解碼器48中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為組合式視訊編碼器/解碼器(編解碼器)之部分。類似地,音訊編碼器26及音訊解碼器46中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為組合式編解碼器之部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、擷取單元52及/或檔案格式處理單元50之裝置可包括積體電路、微處理器及/或諸如蜂巢式電話的無線通信器件。 用戶端器件40、伺服器器件60及/或內容準備器件20可經組態以根據本發明之技術操作。出於實例之目的,本發明描述關於用戶端器件40及伺服器器件60之此等技術。然而,應理解,代替伺服器器件60 (或除該伺服器器件之外),內容準備器件20可經組態以執行此等技術。 囊封單元30可形成NAL單元,該等NAL單元包含識別NAL單元所屬之程式的標頭,以及有效負載,例如音訊資料、視訊資料或描述NAL單元所對應的輸送或程式串流的資料。舉例而言,在H.264/AVC中,NAL單元包括1位元組標頭及變化大小之有效負載。在其有效負載中包括視訊資料之NAL單元可包含各種粒度級之視訊資料。舉例而言,NAL單元可包含視訊資料區塊、複數個區塊、視訊資料圖塊或視訊資料之整個圖像。囊封單元30可自視訊編碼器28接收呈基本串流之PES封包之形式的經編碼視訊資料。囊封單元30可使每一基本串流與對應程式相關聯。 囊封單元30亦可組譯來自複數個NAL單元之存取單元。大體而言,存取單元可包含用於表示視訊資料之訊框以及對應於該訊框之音訊資料(當此音訊資料可用時)的一或多個NAL單元。存取單元通常包括針對一個輸出時間例項之全部NAL單元,例如針對一個時間例項之全部音訊及視訊資料。舉例而言,若每一視圖具有20訊框每秒(fps)之訊框速率,則每一時間例項可對應於0.05秒之時間間隔。在此時間間隔期間,相同存取單元(相同時間例項)之所有視圖的特定訊框可同時呈現。在一個實例中,存取單元可將經寫碼圖像包含在一個時間例項中,其可呈現為初級經寫碼圖像。 因此,存取單元可包含共同時間例項之所有音訊訊框及視訊訊框,例如對應於時間X 之所有視圖。本發明亦將特定視圖之經編碼圖像稱為「視圖分量」。亦即,視圖分量可包含在特定時間針對特定視圖之經編碼圖像(或訊框)。因此,存取單元可被定義為包含共同時間例項之所有視圖分量。存取單元之解碼次序未必與輸出或顯示次序相同。 媒體表現可包括媒體表現描述(MPD),該媒體表現描述可含有不同替代表示(例如,具有不同品質之視訊服務)的描述,且該描述可包括(例如)編解碼器資訊、設定檔值及層級值。MPD為資訊清單檔案(諸如資訊清單檔案66)之一個實例。用戶端器件40可擷取媒體表現之MPD以判定存取各種表現之電影片段的方式。電影片段可位於視訊檔案之電影片段框(moof框)中。 資訊清單檔案66 (其可包括例如MPD)可通告表示68之片段的可用性。亦即,MPD可包括指示表示68中之一者之第一片段變得可用之掛鐘時間的資訊,以及指示表示68內之片段之持續時間的資訊。以此方式,用戶端器件40之擷取單元52可基於開始時間以及在特定片段之前的片段之持續時間而判定每一片段何時可用。 在囊封單元30已基於所接收之資料將NAL單元及/或存取單元組譯成視訊檔案之後,囊封單元30將視訊檔案傳遞至輸出介面32以用於輸出。在一些實例中,囊封單元30可本端地儲存視訊檔案,或經由輸出介面32將視訊檔案發送至遠端伺服器,而非將視訊檔案直接發送至用戶端器件40。輸出介面32可包括例如傳輸器、收發器、用於將資料寫入至電腦可讀媒體之器件(諸如光碟機、磁性媒體驅動(例如軟碟機))、通用串列匯流排(USB)埠、網路介面或其他輸出介面。輸出介面32將視訊檔案輸出至電腦可讀媒體,諸如傳輸信號、磁性媒體、光學媒體、記憶體、隨身碟或其他電腦可讀媒體。 網路介面54可經由網路74接收NAL單元或存取單元,且經由擷取單元52將NAL單元或存取單元提供至檔案格式處理單元50。檔案格式處理單元50可將視訊檔案之元素解囊封為組成PES串流,解封包化該等PES串流以擷取經編碼資料,且將經編碼資料發送至音訊解碼器46或視訊解碼器48,其取決於經編碼資料是音訊串流還是視訊之部分(例如如由該串流之PES封包標頭所指示)。音訊解碼器46對經編碼音訊資料進行解碼,且向音訊輸出42發送經解碼音訊資料,而視訊解碼器48對經編碼視訊資料進行解碼,且向視訊輸出44發送經解碼視訊資料,該經解碼視訊資料可包括串流的複數個視圖。 以此方式,內容準備器件20及/或伺服器器件60表示用於傳輸媒體資料的器件之實例,該器件包括實施於電路中且經組態以進行以下步驟的一或多個處理器:自視訊編碼器接收視訊基本串流,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息;判定針對一或多個SEI訊息中之每一者的有效負載類型;將視訊基本串流囊封於媒體位元串流中;及產生針對媒體位元串流之系統級資訊,該系統級資訊指示視訊基本串流包括一或多個SEI訊息及用於該等SEI訊息中之每一者的有效負載類型。 類似地,表示用於擷取媒體資料之器件之實例的用戶端器件40包括:用於解析囊封視訊基本串流的媒體位元串流之系統級資訊之構件,該系統級資訊指示視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者的有效負載類型;用於自系統級資訊提取一或多個SEI訊息及有效負載類型之構件;及用於將一或多個SEI訊息及有效負載類型發送至器件之一或多個處理單元之構件。 圖2為更詳細地說明圖1之擷取單元52之組件之實例集合的方塊圖。在此實例中,擷取單元52包括eMBMS中間軟體單元100、DASH用戶端110及媒體應用程式112。 在此實例中,eMBMS中間軟體單元100進一步包括eMBMS接收單元106、快取記憶體104及伺服器單元102。在此實例中,eMBMS接收單元106經組態以經由eMBMS接收資料,例如根據描述於T.Paila等人,2012年11月的「FLUTE-File Delivery over Unidirectional Transport」,Network Working Group,RFC 6726 (可獲自http://tools.ietf.org/html/rfc6726)中之單向輸送檔案遞送(FLUTE)。亦即,eMBMS接收單元106可經由廣播自(例如)可充當BM-SC的伺服器器件60接收檔案。 當eMBMS中間軟體單元100接收檔案之資料時,eMBMS中間軟體單元可將所接收之資料儲存於快取記憶體104中。快取記憶體104可包含電腦可讀儲存媒體,諸如快閃記憶體、硬碟、RAM或任何其他合適的儲存媒體。 本端伺服器單元102可充當DASH用戶端110之伺服器。舉例而言,本端伺服器單元102可將MPD檔案或其他資訊清單檔案提供至DASH用戶端110。本端伺服器單元102可通告MPD檔案中之片段之可用性時間,以及可擷取該等片段之超鏈接。此等超鏈接可包括對應於用戶端器件40之本機主機位址首碼(例如,IPv4之127.0.0.1)。以此方式,DASH用戶端110可使用HTTP GET或部分GET請求向本機伺服器單元102請求片段。舉例而言,對於可自鏈接http://127.0.0.1/rep1/seg3 獲得之片段,DASH用戶端110可構建包括針對http://127.0.0.1/rep1/seg3 之請求的HTTP GET請求,且將該請求提交至本端伺服器單元102。本端伺服器102可自快取記憶體104擷取所請求之資料且回應於此類請求而將資料提供至DASH用戶端110。 圖3為說明實例多媒體內容120之元素的概念圖。多媒體內容120可對應於多媒體內容64 (圖1),或對應於儲存於儲存媒體62中之另一多媒體內容。在圖3之實例中,多媒體內容120包括媒體表現描述(MPD) 122及複數個表示124A至124N (表示124)。表示124A包括可選標頭資料126及片段128A至128N (片段128),而表示124N包括可選標頭資料130及片段132A至132N (片段132)。為方便起見,使用字母N來指明表示124中之每一者中的最後一個電影片段。在一些實例中,表示124之間可存在不同數目之電影片段。 MPD 122可包含與表示124分開之資料結構。MPD 122可對應於圖1之資訊清單檔案66。類似地,表示124可對應於圖2之表示68。大體而言,MPD 122可包括大體上描述表示124之特性的資料,諸如寫碼及呈現特性、調適集、MPD 122所對應之設定檔、文字類型資訊、攝影機角度資訊、分級資訊、特技模式資訊(例如,指示包括時間子序列之表示的資訊)及/或用於擷取遠端週期(例如,用於在播放期間將目標性廣告插入至媒體內容中)之資訊。 標頭資料126 (當存在時)可描述片段128之特性,例如隨機存取點(RAP,其亦被稱為串流存取點(SAP))之時間位置、片段128中之哪一者包括隨機存取點、與片段128內之隨機存取點之位元組偏移、片段128之統一資源定位符(URL),或片段128之其他態樣。標頭資料130 (當存在時)可描述片段132之類似特性。另外或替代地,此類特性可完全包括於MPD 122內。 片段128、132包括一或多個經寫碼視訊樣本,其中之每一者可包括視訊資料之訊框或圖塊。片段128之經寫碼視訊樣本中之每一者可具有類似特性,例如,高度、寬度及頻寬要求。此類特性可藉由MPD 122之資料來描述,儘管此資料在圖3之實例中未說明。MPD 122可包括如3GPP規範所描述之特性,並且添加了本發明中所描述的發信資訊中之任一者或全部。 片段128、132中之每一者可與唯一的統一資源定位符(URL)相關聯。因此,片段128、132中之每一者可使用串流網路協定(諸如DASH)來獨立地擷取。以此方式,諸如用戶端器件40之目的地器件可使用HTTP GET請求來擷取片段128或132。在一些實例中,用戶端器件40可使用HTTP部分GET請求來擷取片段128或132之特定位元組範圍。 根據本發明之技術,MPD 122可包括表示藉由各別表示124囊封的各別視訊基本串流的補充增強資訊(SEI)訊息之系統級資訊。舉例而言,MPD 122可包括CICP訊息、DASH描述符或包括語法元素之字串中的一或多者。該資訊可表示以下中的一或多者:用於閉合標題的SEI訊息在視訊基本串流中之存在,在系統級上操作之單元是否能夠呈現閉合標題,用於閉合標題之描述性資訊,閉合標題之多個集合是否存在於視訊基本串流、用於高動態範圍(HDR)格式之主要色彩體積資訊、用於HDR格式之內容亮度級資訊、用於HDR格式之色彩再映射資訊(CRI)訊息,或用於HDR格式之專有資訊。 圖4為說明實例視訊檔案150之元素的方塊圖,該實例視訊檔案可對應於表示之片段,諸如圖3之片段114、124中之一者。片段128、132中之每一者可包括實質上符合圖4之實例中所說明之資料之配置的資料。視訊檔案150可據稱囊封一片段。 如上文所描述,根據ISO基本媒體檔案格式及其延伸的視訊檔案將資料儲存於一系列物件(被稱為「框」)中。在圖4之實例中,視訊檔案150包括檔案類型(FTYP)框152、電影(MOOV)框154、片段索引(sidx)框162、電影片段(MOOF)框164及電影片段隨機存取(MFRA)框166。雖然圖4表示視訊檔案之實例,但應理解,根據ISO基本媒體檔案格式及其延伸,其他媒體檔案可包括其他類型之媒體資料(例如,音訊資料、定時文字資料或其類似者),其在結構上類似於視訊檔案150之資料。 檔案類型(FTYP)框152通常描述視訊檔案150之檔案類型。檔案類型框152可包括識別描述視訊檔案150之最佳用途之規範的資料。檔案類型框152可替代地置放在MOOV框154、電影片段框164及/或MFRA框166之前。 在一些實例中,片段(諸如,視訊檔案150)可包括在FTYP框152之前的MPD更新框(未展示)。MPD更新框可包括指示對應於包括視訊檔案150之表示之MPD有待更新的資訊,以及用於更新MPD之資訊。舉例而言,MPD更新框可提供待用以更新MPD之資源的URI或URL。作為另一實例,MPD更新框可包括用於更新MPD之資料。在一些實例中,MPD更新框可緊接在視訊檔案150之片段類型(STYP)框(未展示)之後,其中STYP框可定義視訊檔案150之片段類型。在下文更詳細地論述之圖7提供關於MPD更新框之額外資訊。 在圖4之實例中,MOOV框154包括電影標頭(MVHD)框156、軌跡(TRAK)框158及一或多個電影延伸(MVEX)框160。大體而言,MVHD框156可描述視訊檔案150之一般特性。舉例而言,MVHD框156可包括描述視訊檔案150最初建立的時間、視訊檔案150經最後修改的時間、視訊檔案150之時間標度、視訊檔案150之播放持續時間的資料,或大體上描述視訊150之其他資料。 TRAK框158可包括視訊檔案150之軌跡的資料。TRAK框158可包括軌跡標頭(TKHD)框,其描述對應於TRAK框158之軌跡的特性。在一些實例中,TRAK框158可包括經寫碼視訊圖像,而在其他實例中,軌跡之經寫碼視訊圖像可包括於電影片段164中,該等電影片段可由TRAK框158及/或sidx框162之資料引用。 在一些實例中,視訊檔案150可包括多於一個軌跡。相應地,MOOV框154可包括數個TRAK框,其等於視訊檔案150中之軌跡之數目。TRAK框158可描述視訊檔案150之對應軌跡之特性。舉例而言,TRAK框158可描述對應軌跡之時間及/或空間資訊。當囊封單元30 (圖3)將參數集軌跡包括於視訊檔案(諸如,視訊檔案150)中時,類似於MOOV框154之TRAK框158的TRAK框可描述參數集軌跡之特性。囊封單元30可在描述參數集軌跡之TRAK框內發信序列級SEI訊息存在於參數集軌跡中。 MVEX框160可描述對應電影片段164之特性,例如,發信除包括於MOOV框154 (若存在)內之視訊資料之外視訊檔案150亦包括電影片段164。在串流傳輸視訊資料的上下文中,經寫碼視訊圖像可包括於電影片段164中,而非包括於MOOV框154中。相應地,所有經寫碼視訊樣本可包括於電影片段164中,而非包括於MOOV框154中。 MOOV框154可包括數個MVEX框160,其等於視訊檔案150中之電影片段164之數目。MVEX框160中之每一者可描述電影片段164中之對應一者的特性。舉例而言,每一MVEX框可包括電影延伸標頭框(MEHD)框,其描述電影片段164中的對應一者之時間持續。 如上文所指出,囊封單元30可將序列資料集儲存於視訊樣本中,其並不包括實際經寫碼視訊資料。視訊樣本可大體上對應於存取單元,其為特定時間例項下之經寫碼圖像的表示。在AVC之上下文中,經寫碼圖像包括一或多個VCL NAL單元,其含有用以構建存取單元及其他相關聯非VCL NAL單元之所有像素的資訊,諸如SEI訊息。相應地,囊封單元30可將序列資料集包括於電影片段164中之一者中,該序列資料集可包括序列級SEI訊息。囊封單元30可進一步發信存在於電影片段164中之一者中的序列資料集及/或序列級SEI訊息存在於相對應於電影片段164中之一者的MVEX框160中之一者內。 SIDX框162為視訊檔案150之可選元素。亦即,符合3GPP檔案格式或其他此類檔案格式之視訊檔案未必包括SIDX框162。根據3GPP檔案格式之實例,SIDX框可用於識別片段(例如,包含於視訊檔案150內之片段)之子片段。3GPP檔案格式將子片段定義為「具有對應媒體資料框及含有藉由電影片段框引用之資料的媒體資料框的一或多個相連電影片段框之自含式集合必須跟在電影片段框之前,但在含有關於同一軌跡之資訊的下一個電影片段框之前」。3GPP檔案格式亦指示SIDX框「含有對由框記錄之(子)片段之子片段的參考的序列。所參考之子片段在表現時間內連續。類似地,由片段索引框參考之位元組在片段內始終連續。所參考大小給出所參考材料中之位元組之數目的計數」。 SIDX框162大體上提供表示包括於視訊檔案150中之片段之一或多個子片段的資訊。舉例而言,此資訊可包括子片段開始及/或結束之播放時間、子片段之位元組偏移、子片段是否包括(例如,開始於)串流存取點(SAP)、SAP之類型(例如,SAP是瞬時解碼器再新(IDR)圖像、清潔隨機存取(CRA)圖像、斷鏈存取(BLA)圖像還是其類似者)、SAP在子片段中之位置(就播放時間及/或位元組偏移而言)及其類似者。 電影片段164可包括一或多個經寫碼視訊圖像。在一些實例中,電影片段164可包括一或多個圖像群組(GOP),其中之每一者可包括數個經寫碼視訊圖像,例如訊框或圖像。另外,如上所述,在一些實例中,電影片段164可包括序列資料集。電影片段164中之每一者可包括電影片段標頭框(MFHD,圖4中未展示)。MFHD框可描述對應電影片段之特性,諸如電影片段之序號。電影片段164可按序號之次序包括於視訊檔案150中。 MFRA框166可描述視訊檔案150之電影片段164內的隨機存取點。此可輔助執行特技模式,諸如在由視訊檔案150囊封之片段內執行對特定時間位置(亦即,播放時間)的尋找。在一些實例中,MFRA框166通常係可選的且無需包括於視訊檔案中。類似地,用戶端器件(諸如用戶端器件40)未必需要參考MFRA框166來對視訊檔案150之視訊資料進行正確解碼及顯示。MFRA框166可包括數個軌跡片段隨機存取(TFRA)框(未展示),其等於視訊檔案150之軌跡的數目,或在一些實例中,等於視訊檔案150之媒體軌跡(例如,非暗示軌跡)之數目。 在一些實例中,電影片段164可包括一或多個串流存取點(SAP),諸如IDR圖像。類似地,MFRA框166可提供對SAP在視訊檔案150內之位置的指示。相應地,視訊檔案150之時間子序列可由視訊檔案150之SAP形成。時間子序列亦可包括其他圖像,諸如取決於SAP之P訊框及/或B訊框。時間子序列之訊框及/或圖塊可配置於片段內,以使得時間子序列的取決於子序列之其他訊框/圖塊之訊框/圖塊可被正確地解碼。舉例而言,在資料之階層式配置中,用於其他資料之預測的資料亦可包括於時間子序列中。 根據本發明之技術,視訊檔案150可包括表示視訊基本串流之補充增強資訊(SEI)訊息之系統級資訊。大體而言,電影片段164表示視訊基本串流之各別部分。表示SEI訊息之系統級資訊可包括於(例如)視訊檔案150之MOOV框154或單獨框(未展示)中。 圖5為說明根據本發明之技術用於輸送媒體資料的實例方法之流程圖。出於解釋及實例之目的,圖5之方法相對於圖1之內容準備器件20及用戶端器件40來解釋。然而,應理解,在其他實例中,其他器件可經組態以執行此方法或類似方法。舉例而言,伺服器器件60可執行圖5之方法。另外,如上文所指出,圖1之伺服器器件60及內容準備器件20之功能可整合於單個器件中。 最初,內容準備器件20可編碼視訊基本串流(200)。替代地,內容準備器件20可編碼視訊基本串流且將經編碼視訊基本串流發送至內容準備器件20。內容準備器件20亦可形成視訊基本串流之SEI訊息(202)。SEI訊息之形式可係編碼過程或分離過程之部分。內容準備器件20可進一步判定用於SEI訊息之有效負載類型(204),例如基於相關視訊寫碼標準。 舉例而言,內容準備器件20可形成系統級資訊以指示以下中的任一者或全部:用於閉合標題之SEI訊息在視訊基本串流中之存在,在系統級上操作之單元是否必須能夠呈現閉合標題,用於閉合標題之描述性資訊,閉合標題之多個集合是否存在於視訊基本串流中,用於高動態範圍(HDR)格式之主要色彩體積資訊,用於HDR格式之內容亮度級資訊,用於HDR格式之色彩再映射資訊(CRI)訊息,或用於HDR格式之專有資訊。 內容準備器件20隨後可形成系統級(例如MPEG-2系統級或檔案格式級)資訊,該系統級資訊指示SEI訊息包括於視訊基本串流中且指示用於SEI訊息之有效負載類型(206)。內容準備器件20隨後可將視訊基本串流及系統級資訊囊封於位元串流中(208),諸如符合檔案格式之檔案。內容準備器件20隨後可將位元串流或其部分發送至用戶端器件40。舉例而言,位元串流之部分可係包括系統級資訊之部分,該系統級資訊指示SEI訊息存在於視訊基本串流中且指示用於該等SEI訊息之有效負載類型。為發送位元串流,內容準備器件20可首先將該位元串流發送至伺服器器件60,且伺服器器件60可響應於(例如)來自用戶端器件40之HTTP GET或部分GET請求最終將該位元串流或其部分發送至用戶端器件40。 用戶端器件40隨後可接收該位元串流或其部分(212)。用戶端器件40可解析位元串流(或其部分)以提取指示SEI訊息及用於該等SEI訊息的有效負載類型之系統級資訊。系統級資訊可包括於一或多個獨立寫碼碼點(CICP)訊息中,且因此,用戶端器件40可解析一或多個CICP訊息以提取系統級資訊。在一些實例中,CICP訊息或其他系統級資訊可包括於諸如媒體表現描述(MPD)之資訊清單檔案中。在一些實例中,系統級資訊可包括於系統級資訊及/或檔案格式資訊之DASH描述符中。 用戶端器件40可使用位元串流之系統級資訊來識別SEI訊息及用於該等SEI訊息之有效負載類型(214),且最終自視訊基本串流擷取及提取SEI訊息(216)。舉例而言,由用戶端器件40接收之位元串流可包括SEI訊息,或替代地,用戶端器件40可使用特定請求(例如HTTP GET或部分GET)來專門擷取該等SEI訊息。 用戶端器件40隨後可使用SEI訊息來擷取且處理視訊基本串流之媒體資料(218)。在一些實例中,用戶端器件40最初可使用SEI訊息來判定視訊基本串流是否適合於用戶端器件40,例如基於用戶端器件40之呈現能力視訊基本串流是否可恰當地呈現或視訊基本串流是否比其他視訊基本串流更佳。因此,若視訊基本串流適合於用戶端器件40,則用戶端器件40可擷取該視訊基本串流,但若該視訊基本串流並不適合(或若一不同的視訊基本串流更適合於用戶端器件40),則用戶端器件40可擷取不同(更適合)的視訊基本串流。因此,用戶端器件40可使用系統級資訊來判定是否擷取位元串流之剩餘部分。 此外,根據SEI訊息之習知用途,用戶端器件40亦可在視訊基本串流之媒體資料的解碼之後的呈現或其他處理期間使用SEI訊息。特定言之,用戶端器件40之檔案格式處理單元50可提取SEI訊息且將該等SEI訊息發送至用戶端器件40之適當的單元,諸如視訊解碼器48及/或視訊輸出44,其可使用SEI訊息呈現經解碼視訊資料。 以此方式,圖5之方法表示擷取媒體資料之方法的實例,該方法包括:藉由用戶端器件之串流用戶端解析囊封視訊基本串流之媒體位元串流的系統級資訊,該系統級資訊指示視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者的有效負載類型;藉由串流用戶端自系統級資訊提取一或多個SEI訊息及有效負載類型;及藉由串流用戶端將一或多個SEI訊息及有效負載類型發送至用戶端器件之一或多個處理單元。 類似地,圖5之方法亦表示傳輸視訊資料之方法的實例,該方法包括:藉由內容準備器件之囊封單元自內容準備器件之視訊編碼器接收視訊基本串流,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息;藉由囊封單元判定用於一或多個SEI訊息中之每一者的有效負載類型;藉由囊封單元將視訊基本串流囊封於媒體位元串流中;及藉由該囊封單元產生用於媒體位元串流之系統級資訊,該系統級資訊指示視訊基本串流包括一或多個SEI訊息及用於該等SEI訊息中之每一者的有效負載類型。 在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體,該通信媒體包括例如根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉助於實例而非限制,此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又,任何連接被恰當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為關於非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟和藍光光碟,其中磁碟通常以磁性方式再現資料,而光碟使用雷射以光學方式再現資料。以上之組合亦應包括於電腦可讀媒體之範圍內。 可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內,或併入組合式編解碼器中。又,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可實施於廣泛多種器件或裝置中,包括無線手持機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求由不同硬體單元來實現。確切而言,如上文所描述,可將各種單元組合於編解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文中所描述之一或多個處理器)之集合結合合適之軟體及/或韌體來提供該等單元。 已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧系統
20‧‧‧內容準備器件
22‧‧‧音訊源
24‧‧‧視訊源
26‧‧‧音訊編碼器
28‧‧‧視訊編碼器
30‧‧‧囊封單元
32‧‧‧輸出介面
40‧‧‧用戶端器件
42‧‧‧音訊輸出
44‧‧‧視訊輸出
46‧‧‧音訊解碼器
48‧‧‧視訊解碼器
50‧‧‧檔案格式處理單元
52‧‧‧擷取單元
54‧‧‧網路介面
60‧‧‧伺服器器件
62‧‧‧儲存媒體
64‧‧‧多媒體內容
66‧‧‧資訊清單檔案
68‧‧‧表示
68A‧‧‧表示
68N‧‧‧表示
70‧‧‧請求處理單元
72‧‧‧網路介面
74‧‧‧網路
100‧‧‧中間軟體單元
102‧‧‧伺服器單元
104‧‧‧快取記憶體
106‧‧‧eMBMS接收單元
110‧‧‧DASH用戶端
112‧‧‧媒體應用程式
114‧‧‧片段
120‧‧‧實例多媒體內容
122‧‧‧媒體表現描述(MPD)
124‧‧‧表示
124A‧‧‧表示
124N‧‧‧表示
126‧‧‧可選標頭資料
128‧‧‧片段
128A‧‧‧片段
128N‧‧‧片段
130‧‧‧可選標頭資料
132‧‧‧片段
132A‧‧‧片段
132N‧‧‧片段
150‧‧‧實例視訊檔案
152‧‧‧檔案類型(FTYP)框
154‧‧‧電影(MOOV)框
156‧‧‧電影標頭(MVHD)框
158‧‧‧軌跡(TRAK)框
160‧‧‧電影延伸(MVEX)框
162‧‧‧片段索引(sidx)框
164‧‧‧電影片段(MOOF)框
166‧‧‧電影片段隨機存取(MFRA)框
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
218‧‧‧步驟
圖1為說明實施用於經由網路來串流媒體資料之技術之實例系統的方塊圖。 圖2為說明擷取單元之組件的實例集合的方塊圖。 圖3為說明實例多媒體內容之元素的概念圖。 圖4為說明實例視訊檔案之元素的方塊圖,該實例視訊檔案可對應於表示之片段。 圖5為說明根據本發明之技術用於輸送媒體資料的實例方法之流程圖。

Claims (45)

  1. 一種擷取媒體資料之方法,該方法包含: 藉由一用戶端器件之一串流用戶端解析囊封一視訊基本串流之一媒體位元串流的系統級資訊,該系統級資訊指示該視訊基本串流包括一或多個補充增強資訊(SEI)訊息及該等SEI訊息中之每一者的有效負載類型; 藉由該串流用戶端自該系統級資訊提取該一或多個SEI訊息及該等有效負載類型;及 藉由該串流用戶端將該一或多個SEI訊息及該等有效負載類型發送至該用戶端器件之一或多個處理單元。
  2. 如請求項1之方法,其中該系統級資訊指示以下中的一或多者:用於閉合標題的SEI訊息在該視訊基本串流中之存在,在該系統級上操作之一單元是否必須能夠呈現該等閉合標題,用於該等閉合標題之描述性資訊,閉合標題之多個集合是否存在於該視訊基本串流中,用於一高動態範圍(HDR)格式之主要色彩體積資訊,用於該HDR格式之內容亮度級資訊,用於該HDR格式之色彩再映射資訊(CRI)訊息,或用於該HDR格式之專有資訊。
  3. 如請求項1之方法,其進一步包含藉由該串流用戶端判定是否基於該系統級資訊來擷取該媒體位元串流。
  4. 如請求項1之方法,其中該系統級資訊將資訊包含在以下中之一或多者中:用於囊封包括於該媒體位元串流中之該視訊基本串流之視訊資料之一檔案的一檔案格式級,用於該媒體位元串流之一資訊清單檔案,該媒體位元串流之一MPEG-2輸送串流(TS)級,該媒體位元串流之一MPEG媒體輸送(MMT)級,或該媒體位元串流之一HTTP動態自適應串流(DASH)級。
  5. 如請求項1之方法,其中解析該系統級資訊包含解析包括該系統級資訊之一或多個獨立寫碼碼點(CICP)訊息。
  6. 如請求項5之方法,其中解析該等CICP訊息包含解析包括該等CICP訊息之一媒體表現描述(MPD)。
  7. 如請求項1之方法,其中解析該系統級資訊包含解析包括一或多個HTTP動態自適應串流(DASH)描述符之一媒體表現描述(MPD),該等描述符包括該系統級資訊。
  8. 如請求項1之方法,其中解析該系統級資訊包含解析包括於檔案格式資料中之樣本條目資訊,該樣本條目資訊包括該系統級資訊。
  9. 如請求項8之方法,其中該檔案格式資料包含該媒體位元串流之一ISO基本媒體檔案格式(BMFF)檔案之資料。
  10. 如請求項1之方法,其中解析該系統級資訊包含解析包括具有針對該系統級資訊的值的語法元素之一字串。
  11. 如請求項10之方法,其中該字串包括指示以下中之一或多者之資訊:該視訊基本串流是否包括複數個SEI訊息有效負載類型中之一或多者,該等SEI訊息之一所含有效負載類型是否經發信,或針對該等有效負載類型中之一或多者之使用者定義欄位。
  12. 如請求項10之方法,其進一步包含解析指示該字串是否由該媒體位元串流之系統層資訊繼承的資訊。
  13. 一種用於擷取媒體資料之器件,該器件包含一或多個處理器,該一或多個處理器實施於電路中且經組態以: 解析囊封一視訊基本串流之一媒體位元串流的系統級資訊,該系統級資訊指示該視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者的有效負載類型; 自該系統級資訊提取該一或多個SEI訊息及該等有效負載類型;及 將該一或多個SEI訊息及該等有效負載類型發送至該器件之一或多個其他處理單元。
  14. 如請求項13之器件,其中該系統級資訊指示以下中的一或多者:用於閉合標題的SEI訊息在該視訊基本串流中之存在,在系統級上操作之一單元是否必須能夠呈現該等閉合標題,用於該等閉合標題之描述性資訊,閉合標題之多個集合是否存在於該視訊基本串流中,用於一高動態範圍(HDR)格式之主要色彩體積資訊,用於該HDR格式之內容亮度級資訊,用於該HDR格式之色彩再映射資訊(CRI)訊息,或用於該HDR格式之專有資訊。
  15. 如請求項13之器件,其中該一或多個處理器進一步經組態以判定是否基於該系統級資訊來擷取該媒體位元串流。
  16. 如請求項13之器件,其中該系統級資訊將資訊包含在以下中之一或多者中:用於囊封包括於該媒體位元串流中之該視訊基本串流之視訊資料之一檔案的一檔案格式級,用於該媒體位元串流之一資訊清單檔案,該媒體位元串流之一MPEG-2輸送串流(TS)級,該媒體位元串流之一MPEG媒體輸送(MMT)級,或該媒體位元串流之一HTTP動態自適應串流(DASH)級。
  17. 如請求項13之器件,其中該一或多個處理器經組態以解析包括該系統級資訊之一或多個獨立寫碼碼點(CICP)訊息。
  18. 如請求項17之器件,其中為解析該等CICP訊息,該一或多個處理器經組態以解析包括該等CICP訊息之一媒體表現描述(MPD)。
  19. 如請求項13之器件,其中為解析該系統級資訊,該一或多個處理器經組態以解析包括一或多個HTTP動態自適應串流(DASH)描述符之一媒體表現描述(MPD),該等描述符包括該系統級資訊。
  20. 如請求項13之器件,其中為解析該系統級資訊,該一或多個處理器經組態以解析包括於檔案格式資料中之樣本條目資訊,該樣本條目資訊包括該系統級資訊。
  21. 如請求項13之器件,其中為解析該系統級資訊,該一或多個處理器經組態以包含解析包括具有針對該系統級資訊的值的語法元素之一字串。
  22. 一種用於擷取媒體資料之器件,該器件包含: 用於解析囊封一視訊基本串流之一媒體位元串流的系統級資訊之構件,該系統級資訊指示該視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者的有效負載類型; 用於自該系統級資訊提取該一或多個SEI訊息及該等有效負載類型之構件;及 用於將該一或多個SEI訊息及該等有效負載類型發送至該器件之一或多個處理單元之構件。
  23. 一種其上儲存有指令之電腦可讀儲存媒體,該等指令在執行時使得一器件之一處理器進行以下操作: 解析囊封一視訊基本串流之一媒體位元串流的系統級資訊,該系統級資訊指示該視訊基本串流包括一或多個補充增強資訊(SEI)訊息及用於該等SEI訊息中之每一者的有效負載類型; 自該系統級資訊提取該一或多個SEI訊息及該等有效負載類型;及 將該一或多個SEI訊息及該等有效負載類型發送至該器件之一或多個處理單元。
  24. 一種傳輸媒體資料之方法,該方法包含: 藉由一內容準備器件之一囊封單元自該內容準備器件之一視訊編碼器接收一視訊基本串流,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息; 藉由該囊封單元判定用於該一或多個SEI訊息中之每一者的有效負載類型; 藉由該囊封單元將該視訊基本串流囊封於一媒體位元串流中;及 藉由該囊封單元產生用於該媒體位元串流之系統級資訊,該系統級資訊指示該視訊基本串流包括該一或多個SEI訊息及用於該等SEI訊息中之每一者的該等有效負載類型。
  25. 如請求項24之方法,其中該系統級資訊指示以下中的一或多者:用於閉合標題的SEI訊息在該視訊基本串流中之存在,在系統級上操作之一單元是否必須能夠呈現該等閉合標題,用於該等閉合標題之描述性資訊,閉合標題之多個集合是否存在於該視訊基本串流中,用於一高動態範圍(HDR)格式之主要色彩體積資訊,用於該HDR格式之內容亮度級資訊,用於該HDR格式之色彩再映射資訊(CRI)訊息,或用於該HDR格式之專有資訊。
  26. 如請求項24之方法,其中該系統級資訊將資訊包含在以下中之一或多者中:用於囊封包括於該媒體位元串流中的該視訊基本串流之視訊資料的一檔案之一檔案格式級,用於該媒體位元串流之一資訊清單檔案,該媒體位元串流之一MPEG-2傳送輸送(TS)級,該媒體位元串流之一MPEG媒體輸送(MMT)級,或該媒體位元串流之一HTTP動態自適應串流(DASH)級。
  27. 如請求項24之方法,其中產生該系統級資訊包含產生包括該系統級資訊之一或多個獨立寫碼碼點(CICP)訊息。
  28. 如請求項27之方法,其中產生該等CICP訊息包含產生包括該等CICP訊息之一媒體表現描述(MPD)。
  29. 如請求項24之方法,其中產生該系統級資訊包含產生發信一或多個HTTP動態自適應串流(DASH)描述符之一媒體表現描述(MPD),該等描述符包括該系統級資訊。
  30. 如請求項24之方法,其中產生該系統級資訊包含產生包括於檔案格式資料中之樣本條目資訊,該樣本條目資訊包括該系統級資訊。
  31. 如請求項30之方法,其中該檔案格式資料包含該媒體位元串流之一ISO基本媒體檔案格式(BMFF)檔案之資料。
  32. 如請求項24之方法,其中產生該系統級資訊包含產生包括具有針對該系統級資訊的值的語法元素之一字串。
  33. 如請求項32之方法,其中該字串包括指示以下中之一或多者之資訊:該視訊基本串流是否包括複數個SEI訊息有效負載類型中之一或多者,該等SEI訊息之一所含有效負載類型是否經發信,或針對該等有效負載類型中之一或多者之使用者定義欄位。
  34. 如請求項32之方法,其進一步包含產生指示該字串是否由該媒體位元串流之系統層資訊繼承的資訊。
  35. 一種用於傳輸媒體資料之器件,該器件包含一或多個處理器,該一或多個處理器實施於電路中且經組態以: 自一視訊編碼器接收一視訊基本串流,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息; 判定用於該一或多個SEI訊息中之每一者的有效負載類型; 將該視訊基本串流囊封於一媒體位元串流中;及 產生用於該媒體位元串流之系統級資訊,該系統級資訊指示該視訊基本串流包括該一或多個SEI訊息及用於該等SEI訊息中之每一者的該等有效負載類型。
  36. 如請求項35之器件,其中該系統級資訊指示以下中的一或多者:用於閉合標題的SEI訊息在該視訊基本串流中之存在,在該系統級上操作之一單元是否必須能夠呈現該等閉合標題,用於該等閉合標題之描述性資訊,閉合標題之多個集合是否存在於該視訊基本串流中,用於一高動態範圍(HDR)格式之主要色彩體積資訊,用於該HDR格式之內容亮度級資訊,用於該HDR格式之色彩再映射資訊(CRI)訊息,或用於該HDR格式之專有資訊。
  37. 如請求項35之器件,其中該系統級資訊將資訊包含在以下中之一或多者中:用於囊封包括於該媒體位元串流中之該視訊基本串流之視訊資料之一檔案的一檔案格式級,用於該媒體位元串流之一資訊清單檔案,該媒體位元串流之一MPEG-2輸送串流(TS)級,該媒體位元串流之一MPEG媒體輸送(MMT)級,或該媒體位元串流之一HTTP動態自適應串流(DASH)級。
  38. 如請求項35之器件,其中為產生該系統級資訊,該一或多個處理器經組態以產生包括該系統級資訊之一或多個獨立寫碼碼點(CICP)訊息。
  39. 如請求項38之器件,其中該一或多個處理器經組態以產生包括該等CICP訊息之一媒體表現描述(MPD)。
  40. 如請求項35之器件,其中該一或多個處理器經組態以產生發信一或多個HTTP動態自適應串流(DASH)描述符之一媒體表現描述(MPD),該等描述符包括該系統級資訊。
  41. 如請求項35之器件,其中該一或多個處理器經組態以產生包括於檔案格式資料中之樣本條目資訊,該樣本條目資訊包括該系統級資訊。
  42. 如請求項41之器件,其中該檔案格式資料包含該媒體位元串流之一ISO基本媒體檔案格式(BMFF)檔案之資料。
  43. 如請求項35之器件,其中該一或多個處理器經組態以產生包括具有針對該系統級資訊的值的語法元素之一字串。
  44. 一種用於傳輸媒體資料之器件,該器件包含: 用於自一視訊編碼器接收一視訊基本串流之構件,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息; 用於判定用於該一或多個SEI訊息中之每一者的有效負載類型之構件; 用於將該視訊基本串流囊封於一媒體位元串流中之構件;及 用於產生用於該媒體位元串流之系統級資訊之構件,該系統級資訊指示該視訊基本串流包括該一或多個SEI訊息及用於該等SEI訊息中之每一者的該等有效負載類型。
  45. 一種其上儲存有指令之電腦可讀儲存媒體,該等指令在執行時使得一處理器進行以下操作: 自一視訊編碼器接收一視訊基本串流,該視訊基本串流包括一或多個補充增強資訊(SEI)訊息; 判定用於該一或多個SEI訊息中之每一者的有效負載類型; 將該視訊基本串流囊封於一媒體位元串流中;及 產生用於該媒體位元串流之系統級資訊,該系統級資訊指示該視訊基本串流包括該一或多個SEI訊息及用於該等SEI訊息中之每一者的該等有效負載類型。
TW106128732A 2016-08-24 2017-08-24 用於媒體資料串流之補充增強資訊軌跡之系統級發信 TW201813411A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662379145P 2016-08-24 2016-08-24
US62/379,145 2016-08-24
US15/684,676 2017-08-23
US15/684,676 US10834153B2 (en) 2016-08-24 2017-08-23 System level signaling of SEI tracks for media data streaming

Publications (1)

Publication Number Publication Date
TW201813411A true TW201813411A (zh) 2018-04-01

Family

ID=61244138

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106128732A TW201813411A (zh) 2016-08-24 2017-08-24 用於媒體資料串流之補充增強資訊軌跡之系統級發信

Country Status (9)

Country Link
US (1) US10834153B2 (zh)
EP (1) EP3504878B1 (zh)
JP (1) JP2019525677A (zh)
KR (1) KR102549656B1 (zh)
CN (1) CN109644282B (zh)
BR (1) BR112019003284A2 (zh)
CA (1) CA3031679A1 (zh)
TW (1) TW201813411A (zh)
WO (1) WO2018039469A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming
EP3525472A1 (en) 2016-10-04 2019-08-14 Sony Corporation Reception device, transmission device, and data processing method
EP3738095A4 (en) * 2018-01-11 2021-05-05 Dolby Laboratories Licensing Corporation LIGHT LEVEL MANAGEMENT WITH ADAPTIVE METADATA BY CONTENT SCAN
EP3777136A4 (en) * 2018-04-03 2021-05-19 Huawei Technologies Co., Ltd. MULTIMEDIA DATA PROCESSING METHOD AND APPARATUS
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
CN114630138B (zh) * 2022-03-14 2023-12-08 上海哔哩哔哩科技有限公司 配置信息下发方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101218827B (zh) * 2005-07-06 2013-01-30 汤姆森许可贸易公司 对包括图像序列和标识的视频内容进行编码的方法和设备
EP2257067A1 (en) * 2009-05-29 2010-12-01 Thomson Licensing Method for inserting watermark assistance data in a bitstream, method of watermarking said bitstream, device implementing the method of watermarking and bitstream comprising the watermark assistance data
KR101797495B1 (ko) * 2010-06-27 2017-11-15 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9357275B2 (en) * 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
EP2868092A4 (en) * 2012-07-02 2016-05-04 Nokia Technologies Oy METHOD AND DEVICE FOR VIDEO CODING
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
CN105165001B (zh) * 2013-04-30 2019-08-09 索尼公司 发送设备、发送方法、接收设备、以及接收方法
CN105474631A (zh) * 2013-08-20 2016-04-06 索尼公司 再现装置、再现方法以及记录介质
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
KR101797505B1 (ko) * 2013-11-13 2017-12-12 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
EP3073742A4 (en) * 2013-11-21 2017-06-28 LG Electronics Inc. Signal transceiving apparatus and signal transceiving method
US10178397B2 (en) * 2014-03-24 2019-01-08 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10880565B2 (en) * 2014-03-24 2020-12-29 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
US20170324981A1 (en) * 2014-06-19 2017-11-09 Sharp Kabushiki Kaisha Method for decoding a video bitstream
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming

Also Published As

Publication number Publication date
CN109644282A (zh) 2019-04-16
BR112019003284A2 (pt) 2019-06-04
JP2019525677A (ja) 2019-09-05
EP3504878B1 (en) 2022-03-09
WO2018039469A1 (en) 2018-03-01
KR20190039724A (ko) 2019-04-15
CN109644282B (zh) 2021-10-15
US20180063574A1 (en) 2018-03-01
US10834153B2 (en) 2020-11-10
KR102549656B1 (ko) 2023-06-30
EP3504878A1 (en) 2019-07-03
CA3031679A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
TWI774744B (zh) 在使用mime類型參數之網路視頻串流中發信重要視頻資訊
CN109076238B (zh) 通过http在动态自适应流式传输中用信号传送虚拟现实视频
US11223883B2 (en) Segment types as delimiters and addressable resource identifiers
CN110089122B (zh) 用于检索媒体数据的方法、媒体装置及计算机可读存储媒体
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
CN111656796A (zh) 动态条件性广告插入
KR102549656B1 (ko) 미디어 데이터 스트리밍을 위한 sei 트랙들의 시스템 레벨 시그널링
TW201947937A (zh) 用於資訊清單檔案中之網路串流之媒體資料之發信丟失區段
TW201742463A (zh) 樣本條目及隨機存取
TW201743614A (zh) 樣本條目及隨機存取
CN112771876B (zh) 检索媒体数据的方法和设备以及发送媒体数据的方法和设备
TWI700917B (zh) 使用全向媒體格式處理媒體資料