TWI787207B - 用於發送遺失或損壞視訊資料信號之系統及方法 - Google Patents

用於發送遺失或損壞視訊資料信號之系統及方法 Download PDF

Info

Publication number
TWI787207B
TWI787207B TW106133859A TW106133859A TWI787207B TW I787207 B TWI787207 B TW I787207B TW 106133859 A TW106133859 A TW 106133859A TW 106133859 A TW106133859 A TW 106133859A TW I787207 B TWI787207 B TW I787207B
Authority
TW
Taiwan
Prior art keywords
video
media
sample
frame
frames
Prior art date
Application number
TW106133859A
Other languages
English (en)
Other versions
TW201818727A (zh
Inventor
益魁 王
湯瑪士 史塔克漢莫
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201818727A publication Critical patent/TW201818727A/zh
Application granted granted Critical
Publication of TWI787207B publication Critical patent/TWI787207B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

在各種實施中，描述用於提供一檔案包括損壞視訊圖框之一指示的方法、裝置及電腦可讀媒體。舉例而言，該檔案可包括用以指示與一特定播放時戳及播放持續時間相關聯之一或多個視訊圖框被損壞的一指示符。該指示符亦可經組態為與損壞視訊圖框及遺失視訊圖框兩者相關聯的一統一指示符。在一些實施中，發送損壞視訊圖框之存在信號可以彼等經損壞視訊圖框自該媒體檔案省略之形式出現。在各種實施中，對一或多個現有媒體串流傳輸方案之修改及/或添加亦可在一接收器器件請求一媒體片段之前向該接收器器件指示該媒體片段含有遺失(或另外不可解碼)之圖框。

Description

用於發送遺失或損壞視訊資料信號之系統及方法
本申請案係關於發送遺失或損壞之視訊資料信號。發信號資訊可為與一或多個媒體檔案格式(諸如ISO基本媒體檔案格式(ISOBMFF)或其他合適檔案格式、與串流傳輸應用程式(諸如經由HTTP之動態自適應串流傳輸(DASH)、HTTP即時串流傳輸(HLS)、共同媒體應用程式格式(CMAF)及/或其他合適串流傳輸應用程式)相關聯之檔案格式)相關聯的媒體檔案之部分。
視訊寫碼標準包括ITU-T H.261；ISO/IEC MPEG-1 Visual；ITU-T H.262或ISO/IEC MPEG-2 Visual；ITU-T H.263；ISO/IEC MPEG-4 Visual；ITU-T H.264或ISO/IEC MPEG-4 AVC，包括其稱為可調式視訊寫碼(SVC)之可調式視訊寫碼擴展及其多視圖視訊寫碼擴展(即多視圖視訊寫碼(MVC)擴展)；及亦稱為ITU-T H.265及ISO/23008-2的高效視訊寫碼(HEVC)，包括其可調式寫碼擴展(亦即，可調式高效視訊寫碼SHVC)及多視圖擴展(亦即，多視圖高效視訊寫碼MV-HEVC)。
在一些實施例中，描述用於指示媒體內容包括遺失及/或損壞視訊資料的技術。舉例而言，一指示可被添加至一檔案，該指示指示該檔案中之媒體內容包括遺失及/或損壞之媒體資料。在另一實例中，遺失及/或損壞之媒體資料可藉由不允許此媒體資料包括於檔案及/或位元串流中而指示。舉例而言，可定義傳輸器側約束條件，該約束條件需要編碼器或其他傳輸器側器件在檔案中(囊封中)及/或片段中(分段中)不包括損壞之媒體圖框。遺失或損壞之視訊資料可包括視訊圖框(被稱作遺失或損壞視訊圖框)之視訊資料、視訊片段(被稱作遺失或損壞之視訊片段)之視訊資料或其他遺失之視訊資料。藉由發送遺失及/或損壞之視訊資料信號，視訊播放器器件可在處理媒體內容時適當地再現或以其他方式處置遺失及/或損壞之視訊圖框。 根據至少一個實例，提供一種處理視訊資料之方法。方法包含獲得複數個視訊資料圖框，判定該複數個圖框中之至少一個圖框被損壞，產生該至少一個圖框損壞之指示，及產生包括該指示之媒體檔案。 在另一實例中，提供一種用於處理視訊資料之裝置。該裝置可包含經組態以儲存視訊資料之記憶體及處理器(例如，處理電路)。處理器經組態以獲得複數個視訊資料圖框，判定該複數個圖框中之至少一個圖框被損壞，產生該至少一個圖框損壞之指示，及產生包括該指示之媒體檔案。 在另一實例中，提供一種其上儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器：獲得複數個視訊資料圖框；判定該複數個圖框中之至少一個圖框被損壞；產生該至少一個圖框損壞之指示；及產生包括該指示之媒體檔案。 在另一實例中，提供一種用於處理視訊資料之裝置。裝置包含：用於獲得複數個視訊資料圖框的構件；用於判定該複數個圖框中之至少一個圖框被損壞的構件；用於產生該至少一個圖框損壞之指示的構件；及用於產生包括該指示之媒體檔案的構件。 在一些態樣中，視訊資料包括對應於該複數個圖框中之至少一個圖框的第一資料。在此等狀況下，第一資料對於正確地解碼至少一個圖框係不充足的。 在一些態樣中，至少一個圖框為框間預測鏈之部分，且視訊資料包括對應於框間預測鏈之第一資料。在此等狀況下，第一資料對於正確地解碼至少一個圖框係不充足的。 在一些態樣中，視訊資料可包括複數個視訊樣本。該複數個視訊樣本中之每一者包括該複數個圖框中之一或多個圖框。該複數個視訊樣本包括包括損壞之至少一個圖框的第一視訊樣本。第一視訊樣本係與識別包括於第一視訊樣本中之內容之類型的類型識別符相關聯。指示可包括類型識別符。 在一些態樣中，類型識別符可指示第一視訊樣本包括損壞之圖框中的至少一者。類型識別符亦可指示媒體類型及用以處理媒體檔案的解碼器之類型。在一些態樣中，類型識別符包括樣本項類型。 在一些態樣中，媒體檔案係基於國際標準組織(ISO)基本媒體檔案格式(ISOBMFF)。 在一些態樣中，媒體檔案可包括複數個視訊資料片段之清單表示。複數個片段可包括第一片段及第二片段。第一片段及第二片段中之每一者可包括該複數個圖框中之一或多個圖框。第二片段可進一步包括該複數個圖框中之一或多個遺失圖框。該指示可為第一指示。在一些態樣中，方法、裝置及電腦可讀媒體可進一步包含：判定第二片段包括一或多個遺失圖框；產生該一或多個遺失圖框之第二指示；及在媒體檔案中包括該第二指示。 在一些態樣中，媒體檔案係基於媒體呈現描述(MPD)格式。該清單表示可包括一或多個調適集合。一或多個調適集合中之每一者包括包含一或多個遺失圖框之一或多個表示或一或多個子表示中的至少一或多者。一或多個表示或一或多個子表示中之每一者係與一或多個片段相關聯。第二指示包括與包括於一或多個表示或一或多個子表示中之一或多個遺失圖框相關聯的一或多個元素。一或多個元素係與包括第二片段之時戳及持續時間的屬性之集合相關聯。 在一些態樣中，清單表示包括用於擷取第一片段而非第二片段的資訊。第二指示包含用於擷取第二片段的資訊之省略。 在一些態樣中，清單表示包括與第二片段相關聯之本文指示符。本文指示符可指示第二片段包括一或多個遺失圖框。第二指示可包括本文指示符。 在一些態樣中，媒體檔案係基於HTTP即時串流傳輸(HLS)播放清單格式。該複數個片段中之每一片段係與傳輸串流(TS)檔案相關聯。清單表示包括一組標籤。本文指示符為該組標籤中之與第二片段相關聯的標籤。 在一些態樣中，媒體檔案係基於共同媒體應用程式格式(CMAF)且包括播放清單。複數個片段中之每一片段係與ISOBMFF相關聯。清單表示可包括一組標籤，且本文指示符為與第二片段相關聯的該組標籤中之一標籤。 在一些態樣中，裝置包含具有用於捕捉圖像之攝影機的行動器件。 根據至少一個其他實例，提供一種處理媒體檔案之方法。方法包含獲得包括媒體內容之媒體檔案，該媒體內容包括複數個視訊資料圖框。方法進一步包含基於媒體檔案中之指示判定該複數個圖框包括至少一個損壞之圖框。方法進一步包含基於該指示處理至少一個損壞之圖框。 根據另一實例，提供一種用於處理媒體檔案之裝置。裝置可包含經組態以儲存媒體檔案之記憶體及處理器。處理器經組態以獲得包括媒體內容之媒體檔案。媒體內容包括複數個視訊資料圖框。處理器經進一步組態以基於媒體檔案中之指示判定該複數個圖框包括至少一個損壞之圖框。處理器經進一步組態以基於該指示處理至少一個損壞之圖框。 在另一實例中，提供一種其上儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器：獲得包括媒體內容之媒體檔案，該媒體內容包括複數個視訊資料圖框；基於媒體檔案中之指示判定該複數個圖框包括至少一個損壞之圖框；及基於該指示處理至少一個損壞之圖框。 在另一實例中，提供一種用於處理視訊資料之裝置。裝置包含：用於獲得包括媒體內容之媒體檔案的構件，該媒體內容包括複數個視訊資料圖框；用於基於媒體檔案中之指示判定該複數個圖框包括至少一個損壞之圖框的構件；及用於基於該指示處理該至少一個損壞之圖框的構件。 在一些態樣中，視訊資料包括對應於該複數個圖框中之至少一個圖框的第一資料。在此等態樣中，第一資料對於正確地解碼至少一個圖框係不充足的。 在一些態樣中，至少一個圖框為框間預測鏈之部分，且視訊資料包括對應於框間預測鏈之第一資料。在此等狀況下，第一資料對於正確地解碼至少一個圖框係不充足的。 在一些態樣中，媒體內容包括複數個視訊樣本，其中該複數個視訊樣本中之每一者包括該複數個圖框中之一或多個圖框。該複數個視訊樣本包括包括損壞之至少一個圖框的第一視訊樣本。第一視訊樣本係與識別包括於第一視訊樣本中之內容之類型的類型識別符相關聯。在此等態樣中，該指示包括類型識別符。 在一些態樣中，類型識別符指示視訊樣本包括損壞之圖框中的該至少一者。在一些狀況下，類型識別符指示媒體類型及用以處理媒體檔案的解碼器之類型。在一些態樣中，類型識別符包括樣本項類型。 在一些態樣中，媒體檔案係基於國際標準組織(ISO)基本媒體檔案格式(ISOBMFF)。 在一些態樣中，基於指示處理至少一個損壞之圖框包含：基於該指示識別媒體內容之對應於損壞之至少一個圖框的一部分；及跳過媒體內容之該部分的處理。 在一些態樣中，媒體檔案包括複數個視訊資料片段之清單表示。複數個片段包括第一片段及第二片段。第一片段及第二片段中之每一者包括該複數個圖框中之一或多個圖框。第二片段進一步包括該複數個圖框中之一或多個遺失圖框。該指示為第一指示，且媒體檔案進一步包括用以指示第二片段包括該複數個圖框中之一或多個遺失圖框的第二指示。 在一些態樣中，媒體檔案係基於媒體呈現描述(MPD)格式，且清單表示包括一或多個調適集合。一或多個調適集合中之每一者包括包含一或多個遺失圖框之一或多個表示或一或多個子表示中的至少一或多者。該一或多個表示或該一或多個子表示中之每一者係與一或多個片段相關聯。第二指示包括與包括於與第二片段相關聯之一或多個表示或子表示中之一或多個遺失圖框相關聯的一或多個元素。一或多個元素係與包括第二片段之時戳及持續時間的屬性之集合相關聯。 在一些態樣中，清單表示包括用於擷取第一片段而非第二片段的資訊。在此等態樣中，第二指示包含用於擷取第二片段的資訊之省略。 在一些態樣中，清單表示包括與第二片段相關聯之本文指示符。本文指示符指示第二片段包括一或多個遺失圖框。在此等態樣中，第二指示包括本文指示符。 在一些態樣中，媒體檔案係基於HTTP即時串流傳輸(HLS)播放清單格式，且該複數個片段中之每一片段係與傳輸串流(TS)檔案相關聯。在此等態樣中，清單表示包括一組標籤，且本文指示符為該組標籤中之與第二片段相關聯的標籤。 在一些態樣中，媒體檔案係基於共同媒體應用程式格式(CMAF)且包括播放清單。該複數個片段中之每一片段係與ISOBMFF相關聯。在此等態樣中，清單表示包括一組標籤，且本文指示符為該組標籤中之與第二片段相關聯的標籤。 在一些態樣中，基於該指示處理至少一個損壞之圖框包含傳輸請求至串流伺服器以請求第三片段代替第二片段。 在一些態樣中，裝置進一步包含用於顯示該複數個視訊資料圖框中之一或多者的顯示器。 在一些態樣中，裝置包含具有用於捕捉圖像之攝影機的行動器件。 此發明內容並不意欲確定所主張之標的物之關鍵或基本特徵，亦不意欲孤立使用以確定所主張之標的物的範疇。應參照此專利之整個說明書之合適部分、任何或所有圖式及每一申請專利範圍來理解標的物。 當參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
下文提供本發明之某些態樣及實施例。此等態樣及實施例之一些可獨立地應用且其中之一些可以將對熟習此項技術者顯而易見之組合來應用。在以下描述中，出於解釋之目的，闡述眾多特定細節以便提供對本發明之實施例之透徹理解。然而，各種實施例可在無此等特定細節之情況下得以實踐將是顯而易見的。圖式及描述不意欲為限定性的。 隨後描述僅提供例示性實施例且並不意欲限制本發明之範疇、可應用性或組態。相反地，例示性實施例之隨後描述將為熟習此項技術者提供用於實施例示性實施例之能夠實現之描述。應理解，可在不脫離如所附申請專利範圍中所闡述之本發明之精神及範疇的情況下對元件之功能及配置做出各種變化。 在以下描述中給定特定細節從而提供實施例之透徹理解。然而，一般技術者應瞭解，實施例可在無需此等具體細節之情況下實踐。舉例而言，電路、系統、網路、處理程序及其他組件可在方塊圖形式中展示為組件以便在不必要細節下不與實施例混淆。在其他情況下，可在無不必要之細節的情況下展示熟知電路、處理程序、演算法、結構及技術以便避免混淆實施例。 又，應注意，個別實施例可描述為經描繪為流程圖、作業圖、資料流程圖、結構圖或方塊圖之處理程序。儘管流程圖可能將操作描述為順序處理程序，但許多操作可並行地或同時來執行。另外，可再配置操作之次序。處理程序當其操作完成時終止，但可具有不包括於圖中之額外步驟。處理程序可對應於方法、功能、程序、次常式、子程式，等等。當處理程序對應於函式時，其終止對應於函式返回至呼叫函式或主函式。 術語「電腦可讀媒體」包括(但不限於)攜帶型或非攜帶型儲存器件、光儲存器件及能夠儲存、含有或攜載指令及/或資料的各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中資料可被儲存且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、光學儲存媒體(諸如緊密光碟(CD)或數位化通用光碟(DVD))、快閃記憶體、記憶體或記憶體器件。電腦可讀媒體可具有儲存於其上之碼及/或機器可執行指令，該等碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模組、套裝軟體、種類或指令、資料結構或程式語句之任何組合。可藉由傳遞及/或接收資訊、資料、論證、參數或記憶體內容將一碼段耦接至另一碼段或硬體電路。資訊、論證、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何合適的方式傳遞、轉遞或傳輸。 此外，可由硬體、軟體、韌體、中間軟體、微碼、硬件描述語言或其任何組合實施實施例。當以軟體、韌體、中間軟體或微碼實施時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。一或多個處理器可執行必要任務。 視訊圖框可經編碼及/或壓縮用於儲存及/或傳輸。編碼及/或壓縮可使用視訊編解碼器(例如，H.265/HEVC相容編碼解碼器、H.264/AVC相容編解碼器或其他合適編解碼器)實現，且產生經壓縮之視訊位元串流或位元串流群組。使用視訊編解碼器對視訊資料進行編碼下文進一步詳細地描述。 一或多個經編碼視訊位元串流可經儲存及/或囊封於媒體格式或檔案格式中。一或多個所儲存位元串流可(例如)經由網路傳輸至接收器器件，該接收器器件可解碼並再現視訊以供顯示。此接收器器件本文中可被稱作視訊顯示器件。舉例而言，串流傳輸伺服器可自經編碼視訊資料(例如，使用國際標準組織(ISO)基本媒體檔案格式，及/或經最佳化用於串流傳輸之其他檔案格式)產生經囊封檔案。舉例而言，視訊編解碼器可編碼視訊資料，且囊封引擎可藉由將視訊資料囊封於一或多個ISO格式媒體檔案中而產生媒體檔案。替代地或另外，一或多個所儲存位元串流可直接自儲存媒體提供至接收器器件。 接收器器件亦可實施編解碼器以解碼及/或解壓縮經編碼視訊位元串流。接收器器件可支援媒體或檔案格式，其用以將視訊位元串流封裝至一檔案(或多個檔案)中、提取視訊(及亦可能音訊)資料以產生經編碼視訊資料。舉例而言，接收器器件剖析具有經囊封視訊資料之媒體檔案以產生經編碼視訊資料，且接收器器件中之編解碼器可解碼經編碼視訊資料。接收器器件可接著發送經解碼視訊信號至再現器件(例如，視訊顯示器件)。再現器件可以捕捉視訊之相同圖框速率或以不同圖框速率再現視訊。 檔案格式標準可定義用於將視訊(及亦可能音訊)資料封裝及解封裝成一或多個檔案的格式。檔案格式標準包括國際標準化組織(ISO)基本媒體檔案格式(定義於ISO/IEC 14496-12中之ISOBMFF)；及自ISOBMFF導出之其他檔案格式，包括運動圖像專家組(MPEG)MPEG-4檔案格式(定義於ISO/IEC 14496-15中)、第三代合作夥伴計劃(3GPP)檔案格式(定義於3GPP TS 26.244中)及進階視訊寫碼(AVC)檔案格式及高效率視訊寫碼(HEVC)檔案格式(皆定義於ISO/IEC 14496-15中)。ISO/IEC 14496-12及14496-15之最新版本的草案本文可分別在http://phenix.int-evry.fr/mpeg/ doc_end_user/documents/111_Geneva/wg11/w15177-v6-w15177.zip及 http://phenix.int-evry.fr/mpeg/doc_end_user/documents/112_Warsaw/wg11/w15479-v2-w15479.zip處得到。 ISOBMFF用作許多編解碼器囊封格式(例如，AVC檔案格式或任何其他合適之編解碼器囊封格式)、以及用於許多多媒體容器格式(例如，MPEG-4檔案格式、3GPP檔案格式(3GP)、DVB檔案格式或任何其他合適之多媒體容器格式)之基礎。ISOBMFF基本檔案格式可用於連續媒體，其亦稱作串流傳輸媒體。 除了連續媒體(例如，音訊及視訊)之外，靜態媒體(例如，影像)及後設資料可儲存於遵循ISOBMFF之檔案中。根據ISOBMFF構造之檔案可以用於許多目的(包括本端媒體檔案播放、遠端檔案之漸進式下載)，用作諸如經由HTTP之動態自適應串流傳輸(DASH)之媒體串流傳輸方案、使用共同媒體應用程式格式(CMAF)之媒體串流傳輸方案等的片段，用作用於待串流傳輸之內容的容器(在此狀況下，容器包括封包化指令)，用於所接收即時媒體位元串流之記錄，或其他用途。 媒體檔案或媒體位元串流可在經編碼資料中包括損壞或遺失視訊圖框。遺失圖框可在彼遺失圖框之經編碼資料全部丟失時出現。損壞之圖框可以不同方式出現。舉例而言，圖框可在用於彼圖框之經編碼資料之部分丟失時變得損壞。作為另一實例，圖框可在該圖框為框間預測鏈之部分，且框間預測鏈之某其他經編碼資料丟失以使得該圖框不可正確地解碼時變得損壞。 經編碼資料可歸因於各種原因包括損壞或遺失視訊圖框。舉例而言，資料損失可在媒體位元串流(經壓縮、囊封位元串流)之傳輸期間出現。結果，媒體檔案可經部分接收並被記錄，且因此在所記錄檔案中存在遺失或損壞視訊圖框。如先前所提及，遺失圖框為其經寫碼資料全部丟失之圖框，且損壞之圖框為其經寫碼資料之部分丟失或其框間預測鏈中之圖框的一些寫碼資料丟失以使得損壞之圖框不可正確地解碼的圖框。作為另一實例，經編碼媒體資料可在經囊封以供在伺服器處傳輸之前變得損壞(例如，歸因於媒體檔案損壞)，或甚至遺失。作為另一實例，編碼器(或轉碼器)可在編碼該媒體資料中崩潰或失效。編碼器失效可導致一些圖框不被編碼(及不包括)於經編碼資料中，從而使得經編碼資料包括遺失圖框。編碼器失效亦可導致部分編碼圖框及在經編碼資料中包括部分資料。若部分資料並不足以正確地解碼圖框，則經編碼資料亦可包括損壞之圖框。 如上文所提及，資料丟失或不存在可在媒體編碼器處置視訊資料之前出現。在一些狀況下，圖框可在編碼期間藉由編碼器而跳過。在此等狀況下，編碼器可在不遺失或跳過圖框情況下編碼位元串流，且位元串流可具有非恆定圖框速率。實際上，對於視訊，直接在遺失或跳過圖框之前的圖框將具有較長播放持續時間，且對於音訊，遺失或跳過圖框被視為沉默圖框。在一些狀況下，對於視訊之每一遺失或跳過圖框，編碼器可使用最小數目個位元編碼虛設視訊圖框，在此狀況下虛設視訊圖框之解碼結果恰好與按輸出次序之前一圖框相同。對於話音/音訊，編碼沉默圖框，因此保持位元串流具有恆定圖框速率。在任一狀況下，經寫碼媒體位元串流被視為不具有遺失或損壞之圖框，且檔案中之媒體囊封及/或串流傳輸格式可保持與不存在此資料丟失/不存在或圖框跳過之情況相同。 如前所提及，資料丟失或不存在可在編碼及/或轉碼期間出現。在此等狀況下，取決於崩潰或失效發生之時，亦可存在遺失及/或損壞之媒體圖框。對於在媒體編碼器(囊封及/或分段)之後的媒體處理功能性，處置可與在編碼器之後出現的資料丟失之情況相同。 ISOBMFF及其導出檔案格式(例如，AVC檔案格式或其他導出檔案格式)在許多多媒體應用中廣泛用於媒體內容(例如，包括視訊、音訊及計時文字)之儲存及囊封。然而，ISOBMFF及自ISOBMFF導出之檔案格式不包括用於發送損壞視訊圖框信號的規範。此外，在媒體串流傳輸方案中亦缺少發送遺失或損壞視訊圖框信號之機構。 發信號方案之缺少可導致在處理具有遺失或損壞視訊圖框之經編碼資料時接收器器件中之不合需要的行為。舉例而言，因為圖框之經編碼資料遺失或損壞，所以接收器器件可嘗試解碼不可被解碼之圖框。結果，解碼器可崩潰或停機。此外，在媒體串流傳輸會話期間，接收器器件可嘗試擷取並播放遺失或包括空圖框之媒體片段檔案。當接收器器件未能擷取並播放彼媒體片段檔案時，媒體串流傳輸會話將變得中斷。兩種狀況造成再現媒體串流過程中之擾亂，從而導致不良使用者體驗。 在各種實施中，對ISOBMFF之修改及/或添加可指示/發信號，已根據該ISOBMFF或自該ISOBMFF導出之格式而格式化的一檔案包括損壞視訊圖框。舉例而言，在一些實施中，媒體檔案可包括用以指示與特定播放時戳及播放持續時間相關聯之一或多個視訊圖框被損壞的指示符。該指示符亦可經組態為與損壞視訊圖框及遺失視訊圖框兩者相關聯的一統一指示符。在一些實施中，發送損壞視訊圖框之存在信號可以來自該媒體檔案之彼等損壞視訊圖框的一或多個省略之形式出現。在各種實施中，對現有媒體串流傳輸方案之修改及/或添加亦可在一接收器器件請求一媒體片段之前向該接收器器件指示該媒體片段含有遺失(或另外不可解碼)之圖框。 在此等及其他實施中，接收器器件可基於指示/指示符/發信號/信號來辨識媒體檔案包括損壞視訊圖框。接收器器件亦可在解碼資料之前識別包括損壞視訊圖框的經編碼資料之部分，且在處置損壞視訊圖框過程中採用某些措施。舉例而言，接收器器件可跳過損壞視訊圖框的解碼且移動至下一可解碼視訊圖框上，以避免如上文所描述使解碼器崩潰或停機。此外，在媒體串流傳輸會話期間，接收器器件亦可在請求彼媒體片段之前基於指示/指示符/發信號/信號辨識媒體片段包括遺失(或另外不可解碼)之圖框，且在處置彼媒體片段過程中採用某些措施。舉例而言，接收器器件可獲得另一媒體片段(例如，具有相同內容但來自不同源之媒體片段、具有相同時戳及持續時間但具有不同解析度/位元速率之媒體片段，等)，以維持串流傳輸會話之連續性。 圖1為說明包括編碼器件104及解碼器件112之系統100之實例的方塊圖。編碼器件104可為源器件之部分，且解碼器件112可為接收器器件之部分。源器件及/或接收器器件可包括電子器件，諸如，行動或靜止電話手機(例如，智慧型電話、蜂巢式電話或其類似者)、桌上型電腦、膝上型電腦或筆記本電腦、平板電腦、機上盒、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或任何其他合適之電子器件。在一些實例中，源器件及接收器器件可包括用於無線通信之一或多個無線收發器。本文中所描述之寫碼技術適用於各種多媒體應用中之視訊寫碼，包括串流視訊傳輸(例如，經由網際網路)、電視廣播或傳輸、編碼數位視訊以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊或其他應用。在一些實例中，系統100可支援單向或雙向視訊傳輸以支援諸如視訊會議、視訊串流、視訊播放、視訊廣播、遊戲及/或視訊電話之應用。 藉由使用視訊寫碼標準或協定以產生經編碼視訊位元串流，編碼器件104(或編碼器)可用以編碼視訊資料，包括虛擬實境視訊資料。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼及多視圖視訊寫碼擴展(分別稱為SVC及MVC)。已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)完成較近期的視訊寫碼標準(高效率視訊寫碼(HEVC))。對HEVC之各種擴展處理多層視訊寫碼，且亦正由JCT-VC開發，包括對HEVC之多視圖擴展(稱作MV-HEVC)及對HEVC之可調式擴展(稱作SHVC)或任何其他合適寫碼協定。 本文中所描述之實施使用HEVC標準或其擴展來描述實例。然而，本文中所描述之技術及系統亦可適用於其他寫碼標準，諸如AVC、MPEG、其擴展或已可用或尚不可用或尚未開發之其他合適的寫碼標準。因此，雖然可參考特定視訊寫碼標準描述本文中所描述之技術及系統，但一般熟習此項技術者將瞭解，描述不應解譯為僅適用於彼特定標準。 視訊源102可將視訊資料提供至編碼器件104。視訊源102可為源器件之一部分，或可為除源器件以外的器件之一部分。視訊源102可包括視訊捕捉器件(例如，視訊攝影機、攝影機電話、視訊電話或其類似者)、含有經儲存視訊之視訊存檔、提供視訊資料之視訊伺服器或內容提供者、自視訊伺服器或內容提供者接收視訊之視訊饋入介面、用於產生電腦圖形視訊資料之電腦圖形系統、此等源之組合或任何其他合適的視訊源。視訊源102之一個實例可包括網際網路協定攝影機(IP攝影機)。IP攝影機為可用於監測、住家安全或其他合適應用的數位視訊攝影機之類型。不同於類比閉路電視(CCTV)攝影機，IP攝影機可經由電腦網路及網際網路發送及接收資料。 來自視訊源102之視訊資料可包括一或多個輸入圖像或圖框。圖像或圖框為作為視訊之部分的靜態影像。編碼器件104之編碼器引擎106 (或編碼器)編碼視訊資料以產生經編碼視訊位元串流。在一些實例中，經編碼視訊位元串流(或「視訊位元串流」或「位元串流」)為一系列之一或多個經寫碼視訊序列。經寫碼視訊序列(CVS)包括一系列存取單元(AU)，其始於具有在基層中且具有某些性質的隨機存取點圖像之AU，直至且不包括具有在基層中且具有某些性質的隨機存取點圖像之下一AU。舉例而言，開始CVS之隨機存取點圖像的某些性質可包括等於1之RASL旗標(例如，NoRaslOutputFlag)。否則，隨機存取點圖像(具有等於0之RASL旗標)並不開始CVS。存取單元(AU)包括一或多個經寫碼圖像及對應於共用相同輸出時間之經寫碼圖像的控制資訊。圖像之經寫碼圖塊在位元串流層級囊封至稱為網路抽象層(NAL)單元之資料單元中。舉例而言，HEVC視訊位元串流可包括一或多個CVS，該一或多個CVS包括NAL單元。兩種類別之NAL單元存在於HEVC標準中，包括視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個圖塊或圖塊片段(如下描述)，且非VCL NAL單元包括關於一或多個經寫碼圖像之控制資訊。 NAL單元可含有形成視訊資料之經寫碼表示(諸如，視訊中之圖像的經寫碼表示)的位元序列(例如，經編碼視訊位元串流、位元串流之CVS或其類似者)。編碼器引擎106藉由將每一圖像分割成多個圖塊而產生圖像之經寫碼表示。圖塊接著分割成明度樣本及色度樣本之寫碼樹型區塊(CTB)。明度樣本之CTB及色度樣本之一或多個CTB連同樣本之語法被稱為寫碼樹型單元(CTU)。CTU為用於HEVC編碼之基本處理單元。CTU可經分裂成具有不同大小之多個寫碼單元(CU)。CU含有被稱為寫碼區塊(CB)之明度及色度樣本陣列。 明度及色度CB可進一步被分裂成預測區塊(PB)。PB為使用用於框間預測之相同運動參數的明度或色度分量的樣本之區塊。明度PB及一或多個色度PB以及相關聯語法形成預測單元(PU)。在位元串流中針對每個PU發送運動參數集合信號，且該運動參數集合用於明度PB及一或多個色度PB之框間預測。CB亦可分割成一或多個變換區塊(TB)。TB表示色彩分量之樣本之正方形區塊，對該正方形區塊應用同一二維變換以用於寫碼預測殘餘信號。變換單元(TU)表示明度及色度樣本之TB及對應語法元素。 CU之大小對應於寫碼節點之大小，且可為正方形形狀。舉例而言，CU之大小可為8×8樣本、16×16樣本、32×32樣本、64×64樣本或達至相應CTU之大小的任何其他適當大小。片語「N×N」在本文中用於指就垂直及水平尺寸而言視訊區塊之像素尺寸(例如，8像素×8像素)。可按列及行來配置區塊中之像素。在一些實施例中，區塊在水平方向上可不具有與在垂直方向上相同的數目個像素。與CU相關聯之語法資料可描述(例如)將CU分割成一或多個PU。分割模式可在CU經框內預測模式編碼抑或經框間預測模式編碼之間有所不同。PU可分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)根據CTU將CU分割成一或多個TU。TU可為正方形或非正方形形狀。 根據HEVC標準，可使用變換單元(TU)來執行變換。TU可針對不同CU而變化。可基於給定CU內之PU的大小而對TU設定大小。TU可與PU大小相同或小於PU。在一些實例中，可使用被稱為殘餘四分樹(RQT)之四分樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。變換係數可接著由編碼器引擎106量化。 一旦視訊資料之圖像被分割成CU，編碼器引擎106便使用預測模式來預測每一PU。接著自原始視訊資料中減去預測以得到殘餘(下文描述)。對於每一CU，可使用語法資料在位元串流內部發送預測模式信號。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。使用框內預測時，使用(例如)DC預測以發現PU之平均值、使用平坦預測以使平坦表面擬合於PU、使用方向預測以自相鄰資料外推或使用任何其他合適類型之預測，自同一圖像中之相鄰影像資料預測每一PU。使用框間預測時，使用運動補償預測自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可(例如)在CU層級作出使用圖像間預測抑或圖像內預測來寫碼圖像區域的決策。在一些實例中，圖像之一或多個圖塊被指派有圖塊類型。圖塊類型包括I圖塊、P圖塊及B圖塊。I圖塊(圖框內，可獨立地解碼)為僅僅藉由框內預測寫碼的圖像之圖塊，且因此可獨立地解碼，此係由於I圖塊僅僅需要圖框內之資料以預測圖塊之任一區塊。P圖塊(單向預測圖框)為可藉由框內預測及單向框間預測寫碼之圖像的圖塊。P圖塊內之每一區塊係藉由框內預測或框間預測而寫碼。當框間預測應用時，區塊僅僅藉由一個參考圖像而預測，且因此參考樣本僅僅來自一個圖框之一個參考區。B圖塊(雙向預測性圖框)為可藉由框內預測及框間預測寫碼的圖像之圖塊。B圖塊之區塊可自兩個參考圖像雙向預測，其中每一圖像貢獻一個參考區且兩個參考區之樣品集經加權(例如，藉由相等權重)以產生雙向預測區塊之預測信號。如上文所解釋，一個圖像之圖塊被獨立寫碼。在一些狀況下，圖像可僅作為一個圖塊而被寫碼。 PU可包括與預測處理程序有關之資料。舉例而言，當使用框內預測編碼PU時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當使用框間模式編碼PU時，PU可包括界定PU之運動向量的資料。界定PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。 編碼器件104接著可執行變換及量化。舉例而言，在預測之後，編碼器引擎106可計算對應於PU之殘餘值。殘餘值可包含像素差值。在預測執行之後可能剩餘的任何殘餘資料係使用區塊變換執行變換，該區塊變換可基於離散餘弦變換、離散正弦變換、整數變換、小波變換或其它合適之變換功能。在一些狀況下，一或多個區塊變換(例如，大小32×32、16×16、8×8、4×4或其類似者)可應用於每一CU中之殘餘資料。在一些實施例中，TU可用於藉由編碼器引擎106實施的變換及量化處理程序。給定之具有一或多個PU的CU亦可包括一或多個TU。如下文進一步詳細描述，可使用區塊變換將殘餘值變換成變換係數，且隨後可使用TU來量化且掃描以產生用於熵寫碼之串列化變換係數。 在一些實施例中，在使用CU之PU進行框內預測性或框間預測性寫碼之後，編碼器引擎106可計算CU之TU的殘餘資料。PU可包含空間域(或像素域)中之像素資料。在應用區塊變換之後，TU可包含變換域中之係數。如先前所提及，殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差值。編碼器引擎106可形成包括CU之殘餘資料的TU，且接著可變換TU以產生CU之變換係數。 編碼器引擎106可執行變換係數之量化。量化藉由量化變換係數以減少用以表示係數之資料的量而提供進一步壓縮。舉例而言，量化可減小與係數中之一些或全部相關聯的位元深度。在一個實例中，具有n位元值之係數可在量化期間經降值捨位為m位元值，其中n大於m。 在執行量化後，經寫碼視訊位元串流包括經量化變換係數、預測資訊(例如，預測模式、運動向量或其類似者)、分割資訊及任何其他合適之資料，諸如其他語法資料。接著可藉由編碼器引擎106對經寫碼視訊位元串流之不同元素進行熵編碼。在一些實例中，編碼器引擎106可利用預定義掃描次序掃描經量化變換係數以產生可經熵編碼的串列化向量。在一些實例中，編碼器引擎106可執行自適應掃描。在掃描經量化變換係數以形成向量(例如，一維向量)之後，編碼器引擎106可熵編碼向量。舉例而言，編碼器引擎106可使用上下文自適應性可變長度寫碼、上下文自適應性二進位算術編碼、基於語法之上下文自適應性二進位算術編碼、機率區間分割熵寫碼或另一合適之熵編碼技術。 編碼器件104之輸出端110可經由通信鏈路120發送組成經編碼視訊位元串流資料之NAL單元至接收器器件之解碼器件112。解碼器件112之輸入端114可接收NAL單元。通信鏈路120可包括由無線網路、有線網路或有線網路與無線網路之組合提供的通道。無線網路可包括任何無線介面或無線介面之組合，且可包括任何適合之無線網路(例如，網際網路或其他廣域網路、基於封包之網路、WiFiTM 、射頻(RF)、UWB、WiFi-Direct、蜂巢式、長期演進(LTE)、WiMaxTM 或其類似者)。有線網路可包括任何有線介面(例如，光纖、乙太網路、電力線乙太網路、經由同軸電纜之乙太網路、數位信號線(DSL)或其類似者)。可使用各種裝備來實施有線及/或無線網路，該等裝備諸如基地台、路由器、存取點、橋接器、閘道器、交換器或其類似者。經編碼視訊位元串流資料可根據諸如無線通信協定之通信標準來調變，且傳輸至接收器器件。 在一些實例中，編碼器件104可將經編碼視訊位元串流資料儲存於儲存器108中。輸出端110可自編碼器引擎106或自儲存器108擷取經編碼視訊位元串流資料。儲存器108可包括多種分散式或本端存取之資料儲存媒體中之任一者。作為實例，儲存器108可為作為編碼器件104之部分的內部儲存器件。作為另一實例，儲存器108亦可與耦接至通信鏈路120之其他器件或裝備相關聯。在所有此等實例中，儲存器108可包括硬碟、儲存碟、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。 解碼器件112之輸入端114接收經編碼視訊位元串流資料，且可將視訊位元串流資料提供至解碼器引擎116，或提供至儲存器118以供稍後由解碼器引擎116使用。解碼器引擎116可藉由熵解碼(例如，使用熵解碼器)及提取組成經編碼視訊資料的一或多個經寫碼視訊序列之元素來解碼經編碼視訊位元串流資料。解碼器引擎116可接著重新按比例調整經編碼視訊位元串流資料且對經編碼視訊位元串流資料執行反變換。殘餘資料接著傳遞至解碼器引擎116之預測級。解碼器引擎116接著預測像素之區塊(例如，PU)。在一些實例中，預測被添加至反變換之輸出(殘餘資料)。 解碼器件112可將經解碼視訊輸出至視訊目的地器件122，視訊目的地器件可包括用於將經解碼視訊資料顯示給內容之消費者的顯示器或其他輸出器件。在一些態樣中，視訊目的地器件122可為接收器器件之部分，接收器器件包括解碼器件112。在一些態樣中，視訊目的地器件122可為不同於接收器器件的單獨器件之部分。 補充增強資訊(SEI)訊息可包括於視訊位元串流中。舉例而言，SEI訊息可用於攜載並非為由解碼器件112解碼位元串流所必需的資訊(例如，後設資料)。此資訊用於改良經解碼輸出之顯示或處理(例如，此類資訊可由解碼器側實體使用以改良內容之可視性)。 在一些實施例中，視訊編碼器件104及/或視訊解碼器件112可分別與音訊編碼器件及音訊解碼器件整合。視訊編碼器件104及/或視訊解碼器件112亦可包括實施上文所描述之寫碼技術所必需的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器件104及視訊解碼器件112可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。 對HEVC標準之擴展包括多視圖視訊寫碼擴展(被稱作MV-HEVC)及可調式視訊寫碼擴展(被稱作SHVC)。MV-HEVC及SHVC擴展共用分層寫碼之概念，其中不同層包括於經編碼視訊位元串流中。經寫碼視訊序列中之每一層係由唯一層識別符(ID)定址。層ID可存在於NAL單元之標頭中以識別NAL單元所相關聯之層。在MV-HEVC中，不同層可表示視訊位元串流中之同一場景的不同視圖。在SHVC中，提供以不同空間解析度(或圖像解析度)或不同重建構保真度表示視訊位元串流的不同可調式層。可調式層可包括基層(具有層ID=0)及一或多個增強層(具有層ID=1、2、…n)。基層可符合HEVC之第一版本的設定檔，且表示位元串流中之最低可用層。與基層相比，增強層具有增加之空間解析度、時間解析度或圖框速率及/或重建構保真度(或品質)。增強層經階層式組織，且可(或可不)取決於較低層。在一些實例中，可使用單一標準編解碼器來寫碼不同層(例如，使用HEVC、SHVC或其他寫碼標準編碼所有層)。在一些實例中，可使用多標準編解碼器來寫碼不同層。舉例而言，可使用AVC來寫碼基層，而可使用對HEVC標準之SHVC及/或MV-HEVC擴展來寫碼一或多個增強層。一般而言，層包括一組VCL NAL單元及對應的一組非VCL NAL單元。NAL單元被指派特定層ID值。在層可取決於較低層的意義上，層可為階層式的。 如先前所描述，HEVC位元串流包括NAL單元之群組，包括VCL NAL單元及非VCL NAL單元。除了其他資訊以外，非VCL NAL單元亦可含有具有與經編碼視訊位元串流相關之高層級資訊的參數集。舉例而言，參數集可包括視訊參數集(VPS)、序列參數集(SPS)及圖像參數集(PPS)。參數集之目標之實例包括位元速率效率、錯誤復原及提供系統層介面。每一圖塊參考單個作用中PPS、SPS及VPS以存取解碼器件112可用於解碼圖塊之資訊。可針對每一參數集寫碼識別符(ID)，包括VPS ID、SPS ID及PPS ID。SPS包括SPS ID及VPS ID。PPS包括PPS ID及SPS ID。每一圖塊標頭包括PPS ID。使用ID，可識別針對給定圖塊之作用中參數集。 VCL NAL單元包括形成經寫碼視訊位元串流之經寫碼圖像資料。各種類型之VCL NAL單元定義於HEVC標準中，如以下表A中所說明。在單層位元串流中，如第一HEVC標準中所定義，含於AU中的VCL NAL單元具有相同NAL單元類型值，其中NAL單元類型值定義AU之類型及AU內的經寫碼圖像之類型。舉例而言，特定AU之VCL NAL單元可包括瞬時解碼再新(IDR) NAL單元(值19)，使得AU為IDR AU且AU之經寫碼圖像為IDR圖像。VCL NAL單元之給定類型與圖像，或其含於VCL NAL單元中的部分(例如，VCL NAL單元中之圖像的圖塊或圖塊片段)有關。三類圖像經定義於HEVC標準中，包括前置圖像、後置圖像及框內隨機存取(IRAP)圖像(亦稱作「隨機存取圖像」)。在多層位元串流中，AU內的圖像之VCL NAL單元具有相同NAL單元類型值及相同類型經寫碼圖像。舉例而言，含有類型IDR之VCL NAL單元的圖像稱為AU中之IDR圖像。在另一實例中，當AU含有為基層(層ID等於0)處之IRAP圖像的圖像時，AU為IRAP AU。 如上文所論述編碼之視訊位元串流可寫入或封裝於一或多個檔案中以便將來自編碼器件104之位元串流轉移至解碼器件112。舉例而言，輸出端110可包括檔案寫入引擎，其經組態以產生含有位元串流的一或多個檔案。輸出端110可經由通信鏈路120傳輸一或多個檔案至解碼器器件112。替代地或另外，一或多個檔案可儲存於儲存媒體(例如，磁帶、磁碟、或硬碟、或某其他媒體)上以供稍後傳輸至解碼器件112。 解碼器器件112可包括(例如)在輸入端114中之檔案剖析引擎。檔案剖析引擎可讀取經由通信鏈路120或自儲存媒體接收之檔案。檔案剖析引擎可進一步自檔案提取樣本，並重建構位元串流以用於由解碼器引擎116解碼。在一些狀況下，經重建構位元串流可與由編碼器引擎106產生的位元串流相同。在一些狀況下，編碼器引擎106可已產生具有用於解碼位元串流之若干可能選項的位元串流，在該狀況下，經重建構位元串流可包括所有可能選項中之僅一者或少於所有可能選項。 如上文所論述，媒體檔案及/或媒體位元串流可包括損壞及/或遺失視訊圖框。在圖1中，損壞或遺失視訊圖框可歸因於(例如)包括儲存於儲存器108中之經編碼視訊位元串流資料的資料檔案之損壞及/或歸因於在經由通信鏈路120傳輸資料檔案期間的資料丟失而出現。當整個圖框之所有經編碼資料(例如，視訊寫碼層、運動參數之集合、控制資訊、變換資訊等)遺失時，視訊圖框可變得遺失。視訊圖框可歸因於各種原因變得損壞。舉例而言，用於彼特定圖框之經編碼資料(例如，視訊寫碼層、運動參數之集合、控制資訊等)之一些(但非所有)可被損壞，或另外不可自資料檔案擷取。作為另一實例，用於視訊圖框的框間預測鏈中之參考圖框之經編碼資料可變得遺失或損壞，使得視訊圖框不可被正確地解碼。 圖2說明根據ISOBMFF格式化之含有用於視訊呈現之資料及後設資料的ISO基本媒體檔案200之實例。ISOBMFF經設計而以靈活且可擴展格式含有計時媒體資訊，該計時媒體資訊促進媒體之互換、管理、編輯及呈現。媒體之呈現對於含有呈現之系統可為「本端的」，或呈現可係經由網路或其他串流遞送機構。 如由ISOBMFF規範所定義之「呈現」為常常藉由已藉由視訊捕捉器件順序捕捉相關的或由於某其他原因相關的圖像之序列。本文中，呈現亦可被稱作電影或視訊呈現。呈現可包括音訊。一般熟習此項技術者將瞭解呈現可包括任何其他類型之媒體內容，諸如遊戲電視節目、串流視訊檔案或其類似者。單一呈現可含於一或多個檔案中，其中一個檔案(或多個檔案)含有用於整個呈現之後設資料。後設資料包括資訊，諸如時序及成框資料、描述符、指標、參數，及描述呈現之其他資訊。後設資料自身並不包括視訊及/或音訊資料。除含有後設資料之檔案以外的檔案無需根據ISOBMFF而格式化，且僅僅需要經格式化以使得此等檔案可藉由後設資料參考。 ISO基本媒體檔案之檔案結構為物件定向式結構，且檔案中之個別物件之結構可直接自物件之類型來推斷。ISOBMFF規範將ISO基本媒體檔案中之物件稱作「框」。ISO基本媒體檔案經構造為框之序列，其可含有其他框。框大體包括提供框之大小及類型的標頭。大小描述框之整個大小，包括標頭、欄位及含有於框內之所有框。播放器器件不能識別之類型的框通常被忽略並跳過。 如藉由圖2之實例所說明，在檔案之頂部層級，ISO基本媒體檔案200可包括檔案類型210、電影框220及一或多個電影片段框230a、230b至230n。可在此層級處包括但未在此實例中表示的其他框包括自由空間框、後設資料框及媒體資料框外加其他。 ISO基本媒體檔案可包括藉由框類型「ftyp」識別之檔案類型框210。檔案類型框210識別最適合於剖析檔案之ISOBMFF規範。「最」在此情況下意謂，ISO基本媒體檔案200可能已根據特定ISOBMFF規範格式化，但很可能與規範之其他反覆相容。此最合適規範被稱作主流品牌。播放器器件可使用主流品牌來判定器件是否能夠解碼並顯示檔案之內容。檔案類型框210亦可包括版本號，該版本號可用以指示ISOBMFF規範之版本。檔案類型框210亦可包括相容品牌之清單，該清單包括檔案相容之其他品牌的清單。ISO基本媒體檔案可與大於一個主流品牌相容。 當ISO基本媒體檔案200包括檔案類型框210時，存在僅一個檔案類型框。ISO基本媒體檔案200可省略檔案類型框210以便與早期播放器器件相容。當ISO基本媒體檔案200不包括檔案類型框210時，播放器器件可假定預設主流品牌(例如「mp41」)、次要版本(例如，「0」)及相容品牌(例如，「mp41」)。檔案類型框210通常儘可能早地置放於ISO基本媒體檔案200中。 ISO基本媒體檔案可進一步包括電影框220，其可含有後設資料以供呈現。電影框220係藉由框類型「moov」識別。ISO/IEC 14496-12規定，含於一個檔案抑或多個檔案中之呈現可包括僅一個電影框220。頻繁地，電影框220靠近ISO基本媒體檔案之開始。電影框220包括電影標頭框222，且可包括一或多個播放軌框224以及其他框。 藉由框類型「mvhd」識別之電影標頭框222可包括與媒體無關且與作為整體之呈現相關的資訊。舉例而言，電影標頭框222可包括資訊，諸如創建時間、修改時間、時間標度及/或針對呈現之持續時間外加其他。電影標頭框222亦可包括識別呈現中之下一播放軌的識別符。舉例而言，在所說明之實例中，識別符可指向由電影框220含有之播放軌框224。 藉由框類型「trak」識別之播放軌框224可含有用於呈現之播放軌的資訊。呈現可包括一或多個播放軌，其中每一播放軌獨立於呈現中之其他播放軌。每一播放軌可包括特定針對於播放軌中之內容的時間及空間資訊，且每一播放軌可與媒體框相關聯。播放軌中之資料可為媒體資料，在此狀況下，播放軌為媒體播放軌；或資料可為用於串流傳輸協定之封包化資訊，在此狀況下，播放軌為提示播放軌。舉例而言，媒體資料包括視訊及音訊資料。在所說明之實例中，實例播放軌框224包括播放軌標頭框224a及媒體框224b。播放軌框可包括其他框，諸如播放軌參考框、播放軌群組框、編輯框、使用者資料框、後設資料框及其他框。 由框類型「tkhd」識別之播放軌標頭框224a可指定含於播放軌框224中之播放軌的特性。舉例而言，播放軌標頭框224a可包括播放軌之創建時間、修改時間、持續時間、播放軌識別符、層識別符、群組識別符、音量、寬度及/或高度，外加其他。對於媒體播放軌，播放軌標頭框224a可進一步識別播放軌是否被啟用、播放軌是否應作為呈現之部分而播放，或播放軌是否可用以預覽呈現，外加其他。播放軌之呈現通常假定為處於呈現之開始處。播放軌框224可包括此處未說明之編輯清單框，該編輯清單框可包括顯式時刻表圖。時刻表圖可指定播放軌之偏移時間外加其他，其中偏移指示在呈現開始之後播放軌之開始時間。 在所說明之實例中，播放軌框224亦包括由框類型「mdia」識別之媒體框224b。媒體框224b可含有物件及關於播放軌中之媒體資料之資訊。舉例而言，媒體框224b可含有處置程式參考框，其可識別播放軌之媒體類型及藉以呈現播放軌中之媒體之處理程序。作為另一實例，媒體框224b可含有媒體資訊框，其可指定播放軌中媒體的特性。媒體資訊框可進一步包括樣本表，其中每一樣本描述包括(例如)用於樣本之資料之位置的媒體資料(例如，視訊或音訊資料)之塊。樣本之資料儲存於下文進一步論述之媒體資料框中。如同大部分其他框一般，媒體框224b亦可包括媒體標頭框。每一播放軌之後設資料可包括樣本描述項之清單，每一項提供在播放軌中使用之寫碼格式及/或囊封格式及對於處理彼格式需要之初始化資料。每一樣本與播放軌之樣本描述項中之一者相關聯。ISOBMFF實現藉由各種機構指定樣本特定後設資料。樣本表框(「stbl」)內之特定框已經標準化以回應普通需求。舉例而言，同步樣本框(「stss」)用以列舉播放軌之隨機存取樣本。樣本分群機構實現根據四字元分群類型將樣本映射成共用指定為檔案中之樣本群組描述項之同一性質的樣本之群組。已在ISOBMFF中指定若干分群類型。 在所說明之實例中，實例ISO基本媒體檔案200亦包括呈現之多個片段230a、230b至230n。片段230a、230b至230n並非為ISOBMFF框，但實際上描述包括可選片段類型框231、電影片段框232及由電影片段框232參考之一或多個媒體資料框238的框之組合。片段類型框231、電影片段框232及媒體資料框238為頂層框，但此處經分群以指示電影片段框232與媒體資料框238之間的關係。 片段類型框231、電影片段框232及媒體資料框238定義ISOBMFF片段。片段類型框231識別片段類型「styp」，其定義片段之品牌。片段之品牌需要為檔案類型框210中列出的相容品牌中之一者。片段類型框231之後為藉由框類型「moof」識別之電影片段框232，其可藉由包括將另外儲存於電影框220中之額外資訊而擴展呈現。使用電影片段框232，可逐漸地構建呈現。電影片段框232可包括電影片段標頭框234及播放軌片段框236以及此處未說明之其他框。 藉由框類型「mfhd」識別之電影片段標頭框234可包括序號。播放器器件可使用序號來驗證片段230a包括資料之下一段以供呈現。在一些狀況下，檔案之內容或用於呈現之檔案可無序地被提供至播放器器件。舉例而言，網路封包可以不同於最初傳輸封包之次序的次序頻繁地到達。在此等狀況下，序號可輔助播放器器件判定片段之正確次序。 電影片段框232亦可包括藉由框類型「traf」識別之一或多個播放軌片段框236。電影片段框232可包括一組播放軌片段(每播放軌零或多個)。播放軌片段可含有零或多個播放軌行程，其中之每一者描述播放軌的樣本之連續行程。除添加樣本至播放軌外，播放軌片段可用以將空的時間添加至播放軌。 藉由框類型「mdat」識別之媒體資料框238含有媒體資料。在視訊播放軌中，媒體資料框238將含有視訊圖框。媒體資料框可替代地或另外地包括音訊資料。呈現可包括含於一或多個個別檔案中之零或多個媒體資料框。媒體資料藉由後設資料描述。在所說明之實例中，該媒體資料框238中之媒體資料可藉由包括於播放軌片段框236中之後設資料來描述。在其他實例中，媒體資料框中之媒體資料可藉由電影框220中之後設資料來描述。後設資料可藉由在檔案200內之絕對偏移參考特定媒體資料，以使得媒體資料框238內之媒體資料標頭及/或自由空間可被跳過。 ISO基本媒體檔案200中之其他片段230b、230c至230n可含有類似於針對片段230a說明之彼等框的框，及/或可含有其他框。 圖3說明可包括於ISO基本媒體檔案中之媒體框340的實例。如上文所論述，媒體框可包括於播放軌框中，且可含有描述播放軌中之媒體資料的物件及資訊。在所說明之實例中，媒體框340包括媒體資訊框342。媒體框340亦可包括此處未說明之其他框。 媒體資訊框342可含有描述關於播放軌中之媒體之特性資訊的物件。舉例而言，媒體資訊框342可包括描述播放軌中之媒體資訊之位置的資料資訊框。作為另一實例，當播放軌包括視訊資料時，媒體資訊框342可包括視訊媒體標頭。視訊媒體標頭可含有獨立於視訊媒體之寫碼的大體呈現資訊。當播放軌包括音訊資料時，媒體資訊框342亦可包括聲音媒體標頭。 媒體資訊框342亦可包括樣本表框344，如所說明實例中所提供。藉由框類型「stbl」識別之樣本表框344可提供播放軌中之媒體樣本之位置(例如，檔案之位置)，以及樣本之時間資訊。使用藉由樣本表框344提供之資訊，播放器器件可以正確時間次序定位樣本，判定樣本之類型，及/或判定大小、容器及容器內之樣本的偏移外加其他。 樣本表框344可包括藉由框類型「stsd」識別之樣本描述框346。樣本描述框346可提供關於(例如)用於樣本之寫碼類型之詳細資訊，及針對彼寫碼類型需要之任何初始化資訊。儲存於樣本描述框中之資訊可特定針對於包括樣本之播放軌的類型。舉例而言，一個格式在播放軌為視訊播放軌時可用於樣本描述，且在播放軌為提示播放軌時可使用不同格式。作為另一實例，樣本描述之格式亦可取決於提示播放軌之格式而發生變化。 樣本描述框346可包括樣本項框348a至348n。樣本項為摘要類別，且因此通常樣本描述框包括特定樣本項，諸如視訊資料之可見樣本項或音訊樣本之音訊樣本項外加其他實例。視訊資料之每一可見樣本項可包括一或多個視訊圖框。樣本項框可儲存針對特定樣本之參數。舉例而言，對於視訊樣本，樣本項框可包括視訊樣本之寬度、高度、水平解析度、垂直解析度、圖框計數及/或深度外加其他。作為另一實例，對於音訊樣本，樣本項可包括通道計數、通道佈局及/或取樣速率外加其他。 在所說明的實例中，第一樣本項348a包括藉由樣本大小框類型「stsz」識別之樣本大小框350。樣本大小框可指示樣本之位元組的數目。舉例而言，對於可見樣本，樣本大小可指示包括於可見樣本之一或多個視訊圖框中的資料之位元組之數目。第一樣本項348a亦包括藉由方案框類型「schm」識別之方案類型框352，該方案框類型可定義用以指示樣本之資料的類型之樣本項類型。樣本項類型資訊可輔助解碼器判定如何處置樣本資料。 除了樣本項框之外，樣本描述346可進一步包括樣本群組描述框360 (藉由樣本群組描述框類型「sgpd」識別)及樣本至群組框362 (藉由樣本至群組框類型「sbgp」識別)。樣本群組描述框360及樣本至群組框362兩者可為樣本分群機構之部分以基於與樣本群組描述框360相關聯之預定特性對一組樣本項分群。舉例而言，樣本群組描述框360可包括預定分群類型項。與預定分群類型相關聯之樣本項(基於藉由樣本項共用之某些共同特性)可映射至樣本至群組框362中之彼分群類型項。 除支援媒體之本端播放外，ISOBMFF包括對經由網路串流傳輸媒體資料的支援。包括一個電影呈現之一或多個檔案可包括稱為提示播放軌之額外播放軌，其含有可輔助串流傳輸伺服器形成該一或多個檔案並將其作為封包傳輸的指令。舉例而言，此等指令可包括用於伺服器以供發送之資料(例如標頭資訊)或對媒體資料之區段的參考。檔案可包括用於不同串流傳輸協定之單獨提示播放軌。提示播放軌亦可在不需要重新格式化檔案之情況下添加至檔案。 現參看圖4，其說明用於串流傳輸之實例系統400。系統400包括經由網路406基於網路連接協定以通信方式彼此耦接的伺服器402及用戶端器件404。舉例而言，伺服器402可包括習知HTTP網頁伺服器，而用戶端器件404可包括習知HTTP用戶端。HTTP通信通道可被建立，且可由用戶端器件404使用以傳輸HTTP請求至伺服器402以請求某些網路資源。HTTP通信通道可藉由伺服器402使用以將包括經請求網路資源之HTTP回應傳輸回至用戶端器件404。藉由伺服器402主控之一個網路資源可為媒體內容，其可分成媒體片段。用戶端器件404可包括用以經由網路406與伺服器402建立串流傳輸會話的串流傳輸應用程式408。在串流傳輸會話期間，串流傳輸應用程式408可經由網路406傳輸對於一或多個媒體片段之請求至伺服器402之請求處理器410。串流傳輸應用程式408可接收經請求一或多個媒體片段，且可在傳輸對於後續媒體片段之後續請求之前在用戶端器件404上再現所接收媒體片段中之一些或全部。使用此配置情況下，串流傳輸應用程式408在用戶端器件404處再現媒體內容之前無需等待直至整個媒體內容之下載完成，此可促進網路資源之利用並改良使用者體驗。 為實現使用習知HTTP網頁伺服器的媒體內容之高品質串流傳輸，可使用自適應位元速率串流傳輸。在自適應位元速率串流傳輸情況下，對於每一媒體片段，用戶端器件404可具有關於替代片段檔案420及440之集合的資訊。此處，媒體片段可指與特定播放時戳及持續時間相關聯的媒體位元串流之部分。替代片段檔案420及440之每一集合可對應於媒體片段(例如，與特定播放時戳及持續時間相關聯)之特定表示。表示可指編碼某些媒體內容(例如，藉由特定位元速率、圖框速率、螢幕大小及/或其他合適之媒體特性)之特定結果。此處，媒體片段之不同表示可指編碼彼媒體片段之媒體內容的不同結果。表示可包括一或多個子表示。子表示可包括(例如)指定可用於解碼及/或提取來自表示之片段檔案的媒體內容的編碼結果(例如，編解碼器、語言、嵌入之較低品質視訊層及/或其他媒體特性)之資訊。在替代片段檔案之每一集合當中，每一媒體片段檔案可與包括(例如)特定位元速率、圖框速率、解析度、音訊語言及/或子表示中指定的其他合適之媒體特性的性質之集合相關聯。基於本端資訊(例如，網路406之頻寬、用戶端器件404之解碼/顯示能力、使用者偏好等)，串流傳輸應用程式408可自集合中選擇特定媒體片段檔案用於每一表示。作為說明性實例，用戶端器件404可傳輸對於與來自媒體片段檔案420之第一解析度相關聯之媒體片段檔案的請求。隨後，歸因於網路406之頻寬的變化，用戶端器件404可傳輸對於與第二解析度相關聯的媒體片段檔案之另一請求。 關於替代片段檔案420及440之集合的資訊可為藉由伺服器402維持的描述檔案460之部分。用戶端器件404可自伺服器402獲得描述檔案460，且可基於描述檔案460傳輸對於媒體片段檔案之請求。描述檔案460可包括(例如)用於媒體內容之每一表示的替代媒體片段檔案以及與每一替代媒體片段檔案相關聯之性質(例如，位元速率、圖框速率、解析度、音訊語言及/或其他合適之媒體特性)之集合的清單。該清單亦包括與替代片段檔案之儲存位置相關聯的位置識別符(例如，統一資源定位符(URL)、統一資源指示符(URI)及/或其他合適之識別符)。 存在用於自適應位元速率串流傳輸之各種協定。一個實例為經由超文字傳送協定(HTTP)之動態自適應串流傳輸或(DASH)(定義於ISO/IEC 23009-1:2014)中，其亦稱為MPEG-DASH。在DASH情況下，描述檔案460可包括媒體呈現描述(MPD)檔案。 圖5提供MPD 500之實例。如圖5中所示，MPD 500包括在清單表示中提供之一或多個調適集合(例如，調適集合510)。調試集合510可與起始時戳及播放之持續時間相關聯，且可包括表示512a及512b之集合。表示512a及512b中之每一者可包括媒體片段之集合。表示512a之媒體片段及表示512b之媒體片段可自同一內容源編碼，且可與不同位元速率、解析度、圖框速率及/或其他合適之媒體特性相關聯。舉例而言，表示512a包括媒體片段516a及518a，而表示512b包括媒體片段516b及518b。媒體片段516a及518a可與不同於媒體片段516b及518b之媒體性質的媒體性質(例如，解析度、位元速率或其類似者)相關聯。 此外，每一表示亦可包括一或多個子表示。舉例而言，表示512a可包括子表示520a，而表示512b可包括子表示520b。如上文所論述，子表示可包括(例如)指定可用於解碼及/或提取來自包括子表示之表示的片段檔案之媒體內容的編碼結果(例如，編解碼器、語言、嵌入之較低品質視訊層及/或其他媒體特性)之資訊。 另外，每一表示亦可包括發送包括於表示中的媒體片段之媒體特性信號的屬性資訊。舉例而言，表示512a包括表示屬性514a，而表示512b包括表示屬性514b。表示屬性514a及514b中之每一者可包括包括(例如)頻寬、圖框寬度、圖框高度、其組合及/或其他屬性資訊的資訊。 MPD可以可延伸標示語言(XML)來表示。XML格式中之MPD檔案可提供調適集合之清單表示且包括用以定義每一調適集合的一組元素。該組元素中之每一者可與定義(例如)調適集合、表示等之性質的屬性之集合相關聯。以下為圖5之MPD 500的部分之實例： ＜Period duration=''PT30S''＞ ＜AdaptationSet mimeType="video/mp2t"＞ ＜Representation id="720p" bandwidth="3200000" width="1280" height="720"＞ ＜SubRepresentation contentComponent="1" bandwidth="526952" codecs="avc1.4d401e"/＞ . . . ＜SegmentURL media="segment-1.DASH"/＞ ＜SegmentURL media="segment-2.DASH"/＞ . . . 在上述實例中，諸如「週期(Period)」、「調適集合(AdaptationSet)」、「表示(Representation)」、「子表示(SubRepresentation)」、「SegmentURL」等之本文為元素，而「持續時間(duration)」、「mimeType」、「id」、「頻寬(bandwidth)」、「寬度(width)」及「高度(height)」、「媒體(media)」等為屬性。在此實例中，調適集合(例如，調適集合510)可與具有30秒持續時間(基於「持續時間」屬性)之(例如)mp2t視訊串流(基於「mimeType」屬性)相關聯。此外，調適集合可包括與3.2 M之頻寬相關聯並具有1280之寬度及720之圖框高度的表示(例如，表示512a)。頻寬、圖框寬度及圖框高度資訊可包括於表示屬性514a中。表示可包括指定音訊組件之編解碼器及頻寬的子表示(例如，子表示520a)。表示亦可包括複數個片段，其中之每一者係由跟隨「SegmentURL」元素之URI表示。片段可與表示相關聯或根據不同子表示分群。 用於自適應位元速率串流傳輸之另一實例為HTTP即時串流傳輸(HLS)，其提供與傳輸串流(TS)格式相關聯的檔案片段之串流傳輸。傳輸串流指定囊封經封包化基本串流(PES)之容器格式。每一PES包含來自視訊或音訊解碼器之順序資料位元組至PES封包中的囊封。使用HLS，伺服器可提供一組播放清單檔案，其中之每一者包括至呈TS格式並與特定位元速率相關聯的檔案片段之序列的鏈接。播放清單檔案可呈.m3u8格式之格式，且包括標籤及屬性之集合以提供媒體片段檔案之清單表示。變體播放清單檔案可指一組播放清單檔案，其中之每一者可與用於相同呈現(例如，視訊圖框之序列)之媒體片段檔案之集合相關聯，且該組播放清單檔案中之每一者可與不同位元速率相關聯。接收器器件可具有變體播放清單檔案，且基於本端條件(例如，網路頻寬)，選擇與特定頻寬、位元速率、圖框速率等相關聯的播放清單檔案。接收器器件接著可使用所選擇播放清單檔案之資訊以獲得媒體片段檔案以供串流傳輸。 以下為HLS變體播放清單之實例： #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=300000, prog_200kbs.m3u #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=600000, prog_400kbs.m3u 此處，本文「#EXT-X-STREAM-INF」為提供播放清單之某一資訊及結構的標籤。舉例而言，「#EXT-X-STREAM-INF」指示跟隨之URL (例如，「prog_200kbs.m3u」)為播放清單檔案。標籤亦可與屬性相關聯。舉例而言，「#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=300000」描述播放清單係與具有每秒300000位元之位元速率之上限的視訊檔案相關聯且與為1之呈現識別符相關聯。 藉由以上HLS變體播放清單參考的播放清單檔案之實例可為如下： #EXTINF:10.0, http://example.com/movie1/fileSequenceA.ts #EXTINF:10.0, http://example.com/movie1/fileSequenceB.ts . . . 此處，本文「#EXTINF」亦為提供播放清單之某一資訊及結構的標籤。舉例而言，「#EXTINF」可為描述藉由跟隨其的URL識別之媒體檔案的記錄標記。標籤亦可與屬性相關聯。舉例而言，「#EXTINF:10.0」描述跟隨之媒體片段檔案具有10秒持續時間。圖6提供變體播放清單檔案及藉由該變體播放清單檔案參考的一組播放清單檔案之實例之圖形表示。播放清單檔案可包括用於每一媒體片段之資訊，諸如URL (「abc.ts」)及相關聯持續時間(10秒)。 圖7A說明發送ISO基本媒體格式(ISOBMFF)檔案中之損壞之圖框信號的實例。圖7A中展示之媒體框740為可包括於ISOBMFF檔案中的媒體框之實例。ISOBMFF檔案可(例如)藉由串流傳輸伺服器、藉由代管伺服器與接收器器件之間的中間網路器件、藉由接收器器件或將經編碼資料囊封至媒體檔案中之任何其他器件而產生或更新。在所說明之實例中，媒體框740包括媒體資訊框742，其包括樣本表744。樣本表744包括樣本描述746 (stsd)，其又可包括樣本項748a至748n等。項748a可包括樣本大小框750 (stsz)及方案類型框752 (schm)。視情況，樣本描述746亦可包括樣本群組描述框760 (sgpd)及樣本至群組框762 (sbgp)。除非另外規定，否則此等框之性質可與圖3中之對應框相同，對應框之描述不在此處重複。 在圖7A之實例中，樣本項748a可包括包括一或多個損壞視訊圖框之視訊樣本。如前所提及，損壞之媒體圖框為歸因於損壞之圖框之視訊資料僅被部分接收、歸因於遺失與用於框間預測鏈之媒體圖框相關聯或在該等媒體圖框中的資料，或歸因於使得視訊圖框變得不可解碼的其他因素而不可被正確地解碼之媒體圖框。若解碼器嘗試解碼損壞之媒體圖框(其為在解碼程序中之未預期行為)，則結果可包括解碼器崩潰、錯誤或其他負面結果。為發送樣本項748a中之損壞視訊圖框之存在信號，樣本項748a之方案類型框752可攜載與損壞視訊圖框相關聯的樣本項類型。樣本項類型可藉由四字母碼(在圖7A之實例中，四字母碼可經定義為「crpt」)識別。另一方面，若樣本項748a包括具有遺失視訊圖框之視訊樣本，則樣本項748a可包括另一碼識別符，諸如「丟失」、「空」或用以指示彼特定樣本項中之遺失視訊圖框之出現的其他合適之碼識別符。 圖7B說明發送ISOBMFF檔案中的損壞之圖框信號的另一實例。舉例而言，媒體框740可包括於ISOBMFF檔案中。假定樣本項748a之視訊圖框的全部被損壞(亦即，樣本項748a之視訊圖框中無一者可被解碼)，藉由囊封經編碼媒體位元串流產生ISOBMFF檔案的應用程式可自ISOBMFF檔案省略對應於樣本項748a之視訊樣本。亦即，在圖7B之實例中，樣本項748a自樣本表744省略(且不存在於該樣本表中)。樣本項748a之省略可藉由接收器器件基於(例如)樣本表框744中列出的樣本之序列的位置及時間資訊中的間隙而偵測。 在圖7A及圖7B之實例的情況下，接收器器件可在解封裝ISOBMFF檔案時偵測到損壞之圖框。基於樣本項類型資訊，或特定樣本項之省略，接收器器件可直接獲得損壞視訊圖框之精確檔案位置(例如，包括損壞視訊圖框的哪一播放軌及哪一樣本)，以及損壞且不可解碼的視訊圖框之時序資訊。接收器器件可接著執行預定檔案處置程序以按高效方式處置損壞視訊圖框。舉例而言，基於檔案中之損壞媒體圖框的指示，接收器器件不需要執行其他計算步驟來尋找損壞視訊圖框。舉例而言，接收器器件不需要將位元組位置轉換至播放軌及時序資訊，或其他轉換操作，以尋找損壞視訊圖框之精確檔案位置。此外，歸因於損壞之圖框之指示，亦可防止接收器器件試圖解碼損壞視訊圖框，此可防止解碼器崩潰、錯誤訊息及/或可傷害解碼程序之其他不合需要的結果。此等中之全部可促進損壞視訊圖框之正確處置並改良使用者體驗。 圖8A及圖8B說明發送ISOBMFF檔案中之遺失圖框信號的實例。圖8A說明ISO基本媒體檔案800之頂層級之實例。ISO基本媒體檔案可藉由(例如)串流傳輸伺服器、代管伺服器與接收器器件之間的中間網路器件、將經編碼資料囊封至媒體檔案中的等等器件而產生或更新。在圖8A之實例中，媒體檔案800可包括檔案類型框810、電影框820及一或多個電影片段框830a、830b至830n。可在此層級處包括但未在此實例中表示的其他框包括自由空間框、後設資料框及媒體資料框外加其他。電影框820包括電影標頭框822，且可包括一或多個播放軌框824以及其他框。播放軌框824包括播放軌標頭框824a及媒體框824b。片段830a包括片段類型框831及電影片段框832。除非另外規定，否則此等框之性質可與圖2中之對應框相同，對應框之描述不在此處重複。 假定片段830a含有空片段，片段類型831可攜載與空片段相關聯之品牌識別符。品牌識別符可為檔案類型810中列出的相容品牌中之一者。在圖8A之實例中，此品牌識別符可為四字母碼「empt」。另外，與空片段相關聯之媒體資料框可自片段830省略。 另外，媒體824b亦可包括用以指示空片段之指示符。現參看圖8B，其說明圖8A之媒體框824b之實例。如圖8B中所示，媒體框824b包括媒體資訊框842，其包括樣本表844。樣本表844包括樣本描述846，其又可包括樣本項848a至848n等。項848a可包括樣本大小框850及方案類型框852。視情況，樣本描述846亦可包括樣本群組描述框860及樣本至群組框862。除非另外規定，否則此等框之性質可與圖3中之對應框相同，對應框之描述不在此處重複。 此處，假定樣本項848a為由片段類型831及電影片段832定義的空片段之部分，樣本項848a之樣本大小框850可攜載值零，以指示樣本具有零大小。 圖9說明發送ISOBMFF檔案中之遺失圖框信號的實例。圖9說明ISO基本媒體檔案900之頂層級之實例。ISO基本媒體檔案可藉由(例如)串流傳輸伺服器、代管伺服器與接收器器件之間的中間網路器件、將經編碼資料囊封至媒體檔案中的等等器件而產生或更新。在圖9之實例中，媒體檔案900可包括檔案類型框910、電影框920及一或多個電影片段框930a、930b至930n。可在此層級處包括但未在此實例中表示的其他框包括自由空間框、後設資料框及媒體資料框外加其他。除非另外規定，否則此等框之性質可與圖2中之對應框相同，對應框之描述不在此處重複。 在圖9之實例中，片段930a包括片段類型框931，其攜載如圖8A中之品牌「empt」。片段930a亦包括空片段資訊框932。空片段資訊框932可包括表示框類型碼「esif」之資料，且可藉由「esif」框類型碼識別。只要一片段包括與片段類型931相關聯之空片段，空片段資訊框932便可包括於該片段中。空片段資訊框932 (「EmptySegmentInfoBox」)之定義、語法及語義(其中一些係在圖9中說明)可為如下：定義 框類型：「esif」 容器：檔案 必選：對於空媒體片段，是 數量：一語法 aligned (8)類別EmptySegmentInfoBox延伸FullBox(「esif」,版本,0) { unsigned int(32) reference_ID; unsigned int(32) timescale; if (version==0) unsigned int(32) earliest_presentation_time; else unsigned int(64) earliest_presentation_time; unsigned int(32) segment_duration; }語義 reference_ID欄位可保存無符號32位元整數，且可提供用於參考串流之串流ID，其中串流為播放軌且串流ID為串流之播放軌的播放軌ID。reference_ID可用以判定空片段定位哪一播放軌。 時間標度欄位可保存無符號32位元整數且對於此框內之earliest_presentation_time及segment_duration欄位(待在下文論述)，以每秒滴答定義時間標度。在一個實施例中，定義於空片段資訊框932中之時間標度可匹配參考串流或播放軌之時間標度，以及播放軌的媒體標頭框(例如，圖2之電影標頭222)之時間標度欄位。 earliest_presentation_time欄位可保存無符號32位元或64位元整數(取決於版本)。earliest_presentation_time可以時間標度欄位中指示之時間標度提供含有此框的空媒體片段之最早呈現時間。 segment_duration欄位可保存參考串流的下一片段之最早呈現時間(或若此為參考串流之最後片段，則參考串流之最後呈現時間)與此空片段之最早呈現時間之間的差值。持續時間係在與earliest_presentation_time欄位中保存之值相同的單位中。 在圖8A至圖8B及圖9之實例的情況下，接收器件亦可在解封裝ISOBMFF檔案時藉由辨識與空片段相關聯之片段類型品牌(例如，碼字「empt」)偵測到空片段(具有遺失視訊圖框)。此外，接收器器件亦可基於(例如)(圖8B之)樣本大小資訊、(圖9之)空片段資訊框資訊等直接獲得精確位置(例如，哪一播放軌)及關於遺失之片段的時序資訊。此使得接收器器件能夠以高效方式執行用於遺失圖框之預定檔案處置程序。舉例而言，接收器器件並不需要執行其他計算步驟以尋找遺失視訊圖框。亦可防止接收器器件試圖解碼遺失視訊圖框。防止藉由接收器器件進行之此等操作可促進遺失視訊圖框之正確處置且改良使用者體驗。 圖10說明提供統一發送ISOBMFF檔案中之遺失視訊圖框或損壞視訊圖框信號的實例。在統一發信號之情況下，單一指示符可與遺失視訊圖框及損壞視訊圖框兩者相關聯。接收器器件在偵測到單一指示符後可判定一或多個視訊圖框遺失或損壞，且可執行預定處置程序以處置(或處理)遺失或損壞視訊圖框(例如，藉由不解碼彼等視訊圖框)。替代地，接收器器件亦可組合單一指示符與其他資訊(例如，用於遺失之圖框及/或空片段的零樣本大小)以區分遺失圖框及損壞之圖框。 如圖10中所示，提供ISO基本媒體檔案之媒體框1040之實例。ISO基本媒體檔案可藉由(例如)串流傳輸伺服器、代管伺服器與接收器器件之間的中間網路器件、將經編碼資料囊封至媒體檔案中的等等器件而產生或更新。如圖10中所示，媒體框1040包括媒體資訊框1040，其包括樣本表1044。樣本表1044包括樣本描述1046，其又可包括樣本項1048a至1084n等。項1048a可包括樣本大小框1050及方案類型框1052。樣本表1044進一步包括樣本群組描述框1060及樣本至群組框1062。 在圖10之實例中，樣本項1048a可包括包括一或多個損壞視訊圖框、一或多個遺失視訊圖框或其任何組合的視訊樣本。為發送樣本項1048a中之遺失或損壞視訊圖框的存在信號，樣本項748a之方案類型框1052可攜載與損壞視訊圖框及遺失視訊圖框兩者相關聯之樣本項類型。樣本項類型可藉由四字母碼(在圖10之實例中，四字母碼經定義為「mcpt」)識別。藉由識別發送遺失或損壞視訊圖框之存在信號的四字母碼，接收器器件可直接獲得關於損壞或遺失(且不可解碼)的視訊圖框之精確檔案位置及時序資訊(例如，播放軌之哪一樣本包括損壞視訊圖框)，且可以高效方式執行預定檔案處置程序。 另外，樣本分群之一新類型亦可經定義以指示群組包括與樣本項類型「mcpt」相關聯之樣本。舉例而言，如圖10中所示，樣本群組描述框1060可儲存樣本群組類型項1061。樣本群組類型項(「MissingAndCorruptedFramesSampleEntry」)可與四字母碼識別符(在圖10之實例中，「mptf」)相關聯，且可與以下定義及語法相關聯：定義 群組類型：「mptf」 容器：樣本群組描述框(「sgpd」) 必選：否 數量：零或大於零語法 類別MissingAndCorruptedFramesSampleEntry()延伸VisualSampleGroupEntry(「mptf」) { bit(6) reserved = 0; unsigned int(2) mpt_frame_type; } 樣本群組類型項可包括用於mpt_frame_type之無符號兩位元整數。mpt_frame_type之值可指示與樣本群組描述項相關聯的樣本群組之樣本中的媒體圖框之條件。舉例而言，值0可指示樣本群組既不包括遺失視訊圖框亦不包括損壞視訊圖框。值1可指示樣本群組包括遺失視訊圖框。值2可指示樣本群組指示損壞視訊圖框。值3可指示不知曉媒體圖框之條件。 此外，樣本至群組框1062可包括包括於樣本群組描述框1060中的樣本群組類型項與表示樣本項之索引之間的映射。在圖10之實例中，樣本至群組框1062可包括將樣本群組類型項1061映射至與樣本項1048a相關聯之索引以指示樣本項為共用視訊圖框之共同條件的樣本之群組之部分的映射1063，如藉由樣本群組之mpt_frame_type值所指示。 在圖10之實例的情況下，統一發信號機構可用以指示樣本群組是包括遺失視訊圖框、損壞視訊圖框抑或具有完全可解碼視訊圖框。統一發信號機構提供媒體檔案中之視訊圖框之條件的緊湊且高效表示。此可簡化用於解譯及處置信號的接收器器件之設計。 圖11及圖12說明發送用於媒體串流傳輸之遺失檔案片段信號的實例。圖11說明用於DASH串流傳輸之MPD的實例，且圖12說明用於HLS串流傳輸之播放清單檔案或CMAF檔案的實例。MPD、播放清單檔案及CMAF檔案可藉由維持檔案之串流傳輸伺服器(例如，圖4之伺服器402)而產生或更新。替代地，此等檔案亦可藉由用戶端器件(例如，圖4之用戶端器件404)產生或更新。舉例而言，用戶端器件可已自串流傳輸伺服器接收列出待由用戶端器件下載的媒體片段檔案之集合的描述檔案(MPD、播放清單檔案、CMAF檔案或任何合適之檔案)。在串流傳輸會話期間，用戶端器件可根據描述檔案下載媒體片段檔案之集合，且可判定經下載媒體片段檔案中之一或多者含有遺失或損壞視訊圖框(例如，歸因於解碼經下載媒體片段檔案過程中的失效)。在此狀況下，用戶端器件可基於待在圖11及圖12中揭示之技術更新MPD、播放清單檔案、CMAF檔案等，且使用經更新檔案來在下一串流傳輸會話中請求媒體片段檔案，以避免接收具有遺失或損壞視訊圖框的媒體片段檔案。 現參看圖11，其說明發送遺失媒體片段信號之MPD 1100的實例之結構。MPD 1100可包括適應集合1102，其包括表示1104及表示1106。在圖11之實例中，表示1106包括表示屬性1110、媒體片段1112、媒體片段1114等。媒體片段1112及1114中之每一者可與開始時間及持續時間相關聯。 在圖11之實例中，媒體片段1112可與遺失之媒體片段檔案相關聯。MPD 1100可包括用以指示媒體片段1112與遺失之媒體片段檔案相關聯的發信號資訊。遺失之媒體片段檔案可與表示或子表示相關聯。舉例而言，表示1106 (其包括媒體片段1112)之表示屬性1110可包括指定存在遺失片段且用於彼等片段之持續時間待在MPD中發信號的元素「SegmentsMissingDurations」。表示屬性1110亦可包括指定用於遺失元素之持續時間的元素「MissingDurations」。持續時間可表示為與「MissingDurations」元素相關聯的屬性之集合。在圖11之實例中，遺失之媒體片段具有0:01之開始時間與1秒之持續時間，且具有0.06之開始時間與0.2秒之持續時間。在一些實施例中，「SegmentsMissingDurations」及「MissingDurations」元素亦可為子表示之部分，以指示子表示之遺失片段。「SegmentsMissingDurations」及「MissingDurations」之語義及語法可為如下：語義
Figure 106133859-A0304-0001
 XML語法 ＜xs:complexType name="SegmentMissDurationsType"＞ ＜xs:sequence＞ ＜xs:element name="MissDurations" minOccurs="1" maxOccurs="unbounded" ＞ ＜xs:complexType＞ ＜xs:attribute name="start" type="xs:unsignedLong" use="required"/＞ ＜xs:attribute name="duration" type="xs:unsignedLong" use="required"/＞ ＜xs:anyAttribute namespace="##other" processContents="lax"/＞ ＜/xs:complexType＞ ＜/xs:element＞ ＜xs:any namespace="##other" processContents="lax" minOccurs="0" maxOccurs="unbounded"/＞ ＜/xs:sequence＞ ＜xs:anyAttribute namespace="##other" processContents="lax"/＞ ＜/xs:complexType＞ 現參看圖12，其說明發送遺失媒體片段信號之播放清單檔案1200的實例之結構。播放清單檔案1200亦可為CMAF檔案(例如，具有至ISOBMFF檔案而非傳輸串流(TS)檔案之鏈接)。在圖12之實例中，媒體片段1202包括遺失之片段檔案。播放清單檔案1200可以特定標籤「missing_segment」指示媒體片段1202包括遺失片段檔案來指示此。 使用圖11及圖12的實例，接收器器件可在傳輸對於媒體片段檔案之請求之前判定檔案遺失。舉例而言，基於圖11之「SegmentsMissingDurations」及「MissDurations」元素及其相關聯屬性，接收器器件可識別與具有遺失檔案之片段相關聯的開始時間及持續時間資訊。接收器器件可對照媒體片段1112及1114中之每一者的開始時間及持續時間資訊比較遺失片段之開始時間及持續時間資訊，以判定媒體片段1112係與遺失之媒體片段檔案相關聯。同樣，基於圖12中之「missing_segment」標籤，接收器器件亦可判定媒體片段1202係與遺失之媒體片段檔案相關聯。在兩種情況下，接收器可接著執行預定處置程序，包括(例如)獲得來自另一表示(例如，表示1104)或來自另一播放清單之對應媒體片段來代替媒體片段1112，以獲得媒體片段1202之替代呈現。 圖13說明用於處理視訊資料之處理程序1300的實例。處理程序可藉由(例如)串流傳輸伺服器(例如，圖4之伺服器402)、代管伺服器與接收器器件之間的中間網路器件或在媒體檔案(例如，ISOBMFF檔案)中囊封經編碼資料的其他合適器件執行。處理程序亦可藉由使用描述檔案(例如，MPD、播放清單檔案、CMAF檔案或任何合適之檔案)串流傳輸來自串流傳輸伺服器之視訊資料的用戶端器件(例如，圖4之用戶端器件404)執行。 在區塊1302處，處理程序1300包括獲得複數個視訊資料圖框。藉由處理程序獲得之複數個圖框可為使用視訊編解碼器編碼及/或壓縮視訊資料的結果。視訊資料可包括複數個視訊樣本，在此狀況下該複數個視訊樣本中之每一者包括複數個圖框中之一或多個圖框。在一些實施例中，視訊樣本中之每一者可與識別包括於視訊樣本中之每一者中的內容之類型的類型識別符相關聯。如由處理程序接收之複數個視訊資料圖框可在一或多個ISO格式媒體檔案(例如，ISOBMFF)中。複數個視訊資料圖框可在基於前述描述檔案獲得的一或多個媒體片段檔案中。 在區塊1304處，處理程序1300包括判定複數個圖框中之至少一個圖框被損壞。舉例而言，處理程序1300可判定複數個圖框中之至少一個圖框被損壞。視訊資料可包括對應於複數個圖框中之至少一個圖框的第一資料，在此狀況下第一資料對於正確地解碼至少一個圖框係不充足的。如上文所論述，損壞之圖框可以不同方式出現。在一些狀況下，圖框可在用於彼圖框之經編碼資料之部分丟失時變得損壞。在一些狀況下，圖框可在圖框為框間預測鏈之部分，且框間預測鏈之某其他經編碼資料丟失以使得圖框不可正確地解碼時變得損壞。舉例而言，至少一個圖框可為框間預測鏈之部分，且視訊資料可包括對應於框間預測鏈之第一資料。在此等狀況下，第一資料對於正確地解碼至少一個圖框係不充足的。在一些狀況下，經編碼媒體資料可在經囊封以供在伺服器處傳輸之前變得損壞(例如，歸因於媒體檔案損壞)，或甚至遺失。在一些狀況下，編碼器(或轉碼器)可在編碼媒體資料中崩潰或失效。編碼器失效可導致一些圖框不被編碼(及不包括)於經編碼資料中，從而使得經編碼資料包括遺失圖框。編碼器失效亦可導致部分編碼圖框及在經編碼資料中包括部分資料。若部分資料並不足以正確地解碼圖框，則經編碼資料亦可包括損壞之圖框。 存在系統(例如，串流傳輸伺服器)判定複數個圖框中之至少一個圖框被損壞所藉以的不同方式。舉例而言，串流傳輸伺服器可接收來自另一視訊源(例如，內容伺服器)之呈網路封包形式的視訊資料，且串流傳輸伺服器可基於(例如)以下各者判定資料丟失在視訊資料之傳輸期間出現：一些網路封包已在傳輸中丟失；誤差已引入於網路封包之有效負載中(例如，基於誤差校正碼)；及該等誤差不可被校正；等。基於丟失資料之大小，以及視訊資料內丟失資料之位置，串流傳輸伺服器可進一步判定視訊資料是否包括損壞之圖框(例如，當自網路封包接收之資料不可用以解碼圖框性質時)，且識別損壞之圖框。作為另一實例，串流傳輸伺服器可採用編碼器以藉由編碼表示影像之集合的資料來產生視訊檔案，且編碼器可在試圖編碼包括損壞之資料的圖框時崩潰。編碼器可提供關於導致崩潰之圖框的指示至串流傳輸伺服器。串流傳輸伺服器接著可基於來自編碼器之指示判定存在損壞之圖框，且識別損壞之圖框。 作為另一實例，在串流傳輸會話期間，用戶端器件可根據描述檔案下載媒體片段檔案之集合，且可判定經下載媒體片段檔案中之一或多者含有損壞視訊圖框(例如，歸因於解碼媒體片段檔案過程中的失效)。 在區塊1306處，處理程序1300包括產生至少一個圖框損壞之指示。指示可呈根據本文中(包括例如圖7A至圖12)所描述之實例的形式。 在一些實施例中，指示可為ISO格式檔案之部分。在一個實例中，指示可藉由與包括損壞之至少一個圖框的視訊樣本相關聯之類型識別符(例如，與樣本項類型相關聯之碼識別符)提供，如關於圖7A所論述。在另一實例中，指示可藉由對應於損壞視訊圖框的一或多個樣本項之省略提供，如關於圖7B所論述。在又一實例中，如關於圖10所論述，與遺失視訊圖框及損壞視訊圖框兩者相關聯之統一樣本類型識別符可用以提供指示。另外，統一樣本群組類型識別符可用以指示視訊樣本群組(與樣本群組類型識別符相關聯)包括損壞/遺失視訊圖框。亦可包括將統一樣本群組類型識別符映射至含有損壞/遺失之樣本群組之視訊樣本的樣本至群組框以提供視訊樣本中之哪一者包括損壞/遺失視訊圖框的指示。 在一些實施例中，指示亦可為用於串流傳輸應用之前述描述檔案的部分。舉例而言，串流傳輸伺服器可產生用以指示包括於描述檔案中之一或多個媒體片段遺失(及/或損壞)的描述檔案。在另一實例中，用戶端器件可自在區塊1302處獲得之原始描述檔案產生經更新描述檔案，以指示包括於原始描述檔案中之媒體片段的哪一者遺失(及/或損壞)。在一個實例中，描述檔案可為MPD檔案且可包括用以指定存在媒體片段遺失及用於彼等片段之持續時間的預定元素及屬性。在另一實例中，描述檔案可為播放清單檔案且可包括用以指示遺失片段檔案或具有損壞資料之片段檔案的預定標籤。 在區塊1308處，處理程序1300包括產生包括在區塊1306處判定之指示的媒體檔案。媒體檔案可為ISOBMFF檔案、用於串流傳輸應用程式之描述檔案(例如，MPD、播放清單、CMAF等)等。 如上文所提及，視訊資料可包括複數個視訊樣本，其中該複數個視訊樣本中之每一者包括複數個圖框中之一或多個圖框。複數個視訊樣本可包括包括損壞之至少一個圖框的第一視訊樣本。第一視訊樣本係與識別包括於第一視訊樣本中之內容之類型的類型識別符相關聯。在此狀況下，指示可包括類型識別符。類型識別符可指示第一視訊樣本包括損壞之圖框中的至少一者。類型識別符亦可指示媒體類型及用以處理媒體檔案的解碼器之類型。在一些狀況下，類型識別符包括樣本項類型。 在一些實例中，媒體檔案可包括視訊資料的複數個片段之清單表示。在一個實例中，複數個片段可包括第一片段及第二片段。第一片段及第二片段可包括複數個圖框中之一或多個圖框。第二片段亦可包括複數個圖框中之一或多個遺失圖框。舉例而言，未在檔案中提供的遺失圖框意謂為第二片段之部分，但並不包括於檔案中。上文提及之指示可被稱為第一指示。在此等實例中，處理程序1300可進一步包括判定第二片段包括一或多個遺失圖框，及產生提供一或多個遺失圖框之指示的第二指示。處理程序1300可在媒體檔案中添加(或包括)第二指示。 在一些實例中，媒體檔案包括媒體呈現描述(MPD)格式檔案。上文提及的清單表示可包括一或多個調適集合，其中一或多個調適集合中之每一者包括含有具有一或多個遺失圖框之視訊資料的一或多個表示及/或一或多個子表示。一或多個表示或一或多個子表示中之每一者係與一或多個片段相關聯。第二指示可包括與用於一或多個表示或一或多個子表示之一或多個遺失圖框相關聯的一或多個元素。一或多個元素係與包括第二片段之時戳及持續時間的屬性之集合相關聯。 在一些實施中，清單表示包括用於擷取第一片段而非第二片段的資訊。在此等狀況下，第二指示包含用於擷取第二片段之資訊的省略。在一些實施中，清單表示包括與第二片段相關聯之本文指示符。本文指示符可指示第二片段包括一或多個遺失圖框。在此等實施中，第二指示可包括本文指示符。 在一些實例中，媒體檔案係基於HTTP即時串流傳輸(HLS)播放清單格式。在此等狀況下，複數個片段中之每一片段係與傳輸串流(TS)檔案相關聯，且清單表示可包括一組標籤。在此等狀況下，本文指示符為與第二片段相關聯的該組標籤中之一標籤。 在一些實例中，媒體檔案係基於共同媒體應用程式格式(CMAF)且包括播放清單。複數個片段中之每一片段係與ISOBMFF相關聯。清單表示可包括一組標籤，且本文指示符為與第二片段相關聯的該組標籤中之一標籤。 圖14說明用於處理媒體檔案資料之處理程序1400的實例。處理程序可藉由(例如)媒體檔案資料之接收器器件執行。接收器器件可為接收及解碼包括於媒體檔案中之經編碼視訊資料的任一器件。接收器器件可為(例如)用戶端器件(例如，圖4之用戶端器件404)、在代管伺服器與該用戶端器件之間的中間網路器件，或其他合適之器件。 在區塊1402處，處理程序1400包括獲得包括媒體內容之媒體檔案。媒體內容包括複數個視訊資料圖框。媒體檔案可為囊封媒體內容之檔案(例如，ISOBMFF檔案)，或鏈接一或多個媒體內容片段檔案之用於串流傳輸應用程式之描述檔案(例如，MPD、播放清單、CMAF等)。媒體檔案中之複數個圖框可為使用視訊編解碼器編碼及/或壓縮視訊資料的結果。視訊資料可包括複數個視訊樣本，且該複數個視訊樣本中之每一者包括複數個圖框中之一或多個圖框。在一些實施例中，視訊樣本中之每一者可與識別包括於視訊樣本中之每一者中的內容之類型的類型識別符相關聯。如由處理程序接收之複數個視訊資料圖框可在一或多個ISO格式媒體檔案(例如，ISOBMFF)中。複數個視訊資料圖框可在基於前述描述檔案獲得的一或多個媒體片段檔案中。 在區塊1404處，處理程序1400包括基於媒體檔案中之指示判定複數個圖框包括至少一個損壞之圖框。媒體內容可包括對應於複數個圖框中之至少一個圖框的第一資料，在此狀況下第一資料對於正確地解碼至少一個圖框係不充足的。如上文所論述，損壞之圖框可以不同方式出現。在一些狀況下，圖框可在用於彼圖框之經編碼資料之部分丟失時變得損壞。在一些狀況下，圖框可在圖框為框間預測鏈之部分，且框間預測鏈之某其他經編碼資料丟失以使得圖框不可正確地解碼時變得損壞。舉例而言，至少一個圖框可為框間預測鏈之部分，且視訊資料可包括對應於框間預測鏈之第一資料。在此等狀況下，第一資料對於正確地解碼至少一個圖框係不充足的。在一些狀況下，經編碼媒體資料可在經囊封以供在伺服器處傳輸之前變得損壞(例如，歸因於媒體檔案損壞)，或甚至遺失。在一些狀況下，編碼器(或轉碼器)可在編碼媒體資料中崩潰或失效。編碼器失效可導致一些圖框不被編碼(及不包括)於經編碼資料中，從而使得經編碼資料包括遺失圖框。編碼器失效亦可導致部分編碼圖框及在經編碼資料中包括部分資料。若部分資料並不足以正確地解碼圖框，則經編碼資料亦可包括損壞之圖框。 在區塊1404中之判定可基於發送損壞或遺失視訊圖框信號之指示。指示可呈根據本文中(包括例如圖7A至圖12)所描述之實例的形式。在一些實施例中，指示可為ISO格式檔案之部分。在實例中，指示可藉由與包括損壞之至少一個圖框的視訊樣本相關聯之類型識別符(例如，與樣本項類型相關聯之碼識別符)提供，如關於圖7A所論述。在另一實例中，指示可藉由對應於損壞視訊圖框的一或多個樣本項之省略提供，如關於圖7B所論述。在又一實例中，如關於圖10所論述，與遺失視訊圖框及損壞視訊圖框兩者相關聯之統一樣本類型識別符可用以提供指示。另外，統一樣本群組類型識別符可用以指示視訊樣本群組(與樣本群組類型識別符相關聯)包括損壞視訊圖框。亦可包括將統一樣本群組類型識別符映射至含有損壞樣本群組之視訊樣本的樣本至群組框以提供視訊樣本中之哪一者包括損壞視訊圖框的指示。基於指示，系統可識別(例如)包括損壞視訊圖框的媒體檔案之視訊樣本。 在一些實施例中，指示亦可為用於串流傳輸應用程式之前述描述檔案之部分，以指示包括於原始描述中之媒體片段中之哪一者損壞(或遺失)。在一個實例中，描述檔案可為MPD檔案且可包括用以指定存在被損壞且不可用於串流傳輸的媒體片段，及用於彼等片段之持續時間的預定元素及屬性。在另一實例中，描述檔案可為播放清單檔案且可包括用以指示損壞(及/或遺失)片段檔案的預定標籤。基於指示，系統可識別(例如) 包括具有損壞視訊圖框之媒體片段的呈現或表示/子表示。 在區塊1406處，處理程序1400包括基於指示處理經判定至少一個損壞之圖框。舉例而言，基於識別包括損壞視訊圖框的視訊樣本，系統可跳過彼視訊樣本之解碼。舉例而言，處理程序1400可基於指示識別對應於損壞之至少一個圖框的媒體內容之一部分，且可跳過媒體內容之該部分的處理。作為另一實例，基於識別包括具有損壞視訊圖框媒體片段的呈現/表示/子表示，請求替代呈現/表示/子表示。替代呈現/表示/子表示可向不同源請求且可與與包括損壞之媒體片段的呈現/表示/子表示相同或不同的媒體特性相關聯。 如上文所提及，視訊資料可包括複數個視訊樣本，其中該複數個視訊樣本中之每一者包括複數個圖框中之一或多個圖框。複數個視訊樣本可包括包括損壞之至少一個圖框的第一視訊樣本。第一視訊樣本係與識別包括於第一視訊樣本中之內容之類型的類型識別符相關聯。在此狀況下，指示可包括類型識別符。類型識別符可指示第一視訊樣本包括損壞之圖框中的至少一者。類型識別符亦可指示媒體類型及用以處理媒體檔案的解碼器之類型。在一些狀況下，類型識別符包括樣本項類型。 在一些實例中，媒體檔案包括視訊資料之複數個片段之清單表示。在一個實例中，複數個片段可包括第一片段及第二片段。第一片段及第二片段可包括複數個圖框中之一或多個圖框。第二片段亦可包括複數個圖框中之一或多個遺失圖框。上文提及之指示可被稱為第一指示，在此狀況下媒體檔案可進一步包括用以指示第二片段包括複數個圖框中之一或多個遺失圖框的第二指示。 在一些實例中，媒體檔案包括媒體呈現描述(MPD)格式檔案。上文提及的清單表示可包括一或多個調適集合，其中一或多個調適集合中之每一者包括含有具有一或多個遺失圖框之視訊資料的一或多個表示及/或一或多個子表示。一或多個表示或一或多個子表示中之每一者係與一或多個片段相關聯。第二指示可包括與用於一或多個表示或一或多個子表示之一或多個遺失圖框相關聯的一或多個元素。一或多個元素係與包括第二片段之時戳及持續時間的屬性之集合相關聯。 在一些實施中，清單表示包括用於擷取第一片段而非第二片段的資訊。在此等狀況下，第二指示包含用於擷取第二片段之資訊的省略。在一些實施中，清單表示包括與第二片段相關聯之本文指示符。本文指示符可指示第二片段包括一或多個遺失圖框。在此等實施中，第二指示可包括本文指示符。 在一些實例中，媒體檔案係基於HTTP即時串流傳輸(HLS)播放清單格式。在此等狀況下，複數個片段中之每一片段係與傳輸串流(TS)檔案相關聯，且清單表示可包括一組標籤。在此等狀況下，本文指示符為與第二片段相關聯的該組標籤中之一標籤。 在一些實例中，媒體檔案係基於共同媒體應用程式格式(CMAF)且包括播放清單。複數個片段中之每一片段係與ISOBMFF相關聯。清單表示可包括一組標籤，且本文指示符為與第二片段相關聯的該組標籤中之一標籤。 在一些態樣中，處理程序1400可基於指示藉由傳輸請求至串流伺服器以請求第三片段代替第二片段來處理至少一個損壞之圖框。 處理程序1300及1400經說明為邏輯流程圖，其中之操作表示可在硬體、電腦指令或其組合中實施的操作之序列。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上當藉由一或多個處理器執行時執行所敍述之操作的電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、對象、組件、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或與實施程序並行地組合。 另外，處理程序1300及1400可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可被實施為共同在一或多個處理器上執行之程式碼(例如，可執行指令、一或多個電腦程式或一或多個應用程式)、藉由硬體實施或其組合。如上文所提及，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。電腦系統可包括(例如)圖1之視訊源102、編碼器件104、解碼器件112及視訊目的地器件122，以及圖4之伺服器402及用戶端器件404。 編碼器件1504及解碼器件1612之特定細節分別展示於圖15及圖16中。圖15為說明可實施本發明中所描述之技術中之一或多者的實例編碼器件1504之方塊圖。編碼器件1504可(例如)產生本文中所描述之語法結構(例如，VPS、SPS、PPS或其他語法元素之語法結構)。編碼器件1504可執行視訊圖塊內之視訊區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以減少或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以減少或移除視訊序列之鄰近或周圍圖框內的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。 編碼器件1504包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建構，編碼器件1504亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如解塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元63在圖12中展示為迴路內濾波器，但在其他組態中，濾波器單元63可實施為後迴路濾波器。後處理器件57可對由編碼器件1504產生之經編碼視訊資料執行額外處理。本發明之技術可在一些情況下由編碼器件1504實施。然而，在其他情況下，本發明之技術中之一或多者可由後處理器件57實施。 如圖15中所展示，編碼器件1504接收視訊資料，且分割單元35將資料分割成視訊區塊。分割亦可包括(例如)根據LCU及CU之四分樹結構分割成圖塊、圖塊片段、頻塊或其他較大單元，以及視訊區塊分割。編碼器件1504大體說明編碼待編碼的視訊圖塊內之視訊區塊之組件。可將圖塊劃分成多個視訊區塊(且可能劃分成被稱作頻塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如，寫碼速率及失真等級，或其類似者)選擇複數個可能寫碼模式中之一者(諸如，複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者)以用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料並提供至求和器62以重建構經編碼區塊以用於用作參考圖像。 預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或圖塊中的一或多個相鄰區塊之框內預測寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。 運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之處理程序，該等運動向量估計視訊區塊之運動。運動向量(例如)可指示當前視訊圖框或圖像內之視訊區塊的預測單元(PU)相對於參考圖像內之預測性區塊的移位。 預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，編碼器件1504可計算儲存於圖像記憶體64中之參考圖像的子整數像素位置之值。舉例而言，編碼器件1504可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精度之運動向量。 運動估計單元42藉由將PU之位置與參考圖像之預測性區塊的位置比較而計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於藉由運動估計判定之運動向量提取或產生預測性區塊，可能執行內插達子像素精度。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼器件1504藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差值形成用於區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素，以供解碼器件1612用於解碼視訊圖塊之視訊區塊。 如上文所描述，作為由運動估計單元42及運動補償單元44所執行之框間預測的替代例，框內預測處理單元46可對當前區塊進行框內預測。詳言之，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在單獨之編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測處理單元46 (或模式選擇單元，圖15中未展示)可自所測試之模式選擇適當框內預測模式來使用。舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始、未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在任何情況下，在選擇用於區塊之框內預測模式後，框內預測處理單元46可將指示用於區塊之所選框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。編碼器件1504可在用於各種區塊之編碼上下文的所傳輸位元串流組態資料定義以及最可能框內預測模式之指示中包括框內預測模式索引表及經修改框內預測模式索引表以用於上下文中之每一者。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。 在預測處理單元41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後，編碼器件1504藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。 變換處理單元52可發送所得變換係數至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化處理程序可減小與係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行掃描。 在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至解碼器件1612，或加以存檔以供稍後由解碼器件1612傳輸或擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊圖塊之運動向量及其他語法元素。 反量化單元58及反變換處理單元60分別應用反量化及逆變換以重建構像素域中之殘餘區塊以供後續用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構殘餘區塊，以計算子整數像素值以用於運動估計中。求和器62將經重建構殘餘區塊添加至由運動補償單元44所產生之運動補償預測區塊以產生用於儲存於參考圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。 以此方式，圖15之編碼器件1504表示經組態以產生經編碼視訊位元串流之語法的視訊編碼器之實例。編碼器件1504可(例如)產生如上文所描述之VPS、SPS及PPS參數集。編碼器件1504可執行本文中所描述之技術中之任一者，包括上文關於圖13及圖14描述之處理程序。大體上已關於編碼器件1504描述本發明之技術，但如上文所提及，本發明之技術中的一些亦可由後處理器件57實施。 圖16為說明實例解碼器件1612之方塊圖。解碼器件1612包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，解碼器件1612可執行大體上可逆於關於來自圖15之編碼器件1504所描述之編碼遍次的解碼遍次。 在解碼程序期間，解碼器件1612接收表示由編碼器件1504發送之經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。在一些實施例中，解碼器件1612可自編碼器件1504接收經編碼視訊位元串流。在一些實施例中，解碼器件1612可自網路實體79 (諸如，伺服器、媒體感知網路元件(MANE)、視訊編輯器/編接器或經組態以實施上文所描述之技術中之一或多者的其他此類器件)接收經編碼視訊位元串流。網路實體79可或可不包括編碼器件1504。在網路實體79將經編碼視訊位元串流傳輸至解碼器件1612之前，本發明中所描述之技術中的一些可由網路實體79實施。在一些視訊解碼系統中，網路實體79及解碼器件1612可為獨立器件之部分，而在其他情況下，關於網路實體79描述之功能性可由包含解碼器件1612之同一器件執行。 解碼器件1612之熵解碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。解碼器件1612可接收視訊圖塊層級及/或視訊區塊層級之語法元素。熵解碼單元80可處理並剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。 當將視訊圖塊寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於發信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當將視訊圖塊寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，預測處理單元81之運動補償單元82基於運動向量及自熵解碼單元80接收之其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單內之參考圖像中的一者產生。解碼器件1612可基於儲存於圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。 運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊產生正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素以判定用以寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之參考圖像清單中之一或多者之建構資訊、圖塊之每一經框間編碼視訊區塊之運動向量、圖塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在編碼視訊區塊期間由編碼器件1604使用的內插濾波器來計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元82可自所接收語法元素判定由編碼器件1504使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。 反量化單元86反量化或解量化位元串流中所提供且由熵解碼單元80解碼之經量化變換係數。反量化處理程序可包括使用由編碼器件1604針對視訊圖塊中之每一視訊區塊計算的量化參數來判定量化程度及同樣應應用之反量化程度。反變換處理單元88將反變換(例如，反DCT或其他合適之反變換)、反整數變換或概念上類似之反變換處理程序應用於變換係數以便在像素域中產生殘餘區塊。 在運動補償單元82基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，解碼器件1612藉由對來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經解碼之視訊區塊。求和器90表示執行此求和運算之該或該等組件。若需要，亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器(諸如，解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器)。儘管濾波器單元91在圖16中展示為迴路內濾波器，但在其他組態中，濾波器單元91可實施為後迴路濾波器。給定圖框或圖像中之經解碼視訊區塊接著儲存於圖像記憶體92中，該圖像記憶體儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖1中所展示之視訊目的地器件122)上。 在前述描述中，參考其具體實施例描述申請案之態樣，但熟習此項技術者將認識到本發明不限於此。因此，儘管申請案之說明性實施例已經在本文中詳細地描述，但應理解，本發明概念可以其他方式不同地實施並採用，且意欲解釋所附申請專利範圍以包括除先前技術所限制外的此等變化。上文所描述之發明之各種特徵及態樣可單獨地或聯合地使用。另外，實施例可用於超出本文所描述之彼等環境及應用之任何數目個環境及應用，而不脫離本說明書之更廣精神及範疇。因此，本說明書及圖式被視為說明性而不是限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同之次序來執行該等方法。 在組件被描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他適合的電子電路)以執行操作或其任何組合來實現此組態。 結合本文中所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以描述。將此功能性實施為硬體或為軟體視特定應用及強加於整個系統上之設計約束而定。熟習此項技術者可針對每一特定應用以變化方式實施所描述功能性，但此等實施決策不應被解譯為導致脫離本發明之範疇。 因此，本文中描述之技術可以硬體、軟體、韌體或其任何組合實施。此等技術可實施於多種裝置中之任何者中，諸如，通用電腦、無線通信器件手機或具有多種用途(包括在無線通信器件手機及其他器件中之應用)之積體電路器件。可將描述為模組或組件之任何特徵一起實施於整合式邏輯器件中或分開來實施為離散但可互操作之邏輯器件。若以軟體實施，則該等技術可至少部分由包含包括當經執行時執行以上描述方法中之一或多者之指令之程式碼的電腦可讀資料儲存媒體實現。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括包裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)，諸如，同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非依電性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及類似者。該等技術另外或替代地可至少部分由電腦可讀通信媒體實現，該電腦可讀通信媒體攜載或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼，諸如，傳播之信號或波。 程式碼可由可包括一或多個處理器之處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路。此處理器可經組態以執行本發明中所描述的技術中之任何者。通用處理器可為微處理器；但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算器件之組合，例如DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任何其他此組態。因此，如本文中所使用之術語「處理器」可指前述結構、前述結構之任何組合或適合於實施本文中描述之技術的任何其他結構或裝置中之任一者。此外，在一些態樣中，本文中描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組，或併入於組合之視訊編碼器-解碼器(編碼解碼器)中。 本文中所論述之寫碼技術可體現於實例視訊編碼及解碼系統中。系統包括藉由目的地器件提供待稍後經解碼之經編碼視訊資料的源器件。詳言之，源器件經由電腦可讀媒體將視訊資料提供至目的地器件。源器件及目的地器件可包含廣泛範圍的器件中之任一者，該等器件包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機頂盒、諸如所謂的「智慧型」電話之電話手持機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些狀況下，源器件及目的地器件可經裝備以用於無線通信。 目的地器件可經由電腦可讀媒體接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源器件移動至目的地器件的任何類型之媒體或器件。在一個實例中，電腦可讀媒體可包含通信媒體以使得源器件能夠即時地將經編碼視訊資料直接傳輸至目的地器件。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路，諸如網際網路)的一部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件至目的地器件之通信的任何其他裝備。 在一些實例中，經編碼資料可自輸出介面輸出至儲存器件。類似地，可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件產生之經編碼視訊的另一中間儲存器件。目的地器件可經由串流傳輸或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。來自儲存器件之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸，或其組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流傳輸(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在一個實例中，源器件包括視訊源、視訊編碼器及輸出介面。目的地器件可包括輸入介面、視訊解碼器及顯示器件。源器件之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣，目的地器件可與外部顯示器件介接，而非包括整合式顯示器件。 以上實例系統僅為一個實例。用於並行地處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件來執行。儘管本發明之技術通常由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱為「CODEC」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件及目的地器件僅為源器件產生經寫碼視訊資料以供傳輸至目的地器件之此類寫碼器件的實例。在一些實例中，源器件及目的地器件可以大體上對稱之方式操作，使得該等器件中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊器件之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 視訊源可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代方案，視訊源可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源為視訊攝影機，則源器件及目的地器件可形成所謂攝影機電話或視訊電話。然而，如上文所提及，本發明中描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一狀況下，可由視訊編碼器對所捕捉、預先捕捉或電腦產生之視訊進行編碼。經編碼視訊資訊接著可由輸出介面輸出至電腦可讀媒體上。 如所提及，電腦可讀媒體可包括暫態媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可接收來自源器件之經編碼視訊資料並(例如)經由網路傳輸提供經編碼視訊資料至目的地器件。類似地，媒體產生設施(諸如光碟衝壓設施)之計算器件可自源器件接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體可理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊(其亦由視訊解碼器使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示器件將經解碼視訊資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。已描述了本發明之各種實施例。
35‧‧‧分割單元41‧‧‧預測處理單元42‧‧‧運動估計單元44‧‧‧運動補償單元46‧‧‧框內預測處理單元50‧‧‧求和器52‧‧‧變換處理單元54‧‧‧量化單元56‧‧‧熵編碼單元57‧‧‧後處理器件58‧‧‧反量化單元60‧‧‧反變換處理單元62‧‧‧求和器63‧‧‧濾波器單元64‧‧‧圖像記憶體79‧‧‧網路實體80‧‧‧熵解碼單元81‧‧‧預測處理單元82‧‧‧運動補償單元84‧‧‧框內預測處理單元86‧‧‧反量化單元88‧‧‧反變換處理單元90‧‧‧求和器91‧‧‧濾波器單元92‧‧‧圖像記憶體100‧‧‧系統102‧‧‧視訊源104‧‧‧編碼器件106‧‧‧編碼器引擎108‧‧‧儲存器110‧‧‧輸出端112‧‧‧解碼器件114‧‧‧輸入端116‧‧‧解碼器引擎118‧‧‧儲存器120‧‧‧通信鏈路122‧‧‧視訊目的地器件200‧‧‧ISO基本媒體檔案210‧‧‧檔案類型220‧‧‧電影框222‧‧‧電影標頭框224‧‧‧播放軌框224a‧‧‧播放軌標頭框224b‧‧‧媒體框230a‧‧‧電影片段框230b‧‧‧電影片段框230n‧‧‧電影片段框231‧‧‧片段類型框232‧‧‧電影片段框234‧‧‧電影片段標頭框236‧‧‧播放軌片段框238‧‧‧媒體資料框340‧‧‧媒體框342‧‧‧媒體資訊框344‧‧‧樣本表框346‧‧‧樣本描述框348a‧‧‧樣本項框348n‧‧‧樣本項框350‧‧‧樣本大小框352‧‧‧方案類型框360‧‧‧樣本群組描述框362‧‧‧樣本至群組框402‧‧‧伺服器404‧‧‧用戶端器件406‧‧‧網路408‧‧‧串流傳輸應用程式410‧‧‧請求處理器420‧‧‧媒體片段檔案440‧‧‧媒體片段檔案460‧‧‧描述檔案500‧‧‧媒體呈現描述(MPD)510‧‧‧調適集合512a‧‧‧表示512b‧‧‧表示514a‧‧‧表示屬性514b‧‧‧表示屬性516a‧‧‧媒體片段516b‧‧‧媒體片段518a‧‧‧媒體片段518b‧‧‧媒體片段520a‧‧‧子表示520b‧‧‧子表示740‧‧‧媒體框742‧‧‧媒體資訊框744‧‧‧樣本表746‧‧‧樣本描述748a‧‧‧樣本項748n‧‧‧樣本項750‧‧‧樣本大小框752‧‧‧方案類型框760‧‧‧樣本群組描述框762‧‧‧樣本至群組框800‧‧‧ISO基本媒體檔案810‧‧‧檔案類型框820‧‧‧電影框822‧‧‧電影標頭框824‧‧‧播放軌框824a‧‧‧播放軌標頭框824b‧‧‧媒體框830a‧‧‧電影片段框830b‧‧‧電影片段框830n‧‧‧電影片段框831‧‧‧片段類型框832‧‧‧電影片段框842‧‧‧媒體資訊框844‧‧‧樣本表846‧‧‧樣本描述848a‧‧‧樣本項848n‧‧‧樣本項850‧‧‧樣本大小框852‧‧‧方案類型框860‧‧‧樣本群組描述框862‧‧‧樣本至群組框900‧‧‧ISO基本媒體檔案910‧‧‧檔案類型框920‧‧‧電影框930a‧‧‧電影片段框930b‧‧‧電影片段框930n‧‧‧電影片段框931‧‧‧片段類型框932‧‧‧空片段資訊框1040‧‧‧媒體框1042‧‧‧媒體資訊1044‧‧‧樣本表1046‧‧‧樣本描述1048a‧‧‧樣本項1048n‧‧‧樣本項1050‧‧‧樣本大小框1052‧‧‧方案類型框1060‧‧‧樣本群組描述框1061‧‧‧樣本群組類型項1062‧‧‧樣本至群組框1063‧‧‧映射1100‧‧‧媒體呈現描述(MPD)1102‧‧‧適應集合1104‧‧‧表示1106‧‧‧表示1110‧‧‧表示屬性1112‧‧‧媒體片段1114‧‧‧媒體片段1200‧‧‧播放清單檔案1202‧‧‧媒體片段1300‧‧‧處理程序1302‧‧‧區塊1304‧‧‧區塊1306‧‧‧區塊1308‧‧‧區塊1400‧‧‧處理程序1402‧‧‧區塊1404‧‧‧區塊1406‧‧‧區塊1504‧‧‧編碼器件1612‧‧‧解碼器件
下文參考如下圖式詳細描述本發明之說明性實施例： 圖1為說明包括編碼器件及解碼器件之系統之實例的方塊圖。 圖2及圖3說明根據ISOBMFF格式化之含有用於視訊呈現之資料及後設資料的ISO基本媒體檔案之實例。 圖4說明用於媒體串流傳輸之實例系統。 圖5提供媒體呈現描述之實例的圖形表示。 圖6提供播放清單之實例的圖形表示。 圖7A及圖7B說明發送ISOBMFF檔案中之損壞之圖框信號的實例。 圖8A及圖8B說明發送ISOBMFF檔案中之遺失圖框信號的實例。 圖9說明發送ISOBMFF檔案中之遺失圖框信號的實例。 圖10說明提供統一發送ISOBMFF檔案中之遺失視訊圖框或損壞視訊圖框信號的實例。 圖11及圖12說明發送用於媒體串流傳輸之遺失檔案片段信號的實例。 圖13說明用於處理視訊資料之處理程序的實例。 圖14說明用於處理媒體檔案之處理程序的實例。 圖15為說明可實施本發明中所描述之技術中之一或多者的實例編碼器件之方塊圖。 圖16為說明實例解碼器件之方塊圖。
740‧‧‧媒體框
742‧‧‧媒體資訊框
744‧‧‧樣本表
746‧‧‧樣本描述
748a‧‧‧樣本項
748n‧‧‧樣本項
750‧‧‧樣本大小框
752‧‧‧方案類型框
760‧‧‧樣本群組描述框
762‧‧‧樣本至群組框

Claims (14)

  1. 一種處理視訊資料之方法，該方法包含：獲得該視訊資料的複數個視訊資料圖框，其中該視訊資料包括複數個視訊樣本，該複數個視訊樣本中之每一者包括該複數個圖框中之一或多個圖框；判定該複數個視訊樣本的第一視訊樣本的該複數個圖框中之至少一個圖框被損壞；及產生包括用於該複數個視訊樣本中之每一者的樣本項的媒體檔案、及包括樣本群組類型項的樣本群組描述框，該樣本群組類型項的第一項包含指示具有至少一個圖框被損壞的視訊樣本的類型識別符；其中產生該媒體檔案包含：將該複數個視訊樣本中之每一者與包括在該樣本群組描述框中的樣本群組類型項相關聯，及其中將該複數個視訊樣本之每一者與樣本群組類型項相關聯包含：回應於判定該第一視訊樣本的至少一個圖框被損壞，將該第一視訊樣本與該第一項相關聯。
  2. 如請求項1之方法，其中該視訊資料包括對應於該複數個圖框中之該至少一個圖框的第一資料，且其中該第一資料對於正確地解碼該至少一個圖框係不充足的。
  3. 如請求項1之方法，其中該至少一個圖框為一框間預測鏈之部分，其中該視訊資料包括對應於該框間預測鏈之第一資料，且其中該第一資料對 於正確地解碼該至少一個圖框係不充足的。
  4. 如請求項1之方法，其中該類型識別符包括一樣本項類型。
  5. 如請求項1之方法，其中該媒體檔案係基於一國際標準組織(ISO)基本媒體檔案格式(ISOBMFF)。
  6. 一種處理一媒體檔案之方法，該方法包含：獲得包括媒體內容之一媒體檔案，該媒體內容包括：複數個視訊樣本，該複數個視訊樣本之每一者包括該複數個圖框中之一或多個圖框；用於該複數個視訊樣本中之每一者的樣本項；及包括樣本群組類型項的樣本群組描述框，該樣本群組類型項的第一項包含指示具有至少一個圖框被損壞的視訊樣本的類型識別符，其中產生該媒體檔案包含：將該複數個視訊樣本中之每一者與包括在該樣本群組描述框中的樣本群組類型項相關聯；判定該複數個樣本的第一視訊樣本與該第一項相關聯；基於與該第一視訊樣本與該第一項的關聯判定該第一視訊樣本的該複數個圖框包括至少一個損壞之圖框；及處理該至少一個損壞之圖框。
  7. 如請求項6之方法，其中該視訊資料包括對應於該複數個圖框中之該至少一個圖框的第一資料，且其中該第一資料對於正確地解碼該至少一個 圖框係不充足的。
  8. 如請求項6之方法，其中該至少一個圖框為一框間預測鏈之部分，其中該視訊資料包括對應於該框間預測鏈之第一資料，且其中該第一資料對於正確地解碼該至少一個圖框係不充足的。
  9. 如請求項6之方法，其中該類型識別符包括一樣本項類型。
  10. 如請求項6之方法，其中該媒體檔案係基於一國際標準組織(ISO)基本媒體檔案格式(ISOBMFF)。
  11. 如請求項6項之方法，其中基於該指示該處理該至少一個損壞之圖框包含：基於該指示識別對應於該損壞之至少一個圖框的該媒體內容之一部分；及跳過該媒體內容之該部分的處理。
  12. 一種用於處理視訊資料之裝置，其包含：一記憶體，其經組態以儲存該視訊資料；及一處理器，其經組態以進行以下操作：獲得該視訊資料之複數個圖框，其中該視訊資料包括複數個視訊樣本，該複數個視訊樣本中之每一者包括該複數個圖框中之一或多個圖框； 判定該複數個視訊樣本的第一視訊樣本的該複數個圖框中之至少一個圖框被損壞；及產生包括用於該複數個視訊樣本中之每一者的樣本項的媒體檔案、及包括樣本群組類型項的樣本群組描述框，該樣本群組類型項的第一項包含指示具有至少一個圖框被損壞的視訊樣本的類型識別符；其中產生該媒體檔案包含：將該複數個視訊樣本中之每一者與包括在該樣本群組描述框中的樣本群組類型項相關聯，及其中將該複數個視訊樣本之每一者與樣本群組類型項相關聯包含：回應於判定該第一視訊樣本的至少一個圖框被損壞，將該第一視訊樣本與該第一項相關聯。
  13. 一種用於處理一媒體檔案之裝置，其包含：一記憶體，其經組態以儲存該媒體檔案；及一處理器，其經組態以進行以下操作：獲得包括媒體內容之一媒體檔案，該媒體內容包括：複數個視訊樣本，該複數個視訊樣本之每一者包括該複數個圖框中之一或多個圖框；用於該複數個視訊樣本中之每一者的樣本項；及包括樣本群組類型項的樣本群組描述框，該樣本群組類型項的第一項包含指示具有至少一個圖框被損壞的視訊樣本的類型識別符，其中產生該媒體檔案包含：將該複數個視訊樣本中之每一者與包括在該樣本群組描述框中的樣本群組類型項相關聯；判定該複數個樣本的第一視訊樣本與該第一項相關聯； 基於與該第一視訊樣本與該第一項的關聯判定該第一視訊樣本的該複數個圖框包括至少一個損壞之圖框；及處理該至少一個損壞之圖框。
  14. 一種其上儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器執行如請求項1-11任一項之方法。
TW106133859A 2016-10-10 2017-09-30 用於發送遺失或損壞視訊資料信號之系統及方法 TWI787207B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662406349P 2016-10-10 2016-10-10
US62/406,349 2016-10-10
US15/708,914 2017-09-19
US15/708,914 US20180103271A1 (en) 2016-10-10 2017-09-19 Systems and methods for signaling missing or corrupted video data

Publications (2)

Publication Number Publication Date
TW201818727A TW201818727A (zh) 2018-05-16
TWI787207B true TWI787207B (zh) 2022-12-21

Family

ID=61829290

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106133859A TWI787207B (zh) 2016-10-10 2017-09-30 用於發送遺失或損壞視訊資料信號之系統及方法

Country Status (9)

Country Link
US (1) US20180103271A1 (zh)
EP (1) EP3523982B1 (zh)
KR (1) KR102616943B1 (zh)
CN (1) CN109792567B (zh)
AU (2) AU2017342736A1 (zh)
BR (1) BR112019007080A2 (zh)
SG (1) SG11201901860WA (zh)
TW (1) TWI787207B (zh)
WO (1) WO2018071149A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924822B2 (en) 2017-04-04 2021-02-16 Qualcomm Incorporated Segment types as delimiters and addressable resource identifiers
US10484726B2 (en) * 2017-06-02 2019-11-19 Apple Inc. Playlist error tags for delivery and rendering of streamed media
US10367682B2 (en) * 2017-06-30 2019-07-30 Bank Of American Corporation Node failure recovery tool
US11146852B2 (en) 2018-05-11 2021-10-12 Qualcomm Incorporated Signaling missing sections of media data for network streaming in a segment
US10986402B2 (en) 2018-07-11 2021-04-20 Qualcomm Incorporated Time signaling for media streaming
US11750784B2 (en) * 2019-05-31 2023-09-05 Medicapture, Inc. Automatic video file repair method and system
CN110149560B (zh) * 2019-06-05 2021-11-16 亦非云互联网技术（上海）有限公司 基于hls协议的播放器优化方法及系统、存储介质及终端
BR112022005789A2 (pt) * 2019-09-27 2022-06-21 Vid Scale Inc Dispositivo de decodificação e codificação de vídeo, e, método para decodificação de vídeo
US11902584B2 (en) * 2019-12-19 2024-02-13 Tencent America LLC Signaling of picture header parameters
US20210306703A1 (en) * 2020-03-25 2021-09-30 Qualcomm Incorporated Determination of availability of chunks of data for network streaming media data
US20220070495A1 (en) 2020-09-02 2022-03-03 Lemon Inc. Pictures and layers included in a vvc image item
US11595672B2 (en) 2020-09-02 2023-02-28 Lemon Inc. Brand for a media file
WO2023274877A1 (en) * 2021-06-29 2023-01-05 Canon Kabushiki Kaisha Method, device, and computer program for dynamically encapsulating media content data
US20230336602A1 (en) * 2022-04-19 2023-10-19 Tencent America LLC Addressable resource index events for cmaf and dash multimedia streaming
WO2024072750A1 (en) * 2022-09-27 2024-04-04 Bytedance Inc. Enhanced signalling of lost or corrupted samples in a media file

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150281306A1 (en) * 2014-04-01 2015-10-01 Playcast Media Systems, Ltd. Overcoming data loss in streaming video in ip networks
US20160191931A1 (en) * 2014-12-31 2016-06-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2016128803A1 (en) * 2015-02-11 2016-08-18 Expway Method of handling packet losses in transmissions based on dash standard and flute protocol

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
CN102665103A (zh) * 2012-04-13 2012-09-12 烽火通信科技股份有限公司 一种适用于流媒体服务的音频视频封装方法
KR20150058324A (ko) * 2013-01-30 2015-05-28 인텔 코포레이션 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150281306A1 (en) * 2014-04-01 2015-10-01 Playcast Media Systems, Ltd. Overcoming data loss in streaming video in ip networks
US20160191931A1 (en) * 2014-12-31 2016-06-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2016128803A1 (en) * 2015-02-11 2016-08-18 Expway Method of handling packet losses in transmissions based on dash standard and flute protocol

Also Published As

Publication number Publication date
EP3523982A1 (en) 2019-08-14
EP3523982B1 (en) 2022-03-09
AU2022228092B2 (en) 2023-11-23
CN109792567A (zh) 2019-05-21
KR20190059290A (ko) 2019-05-30
TW201818727A (zh) 2018-05-16
AU2022228092A1 (en) 2022-09-29
WO2018071149A1 (en) 2018-04-19
SG11201901860WA (en) 2019-04-29
BR112019007080A2 (pt) 2019-07-02
US20180103271A1 (en) 2018-04-12
AU2017342736A1 (en) 2019-03-28
KR102616943B1 (ko) 2023-12-22
CN109792567B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
TWI787207B (zh) 用於發送遺失或損壞視訊資料信號之系統及方法
US10701400B2 (en) Signalling of summarizing video supplemental information
US10389999B2 (en) Storage of virtual reality video in media files
US11532128B2 (en) Advanced signaling of regions of interest in omnidirectional visual media
US10349067B2 (en) Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
US20160373771A1 (en) Design of tracks and operation point signaling in layered hevc file format
KR102105804B1 (ko) 비디오를 위한 개선된 제약 스킴 설계
US11997349B2 (en) Time signaling for media streaming