TWI794076B - 多媒體資源中軌道資料的處理方法、裝置、媒體及設備 - Google Patents

多媒體資源中軌道資料的處理方法、裝置、媒體及設備 Download PDF

Info

Publication number
TWI794076B
TWI794076B TW111113335A TW111113335A TWI794076B TW I794076 B TWI794076 B TW I794076B TW 111113335 A TW111113335 A TW 111113335A TW 111113335 A TW111113335 A TW 111113335A TW I794076 B TWI794076 B TW I794076B
Authority
TW
Taiwan
Prior art keywords
track data
knowledge image
track
data
knowledge
Prior art date
Application number
TW111113335A
Other languages
English (en)
Other versions
TW202247666A (zh
Inventor
胡穎
Original Assignee
大陸商騰訊科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商騰訊科技（深圳）有限公司 filed Critical 大陸商騰訊科技（深圳）有限公司
Publication of TW202247666A publication Critical patent/TW202247666A/zh
Application granted granted Critical
Publication of TWI794076B publication Critical patent/TWI794076B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stored Programmes (AREA)

Abstract

本申請實施例提供了一種多媒體資源中軌道資料的處理方法、裝置、媒體及設備。該多媒體資源中軌道資料的處理方法包括：接收多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，主位元流軌道資料對應的描述子中包含的相依性標識指向知識圖像軌道資料對應的描述子；解析所述信令文檔，根據所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係；根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。

Description

多媒體資源中軌道資料的處理方法、裝置、媒體及設備
本申請涉及電腦及通信技術領域，具體而言，涉及一種多媒體資源中軌道資料的處理方法、裝置、媒體及設備。
在AVS3（第三代音視頻編碼標準）視頻編解碼技術中，為了提升視頻壓縮效率，提出了知識圖像（library picture）的概念，即在對視頻序列編碼時，可生成主位元流（main bitstream）和知識圖像位元流（library picture bitstream），並且主位元流內的圖像幀在解碼時，可以參考知識圖像位元流中的圖像幀。
本申請的實施例提供了一種多媒體資源中軌道資料的處理方法、裝置、媒體及設備，進而至少在一定程度上可以根據信令文檔提前獲取到各個軌道資料之間的關聯關係，避免了需要臨時獲取知識圖像軌道資料而帶來不必要的延遲。
根據本申請實施例的一個方面，提供了一種多媒體資源中軌道資料的處理方法，包括：接收多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子；解析所述信令文檔，根據所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係；根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
根據本申請實施例的一個方面，提供了一種多媒體資源中軌道資料的處理方法，包括：生成多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子；將所述信令文檔發送給資料接收方，以使所述資料接收方根據所述信令文檔中的所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係，並根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
根據本申請實施例的一個方面，提供了一種多媒體資源中軌道資料的處理裝置，包括：接收單元，配置為接收多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子；解析單元，配置為解析所述信令文檔，根據所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係；獲取單元，配置為根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
在本申請的一些實施例中，基於前述方案，所述知識圖像軌道資料對應的描述子中包含第一元素信息，所述第一元素信息用於指示包含所述第一元素信息的描述子為知識圖像軌道資料對應的描述子。
在本申請的一些實施例中，基於前述方案，所述多個軌道資料中包含至少兩個知識圖像軌道資料，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中包含第二元素信息，所述第二元素信息用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
在本申請的一些實施例中，基於前述方案，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中包含第三元素信息，所述第三元素信息的值用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴。
在本申請的一些實施例中，基於前述方案，若所述至少兩個知識圖像軌道資料中存在被多個主位元流軌道資料所依賴的目標知識圖像軌道資料，則所述目標知識圖像軌道資料對應的描述子中還包含第四元素信息，所述第四元素信息用於指示所述多個主位元流軌道資料中指定主位元流軌道資料的幀率。
在本申請的一些實施例中，基於前述方案，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中還包含有樣本索引標識，所述樣本索引標識用於指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號區間。
在本申請的一些實施例中，基於前述方案，所述樣本索引標識包括第五元素信息和第六元素信息，所述第五元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最小值，所述第六元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最大值。
在本申請的一些實施例中，基於前述方案，所述主位元流軌道資料中包含索引標識，所述索引標識用於指示所述主位元流軌道資料所依賴的知識圖像軌道資料或用於指示所述主位元流軌道資料所依賴的知識圖像軌道組。
在本申請的一些實施例中，基於前述方案，所述主位元流軌道資料中包含軌道參考類型資料盒，所述軌道參考類型資料盒中包含參考類型欄位，所述參考類型欄位用於表示所述索引標識。
在本申請的一些實施例中，基於前述方案，所述主位元流軌道資料中包含軌道參考資料盒，所述軌道參考資料盒包含所述軌道參考類型資料盒。
在本申請的一些實施例中，基於前述方案，所述多個軌道資料中包含至少兩個知識圖像軌道資料，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中包含有軌道組標識，所述軌道組標識用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
在本申請的一些實施例中，基於前述方案，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中還包含用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴的第一欄位信息；若所述第一欄位信息指示知識圖像軌道資料被一個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最小值的欄位，以及指示主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最大值的欄位。
在本申請的一些實施例中，基於前述方案，若所述第一欄位信息指示知識圖像軌道資料被多個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最小值的欄位、分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最大值的欄位，以及用於指示所述多個主位元流軌道資料中各個主位元流軌道資料的幀率的欄位。
在本申請的一些實施例中，基於前述方案，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中還包含用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴的第一欄位信息；若所述第一欄位信息指示知識圖像軌道資料被一個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組數量的欄位，以及指示主位元流軌道資料中索引所述知識圖像軌道資料的樣本組索引號的欄位。
在本申請的一些實施例中，基於前述方案，若所述第一欄位信息指示知識圖像軌道資料被多個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組數量的欄位、分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組索引號的欄位，以及用於指示所述多個主位元流軌道資料中各個主位元流軌道資料的幀率的欄位。
在本申請的一些實施例中，基於前述方案，所述的多媒體資源中軌道資料的處理裝置還包括：解碼單元，配置為根據所述依賴關係確定解碼順序；根據所述解碼順序，依次對所述知識圖像軌道資料和所述主位元流軌道資料進行解碼處理，得到所述多媒體資源。
在本申請的一些實施例中，基於前述方案，所述解碼單元配置為：解碼所述主位元流軌道資料；在解碼得到所述主位元流軌道資料中需要參考知識圖像軌道資料的樣本索引號區間時，根據所述樣本索引號區間，從多個知識圖像軌道資料中確定需要參考的知識圖像軌道資料；解碼所述需要參考的知識圖像軌道資料。
根據本申請實施例的一個方面，提供了一種多媒體資源中軌道資料的處理裝置，包括：生成單元，配置為生成多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子；發送單元，配置為將所述信令文檔發送給資料接收方，以使所述資料接收方根據所述信令文檔中的所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係，並根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
在本申請的一些實施例中，基於前述方案，所述生成單元還配置為：在生成多媒體資源對應的信令文檔之前，生成主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料中包含有索引標識，所述索引標識用於指示所述主位元流軌道資料所依賴的知識圖像軌道資料。
根據本申請實施例的一個方面，提供了一種電腦可讀媒體，其上儲存有電腦程式，所述電腦程式被處理器執行時實現如上述實施例中所述的多媒體資源中軌道資料的處理方法。
根據本申請實施例的一個方面，提供了一種電子設備，包括：一個或多個處理器；儲存裝置，用於儲存一個或多個程式，當所述一個或多個程式被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如上述實施例中所述的多媒體資源中軌道資料的處理方法。
根據本申請實施例的一個方面，提供了一種電腦程式產品或電腦程式，該電腦程式產品或電腦程式包括計算機指令，該計算機指令儲存在電腦可讀儲存媒體中。計算機設備的處理器從電腦可讀儲存媒體讀取該計算機指令，處理器執行該計算機指令，使得該計算機設備執行上述各種可選實施例中提供的多媒體資源中軌道資料的處理方法。
在本申請的一些實施例所提供的技術方案中，透過接收多媒體資源對應的信令文檔，根據該信令文檔中包含的多個軌道資料分別對應的描述子，以及主位元流軌道資料對應的描述子中包含的相依性標識確定主位元流軌道資料與知識圖像軌道資料之間的依賴關係，然後根據該依賴關係從資料源側依次獲取知識圖像軌道資料和主位元流軌道資料，使得資料接收方能夠根據信令文檔提前獲取到各個軌道資料之間的關聯關係，以決定是否獲取知識圖像軌道資料以及請求何種知識圖像軌道資料，在保證合理分配網路和CPU資源的前提下，避免了需要臨時獲取知識圖像軌道資料而帶來不必要的延遲，提高了媒體資源的編解碼效率。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本申請。
現在將參考圖式更全面地描述示例實施方式。然而，示例實施方式能夠以多種形式實施，且不應被理解為限於在此闡述的範例；相反，提供這些實施方式使得本申請將更加全面和完整，並將示例實施方式的構思全面地傳達給所屬技術領域具有通常知識者。
此外，所描述的特徵、結構或特性可以以任何合適的方式結合在一個或更多實施例中。在下面的描述中，提供許多具體細節從而給出對本申請的實施例的充分理解。然而，所屬技術領域具有通常知識者將意識到，可以實踐本申請的技術方案而沒有特定細節中的一個或更多，或者可以採用其它的方法、組件、裝置、步驟等。在其它情況下，不詳細示出或描述公知方法、裝置、實現或者操作以避免模糊本申請的各方面。
圖式中所示的方塊圖僅僅是功能實體，不一定必須與物理上獨立的實體相對應。即，可以採用軟體形式來實現這些功能實體，或在一個或多個硬體模組或積體電路中實現這些功能實體，或在不同網路和/或處理器裝置和/或微控制器裝置中實現這些功能實體。
圖式中所示的流程圖僅是示例性說明，不是必須包括所有的內容和操作/步驟，也不是必須按所描述的順序執行。例如，有的操作/步驟還可以分解，而有的操作/步驟可以合併或部分合併，因此實際執行的順序有可能根據實際情況改變。
需要說明的是：在本文中提及的“多個”是指兩個或兩個以上。“和/或”描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。字元“/”一般表示前後關聯對象是一種“或”的關係。
圖1示出了可以應用本申請實施例的技術方案的示例性系統架構的示意圖。
如圖1所示，系統架構100包括多個終端裝置，所述終端裝置可透過例如網路150彼此通信。舉例來說，系統架構100可以包括透過網路150互連的第一終端裝置110和第二終端裝置120。在圖1的實施例中，第一終端裝置110和第二終端裝置120執行單向資料傳輸。
舉例來說，第一終端裝置110可對視頻資料（例如由第一終端裝置110採集的視頻圖片流）進行編碼以透過網路150傳輸到第二終端裝置120，已編碼的視頻資料以一個或多個已編碼視頻碼流形式傳輸。第二終端裝置120可從網路150接收已編碼視頻資料，對已編碼視頻資料進行解碼以恢復視頻資料，並根據恢復的視頻資料顯示視頻圖片。
在本申請的一個實施例中，系統架構100可以包括執行已編碼視頻資料的雙向傳輸的第三終端裝置130和第四終端裝置140，所述雙向傳輸比如可以發生在視頻會議期間。對於雙向資料傳輸，第三終端裝置130和第四終端裝置140中的每個終端裝置可對視頻資料（例如由終端裝置採集的視頻圖片流）進行編碼，以透過網路150傳輸到第三終端裝置130和第四終端裝置140中的另一終端裝置。第三終端裝置130和第四終端裝置140中的每個終端裝置還可接收由第三終端裝置130和第四終端裝置140中的另一終端裝置傳輸的已編碼視頻資料，且可對已編碼視頻資料進行解碼以恢復視頻資料，並可根據恢復的視頻資料在可訪問的顯示裝置上顯示視頻圖片。
在圖1的實施例中，第一終端裝置110、第二終端裝置120、第三終端裝置130和第四終端裝置140可為伺服器、個人電腦和智慧型電話，但本申請公開的原理可不限於此。本申請公開的實施例適用於膝上型計算機、平板電腦、媒體播放器和/或專用視頻會議設備。網路150表示在第一終端裝置110、第二終端裝置120、第三終端裝置130和第四終端裝置140之間傳送已編碼視頻資料的任何數目的網路，包括例如有線和/或無線通信網路。通信網路150可在電路交換和/或封包交換信道中交換資料。該網路可包括電信網路、區域網路、廣域網路和/或網際網路。出於本申請的目的，除非在下文中有所解釋，否則網路150的架構和拓撲對於本申請公開的操作來說可能是無關緊要的。
在本申請的一個實施例中，圖2示出視頻編碼裝置和視頻解碼裝置在串流傳輸環境中的放置方式。本申請所公開的標的可同等地適用於其它支持視頻的應用，包括例如視頻會議、數位TV（television，電視機）、在包括CD、DVD、儲存棒等的數位媒體上儲存壓縮視頻等等。
串流傳輸系統可包括採集子系統213，採集子系統213可包括數位相機等視頻源201，視頻源創建未壓縮的視頻圖片流202。在實施例中，視頻圖片流202包括由數位相機拍攝的樣本。相較於已編碼的視頻資料204（或已編碼的視頻碼流204），視頻圖片流202被描繪為粗線以強調高資料量的視頻圖片流。視頻圖片流202可由電子裝置220處理，電子裝置220包括耦接到視頻源201的視頻編碼裝置203。視頻編碼裝置203可包括硬體、軟體或軟硬體組合以實現或實施如下文更詳細地描述的所公開的標的的各方面。相較於視頻圖片流202，已編碼的視頻資料204（或已編碼的視頻碼流204）被描繪為細線以強調較低資料量的已編碼的視頻資料204（或已編碼的視頻碼流204），其可儲存在串流傳輸伺服器205上以供將來使用。一個或多個串流傳輸客戶端子系統，例如圖2中的客戶端子系統206和客戶端子系統208，可訪問串流傳輸伺服器205以檢索已編碼的視頻資料204的副本207和副本209。客戶端子系統206可包括例如電子裝置230中的視頻解碼裝置210。視頻解碼裝置210對已編碼的視頻資料的傳入副本207進行解碼，且產生可在顯示器212（例如顯示螢幕）或另一呈現裝置上呈現的輸出視頻圖片流211。在一些串流傳輸系統中，可根據某些視頻編碼/壓縮標準對已編碼的視頻資料204、視頻資料207和視頻資料209（例如視頻碼流）進行編碼。該些標準的實施例包括ITU-T H.265標準、中國國家視頻編碼標準AVS（音視頻編碼標準）等。本申請可用於AVS的上下文中。
應注意，電子裝置220和電子裝置230可包括圖中未示出的其它組件。舉例來說，電子裝置220可包括視頻解碼裝置，且電子裝置230還可包括視頻編碼裝置。
在本申請的一個實施例中，以國際視頻編碼標準HEVC（High Efficiency Video Coding，高效率視頻編碼）、VVC（Versatile Video Coding，多功能視頻編碼），以及AVS為例，當輸入一個視頻幀圖像之後，會根據一個塊大小，將視頻幀圖像劃分成複數個不重疊的處理單元，每個處理單元將進行類似的壓縮操作。這個處理單元被稱作CTU（Coding Tree Unit，編碼樹單元），或者稱之為LCU（Largest Coding Unit，最大編碼單元）。CTU再往下可以繼續進行更加精細的劃分，得到一個或多個基本的編碼單元CU，CU是一個編碼環節中最基本的元素。以下介紹對CU進行編碼時的一些概念：
預測編碼（Predictive Coding）：預測編碼包括了幀內預測和幀間預測等方式，原始視頻信號經過選定的已重建視頻信號的預測後，得到殘差視頻信號。編碼端需要為當前CU決定選擇哪一種預測編碼模式，並告知解碼端。其中，幀內預測是指預測的信號來自於同一圖像內已經編碼重建過的區域；幀間預測是指預測的信號來自已經編碼過的、不同於當前圖像的其它圖像（稱之為參考圖像）。
變換及量化（Transform & Quantization）：殘差視頻信號經過DFT（Discrete Fourier Transform，離散傅立葉變換）、DCT（Discrete Cosine Transform，離散餘弦變換）等變換操作後，將信號轉換到變換域中，稱之為變換係數。變換係數進一步進行有損的量化操作，丟失掉一定的信息，使得量化後的信號有利於壓縮表達。在一些視頻編碼標準中，可能有多於一種變換方式可以選擇，因此編碼端也需要為當前CU選擇其中的一種變換方式，並告知解碼端。量化的精細程度通常由量化參數（Quantization Parameter，簡稱QP）來決定，QP取值較大，表示更大取值範圍的係數將被量化為同一個輸出，因此通常會帶來更大的失真及較低的碼率；相反，QP取值較小，表示較小取值範圍的係數將被量化為同一個輸出，因此通常會帶來較小的失真，同時對應較高的碼率。
熵編碼（Entropy Coding）或統計編碼：量化後的變換域信號將根據各個值出現的頻率進行統計壓縮編碼，最後輸出二值化（0或者1）的壓縮碼流。同時，編碼產生其他信息，例如選擇的編碼模式、運動矢量資料等，也需要進行熵編碼以降低碼率。統計編碼是一種無損的編碼方式，可以有效的降低表達同樣信號所需要的碼率，常見的統計編碼方式有變長編碼（Variable Length Coding，簡稱VLC）或者基於上下文的二值化算術編碼（Content Adaptive Binary Arithmetic Coding，簡稱CABAC）。
環路濾波（Loop Filtering）：經過變化及量化的信號會透過反量化、反變換及預測補償的操作獲得重建圖像。重建圖像與原始圖像相比由於存在量化的影響，部分信息與原始圖像有所不同，即重建圖像會產生失真（Distortion）。因此，可以對重建圖像進行濾波操作，例如去塊效應濾波（Deblocking filter，簡稱DB）、SAO（Sample Adaptive Offset，自適應像素補償）或者ALF（Adaptive Loop Filter，自適應環路濾波）等濾波器，可以有效降低量化所產生的失真程度。由於這些經過濾波後的重建圖像將作為後續編碼圖像的參考來對將來的圖像信號進行預測，因此上述的濾波操作也被稱為環路濾波，即在編碼環路內的濾波操作。
在本申請的一個實施例中，圖3示出了一個視頻編碼器的基本流程圖，在該流程中以幀內預測為例進行說明。其中，原始圖像信號與預測圖像信號做差值運算，得到殘差信號。殘差信號經過變換及量化處理之後得到量化係數，量化係數一方面透過熵編碼得到編碼後的位元流，另一方面透過反量化及反變換處理得到重構殘差信號。預測圖像信號與重構殘差信號疊加生成圖像信號。圖像信號一方面輸入至幀內模式決策模組和幀內預測模組進行幀內預測處理，另一方面透過環路濾波輸出重建圖像信號。重建圖像信號可以作為下一幀的參考圖像進行運動估計及運動補償預測。然後基於運動補償預測的結果和幀內預測結果得到下一幀的預測圖像信號，並繼續重複上述過程，直至編碼完成。
基於上述的編碼過程，在解碼端針對每一個CU，在獲取到壓縮碼流（即位元流）之後，進行熵解碼獲得各種模式信息及量化係數。然後量化係數經過反量化及反變換處理得到殘差信號。另一方面，根據已知的編碼模式信息，可獲得該CU對應的預測信號，然後將殘差信號與預測信號相加之後即可得到重建信號，重建信號再經過環路濾波等操作，產生最終的輸出信號。
簡單而言，視頻資料的整體傳輸過程如圖4所示，透過視頻採集得到視頻資料，然後經過視頻編碼和視頻資料封裝處理之後，將視頻資料傳輸給接收方。接收方接收到視頻資料之後，對視頻資料進行解封裝，解封裝之後進行視頻解碼處理，最後呈現解碼得到的視頻。
在AVS3視頻編解碼技術中，為了提升視頻壓縮效率，提出了知識圖像的概念。如圖5所示，在對視頻序列編碼時，可生成主位元流（main bitstream）和知識圖像位元流（library picture bitstream），並且主位元流內的圖像幀在解碼時，可以參考知識圖像位元流中的圖像幀。知識圖像位元流中的圖像幀為知識圖像。知識圖像可以是一類特殊的I幀圖像，它作為獨立的圖像，可以被主位元流中的B幀和/或P幀在解碼時參考。知識圖像和主位元流中的I幀的不同之處在於，知識圖像不會用於顯示呈現。主位元流和知識圖像位元流可以對應於相同的原始視頻序列。
同時，相關技術中也提出了片段依賴描述子的信令。具體而言，一個@schemeIdUri屬性為"urn:avs:ims:2018:ds"(dependent segment)的EssentialProperty元素表示一個片段依賴描述子。至少一個片段依賴描述子在表示層被指定，而在MPD（media presentation description，媒體演示說明）層和自適應集（adaptation set）層不應被指定。片段依賴描述子指示每個表示（representation）中的每個片段與其它片段（可能是同一表示中的片段、也可能是不同表示中的片段）存在非時間的依賴關係，表示被依賴的其它片段的標識（URL或indicator）和片段中用於壓縮層的圖像編號應該包含在該描述子中。
雖然相關技術指示了主位元流中某些樣本所參考的知識圖像的樣本的信息，也從信令層面給出了片段層級之間的依賴關係。然而這些樣本級別的依賴和關聯關係需要解碼器在解析到具體的樣本片段時才能夠獲取。若資料接收方之前並沒有請求或解碼相對應的知識圖像軌道，則需要臨時請求或解碼知識圖像軌道，進而會帶來不必要的延遲，降低了媒體資源的編解碼效率。
因此，本申請實施例的技術方案提出了一種新的多媒體資源中軌道資料的處理方案，使得資料接收方能夠根據信令文檔提前獲取到各個軌道資料之間的關聯關係，以決定是否獲取知識圖像軌道資料以及請求何種知識圖像軌道資料，在保證合理分配網路和CPU資源的前提下，避免了需要臨時獲取知識圖像軌道資料而帶來不必要的延遲，提高了媒體資源的編解碼效率。
以下對本申請實施例的技術方案的實現細節進行詳細闡述：
圖6示出了根據本申請實施例的多媒體資源中軌道資料的處理方法的流程圖。該多媒體資源中軌道資料的處理方法可以由媒體播放設備來執行，該媒體播放設備可以是智慧型手機、平板電腦等。參照圖6所示，該多媒體資源中軌道資料的處理方法至少包括步驟S610至步驟S630，詳細介紹如下：
在步驟S610中，接收多媒體資源對應的信令文檔，該信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子。該多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料。主位元流軌道資料對應的描述子中包含的相依性標識指向其所依賴的知識圖像軌道資料對應的描述子。
需要說明的是：多媒體資源包含有具體的媒體資源資料，比如包含有物品A的介紹視頻的具體內容（視頻畫面、介紹音頻等）。多媒體資源對應的信令文檔可以是DASH（Dynamic Adaptive Streaming over HTTP，基於HTTP的動態自適應流）信令文檔。
在一實施方式中，多媒體資源的多個軌道資料中可以包含有一個知識圖像軌道資料，也可以包含有多個知識圖像軌道資料。
在本申請的一個實施例中，知識圖像軌道資料對應的描述子中可以包含第一元素信息，該第一元素信息用於指示包含第一元素信息的描述子為知識圖像軌道資料對應的描述子。
在本申請的一個實施例中，如果多媒體資源的多個軌道資料中包含有至少兩個知識圖像軌道資料，那麼所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中可以包含第二元素信息，該第二元素信息用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
在本申請的一個實施例中，如果多媒體資源的多個軌道資料中包含有至少兩個知識圖像軌道資料，那麼所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中包含第三元素信息，該第三元素信息的值用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴。比如，若該第三元素信息的值為1，則說明該知識圖像軌道資料被多個主位元流軌道資料所依賴；若該第三元素信息的值為0，則說明該知識圖像軌道資料被一個主位元流軌道資料所依賴。
在本申請的一個實施例中，如果多媒體資源的多個軌道資料中包含有至少兩個知識圖像軌道資料，且其中存在被多個主位元流軌道資料所依賴的目標知識圖像軌道資料，則該目標知識圖像軌道資料對應的描述子中還包含第四元素信息，該第四元素信息用於指示這多個主位元流軌道資料中指定主位元流軌道資料的幀率。在一實施方式中，該指定主位元流軌道資料可以是這多個主位元流軌道資料，或者也可以是其中的部分主位元流軌道資料。
在本申請的一個實施例中，如果多媒體資源的多個軌道資料中包含有至少兩個知識圖像軌道資料，則所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中還包含樣本索引標識，該樣本索引標識用於指示主位元流軌道資料中用於索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號區間。在一實施方式中，該樣本索引標識包含第五元素信息和第六元素信息，該第五元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最小值，該第六元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最大值。
在步驟S620中，解析信令文檔，根據相依性標識確定主位元流軌道資料與知識圖像軌道資料之間的依賴關係。
在步驟S630中，根據主位元流軌道資料與知識圖像軌道資料之間的依賴關係，從資料源側依次獲取知識圖像軌道資料和主位元流軌道資料。
在本申請的一個實施例中，由於主位元流軌道資料與知識圖像軌道資料之間存在依賴關係，因此在獲取知識圖像軌道資料之後，再從資料源側獲取主位元流軌道資料。
在一實施方式中，如果存在多個知識圖像軌道資料，則可以先獲取到主位元流軌道資料需要最先參考的知識圖像軌道資料，然後在解碼主位元流軌道資料的過程中，如果解碼到需要參考其它知識圖像軌道資料的位置時，再獲取其它知識圖像軌道資料。當然也可以在獲取到主位元流軌道資料和所有知識圖像軌道資料之後，再進行解碼處理。
在本申請的一個實施例中，主位元流軌道資料中可以包含索引標識，該索引標識用於指示主位元流軌道資料所依賴的知識圖像軌道資料或用於指示主位元流軌道資料所依賴的知識圖像軌道組。
在一實施方式中，主位元流軌道資料中包含有軌道參考類型資料盒，該軌道參考類型資料盒中包含參考類型欄位，該參考類型欄位用於表示索引標識。基於此，參考類型欄位的值用於指示主位元流軌道資料所依賴的知識圖像軌道資料或所依賴的知識圖像軌道組。
在本申請的一個實施例中，主位元流軌道資料中可以包含軌道參考資料盒，在這種情況下，軌道參考資料盒包含該軌道參考類型資料盒。
在本申請的一個實施例中，多媒體資源的多個軌道資料中可以包含至少兩個知識圖像軌道資料，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中包含有軌道組標識，該軌道組標識用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
在本申請的一個實施例中，資料接收方在根據依賴關係從資料源側依次獲取知識圖像軌道資料和主位元流軌道資料之後，可以根據該依賴關係確定解碼順序；然後根據確定的解碼順序，依次對知識圖像軌道資料和主位元流軌道資料進行解碼處理，得到多媒體資源。
在本申請的一個實施例中，可以先解碼主位元流軌道資料，在解碼到主位元流軌道資料中需要參考知識圖像軌道資料的樣本索引號區間時，根據該樣本索引號區間，從多個知識圖像軌道資料中確定需要參考的知識圖像軌道資料，然後再解碼需要參考的知識圖像軌道資料。在一實施方式中，可以在獲取到主位元流軌道資料和全部的知識圖像軌道資料之後，再進行解碼處理；或者也可以先獲取到主位元流軌道資料需要最先參考的知識圖像軌道資料，然後在解碼主位元流軌道資料的過程中，如果解碼到需要參考其它知識圖像軌道資料的位置時再獲取其它知識圖像軌道資料。
在本申請的一個實施例中，如果媒體資源包含至少兩個知識圖像軌道資料，那麼所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中還包含用於指示所述知識圖像軌道資料是否被多個主位元流軌道資料所依賴的第一欄位信息。在一實施方式中，該第一欄位信息比如可以是multi_main_bitstream。若multi_main_bitstream值為1，則說明知識圖像軌道資料被多個主位元流軌道資料所依賴；若multi_main_bitstream值為0，則說明知識圖像軌道資料被一個主位元流軌道資料所依賴。
在本申請的一個實施例中，如果第一欄位信息指示知識圖像軌道資料被一個主位元流軌道資料所依賴，則知識圖像軌道資料中還包含指示該一個主位元流軌道資料中索引知識圖像軌道資料的樣本索引號最小值的欄位，以及指示該一個主位元流軌道資料中用於索引知識圖像軌道資料的樣本索引號最大值的欄位。在一實施方式中，指示樣本索引號最小值的欄位可以是sample_number_min，指示樣本索引號最大值的欄位可以是sample_number_max。其中，主位元流軌道資料中樣本索引號最小值和樣本索引號最大值之間的片段需要依賴於知識圖像軌道資料。
在本申請的一個實施例中，如果第一欄位信息指示知識圖像軌道資料被多個主位元流軌道資料所依賴，則知識圖像軌道資料中還包含分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引知識圖像軌道資料的樣本索引號最小值的欄位、分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引知識圖像軌道資料的樣本索引號最大值的欄位，以及用於指示多個主位元流軌道資料中各個主位元流軌道資料的幀率的欄位。類似地，指示樣本索引號最小值的欄位可以是sample_number_min，指示樣本索引號最大值的欄位可以是sample_number_max。
在本申請的一個實施例中，如果第一欄位信息指示知識圖像軌道資料被一個主位元流軌道資料所依賴，則知識圖像軌道資料中還包含指示該一個主位元流軌道資料中索引知識圖像軌道資料的樣本組數量的欄位，以及指示該一個主位元流軌道資料中索引知識圖像軌道資料的樣本組索引號的欄位。在一實施方式中，指示樣本組數量的欄位可以是num_sample_groups，指示樣本組索引號的欄位可以是group_description_index。
在本申請的一個實施例中，如果第一欄位信息指示知識圖像軌道資料被多個主位元流軌道資料所依賴，則知識圖像軌道資料中還包含分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引知識圖像軌道資料的樣本組數量的欄位、分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引知識圖像軌道資料的樣本組索引號的欄位，以及用於指示多個主位元流軌道資料中各個主位元流軌道資料的幀率的欄位。類似地，指示樣本組數量的欄位可以是num_sample_groups，指示樣本組索引號的欄位可以是group_description_index。
圖6是從媒體資源的接收方來闡述本申請實施例的技術方案，以下結合圖7從資料源側來對本申請實施例的實現細節做進一步說明：
圖7示出了根據本申請實施例的多媒體資源中軌道資料的處理方法的流程圖，該多媒體資源中軌道資料的處理方法可以由媒體生成設備來執行，該媒體生成設備可以是智慧型手機、平板電腦等。參照圖7所示，該多媒體資源中軌道資料的處理方法至少包括步驟S710至步驟S720，詳細介紹如下：
在步驟S710中，生成多媒體資源對應的信令文檔，該信令文檔中包含有多媒體資源的多個軌道資料分別對應的描述子，該多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，該主位元流軌道資料對應的描述子中包含的相依性標識指向知識圖像軌道資料對應的描述子。
需要說明的是：多媒體資源包含有具體的媒體資源資料，比如包含有物品A的介紹視頻的具體內容（視頻畫面、介紹音頻等）。多媒體資源對應的信令文檔可以是DASH信令文檔。
在一實施方式中，多媒體資源的多個軌道資料中可以包含有一個知識圖像軌道資料，也可以包含有多個知識圖像軌道資料。
在本申請的一個實施例中，知識圖像軌道資料對應的描述子中可以包含第一元素信息，該第一元素信息用於指示包含第一元素信息的描述子為知識圖像軌道資料對應的描述子。
在本申請的一個實施例中，如果多媒體資源的多個軌道資料中包含有至少兩個知識圖像軌道資料，那麼所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中可以包含第二元素信息，該第二元素信息用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
在本申請的一個實施例中，如果多媒體資源的多個軌道資料中包含有至少兩個知識圖像軌道資料，那麼所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中包含第三元素信息，該第三元素信息的值用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴。比如，若該第三元素信息的值為1，則說明該知識圖像軌道資料被多個主位元流軌道就所依賴；若該第三元素信息的值為0，則說明該知識圖像軌道資料被一個主位元流軌道就所依賴。
在本申請的一個實施例中，如果多媒體資源的多個軌道資料中包含有至少兩個知識圖像軌道資料，且其中存在被多個主位元流軌道資料所依賴的目標知識圖像軌道資料，則該目標知識圖像軌道資料對應的描述子中還包含第四元素信息，該第四元素信息用於指示這多個主位元流軌道資料中指定主位元流軌道資料的幀率。在一實施方式中，該指定主位元流軌道資料可以是這多個主位元流軌道資料，或者也可以是其中的部分主位元流軌道資料。
在本申請的一個實施例中，如果多媒體資源的多個軌道資料中包含有至少兩個知識圖像軌道資料，則所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中還包含樣本索引標識，所述樣本索引標識用於指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號區間。在一實施方式中，該樣本索引標識包括第五元素信息和第六元素信息，該第五元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最小值，該第六元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最大值。
在步驟S720中，將信令文檔發送給資料接收方，以使資料接收方根據信令文檔中的相依性標識確定主位元流軌道資料與知識圖像軌道資料之間的依賴關係，並根據依賴關係從資料源側依次獲取知識圖像軌道資料和主位元流軌道資料。
在本申請的一個實施例中，資料源側在生成多媒體資源對應的信令文檔之前，還可以生成主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料。該主位元流軌道資料中包含有索引標識，該索引標識用於指示主位元流軌道資料所依賴的知識圖像軌道資料或用於指示主位元流軌道資料所依賴的知識圖像軌道組。
在一實施方式中，主位元流軌道資料中包含有軌道參考類型資料盒，該軌道參考類型資料盒中包含參考類型欄位，該參考類型欄位用於表示索引標識。基於此，參考類型欄位的值用於指示主位元流軌道資料所依賴的知識圖像軌道資料或所依賴的知識圖像軌道組。
在本申請的一個實施例中，主位元流軌道資料中可以包含軌道參考資料盒，在這種情況下，軌道參考資料盒包含該軌道參考類型資料盒。
在本申請的一個實施例中，多媒體資源的多個軌道資料中可以包含至少兩個知識圖像軌道資料，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中包含有軌道組標識，該軌道組標識用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
在一實施方式中，知識圖像軌道組資料的其它相關內容可以參照前述實施例的技術方案，不再贅述。
以上分別從資料接收方和資料源側闡述了本申請實施例的技術方案，以下結合圖8從整體上對本申請實施例的實現細節做進一步說明：
如圖8所示，以伺服端作為資料源側、客戶端作為資料接收方為例進行說明，具體可以包括如下步驟S801至步驟S807：
在步驟S801中，伺服端生成位元流。
在本申請的一個實施例中，伺服端可以在視頻編碼環節，生成主位元流，以及一個或多個知識圖像位元流。
在步驟S802中，伺服端封裝生成軌道資料。
在本申請的一個實施例中，伺服端在視頻資料封裝環節，可以將主位元流封裝為單獨的資料軌道，將每個知識圖像位元流也封裝為單獨的資料軌道，並根據主位元流和知識圖像位元流之間在解碼時的參考關係，將主位元流軌道和知識圖像軌道透過軌道間的索引關係進行關聯。如果主位元流軌道需要參考多個知識圖像軌道，那麼這些知識圖像軌道可透過軌道組進行關聯，並在軌道組內透過樣本索引範圍信息、描述信息等區分不同的知識圖像軌道。
在一實施方式中，一個主位元流軌道可以關聯至一個知識圖像軌道，也可以關聯至一個知識圖像軌道組。多個主位元流軌道（一般為同一內容不同幀率的多個軌道）也可以關聯至同一個知識圖像軌道或知識圖像軌道組。
在步驟S803中，伺服端生成DASH信令。
在本申請的一個實施例中，伺服端在信令生成環節，可以將知識圖像位元流對應的媒體資源進行特殊標記，並指示主位元流媒體資源和知識圖像位元流媒體資源之間的依賴關係。若主位元流媒體資源需要參考多個知識圖像媒體資源，則這些知識圖像媒體資源可以互相關聯並採用樣本索引範圍信息、描述信息等進行區分。上述信息都包括在DASH信令中。
在步驟S804中，伺服端向客戶端發送DASH信令。
在步驟S805中，客戶端根據DASH信令向伺服端請求媒體資料。
在本申請的一個實施例中，客戶端根據信令文檔判斷所需的媒體資源是否依賴知識圖像位元流對應的媒體資源，如果依賴，則優先請求知識圖像位元流對應的媒體資源。如果依賴多個知識圖像位元流對應的媒體資源，則根據當前呈現的幀所屬的樣本索引範圍信息來請求對應的媒體資源。
在步驟S806中，伺服端向客戶端傳輸媒體資料。
在步驟S807中，客戶端解封裝媒體資料，呈現對應的媒體資源。
在本申請的一個實施例中，客戶端請求對應的媒體資源後，可以根據資料軌道之間的索引關係，優先解碼知識圖像位元流對應的軌道資料。如果存在知識圖像軌道組，即主位元流對應的軌道資料依賴多個知識圖像位元流對應的軌道資料，則根據當前呈現的幀所屬的樣本索引範圍信息來解碼對應的軌道資料。
為了實現前述實施例的技術方案，本申請的實施例添加了一些描述性欄位信息。以下以擴展ISOBMFF資料盒和DASH MPD信令的形式舉例，定義了相關的欄位以支持AVS3知識圖像技術，具體如下：
1. 定義知識圖像軌道和主位元流軌道之間的索引關係：
在本申請的一個實施例中，主位元流軌道可以透過軌道索引資料盒索引至其解碼所依賴的知識圖像軌道。主位元流軌道的TrackReferenceBox（軌道參考資料盒）中應添加對應的TrackReferenceTypeBoxes（軌道參考類型資料盒），該TrackReferenceTypeBoxes資料盒中透過track_IDs指示當前主位元流軌道索引的知識圖像軌道或知識圖像軌道組。
具體地，主位元流軌道和知識圖像軌道之間的索引透過TrackReferenceTypeBoxes中對應的reference_type（參考類型）索引類型標識，該類型欄位定義如下：
'a3lr'：被索引的軌道為當前軌道對應的知識圖像軌道。
在一實施方式中，一個主位元流軌道可以透過'a3lr'索引至一個知識圖像軌道或知識圖像軌道組；多個主位元流軌道可以透過'a3lr'索引至一個知識圖像軌道或知識圖像軌道組。
2、定義知識圖像軌道組：
在本申請的一個實施例中，如果一個主位元流軌道需要參考多個知識圖像軌道，那麼這些知識圖像軌道應該透過知識圖像軌道組進行關聯。在一實施方式中，知識圖像軌道組的一種定義如下： aligned(8) class Avs3LibraryGroupBox extends TrackGroupTypeBox('a3lg') { // track_group_id is inherited from TrackGroupTypeBox; unsigned int(1) multi_main_bitstream; bit(7) reserved; if(!multi_main_bitstream){ unsigned int(32)      sample_number_min; unsigned int(32)      sample_number_max; } else{ unsigned int(8) num_main_bitstream; for(i=0; i＜num_main_bitstream; i++){ unsigned int(8) frame_rate; unsigned int(32)  sample_number_min; unsigned int(32)  sample_number_max; } } string track_description;              // optional }
在上述的定義中，知識圖像軌道組是透過擴展軌道組資料盒得到，以'a3lg'軌道組類型標識。在所有包含'a3lg'類型TrackGroupTypeBox的軌道中，組ID相同的軌道屬於同一個軌道組。Avs3LibraryGroupBox中各欄位語義如下：
multi_main_bitstream指示該知識圖像軌道是否被多個主位元流軌道參考，該欄位取值為1表示該知識圖像軌道被多個主位元流軌道參考；該欄位取值為0表示該知識圖像軌道僅被一個主位元流軌道參考。在一實施方式中，該欄位默認值為0。
sample_number_min指示主位元流軌道或特定幀率的主位元流軌道中，索引當前知識圖像軌道的樣本索引號最小值。
sample_number_max指示主位元流軌道或特定幀率的主位元流軌道中，索引當前知識圖像軌道的樣本索引號最大值。
frame_rate：當該知識圖像軌道被多個主位元流軌道參考時，指示多個主位元流軌道中某個軌道的幀率。
track_description是以空字元結尾的字串，指示該知識圖像軌道的描述信息。在一實施方式中，還可以利用樣本群組信息來區分同一知識圖像軌道組中的不同軌道。具體地，知識圖像軌道組的另一種定義如下： aligned(8) class Avs3LibraryGroupBox extends TrackGroupTypeBox('a3lg') { // track_group_id is inherited from TrackGroupTypeBox; unsigned int(1) multi_main_bitstream; bit(7) reserved; if(!multi_main_bitstream){ unsigned int(8) num_sample_groups; for(i=0; i＜ num_sample_groups; i++){ unsigned int(32)      group_description_index; } } else{ unsigned int(8) num_main_bitstream; for(i=0; i＜num_main_bitstream; i++){ unsigned int(8) frame_rate; unsigned int(8) num_sample_groups; for(i=0; i＜ num_sample_groups; i++){ unsigned int(32)  group_description_index; } } } string track_description;   // optional }
在上述的定義中，知識圖像軌道組是透過擴展軌道組資料盒得到，以'a3lg'軌道組類型標識。在所有包含'a3lg'類型TrackGroupTypeBox的軌道中，組ID相同的軌道屬於同一個軌道組。Avs3LibraryGroupBox中各欄位語義如下：
multi_main_bitstream指示該知識圖像軌道是否被多個主位元流軌道參考，該欄位取值為1表示該知識圖像軌道被多個主位元流軌道參考；該欄位取值為0表示該知識圖像軌道僅被一個主位元流軌道參考。在一實施方式中，該欄位默認值為0。
num_sample_groups指示主位元流軌道或特定幀率的主位元流軌道中，索引當前知識圖像軌道的LibrarySampleGroupEntry樣本組的數目。
group_description_index指示主位元流軌道或特定幀率的主位元流軌道中，索引當前知識圖像軌道的LibrarySampleGroupEntry樣本組的索引號。
frame_rate：當該知識圖像軌道被多個主位元流軌道參考時，指示多個主位元流軌道中某個軌道的幀率。
track_description是以空字元結尾的字串，指示該知識圖像軌道的描述信息。
3、在DASH信令擴展中，定義了知識圖像描述子：
在本申請的一個實施例中，知識圖像描述子Avs3Library為SupplementalProperty元素，其@schemeIdUri屬性為"urn:avs:ims:2018:av3l"。該描述子可存在於adaptation set（自適應集）層級或representation（表示）層級。該描述子存在於adaptation set層級時，描述該adaptation set內所有的representation；該描述子存在於representation層級時，描述對應的representation。Avs3Library描述子指示知識圖像representation的相關屬性，具體屬性如下表1所示：
Avs3Library 描述子的元素和屬性 使用方法 (Use) 資料類型 (Data type) 描述
Avs3Library 0 ... N avs:ims:2018:av3l 該元素的屬性指示對應的representation所具備的知識圖像相關的信息，具備該元素的representation均為知識圖像軌道
Avs3Library@groupId O xs:unsignedInt (無符號整數) 指示對應的representation所在的組ID，該欄位取值應和對應的Avs3LibraryGroupBox中的track_group_id欄位相同
Avs3Library@ multi_main_bitstream CM Bool （布爾類型） 指示對應representation在知識圖像軌道是否對應被多個主位流參考。該欄位取值為1表示該知識圖像軌道被多個主位流參考；該欄位取值為0表示該知識圖像軌道僅被一個主位流參考。該欄位默認值為0。
Avs3Library@ frame_rate CM xs:unsignedShort （無符號短整數型） 當該知識圖像軌道被多個主位流軌道參考時，指示多個主位流軌道中某個軌道的幀率
Avs3Library@ sample_number_min CM xs:unsignedByte （無符號類型） 指示主位流軌道或特定幀率的主位流軌道中，索引當前知識圖像軌道的樣本索引號最小值
Avs3Library@ sample_number_max CM xs:unsignedByte （無符號類型） 指示主位流軌道或特定幀率的主位流軌道中，索引當前知識圖像軌道的樣本索引號最大值
表1
在表1中，“使用方法(Use)”一行中的“0 … N”表示個數（具體為整數），O表示Optional（即可選的），CM表示Conditional Mandatory（即條件強制）。“資料類型(Data type)”一行中的xs表示的是short int（短整數型）類型。
在一個具體示例中，假設伺服端存在媒體內容A和媒體內容B，伺服端分別對其進行編碼，生成bitstream。例如，針對媒體內容A，生成主位元流StreamA和知識圖像位元流StreamAL；針對媒體內容B，生成主位元流StreamB。
在生成位元流之後，伺服端將StreamA封裝為TrackA（軌道A）、將StreamAL封裝為TrackAL，並在TrackA中使用'a3lr'類型的TrackReferenceTypeBox索引至TrackAL。
此外，伺服端將StreamB封裝為TrackB，由於TrackB沒有對應的知識圖像軌道，則TrackB中無需包含'a3lr'類型的TrackReferenceTypeBox。
在進行封裝之後，對於TrackA和TrackAL，伺服端分別作為1個representation進行描述（例如，RA和RAL）。RA的@dependencyId（相依性標識）屬性應該指向RAL，表示RA的消費依賴於RAL，且RAL需以Avs3Library描述子進行描述。對於TrackB，伺服端將其作為1個representation進行描述（例如，RB），無需特殊擴展。
在對軌道資料進行描述之後，伺服端據此生成DASH信令，並將信令文檔發送給客戶端。
客戶端在接收到信令文檔之後，可以根據信令文檔確定描述子之間的依賴關係，比如RA依賴於RAL且RAL為知識圖像媒體資源。假設客戶端1需要請求RA對應的媒體資源，客戶端2需要請求RB對應的媒體資源，那麼客戶端1需要先向伺服端請求RAL對應的媒體資源，然後再向伺服端請求RA對應的媒體資源。而客戶端2可以直接請求RB對應的媒體資源。
客戶端1在接收到收到RAL對應的媒體資源和RA對應的媒體資源後，優先解碼RAL對應的媒體資源，然後再解碼RA對應的媒體資源。而客戶端2在接收到RB對應的媒體資源之後，可以直接解碼RB對應的媒體資源。
在上述示例中，媒體內容中包含了一個主位元流和一個知識圖像位元流，以下以媒體內容中包含了一個主位元流和多個知識圖像位元流為例進行再次說明：
在本申請的一個具體示例中，假設伺服端存在媒體內容A，伺服端對其進行編碼，生成主位元流StreamA和知識圖像位元流StreamAL1、StreamAL2。
在生成位元流之後，伺服端將StreamA封裝為TrackA、將StreamAL1封裝為TrackAL1、將StreamAL2封裝為TrackAL2。同時，將TrackAL1和TrackAL2以類型為'a3lg'的軌道組進行關聯，其中的參數如下：
TrackAL1：{ group_id=100; sample_number_min =0 ; sample_number_max =100}
TrackAL2：{ group_id=100; sample_number_min =101 ; sample_number_max =200}
此時在TrackA中使用'a3lr'類型的TrackReferenceTypeBox索引至對應的軌道組（透過group_id進行索引，在該示例中group_id為100）。
在進行封裝之後，對於TrackA、TrackAL1和TrackAL2，伺服端分別作為1個representation進行描述（例如，RA、RAL1和RAL2），其中RA的@dependencyId（相依性標識）屬性應該指向RAL1和RAL2，表示RA的消費依賴於RAL1和RAL2。且RAL1和RAL2需以Avs3Library描述子進行描述，具體如下：
RAL1：{ group_id=100; sample_number_min =0 ; sample_number_max =100}
RAL2：{ group_id=100; sample_number_min =101 ; sample_number_max =200}
在對軌道資料進行描述之後，伺服端據此生成DASH信令，並將信令文檔發送給客戶端。
客戶端在接收到信令文檔之後，可以根據信令文檔確定描述子之間的依賴關係。比如RA依賴於RAL1和RAL2，且RAL1和RAL2為知識圖像媒體資源，RAL1對應的是RA中靠前的樣本。假設客戶端1需要請求RA對應的媒體資源，那麼客戶端1需要先向伺服端請求RAL1和RA對應的媒體資源。當客戶端1消費RA至接近第101個樣本時，再向伺服端請求RAL2對應的媒體資源。
本申請上述實施例的技術方案針對AVS3編解碼標準中的知識圖像這一特性，提出了一種資料軌道層面的封裝和傳輸信令指示方法。透過本申請實施例的技術方案，可以在資料軌道層級靈活關聯知識圖像軌道和主位元流軌道，並透過信令指示這種關聯關係。在資料傳輸階段，客戶端可以根據這些信息決定是否請求知識圖像軌道以及請求何種知識圖像軌道。同樣地，在解碼階段，客戶端可以根據這些信息決定解碼不同軌道的順序，最終合理地分配網路和CPU資源。
以下介紹本申請的裝置實施例，可以用於執行本申請上述實施例中的多媒體資源中軌道資料的處理方法。對於本申請裝置實施例中未披露的細節，請參照本申請上述的多媒體資源中軌道資料的處理方法的實施例。
圖9示出了根據本申請實施例的多媒體資源中軌道資料的處理裝置的方塊圖，該多媒體資源中軌道資料的處理裝置可以設置在媒體播放設備內，該媒體播放設備可以是智慧型手機、平板電腦等。
參照圖9所示，根據本申請實施例的多媒體資源中軌道資料的處理裝置900，包括：接收單元902、解析單元904和獲取單元906。
其中，接收單元902配置為接收多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子；解析單元904配置為解析所述信令文檔，根據所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係；獲取單元906配置為根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
在本申請的一些實施例中，基於前述方案，所述知識圖像軌道資料對應的描述子中包含第一元素信息，所述第一元素信息用於指示包含所述第一元素信息的描述子為知識圖像軌道資料對應的描述子。
在本申請的一些實施例中，基於前述方案，所述多個軌道資料中包含至少兩個知識圖像軌道資料，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中包含第二元素信息，所述第二元素信息用於指示所述所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
在本申請的一些實施例中，基於前述方案，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中包含第三元素信息，所述第三元素信息的值用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴。
在本申請的一些實施例中，基於前述方案，若所述至少兩個知識圖像軌道資料中存在被多個主位元流軌道資料所依賴的目標知識圖像軌道資料，則所述目標知識圖像軌道資料對應的描述子中還包含第四元素信息，所述第四元素信息用於指示所述多個主位元流軌道資料中指定主位元流軌道資料的幀率。
在本申請的一些實施例中，基於前述方案，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中還包含樣本索引標識，所述樣本索引標識用於指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號區間。
在本申請的一些實施例中，基於前述方案，所述樣本索引標識包括第五元素信息和第六元素信息，所述第五元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最小值，所述第六元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最大值。
在本申請的一些實施例中，基於前述方案，所述主位元流軌道資料中包含索引標識，所述索引標識用於指示所述主位元流軌道資料所依賴的知識圖像軌道資料或用於指示所述主位元流軌道資料所依賴的知識圖像軌道組。
在本申請的一些實施例中，基於前述方案，所述主位元流軌道資料中包含軌道參考類型資料盒，所述軌道參考類型資料盒中包含參考類型欄位，所述參考類型欄位用於表示所述索引標識。
在本申請的一些實施例中，基於前述方案，所述主位元流軌道資料中包含軌道參考資料盒，所述軌道參考資料盒包含所述軌道參考類型資料盒。
在本申請的一些實施例中，基於前述方案，所述多個軌道資料中包含至少兩個知識圖像軌道資料，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中包含有軌道組標識，所述軌道組標識用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
在本申請的一些實施例中，基於前述方案，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中還包含用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴的第一欄位信息；若所述第一欄位信息指示知識圖像軌道資料被一個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最小值的欄位，以及指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最大值的欄位。
在本申請的一些實施例中，基於前述方案，若所述第一欄位信息指示知識圖像軌道資料被多個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最小值的欄位、分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最大值的欄位，以及用於指示所述多個主位元流軌道資料中各個主位元流軌道資料的幀率的欄位。
在本申請的一些實施例中，基於前述方案，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中還包含用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴的第一欄位信息；若所述第一欄位信息指示知識圖像軌道資料被一個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組數量的欄位，以及指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組索引號的欄位。
在本申請的一些實施例中，基於前述方案，若所述第一欄位信息指示知識圖像軌道資料被多個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組數量的欄位、分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組索引號的欄位，以及用於指示所述多個主位元流軌道資料中各個主位元流軌道資料的幀率的欄位。
在本申請的一些實施例中，基於前述方案，所述的多媒體資源中軌道資料的處理裝置900還包括：解碼單元，配置為根據所述依賴關係確定解碼順序；根據所述解碼順序，依次對所述知識圖像軌道資料和所述主位元流軌道資料進行解碼處理，得到所述多媒體資源。
在本申請的一些實施例中，基於前述方案，所述解碼單元配置為：解碼所述主位元流軌道資料；在解碼到所述主位元流軌道資料中需要參考知識圖像軌道資料的樣本索引號區間時，根據所述樣本索引號區間，從多個知識圖像軌道資料中確定需要參考的知識圖像軌道資料；解碼所述需要參考的知識圖像軌道資料。
圖10示出了根據本申請實施例的多媒體資源中軌道資料的處理裝置的方塊圖，該多媒體資源中軌道資料的處理裝置可以設置在媒體生成設備內，該媒體生成設備可以是智慧型手機、平板電腦等。
參照圖10所示，根據本申請的一個實施例的多媒體資源中軌道資料的處理裝置1000，包括：生成單元1002和發送單元1004。
其中，生成單元1002配置為生成多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子；發送單元1004配置為將所述信令文檔發送給資料接收方，以使所述資料接收方根據所述信令文檔中的所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係，並根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
在本申請的一些實施例中，基於前述方案，所述生成單元1002還配置為：在生成多媒體資源對應的信令文檔之前，生成主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料中包含有索引標識，所述索引標識用於指示所述主位元流軌道資料所依賴的知識圖像軌道資料。
圖11示出了適於用來實現本申請實施例的電子設備的計算機系統的結構示意圖。
需要說明的是，圖11示出的電子設備的計算機系統1100僅是一個示例，不應對本申請實施例的功能和使用範圍帶來任何限制。
如圖11所示，計算機系統1100包括中央處理單元（Central Processing Unit，CPU）1101，其可以根據儲存在唯讀記憶體（Read-Only Memory，ROM）1102中的程式或者從儲存部分1108加載到隨機存儲記憶體（Random Access Memory，RAM）1103中的程式而執行各種適當的動作和處理，例如執行上述實施例中所述的方法。在RAM 1103中，還儲存有系統操作所需的各種程式和資料。CPU 1101、ROM 1102以及RAM 1103透過匯流排1104彼此相連。輸入/輸出（Input /Output，I/O）介面1105也連接至匯流排1104。
以下部件連接至I/O介面1105：包括鍵盤、滑鼠等的輸入部分1106；包括諸如陰極射線管（Cathode Ray Tube，CRT）、液晶顯示器（Liquid Crystal Display，LCD）等以及揚聲器等的輸出部分1107；包括硬碟等的儲存部分1108；以及包括諸如LAN（Local Area Network，區域網路）卡、調制解調器等的網路介面卡的通信部分1109。通信部分1109經由諸如網際網路的網路執行通信處理。驅動器1110也根據需要連接至I/O介面1105。可拆卸媒體1111，諸如磁碟、光碟、磁光碟、半導體儲存器等等，根據需要安裝在驅動器1110上，以便於從其上讀出的電腦程式根據需要被安裝入儲存部分1108。
特別地，根據本申請的實施例，上文參考流程圖描述的過程可以被實現為電腦軟體程式。例如，本申請的實施例包括一種電腦程式產品，其包括承載在電腦可讀媒體上的電腦程式，該電腦程式包含用於執行流程圖所示的方法的電腦程式。在這樣的實施例中，該電腦程式可以透過通信部分1109從網路上被下載和安裝，和/或從可拆卸媒體1111被安裝。在該電腦程式被中央處理單元（CPU）1101執行時，執行本申請的系統中限定的各種功能。
需要說明的是，本申請實施例所示的電腦可讀媒體可以是電腦可讀信號媒體或者電腦可讀儲存媒體或者是上述兩者的任意組合。電腦可讀儲存媒體例如可以是—但不限於—電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件，或者任意以上的組合。電腦可讀儲存媒體的更具體的例子可以包括但不限於：具有一個或多個導線的電連接、便攜式計算機磁碟、硬碟、隨機存儲記憶體（RAM）、唯讀記憶體（ROM）、可擦除式可編程唯讀記憶體（Erasable Programmable Read Only Memory，EPROM）、快閃記憶體、光纖、便攜式緊湊磁碟唯讀記憶體（Compact Disc Read-Only Memory，CD-ROM）、光儲存器件、磁儲存器件、或者上述的任意合適的組合。在本申請中，電腦可讀儲存媒體可以是任何包含或儲存程式的有形媒體，該程式可以被指令執行系統、裝置或者器件使用或者與其結合使用。而在本申請中，電腦可讀的信號媒體可以包括在基帶中或者作為載波一部分傳播的資料信號，其中承載了電腦可讀的電腦程式。這種傳播的資料信號可以採用多種形式，包括但不限於電磁信號、光信號或上述的任意合適的組合。電腦可讀的信號媒體還可以是電腦可讀儲存媒體以外的任何電腦可讀媒體，該電腦可讀媒體可以發送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程式。電腦可讀媒體上包含的電腦程式可以用任何適當的媒體傳輸，包括但不限於：無線、有線等等，或者上述的任意合適的組合。
所屬技術領域具有通常知識者在考慮說明書及實踐這裡公開的實施方式後，將容易想到本申請的其它實施方案。本申請旨在涵蓋本申請的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本申請的一般性原理並包括本申請未公開的本技術領域中的公知常識或慣用技術手段。
應當理解的是，本申請並不局限於上面已經描述並在圖式中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本申請的範圍僅由所附的申請專利範圍來限制。
100       系統架構 110       第一終端裝置 120       第二終端裝置 130       第三終端裝置 140       第四終端裝置 150       網路 201       視頻源 202       視頻圖片流 203       視頻編碼裝置 204       視頻資料 205       串流傳輸伺服器 206       客戶端子系統 207       副本 208       客戶端子系統 209       副本 210       視頻解碼裝置 211       視頻圖片流 212       顯示器 213       採集子系統 220       電子裝置 230       電子裝置 900       多媒體資源中軌道資料的處理裝置 902       接收單元 904       解析單元 906       獲取單元 1000     多媒體資源中軌道資料的處理裝置 1002     生成單元 1004     發送單元 1100     計算機系統 1101     CPU 1102     ROM 1103     RAM 1104     匯流排 1105     I/O介面 1106     輸入部分 1107     輸出部分 1108     儲存部分 1109     通信部分 1110     驅動器 1111     可拆卸媒體 S610~S630  步驟 S710~S720  步驟 S801~S807  步驟
此處的圖式被併入說明書中並構成本說明書的一部分，其示出了符合本申請的實施例，並與說明書一起用於解釋本申請的原理。 [圖1]示出了可以應用本申請實施例的技術方案的示例性系統架構的示意圖； [圖2]示出視頻編碼裝置和視頻解碼裝置在串流傳輸系統中的放置方式示意圖； [圖3]示出了一個視頻編碼器的基本流程圖； [圖4]示出了根據本申請實施例的視頻資料的整體傳輸流程圖； [圖5]示出了對視頻序列編碼生成主位元流和知識圖像位元流的示意圖； [圖6]示出了根據本申請實施例的多媒體資源中軌道資料的處理方法的流程圖； [圖7]示出了根據本申請實施例的多媒體資源中軌道資料的處理方法的流程圖； [圖8]示出了根據本申請實施例的多媒體資源中軌道資料的處理方法的流程圖； [圖9]示出了根據本申請實施例的多媒體資源中軌道資料的處理裝置的方塊圖； [圖10]示出了根據本申請實施例的多媒體資源中軌道資料的處理裝置的方塊圖； [圖11]示出了適於用來實現本申請實施例的電子設備的計算機系統的結構示意圖。
S610~S630  步驟

Claims (20)

  1. 一種多媒體資源中軌道資料的處理方法，包括： 接收多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子； 解析所述信令文檔，根據所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係；以及 根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
  2. 根據請求項1所述的多媒體資源中軌道資料的處理方法，其中所述知識圖像軌道資料對應的描述子中包含第一元素信息，所述第一元素信息用於指示包含所述第一元素信息的描述子為知識圖像軌道資料對應的描述子。
  3. 根據請求項1所述的多媒體資源中軌道資料的處理方法，其中所述多個軌道資料中包含至少兩個知識圖像軌道資料，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中包含第二元素信息，所述第二元素信息用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
  4. 根據請求項3所述的多媒體資源中軌道資料的處理方法，其中所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中包含第三元素信息，所述第三元素信息的值用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴。
  5. 根據請求項4所述的多媒體資源中軌道資料的處理方法，其中若所述至少兩個知識圖像軌道資料中存在被多個主位元流軌道資料所依賴的目標知識圖像軌道資料，則所述目標知識圖像軌道資料對應的描述子中還包含第四元素信息，所述第四元素信息用於指示所述多個主位元流軌道資料中指定主位元流軌道資料的幀率。
  6. 根據請求項3所述的多媒體資源中軌道資料的處理方法，其中所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料對應的描述子中還包含樣本索引標識，所述樣本索引標識用於指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號區間。
  7. 根據請求項6所述的多媒體資源中軌道資料的處理方法，其中所述樣本索引標識包括第五元素信息和第六元素信息，所述第五元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最小值，所述第六元素信息的值指示主位元流軌道資料中索引所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料的樣本索引號最大值。
  8. 根據請求項1所述的多媒體資源中軌道資料的處理方法，其中所述主位元流軌道資料中包含索引標識，所述索引標識用於指示所述主位元流軌道資料所依賴的知識圖像軌道資料或用於指示所述主位元流軌道資料所依賴的知識圖像軌道組。
  9. 根據請求項8所述的多媒體資源中軌道資料的處理方法，其中所述主位元流軌道資料中包含軌道參考類型資料盒，所述軌道參考類型資料盒中包含參考類型欄位，所述參考類型欄位用於表示所述索引標識。
  10. 根據請求項9所述的多媒體資源中軌道資料的處理方法，其中所述主位元流軌道資料中包含軌道參考資料盒，所述軌道參考資料盒包含所述軌道參考類型資料盒。
  11. 根據請求項1所述的多媒體資源中軌道資料的處理方法，其中所述多個軌道資料中包含至少兩個知識圖像軌道資料，所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中包含有軌道組標識，所述軌道組標識用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料所在的軌道組。
  12. 根據請求項11所述的多媒體資源中軌道資料的處理方法，其中所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料中還包含用於指示所述至少兩個知識圖像軌道資料中各個知識圖像軌道資料是否被多個主位元流軌道資料所依賴的第一欄位信息，且其中： 若所述第一欄位信息指示知識圖像軌道資料被一個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最小值的欄位，以及指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最大值的欄位；和/或 若所述第一欄位信息指示知識圖像軌道資料被一個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組數量的欄位，以及指示該一個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組索引號的欄位。
  13. 根據請求項12所述的多媒體資源中軌道資料的處理方法，其中若所述第一欄位信息指示知識圖像軌道資料被多個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最小值的欄位、分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本索引號最大值的欄位，以及用於指示所述多個主位元流軌道資料中各個主位元流軌道資料的幀率的欄位；和/或 若所述第一欄位信息指示知識圖像軌道資料被多個主位元流軌道資料所依賴，則所述知識圖像軌道資料中還包含分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組數量的欄位、分別指示所述多個主位元流軌道資料中各個主位元流軌道資料中索引所述知識圖像軌道資料的樣本組索引號的欄位，以及用於指示所述多個主位元流軌道資料中各個主位元流軌道資料的幀率的欄位。
  14. 根據請求項1至13中任一項所述的多媒體資源中軌道資料的處理方法，還包括： 根據所述依賴關係確定解碼順序；以及 根據所述解碼順序，依次對所述知識圖像軌道資料和所述主位元流軌道資料進行解碼處理，得到所述多媒體資源。
  15. 根據請求項14所述的多媒體資源中軌道資料的處理方法，其中根據所述解碼順序，依次對所述知識圖像軌道資料和所述主位元流軌道資料進行解碼處理，包括： 解碼所述主位元流軌道資料； 在解碼到所述主位元流軌道資料中需要參考知識圖像軌道資料的樣本索引號區間時，根據所述樣本索引號區間，從多個知識圖像軌道資料中確定需要參考的知識圖像軌道資料；以及 解碼所述需要參考的知識圖像軌道資料。
  16. 一種多媒體資源中軌道資料的處理方法，包括： 生成多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子；以及 將所述信令文檔發送給資料接收方，以使所述資料接收方根據所述信令文檔中的所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係，並根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
  17. 根據請求項16所述的多媒體資源中軌道資料的處理方法，其中在生成多媒體資源對應的信令文檔之前，所述處理方法還包括： 生成主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料中包含有索引標識，所述索引標識用於指示所述主位元流軌道資料所依賴的知識圖像軌道資料。
  18. 一種多媒體資源中軌道資料的處理裝置，包括： 接收單元，配置為接收多媒體資源對應的信令文檔，所述信令文檔中包含有所述多媒體資源的多個軌道資料分別對應的描述子，所述多個軌道資料包括主位元流對應的主位元流軌道資料和知識圖像位元流對應的知識圖像軌道資料，所述主位元流軌道資料對應的描述子中包含的相依性標識指向所述知識圖像軌道資料對應的描述子； 解析單元，配置為解析所述信令文檔，根據所述相依性標識確定所述主位元流軌道資料與所述知識圖像軌道資料之間的依賴關係；以及 獲取單元，配置為根據所述依賴關係從資料源側依次獲取所述知識圖像軌道資料和所述主位元流軌道資料。
  19. 一種電腦可讀媒體，其上儲存有電腦程式，所述電腦程式被處理器執行時實現如請求項1至15中任一項所述的多媒體資源中軌道資料的處理方法，或實現如請求項16至17中任一項所述的多媒體資源中軌道資料的處理方法。
  20. 一種電子設備，包括： 一個或多個處理器；以及 儲存裝置，用於儲存一個或多個程式，當所述一個或多個程式被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如請求項1至15中任一項所述的多媒體資源中軌道資料的處理方法，或實現如請求項16至17中任一項所述的多媒體資源中軌道資料的處理方法。
TW111113335A 2021-05-24 2022-04-07 多媒體資源中軌道資料的處理方法、裝置、媒體及設備 TWI794076B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110567993.0 2021-05-24
CN202110567993.0A CN115396678A (zh) 2021-05-24 2021-05-24 多媒体资源中轨道数据的处理方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
TW202247666A TW202247666A (zh) 2022-12-01
TWI794076B true TWI794076B (zh) 2023-02-21

Family

ID=84113731

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111113335A TWI794076B (zh) 2021-05-24 2022-04-07 多媒體資源中軌道資料的處理方法、裝置、媒體及設備

Country Status (5)

Country Link
US (1) US11949966B2 (zh)
EP (1) EP4351142A4 (zh)
CN (1) CN115396678A (zh)
TW (1) TWI794076B (zh)
WO (1) WO2022247452A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118317066A (zh) * 2023-01-09 2024-07-09 腾讯科技（深圳）有限公司 一种触觉媒体的数据处理方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110771162A (zh) * 2017-06-23 2020-02-07 联发科技股份有限公司 用轨道分组获取合成轨道之方法及装置
CN111416976A (zh) * 2019-01-08 2020-07-14 华为技术有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
US20200267429A1 (en) * 2015-12-11 2020-08-20 Vid Scale, Inc. Scheduling multiple-layer video segments

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858916B (zh) * 2018-08-24 2020-11-24 上海交通大学 支持大跨度相关性信息编码的标识方法及系统
CN110876083B (zh) * 2018-08-29 2021-09-21 浙江大学 指定参考图像的方法及装置及处理参考图像请求的方法及装置
CN111526365B (zh) * 2019-02-01 2023-10-13 浙江大学 位流检验方法、解码方法及其装置
CN111526368B (zh) * 2019-02-03 2021-09-03 华为技术有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
CN114270868A (zh) * 2019-05-16 2022-04-01 诺基亚技术有限公司 用于在视频编码中处理随机访问图片的装置、方法和计算机程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200267429A1 (en) * 2015-12-11 2020-08-20 Vid Scale, Inc. Scheduling multiple-layer video segments
CN110771162A (zh) * 2017-06-23 2020-02-07 联发科技股份有限公司 用轨道分组获取合成轨道之方法及装置
CN111416976A (zh) * 2019-01-08 2020-07-14 华为技术有限公司 视频解码方法、视频编码方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4351142A1 (en) 2024-04-10
EP4351142A4 (en) 2024-07-31
CN115396678A (zh) 2022-11-25
US20230188812A1 (en) 2023-06-15
TW202247666A (zh) 2022-12-01
US11949966B2 (en) 2024-04-02
WO2022247452A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
AU2007319699B2 (en) Techniques for variable resolution encoding and decoding of digital video
CN112565815B (zh) 文件封装方法、文件传输方法、文件解码方法及相关设备
WO2022042325A1 (zh) 视频处理方法、装置、设备及存储介质
TWI794076B (zh) 多媒體資源中軌道資料的處理方法、裝置、媒體及設備
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
US20240080487A1 (en) Method, apparatus for processing media data, computer device and storage medium
Steinert et al. Architecture of a Low Latency H. 264/AVC Video Codec for Robust ML based Image Classification: How Region of Interests can Minimize the Impact of Coding Artifacts
JP2002542549A (ja) コンピュータにおける高速ストリーミング媒体の処理装置及び方法
EP4354868A1 (en) Media data processing method and related device
CN112449185B (zh) 视频解码方法、编码方法、装置、介质及电子设备
WO2023130893A1 (zh) 流媒体传输方法、装置、电子设备及计算机可读存储介质
JP6748657B2 (ja) 圧縮ビデオビットストリームに付属メッセージデータを含めるシステムおよび方法
Pescador et al. A DSP based SVC IP STB using open SVC decoder
CN112449184B (zh) 变换系数优化方法、编解码方法、装置、介质及电子设备
WO2022174701A1 (zh) 视频编解码方法、装置、计算机可读介质及电子设备
WO2023051222A1 (zh) 滤波及编解码方法、装置、计算机可读介质及电子设备
US20130287100A1 (en) Mechanism for facilitating cost-efficient and low-latency encoding of video streams
Akujuobi Application of Wavelets to Video Compression
WO2023059689A1 (en) Systems and methods for predictive coding
CN114979656A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN115209141A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
Vasudevan et al. Implementation of H. 264 Decoder