TW201640385A - 檔案格式中樣本分組發信號 - Google Patents

檔案格式中樣本分組發信號 Download PDF

Info

Publication number
TW201640385A
TW201640385A TW105100848A TW105100848A TW201640385A TW 201640385 A TW201640385 A TW 201640385A TW 105100848 A TW105100848 A TW 105100848A TW 105100848 A TW105100848 A TW 105100848A TW 201640385 A TW201640385 A TW 201640385A
Authority
TW
Taiwan
Prior art keywords
box
sampletogroup
logic
syntax element
sample
Prior art date
Application number
TW105100848A
Other languages
English (en)
Other versions
TWI659319B (zh
Inventor
伏努 亨利
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201640385A publication Critical patent/TW201640385A/zh
Application granted granted Critical
Publication of TWI659319B publication Critical patent/TWI659319B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

一種器件在用於視訊內容之儲存之一檔案的一容器邏輯框中產生提供對於一樣本分組之一樣本群組描述的一SampleGroupDescription邏輯框。該SampleGroupDescription邏輯框包括具有一特定值之一分組類型語法元素。另外,該SampleGroupDescription邏輯框包括一或多個樣本群組項。該器件在該同一容器邏輯框中產生複數個SampleToGroup邏輯框。該複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,包括指示一各別樣本分組中之樣本之一數目的一各別樣本計數語法元素,且包括指示描述該各別樣本分組之樣本之該SampleGroupDescription邏輯框中的一項的一索引的一各別群組描述索引語法元素。該各別樣本分組之每一樣本包含視訊內容之一各別圖像。

Description

檔案格式中樣本分組發信號
本申請案主張2015年2月11日遞交的美國臨時專利申請案第62/115,087號之權益,該申請案之全部內容以引用方式併入。
本發明係關於視訊寫碼及用於經寫碼視訊資料之檔案格式。
數位視訊能力可併入至廣泛範圍之器件中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊(亦即,視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可 被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為進行進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量,且可應用熵寫碼以達成甚至較多壓縮。
本發明之一或多個態樣係關於按檔案格式儲存視訊內容。舉例而言,本發明之技術可改良樣本分組機制之設計及根據ISO基本媒體檔案格式及基於該ISO基本媒體檔案格式導出之檔案格式而形成之檔案中的串流存取點(SAP)樣本分組之發信號。
在一個態樣中,本發明描述一種產生用於視訊內容之儲存之一檔案之方法,該方法包含:在該檔案之一容器邏輯框中產生包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放 軌片段邏輯框,其中該檔案屬於該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值的SampleGroupDescription邏輯框的一特定檔案格式;在該檔案之該同一容器邏輯框中產生複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像;及輸出該檔案。
在另一態樣中,本發明描述一種用於產生用於視訊內容之儲存之一檔案的器件,該器件包含:一記憶體,其經組態以儲存該檔案;及一或多個處理器,其經組態以:產生該檔案之一容器邏輯框,使得該檔案符合一特定檔案格式,其中作為產生該容器邏輯框之部分,一或多個處理器執行以下動作:產生包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中該檔案屬於該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值之SampleGroupDescription邏輯框的一特定檔案格式;及在該檔案之該同一容器邏輯框中產生複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括 具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述之一群組描述項的一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像;及輸出該檔案。
在另一態樣中,本發明描述一種用於產生用於視訊內容之儲存之一檔案的器件,該器件包含:用於產生該檔案之一容器邏輯框,使得該檔案符合一特定檔案格式的構件,其中用於產生該容器邏輯框之該構件包含:用於產生包括一或多個群組描述項之一SampleGroupDescription邏輯框的構件,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中該檔案屬於該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值之SampleGroupDescription邏輯框的一特定檔案格式;及用於在該檔案之該同一容器邏輯框中產生複數個SampleToGroup邏輯框的構件,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各 別樣本群組之一描述之一群組描述項的一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像;及用於輸出該檔案的構件。
在另一態樣中,本發明描述一種儲存有指令之電腦可讀資料儲存媒體,該等指令在被執行時使得用於產生用於視訊內容之儲存之一檔案的一器件之一或多個處理器:產生該檔案之一容器邏輯框,使得該檔案符合一特定檔案格式,其中,作為產生該容器邏輯框之部分,該一或多個處理器執行以下動作:產生包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中該檔案屬於該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值之SampleGroupDescription邏輯框的一特定檔案格式;及在該檔案之該同一容器邏輯框中產生複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述之一群組描述項的一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像;及輸出該檔案。
在另一態樣中,本發明描述一種用於讀取用於視訊內容之儲存 之一檔案的器件,該器件包含:一記憶體;其經組態以儲存該檔案;及一或多個處理器,其經組態以自該檔案獲得該檔案之一容器邏輯框,其中該容器邏輯框包含:包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中對該特定檔案格式的要求為該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值的SampleGroupDescription邏輯框;及複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像。
在另一態樣中,本發明描述一種用於讀取用於視訊內容之儲存之一檔案的方法,該方法包含:獲得該檔案;及自該檔案獲得該檔案之一容器邏輯框,其中該容器邏輯框包含:包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定 值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中對該特定檔案格式之一要求為該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值的SampleGroupDescription邏輯框;及複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像。
在另一態樣中,本發明描述一種用於讀取用於視訊內容之儲存之一檔案的器件,該器件包含:用於獲得該檔案之構件;及用於自該檔案獲得該檔案之一容器邏輯框的構件,其中該容器邏輯框包含:包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中對該特定檔案格式之一要求為該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值的SampleGroupDescription邏輯框;及複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群 組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像。
在另一態樣中,本發明描述一種儲存有指令之電腦可讀儲存媒體,該等指令在被執行時使得一器件:自檔案獲得該檔案之一容器邏輯框,其中該容器邏輯框包含:包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中對該特定檔案格式之一要求為該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值的SampleGroupDescription邏輯框;及複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDeScription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像。
在附圖及以下描述中闡明本發明之一或多個實例的細節。其他 特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
27‧‧‧後處理實體
28‧‧‧輸入介面
29‧‧‧儲存媒體
30‧‧‧視訊解碼器
31‧‧‧檔案剖析單元
32‧‧‧顯示器件
33‧‧‧儲存器件
34‧‧‧檔案產生器件
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧逆變換處理單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧參考圖像記憶體
77‧‧‧檔案剖析單元
79‧‧‧經寫碼圖像緩衝器(CPB)
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧逆變換處理單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧參考圖像記憶體
100‧‧‧網路
102‧‧‧伺服器器件
104A‧‧‧路由器件
104B‧‧‧路由器件
106‧‧‧轉碼器件
108‧‧‧用戶端器件
200‧‧‧基層
202‧‧‧增強層
300‧‧‧檔案
302‧‧‧電影邏輯框
304‧‧‧媒體資料邏輯框
305‧‧‧樣本
306‧‧‧播放軌邏輯框
307‧‧‧媒體邏輯框
308‧‧‧媒體資訊邏輯框
309‧‧‧樣本表邏輯框
310‧‧‧SampleToGroup邏輯框
312‧‧‧SampleGroupDescription邏輯框
313‧‧‧grouping_type語法元素
314‧‧‧entry_count語法元素
315‧‧‧樣本群組項
316‧‧‧sample_count語法元素
317‧‧‧group_description_index語法元素
318‧‧‧grouping_type_parameter語法元素
320‧‧‧grouping_type語法元素
322‧‧‧entry_count語法元素
324‧‧‧群組描述項
326‧‧‧grouping_type_parameter語法元素
450‧‧‧檔案
452‧‧‧電影片段邏輯框
454‧‧‧媒體資料邏輯框
456‧‧‧樣本
458‧‧‧播放軌片段邏輯框
462‧‧‧SampleToGroup邏輯框
464‧‧‧SampleGroupDescription邏輯框
470‧‧‧grouping_type語法元素
471‧‧‧entry_count語法元素
472‧‧‧樣本群組項
473‧‧‧sample_count語法元素
474‧‧‧group_description_index語法元素
480‧‧‧grouping_type語法元素
482‧‧‧entry_count語法元素
484‧‧‧群組描述項
486‧‧‧grouping_type_parameter語法元素
圖1為說明可使用本發明中描述之技術的一實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術的一實例視訊編碼器之方塊圖。
圖3為說明可實施本發明中所描述之技術的一實例視訊解碼器之方塊圖。
圖4為說明形成網路之部分的一組實例器件之方塊圖。
圖5為一播放軌中之一樣本序列中的兩種不同串流存取點(SAP)樣本類型之概念圖。
圖6A為說明根據本發明之一或多個技術的檔案之一實例結構之概念圖。
圖6B為說明根據本發明之一或多個技術的檔案之一實例結構之概念圖。
圖6C為說明根據本發明之一或多個技術的檔案之一實例結構之概念圖。
圖7A為說明根據本發明之一或多個技術的檔案之一實例結構之概念圖。
圖7B為說明根據本發明之一或多個技術的檔案之一實例結構之概念圖。
圖7C為說明根據本發明之一或多個技術的檔案之一實例結構之概念圖。
圖8為說明根據本發明之一技術的源器件之一實例操作之流程圖。
圖9為說明根據本發明之一技術的用於讀取用於視訊內容之儲存 之檔案的器件之一實例操作的流程圖。
國際標準組織(ISO)基本媒體檔案格式(ISOBMFF)及自ISO基本媒體檔案格式導出之檔案格式被設計用於視訊內容之儲存。ISOBMFF係依據儲存經編碼視訊資料及相關聯後設資料的一組巢套「邏輯框」進行定義的。舉例而言,媒體資料邏輯框可包括一或多個樣本。該等樣本中之每一者可包括存取單元中之一或多個圖像的經編碼視訊資料。
另外,ISOBMFF檔案中之邏輯框可包括SampleToGroup邏輯框及SampleGroupDescription邏輯框。在本發明中,SampleToGroup邏輯框可被稱作「樣本至群組邏輯框」且SampleGroupDescription邏輯框可被稱作「樣本群組描述邏輯框」。一般而言,SampleToGroup邏輯框包括定義樣本之一或多個群組的語法元素。在本發明中,樣本之群組亦可被稱作「樣本群組」或「樣本分組」。此外,一般而言,SampleGroupDescription邏輯框包括樣本群組之描述。
更確切而言,SampleToGroup邏輯框包括分組類型語法元素。分組類型語法元素亦可被稱作grouping_type語法元素。另外,SampleToGroup邏輯框包括一或多個樣本群組項。SampleToGroup邏輯框中之每一各別樣本群組項包括一各別樣本計數語法元素及一各別群組描述索引語法元素。各別樣本計數語法元素指示各別群組描述索引適用於之連續樣本的數目。
SampleGroupDescription邏輯框亦包括分組類型語法元素。當SampleToGroup邏輯框之分組類型語法元素與SampleGroupDescription邏輯框之分組類型語法元素匹配時,SampleToGroup邏輯框與SampleGroupDescription邏輯框被稱為對應於彼此。SampleGroupDescription邏輯框包括一或多個群組描述項。 SampleGroupDescription邏輯框中之每一各別群組描述項包括各別樣本群組之描述。SampleToGroup邏輯框中之群組描述索引識別對應SampleGroupDescription邏輯框中之對應群組描述項。
舉例而言,SampleToGroup邏輯框可具有第一樣本群組項,其包括具有等於5之值的一樣本計數語法元素及具有等於3之值的一群組描述索引。因此,在此實例中,五個連續樣本屬於由對應SampleGroupDescription邏輯框中之第三群組描述項描述的樣本群組。在此實例中,SampleToGroup邏輯框可具有第二樣本群組項,其包括具有等於4之值的一樣本計數語法元素及具有等於2之值的一群組描述索引。因此,在此實例中,接下來四個連續樣本屬於由對應SampleGroupDescription邏輯框中之第二群組描述項描述的樣本群組。
存在ISOBMFF之多個版本。在ISOBMFF之一版本(其被稱作版本1)中,除上述語法元素以外,SampleToGroup邏輯框亦包括分組類型參數語法元素。分組類型參數語法元素為與分組類型語法元素分離的語法元素。本發明可將ISOBMFF之版本1中所定義的在SampleToGroup邏輯框中定義之樣本群組稱為版本1樣本群組。分組類型參數語法元素可表示為grouping_type_parameter。分組類型參數語法元素並不存在於符合ISOBMFF之初始版本之檔案的SampleToGroup邏輯框中。分組類型參數語法元素為樣本分組之子類型的一指示。因此,SampleToGroup邏輯框可包括「分組類型」語法元素及分離的「分組類型參數」語法元素。
在下文中被簡稱為「ISOBMFF規範」或「N14574」的版本之ISOBMFF規範可自http://phenix.int-evry.fr/mpeg/doc_end_user/documents/109_Sapporo/wg11/w14574-v2-w14574.zip獲得。ISOBMFF規範包含如由COR 1、FDAM1、FDAM2、COR2及FDAM 3修改的2012年7月15日 的名稱為ISO/IEC 15444-12第四版,資訊技術-JPEG 2000-影像寫碼系統,第12部分:ISO基本媒體檔案格式的文件(在下文中,「15444-12」或「15444-12規範」)。ISOBMFF規範亦包含Singer等人的2014年7月25日於日本箚幌公佈的名稱為「ISO/IEC 14496-12,Amd.4,improved audio support」的ISO/IEC JTC1/SC29/WG11,MPEG2014/w14325的文件(在下文中,「14496-12」或「14996-12規範」)。
在SampleToGroup邏輯框中引入分組類型參數語法元素造成若干問題。舉例而言,在引入分組類型參數語法元素的情況下,版本1樣本群組之分組類型實際上由分組類型語法元素及分組類型參數語法元素兩者定義。以此方式定義版本1樣本群組之分組類型可造成問題,此係由於可獲得的ISOBMFF規範之其他部分依賴於樣本群組之分組類型係單獨由分組類型參數語法元素定義的假設。舉例而言,在ISOBMFF規範中對於SampleGroupDescription邏輯框定義之語意並不以任何方式考慮到分組類型參數語法元素。其他實例在本發明其他處予以描述。
本發明描述用於解決此等問題之若干技術。舉例而言,根據本發明之技術,提議將針對相同分組類型的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間的關係定義為1對N關係,其中N非零正整數。因此,分組類型語法元素具有相同值的多個SampleToGroup邏輯框可對應於分組類型語法元素具有彼值的單一SampleGroupDescription邏輯框。在一些情況下,此等SampleToGroup邏輯框中之每一者可具有值不同之分組類型參數語法元素。以此方式定義該關係可在不改變SampleGroupDescription邏輯框或SampleToGroup邏輯框之語法的情況下解決上述問題。相反,此實例之實施可僅僅涉及SampleGroupDescription邏輯框及/或SampleToGroup 邏輯框之語意及描述的變化。
根據此技術之一個實例,源器件可在檔案之容器邏輯框中產生包括一或多個群組描述項之SampleGroupDescription邏輯框。在本發明中,容器邏輯框為含有一或多個其他邏輯框之邏輯框。在用於HEVC及其他視訊格式之輸送(carriage)的ISOBMFF擴展中,容器邏輯框之實例類型包括樣本表邏輯框、播放軌片段邏輯框,及其他類型之邏輯框。每一各別群組描述項提供對於各別樣本群組之描述。SampleGroupDescription邏輯框進一步包括識別一樣本分組類型的分組類型語法元素。在此實例中,SampleGroupDescription邏輯框中之分組類型語法元素具有一特定值,且容器邏輯框為樣本表邏輯框或播放軌片段邏輯框。此外,在此實例中,源器件可在檔案之同一容器邏輯框中產生複數個SampleToGroup邏輯框。在此實例中,複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框包括具有特定值之各別分組類型語法元素。另外,每一各別SampleToGroup邏輯框包括一或多個樣本群組項。一或多個樣本群組項之每一各別樣本群組項包含指示各別樣本群組中之樣本之數目的各別樣本計數語法元素。一或多個樣本群組項之每一各別樣本群組項包含指示SampleGroupDescription邏輯框中提供各別樣本群組之描述之群組描述項的索引的各別群組描述索引語法元素。各別樣本群組之每一樣本包含視訊內容之一或多個圖像。在此實例中,源器件可輸出檔案。
圖1為說明可使用本發明中描述之技術的一實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示,系統10包括源器件12,其產生稍後時間將由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者,包括桌上型電腦、筆記型(即,膝上型)電腦、平板電腦、機上盒、電話手機(諸如所謂「智慧型」電話)、所謂「智慧型」平板電腦、電視、攝影機、顯示器件、 數位媒體播放器、視訊遊戲主機、視訊串流器件或其類似者。在一些狀況下,源器件12及目的地器件14可經配備用於無線通信。因此,源器件12及目的地器件14可被當作無線通信器件。源器件12及目的地器件14可被當作視訊器件。
在圖1之實例中,源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下,輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中,視訊源18可包括諸如視訊俘獲器件(例如,視訊攝影機)、含有先前所俘獲視訊之視訊存檔、用以自視訊內容提供者接收視訊之視訊饋入介面,及/或用於產生電腦圖形資料作為源視訊的電腦圖形系統之源,或此等源之組合。然而,本發明中所描述的技術可大體上適用於視訊寫碼,且可應用於無線及/或有線應用。
視訊編碼器20可編碼經俘獲、預先俘獲或電腦產生之視訊。源器件12可經由源器件12之輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件33上,用於稍後由目的地器件14或其他器件存取,以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。此外,在圖1之實例中,目的地器件14包括儲存媒體29及檔案剖析單元31。在一些情況下,輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件33上所提供之經編碼視訊資料可包括由視訊編碼器20產生之多種語法元素,其供諸如視訊解碼器30之視訊解碼器在解碼視訊資料時使用。此等語法元素可與傳輸於通信媒體上、儲存於儲存媒體上,或儲存於檔案伺服器上之經編碼視訊資料包括在一起。
顯示器件32可與目的地器件14整合或在目的地器件14的外部。在一些實例中,目的地器件14可包括整合式顯示器件且亦可經組態以 與外部顯示器件介接。在其他實例中,目的地器件14可為顯示器件。一般而言,顯示器件32向使用者顯示經解碼視訊資料,且可包含多種顯示器件中的任一者,諸如,液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種適合之編碼器電路中之任一者,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器CODEC)之部分。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中,鏈路16可包含用以使源器件12能夠將經編碼視訊資料直接即時傳輸至目的地器件14之通信媒體。可根據通信標準(諸如,無線通信協定)調變經編碼視訊資料,且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路,諸如網際網路)的一部分。通信媒體可包括路由器、交換器、基地台或任何其他可適用於促進自源器件12至目的地器件14的通信之設備。
替代地,輸出介面22可將經編碼資料輸出至儲存器件33。類似地,輸入介面28可存取經編碼資料儲存器件33。儲存器件33可包括多種分散式或本端存取之資料儲存媒體中的任何者,諸如,硬碟機、 Blu-ray光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在再一實例中,儲存器件33可對應於檔案伺服器或可保有由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載而存取來自儲存器件33的經儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件,或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機,等等),或兩者之組合。經編碼視訊資料自儲存器件33之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼,該等應用諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、(例如)經由網際網路之串流視訊傳輸、用於儲存於資料儲存媒體上之數位視訊資料的編碼、儲存於資料儲存媒體上之數位視訊資料的解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸以支援應用(諸如,視訊串流、視訊播放、視訊廣播及/或視訊電話)。
此外,在圖1之實例中,視訊寫碼系統10包括檔案產生器件34。檔案產生器件34可接收由源器件12產生之經編碼視訊資料。檔案產生器件34可產生包括該經編碼視訊資料之檔案。目的地器件14可接收由檔案產生器件34產生之檔案。在各種實例中,檔案產生器件34可包括各種類型之計算器件。舉例而言,檔案產生器件34可包含視訊編碼器件、媒體感知網路元件(MANE)、伺服器計算器件、個人計算器件、 專用計算器件、商業計算器件,或另一類型之計算器件。在一些實例中,檔案產生器件34為內容遞送網路之部分。檔案產生器件34可經由諸如鏈路16之頻道自源器件12接收經編碼視訊資料。此外,目的地器件14可經由諸如鏈路16之頻道自檔案產生器件34接收檔案。檔案產生器件34可被當作視訊器件。如圖1之實例中所示,檔案產生器件34可包含記憶體31,其經組態以儲存含有經編碼視訊內容之檔案。
在其他實例中,源器件12或另一計算器件可產生包括經編碼視訊資料之檔案。然而,為了易於解釋,本發明將檔案產生器件34描述為產生檔案。然而,應理解,此等描述一般適用於計算器件。
視訊編碼器20及視訊解碼器30可根據諸如高效率視訊寫碼(HEVC)標準或其擴展之視訊壓縮標準操作。HEVC標準亦可被稱作ISO/IEC 23008-2。最近,已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視訊寫碼聯合協作小組(JCT-VC)完成HEVC之設計。最新的HEVC草案規範(且下文被稱作HEVC WD)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip獲得。HEVC之多視圖擴展(亦即MV-HEVC)亦已由JCT-3V開發。題為「MV-HEVC Draft Text 5」且下文被稱作MV-HEVC WD5的MV-HEVC之最近工作草案(WD)可自http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip獲得。HEVC之可調式擴展(被稱為SHVC)亦已由JCT-VC開發。題為「High efficiency video coding(HEVC)scalable extension draft 3」且下文被稱作SHVC WD3的SHVC之最近工作草案(WD)可自http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip獲得。具有HEVC之範圍擴展之最近工作草案(WD)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1005-v3.zip獲得。題為「3D-HEVC Draft Text 1」的HEVC之3D擴展 之最近工作草案(WD)(即,3D-HEVC)可自http://phenix.int-evry.fr/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip獲得。視訊編碼器20及視訊解碼器30可根據此等標準中之一或多者或其他標準操作。此等其他視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264或ISO/IEC MPEG-4 AVC,包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
替代地,視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準,替代地被稱作MPEG-4,第10部分,進階視訊寫碼(AVC))或此等標準之擴展而操作。然而,本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
一般而言,在HEVC中,視訊圖框或圖像可劃分成包括明度及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)的序列。樹型區塊亦可被稱作寫碼樹單元(CTU)。樹型區塊具有與H.264/AVC標準之巨集區塊類似的用途。圖塊包括按寫碼次序之許多連續樹型區塊。視訊圖框或圖像可分割成一或多個圖塊。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。舉例而言,作為四分樹之根節點的樹型區塊可分裂成四個子節點,且每一子節點轉而可為父節點並分裂成另四個子節點。作為四分樹之葉節點的最後未分裂子節點包含寫碼節點(亦即,經寫碼視訊區塊)。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可分裂的最大次數,且亦可定義寫碼節點之最小大小。
CU包括寫碼節點以及與該寫碼節點相關聯之預測單元(PU)及變 換單元(TU)。CU之大小對應於寫碼節點之大小,且形狀必須為正方形。CU之大小可在自8×8像素直至具有最大64×64像素或大於64×64像素的樹型區塊大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或是框間預測模式編碼之間不同。PU可經分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割成一或多個TU。TU的形狀可為正方形或非正方形。
HEVC標準允許根據TU進行變換,該等TU對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內的PU之大小來對TU設定大小,但可並非總是此狀況。TU的大小通常與PU相同或比PU小。在一些實例中,可使用被稱為「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分為較小單元。RQT之葉節點可被稱作TU。與TU相關聯之像素差值可經變換以產生可加以量化之變換係數。
一般而言,PU包括與預測程序相關之資料。舉例而言,當PU經框內模式編碼時,PU可包括描述用於PU之框內預測模式的資料。作為另一實例,當PU經框間模式編碼時,PU可包括定義PU之運動向量的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如,四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像,及/或運動向量之參考圖像清單(例如,清單0、清單1)。
大體而言,TU用於變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後,視訊編碼器20可計算對應於PU之殘餘值。殘餘值包含像素差值,該等像素差值可使用TU變換成變換係數,經量化,且經掃描以產生串列化變換係數以用於熵寫碼。本發明通常使用術語「視訊區塊」來指CU之寫碼節點(亦即, 寫碼區塊)。在一些特定狀況下,本發明亦可使用術語「視訊區塊」來指包括一寫碼節點及若干PU及TU的樹型區塊(亦即LCU或CU)。
視訊序列通常包括一系列視訊圖框或圖像。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作,以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小,且可根據指定寫碼標準而大小不同。
在使用CU之PU的框內預測性或框間預測性寫碼之後,視訊編碼器20可計算CU之TU的殘餘資料。PU可包含空間域(亦被稱作像素域)中之像素資料,且TU可包含在將變換(例如,離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換)應用於殘餘視訊資料之後的變換域中之係數。該殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU,且接著變換該等TU以產生CU之變換係數。
在進行用以產生變換係數之任何變換之後,視訊編碼器20可對變換係數執行量化。量化大體上指對變換係數進行量化以可能減少用以表示係數的資料之量之程序,從而提供進一步壓縮。量化程序可減少與一些或所有係數相關聯的位元深度。
在掃描經量化變換係數以形成一維向量之後,視訊編碼器20可(例如)根據上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對一維向量進行熵編碼。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用於解碼視訊資料。
視訊編碼器20可輸出位元串流,其包括形成經寫碼圖像及相關聯資料之表示的位元序列。術語「位元串流」可為用以指網路抽象層 (NAL)單元串流(例如,NAL單元之一序列)或位元組串流(例如,如由HEVC標準之附錄B指定的含有開始碼首碼及NAL單元之NAL單元串流的囊封)之集合性術語。NAL單元為含有NAL單元中的資料之類型之指示及含有呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的彼資料的位元組之語法結構。NAL單元中之每一者可包括NAL單元標頭且可囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下,RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言,第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP,第二類型之NAL單元可囊封圖塊區段之RBSP,第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP,等等。囊封視訊寫碼資料之RBSP(相反於參數集及SEI訊息之RBSP)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。含有參數集(例如,視訊參數集(VPS)、序列參數集(SPS)、PPS,或其他類型之參數集)之NAL單元可被稱作參數集NAL單元。
本發明可將囊封區段圖塊之RBSP的NAL單元稱作經寫碼圖塊NAL單元。如HEVC WD中所定義,圖塊區段為在影像塊掃描中經連續排序且包含於單一NAL單元中的整數數目個CTU。相比而言,在HEVC WD中,圖塊可為包含於同一存取單元內的一個獨立圖塊區段及先於下一獨立圖塊區段(若存在)之所有後續相依圖塊區段(若存在)中的整數數目個CTU。獨立圖塊區段為圖塊區段標頭之語法元素之值並非自先前圖塊區段之值推斷出的圖塊區段。相依圖塊區段為圖塊區段標頭之一些語法元素之值係自按解碼次序的先前獨立圖塊區段之值推斷出的圖塊區段。經寫碼圖塊NAL單元之RBSP可包括圖塊區段標頭及圖塊資料。圖塊區段標頭為經寫碼圖塊區段中的含有與表示於圖 塊區段中之第一或所有CTU有關之資料元素的一部分。圖塊標頭為按解碼次序位於當前相依圖塊區段之前的獨立圖塊區段(亦即當前圖塊區段或最近的獨立圖塊區段)之圖塊區段標頭。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外,視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可與由視訊編碼器20執行之程序大體互逆。舉例而言,視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。此外,視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行逆變換,以重建構當前CU之TU的變換區塊。藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之變換區塊的對應樣本,視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊,視訊解碼器30可重建構圖像。
現將簡要地論述檔案格式及檔案格式標準。檔案格式標準包括ISO基本媒體檔案格式(ISOBMFF、ISO/IEC 14496-12,下文「ISO/IEC 14996-12」)及自ISOBMFF導出之其他檔案格式標準,包括MPEG-4檔案格式(ISO/IEC 14496-14)、3GPP檔案格式(3GPP TS 26.244)及AVC檔案格式(ISO/IEC 14496-15,下文「ISO/IEC 14996-15」)。因此,ISO/IEC 14496-12指定ISO基本媒體檔案格式。其他文件針對特定應用擴展ISO基本媒體檔案格式。舉例而言,ISO/IEC 14496-15描述呈ISO基本媒體檔案格式的NAL單元結構化視訊之輸送。H.264/AVC及HEVC以及其擴展為NAL單元結構化視訊之實例。ISO/IEC 14496-15包括描述H.264/AVC NAL單元之輸送的章節。另外,ISO/IEC 14496-15之第8節描述HEVC NAL單元之輸送。因此,ISO/IEC 14496-15之第8節被稱為描述HEVC檔案格式。以下論述係基 於嵌入N14574中的14496-12之最近整合版本。
ISOBMFF被用作許多編碼解碼器囊封格式(諸如,AVC檔案格式)以及許多多媒體容器格式(諸如,MPEG-4檔案格式、3GPP檔案格式(3GP)及DVB檔案格式)之基礎。除諸如音訊及視訊之連續媒體之外,諸如影像之靜態媒體以及後設資料亦可儲存於符合ISOBMFF之檔案中。根據ISOBMFF結構化之檔案可用於許多用途,包括本端媒體檔案播放、遠端檔案之逐漸下載、用於經由HTTP之動態自適應串流(DASH)之區段、用於待串流傳輸之內容及其封包化指令之容器及所接收之即時媒體串流的記錄。因此,雖然最初針對儲存而設計,但ISOBMFF已證明用於串流(例如,用於逐漸下載或DASH)之價值。為了串流目的,可使用在ISOBMFF中定義之電影片段。除諸如音訊及視訊之連續媒體之外,諸如影像之靜態媒體以及後設資料亦可儲存於符合ISOBMFF之檔案中。
符合HEVC檔案格式之檔案可包含一系列稱作邏輯框之物件。邏輯框可為按唯一類型識別符及長度定義之物件導向式建構區塊。邏輯框為ISOBMFF中之基本語法結構,且可包括四字元寫碼邏輯框類型、邏輯框之位元組計數及有效負載。換言之,邏輯框可為包含經寫碼邏輯框類型、邏輯框之位元組計數及有效負載的語法結構。在一些情況下,在符合HEVC檔案格式之檔案中的所有資料可包含於邏輯框內,且檔案中的資料沒有不在邏輯框中的。因此,ISOBMFF檔案可由一連串邏輯框構成,且邏輯框可含有其他邏輯框。舉例而言,邏輯框之有效負載可包括一或多個額外邏輯框。根據本發明之一或多種技術,在本發明中之其他處詳細描述的圖6A、圖6B、圖6C、圖7A、圖7B及圖7C展示檔案內的實例邏輯框。
符合ISOBMFF之檔案可包括各種類型之邏輯框。舉例而言,符合ISOBMFF之檔案可包括檔案類型邏輯框、媒體資料邏輯框、電影 邏輯框、電影片段邏輯框等等。在此實例中,檔案類型邏輯框包括檔案類型及相容性資訊。媒體資料邏輯框可含有樣本(例如,經寫碼圖像)。電影邏輯框(「moov」)含有用於存在於檔案中之連續媒體串流的後設資料。可將連續媒體串流中之每一者在檔案中表示為一播放軌。舉例而言,電影邏輯框可含有關於電影之後設資料(例如,樣本之間的邏輯及時序關係,以及指向樣本之位置的指標)。電影邏輯框可包括若干類型之子邏輯框。電影邏輯框中之子邏輯框可包括一或多個播放軌邏輯框。播放軌邏輯框可包括關於電影之個別播放軌的資訊。播放軌邏輯框可包括指定單一播放軌之總資訊的播放軌標頭邏輯框。此外,播放軌邏輯框可包括含有媒體資訊邏輯框之媒體邏輯框。媒體資訊邏輯框可包括樣本表邏輯框,其含有對播放軌中之媒體樣本編索引的資料。樣本表邏輯框中之資訊可用以在時間上定位樣本,且對於播放軌之樣本中之每一者,定位類型、大小、容器及至樣本之彼容器的偏移。因此,將用於播放軌之後設資料圍封於一播放軌邏輯框(「trak」)中,而將播放軌之媒體內容圍封於媒體資料邏輯框(「mdat」)中或直接圍封於單獨檔案中。用於播放軌之媒體內容包含一連串樣本(或由一連串樣本構成),諸如,音訊或視訊存取單元。
ISOBMFF指定以下類型之播放軌:媒體播放軌,其含有基本媒體串流;提示播放軌,其包括媒體傳輸指令或表示所接收之封包串流;及計時後設資料播放軌,其包含時間同步之後設資料。用於每一播放軌之後設資料包括樣本描述項之清單,每一樣本描述項提供在播放軌中使用之寫碼或囊封格式及用於處理彼格式之初始化資料。每一樣本與播放軌之樣本描述項中之一者相關聯。
ISOBMFF使得能夠藉由各種機制指定樣本特定後設資料。樣本表邏輯框(「stbl」)內之特定邏輯框已經標準化以回應於普通需求。樣本表邏輯框含有一樣本表,該樣本表含有播放軌中之媒體樣本的所 有時間及資料索引。在使用樣本表邏輯框中之表的情況下,在時間上定位樣本、判定其類型(例如,是否為I-圖框)及判定其大小、容器及至彼容器之偏移可為可能的。
舉例而言,同步樣本邏輯框(「stss」)為樣本表邏輯框內之一邏輯框。同步樣本邏輯框用以列出播放軌之隨機存取樣本。本發明可將由同步樣本邏輯框列出之樣本稱作同步樣本。在另一實例中,樣本分組機制使得能夠將根據四字元分組類型的樣本映射成共用指定為檔案中之樣本群組描述項之同一性質的樣本之群組。已在ISOBMFF中指定若干分組類型。
電影片段邏輯框為一頂級邏輯框。每一電影片段邏輯框提供先前將位於電影邏輯框中之資訊。電影片段邏輯框可含有一或多個播放軌片段(「traf」)邏輯框。在電影片段內,存在一組播放軌片段(每播放軌為零或多於零個)。播放軌片段又含有零或多於零個播放軌延行(run),其中之每一者記錄彼播放軌的樣本之連續延行。舉例而言,每一播放軌延行可含有按某一次序(諸如解碼次序)連續的圖像之樣本。播放軌片段邏輯框於14996-12規範中予以定義,且包含用於一或多個播放軌片段之後設資料。舉例而言,播放軌片段邏輯框可包括一播放軌片段標頭邏輯框,其指示播放軌ID、基本資料偏移、樣本描述索引、預設樣本持續時間、預設樣本大小及預設樣本旗標。播放軌片段邏輯框可包括一或多個播放軌片段延行邏輯框,每一者記錄播放軌之連續樣本集。舉例而言,播放軌片段邏輯框可包括指示樣本計數、資料偏移、樣本旗標、樣本持續時間、樣本大小、樣本組成時間偏移等等之語法元素。在此等結構內,許多欄位係可選的,且可為預設的。
樣本表邏輯框可包括一或多個SampleToGroup邏輯框及一或多個樣本群組描述邏輯框(亦即,SampleGroupDescription邏輯框)。SampleToGroup邏輯框可用以判定樣本屬於之樣本群組,連同該樣本 群組之相關聯描述。換言之,SampleToGroup邏輯框可指示樣本屬於之群組。SampleToGroup邏輯框可具有「sbgp」之邏輯框類型。SampleToGroup邏輯框可包括分組類型元素(例如,grouping_type)。在一些情況下,在本發明中,邏輯框之元素亦可被稱作語法元素。分組類型元素可為識別一樣本分組類型(亦即,用以形成樣本群組之準則)的整數。此外,SampleToGroup邏輯框可包括一或多個項(亦即,樣本群組項)。SampleToGroup邏輯框中之每一樣本群組項可與播放軌中之一系列不同的非重疊連續樣本相關聯。每一樣本群組項可指示樣本計數元素(例如,sample_count)及群組描述索引元素(例如,group_description_index)。樣本群組項之樣本計數元素可指示與樣本群組項相關聯之樣本的數目。換言之,樣本群組項之樣本計數元素可為給出具有相同樣本群組描述符的連續樣本之數目之整數。群組描述索引元素可識別SampleGroupDescription邏輯框內的含有與樣本群組項相關聯之樣本之描述的群組描述項。多個樣本群組項之群組描述索引元素可識別相同SampleGroupDescription邏輯框。
如上文簡要指示,SampleToGroup邏輯框亦可包括分組類型參數語法元素。分組類型參數語法元素可表示為grouping_type_parameter。分組類型參數語法元素為樣本分組之子類型的一指示。ISO/IEC 14496-15中有三處使用grouping_type_parameter,在第一處作為(MVC檔案格式之)定案規範的部分,在其他兩處作為開發中之規範的部分:
1)在Wang等人於2014年10月的ISO/IEC JTC1/SC29/WG11/N14837「不包括MVC的基於AVC之3D視訊之輸送(14496-15 2014 PDAM 2不包括MVC的基於AVC之3D視訊的文字)」(在下文中稱為N14837)之條款B.5(檢視優先性樣本分組)及其中具有MVC檔案格式之14496-15的較早版本中: 若使用樣本至群組邏輯框之版本1,且MVC檢視優先性指派URI邏輯框存在於樣本項中,grouping_type_parameter為至MVC檢視優先性指派URI邏輯框的基於1之索引。
2)在N14837之條款7.2.6(隨機存取恢復點及隨機存取點上之樣本群組)(14496-15 2014 PDAM 2不包括MVC的基於AVC之3D視訊的文字)中:當將SampleToGroupBox之版本1用於隨機存取點樣本分組時,grouping_type_parameter指定在相關聯樣本中進行再新的層或視圖之tier_id值。
3)在N14574(ISO/IEC 14496-12 Amd.4改良式音訊支援)之條款10.6(串流存取點樣本群組)中:如附錄I中所定義之串流存取點允許實現對媒體串流之容器的隨機存取。SAP樣本分組將樣本(其第一位元組為附錄I中所指定的SAP之位置ISAU)識別為具有所指示之SAP類型。
grouping_type_parameter之語法及語意如下予以指定。
根據附錄I,target_layers指定所指示之SAP的目標層。target_layers之語意取決於layer_id_method_idc之值。當layer_id_method_idc等於0時,保留target_layers。
layer_id_method_idc指定target_layers之語意。等於0之layer_id_method_idc指定目標層由播放軌表示之所有層構成。不等於0之layer_id_method_idc由所導出之媒體格式規範指定。
最新14496-12文字中亦存在使用grouping_type_parameter語法元素之一些執行個體。舉例而言,條款8.8.13.1層級指派邏輯框及條款8.8.16.1替代性啟動序列性質邏輯框使用grouping_type_parameter語法元素。
當SampleToGroup邏輯框之版本等於1時,ISOBMFF中之樣本群組之當前發信號的一些態樣(亦即,SampleGroupDescription邏輯框及SampleToGroup邏輯框)並不清晰或並未起作用。舉例而言,樣本至群組邏輯框之語法如下:
grouping_type及grouping_type_parameter之語意如下:grouping_type為識別樣本分組之類型(亦即,用以形成樣本群組之準則)且將其連結至其具有分組類型之相同值之樣本群組描述表的整數。對於一播放軌將存在具有grouping_type(及,若使用, grouping_type_parameter)之相同值的此邏輯框的至多一次出現。
grouping_type_parameter為分組之子類型的指示。
因此,版本1樣本群組之分組類型可由grouping_type及grouping_type_parameter兩者構成。
此外,14496-12規範中存在SampleToGroup邏輯框之以下描述:若對於播放軌中之樣本存在多於一個樣本分組,則可存在此邏輯框之多個執行個體。SampleToGroup邏輯框之每一執行個體具有區別不同樣本分組之類型碼。[START 1]在播放軌內,將存在具有特定分組類型之此邏輯框之至多一個執行個體。[END 1][START 2]相關聯的SampleGroupDescription將指示分組類型之相同值。[END 2]在SampleToGroup邏輯框之此描述中,類型碼實際上僅為grouping_type,並不包括子類型grouping_type_parameter。同時在另一方面,基於上文[START 1]與[END 1]之間的文字,分組類型由grouping_type及grouping_type_parameter兩者構成。同時又,基於上文[START 2]與[END 2]之間的文字,分組類型又僅僅由grouping_type構成。
樣本群組描述邏輯框之語法如下:
如可見,SampleGroupDescription邏輯框中不存在樣本分組子類型(亦即,grouping_type_parameter)。因此,當子分組與版本1 SampleToGroup邏輯框一起使用時,不存在使樣本表邏輯框或播放軌片段邏輯框中之多個SampleGroupDescription邏輯框具有grouping_type之相同值(及grouping_type_parameter之不同值),使得SampleToGroup邏輯框與SampleGroupDescription邏輯框之間存在一對一映射的方式。
此外,14496-12規範中存在樣本描述邏輯框之以下描述:若一播放軌中的樣本有多於一個樣本分組,則可存在此邏輯框之多個執行個體。SampleGroupDescription邏輯框之每一執行個體具有區別不同樣本分組之類型碼。在播放軌內,將存在具有特定分組類型之此邏輯框的至多一個執行個體。相關聯SampleToGroup將指示分組類型之相同值。
自此文字,類型碼及分組類型兩者應僅為grouping_type,不包括 子類型grouping_type_parameter。
在下文中給出本發明之技術的概述,且在後面章節中提供一些方法之詳細實施。此等技術中之一些可獨立地應用,且其中之一些可組合地應用。本發明之特定技術規定了屬於檔案格式之檔案必須符合的要求。舉例而言,若檔案並不滿足要求中之一者,則檔案並不符合檔案格式。
根據本發明之第一實例技術,關於上述ISOBMFF中之樣本群組之發信號的明確性問題可藉由自樣本至群組邏輯框語法移除grouping_type_parameter語法元素來解決。因此,grouping_type語法元素可為指示樣本至群組邏輯框之分組類型的單獨語法元素。
根據本發明之第二實例技術,關於上述ISOBMFF中之樣本群組之發信號的明確性問題可藉由在樣本群組描述邏輯框之版本為1時將grouping_type_parameter語法元素添加至樣本群組描述邏輯框之語法來解決。在此實例下,樣本群組描述邏輯框與樣本至群組邏輯框之間存在一對一關係,使得樣本群組描述邏輯框與樣本至群組邏輯框可按grouping_type語法元素與grouping_type_parameter語法元素(若存在)之值匹配。舉例而言,可修改樣本群組描述邏輯框之語法,使得樣本群組描述邏輯框可包括grouping_type_parameter語法元素。在此實例中,若樣本至群組邏輯框之grouping_type語法元素的值匹配樣本群組描述邏輯框之grouping_type語法元素的值,且樣本至群組邏輯框之grouping_type_paramneter語法元素的值匹配群組描述邏輯框之grouping_type_parameter語法元素的值,則樣本至群組邏輯框可對應於樣本群組描述邏輯框。
根據本發明之第三實例技術,關於上述ISOBMFF中之樣本群組之發信號的明確性問題可藉由定義針對相同分組類型的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間的關係為 1對N來解決。根據此第三實例技術,以下者中之一或多者可應用。第一,在容器邏輯框(例如,「stbl」或「traf」)內,應僅存在一個具有grouping_type之特定值之SampleGroupDescription邏輯框,且可存在具有grouping_type之相同值之一或多個相關聯(例如,對應)SampleToGroup邏輯框。舉例而言,SampleGroupDescription邏輯框中之grouping_type語法元素的值可等於3,且多個SampleToGroup邏輯框中之grouping_type語法元素的值可具有等於3之值。在一些實例中,容器邏輯框可包括多個SampleGroupDescription邏輯框。在至少一些此等實例中,多個SampleGroupDescription邏輯框中不得有兩個SampleGroupDescription邏輯框具有值相同的grouping_type語法元素。
第二,在本發明之第三實例技術中,當容器邏輯框中存在具有grouping_type語法元素之特定值的多個SampleToGroup邏輯框時,所有SampleToGroup邏輯框之版本必須為1。舉例而言,在此實例中,若容器邏輯框中之兩個SampleToGroup邏輯框具有值等於3之grouping_type語法元素,則不可能使SampleToGroup邏輯框中之一者為版本0 SampleToGroup邏輯框。實情為,在此實例中,兩個SampleToGroup邏輯框兩者均為版本1 SampleToGroup邏輯框。因此,在此實例中,兩個SampleToGroup邏輯框兩者均具有grouping_type_parameter語法元素。因此,以下可為對檔案格式之一要求:當單一容器邏輯框中存在具有grouping_type語法元素之相同值之多個SampleToGroup邏輯框時,多個SampleToGroup邏輯框中之每一者必須具有等於1之各別版本識別符。
第三,在本發明之此第三實例技術中,當存在具有grouping_type語法元素之特定值的多個SampleToGroup邏輯框時,grouping_type語法元素之值應受約束,使得group_description_index語法元素之大於0 的任何值不應存在於多於一個SampleToGroup邏輯框中。換言之,存在建置於檔案格式中的防止同一容器邏輯框中之兩個或兩個以上SampleToGroup邏輯框具有帶有大於0之相同值的group_description_index語法元素的限制或禁令。舉例而言,第一SampleToGroup邏輯框及第二SampleToGroup邏輯框可各具有值等於4之grouping_type語法元素。在此實例中,若第一SampleToGroup邏輯框具有值等於2之group_description_index語法元素,則第二SampleToGroup邏輯框可能不具有值等於2的group_description_index語法元素。因此,在此實例中,以下可為對檔案格式之一要求:當單一容器邏輯框中存在具有分組類型語法元素之相同值之多個SampleToGroup邏輯框時,多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有帶有大於0之相同值的群組描述索引語法元素。
因此,根據本發明之第三技術的一實例,諸如源器件12或檔案產生器件34之器件可產生檔案之容器邏輯框(例如,樣本表邏輯框或播放軌片段邏輯框),使得檔案符合特定檔案格式。作為產生容器邏輯框之部分,器件可在容器邏輯框中產生包括一或多個群組描述項之SampleGroupDescription邏輯框。每一各別群組描述項提供對於各別樣本群組之描述。SampleGroupDescription邏輯框進一步包括識別一樣本分組類型的分組類型語法元素。在此實例中,SampleGroupDescription邏輯框中之分組類型語法元素具有一特定值。此外,在此實例中,器件可在檔案之同一容器邏輯框中產生複數個SampleToGroup邏輯框。在此實例中,複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框包括具有特定值之各別分組類型語法元素。另外,每一各別SampleToGroup邏輯框包括一或多個樣本群組項。一或多個樣本群組項之每一各別樣本群組項包含指示各別樣 本群組中之樣本之數目的各別樣本計數語法元素。一或多個樣本群組項之每一各別樣本群組項包含指示SampleGroupDescription邏輯框中提供各別樣本群組之描述之群組描述項的索引的各別群組描述索引語法元素。各別樣本群組之每一樣本包含視訊內容之一或多個圖像。在此實例中,器件可輸出檔案。
諸如目的地器件14的用於讀取檔案之器件可獲得檔案,且自該檔案獲得容器邏輯框(例如,藉由剖析檔案)。舉例而言,在圖1之實例中,目的地器件14之儲存媒體29可經組態以儲存檔案。目的地器件14之檔案剖析單元31可經組態以自檔案獲得容器邏輯框。在此實例中,視訊解碼器30可解碼自檔案剖析之經編碼視訊資料。
根據本發明之第三實例技術,以下可為對特定檔案格式之一要求:容器邏輯框中將僅僅存在一個具有分組類型語法元素之特定值的SampleGroupDescription邏輯框。然而,在一些實例中,器件可進一步產生具有不同於特定值之分組類型語法元素的另一SampleGroupDescription邏輯框。
如上文所指示,檔案可符合特定檔案格式。此外,在一些實例中,以下可為對檔案格式之一要求:當單一容器邏輯框中存在具有分組類型語法元素之相同值之多個SampleToGroup邏輯框時,多個SampleToGroup邏輯框中之每一者必須具有等於1之各別版本識別符。換言之,當容器邏輯框中存在多個具有grouping_type之特定值的SampleToGroup邏輯框時,所有SampleToGroup邏輯框之版本必須為1。此外,在一些實例中,以下為對檔案格式之一要求:當單一容器邏輯框中存在具有分組類型語法元素之相同值之多個SampleToGroup邏輯框時,多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有帶有大於0之相同值的群組描述索引語法元素。換言之,當存在具有grouping_type之特定值之多個SampleToGroup邏輯框時, 應受以下約束:group_description_index之大於0的任何值不應存在於多於一個SampleToGroup邏輯框中。在一些實例中,以下為對檔案格式之一要求:當單一播放軌或播放軌片段中存在多個具有分組類型語法元素之相同值之SampleToGroup邏輯框時,多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有分組類型參數語法元素之相同值。
ISOBMFF規範指定適用於DASH之6種類型串流存取點(SAP)。前兩種SAP類型(類型1及2)對應於H.264/AVC及HEVC中之瞬時解碼再新(IDR)圖像。IDR圖像僅僅包括I圖塊。I圖塊為可包括經框內預測之區塊,但不包括經框間預測之區塊的圖塊。第三種SAP類型(類型3)對應於HEVC中之開放式GOP隨機存取點,亦即,斷鏈存取(BLA)或乾淨隨機存取(CRA)圖像。BLA圖像及CRA圖像可僅僅包括I圖塊。按解碼次序緊隨CRA圖像但按輸出次序位於CRA圖像之前的圖像可將在CRA圖像之前進行解碼之圖像用於參考。BLA圖像通常源自在CRA圖像之位置處的位元串流拼接,且在該拼接之位元串流中,該拼接點CRA圖像改變至BLA圖像。第四種SAP類型(類型4)對應於漸次性解碼再新(GDR)隨機存取點。並非為框內隨機存取點(IRAP)存取單元且含有恢復點SEI訊息之存取單元被稱作GDR存取單元,且其對應圖像被稱作GDR圖像。
在當前14996-12規範中,SAP樣本分組的發信號之設計需要使用SampleToGroup邏輯框之版本1。此設計效率低下,此係由於將通常需要使用多個SampleToGroup邏輯框以及SampleToGroup邏輯框中的總共更多項。此可意謂著較高剖析複雜性及較多資料附加項兩者。額外資料附加項之一個原因在於:使用額外邏輯框將因此導致用於諸如邏輯框類型、邏輯框版本等等之一些資訊的發信號的較多附加項。額外資料附加項之另一原因在於SampleToGroup邏輯框中之額外項,同時 每一項之資料量為一常量。較多邏輯框可意謂著使用較多剖析來發現邏輯框。尤其,若僅要發現一個邏輯框,則可緊接著發現邏輯框後終止剖析,而當可能要發現多個邏輯框且邏輯框之實際數目未知時,將剖析整個容器邏輯框直至末端。
為解決此問題,本發明提議將版本0,而非版本1用於SampleToGroup邏輯框。語法元素target_layers及layers_id_method_idc包括於樣本群組描述項中。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20表示經組態以產生可使用本發明中所描述之檔案格式技術儲存之視訊資料的視訊寫碼器之一實例。視訊編碼器20可經組態以輸出單一視圖、多視圖、可調式、3D及其他類型之視訊資料。視訊編碼器20可經組態以將視訊輸出至後處理處理實體27。後處理處理實體27意欲表示可處理來自視訊編碼器20之經編碼視訊資料的視訊實體(諸如,MANE或拼接/編輯器件)之一實例。在一些情況下,後處理處理實體可為網路實體之一實例。在一些視訊編碼系統中,後處理實體27及視訊編碼器20可為分開的器件之部分,而在其他情況下,關於後處理實體27描述之功能性可由包含視訊編碼器20之同一器件執行。後處理實體27可為視訊器件。在一些實例中,後處理實體27可與圖1之檔案產生器件34相同。
根據本發明之技術,後處理實體27可產生一檔案,以供儲存由視訊編碼器20產生之經編碼視訊內容。檔案可在檔案之容器邏輯框中包括提供用於樣本分組之樣本群組描述的SampleGroupDescription邏輯框。SampleGroupDescription邏輯框包括具有特定值之分組類型語法元素。另外,SampleGroupDescription邏輯框包括一或多個樣本群組項。後處理實體27可在相同容器邏輯框中產生複數個SampleToGroup邏輯框。複數個SampleToGroup邏輯框之每一各別 SampleToGroup邏輯框包括具有特定值之各別分組類型語法元素,包括指示各別樣本分組中之樣本之數目的各別樣本計數語法元素,且包括指示SampleGroupDescription邏輯框中的描述各別樣本分組之樣本之項的索引的各別群組描述索引語法元素。各別樣本分組之每一樣本可包含視訊內容之各別圖像。
視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊之時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。框間模式(諸如,單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。
在圖2之實例中,視訊編碼器20包括分割單元35、預測處理單元41、濾波器單元63、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。為了視訊區塊重建構,視訊編碼器20亦包括反量化單元58、逆變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器,諸如,解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元63在圖2中展示為迴路濾波器,但在其他組態中,濾波器單元63可實施為迴路後濾波器。
視訊編碼器20之視訊資料記憶體65可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體65中之視訊資料。參考圖像記憶體64可為儲存參考視訊資料供視訊編碼器20(例如在框內或框間寫碼模式中)編碼視訊資料的參考圖像記憶體。視訊資料記憶體65及參考圖像記憶體64可由多種記憶體器件中之任一者形成,諸如動態隨機存取記憶體(DRAM),包括同步 DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體65及參考圖像記憶體64可由相同的記憶體器件或單獨記憶體器件來提供。在各種實例中,視訊資料記憶體65可與視訊編碼器20之其他組件一起在晶片上,或相對於彼等組件在晶片外。
如圖2中所展示,視訊編碼器20接收視訊資料,且分割單元35將資料分割成視訊區塊。此分割亦可包括分割成圖塊、影像塊或其他較大單元以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。視訊編碼器20大體上說明編碼待編碼視訊圖塊內的視訊區塊之組件。可將圖塊劃分為多個視訊區塊(且可能劃分為被稱作影像塊影像塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如,寫碼速率及失真之等級)選擇用於當前視訊區塊的複數個可能寫碼模式中之一者,諸如,複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料並提供至求和器62以重建構經編碼區塊以供用作參考圖像。
預測處理單元41內之框內預測處理單元46可相對於與待寫碼的當前區塊相同之圖框或圖塊中的一或多個相鄰區塊執行當前視訊區塊之框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44相對於一或多個參考圖像中之一或多個預測性區塊執行當前視訊區塊的框間預測性寫碼,以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定型樣來判定用於視訊圖塊之框間預測模式。預定型樣可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合,但為概念目的而分開來說明。由運動估計單元42執行之運動估計為產生運動向量之程序,該等運動向量估計視訊區塊之運動。例 如,運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的移位。
預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊,該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中,視訊編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之次整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此,運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1),清單0或清單1中之每一者識別儲存於參考記憶體64中之一或多個參考圖像。運動估計單元42將語法元素發送至熵編碼單元56及運動補償單元44,其中可自該等語法元素判定所計算的運動向量。
由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行子像素精確度之內插)判定之運動向量提取或產生預測性區塊。在接收到當前視訊區塊之PU的運動向量之後,運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20可藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊,從而形成像素差值。像素差值形成用於區塊之殘餘資料,且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30用於在解碼視訊圖塊之視訊區塊時使用。
作為如上文所描述由運動估計單元42及運動補償單元44執行之 框間預測的替代,框內預測處理單元46可對當前區塊進行框內預測。詳言之,框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中,框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊,且框內預測處理單元46可自經測試模式中選擇適當框內預測模式來使用。舉例而言,框內預測處理單元46可使用對於各種測試之框內預測模式之速率-失真分析來計算速率-失真值,並在測試之模式中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量,以及用以產生經編碼區塊之位元速率(亦即,位元之數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在任何情況下,在選擇用於區塊之框內預測模式之後,框內預測處理單元46可將指示用於區塊之所選擇框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術編碼指示所選擇框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料,其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表);各種區塊之編碼上下文的定義;及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
在預測處理單元41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後,視訊編碼器20可藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換 域(諸如,頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元速率。量化程序可減少與一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中,量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地,熵編碼單元56可執行掃描。
在量化後,熵編碼單元56可熵編碼表示經量化變換係數之語法元素。舉例而言,熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56進行熵編碼之後,經編碼位元串流可被傳輸至視訊解碼器30,或經存檔以供稍後傳輸或由視訊解碼器30擷取。熵編碼單元56亦可熵編碼當前正寫碼之視訊圖塊的運動向量及其他語法元素。
反量化單元58及逆變換處理單元60分別應用反量化及逆變換以重建構像素域中之殘餘區塊,以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構殘餘區塊,以計算次整數像素值以用於運動估計中。求和器62將經重建構殘餘區塊添加至由運動補償單元44產生之運動補償預測區塊以產生用於儲存於參考圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。圖3之視訊解碼器30表示經組態以解碼可使用本發明中所描述之檔案格式技術儲存之視訊資料的視訊解碼器之一實例。
視訊解碼器30可經組態以解碼單一視圖、多視圖、可調式、3D及其他類型之視訊資料。在圖3之實例中,視訊解碼器30包括熵解碼單元80、預測處理單元81、反量化單元86、逆變換處理單元88、求和器90、濾波器單元91,及參考圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中,視訊解碼器30可執行與關於圖2中之視訊編碼器20所描述之編碼遍次大體上互逆的解碼遍次。
經寫碼圖像緩衝器(CPB)79可接收且儲存位元串流之經編碼視訊資料(例如,NAL單元)。儲存於CPB 79中之視訊資料可(例如)自圖1之鏈路16(例如,自諸如攝影機之本端視訊源)、經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體獲得。CPB 79可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的視訊資料記憶體。參考圖像記憶體92可為儲存參考視訊資料以供視訊解碼器30用於(例如在框內或框間寫碼模式中)解碼視訊資料的參考圖像記憶體。CPB 79及參考圖像記憶體92可由多種記憶體器件中之任一者形成,諸如,動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。CPB 79及參考圖像記憶體92可由同一記憶體器件或分開之記憶體器件提供。在各種實例中,CPB 79可與視訊解碼器30之其他組件一起在晶片上,或相對於彼等組件在晶片外。
在解碼程序期間,視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。在圖3之實例中,視訊解碼器30可自剖析一檔案以提取經寫碼視訊位元流之檔案剖析單元77接收經編碼視訊位元串流。在一些實例中,檔案剖析單元77可自網路實體29接收檔案。網路實體29可(例如)為伺服器、MANE、視訊編輯器/拼接器,或經組態以實施上文描述之技術 中之一或多者的其他此等器件。網路實體29可或可不包括視訊編碼器,諸如,視訊編碼器20。本發明中所描述之技術中之一些可由網路實體29在網路實體29將經編碼視訊位元串流傳輸至視訊解碼器30前實施。在一些視訊解碼系統中,網路實體29及視訊解碼器30可為分開的器件之部分,而在其他情況下,關於網路實體29描述之功能性可由包含視訊解碼器30之同一器件執行。可將網路實體29當作視訊器件。此外,在一些實例中,網路實體29為圖1之檔案產生器件34。檔案剖析單元77可被實施為目的地器件14之部分或與目的地器件分開的器件。在一些實例中,網路實體29及檔案剖析單元77由同一器件實施。
視訊解碼器30之熵解碼單元80熵解碼位元串流之特定語法元素以產生經量化之係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。
當視訊圖塊經寫碼為經框內寫碼(I)圖塊時,預測處理單元81之框內預測處理單元84可基於經發信號的框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料來產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即,B或P)圖塊時,預測處理單元81之運動補償單元82基於運動向量及自熵解碼單元80接收之其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單:清單0及清單1。
運動補償單元82藉由判定運動向量且獲得其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊,且使用該預測資訊產生正解碼的當前視訊區塊之預測性區塊。舉例而言,運動補償單元82使用所接收之語法元素中的一些判定用以寫碼視訊圖塊之視訊區塊之預測 模式(例如,框內預測或框間預測)、框間預測圖塊類型(例如,B圖塊、P圖塊或GPB圖塊)、圖塊之參考圖像清單中之一或多者之建構資訊、圖塊之每一經框間編碼視訊區塊之運動向量、圖塊之每一經框間寫碼視訊區塊之框間預測狀態及解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器,以計算參考區塊之次整數像素的內插值。在此狀況下,運動補償單元82可自所接收語法元素判定由視訊編碼器20使用之內插濾波器並可使用該等內插濾波器以產生預測性區塊。
反量化單元86反量化(亦即,解量化)位元串流中所提供並由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由視訊編碼器20對於視訊圖塊中之每一視訊區塊所計算的量化參數,以判定量化程度及(同樣地)應應用之反量化程度。逆變換處理單元88對變換係數應用逆變換(例如,逆DCT、逆整數變換或概念上類似之逆變換程序),以便產生像素域中之殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後,視訊解碼器30藉由將來自逆變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和操作之該或該等組件。若需要,亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑,或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器(諸如,解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器)。儘管濾波器單元91在圖3中展示為迴路濾波器,但在其他組態中,濾波器單元91可實施為迴路後濾波器。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體92中, 該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體92亦儲存用於稍後在顯示器件(諸如,圖1之顯示器件32)上呈現的經解碼視訊資料。因此,參考圖像記憶體92可為經組態以儲存視訊資料之一或多個資料儲存媒體的實例。
圖4為說明形成網路100之一部分之一組實例器件的方塊圖。在此實例中,網路100包括路由器件104A、104B(路由器件104)及轉碼器件106。路由器件104及轉碼器件106意欲表示可形成網路100之一部分的少數器件。諸如交換器、集線器、閘道器、防火牆、橋接器及其他此類器件之其他網路器件亦可包括在網路100內。此外,可沿著伺服器器件102與用戶端器件108之間的網路路徑提供額外網路器件。在一些實例中,伺服器器件102可對應於源器件12(圖1),而用戶端器件108可對應於目的地器件14(圖1)。
一般而言,路由器件104實施一或多個路由協定以經由網路100交換網路資料。在一些實例中,路由器件104可經組態以執行代理伺服器或快取記憶體操作。因此,在一些實例中,路由器件104可被稱為代理器件。一般而言,路由器件104執行路由協定以發現經由網路100之路由。藉由執行此等路由協定,路由器件104B可發現自自身經由路由器件104A至伺服器器件102之網路路由。
本發明之技術可由諸如路由器件104及轉碼器件106之網路器件實施,但亦可由用戶端器件108實施。以此方式,路由器件104、轉碼器件106及用戶端器件108表示經組態以執行本發明之技術的器件之實例。此外,圖1之器件及圖2中所說明之編碼器20及圖3中所說明之解碼器30亦為可經組態以執行本發明之技術中之一或多者的器件之實例。舉例而言,如圖4中所示,以本發明中描述之方式產生的檔案可自伺服器器件102經由網路100傳輸或串流傳輸至用戶端器件108。
在此段中提供在本發明其他處的揭示內容之技術之細節。在以 下文字中,15444-12中描述之實施的變化,「<insert>」與「</insert>」符號之間的文字對應於添加或經修改之現存文字(例如<insert>所添加文字</insert>),同時所移除之文字介於「<delete>」與「</delete>」符號之間(例如,<delete>刪除的文字</delete>)。
如上文關於本發明之第一實例技術簡要指示,可自樣本至群組邏輯框語法移除grouping_type_parameter語法元素,如下:
在此實例中,14496-12中使用grouping_type_parameter語法元素之部分可經修改以將參數中攜帶之資訊(無需語法元素自身)添加至樣本群組描述項。
此外,如上文關於本發明之第二實例技術簡要指示,樣本群組描述邏輯框與樣本至群組邏輯框之間可存在一對一關係,使得該等兩者可按grouping_type語法與grouping_type_parameter語法元素(若存在) 之值匹配。根據此實例,SampleGroupDescriptionBox之語法可如下進行修改。
此外,根據樣本群組描述邏輯框與樣本至群組邏輯框之間存在一對一關係的本發明之技術,樣本群組描述邏輯框中的grouping_type語法元素及grouping_type_parameter語法元素之語意可如下進行修改:grouping_type為識別分組之整數。<insert>連同grouping_type_parameter(若存在)一起,grouping_type識別與此樣本群組描述相關聯之SampleToGroup邏輯框。grouping_type_parameter為分組之子類型的指示。</insert>
樣本至群組邏輯框中的grouping_type及grouping_type_parameter之語意可如下進行修改:grouping_type為識別樣本分組之類型(亦即,用以形成樣本群組之準則)的整數且將該類型連結至具有分組類型<insert>及grouping_type_parameter(若存在)</insert>之相同值的樣本群組描述表。對於一播放軌,將存在具有grouping_type(及,若使用,grouping_type_parameter)之相同值的此邏輯框的至多一次出現。
grouping_type_parameter為分組之子類型的指示。
此外,根據樣本群組描述邏輯框與樣本至群組邏輯框之間存在一對一關係的本發明之技術,關於SampleGroupDescription邏輯框及SampleToGroup邏輯框之數量的描述可如下進行修改:SampleGroupDescription邏輯框:若播放軌<insert>或播放軌片段</insert>中存在用於樣本之多於一個樣本分組,則可存在此邏輯框之多個執行個體。SampleGroupDescription邏輯框之每一執行個體具有區別不同樣本分組之類型碼。在播放軌<insert>或播放軌片段</insert>內,將存在具有特定分組類型<insert>及子類型(若存在)</insert>的此邏輯框之至多一個執行個體。<insert>相關聯SampleToGroup將指示分組類型及子類型(若存在)之相同值且將指示 版本之相同值。</insert>
SampleToGroup邏輯框:若對於播放軌<insert>或播放軌片段</insert>中的樣本存在多於一個樣本分組,則可存在此邏輯框之多個執行個體。SampleToGroup邏輯框之每一執行個體具有區別不同樣本分組之類型碼。在播放軌<insert>或播放軌片段</insert>內,將存在具有特定分組類型<insert>及子類型(若存在)</insert>的此邏輯框之至多一個執行個體。<insert>相關聯SampleGroupDescription將指示分組類型及子類型(若存在)之相同值且將指示版本之相同值。</insert>
如上文所指示,根據本發明之第三技術,針對相同分組類型的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間的關係為1對N。根據此等技術,以下約束或態樣中之一或多者可適用。第一,在容器邏輯框(例如,「stbl」或「traf」)內,應僅存在一個具有grouping_type之特定值之SampleGroupDescription邏輯框,且可存在具有grouping_type之相同值之一或多個相關聯SampleToGroup邏輯框。第二,當容器邏輯框中存在具有grouping_type之特定值之多個SampleToGroup邏輯框時,所有SampleToGroup邏輯框之版本必須為1。舉例而言,若容器邏輯框中恰好存在三個SampleToGroup邏輯框且此等三個SampleToGroup邏輯框中之grouping_type語法元素的值各等於5,則SampleToGroup邏輯框中之每一者必須為版本1 SampleToGroup邏輯框,且從而包括grouping_type_parameter語法元素。第三,當存在具有grouping_type之特定值的多個SampleToGroup邏輯框時,檔案受到約束,使得group_description_index語法元素之大於0的任何值不應存在於多於一個SampleToGroup邏輯框中。舉例而言,若容器邏輯框中恰好存在三個SampleToGroup邏輯框且此等三個SampleToGroup邏輯框中之每一者具有值等於5之grouping_type語法元素,則SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具 有值相同之group_description_index語法元素,除非彼值為0。舉例而言,SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有值等於6之group_description_index語法元素。
此外,根據針對相同分組類型的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間的關係為1對N的本發明之技術,15444-12規範中的關於SampleToGroup邏輯框之數量的描述可如下進行修改:若對於播放軌<insert>或播放軌片段</insert>中的樣本存在多於一個樣本分組,則可存在此邏輯框之多個執行個體。SampleToGroup邏輯框之每一執行個體具有區別不同樣本分組之類型碼。在播放軌<insert>或播放軌片段</insert>內,將存在具有特定分組類型<insert>及子類型(若存在)</insert>的此邏輯框之至多一個執行個體。<insert>相關聯SampleGroupDescription將指示分組類型及子類型(若存在)之相同值。</insert>
另外,SampleGroupDescription邏輯框中之grouping_type語法元素的語意可如下進行修改:grouping_type為識別與此樣本群組描述相關聯之SampleToGroup邏輯框的整數。若grouping_type_parameter未對於給定grouping_type<insert>在SampleToGroup邏輯框中</insert>予以定義,則<insert>容器邏輯框中</insert>將僅僅出現一次具有此grouping_type之<insert>SampleToGroup</insert><delete>此</delete>邏輯框。
根據針對相同分組類型的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間的關係為1對N的本發明之技術,SampleToGroup邏輯框中之group_description_index語法元素之語意可如下進行修改,以確保當存在具有grouping_type之特定值的多個SampleToGroup邏輯框時,檔案受約束,使得group_description_index 語法元素之大於0的任何值不應存在於多於一個SampleToGroup邏輯框中:group-description_index為給出描述此群組中之樣本的樣本群組項之索引的整數。索引範圍介於1至SampleGroupDescription邏輯框中之樣本群組項之數目之間,或採用值0指示此樣本為不屬於此群組類型的成員。<insert>當此邏輯框之版本等於1時,若group_description_index之特定值存在於此SampleToGroup邏輯框中,則group_description_index之相同值不應存在於相同容器邏輯框中的具有grouping_type之相同值的任何其他SampleToGroup邏輯框中。</insert>
如上文簡要指示,SAP樣本分組的發信號之當前設計需要使用SampleToGroup邏輯框之版本1。為了克服藉由需要將SampleToGroup邏輯框之版本1用於SAP樣本分組的發信號所造成的問題,諸如源器件12或檔案產生器件34之器件可使用SampleToGroup邏輯框之版本0,且在樣本至群組描述項中包括target_layers及layers_id_method_idc語法元素。因此,器件可使用'sap'樣本群組設計的經改變設計,而不管將本發明之三種先前描述之技術中的何者用於14496-12中之一般樣本分組機制。
在14496-12規範中,grouping_type_parameter之語法及語意如下進行指定。
在上文文字中,target_layers根據14496-12規範之附錄I指定所指示SAP之目標層。target_layers之語意取決於layer_id_method_idc之 值。當layer_id_method_idc等於0時,保留target_layers。layer_id_method_idc語法元素指定target_layers語法元素之語意。在此實例中,等於0之layer_id_method_idc指定目標層由被播放軌表示之所有層構成,該播放軌對應於含有SampleToGroup邏輯框之播放軌邏輯框或播放軌片段邏輯框。不等於0之layer_id_method_idc由所導出之媒體格式規範指定。
如上文所指示,SampleGroupDescription邏輯框可包括一系列樣本群組描述項。可將樣本群組描述項之專用版本用於SAP。在14496-12規範中,此樣本群組描述項之語法及語意如下:
在SAPEntry()中,保留的語法元素應等於0。剖析檔案之器件應允許且忽略所有保留值。dependent_flag語法元素對於非層化媒體應為0。等於1之dependent_flag語法元素指定用於預測目標層之參考層(若存在)可必須經解碼以存取此樣本群組之樣本。等於0之dependent_flag語法元素指定無需解碼用於預測目標層之參考層(若存在)來存取此樣本群組之任何SAP。
具有等於0及7之值的sap_type語法元素被保留。範圍為1至6(包括端點)之sap_type語法元素之值指定相關聯樣本的(如附錄I中所指定之)SAP類型(對於該SAP類型,此群組中的樣本之第一位元組為位置ISAU)。
根據本發明之技術,對14496-12規範進行以下修改來解決SAP樣 本分組的發信號的問題。
在此實例中,經保留語法元素、dependent_flag語法元素、SAP_type語法元素、target_layers語法元素及layer_id_method_idc語法元素之語意保持相同。此外,在使用上文設計修改的情況下,容器邏輯框中恰好存在具有grouping_type 'sap'的一個SampleToGroup邏輯框及一個SampleGroupDescription邏輯框。
在以下文字中,將'sap'實例分組用作實例來比較本發明之第一、第二及第三實例技術。圖5為一播放軌中之一樣本序列中的兩種不同串流存取點(SAP)樣本類型之概念圖。舉例而言,考慮如圖5中所展示之以下實例情境,該圖式說明播放軌中之樣本之序列,且樣本中之SAP圖像係使用'sap'實例分組發信號。詳言之,圖5展示基層200及增強層202。基層200包括以IDR圖像開始,繼之以一或多個非IRAP圖像(例如,95個非IRAP圖像)的一系列圖像。在基層200中,在下一IDR圖像之前,存在穿插於非IRAP圖像中之若干CRA圖像。增強層202可包括與基層200中之IDR圖像在相同的存取單元中之IDR圖像。然而,增強層202不必包括對應於基層200之CRA圖像的CRA圖像。
在根據本發明之第一實例技術的一實例中,可使用具有 grouping_type 'sap'的一個SampleGroupDescription邏輯框及一個SampleToGroup邏輯框。SampleGroupDescription邏輯框含有兩個項,且SampleToGroup邏輯框中之項計數為12,如下文所示:
SampleGroupDescriptionBox('sgpd',version=0)
-grouping_type='sap'
-entry_count=2
-Entry #1-SAPEntry()
○dependent_flag=0
○SAP_type=1
○target_layers=3
○layer_id_method_idc=1
-Entry #2-SAPEntry()
○dependent_flag=1
○SAP_type=3
○target_layers=1
○layer_id_method_idc=1
SampleToGroupBox('sbgp',version=0)
-grouping_type='sap'
-entry_count=12
-Entry #1-[1-1]//[sample_count--group_description_index]
-Entry #2-[95-0]
-Entry #3-[1-2]
-Entry #4-[95-0]
-Entry #5-[1-2]
-Entry #6-[95-0]
-Entry #7-[1-2]
-Entry #8-[95-0]
-Entry #9-[1-1]
-Entry #10-[95-0]
-Entry #11-[1-2]
-Entry #12-[95-0]
在根據本發明之第二實例技術的一實例中,可存在具有grouping_type 'sap'的兩個SampleGroupDescription邏輯框及兩個SampleToGroup邏輯框。在此實例中,每一SampleGroupDescription邏輯框含有一個項,從而導致總共兩個項,且兩個SampleToGroup邏輯框中之entry_count語法元素分別為4及9,從而導致SampleToGroup邏輯框中總共十三個項,如下文所示:
SampleGroupDescriptionBox #1('sgpd',version=0)
-grouping_type='sap'
-grouping_type_parameter
○target_layers=3
○layer_id_method_idc=1
-entry_count=1
-Entry #1-SAPEntry()
○dependent_flag=0
○SAP_type=1
SampleGroupDescriptionBox #2('sgpd',version=0)
-grouping_type='sap'
-grouping_type_parameter
○target_layers=1
○layer_id_method_idc=1
-entry_count=1
-Entry #1-SAPEntry()
○dependent_flag=0
○SAP_type=3
SampleToGroupBox #1('sbgp',version=0)
-grouping_type='sap'
-grouping_type_parameter
○target_layers=3
○layer_id_method_idc=1
-entry_count=4
-Entry #1-[1-1]//[sample_count--group_description_index]
-Entry #2-[383-0]
-Entry #3-[1-1]
-Entry #4-[191-0]
SampleToGroupBox #2('sbgp',version=0)
-grouping_type='sap'
-grouping_type_parameter
○target_layers=1
○layer_id_method_idc=1
-entry_count=9
-Entry #1-[96-0]//[sample_count--group_description_index]
-Entry #2-[1-1]
-Entry #3-[95-0]
-Entry #4-[1-1]
-Entry #5-[95-0]
-Entry #6-[1-1]
-Entry #7-[191-0]
-Entry #8-[1-1]
-Entry #9-[95-0]
在根據本發明之第三實例技術的一實例中,可存在具有grouping_type 'sap'的一個SampleGroupDescription邏輯框,及兩個SampleToGroup邏輯框。在此實例中,SampleGroupDescription邏輯框含有兩個項,且兩個SampleToGroup邏輯框中之entry_count語法元素再次分別為4及9,從而導致SampleToGroup邏輯框中總共十三個項,如下文所示:
SampleGroupDescriptionBox('sgpd',version=0)
-grouping_type='sap'
-entry_count=2
-Entry #1-SAPEntry()
○dependent_flag=0
○SAP_type=1
-Entry #2-SAPEntry()
○dependent_flag=1
○SAP_type=3
SampleToGroupBox #1('sbgp',version=0)
-grouping_type='sap'
-grouping_type_parameter
○target_layers=3
○layer_id_method_idc=1
-entry_count=4
-Entry #1-[1-1]//[sample_count--group_description_index]
-Entry #2-[383-0]
-Entry #3-[1-1]
-Entry #4-[191-0]
SampleToGroupBox #2('sbgp',version=0)
-grouping_type='sap'
-grouping_type_parameter
○target_layers=1
○layer_id_method_idc=1
-entry_count=12
-Entry #1-[96-0]//[sample_count--group_description_index]
-Entry #2-[1-2]
-Entry #3-[95-0]
-Entry #4-[1-2]
-Entry #5-[95-0]
-Entry #6-[1-2]
-Entry #7-[191-0]
-Entry #8-[1-2]
-Entry #9-[95-0]
如自上文可見,選項間的主要差別為,根據本發明之第一技術的實例可使用最小數目個(SampleToGroup及SampleGroupDescription)邏輯框,且同樣可使用總共最小數目個項。
圖6A、圖6B及圖6C為根據本發明之一或多個技術的說明檔案300之實例結構的概念圖。圖6A對應於上文所論述的本發明之第一實例技術。圖6B對應於上文所論述的本發明之第二實例技術。圖6C對應於上文所論述的本發明之第三實例技術。
在圖6A、圖6B及圖6C之實例中,檔案300包括一電影邏輯框302及複數個媒體資料邏輯框304。儘管在圖6A、圖6B及圖6C之實例中說明為處於同一檔案中,但在其他實例中,電影邏輯框302及媒體資料 邏輯框304可處於分離的檔案中。如上文所指示,邏輯框可為由唯一類型識別符及長度定義之物件導向式建構區塊。舉例而言,邏輯框可為ISOBMFF中之基本語法結構,包括四字元寫碼邏輯框類型、邏輯框之位元組計數及有效負載。
電影邏輯框302可含有用於檔案300之播放軌的後設資料。檔案300之每一播放軌可包含媒體資料之連續串流。媒體資料邏輯框304中之每一者可包括一或多個樣本305。樣本305中之每一者可包含一音訊或視訊存取單元。如在本發明中其他處所描述,在多視圖寫碼(例如,MV-HEVC及3D-HEVC)及可調式視訊寫碼(例如,SHVC)中,每一存取單元可包含多個經寫碼圖像。舉例而言,存取單元可包括用於每一層之一或多個經寫碼圖像。
此外,在圖6A、圖6B及圖6C之實例中,電影邏輯框302包括一播放軌邏輯框306。播放軌邏輯框306可圍封用於檔案300之播放軌的後設資料。在其他實例中,電影邏輯框302可包括用於檔案300之不同播放軌的多個播放軌邏輯框。播放軌邏輯框306包括一媒體邏輯框307。媒體邏輯框307可含有宣告關於播放軌內之媒體資料之資訊的所有物件。媒體邏輯框307包括一媒體資訊邏輯框308。媒體資訊邏輯框308可含有宣告播放軌之媒體之特性資訊的所有物件。媒體資訊邏輯框308包括一樣本表邏輯框309。樣本表邏輯框309可指定樣本特定後設資料。
在圖6A、圖6B及圖6C之實例中,樣本表邏輯框309包括至少一SampleToGroup邏輯框310及至少一SampleGroupDcscription邏輯框312。因此,樣本表邏輯框309為「容器邏輯框」之一執行個體。在其他實例中,除SampleToGroup邏輯框310及SampleGroupDescription邏輯框312以外,樣本表邏輯框309亦可包括其他邏輯框,及/或可包括多個SampleToGroup邏輯框及SampleGroupDescription邏輯框。 SampleToGroup邏輯框310可將樣本(例如,樣本305中之特定者)映射至樣本之群組。。SampleGroupDescription邏輯框312可指定由該樣本之群組(亦即,樣本群組)中之樣本共用的性質。
此外,在圖6A、圖6B及圖6C之實例中,SampleToGroup邏輯框310包括一grouping_type語法元素313(亦即,分組類型語法元素)、一entry_count語法元素314(亦即,項計數語法元素),及一或多個樣本群組項315。Entry_count語法元素314指示樣本群組項315之數目。樣本群組項315中之每一者包括一sample_count語法元素316(亦即,樣本計數語法元素)及一group_description_index語法元素317(亦即,群組描述索引語法元素)。Sample_count語法元素316可指示與含有sample_count語法元素316之樣本群組項相關聯的樣本的數目。Group-description_index語法元素317可識別在SampleGroupDescription邏輯框(例如,SampleGroupDescription邏輯框312)內的一群組描述項,該群組描述項含有與含有group_description_index語法元素317之樣本群組項相關聯之樣本的描述。
另外,在圖6A、圖6B及圖6C之實例中,SampleGroupDescription邏輯框312包括一grouping_type語法元素320、一entry_count語法元素322,及一或多個群組描述項324。Entry_count語法元素322指示SampleGroupDescription邏輯框中的群組描述項324之數目。
如上文所指示,在本發明之第一實例技術中,關於上述ISOBMFF中之樣本群組之發信號的明確性問題可藉由自樣本至群組邏輯框語法移除grouping_type_parameter語法元素來解決。因此,根據在圖6A中所說明的本發明之第一實例技術,SampleToGroup邏輯框310皆不包括grouping_type_parameter語法元素(亦即,分組類型參數語法元素)。因此,根據本發明之第一實例技術,SampleToGroup邏輯 框310並不包括圖6B及圖6B中所說明的grouping_type_parameter 318,且SampleGroupDescription邏輯框312並不包括如圖6B中所說明之grouping_type_parameter 326。
如上文所指示,在本發明之第二實例技術中,關於上述ISOBMFF中之樣本群組之發信號的明確性問題可藉由在樣本群組描述邏輯框之版本為1時將grouping_type_parameter語法元素添加至樣本群組描述邏輯框之語法來解決。因此,根據在圖6B中所說明的本發明之第二實例技術,SampleToGroup邏輯框310及SampleGroupDescription邏輯框312可包括grouping_type_parameter語法元素318、326,且SampleToGroup邏輯框310與SampleGroupDescription邏輯框312之間存在1對1關係。
如上文所指示,在本發明之第三實例技術中,關於上述ISOBMFF中之樣本群組之發信號的明確性問題可藉由定義相同分組類型的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間的關係為1對N來解決。因此,根據在圖6C中所說明的本發明之第三實例技術,SampleToGroup邏輯框310包括grouping_type_parameter語法元素318(亦即,分組類型參數語法元素)。此外,具有值相同之grouping_type語法元素(例如,grouping_type語法元素313、320)的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間存在1對N關係。舉例而言,SampleGroupDescription邏輯框(例如,SampleGroupDescription邏輯框312)中之一者可具有帶有特定值之grouping_type語法元素,且兩個或兩個以上SampleToGroup邏輯框亦可具有帶有特定值之grouping_type語法元素。在一些實例中,若兩個或兩個以上SampleToGroup邏輯框具有值相同之grouping_type語法元素,則樣本表邏輯框309中之每一SampleToGroup邏輯框必須為版本1。此外,在一些實例中,若兩個或兩個以上SampleToGroup邏輯框具 有值相同之grouping_type語法元素,則group_description_index語法元素之大於0的任何值不應存在於多於一個SampleToGroup邏輯框310中。根據本發明之第三實例技術,SampleGroupDescription邏輯框(例如,SampleGroupDescription邏輯框312)不包括grouping_type_parameter語法元素(例如,圖6B中所示之grouping_type_parameter語法元素326)。
圖7A、圖7B及圖7C為說明根據本發明之一或多個技術的檔案450之實例結構的概念圖。圖7A對應於如上文所論述的本發明之第一實例技術。圖7B對應於上文所論述的本發明之第二實例技術。圖7C對應於上文所論述的本發明之第三實例技術。
在圖7A、圖7B及圖7C之實例中,檔案450包括一或多個電影片段邏輯框452及複數個媒體資料邏輯框454。儘管在圖7A、圖7B及圖7C之實例中說明為處於同一檔案中,但在其他實例中,電影片段邏輯框452及媒體資料邏輯框454可處於分離檔案中。媒體資料邏輯框454中之每一者可包括一或多個樣本456。電影片段邏輯框中之每一者對應於一電影片段。每一電影片段可包含一組播放軌片段。每播放軌可存在零個或多於零個播放軌片段。
在圖7A、圖7B及圖7C之實例中,電影片段邏輯框452提供關於一對應電影片段之資訊。此資訊將先前已處於電影邏輯框(諸如電影邏輯框302)中。電影片段邏輯框452可包括一播放軌片段邏輯框458。播放軌片段邏輯框458對應於一播放軌片段,且提供關於播放軌片段的資訊。
舉例而言,在圖7A、圖7B及圖7C之實例中,播放軌片段邏輯框458可包括一或多個SampleToGroup邏輯框462及一或多個SampleGroupDescription邏輯框464,其含有關於對應於播放軌片段邏輯框458之播放軌片段之資訊。因此,播放軌片段邏輯框458為「容器邏輯框」之一執行個體。
此外,在圖7A、圖7B及圖7C之實例中,SampleToGroup邏輯框462包括一grouping_type語法元素470(亦即,分組類型語法元素)、一entry_count語法元素471(亦即,項計數語法元素),及一或多個樣本群組項472。Entry_count語法元素471指示樣本群組項472之數目。樣本群組項472中之每一者包括一sample_count語法元素473(亦即,樣本計數語法元素)及一group_description_index語法元素474(亦即,群組描述索引語法元素)。Sample_count語法元素473可指示與含有sample_count語法元素473之樣本群組項相關聯的樣本的數目。Group_description_index語法元素474可識別SampleGroupDescription邏輯框(例如,SampleGroupDescription邏輯框464)內的群組描述項,該群組描述項含有與含有group_description_index語法元素474之樣本群組項相關聯的樣本的描述。
另外,在圖7A、圖7B及圖7C之實例中,SampleGroupDescription邏輯框464包括一grouping_type語法元素480、一entry_count語法元素482,及一或多個群組描述項484。Entry_count語法元素482指示SampleGroupDescription邏輯框464中的群組描述項484之數目。
如上文所指示,在本發明之第一實例技術中,關於上述ISOBMFF中之樣本群組之發信號的明確性問題可藉由自樣本至群組邏輯框語法移除grouping_type_parameter語法元素來解決。因此,根據在圖7A中說明的本發明之第一實例技術,SampleToGroup邏輯框462皆不包括grouping_type_parameter語法元素。舉例而言,根據本發明之第一實例技術,SampleToGroup邏輯框462不包括圖7B及圖7C中所說明的grouping_type_parameter語法元素475,且SampleGroupDescription邏輯框464不包括圖7B中所說明的grouping_type_parameter語法元素486。
如上文所指示,在本發明之第二實例技術中,關於上述 ISOBMFF中之樣本群組之發信號的明確性問題可藉由在樣本群組描述邏輯框之版本為1時將grouping_type_parameter語法元素添加至樣本群組描述邏輯框之語法來解決。因此,根據對應於圖7B的本發明之第二實例技術,SampleToGroup邏輯框462及SampleGroupDescription邏輯框464可包括grouping_type_parameter語法元素,且SampleToGroup邏輯框462與SampleGroupDescription邏輯框464之間存在1對1關係。舉例而言,根據本發明之第二實例技術,SampleToGroup邏輯框462包括grouping_type_parameter語法元素475,且SampleGroupDescription邏輯框464包括grouping_type_parameter語法元素486。
如上文所指示,在本發明之第三實例技術中,關於上述ISOBMFF中之樣本群組之發信號的明確性問題可藉由定義相同分組類型的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間的關係為1對N來解決。因此,根據在圖7C中所說明的本發明之第三實例技術,具有值相同之grouping_type語法元素的SampleGroupDescription邏輯框464與SampleToGroup邏輯框462之間存在1對N關係。舉例而言,SampleGroupDescription邏輯框464中之一者可具有帶有特定值之grouping_type語法元素,且SampleToGroup邏輯框462中之兩者或兩者以上亦可具有帶有特定值之grouping_type語法元素。在一些實例中,若SampleToGroup邏輯框462中之兩者或兩者以上具有值相同的grouping_type語法元素,則播放軌片段邏輯框458中的SampleToGroup邏輯框462中之每一者必須為版本1。此外,在一些實例中,若SampleToGroup邏輯框462中之兩者或兩者以上具有值相同之grouping_type語法元素,則group_description_index語法元素474之大於0的任何值不應存在於多於一個SampleToGroup邏輯框462中。根據本發明之第三實例技術的至少一些實施,SampleGroupDescription邏 輯框464並不包括圖7B中所示之grouping_type_parameter語法元素475。
圖8為說明根據本發明之一技術的源器件12之一實例操作之流程圖。儘管參考源器件12描述圖8,但圖8之實例操作可藉由諸如檔案產生器件34或另一器件之其他器件執行。圖8之流程圖被提供作為實例。根據本發明之技術的其他操作可包括較多、較少或不同動作,或該等動作可按不同次序或並列地予以執行。
在圖8之實例中,源器件12產生檔案之容器邏輯框,使得該檔案符合特定檔案格式(500)。特定檔案格式可為根據本發明之技術進行修改的ISOBMFF之一版本。在圖8之實例中,作為產生檔案之部分,源器件12可產生包括一或多個群組描述項之SampleGroupDescription邏輯框(502)。每一各別群組描述項可提供對於各別樣本群組之描述。SampleGroupDescription邏輯框可進一步包括識別樣本分組類型的分組類型語法元素。SampleGroupDescription邏輯框中之分組類型語法元素可具有特定值。容器邏輯框可為樣本表邏輯框或播放軌片段邏輯框。在圖8之實例中,檔案屬於一特定檔案格式,其中容器邏輯框中應僅存在一個具有分組類型語法元素之特定值的SampleGroupDescription邏輯框。
此外,在圖8之實例中,作為產生容器邏輯框之部分,源器件12在檔案之相同容器邏輯框中產生複數個SampleToGroup邏輯框(504)。複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框包括具有特定值之各別分組類型語法元素。每一各別SampleToGroup邏輯框可包括一或多個樣本群組項。一或多個樣本群組項之每一各別樣本群組項可包含指示各別樣本群組中之樣本之數目的各別樣本計數語法元素(例如,sample_count)。一或多個樣本群組項之每一各別樣本群組項可包含指示SampleGroupDescription邏輯框中提供各別樣本群組 之描述之群組描述項的索引的各別群組描述索引語法元素(例如,group_description_index)。各別樣本群組之每一樣本可包含視訊內容之一或多個圖像。
在一些實例中,源器件12可產生複數個SampleToGroup邏輯框,使得對於複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框,各別SampleToGroup邏輯框包括指示樣本分組類型之子類型的各別分組類型參數語法元素(例如,grouping_type_parameter)。此外,在一些實例中,檔案符合一特定檔案格式,且對檔案格式之一要求為:當單一容器邏輯框中存在具有分組類型語法元素之相同值的多個SampleToGroup邏輯框時,多個SampleToGroup邏輯框中之每一者必須具有等於1的各別版本識別符。在一些實例中,對檔案格式之一要求為:當單一容器邏輯框中存在具有分組類型語法元素之相同值的多個SampleToGroup邏輯框時,多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有帶有大於0之相同值的群組描述索引(例如,group_description_index)語法元素。此外,在一些實例中,對檔案格式之一要求為:當單一播放軌或播放軌片段中存在具有分組類型語法元素之相同值的多個SampleToGroup邏輯框時,多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有分組類型參數語法元素的相同值。
此外,源器件12可輸出檔案(506)。舉例而言,源器件12可輸出檔案,以供儲存於電腦可讀儲存媒體(諸如記憶體、磁性媒體或光學媒體)上。在另一實例中,源器件12可輸出檔案以供傳輸。
圖9為說明根據本發明之一技術的用於讀取用於視訊內容之儲存之檔案的器件之一實例操作的流程圖。在圖9之實例中,用於讀取檔案之器件可為圖1之目的地器件14或另一器件。
在圖9之實例中,器件可獲得檔案(500)。舉例而言,器件可自資 料儲存媒體(例如,圖1之儲存媒體29)、傳輸媒體或另一源獲得檔案。舉例而言,器件可自此源接收或讀取檔案。此外,在圖9之實例中,器件可自檔案獲得檔案之容器邏輯框(502)。舉例而言,器件可剖析或以其他方式解譯檔案,以提取或以其他方式存取容器邏輯框及其內容。
在一些實例中,容器邏輯框為樣本表邏輯框或播放軌片段邏輯框。容器邏輯框可包含SampleGroupDescription邏輯框,其包括一或多個群組描述項。每一各別群組描述項提供對於各別樣本群組之描述。此外,SampleGroupDescription邏輯框進一步包括識別樣本分組類型的分組類型語法元素。SampleGroupDescription邏輯框中之分組類型語法元素具有特定值。根據本發明之技術,對特定檔案格式之一要求為:容器邏輯框中應僅存在一個具有分組類型語法元素之特定值的SampleGroupDescription邏輯框。容器邏輯框亦可含有複數個SampleToGroup邏輯框。複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框可包括具有特定值之各別分組類型語法元素。每一各別SampleToGroup邏輯框可包括一或多個樣本群組項。此外,一或多個樣本群組項之每一各別樣本群組項可包含指示各別樣本群組中之樣本之數目的各別樣本計數語法元素。一或多個樣本群組項之每一各別樣本群組項可包含指示SampleGroupDescription邏輯框中提供各別樣本群組之描述之群組描述項的索引的各別群組描述索引語法元素。另外,各別樣本群組之每一樣本可包含視訊內容之一或多個圖像。
以下段落描述根據本發明之特定實例。
實例1。一種產生一檔案之方法,該方法包含:產生指定一樣本分組之一邏輯框,該樣本分組為樣本之群組,其中:該邏輯框包括識別該樣本分組之一類型的一語法元素,且不管 該邏輯框之一格式的一版本,該邏輯框不包括指示該樣本分組之一子類型的一參數;及產生該檔案,其中該檔案包括該邏輯框。
實例2。如實例1之方法,其中該等樣本中之每一各別者為一經編碼圖像。
實例3。一種產生一檔案之方法,該方法包含:產生一第一邏輯框,該第一邏輯框指定一樣本分組,該樣本分組為樣本之群組;產生一第二邏輯框,該第二邏輯框包括提供該樣本分組的一樣本群組描述的語法元素,其中:該第二邏輯框包括一第一語法元素且視情況包括一第二語法元素,該第一語法元素識別該樣本分組之一類型,且與該第二語法元素(若存在)一起將該第一邏輯框識別為與該樣本群組描述相關聯;該第二語法元素指示該樣本分組之一子類型;及產生該檔案,其中該檔案包括該第一邏輯框及該第二邏輯框。
實例4。如實例3之方法,其中產生該第一邏輯框包含:在該第一邏輯框中產生一第三語法元素,且視情況產生一第四語法元素,其中:該第三語法元素識別該樣本分組之該類型,且將該樣本分組連結至具有該樣本分組之該類型之一相同值及該第四語法元素(若存在)之值的一樣本群組描述表,且該第二語法元素指示該樣本分組之一子類型。
實例5。如實例3或4之方法,其中:該檔案包括指定用於一播放軌或播放軌片段中之樣本之樣本分組的樣本群組描述的一或多個邏輯框,在一播放軌或播放軌片段內,至多存在具有一特定分組類型及子類型的指定樣本群組描述的邏輯框的一個執行個體。
實例6。如實例3至5之方法,其中:該檔案包括指定用於一播放軌或播放軌片段中之樣本之樣本群組的一或多個邏輯框,在一播放軌或播放軌片段內,至多存在具有一特定分組類型及子類型的指定樣本群組之邏輯框的一個執行個體。
實例7。一種產生一檔案之方法,該方法包含:產生一第一邏輯框,該第一邏輯框指定一樣本分組,該樣本分組為樣本之群組;產生一第二邏輯框,該第二邏輯框包括提供該樣本分組的樣本群組描述的語法元素,其中針對相同分組類型的SampleGroupDescription邏輯框與SampleToGroup邏輯框之間的一關係為1對N;及產生該檔案,其中該檔案包括該第一邏輯框及該第二邏輯框。
實例8。一種產生一檔案之方法,該方法包含:產生一邏輯框,該邏輯框指定一樣本分組之一描述,該樣本分組為樣本之群組,該邏輯框包括一第一語法元素及一第二語法元素,該第一語法元素指定目標層,該第二語法元素指定該第一語法元素之語意;及產生該檔案,其中該檔案包括該邏輯框。
實例9。如實例8之方法,其中等於一特定值之該第二語法元素指定該等目標層由被一播放軌表示之所有層構成,不等於該特定值之該第二語法元素由所導出之媒體格式規範指定。
實例10。一種用於產生一檔案之視訊解碼器件,該器件包含:一記憶體,其儲存該檔案;及一或多個處理器,其經組態以執行上文技術方案中之任一者中提供的產生該檔案之該等方法中之任何組合。
在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而在電腦可讀媒體上儲存或傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體,其對應於有形媒體(諸如資料儲存媒體),或包括促進將電腦程式自一處傳送至另一處(例如,根據一通信協定)的任何媒體之通信媒體。以此方式,電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體,或(2)通信媒體,諸如,信號或載波。資料儲存媒體可為可由一或多個電腦或 一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又,將任何連接適當地稱為電腦可讀媒體。舉例而言,若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是實際上針對非暫時性有形儲存媒體。如本文所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及Blu-ray光碟,其中磁碟通常以磁性方式再生資料,而光碟用雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內,或併入組合式編碼解碼器中。此外,該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可在廣泛多種器件或裝置中實施,包括無線手 機、積體電路(IC)或一組IC(例如,晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求由不同硬體單元來實現。確切地說,如上文所描述,各種單元可組合於編碼解碼器硬體單元中,或由結合合適的軟體及/或韌體的互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合提供。
已描述各種實例。此等及其他實例處於以下申請專利範圍之範疇內。

Claims (25)

  1. 一種產生用於視訊內容之儲存之一檔案的方法,該方法包含:產生該檔案之一容器邏輯框,使得該檔案符合一特定檔案格式,其中產生該容器邏輯框包含:在該容器邏輯框中產生包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中對該特定檔案格式之一要求為該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值的SampleGroupDescription邏輯框;及在該檔案之該同一容器邏輯框中產生複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像;及輸出該檔案。
  2. 如請求項1之方法,其中產生該複數個SampleToGroup邏輯框包含產生該複數個SampleToGroup邏輯框,使得對於該複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框,該各別SampleToGroup邏輯框包括指示該樣本分組類型之一子類型的一各別分組類型參數語法元素。
  3. 如請求項1之方法,其中對該特定檔案格式之一要求為:當一單一容器邏輯框中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中之每一者必須具有等於1之一各別版本識別符。
  4. 如請求項1之方法,其中對該特定檔案格式之一要求為:當一單一容器邏輯框中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框的群組描述索引語法元素具有大於0之相同值。
  5. 如請求項1之方法,其中對該特定檔案格式之一要求為:當一單一播放軌或播放軌片段中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有一分組類型參數語法元素之相同值。
  6. 如請求項1之方法,其中該SampleGroupDescription邏輯框為一第一SampleGroupDescription邏輯框,且產生該容器邏輯框包含在該容器邏輯框中產生一第二SampleGroupDescription邏輯框,該第二SampleGroupDescription邏輯框具有不同於該特定值的一分組類型語法元素。
  7. 一種用於產生用於視訊內容之儲存之一檔案的器件,該器件包含: 一記憶體,其經組態以儲存該檔案;及一或多個處理器,其經組態以:產生該檔案之一容器邏輯框,使得該檔案符合一特定檔案格式,其中作為產生該容器邏輯框之部分,該一或多個處理器執行以下動作:產生包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中該檔案屬於該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值之SampleGroupDescription邏輯框的一特定檔案格式;及在該檔案之該同一容器邏輯框中產生複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像;及輸出該檔案。
  8. 如請求項7之器件,其中該一或多個處理器經組態以產生該複數個SampleToGroup邏輯框,使得對於該複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框,該各別SampleToGroup邏輯框包括指示該樣本分組類型之一子類型的一各別分組類型參數語法元素。
  9. 如請求項7之器件,其中對該特定檔案格式之一要求為:當一單一容器邏輯框中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中之每一者必須具有等於1的一各別版本識別符。
  10. 如請求項7之器件,其中對該特定檔案格式之一要求為:當一單一容器邏輯框中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框的群組描述索引語法元素具有大於0之相同值。
  11. 如請求項7之器件,其中對該特定檔案格式之一要求為:當一單一播放軌或播放軌片段中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有一分組類型參數語法元素之相同值。
  12. 如請求項7之器件,其中該器件包含以下各者中之至少一者:一積體電路;一微處理器;或一無線通信器件。
  13. 如請求項7之器件,其中該SampleGroupDescription邏輯框為一第一SampleGroupDescription邏輯框,且產生該容器邏輯框包含在該容器邏輯框中產生一第二SampleGroupDescription邏輯框,該 第二SampleGroupDescription邏輯框具有不同於該特定值的一分組類型語法元素。
  14. 如請求項7之器件,其進一步包含一攝影機,該攝影機經組態以俘獲該視訊內容。
  15. 一種用於產生用於視訊內容之儲存之一檔案的器件,該器件包含:用於產生該檔案之一容器邏輯框,使得該檔案符合一特定檔案格式的構件,其中用於產生該容器邏輯框之該構件包含:用於產生包括一或多個群組描述項之一SampleGroupDescription邏輯框的構件,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中該檔案屬於該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值之SampleGroupDescription邏輯框的一特定檔案格式;及用於在該檔案之該同一容器邏輯框中產生複數個SampleToGroup邏輯框的構件,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一 各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像;及用於輸出該檔案的構件。
  16. 如請求項15之器件,其中用於產生該複數個SampleToGroup邏輯框的該構件包含用於產生該複數個SampleToGroup邏輯框的構件,使得對於該複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框,該各別SampleToGroup邏輯框包括指示該樣本分組類型之一子類型的一各別分組類型參數語法元素。
  17. 如請求項15之器件,其中對該特定檔案格式之一要求為:當一單一容器邏輯框中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中之每一者必須具有等於1的一各別版本識別符。
  18. 如請求項15之器件,其中對該特定檔案格式之一要求為:當一單一容器邏輯框中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框的群組描述索引語法元素具有大於0之相同值。
  19. 如請求項15之器件,其中對該特定檔案格式之一要求為:當一單一播放軌或播放軌片段中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有一分組類型參數語法元素之相同值。
  20. 一種用於讀取用於視訊內容之儲存之一檔案的器件,該器件包含:一記憶體,其經組態以儲存該檔案;及一或多個處理器,其經組態以自該檔案獲得該檔案之一容器 邏輯框,其中該容器邏輯框包含:包括一或多個群組描述項之一SampleGroupDescription邏輯框,其中每一各別群組描述項提供對一各別樣本群組之描述,該SampleGroupDescription邏輯框進一步包括識別一樣本分組類型之一分組類型語法元素,該SampleGroupDescription邏輯框中之該分組類型語法元素具有一特定值,該容器邏輯框為一樣本表邏輯框或一播放軌片段邏輯框,其中對該特定檔案格式之一要求為該容器邏輯框中應僅存在一個具有該分組類型語法元素之該特定值的SampleGroupDescription邏輯框;及複數個SampleToGroup邏輯框,該複數個SampleToGroup邏輯框中之每一各別SampleToGroup邏輯框包括具有該特定值之一各別分組類型語法元素,每一各別SampleToGroup邏輯框包括一或多個樣本群組項,該一或多個樣本群組項中之每一各別樣本群組項包含指示一各別樣本群組中之樣本之一數目的一各別樣本計數語法元素,且該一或多個樣本群組項中之每一各別樣本群組項包含指示該SampleGroupDescription邏輯框中提供該各別樣本群組之一描述的一群組描述項之一索引的一各別群組描述索引語法元素,該各別樣本群組之每一樣本包含該等視訊內容之一或多個圖像。
  21. 如請求項20之器件,其中該複數個SampleToGroup邏輯框之每一各別SampleToGroup邏輯框包括指示該樣本分組類型之一子類型的一各別分組類型參數語法元素。
  22. 如請求項20之器件,其中對該特定檔案格式之一要求為:當一單一容器邏輯框中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中 之每一者必須具有等於1的一各別版本識別符。
  23. 如請求項20之器件,其中對該特定檔案格式之一要求為:當一單一容器邏輯框中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框的群組描述索引語法元素具有大於0之相同值。
  24. 如請求項20之器件,其中對該特定檔案格式之一要求為:當一單一播放軌或播放軌片段中存在具有該分組類型語法元素之相同值的多個SampleToGroup邏輯框時,該等多個SampleToGroup邏輯框中不得有兩個SampleToGroup邏輯框具有一分組類型參數語法元素之相同值。
  25. 如請求項20之器件,其中該SampleGroupDescription邏輯框為一第一SampleGroupDescription邏輯框,該容器邏輯框包含一第二SampleGroupDescription邏輯框,該第二SampleGroupDescription邏輯框具有不同於該特定值的一分組類型語法元素。
TW105100848A 2015-02-11 2016-01-12 用於在檔案格式中樣本分組發信號之方法及器件 TWI659319B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562115087P 2015-02-11 2015-02-11
US62/115,087 2015-02-11
US14/969,954 2015-12-15
US14/969,954 US9928297B2 (en) 2015-02-11 2015-12-15 Sample grouping signaling in file formats

Publications (2)

Publication Number Publication Date
TW201640385A true TW201640385A (zh) 2016-11-16
TWI659319B TWI659319B (zh) 2019-05-11

Family

ID=56565431

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105100848A TWI659319B (zh) 2015-02-11 2016-01-12 用於在檔案格式中樣本分組發信號之方法及器件

Country Status (21)

Country Link
US (1) US9928297B2 (zh)
EP (1) EP3257262B1 (zh)
JP (1) JP6891120B2 (zh)
KR (1) KR102284553B1 (zh)
CN (1) CN107211159B (zh)
AU (1) AU2015382335B9 (zh)
BR (1) BR112017017315B1 (zh)
CA (1) CA2973339A1 (zh)
CL (1) CL2017002015A1 (zh)
CO (1) CO2017008030A2 (zh)
EA (1) EA036026B1 (zh)
IL (1) IL253290B (zh)
MX (1) MX2017010274A (zh)
MY (1) MY182261A (zh)
PH (1) PH12017501270A1 (zh)
SA (1) SA517382051B1 (zh)
SG (1) SG11201705443RA (zh)
TN (1) TN2017000326A1 (zh)
TW (1) TWI659319B (zh)
WO (1) WO2016130210A1 (zh)
ZA (1) ZA201705087B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
US10021184B2 (en) * 2015-12-31 2018-07-10 Dropbox, Inc. Randomized peer-to-peer synchronization of shared content items
GB2550604A (en) * 2016-05-24 2017-11-29 Canon Kk Method, device, and computer program for encapsulating and parsing timed media data
KR102243666B1 (ko) * 2017-06-15 2021-04-23 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
CN110351492B (zh) * 2018-04-06 2021-11-19 中兴通讯股份有限公司 一种视频数据处理方法、装置及介质
CN113170236A (zh) * 2018-12-10 2021-07-23 诺基亚技术有限公司 用于在容器文件格式中以信号发送信息的装置和方法
CN112511866B (zh) * 2019-12-03 2024-02-23 中兴通讯股份有限公司 媒体资源播放方法、装置、设备和存储介质
US11263261B2 (en) * 2020-02-14 2022-03-01 Alibaba Group Holding Limited Method and system for characteristic-based video processing
US11870948B2 (en) 2020-05-26 2024-01-09 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video
GB2597642B (en) * 2020-06-16 2023-08-02 Canon Kk Method, device, and computer program for encapsulating media data into a media file
JP2023546252A (ja) * 2020-10-26 2023-11-01 北京字節跳動網絡技術有限公司 Vvc映像コーディングにおけるデコーダ構成情報

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
RU2477883C2 (ru) * 2007-08-20 2013-03-20 Нокиа Корпорейшн Сегментированные метаданные и индексы для потоковых мультимедийных данных
WO2009036980A2 (en) * 2007-09-19 2009-03-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for storing and reading a file having a media data container and a metadata container
RU2492585C2 (ru) * 2008-07-16 2013-09-10 Нокиа Корпорейшн Способ и устройство для группирования треков и подмножеств треков
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
KR101620151B1 (ko) * 2010-10-05 2016-05-12 텔레폰악티에볼라겟엘엠에릭슨(펍) 클라이언트와, 콘텐트 생성기 엔티티 및 미디어 스트리밍을 위한 이들의 방법
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US20140098868A1 (en) 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data
CN109587573B (zh) * 2013-01-18 2022-03-18 佳能株式会社 生成设备和方法、显示设备和方法以及存储介质
KR102077900B1 (ko) 2013-04-17 2020-02-14 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
WO2015104450A1 (en) * 2014-01-07 2015-07-16 Nokia Technologies Oy Media encapsulating and decapsulating

Also Published As

Publication number Publication date
CN107211159A (zh) 2017-09-26
TWI659319B (zh) 2019-05-11
EP3257262B1 (en) 2020-07-22
ZA201705087B (en) 2019-01-30
JP6891120B2 (ja) 2021-06-18
JP2018510546A (ja) 2018-04-12
AU2015382335A1 (en) 2017-07-27
AU2015382335B9 (en) 2018-11-22
EA036026B1 (ru) 2020-09-15
CO2017008030A2 (es) 2018-01-31
EA201791567A1 (ru) 2017-12-29
IL253290B (en) 2018-10-31
CA2973339A1 (en) 2016-08-18
MX2017010274A (es) 2017-11-17
PH12017501270A1 (en) 2018-01-15
US20160232233A1 (en) 2016-08-11
SG11201705443RA (en) 2017-09-28
WO2016130210A1 (en) 2016-08-18
CN107211159B (zh) 2020-04-14
KR20170117074A (ko) 2017-10-20
BR112017017315A2 (pt) 2018-04-03
CL2017002015A1 (es) 2018-03-16
AU2015382335B2 (en) 2018-11-08
BR112017017315B1 (pt) 2023-11-21
KR102284553B1 (ko) 2021-07-30
EP3257262A1 (en) 2017-12-20
SA517382051B1 (ar) 2020-10-29
MY182261A (en) 2021-01-18
IL253290A0 (en) 2017-09-28
TN2017000326A1 (en) 2019-01-16
US9928297B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
TWI675588B (zh) 於分層視訊檔案格式中之樣本條目及操作點發訊設計
JP6559663B2 (ja) マルチレイヤビデオファイルフォーマットの設計
TWI590643B (zh) 針對多視圖加深度寫碼之軌跡中紋理及深度視圖的存在之指示
TWI659319B (zh) 用於在檔案格式中樣本分組發信號之方法及器件
TWI676387B (zh) 多層位元流之檔案中之參數集信令
TW201743611A (zh) 以高效率視訊寫碼及分層高效率視訊寫碼檔案格式之圖塊分組及樣本之映射
TW201743607A (zh) 分開之檔案軌中之序列結束及位元流結束網路提取層(nal)單元