TWI763669B - 分開之檔案軌中之序列結束及位元流結束網路提取層(nal)單元 - Google Patents

分開之檔案軌中之序列結束及位元流結束網路提取層(nal)單元

Info

Publication number
TWI763669B
TWI763669B TW106117029A TW106117029A TWI763669B TW I763669 B TWI763669 B TW I763669B TW 106117029 A TW106117029 A TW 106117029A TW 106117029 A TW106117029 A TW 106117029A TW I763669 B TWI763669 B TW I763669B
Authority
TW
Taiwan
Prior art keywords
unit
access
track
units
nal
Prior art date
Application number
TW106117029A
Other languages
English (en)
Other versions
TW201743607A (zh
Inventor
益魁 王
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201743607A publication Critical patent/TW201743607A/zh
Application granted granted Critical
Publication of TWI763669B publication Critical patent/TWI763669B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明係關於一種器件,其使一位元流之一經寫碼視訊序列的一第一序列結束(EOS)網路提取層(NAL)單元包括在檔案之一第一軌中。該第一EOS NAL單元在該經寫碼視訊序列之一第一存取單元中。該器件亦使該經寫碼視訊序列之一第二EOS NAL單元包括在該檔案之一第二軌中。該第二EOS NAL單元在該經寫碼視訊序列之一第二存取單元中,該第二EOS NAL單元不同於該第一EOS NAL單元。該器件可針對位元流結束(EOB) NAL單元執行類似動作。

Description

分開之檔案軌中之序列結束及位元流結束網路提取層(NAL)單元
本發明係關於執行視訊寫碼且使用用於經寫碼視訊資料之檔案格式的計算器件。
數位視訊能力可併入至廣泛範圍之器件中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.264定義之標準、高效視訊寫碼(HEVC)標準及此等標準之擴展中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊(亦即,視訊圖框或視訊圖框之一部分)分割為視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。 空間或時間預測產生待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼之區塊。經框內寫碼之區塊係根據框內寫碼模式及殘餘資料編碼。為進行進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生可接著量化之殘餘變換係數。可依序掃描最初配置成二維陣列之經量化變換係數以便產生變換係數的一維向量,且可應用熵寫碼以達成甚至更多壓縮。
本發明之一或多個態樣係關於視訊內容於檔案格式中之儲存。舉例而言,本發明之技術可改良對用於多軌中所攜載之高效率視訊寫碼(HEVC)及分層式HEVC位元流之序列結束(EOS)網路提取層(NAL)單元及位元流結束(EOB) NAL單元的操縱,其中至少一些時間子層攜載於不同軌中。 在一個實例中,本發明描述一種產生用於儲存視訊內容之檔案的方法,該方法包含:使位元流之經寫碼視訊序列之第一EOS NAL單元包括在該檔案之第一軌中,該第一EOS NAL單元在該經寫碼視訊序列之第一存取單元中;及使該經寫碼視訊序列的第二EOS NAL單元包括在該檔案之第二軌中,該第二EOS NAL單元在該經寫碼視訊序列之第二存取單元中,該第二EOS NAL單元不同於該第一EOS NAL單元,該第一存取單元及該第二存取單元屬於不同時間子層。 在另一實例中,本發明描述一種處理用於儲存視訊內容之檔案的方法,該方法包含:接收包含第一軌及第二軌之檔案,該第一軌包括位元流之經寫碼視訊序列之第一存取單元,該第二軌包括該經寫碼視訊序列之第二存取單元,該第一存取單元包括第一EOS NAL單元,該第二存取單元包括第二EOS NAL單元,且該第二EOS NAL單元不同於該第一EOS NAL單元,該第一存取單元及該第二存取單元屬於不同時間子層;及基於與該第一EOS NAL單元相關聯之時間及與該第二EOS NAL單元相關聯之時間的比較來輸出該第一EOS NAL單元,並丟棄該第二EOS NAL單元。 在另一實例中,本發明描述一種產生用於儲存視訊內容之檔案的方法,該方法包含:使位元流之經寫碼視訊序列之第一EOB NAL單元包括在該檔案之第一軌中,該第一EOB NAL單元在該經寫碼視訊序列之第一存取單元中;及使該經寫碼視訊序列的第二EOB NAL單元包括在該檔案之第二軌中,該第二EOB NAL單元在該經寫碼視訊序列之第二存取單元中,該第二EOB NAL單元不同於該第一EOB NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層。 在另一實例中,本發明描述一種處理用於儲存視訊內容之檔案的方法,該方法包含:接收該檔案,該檔案包含第一軌及第二軌,該第一軌包括位元流之經寫碼視訊序列之第一存取單元,該第二軌包括該經寫碼視訊序列之第二存取單元,該第一存取單元包括第一位元流結束(EOB) NAL單元,該第二存取單元包括第二EOB NAL單元,該第一存取單元及該第二存取單元屬於不同時間子層;及輸出該第一EOB NAL單元,並丟棄該第二EOB NAL單元。 在另一實例中,本發明描述一種產生用於儲存視訊內容之檔案的器件,該器件包含:記憶體,其經組態以儲存用於儲存視訊內容之檔案;及一或多個處理器,其經組態以:使位元流之經寫碼視訊序列之第一EOS NAL單元包括在該檔案之第一軌中,該第一EOS NAL單元在該經寫碼視訊序列之第一存取單元中;及使該經寫碼視訊序列之第二EOS NAL單元包括在該檔案之第二軌中,該第二EOS NAL單元在該經寫碼視訊序列之第二存取單元中,該第二EOS NAL單元不同於該第一EOS NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層。 在另一實例中,本發明描述一種處理用於儲存視訊內容之檔案的器件,該器件包含:記憶體,其經組態以儲存用於儲存視訊內容之檔案;及一或多個處理器,其經組態以:接收包含第一軌及第二軌之檔案,該第一軌包括位元流之經寫碼視訊序列之第一存取單元,該第二軌包括經寫碼視訊序列之第二存取單元,該第一存取單元包括第一EOS NAL單元,該第二存取單元包括第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第一存取單元及該第二存取單元屬於不同時間子層;及基於與該第一EOS NAL單元相關聯之時間及與該第二EOS NAL單元相關聯之時間的比較來輸出該第一EOS NAL單元,並丟棄該第二EOS NAL單元。 在另一實例中,本發明描述一種產生用於儲存視訊內容之檔案的器件,該器件包含:記憶體,其經組態以儲存用於儲存視訊內容之檔案;及一或多個處理器,其經組態以:使位元流之經寫碼視訊序列之第一EOB NAL單元包括在該檔案之第一軌中,該第一EOB NAL單元在該CVS之第一存取單元中;及使該經寫碼視訊序列之第二EOB NAL單元包括在該檔案之第二軌中,該第二EOB NAL單元在該經寫碼視訊序列之第二存取單元中,該第二EOB NAL單元不同於該第一EOB NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層。 在另一實例中,本發明包括一種用於處理用於儲存視訊內容之檔案的器件,該器件包含:記憶體,其經組態以儲存用於儲存視訊內容之檔案;及一或多個處理器,其經組態以:接收包含第一軌及第二軌之檔案,該第一軌包括位元流之經寫碼視訊序列之第一存取單元,該第二軌包括經寫碼視訊序列之第二存取單元,該第一存取單元包括第一位元流結束(EOB)網路提取層(NAL)單元,該第二存取單元包括第二EOB NAL單元,該第一存取單元及該第二存取單元屬於不同時間子層;及輸出該第一EOB NAL單元並丟棄該第二EOB NAL單元。 在另一實例中,本發明描述一種用於產生用於儲存視訊內容之檔案的器件,該器件包含:用於使位元流之經寫碼視訊序列之第一EOS NAL單元包括在該檔案之第一軌中的構件,該第一EOS NAL單元在該經寫碼視訊序列之第一存取單元中;及用於使經寫碼視訊序列之第二EOS NAL單元包括在該檔案之第二軌中的構件,該第二EOS NAL單元在該經寫碼視訊序列之第二存取單元中,該第二EOS NAL單元不同於該第一EOS NAL單元,該第一存取單元及該第二存取單元屬於不同時間子層。 在另一實例中,本發明描述一種用於處理用於儲存視訊內容之檔案的器件,該器件包含:用於接收包含第一軌及第二軌之該檔案的構件,該第一軌包括位元流之經寫碼視訊序列的第一存取單元,該第二軌包括該經寫碼視訊序列之第二存取單元,該第一存取單元包括第一EOS NAL單元,該第二存取單元包括第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層;及用於基於與該第一EOS NAL單元相關聯之時間及與該第二EOS NAL單元相關聯之時間的比較來輸出該第一EOS NAL單元並丟棄該第二EOS NAL單元的構件。 在另一實例中,本發明描述一種用於產生用於儲存視訊內容之檔案的器件,該器件包含:用於使位元流之經寫碼視訊序列之第一EOB NAL單元包括在該檔案之第一軌中的構件,該第一EOB NAL單元在該經寫碼視訊序列之第一存取單元中;及用於使經寫碼視訊序列之第二EOB NAL單元包括在該檔案之第二軌中的構件,該第二EOB NAL單元在該經寫碼視訊序列之第二存取單元中,該第二EOB NAL單元不同於該第一EOB NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層。 在另一實例中,本發明描述一種用於處理用於視訊內容之儲存之檔案的器件,該器件包含:用於接收包含第一軌及第二軌之檔案的構件,該第一軌包括位元流之經寫碼視訊序列之第一存取單元,該第二軌包括經寫碼視訊序列之第二存取單元,該第一存取單元包括第一EOB NAL單元,該第二存取單元包括第二EOB NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層;及用於輸出該第一EOB NAL單元並丟棄該第二EOB NAL單元的構件。 在另一實例中,本發明描述一種其上儲存有指令之電腦可讀儲存媒體,該等指令在經執行時使計算器件:使位元流之經寫碼視訊序列之第一EOS NAL單元包括在該檔案之第一軌中,該第一EOS NAL單元在該經寫碼視訊序列之第一存取單元中;及使該經寫碼視訊序列之第二EOS NAL單元包括在該檔案之第二軌中,該第二EOS NAL單元在該經寫碼視訊序列之第二存取單元中,該第二EOS NAL單元不同於該第一EOS NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層。 在另一實例中,本發明描述一種其上儲存有指令之電腦可讀儲存媒體,該等指令在經執行時使用於處理用於儲存視訊內容之檔案的計算器件:接收該檔案,該檔案包含第一軌及第二軌,該第一軌包括位元流之經寫碼視訊序列之第一存取單元,該第二軌包括經寫碼視訊序列之第二存取單元,該第一存取單元包括第一EOS NAL單元,該第二存取單元包括第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層;及基於與該第一EOS NAL單元相關聯之時間及與該第二EOS NAL單元相關聯之時間的比較來輸出該第一EOS NAL單元,並丟棄該第二EOS NAL單元。 在另一實例中,本發明描述一種其上儲存有指令之電腦可讀儲存媒體,該等指令在經執行時使用於產生用於儲存視訊內容之檔案的計算器件:使位元流之經寫碼視訊序列之第一EOB NAL單元包括在該檔案之第一軌中,該第一EOB NAL單元在該經寫碼視訊序列之第一存取單元中;及使該經寫碼視訊序列之第二EOB NAL單元包括在該檔案之第二軌中,該第二EOB NAL單元在該經寫碼視訊序列之第二存取單元中,該第二EOB NAL單元不同於該第一EOB NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層。 在另一實例中,本發明描述一種其上儲存有指令之電腦可讀儲存媒體,該等指令在經執行時使用於處理用於儲存視訊內容之檔案的計算器件:接收該檔案,該檔案包含第一軌及第二軌,該第一軌包括位元流之經寫碼視訊序列之第一存取單元,該第二軌包括經寫碼視訊序列之第二存取單元,該第一存取單元包括第一EOB NAL單元,該第二存取單元包括第二EOB NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,且該第一存取單元及該第二存取單元屬於不同時間子層;及輸出該第一EOB NAL單元並丟棄該第二EOB NAL單元。 在附圖及以下描述中闡明本發明之一或多個實例的細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
本申請案主張2016年5月23日申請之美國臨時申請案第62/340,437號之權益,該申請案之全部內容以引用之方式併入本文中。 國際標準組織(ISO)基本媒體檔案格式(ISOBMFF)及來源於ISO基本媒體檔案格式之檔案格式經設計用於視訊內容之儲存。ISOBMFF係在儲存經編碼視訊資料及相關聯後設資料之術語——一組巢狀「邏輯框」中予以定義。舉例而言,媒體資料邏輯框可包括一或多個樣本。該等樣本中之每一者可包括存取單元中之一或多個圖像的經編碼視訊資料。 ISOBMFF檔案之邏輯框包括軌邏輯框。每一軌邏輯框可指定屬於各別軌之樣本。舉例來說,第一軌邏輯框可指定屬於第一軌之樣本,第二軌邏輯框可指定屬於第二軌之樣本,等等。因此,檔案軌可被視為樣本之檔案層次分組。對於一些軌,處理ISOBMFF檔案之器件可執行關於ISOBMFF檔案軌之不同動作,而無需解譯或解碼檔案中其他軌之樣本中所儲存之經編碼視訊資料。舉例而言,器件可丟棄一個軌之樣本,同時將另一軌之樣本轉遞至視訊解碼器。 高效率視訊寫碼(HEVC)及分層式HEVC (L-HEVC)視訊寫碼標準定義層及子層之概念。在多視圖寫碼中,不同層中之圖像可對應於不同視圖中之圖像。在可調式視訊寫碼中,不同非基礎層中之圖像可對應於含有各種類型之增強(諸如信雜比(SNR)增強資料、空間增強資料及/或時間增強資料)之圖像。時間子層為層內之圖像的子集。時間子層可用於提供時間可調性。 經編碼視訊資料可包括序列結束(EOS)網路提取層(NAL)單元及位元流結束(EOB) NAL單元。EOS NAL單元標記經寫碼視訊序列(CVS)之末尾。因此,視訊解碼器可基於EOS NAL單元判定CVS已結束。大體而言,CVS為存取單元之序列。在HEVC中,CVS為存取單元之序列,其按解碼次序由具有NoRaslOutputFlag等於1之IRAP存取單元接著係並非具有NoRaslOutputFlag等於1之IRAP存取單元之零個或多於零個存取單元組成,包括直至但不包括係具有NoRaslOutputFlag等於1之IRAP存取單元的任何後續存取單元的所有後續存取單元。 EOB NAL單元標記位元流之末尾。因此,視訊解碼器可基於EOB NAL單元判定位元流已結束。位元流為呈NAL單元串流或位元組串流之形式的位元序列,該位元序列形成經寫碼圖像及相關聯資料的表示,從而形成一或多個CVS。 NAL單元串流為NAL單元之序列。位元組串流為含有起始碼前綴及NAL單元之NAL單元串流(例如,如HEVC之附錄B中所指定)之囊封。 在與不同時間子層相關聯之NAL單元在不同檔案軌中時,可出現關於EOS NAL單元及EOB NAL單元之若干問題。舉例而言,若丟棄含有EOS NAL單元或EOB NAL單元之軌(例如,因為與軌相關聯之時間子層將不會被轉遞或解碼),則在CVS或位元流結束時,其對視訊解碼器而言可能不明顯。此外,由丟棄軌而產生之位元流可能不符合視訊寫碼標準之要求。經組態以解碼符合視訊寫碼標準之要求的視訊解碼器可能無法解碼不符合視訊寫碼標準之要求的位元流。 本發明之技術可解決此等問題。舉例而言,根據本發明之技術,一種器件可在檔案之第一軌中產生用於位元流之CVS的第一EOS NAL單元。換言之,該器件可使CVS之第一EOS NAL單元包括在檔案之第一軌中。第一EOS NAL單元在CVS之第一存取單元中。在此實例中,該器件可在檔案之第二軌中產生CVS之第二EOS NAL單元。換言之,該器件可使CVS之第二EOS NAL單元包括在檔案之第一軌中。第二EOS NAL單元在CVS之第二存取單元中。在此實例中,第一存取單元及第二存取單元可屬於不同時間子層。以此方式,藉由使多個EOS NAL單元在不同軌中,在無一或多個軌的情況下產生之位元流可仍為一致的位元流。 在另一實例中,根據本發明之技術,一種器件可在檔案之第一軌中產生用於位元流之CVS的第一EOB NAL單元。換言之,該器件可使CVS之第一EOB NAL單元包括在檔案之第一軌中。第一EOB NAL單元在CVS之第一存取單元中。在此實例中,器件可在檔案之第二軌中產生用於位元流之CVS之第二EOB NAL單元。換言之,該器件可使CVS之第二EOB NAL單元包括在圖案塊之第二軌中。第二EOB NAL單元在CVS之第二存取單元中。以此方式,藉由使多個EOB NAL單元在不同軌中,在無一或多個軌的情況下由檔案產生之位元流可仍為一致位元流。因此,本發明之技術可改良視訊解碼器解碼儲存於檔案之多軌中之位元流的能力。此外,本發明之技術可促進器件自檔案層次提取軌的操作,係因為此類器件無需檢查即可確保軌中之位元流具有恰當的EOS及EOB NAL單元並立即產生EOS及EOB NAL單元。 在本發明中,諸如「第一」、「第二」、「第三」等之序數術語不一定指示次序位置,而是可僅僅用於區分同一事物之不同個例。 圖1為說明可使用本發明中描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示,系統10包括源器件12,其產生稍後時間將由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、電話手持機(諸如所謂的「智慧型」電話、所謂的「智慧型」墊)、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些情況下,源器件12及目的地器件14可能經裝備以用於無線通信。因此,源器件12及目的地器件14可被視為無線通信器件。源器件12及目的地器件14可被視為視訊器件。 在圖1之實例中,源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下,輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。輸出介面22可將經編碼視訊資訊輸出至電腦可讀媒體16。輸出介面22可包含各種類型之組件或器件。舉例而言,輸出介面22可包含無線傳輸器、數據機、有線網路連接組件(例如,乙太網路卡)或另一實體組件。在輸出介面22包含無線傳輸器之實例中,輸出介面22可經組態以傳輸根據蜂巢式通信標準(諸如,4G、4G-LTE、LTE進階、5G及其類似者)調變之資料,諸如,經編碼視訊資料。在輸出介面22包含無線傳輸器之一些實例中,輸出介面22可經組態以傳輸根據其他無線標準(諸如,IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee™)、Bluetooth™標準及其類似者)調變之資料,諸如,經編碼視訊資料。在一些實例中,輸出介面22之電路整合至源器件12之視訊編碼器20及/或其他組件之電路中。舉例而言,視訊編碼器20及輸出介面22可為系統單晶片(SoC)之部分。 SoC亦可包括其他組件,諸如,通用微處理器、圖形處理單元等。 在源器件12中,視訊源18可包括諸如視訊捕捉器件(例如,視訊攝影機)、含有先前所捕捉視訊之視訊封存檔、用以自視訊內容提供者接收視訊之視訊饋入介面,及/或用於產生電腦圖形資料作為源視訊之電腦圖形系統之源,或此等源之組合。然而,本發明中所描述的技術可大體上適用於視訊寫碼,且可應用於無線及/或有線應用。 視訊編碼器20可編碼經捕捉、經預捕捉或電腦產生之視訊。在一些實例中,源器件12經由源器件12之輸出介面22直接將經編碼視訊資料傳輸至目的地器件14。亦可將經編碼視訊資料(或替代地)儲存至儲存器件33上,以供稍後藉由目的地器件14或其他器件存取以用於解碼及/或播放。 目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。此外,在圖1之實例中,目的地器件14包括儲存媒體29及檔案剖析單元31。在一些情況下,輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件33上提供之經編碼視訊資料可包括由視訊編碼器20產生之多種語法元素,以供諸如視訊解碼器30之視訊解碼器在解碼該視訊資料時使用。傳輸於通信媒體上、儲存於儲存媒體上,或儲存於檔案伺服器上之經編碼視訊資料內可包括此等語法元素。 目的地器件14之輸入介面28自電腦可讀媒體16接收資料。輸入介面28可包含各種類型之組件或器件。舉例而言,輸入介面28可包含無線接收器、數據機、有線網路連接組件(例如,乙太網路卡)或另一實體組件。在輸入介面28包含無線接收器之實例中,輸入介面28可經組態以接收根據蜂巢式通信標準(諸如,4G、4G-LTE、LTE進階、5G及其類似者)調變之資料,諸如,位元流。在輸入介面28包含無線接收器之一些實例中,輸入介面28可經組態以接收根據其他無線標準(諸如,IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee™)、Bluetooth™標準及其類似者)調變之資料,諸如,位元流。在一些實例中,輸入介面28之電路可整合至目的地器件14之視訊解碼器30及/或其他組件之電路中。舉例而言,視訊解碼器30及輸入介面28可為SoC之部分。 SoC亦可包括其他組件,諸如,通用微處理器、圖形處理單元等。 顯示器件32可與目的地器件14整合或在目的地器件14的外部。在一些實例中,目的地器件14可包括整合式顯示器件且亦可經組態以與外部顯示器件介接。在其他實例中,目的地器件14可為顯示器件。大體而言,顯示器件32向使用者顯示經解碼視訊資料,且可包含多種顯示器件中的任一者,諸如,液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器20及視訊解碼器30在適用之情況下各自可實施為多種合適的編碼器或解碼器電路中之任一者,包括固定功能及/或可程式化電路,諸如一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體其任何組合。當該等技術部分以軟體實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器)之部分。 目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中,鏈路16可包含用以使源器件12能夠將經編碼視訊資料直接即時傳輸至目的地器件14之通信媒體。可根據通信標準(諸如,無線通信協定)調變經編碼視訊資料,且將該經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全球網路)的一部分。通信媒體可包括路由器、交換器、基地台或任何其他可適用於有助於自源器件12至目的地器件14的通信之設備。 在一些實例中,輸出介面22將經編碼資料輸出至儲存器件33。類似地,輸入介面28可自儲存器件33存取經編碼資料。儲存器件33可包括多種分佈式或本端存取式資料儲存媒體中之任一者,諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在再一實例中,儲存器件33可對應於檔案伺服器或可固持由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載存取來自儲存器件33的經儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存器件33之傳輸可為串流傳輸、下載傳輸或兩者之組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼,該等應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、(例如)經由網際網路之串流視訊傳輸、用於儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 此外,在圖1之實例中,系統10包括檔案產生器件34。檔案產生器件34可接收由源器件12產生之經編碼視訊資料。檔案產生器件34可產生包括經編碼視訊資料之檔案。目的地器件14可接收由檔案產生器件34產生之檔案。在各種實例中,檔案產生器件34可包括各種類型之計算器件。舉例而言,檔案產生器件34可包含視訊編碼器件、媒體感知網路元件(MANE)、伺服器計算器件、個人計算器件、專用計算器件、商業計算器件,或另一類型之計算器件。在一些實例中,檔案產生器件34為內容遞送網路之部分。檔案產生器件34可經由諸如鏈路16之頻道自源器件12接收經編碼視訊資料。此外,目的地器件14可經由諸如鏈路16之頻道自檔案產生器件34接收檔案。檔案產生器件34可被視為視訊器件。如圖1之實例中所示,檔案產生器件34可包含記憶體36,其經組態以儲存含有經編碼視訊內容之檔案。 在其他實例中,源器件12或另一計算器件可產生包括經編碼視訊資料之檔案。然而,為了易於解釋,本發明將檔案產生器件34描述為產生檔案。然而,應理解,此等描述大體上適用於計算器件。 在一些實例中,MANE、伺服器或其他類型之器件可包含記憶體,其經組態以儲存根據本發明之技術產生之檔案。此器件可(例如)藉由自檔案獲得語法元素來處理檔案,並將所獲得之語法元素用於多種目的,諸如將檔案內的特定內容轉遞至另一器件(諸如目的地器件14)。 視訊編碼器20及視訊解碼器30可根據視訊壓縮標準操作(諸如ITU-T H.265)、高效視訊寫碼(HEVC)標準或其擴展操作。HEVC標準亦可被稱作ISO/IEC 23008-2。已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視訊寫碼聯合協作小組(JCT-VC)定案HEVC之設計。視訊編碼器20及視訊解碼器30可根據此等標準中之一或多者或其他標準操作。此類其他視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264或ISO/IEC MPEG-4 AVC,包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。在一些實例中,視訊編碼器20及視訊解碼器30根據其他專屬或行業標準(諸如替代地被稱作MPEG-4第10部分進階視訊寫碼(AVC)之ITU-T H.264標準)或此等標準之擴展來操作。然而,本發明之技術不限於任何特定寫碼標準。 大體而言,在HEVC中,視訊圖框或圖像可劃分成包括明度及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)的序列。樹型區塊亦可被稱作寫碼樹單元(CTU)。樹型區塊具有與H.264/AVC標準之巨集區塊類似的用途。圖塊包括按寫碼次序之數個連續樹型區塊。視訊圖框或圖像可分割成一或多個圖塊。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。舉例而言,作為四分樹之根節點的樹型區塊可分裂成四個子節點,且每一子節點又可為父節點並分裂成另四個子節點。作為四分樹之葉節點的最後未分裂子節點包含寫碼節點(亦即,經寫碼視訊區塊)。與經寫碼位元流相關聯之語法資料可定義樹型區塊可分裂的最大次數,且亦可定義寫碼節點的最小大小。 CU包括寫碼節點以及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小,且形狀必須為正方形。CU之大小可在8×8像素達至具有最大64×64像素或更大像素的樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或框間預測模式編碼之間不同。PU可分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割成一或多個TU。TU之形狀可為正方形或非正方形。 HEVC標準允許根據TU進行變換,該等變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內的PU之大小來對TU設定大小,但可並非總是此情況。TU的大小通常與PU相同或比PU小。在一些實例中,可使用被稱為「殘餘四分樹」(RQT)之四分樹結構來將對應於CU之殘餘樣本細分為較小單元。RQT之葉節點可被稱作TU。與TU相關聯之像素差值可經變換以產生可加以量化之變換係數。 大體而言,PU包括與預測程序相關之資料。舉例而言,當PU經框內模式編碼時,PU可包括描述用於PU之框內預測模式的資料。作為另一實例,當PU經框間模式編碼時,PU可包括定義PU之運動向量的資料。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之豎直分量、運動向量之解析度(例如,四分之一像素精確度或八分之一像素精確度)、運動向量所指向之參考圖像及/或運動向量之參考圖像清單(例如,清單0、清單1)。 大體而言,TU用於變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個TU。在預測之後,視訊編碼器20可計算對應於PU之殘餘值。殘餘值包含像素差值,該等像素差值可變換成變換係數,經量化,且使用TU進行掃描以產生串列化變換係數以用於熵寫碼。本發明通常使用術語「視訊區塊」來指代CU之寫碼節點(亦即,寫碼區塊)。在一些特定情況下,本發明亦可使用術語「視訊區塊」來指代包括寫碼節點及PU與TU之樹型區塊(亦即,LCU或CU)。 視訊序列通常包括一連串視訊圖框或圖像。圖像之每一圖塊可包括描述各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作,以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小,且可根據指定寫碼標準而大小不同。 在使用CU之PU的框內預測性或框間預測性寫碼之後,視訊編碼器20可計算CU之TU的殘餘資料。 PU可包含空間域(亦被稱作像素域)中之像素資料,且TU可包含在將變換(例如,離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)應用於殘餘視訊資料之後的變換域中之係數。該殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU,且接著變換該等TU以產生CU之變換係數。 在進行用以產生變換係數之任何變換之後,視訊編碼器20可執行變換係數之量化。量化通常係指變換係數經量化以可能減少用以表示變換係數的資料的量從而提供進一步壓縮之程序。該量化程序可減小與該等係數中之一些或所有相關聯的位元深度。 在掃描經量化變換係數以形成一維向量之後,視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對一維向量進行熵編碼。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素,以供視訊解碼器30在解碼視訊資料時使用。 視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元流。術語「位元流」可為用以指代網路提取層(NAL)單元串流(例如,一系列NAL單元)或位元組串流(例如,含有起始碼前綴及如由HEVC標準之附錄B指定的NAL單元之NAL單元串流的囊封)之集合性術語。NAL單元為一種語法結構,其含有NAL單元中之資料類型的指示及含有該資料之位元組,該等位元組呈原始位元組序列有效負載(RBSP)形式,視需要與模擬防止位元穿插。NAL單元中之每一者可包括NAL單元標頭且可囊封RBSP。NAL單元標頭可包含指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內之整數數目個位元的語法結構。在一些個例中,RBSP包括零個位元。 不同類型之NAL單元可囊封不同類型之RBSP。舉例而言,第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP,第二類型之NAL單元可囊封圖塊區段之RBSP,第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP,等等。囊封視訊寫碼資料之RBSP (與參數集及SEI訊息之RBSP相反)的NAL單元可被稱作視訊寫碼層(VCL) NAL單元。含有參數集(例如,視訊參數集(VPS)、序列參數集(SPS)、PPS或其他類型之參數集)之NAL單元可被稱作參數集NAL單元。 本發明可將囊封區段圖塊之RBSP的NAL單元稱為經寫碼圖塊NAL單元。如HEVC中所定義,圖塊區段為在圖案塊掃描中經連續排序且包含於單一NAL單元中的整數數目個CTU。相比而言,在HEVC中,圖塊可為包含於同一存取單元內的一個獨立圖塊區段及先於下一獨立圖塊區段(若存在)之所有後續相關圖塊區段(若存在)中的整數數目個CTU。獨立圖塊區段為圖塊區段標頭之語法元素之值並非自先前圖塊區段之值中推斷的圖塊區段。相關圖塊區段為圖塊區段標頭之一些語法元素之值係自按解碼次序之先前獨立圖塊區段之值中推斷的圖塊區段。經寫碼圖塊NAL單元之RBSP可包括圖塊區段標頭及圖塊資料。圖塊區段標頭為經寫碼圖塊區段中含有與表示於圖塊區段中之第一CTU或所有CTU有關之資料元件的一部分。圖塊標頭獨立圖塊區段之圖塊區段標頭,該獨立圖塊區段為當前圖塊區段或為按解碼次序先於當前相關圖塊區段的最近獨立圖塊區段。 視訊解碼器30可接收由視訊編碼器20產生之位元流。此外,視訊解碼器30可剖析位元流以自該位元流獲得語法元素。視訊解碼器30可至少部分基於自位元流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可與由視訊編碼器20執行之程序大體互逆。舉例而言,視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。此外,視訊解碼器30可逆量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行逆變換,以重建構當前CU之TU的變換區塊。藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本,視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊,視訊解碼器30可重建構圖像。 如上文所論述,視訊編碼器20可產生包含一系列NAL單元之位元流。在多層視訊寫碼中,位元流之不同NAL單元可與位元流之不同層相關聯。可將層定義為具有相同層識別符的VCL NAL單元及相關聯非VCL NAL單元之集合。舉例而言,NAL單元可包括標頭(亦即,NAL單元標頭)及有效負載(例如,RBSP)。 NAL單元標頭可包括層識別符語法元素(例如,HEVC中之nuh_layer_id語法元素)。具有指定不同值之層識別符語法元素的NAL單元屬於位元流之不同「層」。因此,在多層寫碼(例如,MV-HEVC、SVC或SHVC)中,NAL單元之層識別符語法元素指定NAL單元之層識別符(亦即,層ID)。 層可等效於多視圖視訊寫碼中之視圖。在多視圖視訊寫碼中,層可含有相同層之所有視圖分量,具有不同時間執行個體(time instance)。在多層視訊寫碼中,術語「存取單元」可指對應於相同時間執行個體之圖像集合。舉例而言,存取單元中之所有圖像可具有相同輸出時間。因此,「視圖分量」可為單一存取單元中之視圖的經寫碼表示。 在一些實例中,視圖分量可包含紋理視圖分量(亦即,紋理圖像)或深度視圖分量(亦即,深度圖像)。在多視圖視訊寫碼之一些實例中,層含有特定視圖之經寫碼深層圖像或特定視圖之經寫碼紋理圖像,而非含有深層圖像及紋理圖像兩者。在多視圖視訊寫碼之其他實例中,層可含有特定視圖之紋理視圖分量及深度視圖分量兩者。 在可調式視訊寫碼之情境中,層通常對應於具有不同於其他層中之經寫碼圖像之視訊特性的經寫碼圖像。此等視訊特性通常包括空間解析度及品質等級(例如,信雜比)。 對於位元流之每一各別層,可在不參考任何較高層中之資料之情況下解碼較低層中之資料。在可調式視訊寫碼中,例如,可在不參考增強層中之資料之情況下解碼基礎層中之資料。大體而言,NAL單元可僅囊封單一層之資料。因此,可自位元流移除囊封位元流之最高剩餘層(例如,與最高層識別符相關聯之層)之資料的NAL單元,而不影響位元流之剩餘層中的資料之可解碼性。在多視圖寫碼中,較高層可包括額外視圖分量。在可調式視訊寫碼中,較高層可包括信雜比(SNR)增強資料、空間增強資料及/或時間增強資料。在多層視訊寫碼中,若視訊解碼器可在不參考任何其他層之資料之情況下解碼層中的圖像,則該層可被稱為「基礎層」。在HEVC及其他視訊寫碼規範中,若NAL單元在基礎層中,則該NAL單元之層識別符等於0。若NAL單元在多層寫碼中並不與基礎層相關,則該NAL單元之層識別符可具有非零值。 在可調式視訊寫碼中,不同於基礎層之層可被稱作「增強層」,且可提供增強自位元流解碼之視訊資料之視覺品質的資訊。可調式視訊寫碼可增強空間解析度、信雜比(亦即,品質)或時間速率。 多層視訊寫碼可支援層間預測。層間預測類似於HEVC中或其他視訊寫碼規範中所使用之框間預測,且可使用相同語法元素。然而,當視訊寫碼器對當前視訊單元(諸如PU)執行層間預測時,視訊寫碼器可將處於與當前視訊單元相同的存取單元中但處於不同層中的圖像用作參考圖像。相反地,習知框間預測僅將不同存取單元中的圖像用作參考圖像。在寫碼非基礎層中之一者中的圖像時,若圖像在不同層但處於同一時間執行個體(亦即,存取單元),則視訊寫碼器可將該圖像添加至參考圖像清單,作為視訊寫碼器當前正寫碼之圖像。 此外,可在不參考相同層內之其他圖像的情況下解碼層內的一些圖像。因此,可自位元流移除囊封層的某些圖像之資料的NAL單元,而不影響該層中之其他圖像的可解碼性。移除囊封此等圖像的資料的NAL單元可能會降低位元流的圖框速率。可在不參考層內之其他圖像的情況下解碼的層內之圖像的子集可在本文中被稱作「子層」、「時間層」或「時間子層」。因此,藉由將具有特定時間位準之圖像群組定義為子層(亦即,時間層),可在一個層內達成時間可調性。 NAL單元可包括時間識別符(例如,HEVC中之temporal_id)語法元素。NAL單元之時間識別符語法元素指定NAL單元之時間識別符。NAL單元之時間識別符識別與NAL單元相關聯之時間子層。因此,位元流之層的每一時間子層可與不同時間識別符相關聯。若第一NAL單元之時間識別符小於第二NAL單元之時間識別符,則可在不參考由第二NAL單元囊封之資料的情況下解碼由第一NAL單元囊封之資料。 圖2為說明圖像之實例寫碼相依性之方塊圖。在圖2之實例中,CVS包括圖像50、52、54、56及58。圖像50、52、54、56及58中之每一者在各別存取單元(AU)中。圖2之實例假定圖像50、52、54、56及58在同一層中。圖像50及58不依賴於CVS中之任何其他圖像。圖像54依賴於圖像50及58。換言之,在不首先解碼圖像50及58的情況下,無法解碼圖像54。舉例而言,圖像54中之區塊的運動參數可識別圖像50及58中之區塊。圖像52及56依賴於圖像50、54及58。 對於時間調整,可自位元流移除圖像52、54及56,而不影響視訊解碼器30解碼圖像50及58之能力。因此,圖像50及58形成第一時間子層(亦即,時間子層0)。可移除圖像52及56,而不影響視訊解碼器30解碼圖像54之能力,但自位元流移除圖像50及58會影響視訊解碼器30解碼圖像54之能力。因此,圖像54形成第二時間子層(亦即,時間子層1)。圖像52及56依賴於圖像50、54及58,且因此形成第三時間子層(亦即,時間子層2)。 如HEVC中所定義,CVS為存取單元(AU)之序列,其按解碼次序由具有NoRaslOutputFlag等於1之框內隨機存取點(IRAP)存取單元接著係並非具有NoRaslOutputFlag等於1之IRAP存取單元之零個或多於零個存取單元組成,包括直至但不包括係具有NoRaslOutputFlag等於1之IRAP存取單元的任何後續存取單元的所有後續存取單元。IRAP存取單元可為瞬時解碼再新(IDR)存取單元、斷鏈存取(BLA)存取單元或清潔隨機存取(CRA)存取單元。對於每一IDR存取單元,NoRaslOutputFlag之值等於1,按解碼次序為位元流中之第一存取單元的每一BLA存取單元及每一CRA存取單元為按解碼次序在序列結束NAL單元之後或具有HandleCraAsBlaFlag等於1的第一存取單元。 此外,在HEVC中,CRA圖像為每一VCL NAL單元之nal_unit_type等於CRA_NUT的IRAP圖像。在HEVC中,CRA圖像僅含有I圖塊,且按解碼次序可為位元流中之第一圖像,或可稍後出現於位元流中。CRA圖像可具有相關聯之RADL圖像或RASL圖像。當CRA圖像之NoRaslOutputFlag等於1時,相關聯RASL圖像不由解碼器輸出,係因為該等圖像可能含有位元流中不存在之參考圖像而可能無法解碼。清潔隨機存取(CRA)存取單元為其中nuh_layer_id等於0之經寫碼圖像為CRA圖像的存取單元。 在HEVC中,IRAP圖像為每一VCL NAL單元之nal_unit_type在BLA_W_LP至RSV_IRAP_VCL23之包括性範圍內的經寫碼圖像。IRAP圖像僅含有I圖塊且可為BLA圖像、CRA圖像或IDR圖像。按解碼次序在位元流中之第一圖像一定為IRAP圖像。假設必要參數集在其需要激活時可用,可在不執行按解碼次序先於IRAP圖像的任何圖像之解碼程序的情況下正確地解碼IRAP圖像及按解碼次序之所有後續非RASL圖像。在位元流中可存在僅含有I圖塊的圖像,其並非IRAP圖像。IRAP存取單元為其中nuh_layer_id等於0之經寫碼圖像為IRAP圖像的存取單元。 如HEVC中所定義,斷鏈存取(BLA)存取單元為其中nuh_layer_id等於0之經寫碼圖像為BLA圖像的存取單元。 BLA圖像為每一VCL NAL單元之nal_unit_type等於BLA_W_LP、BLA_W_RADL或BLA_N_LP之IRAP圖像。 現簡要地論述檔案格式及檔案格式標準。檔案格式標準包括ISO基本媒體檔案格式(ISOBMFF,ISO/IEC 14496-12,以下稱作「ISO/IEC 14996-12」)及衍生自ISOBMFF之其他檔案格式標準,包括MPEG-4檔案格式(ISO/IEC 14496-15)、3GPP檔案格式(3GPP TS 26.244)及含有用於AVC (ISO/IEC 14496-15,以下稱作「ISO/IEC 14996-15」)及其擴展之檔案格式以及用於HEVC及其擴展之檔案格式的ISO/IEC 14496-15。ISO/IEC 14496-12指定ISO基本媒體檔案格式。其他文件針對特定應用而擴展ISO基本媒體檔案格式。舉例而言,ISO/IEC 14496-15描述呈ISO基本媒體檔案格式的NAL單元結構化視訊之載運。H.264/AVC及HEVC以及其擴展為NAL單元結構化視訊之實例。ISO/IEC 14496-15包括描述H.264/AVC NAL單元之載運的章節。此外,ISO/IEC 14496-15之第8章節描述HEVC NAL單元之載運。因此,據稱ISO/IEC 14496-15之第8章節描述HEVC檔案格式。在第114次MPEG會議之後,基於自若干國家團體接收之意見,起草含有對將應用於ISO/IEC 14496-15草案規範之新版本的ISO/IEC 14496-15的一些改變的配置文件。此配置文件被稱為「MPEG輸出文件N15297」。 將ISOBMFF用作用於許多編碼解碼器囊封格式(諸如,AVC檔案格式)以及用於許多多媒體容器格式(諸如,MPEG-4檔案格式、3GPP檔案格式(3GP)及DVB檔案格式)之基礎。除諸如音訊及視訊之連續媒體以外,諸如影像之靜態媒體以及後設資料可儲存於符合ISOBMFF之檔案中。根據ISOBMFF結構化之檔案可用於許多用途,包括局部媒體檔案播放、遠端檔案之逐漸下載、用於經由HTTP之動態自適應串流(DASH)之區段、用於待串流之內容及其封包化指令之容器及接收之即時媒體串流的記錄。因此,儘管最初針對儲存而設計,但ISOBMFF已證明用於串流(例如,用於逐漸下載或DASH)之價值。為了串流目的,可使用在ISOBMFF中定義之電影片段。除諸如音訊及視訊之連續媒體以外,符合ISOBMFF之檔案亦可儲存諸如影像之靜態媒體以及後設資料。 符合HEVC檔案格式之檔案可包含一系列稱作邏輯框之物件。邏輯框可為由唯一類型識別符及長度定義之物件導向式構建區塊。邏輯框可為ISOBMFF中之基本語法結構,包括四字元寫碼邏輯框類型、邏輯框之位元組計數及有效負載。換言之,邏輯框可為包含經寫碼邏輯框類型、邏輯框之位元組計數及有效負載的語法結構。在一些個例中,在符合HEVC檔案格式之檔案中的所有資料可包含於邏輯框內,且在並不在邏輯框之檔案中可能不存在資料。因此,ISOBMFF檔案可由一連串邏輯框組成,且邏輯框可含有其他邏輯框。舉例而言,邏輯框之有效負載可包括一或多個額外邏輯框。在本發明中其他處詳細描述之圖5及圖6展示根據本發明之一或多種技術的在檔案內之實例邏輯框。 符合ISOBMFF之檔案可包括各種類型之邏輯框。舉例而言,符合ISOBMFF之檔案可包括檔案類型邏輯框、媒體資料邏輯框、電影邏輯框、電影片段邏輯框等等。在此實例中,檔案類型邏輯框包括檔案類型及相容性資訊。媒體資料邏輯框可含有樣本(例如,經寫碼圖像)。電影邏輯框(「moov」)含有用於存在於檔案中之連續媒體串流的後設資料。可將連續媒體串流中之每一者在檔案中表示為一軌。舉例而言,電影邏輯框可含有關於電影之後設資料(例如,樣本之間的邏輯及時序關係,以及指向樣本之位置的指標)。電影邏輯框可包括若干類型之子邏輯框。電影邏輯框中之子邏輯框可包括一或多個軌邏輯框。軌邏輯框可包括關於電影之個別軌的資訊。軌邏輯框可包括指定單一軌之總體資訊的軌標頭邏輯框。此外,軌邏輯框可包括含有媒體資訊邏輯框之媒體邏輯框。媒體資訊邏輯框可包括含有媒體樣本在軌中之資料索引的樣本表邏輯框。樣本表邏輯框中之資訊可用以按時間且對於軌之樣本中之每一者,按類型、大小、容器及至樣本之彼容器的偏移定位樣本。因此,將用於軌之後設資料圍封於一軌邏輯框(「trak」)中,而將軌之媒體內容圍封於媒體資料邏輯框(「mdat」)中或直接圍封於分開之檔案中。用於軌之媒體內容包含一連串樣本或由一連串樣本組成,該等樣本諸如音訊或視訊存取單元。 ISOBMFF指定以下類型之軌:媒體軌,其含有基本媒體串流;提示軌,其包括媒體傳輸指令或表示接收之封包串流;及計時後設資料軌,其包含時間同步之後設資料。用於每一軌之後設資料包括樣本描述項之清單,每一項提供在軌中使用之寫碼或囊封格式及用於處理彼格式之初始化資料。每一樣本與軌之樣本描述項中之一者相關聯。 ISOBMFF使得能夠用各種機制來指定樣本特定後設資料。樣本表邏輯框(「stbl」)內之特定邏輯框已經標準化以回應常見需求。舉例而言,同步樣本邏輯框(「stss」)用以列出軌之隨機存取樣本。樣本分組機制使得能夠根據四字元分組類型將樣本映射至共用經指定為檔案中之樣本群組描述項之相同性質的樣本之群組。已在ISOBMFF中指定若干分組類型。樣本表邏輯框含有一樣本表,該樣本表含有媒體樣本於軌中之所有時間及資料索引。使用樣本表邏輯框中之表,有可能按時間定位樣本、判定其類型(例如,I圖框或非I圖框)以及判定其大小、容器及至彼容器之偏移。 舉例而言,同步樣本邏輯框(「stss」)為樣本表邏輯框內之一邏輯框。同步樣本邏輯框用以列出軌之隨機存取樣本。本發明可將由同步樣本邏輯框列出之一樣本稱作同步樣本。在另一實例中,樣本分組機制使得能夠根據四字元分組類型將樣本映射至共用指定為檔案中之樣本群組描述項之相同性質的樣本之群組。已在ISOBMFF中指定若干分組類型。 ISOBMFF規範指定適用於DASH之六種類型之串流存取點(SAP)。前兩個SAP類型(類型1及類型2)對應於H.264/AVC及HEVC中之IDR圖像。第三SAP類型(類型3)對應於開放GOP隨機存取點,因此對應於HEVC中之BLA或CRA圖像。第四SAP類型(類型4)對應於GDR隨機存取點。 電影片段邏輯框為一頂級邏輯框。每一電影片段邏輯框提供將預先位於電影邏輯框中之資訊。電影片段邏輯框可含有一或多個軌片段(「traf」)邏輯框。電影片段內存在一組軌片段(每軌為零個或多於零個)。軌片段又含有零個或多於零個軌行程,其中之每一者記錄彼軌的樣本之連續行程。舉例而言,每一軌行程可含有按某一次序(諸如解碼次序)連續的圖像之樣本。軌片段邏輯框於14996-12規範中予以定義,且包含用於一或多個軌片段之後設資料。舉例而言,軌片段邏輯框可包括一軌片段標頭邏輯框,其指示軌ID、基本資料偏移、樣本描述索引、預設樣本歷時、預設樣本大小及預設樣本旗標。軌片段邏輯框可包括一或多個軌片段行程邏輯框,每一者記錄軌之連續樣本集。舉例而言,軌片段邏輯框可包括指示樣本計數、資料偏移、樣本旗標、樣本歷時、樣本大小、樣本組成時間偏移等等之語法元素。在此等結構內,許多欄位係可選的,且可經預設。 樣本表邏輯框可包括一或多個SampleToGroup邏輯框及一或多個樣本群組描述邏輯框(亦即,SampleGroupDescription邏輯框)。SampleToGroup邏輯框可用以判定樣本所屬之樣本群組,連同該樣本群組之相關聯描述。換言之,SampleToGroup邏輯框可指示樣本所屬之群組。SampleToGroup邏輯框可具有「sbgp」之邏輯框類型。SampleToGroup邏輯框可包括分組類型元素(例如,grouping_type)。在一些個例中,在本發明中,邏輯框之元素亦可被稱作語法元素。分組類型元素可為識別樣本分組之類型(亦即,用以形成樣本群組之規則)的整數。此外,SampleToGroup邏輯框可包括一或多個輸入項(亦即,樣本群組項)。SampleToGroup邏輯框中之每一樣本群組項可與軌中之一系列不同的非重疊連續樣本相關聯。每一樣本群組項可指示樣本計數元素(例如,sample_count)及群組描述索引元素(例如,group_description_index)。樣本群組項之樣本計數元素可指示與樣本群組項相關聯之樣本的數目。換言之,樣本群組項之樣本計數元素可為給出具有相同樣本群組描述符的連續樣本之數目之整數。群組描述索引元素可識別SampleGroupDescription邏輯框內的群組描述項,其含有與樣本群組項相關聯之樣本之描述。多個樣本群組項之群組描述索引元素可識別相同SampleGroupDescription邏輯框。 在ISO/IEC 23008-2 (亦即,HEVC及其多層擴展之規範)中,受限的係:當存取單元(AU)中存在EOB NAL單元時,該EOB NAL單元應為AU中之最後一個NAL單元;且當AU中存在EOS NAL單元時,該EOS NAL單元應先於AU中之除EOS NAL單元(若存在)以外的所有NAL單元。 在如ISO/IEC 14496-15之條款8及條款9所指定之HEVC及其擴展的檔案格式中,條款9中之所謂分層式HEVC (L-HEVC)檔案格式指定HEVC之多層擴展的視訊位元流的儲存。根據L-HEVC檔案格式,HEVC或L-HEVC位元流之時間子層(亦簡稱為子層)可儲存於超過一個軌中。 然而,儲存HEVC或L-HEVC位元流之子層的當前設計具有一或多個問題。舉例而言,對於位於HEVC或L-HEVC位元流之CVS內且屬於儲存於多軌中之不同子層的AU而言,若僅允許EOB NAL單元包括在含有具最高TemporalId之圖像的一或多個AU中,則當不使用該軌時,EOB NAL單元可能丟失。若經重建構位元流中之下一AU含有清潔隨機存取(CRA)圖像,則此可成為問題,係因為與不存在EOB NAL單元的情況相比,在位元流中緊接在CRA圖像之前的此類EOB NAL單元的存在將需要用於彼CRA圖像之不同解碼程序,且因此可能引發可破壞使用者體驗之錯誤解碼結果。 另一方面,對於位於HEVC或L-HEVC位元流之同一CVS內且屬於儲存於多軌中之不同子層的AU而言,若僅允許EOB NAL單元包括在含有具最低TemporalId及/或小於最高TemporalId之其他TemporalId中之一或多者的圖像的一或多個AU中,則始終需要重定序程序,從而確保在位元流重建構程序中將EOB NAL單元置放在經重建構位元流中之CVS的最後一個AU的結束處;否則,經重建構位元流不一致。此外,在此情況下,若基礎層由不同於HEVC之編碼解碼器(例如,AVC)寫碼,則需丟棄EOB NAL單元,且可能需要產生新的EOB NAL單元(亦即,HEVC EOB NAL單元)。上述類似問題可適用於EOS NAL單元。 為解決以上提及之問題,提出下述技術。態樣中之一些可獨立地應用,且技術中之一些可以組合方式應用。儘管在HEVC及分層式HEVC之上下文中描述技術,但該等技術可適用於具有時間可調性支援之其他編碼解碼器,諸如AVC及其分層式擴展。 根據本發明之第一實例技術,對於在HEVC或L-HEVC位元流之同一CVS內且屬於儲存於多軌中之不同子層的AU而言,允許在超過一個軌(例如,軌中之每一者)中存在EOS NAL單元,作為在此軌中之同一CVS內的最後一個AU的部分。根據本發明之第二實例技術,對於在HEVC或L-HEVC位元流之同一CVS內且屬於儲存於多軌中之不同子層的AU而言,當超過一個軌在各別樣本中含有EOS NAL單元時,應將EOS NAL單元中之僅一者保持在最終經重建構位元流中之此等存取單元中之最後一者(具有最大解碼時間之存取單元)中,置放在此等存取單元之最後一者的除EOB NAL單元(若存在)以外的所有NAL單元之後,並丟棄其他EOS NAL單元。 舉例而言,檔案可包括第一軌及第二軌。在此實例中,第一軌可包括位元流之層的第一時間子層,且第二軌可包括位元流之同一層的第二時間子層。此外,在此實例中,第一軌可包括第一EOS NAL單元且第二軌可包括第二EOS NAL單元。在此實例中,根據本發明之第二實例技術,當器件(例如,檔案剖析單元31)自檔案提取包括第一及第二時間子層之位元流時,器件可使第一EOS NAL單元或第二EOS NAL單元中處於較晚的存取單元中之任一者包括在位元流中,並可丟棄另一EOS NAL單元。然而,在器件自檔案提取僅包括第一或第二時間子層中之一者的位元流之個例中,器件可包括所包括時間子層之每一NAL單元(包括所包括之時間子層之任何EOS NAL單元)且不包括另一時間子層之任何NAL單元(包括另一時間子層之任何EOS NAL單元)。 因此,在一些實例中,器件(諸如檔案產生器件34或源器件12)可使位元流(例如,HEVC位元流)之CVS的第一EOS NAL單元包括在用於儲存視訊內容之檔案的第一軌中。在此實例中,第一EOS NAL單元在CVS之第一存取單元中。此外,在此實例中,器件可使CVS之第二EOS NAL單元包括在檔案之第二軌中。在此實例中,第二EOS NAL單元在CVS之第二存取單元中。在此實例中,第二EOS NAL單元不同於第一EOS NAL單元。第一存取單元及第二存取單元可屬於不同時間子層。在此實例之一些個例中,第一軌可包括CVS之位元流的第一組存取單元,且第一存取單元為按第一組存取單元之次序的最後一個存取單元。此外,在此實例之一些個例中,第二軌包括CVS之位元流的第二組存取單元,且第二存取單元為按第二組存取單元之次序的最後一個存取單元。 在另一實例中,諸如目的地器件14之器件(例如,目的地器件14之檔案剖析單元31)可接收包含第一軌及第二軌的檔案。在此實例中,第一軌包括位元流(例如,HEVC位元流)之CVS的第一存取單元。第二軌包括CVS之第二存取單元。在此實例中,第一存取單元包括第一EOS NAL單元且第二存取單元包括第二EOS NAL單元。第一存取單元及第二存取單元屬於不同時間子層。檔案可包括除第一軌及第二軌以外的軌,且位元流可包括其他層及時間子層。在此實例中,器件可基於與第一EOS NAL單元相關聯之時間及與第二EOS NAL單元相關聯之時間的比較來輸出第一EOS NAL單元且可丟棄第二EOS NAL單元。因此,自檔案重建構之位元流可包括第一EOS NAL單元,但不包括第二EOS NAL單元。在一些實例中,器件將與第一存取單元相關聯之解碼時間及與第二存取單元相關聯之解碼時間進行比較。器件可保持第一EOS NAL單元及第二EOS NAL單元中處於與較晚解碼時間相關聯之存取單元中的任一者,並丟棄另一EOS NAL單元。舉例而言,基於第一存取單元係與比第二存取單元較晚之解碼時間相關聯,器件可保持第一EOS NAL單元並丟棄第二EOS NAL單元。因此,在此實例中,最終經重建構位元流可在按CVS之次序的最後一個存取單元的除EOB NAL單元(若存在)以外的所有NAL單元之後的位置處包括第一EOS NAL單元。 在此實例之一些個例中,第一軌包括CVS之位元流的第一組存取單元,且第一存取單元為按第一組存取單元之次序的最後一個存取單元。此外,在此類個例中,第二軌包括CVS之位元流的第二組存取單元,且第二存取單元為按第二組存取單元之次序的最後一個存取單元。在此實例之一些個例中,器件(例如,檔案剖析單元31)可將第一軌中之CVS的NAL單元輸出至視訊解碼器30。此外,器件(例如,檔案剖析單元31)可將第二軌中之CVS的NAL單元輸出至視訊解碼器30。視訊解碼器30可基於第一軌或第二軌中之至少一者中的CVS的NAL單元來解碼CVS之圖像。 在一些實例中,器件可基於包括第一EOS NAL單元之第一存取單元來判定不存在儲存於第一軌中之CVS的後續NAL單元。在此實例中,器件可基於包括第二EOS NAL單元之第二存取單元來判定不存在儲存於第二軌中之CVS的後續NAL單元。 根據本發明之第三實例技術,對於在HEVC或L-HEVC位元流之同一CVS內且屬於儲存於多軌中之不同子層的AU而言,允許在超過一個軌(例如,軌中之每一者)中存在EOB NAL單元,作為在此軌中之同一CVS內的最後一個AU的部分。舉例而言,檔案可包括第一軌及第二軌。在此實例中,第一軌可包括位元流之層的第一時間子層,且第二軌可包括位元流之同一層的第二時間子層。此外,在此實例中,根據本發明之第三實例技術,第一軌可包括第一EOB NAL單元且第二軌可包括第二EOB NAL單元。 根據本發明之第四實例技術,對於在HEVC或L-HEVC位元流之同一CVS內且屬於儲存於多軌中之不同子層的AU而言,當超過一個軌在各別樣本中含有EOB NAL單元時,應將EOB NAL單元中之僅一者保持在最終經重建構位元流中,置放在此等存取單元之最後一者的結束處,並丟棄其他EOB NAL單元。舉例而言,檔案可包括第一軌及第二軌。在此實例中,第一軌可包括位元流之層的第一時間子層,且第二軌可包括位元流之同一層的第二時間子層。檔案可包括除第一軌及第二軌以外的軌,且位元流可包括其他層及時間子層。此外,在此實例中,第一軌可包括第一EOB NAL單元且第二軌可包括第二EOB NAL單元。在此實例中,根據本發明之第四實例技術,當器件(例如,檔案剖析單元31)自檔案提取包括第一及第二時間子層之位元流時,器件可使第一EOB NAL單元或第二EOB NAL單元中處於較晚的存取單元中之任一者包括在位元流中,並可丟棄另一EOB NAL單元。然而,在器件自檔案提取僅包括第一時間子層或第二時間子層中之一者的位元流之個例中,器件可包括所包括時間子層之每一NAL單元(包括所包括之時間子層之任何EOB NAL單元)且不包括另一時間子層之任何NAL單元(包括另一時間子層之任何EOB NAL單元)。 在一個實例中,器件(諸如檔案產生器件34或源器件12)可使位元流(例如,HEVC位元流)之CVS的第一EOB NAL單元包括在用於儲存視訊內容之檔案的第一軌中。在此實例中,第一EOB NAL單元在CVS之第一存取單元中。此外,在此實例中,器件可使CVS之第二EOB NAL單元包括在檔案之第二軌中。在此實例中,第二EOB NAL單元在CVS之第二存取單元中。在此實例中,第二EOB NAL單元不同於第一EOB NAL單元。在此實例中,第一存取單元及第二存取單元屬於不同時間子層。在此實例之一些個例中,第一軌包括位元流之第一組存取單元,第一存取單元為按第一組存取單元之次序的最後一個存取單元,第二軌包括位元流之第二組存取單元,且第二存取單元為按第二組存取單元之次序的最後一個存取單元。 在另一實例中,諸如目的地器件14之器件(例如,目的地器件14之檔案剖析單元31)接收包含第一軌及第二軌的檔案。在此實例中,第一軌包括位元流(例如,HEVC位元流)之CVS的第一存取單元。第二軌包括CVS之第二存取單元。在此實例中,第一存取單元包括第一EOB NAL單元且第二存取單元包括第二EOB NAL單元,第一存取單元及第二存取單元屬於不同時間子層,且器件輸出第一EOB NAL單元並丟棄第二EOB NAL單元。器件在CVS之最後一個存取單元之所有NAL單元之後的位置處包括第一EOB NAL單元。在一些實例中,器件可將與第一存取單元相關聯之解碼時間及與第二存取單元相關聯之解碼時間進行比較。在此等實例中,器件可保持第一EOB NAL單元及第二EOB NAL單元中處於與較晚解碼時間相關聯之存取單元中的任一者,並丟棄另一EOB NAL單元。舉例而言,基於第一存取單元係與比第二存取單元較晚之解碼時間相關聯,器件可保持第一EOB NAL單元並丟棄第二EOB NAL單元。 在此實例之一些個例中,器件(例如,檔案剖析單元31)可將第一軌中之CVS的NAL單元輸出至視訊解碼器30。此外,器件(例如,檔案剖析單元31)可將第二軌中之CVS的NAL單元輸出至視訊解碼器30。視訊解碼器30可基於第一軌或第二軌中之至少一者中的CVS的NAL單元來解碼CVS之圖像。 圖3為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20表示經組態以產生可使用本發明中所描述之檔案格式技術儲存之視訊資料的視訊寫碼器之實例。視訊編碼器20可經組態以輸出單一視圖、多視圖、可調式、3D及其他類型之視訊資料。視訊編碼器20可經組態以將視訊輸出至後處理實體127。後處理實體127意欲表示可處理來自視訊編碼器20之經編碼視訊資料的視訊實體(諸如MANE或編接/編輯器件)之實例。在一些個例中,後處理實體127可為網路實體之實例。在一些視訊編碼系統中,後處理實體127及視訊編碼器20可為分開之器件之部分,而在其他個例中,關於後處理實體127描述之功能性可由包含視訊編碼器20之同一器件執行。後處理實體127可為視訊器件。在一些實例中,後處理實體127可與圖1之檔案產生器件34相同。 處理電路包括視訊編碼器20,且視訊編碼器20經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言,視訊編碼器20包括積體電路,且圖3中所說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為分開之電路區塊或該等單元中之兩者或多於兩者可組合為共同硬體電路區塊。硬體電路區塊可形成為電組件之組合,該等電組件形成諸如算術邏輯單元(ALU)、初等函數單元(EFU)之運算區塊,以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他類似邏輯區塊的邏輯區塊。 在一些實例中,圖3中所說明之單元中之一或多者可為在處理電路上執行之軟體單元。在此類實例中,用於此等軟體單元之目標碼儲存於記憶體中。作業系統可使得視訊編碼器20擷取目標碼並執行目標碼,其使得視訊編碼器20執行實施實例技術之操作。在一些實例中,軟體單元可為視訊編碼器20在啟動時執行之韌體。因此,視訊編碼器20為具有執行實例技術之硬體或具有在硬體上執行以特化執行該等實例技術之硬體的軟體/韌體的結構性組件。 視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如,單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之壓縮模式中的任一者。 在圖3之實例中,視訊編碼器20包括分割單元135、預測處理單元141、濾波器單元163、參考圖像記憶體164、求和器150、變換處理單元152、量化單元154及熵編碼單元156。預測處理單元141包括運動估計單元 142、運動補償單元144及框內預測處理單元146。為了視訊區塊重建構,視訊編碼器20亦包括逆量化單元158、逆變換處理單元160及求和器162。濾波器單元163意欲表示一或多個迴路濾波器,諸如解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元163在圖3中展示為迴路內濾波器,但在其他組態中,濾波器單元163可實施為迴路後濾波器。 視訊編碼器20之視訊資料記憶體165可儲存待藉由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體165中之視訊資料。參考圖像記憶體164可為儲存參考視訊資料以供視訊編碼器20在(例如,以框內或框間寫碼模式)編碼視訊資料時使用的參考圖像記憶體。視訊資料記憶體165及參考圖像記憶體164可由多種記憶體器件中之任一者形成,諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體165及參考圖像記憶體164可由同一記憶體器件或分開之記憶體器件提供。在各種實例中,視訊資料記憶體165可與視訊編碼器20之其他組件一起在晶片上,或相對於彼等組件在晶片外。 如圖3中所展示,視訊編碼器20接收視訊資料,且分割單元135將該資料分割成視訊區塊。此分割亦可包括分割成圖塊或其他較大單元,以及(例如)根據LCU及CU之四分樹結構之視訊區塊分割。視訊編碼器20大體上說明對待編碼之視訊圖塊內的視訊區塊進行編碼之組件。圖塊可劃分成多個視訊區塊。預測處理單元141可針對當前視訊區塊基於誤差結果(例如,寫碼速率及失真位準)選擇複數個可能寫碼模式中之一者,諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元141可將所得經框內或框間寫碼之區塊提供至求和器150以產生殘餘區塊資料,且提供至求和器162以重建構經編碼區塊以用作參考圖像。 預測處理單元141內之框內預測處理單元146可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或圖塊中的一或多個相鄰區塊之框內預測性寫碼,以提供空間壓縮。預測處理單元141內之運動估計單元142及運動補償單元144執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測區塊之框間預測性寫碼,以提供時間壓縮。 運動估計單元142可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元142及運動補償單元144可高度整合,但出於概念目的而分開說明。由運動估計單元142執行之運動估計為產生估計視訊區塊之運動的運動向量之程序。運動向量可(例如)指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的移位。 預測性區塊為就像素差而言被發現緊密地匹配待寫碼視訊區塊之PU之區塊,該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中,視訊編碼器20可計算儲存於參考圖像記憶體164中的參考圖像之次整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此,運動估計單元142可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元142藉由比較PU之位置與參考圖像之預測性區塊之位置而計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1),該等清單中之每一者識別儲存於參考圖像記憶體164中之一或多個參考圖像。運動估計單元142將經計算運動向量可自其判定的語法元素發送至熵編碼單元156及運動補償單元144。 由運動補償單元144執行之運動補償可涉及基於由運動估計判定之運動向量提取或產生預測性區塊,可能執行內插達子像素精確度。在接收到當前視訊區塊之PU的運動向量時,運動補償單元144可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20可藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊,從而形成像素差值。像素差值形成區塊之殘餘資料,且可包括明度及色度差分量兩者。求和器150表示執行此減法運算之一或多個組件。運動補償單元144亦可產生與視訊區塊及視訊圖塊相關聯之語法元素,以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。 作為由運動估計單元142及運動補償單元144所執行之框間預測的替代,框內預測處理單元146可對當前區塊進行框內預測,如上文所描述。詳言之,框內預測處理單元146可判定使用框內預測模式來編碼當前區塊。在一些實例中,框內預測處理單元146可(例如)在分開之編碼遍次期間使用各種框內預測模式來編碼當前區塊,且框內預測處理單元146可自經測試模式中選擇適當框內預測模式來使用。舉例而言,框內預測處理單元146可使用對於各種所測試框內預測模式之速率-失真分析來計算速率-失真值,並在所測試模式中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量,以及用以產生經編碼區塊之位元速率(亦即,位元之數目)。框內預測處理單元146可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在任何情況下,在選擇區塊之框內預測模式之後,框內預測處理單元146可將指示所選擇之用於區塊之框內預測模式之資訊提供至熵編碼單元156。熵編碼單元156可根據本發明之技術來編碼指示所選擇框內預測模式之資訊。視訊編碼器20可在經傳輸位元流中包括以下各者:組態資料,其可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表);各種區塊之編碼上下文的定義;及待用於該等上下文中之每一者的最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表的指示。 在預測處理單元141經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後,視訊編碼器20可藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元152。變換處理單元152使用諸如離散餘弦變換(DCT)或概念上類似之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元152可將殘餘視訊資料自像素域轉換至變換域,諸如頻域。 變換處理單元152可將所得變換係數發送至量化單元154。量化單元154量化變換係數以進一步減小位元速率。該量化程序可減小與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中,量化單元154可接著執行對包括經量化變換係數之矩陣的掃描。替代地,熵編碼單元156可執行掃描。 在量化後,熵編碼單元156可熵編碼表示經量化變換係數之語法元素。舉例而言,熵編碼單元156可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在藉由熵編碼單元156進行熵編碼之後,經編碼位元流可經傳輸至視訊解碼器30,或經存檔以供視訊解碼器30稍後傳輸或擷取。熵編碼單元156亦可熵編碼正被寫碼之當前視訊圖塊的運動向量及其他語法元素。 逆量化單元158及逆變換處理單元160分別應用逆量化及逆變換,以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元144可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元144亦可將一或多個內插濾波器應用於該經重建構之殘餘區塊,以計算在運動估計中使用之次整數像素值。求和器162可將經重建構之殘餘區塊添加至由運動補償單元144產生之經運動補償之預測區塊,以產生用於儲存於參考圖像記憶體164中之參考區塊。參考區塊可由運動估計單元142及運動補償單元144用作參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。 根據本發明之技術,後處理實體127可產生用於由視訊編碼器20產生的經編碼視訊內容之儲存之檔案。後處理實體127可根據本發明之任何技術產生檔案。舉例而言,後處理實體127可使位元流之CVS的第一EOS NAL單元包括在檔案之第一軌中,且可使CVS之第二EOS NAL單元包括在檔案之第二軌中。在一些實例中,後處理實體127可使位元流之CVS的第一EOB NAL單元包括在檔案之第一軌中,且可使位元流之CVS的第二EOB NAL單元包括在檔案之第二軌中。 圖4為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。圖4之視訊解碼器30表示經組態以解碼可使用本發明中所描述之檔案格式技術儲存之視訊資料的視訊解碼器之實例。 處理電路包括視訊解碼器30,且視訊解碼器30經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言,視訊解碼器30包括積體電路,且圖4中所說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為分開之電路區塊或該等單元中之兩者或多於兩者可組合為共同硬體電路區塊。硬體電路區塊可形成為電組件之組合,該等電組件形成諸如算術邏輯單元(ALU)、初等函數單元(EFU)之運算區塊,以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他類似邏輯區塊的邏輯區塊。 在一些實例中,圖4中所說明之單元中之一或多者可為在處理電路上執行之軟體單元。在此類實例中,用於此等軟體單元之目標碼儲存於記憶體中。作業系統可使得視訊解碼器30擷取目標碼並執行目標碼,其使得視訊解碼器30執行實施實例技術之操作。在一些實例中,軟體單元可為視訊解碼器30在啟動時執行之韌體。因此,視訊解碼器30為具有執行實例技術之硬體或具有在硬體上執行以特化執行該等實例技術之硬體的軟體/韌體的結構性組件。 視訊解碼器30可經組態以解碼單一視圖、多視圖、可調式、3D及其他類型之視訊資料。在圖4之實例中,視訊解碼器30包括熵解碼單元180、預測處理單元181、逆量化單元186、逆變換處理單元188、求和器190、濾波器單元191及參考圖像記憶體192。預測處理單元181包括運動補償單元182及框內預測處理單元184。在一些實例中,視訊解碼器30可執行與關於來自圖3之視訊編碼器20所描述之編碼遍次大體上互逆的解碼遍次。 經寫碼圖像緩衝器(CPB) 179可接收並儲存位元流之經編碼視訊資料(例如,NAL單元)。儲存於CPB 179中之視訊資料可(例如)經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而自圖1之鏈路16(例如,自諸如相機之本端視訊源)獲得。 CPB 179可形成儲存來自經編碼視訊位元流之經編碼視訊資料的視訊資料記憶體。參考圖像記憶體192可為儲存參考視訊資料以供視訊解碼器30在(例如,以框內或框間寫碼模式)解碼視訊資料時使用的參考圖像記憶體。CPB 179及參考圖像記憶體192可由多種記憶體器件中之任一者形成,諸如,動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。CPB 179及參考圖像記憶體192可由同一記憶體器件或分開之記憶體器件提供。在各種實例中,CPB 179可與視訊解碼器30之其他組件一起在晶片上,或相對於彼等組件在晶片外。 在解碼程序期間,視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元流。在圖4之實例中,視訊解碼器30可自剖析檔案以提取經寫碼視訊位元流之檔案剖析單元177接收經編碼視訊位元流。在一些實例中,檔案剖析單元177可自網路實體129接收檔案。網路實體129可(例如)為伺服器、MANE、視訊編輯器/編接器,或經組態以實施上文所描述之技術中之一或多者的其他此類器件。網路實體129可包括或可不包括視訊編碼器(諸如,視訊編碼器20)。在網路實體129將經編碼視訊位元流傳輸至視訊解碼器30之前,可由網路實體129實施本發明中所描述的技術中之一些。在一些視訊解碼系統中,網路實體129及視訊解碼器30可為分開之器件之部分,而在其他個例中,關於網路實體129描述之功能性可由包含視訊解碼器30之同一器件執行。網路實體129可被視為視訊器件。 此外,在一些實例中,網路實體129為圖1之檔案產生器件34。檔案剖析單元177可實施為目的地器件14之部分或與目的地器件分開的器件。在一些實例中,網路實體129及檔案剖析單元177由同一器件實施。檔案剖析單元177可實施本發明之各種技術。舉例而言,檔案剖析單元177可接收包含第一軌及第二軌之檔案。在此實例中,第一軌包括位元流之CVS的第一存取單元,且第二軌包括CVS之第二存取單元。第一存取單元可包括第一EOS NAL單元,且第二存取單元可包括第二EOS NAL單元。在一些實例中,作為自檔案提取最終位元流之部分,檔案剖析單元177可在最終位元流中輸出第一EOS NAL單元或第二EOS NAL單元中與較晚解碼時間相關聯之任一者。舉例而言,基於與第一EOS NAL單元相關聯之解碼時間及與第二EOS NAL單元相關聯之解碼時間之比較,該比較揭露與第一EOS NAL單元相關聯之解碼時間更晚,檔案剖析單元177可輸出第一EOS NAL單元(例如,包括在最終位元流中)並可丟棄第二EOS NAL單元。檔案剖析單元177可將第一軌中之CVS的NAL單元輸出至視訊解碼器30,且可將第二軌中之CVS的NAL單元輸出至視訊解碼器30。 在另一實例中,檔案剖析單元177可接收包含第一軌及第二軌之檔案。在此實例中,第一軌包括位元流之CVS的第一存取單元,且第二軌包括CVS之第二存取單元。第一存取單元可包括第一EOB NAL單元,且第二存取單元可包括第二EOB NAL單元。在一些實例中,作為自檔案提取最終位元流之部分,檔案剖析單元177可在最終位元流中輸出第一EOB NAL單元並可丟棄第二EOB NAL單元。在此實例中,檔案剖析單元177可使第一軌及第二軌兩者的NAL單元包括在最終位元流中。舉例而言,檔案剖析單元177可將第一軌中之CVS的NAL單元輸出至視訊解碼器30,且可將第二軌中之CVS的NAL單元輸出至視訊解碼器30。在一些實例中,檔案剖析單元177可輸出第一EOB NAL單元或第二EOB NAL單元中與較晚時間相關聯之任一者。舉例而言,基於與第一EOB NAL單元相關聯之時間及與第二EOB NAL單元相關聯之時間的比較,該比較揭露與第一EOB NAL單元相關聯之時間更晚,檔案剖析單元177可輸出第一EOB NAL單元並可丟棄第二EOB NAL單元,或反之亦然。 視訊解碼器30之熵解碼單元180熵解碼位元流之特定語法元素以產生經量化之係數、運動向量及其他語法元素。熵解碼單元180將運動向量及其他語法元素轉遞至預測處理單元181。視訊解碼器30可接收視訊圖塊層級及/或視訊區塊層級處之語法元素。 當視訊圖塊經寫碼為經框內寫碼(I)圖塊時,預測處理單元181之框內預測處理單元184可基於來自當前圖框或圖像之先前經解碼區塊的所傳信之框內預測模式及資料來產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即,B或P)圖塊時,預測處理單元181之運動補償單元182基於自熵解碼單元180接收之運動向量及其他語法元素來產生用於當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像片記憶體192中之參考圖像使用預設建構技術來建構參考圖框清單:清單0及清單1。 運動補償單元182藉由判定運動向量及獲得其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊,且使用該預測資訊產生正解碼的當前視訊區塊之預測性區塊。舉例而言,運動補償單元182使用所接收語法元素中之一些來判定用以寫碼視訊圖塊之視訊區塊的預測模式(例如,框內或框間預測)、框間預測圖塊類型(例如,B圖塊或P圖塊)、該圖塊之參考圖像清單中之一或多者之建構資訊、該圖塊之每一經框間編碼之視訊區塊之運動向量、該圖塊之每一經框間寫碼之視訊區塊之框間預測狀態,及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元182亦可基於內插濾波器來執行內插。運動補償單元182可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器,以計算參考區塊之次整數像素的內插值。在此情況下,運動補償單元182可自所接收之語法元素來判定由視訊編碼器20所使用之內插濾波器,並可使用該等內插濾波器來產生預測性區塊。 逆量化單元186逆量化(亦即,解量化)位元流中所提供且由熵解碼單元180解碼之經量化變換係數。逆量化程序可包括使用由視訊編碼器20針對視訊圖塊中之每一視訊區塊計算的量化參數,以判定量化程度及(同樣地)應被應用之逆量化程度。逆變換處理單元188對變換係數應用逆變換,例如逆DCT、逆整數變換或概念上類似之逆變換程序,以便產生像素域中之殘餘區塊。 在運動補償單元182基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後,視訊解碼器30藉由將來自逆變換處理單元188之殘餘區塊與由運動補償單元182產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器190表示執行此求和運算之一或多個組件。若需要,亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑,或以其他方式改良視訊品質。濾波器單元191意欲表示一或多個迴路濾波器,諸如,解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元191在圖4中展示為迴路內濾波器,但在其他組態中,濾波器單元191可實施為迴路後濾波器。給定圖框或圖像中之經解碼視訊區塊接著儲存於參考圖像記憶體192中,該參考圖像記憶體192儲存用於後續運動補償之參考圖像。參考圖像記憶體192亦儲存用於稍後在顯示器件(諸如,圖1之顯示器件32)上呈現的經解碼視訊資料。因此,參考圖像記憶體192可為經組態以儲存視訊資料之一或多個資料儲存媒體的實例。 圖5為說明根據本發明之一或多種技術之檔案300的實例結構之概念圖。在圖5之實例中,檔案300包括電影邏輯框302及複數個媒體資料邏輯框304。儘管在圖5之實例中說明為在同一檔案中,但在其他實例中,電影邏輯框302及媒體資料邏輯框304可在分開之檔案中。如上文所指示,邏輯框可為由唯一類型識別符及長度定義之物件導向式構建區塊。舉例而言,邏輯框可為ISOBMFF中之基本語法結構,包括四字元寫碼之邏輯框類型、邏輯框之位元組計數及有效負載。 電影邏輯框302可含有用於檔案300之軌的後設資料。檔案300之每一軌可包含媒體資料之連續串流。媒體資料邏輯框304中之每一者可包括一或多個樣本305。樣本305中之每一者可包含音訊或視訊存取單元。如在本發明中其他處所描述,在多視圖寫碼(例如,MV-HEVC及3D-HEVC)及可調式視訊寫碼(例如,SHVC)中,每一存取單元可包含多個經寫碼圖像。舉例而言,存取單元可包括用於每一層之一或多個經寫碼圖像。 此外,在圖5之實例中,電影邏輯框302包括軌邏輯框306。軌邏輯框306可圍封用於檔案300之軌的後設資料。在其他實例中,電影邏輯框302可包括用於檔案300之不同軌的多個軌邏輯框。軌邏輯框306包括媒體邏輯框307。媒體邏輯框307可含有宣告關於軌內之媒體資料的資訊之所有物件。媒體邏輯框307包括媒體資訊邏輯框308。媒體資訊邏輯框308可含有宣告軌之媒體之特性資訊的所有物件。媒體資訊邏輯框308包括樣本表邏輯框309。樣本表邏輯框309可指定樣本特定後設資料。 在圖5之實例中,樣本表邏輯框309包括至少一個SampleToGroup邏輯框310及至少一個SampleGroupDescription邏輯框312。因此,樣本表邏輯框309為「容器邏輯框」之個例。在其他實例中,樣本表邏輯框309可包括除SampleToGroup邏輯框310及SampleGroupDescription邏輯框312以外的其他邏輯框,及/或可包括多個SampleToGroup邏輯框及SampleGroupDescription邏輯框。SampleToGroup邏輯框310可將樣本(例如,樣本305中之特定者)映射至一群樣本。SampleGroupDescription邏輯框312可指定由該群樣本(亦即,樣本群組)中之樣本共用的性質。 此外,在圖5之實例中,SampleToGroup邏輯框310包括grouping_type語法元素313 (亦即,分組類型語法元素)、entry_count語法元素314 (亦即,輸入項計數語法元素)及一或多個樣本群組項315。Entry_count語法元素314指示樣本群組項315之數目。樣本群組項315中之每一者包括sample_count語法元素316 (亦即,樣本計數語法元素)及group_description_index語法元素317 (亦即,群組描述索引語法元素)。Sample_count語法元素316可指示與含有sample_count語法元素316之樣本群組項相關聯的樣本的數目。Group_description_index語法元素317可在SampleGroupDescription邏輯框(例如,SampleGroupDescription邏輯框312)內識別出含有與含有group_description_index語法元素317之與樣本群組項相關聯之樣本之描述的群組描述項。 此外,在圖5之實例中,SampleGroupDescription邏輯框312包括grouping_type語法元素320、entry_count語法元素322及一或多個群組描述項324。Entry_count語法元素322指示SampleGroupDescription邏輯框中的群組描述項324之數目。 此外,在圖5之實例中,樣本表邏輯框308包括組塊偏移邏輯框326、樣本至組塊邏輯框328及樣本大小邏輯框330。樣本以「組塊」形式群集在檔案中。組塊中之每一者可為檔案中之一系列連續位元。組塊偏移邏輯框326包括指定含有軌之樣本的組塊的起始位置及/或偏移的資料。以此方式,檔案可將樣本及樣本中之NAL單元與軌相關聯。不同軌邏輯框包括不同組塊偏移邏輯框。因此,對於每一各別軌,器件可基於各別軌之組塊偏移邏輯框來判定檔案之哪些組塊包括該各別軌之樣本。如ISOBMFF 14496-12之§ 8.7.4中所描述,器件可使用樣本至組塊邏輯框328中的資料來建構表,該表指示可能包括可用於尋找含有軌之樣本、樣本之位置及相關聯樣本描述的組塊的資料的邏輯框。如ISOBMFF 14496-12之§ 8.7.3中所描述,樣本大小邏輯框330可指定軌中之樣本的大小。 在圖5之實例中,軌邏輯框306 (亦即,第一軌邏輯框)可含有關於第一軌之後設資料。此外,檔案300可包括結構類似於軌邏輯框306之結構的第二軌邏輯框(為視覺簡潔起見而未在圖5之實例中示出)。第二軌邏輯框可含有關於第二軌之後設資料。根據本發明之一或多種技術,第一軌之媒體資料邏輯框中的樣本可包括CVS之EOS NAL單元,且第二軌之媒體資料邏輯框中的樣本可包括同一CVS之EOS NAL單元。此外,根據本發明之一或多種技術,第一軌之媒體資料邏輯框中的樣本可包括CVS之EOB NAL單元,且第二軌之媒體資料邏輯框中的樣本可包括同一CVS之EOB NAL單元。 圖6為說明根據本發明之一或多種技術的檔案450之實例結構之概念圖。在圖6之實例中,檔案450包括一或多個電影片段邏輯框452及複數個媒體資料邏輯框454。儘管在圖6之實例中說明為在同一檔案中,但在其他實例中,電影片段邏輯框452及媒體資料邏輯框454可在分開之檔案中。媒體資料邏輯框454中之每一者可包括一或多個樣本456。樣本456中之一些或全部可包含視訊內容之各別圖像。電影片段邏輯框中之每一者對應於一電影片段。每一電影片段可包含一組軌片段。可存在每軌零個或多於零個軌片段。 在圖6之實例中,電影片段邏輯框452提供關於對應電影片段之資訊。此資訊先前應已在電影邏輯框(諸如電影邏輯框302)中。電影片段邏輯框452可包括軌片段邏輯框458。軌片段邏輯框458對應於軌片段,且提供關於軌片段之資訊。 舉例而言,在圖6之實例中,軌片段邏輯框458可包括含有關於對應於軌片段邏輯框458之軌片段的資訊的一或多個SampleToGroup邏輯框462及一或多個SampleGroupDescription邏輯框464。因此,軌片段邏輯框458為「容器邏輯框」之個例。 此外,在圖6之實例中,SampleToGroup邏輯框462包括grouping_type語法元素470 (亦即,分組類型語法元素)、entry_count語法元素471 (亦即,輸入項計數語法元素)及一或多個樣本群組項472。Entry_count語法元素471指示樣本群組項472之數目。樣本群組項472中之每一者包括sample_count語法元素473 (亦即,樣本計數語法元素)及group_description_index語法元素474 (亦即,群組描述索引語法元素)。 Sample_count語法元素473可指示與含有sample_count語法元素473之樣本群組項相關聯的樣本的數目。 Group_description_index語法元素474可在SampleGroupDescription邏輯框(例如,SampleGroupDescription邏輯框464)內識別出含有與含有group_description_index語法元素474之樣本群組項相關聯之樣本的描述的群組描述項。 另外,在圖6之實例中,SampleGroupDescription邏輯框464包括grouping_type語法元素480、entry_count語法元素482及一或多個群組描述項484。 Entry_count語法元素482指示SampleGroupDescription邏輯框464中的群組描述項484之數目。 在圖6之實例中,軌片段邏輯框458亦包括組塊偏移邏輯框486、樣本至組塊邏輯框490及樣本大小邏輯框492。組塊偏移邏輯框486、樣本至組塊邏輯框490及樣本大小邏輯框492可具有與圖5之組塊偏移邏輯框326、樣本至組塊邏輯框328及樣本大小邏輯框330相同的語法及語義。 在圖6之實例中,軌片段邏輯框458 (亦即,第一軌邏輯框)可含有關於第一軌之片段的後設資料。此外,檔案300可包括結構類似於軌片段邏輯框458之結構的第二軌片段邏輯框(亦即,第二軌邏輯框,其為視覺簡潔起見而未在圖6之實例中示出)。第二軌片段邏輯框可含有關於第二軌之片段的後設資料。根據本發明之一或多種技術,第一軌之片段的媒體資料邏輯框中的樣本可包括CVS之EOS NAL單元,且第二軌之片段的媒體資料邏輯框中的樣本可包括同一CVS之EOS NAL單元。此外,根據本發明之一或多種技術,第一軌之媒體資料邏輯框中的樣本可包括CVS之EOB NAL單元,且第二軌之媒體資料邏輯框中的樣本可包括同一CVS之EOB NAL單元。 圖7為說明根據本發明之一或多種技術之檔案的多軌中之EOS NAL單元的實例之概念圖。在圖7之實例中,檔案包括兩個軌:軌1及軌2。此外,在圖7之實例中,軌1含有第一子層(亦即,子層0)之NAL單元,且軌2含有第二子層(亦即,子層1)之NAL單元。圖7之實例中所示之子層0及子層1的部分屬於同一CVS。 根據本發明之一或多種技術,EOS NAL單元存在於檔案之超過一個軌(亦即,軌1及軌2)中。此外,根據本發明之一或多種技術,對於每一各別軌,各別軌中之EOS NAL單元為在CVS內之最後一個AU的一部分。舉例而言,EOS NAL單元500在CVS中之軌1的最後一個AU中,且EOS NAL單元502在CVS中之軌2的最後一個AU中。 圖8為說明根據本發明之一或多種技術之檔案的多軌中之EOB NAL單元的實例之概念圖。在圖8之實例中,檔案包括兩個軌:軌1及軌2。此外,在圖8之實例中,軌1含有第一子層(亦即,子層0)之NAL單元,且軌2含有第二子層(亦即,子層1)之NAL單元。圖8之實例中所示之子層0及子層1的部分屬於同一位元流。 根據本發明之一或多種技術,EOB NAL單元存在於檔案之超過一個軌(亦即,軌1及軌2)中。此外,根據本發明之一或多種技術,對於每一各別軌,各別軌中之EOB NAL單元為在位元流內之最後一個AU的一部分。舉例而言,EOB NAL單元520在位元流中之軌1的最後一個AU中,且EOB NAL單元522在位元流中之軌2的最後一個AU中。 圖9A為說明根據本發明的一或多種技術之用於產生在多軌中包括EOS NAL單元之檔案的實例操作之流程圖。本發明之流程圖係實例。在根據本發明之技術的其他實例中,操作可包括更多、更少或不同動作,或包括不同次序之動作。 在圖9A之實例中,計算器件(例如,源器件12 (圖1)、檔案產生器件34 (圖1)、後處理實體127 (圖3)或另一器件)可使位元流之CVS的第一EOS NAL單元包括在檔案之第一軌中(600)。第一EOS NAL單元在CVS之第一存取單元中。為使NAL單元(例如,第一EOS NAL單元)包括在檔案軌中,器件可使NAL單元包括在樣本(諸如樣本305 (圖5)或樣本456 (圖6)中之任一者)中。在一些情況下,器件將樣本儲存於媒體資料邏輯框中,諸如媒體資料邏輯框304 (圖5)或媒體資料邏輯框454 (圖6)。在其他個例中,器件直接將樣本儲存於檔案中,而不將樣本囊封於媒體資料邏輯框中。樣本以「組塊」形式群集在該檔案中。此外,器件可在用於軌之軌邏輯框中產生樣本表邏輯框。樣本表邏輯框包括組塊偏移邏輯框(例如,具有識別符『stco』或『co64』之邏輯框)。用於軌之組塊偏移邏輯框(亦即,用於軌之軌邏輯框中的樣本表邏輯框中之組塊偏移邏輯框)包括指定含有軌之樣本的組塊的起始位置及/或偏移的資料。因此,藉由產生指示含有NAL單元(諸如第一EOS NAL單元)之組塊的組塊偏移邏輯框,檔案產生器件34可使NAL單元包括在軌中。組塊偏移邏輯框可指定組塊相對於檔案之開頭的起始位置及/或偏移。軌之樣本表邏輯框亦可包括樣本至組塊邏輯框(例如,具有識別符『stsc』之邏輯框)。器件可使用樣本至組塊邏輯框來建構指示哪些樣本在哪些組塊中之表。舉例而言,表可指示樣本20至樣本30在組塊2中。此外,軌之樣本表邏輯框包括樣本大小邏輯框(例如,具有識別符『stsz』或『stz2』)之邏輯框。如ISOBMFF 14996-12之§ 8.5.3.1中所描述,器件可使用樣本大小邏輯框中之資訊來產生指示軌中之樣本的大小的表。此外,每一樣本可包括指示樣本中之每一NAL單元的大小的資料。 此外,在圖9A之實例中,計算器件可使CVS之第二EOS NAL單元包括在檔案之第二軌中 (602)。在圖9A之實例中,第二EOS NAL單元在CVS之第二存取單元中。第二EOS NAL單元不同於第一EOS NAL單元。換言之,第一EOS NAL單元及第二EOS NAL單元為分開之EOS NAL單元。在此實例中,第一存取單元及第二存取單元可屬於不同時間子層。若存取單元中之經寫碼圖像屬於一時間子層,則存取單元可屬於該時間子層。第一存取單元及第二存取單元與不同解碼時間相關聯。 在一個實例中,計算器件可(例如,自視訊編碼器20)接收位元流。在此實例中,位元流包括第一EOS NAL單元,但不包括第二EOS NAL單元。因此,在此實例中,在接收到位元流之後,計算器件可產生第二EOS NAL單元且可使第二EOS NAL單元包括在第二軌中。 為使第二EOS NAL單元包括在第二軌中,器件可在第二軌之軌邏輯框中產生樣本表邏輯框,其指定含有第二EOS NAL單元之樣本邏輯框。 在一些實例中,第一軌包括CVS之位元流的第一組存取單元,且第一存取單元為按第一組存取單元之次序的最後一個存取單元。此外,第二軌包括CVS之位元流的第二組存取單元,且第二存取單元為按第二組存取單元之次序的最後一個存取單元。因此,在此實例中,對於在位元流(HEVC或L-HEVC位元流)之同一CVS內且屬於儲存於多軌中之不同子層的AU而言,允許在超過一個軌(例如,軌中之每一者)中存在EOS NAL單元,作為在此軌中之同一CVS內的最後一個AU的部分。 圖9B為說明根據本發明的一或多種技術之用於處理在多軌中包括EOS NAL單元之檔案的實例操作之流程圖。在圖9B之實例中,計算器件(例如,目的地器件14 (圖1)、檔案剖析單元177 (圖4)或另一計算器件)接收包含第一軌及第二軌之檔案(620)。在一些實例中,計算器件之網路介面、磁碟機、處理器或另一組件接收檔案。第一軌包括位元流(例如,HEVC或L-HEVC位元流)之CVS的第一存取單元。第二軌包括CVS之第二存取單元。在圖9B之實例中,第一存取單元包括第一EOS NAL單元且第二存取單元包括第二EOS NAL單元。第二EOS NAL單元不同於第一EOS NAL單元。換言之,第一EOS NAL單元及第二EOS NAL單元為分開之EOS NAL單元。在此實例中,第一存取單元及第二存取單元可屬於不同時間子層。第一存取單元及第二存取單元與不同解碼時間相關聯。 如圖9B之實例中所示,計算器件可基於與第一EOS NAL單元相關聯之時間及與第二EOS NAL單元相關聯之時間的比較來輸出第一EOS NAL單元並可丟棄第二EOS NAL單元(622)。在一些實例中,計算器件之網路介面、磁碟機、處理器或另一組件輸出第一EOS NAL單元。在一些實例中,基於判定第一EOS NAL單元係與大於(亦即,晚於)與第二EOS NAL單元相關聯之解碼時間的解碼時間相關聯,計算器件輸出第一EOS NAL單元作為由檔案中之NAL單元重建構之位元流的部分。此外,在一些實例中,基於判定第一EOS NAL單元係與大於(亦即,晚於)與第二EOS NAL單元相關聯之解碼時間的解碼時間相關聯,計算器件丟棄第二EOS NAL單元。因此,在此實例中,對於在同一位元流內且屬於儲存於多軌中之不同子層的AU而言,當超過一個軌含有EOS NAL單元時,將EOS NAL單元中之僅一者保持在最終經重建構位元流中並丟棄其他EOS NAL單元。計算器件可將所保持之EOS NAL單元置放在最終經重建構位元流中除EOB NAL單元(若存在)之外的所有NAL單元之後。在此實例中,與EOS NAL單元相關聯之解碼時間可為EOS NAL單元所屬之存取單元的解碼時間。 在各種實例中,計算器件可執行各種額外動作。舉例而言,計算器件可將第一軌中之CVS的NAL單元輸出至視訊解碼器(諸如視訊解碼器30),並將第二軌中之CVS的NAL單元輸出至該視訊解碼器。視訊解碼器可基於第一軌或第二軌中之至少一者中的CVS的NAL單元來解碼CVS之圖像。在一些實例中,計算器件可基於包括第一EOS NAL單元之第一存取單元來判定第一軌中不存在CVS的後續NAL單元。舉例而言,第一EOS NAL單元之存在可向計算器件指示不存在儲存於第一軌中之CVS的後續存取單元。此外,計算器件可基於包括第二EOS NAL單元之第二存取單元來判定第二軌中不存在CVS的後續存取單元。舉例而言,第二EOS NAL單元之存在可向計算器件指示不存在儲存於第二軌中之CVS的後續存取單元。 圖10A為說明根據本發明的一或多種技術之用於產生在多軌中包括EOB NAL單元之檔案的實例操作之流程圖。在圖10A之實例中,計算器件(例如,源器件12 (圖1)、檔案產生器件34 (圖1)、後處理實體127 (圖3)或另一計算器件)使位元流之CVS的第一EOB NAL單元包括在檔案之第一軌中(650)。在圖10A之實例中,第一EOB NAL單元在CVS之第一存取單元中。為使第一EOB NAL單元包括在第一軌中,器件可在第一軌之軌邏輯框中產生樣本表邏輯框,其指定含有第一EOB NAL單元之樣本邏輯框。 此外,在圖10A之實例中,計算器件使位元流之CVS的第二EOB NAL單元包括在檔案之第二軌中(652)。第二EOB NAL單元在CVS之第二存取單元中。第二EOB NAL單元不同於第一EOB NAL單元。換言之,第一EOB NAL單元及第二EOB NAL單元為分開之EOB NAL單元。第一存取單元及第二存取單元與不同解碼時間相關聯。在此實例中,第一存取單元及第二存取單元屬於不同時間子層。為使第一EOB NAL單元包括在第一軌中,器件可在第一軌之軌邏輯框中產生樣本表邏輯框,其指定含有第一EOB NAL單元之樣本邏輯框。 在一個實例中,計算器件可(例如,自視訊編碼器20)接收位元流。在此實例中,位元流包括第一EOB NAL單元,但不包括第二EOB NAL單元。因此,在此實例中,在接收到位元流之後,計算器件可產生第二EOB NAL單元且可使第二EOB NAL單元包括在第二軌中。 圖10B為說明根據本發明的一或多種技術之用於處理在多軌中包括EOB NAL單元之檔案的實例操作之流程圖。在圖10B之實例中,計算器件(例如,目的地器件14 (圖1)、檔案剖析單元177 (圖4)或另一計算器件)可接收包含第一軌及第二軌之檔案(670)。在一些實例中,計算器件之網路介面、磁碟機、處理器或另一組件接收檔案。第一軌包括位元流之CVS的第一存取單元,且第二軌包括CVS之第二存取單元。在圖10B之實例中,第一存取單元包括第一EOB NAL單元,且第二存取單元包括第二EOB NAL單元。第二EOB NAL單元不同於第一EOB NAL單元。換言之,第一EOB NAL單元及第二EOB NAL單元為分開之EOB NAL單元。在此實例中,第一存取單元及第二存取單元可屬於不同時間子層。第一存取單元及第二存取單元與不同解碼時間相關聯。 此外,在圖10B之實例中,計算器件輸出第一EOB NAL單元(例如,輸出至諸如視訊解碼器30之視訊解碼器),並丟棄第二EOB NAL單元(672)。在一些實例中,計算器件之網路介面、磁碟機、處理器或另一組件輸出第一EOB NAL單元。在一些實例中,計算器件輸出第一EOB NAL單元作為由檔案中之NAL單元重建構之位元流的部分。在一些實例中,基於判定第一存取單元單元係與大於(亦即,晚於)與第二存取單元相關聯之解碼時間的解碼時間相關聯,計算器件丟棄第二EOB NAL單元。因此,在此實例中,對於在位元流之同一CVS內且屬於儲存於多軌中之不同子層的存取單元而言,當超過一個軌含有EOB NAL單元時,將EOB NAL單元中之僅一者保持在最終經重建構位元流中並丟棄其他EOB NAL單元。計算器件可將所保持之EOB NAL單元置放在最終經重建構位元流中之最後一個存取單元的末尾處。在此實例中,與EOB NAL單元相關聯之解碼時間可為EOB NAL單元所屬之存取單元的解碼時間。 在各種實例中,計算器件可執行各種額外動作。舉例而言,計算器件可將第一軌中之CVS的NAL單元輸出至視訊解碼器(諸如視訊解碼器30),並可將第二軌中之CVS的NAL單元輸出至該視訊解碼器。視訊解碼器可基於第一軌或第二軌中之至少一者中的CVS的NAL單元來解碼CVS之圖像。在一些實例中,計算器件可基於包括第一EOB NAL單元之第一存取單元來判定不存在儲存於第一軌中之位元流的後續NAL單元。此外,計算器件可基於包括第二EOB NAL單元之第二存取單元來判定不存在儲存於第二軌中之位元流的後續NAL單元。 在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存在電腦可讀媒體上或經由電腦可讀媒體傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體,其對應於諸如資料儲存媒體之有形媒體,或包括促進(例如,根據通信協定)將電腦程式自一處傳送至另一處之任何媒體的通信媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉助於實例而非限制,此電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又,任何連接被恰當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是實際上有關非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟和藍光光碟,其中磁碟通常以磁性方式再現資料,而光碟使用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內,或併入組合式編碼解碼器中。此外,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可在廣泛多種器件或裝置中實施,該等器件或裝置包括無線手持機、積體電路(IC)或一組IC (例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求由不同硬體單元來實現。確切而言,如上文所描述,可將各種單元組合於編碼解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適之軟體及/或韌體來提供該等單元。 已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧系統12‧‧‧源器件14‧‧‧目的地器件16‧‧‧電腦可讀媒體18‧‧‧視訊源20‧‧‧視訊編碼器22‧‧‧輸出介面28‧‧‧輸入介面29‧‧‧儲存媒體30‧‧‧視訊解碼器31‧‧‧檔案剖析單元32‧‧‧顯示器件33‧‧‧儲存器件34‧‧‧檔案產生器件36‧‧‧記憶體50‧‧‧圖像52‧‧‧圖像54‧‧‧圖像56‧‧‧圖像58‧‧‧圖像127‧‧‧後處理實體129‧‧‧網路實體135‧‧‧分割單元141‧‧‧預測處理單位142‧‧‧運動估計單元144‧‧‧運動補償單元146‧‧‧框內預測處理單元150‧‧‧求和器152‧‧‧變換處理單元154‧‧‧量化單元156‧‧‧熵編碼單元158‧‧‧逆量化單元160‧‧‧逆變換處理單元162‧‧‧求和器163‧‧‧濾波器單元164‧‧‧參考圖像記憶體165‧‧‧視訊資料記憶體177‧‧‧檔案剖析單元179‧‧‧經寫碼圖像緩衝器180‧‧‧熵解碼單元181‧‧‧預測處理單元182‧‧‧運動補償單元184‧‧‧框內預測處理單元186‧‧‧逆量化單元188‧‧‧逆變換處理單元190‧‧‧求和器191‧‧‧濾波器單元192‧‧‧參考圖像記憶體300‧‧‧檔案302‧‧‧電影邏輯框304‧‧‧媒體資料邏輯框305‧‧‧樣本306‧‧‧軌邏輯框307‧‧‧媒體邏輯框308‧‧‧媒體資訊邏輯框309‧‧‧樣本表邏輯框310‧‧‧SampleToGroup邏輯框312‧‧‧SampleGroupDescription邏輯框313‧‧‧語法元素314‧‧‧語法元素315‧‧‧樣本群組項316‧‧‧語法元素317‧‧‧語法元素320‧‧‧語法元素322‧‧‧語法元素324‧‧‧群組描述項326‧‧‧組塊偏移邏輯框328‧‧‧樣本至組塊邏輯框330‧‧‧樣本大小邏輯框450‧‧‧檔案452‧‧‧電影片段邏輯框454‧‧‧媒體資料邏輯框456‧‧‧樣本458‧‧‧軌片段邏輯框462‧‧‧SampleToGroup邏輯框464‧‧‧SampleGroupDescription邏輯框470‧‧‧語法元素471‧‧‧語法元素472‧‧‧樣本群組項473‧‧‧語法元素474‧‧‧語法元素480‧‧‧語法元素482‧‧‧語法元素484‧‧‧群組描述項486‧‧‧組塊偏移邏輯框490‧‧‧樣本至組塊邏輯框492‧‧‧樣本大小邏輯框500‧‧‧EOS NAL單元502‧‧‧EOS NAL單元520‧‧‧EOB NAL單元522‧‧‧EOB NAL單元600‧‧‧步驟602‧‧‧步驟620‧‧‧步驟622‧‧‧步驟650‧‧‧步驟652‧‧‧步驟670‧‧‧步驟672‧‧‧步驟
圖1為說明可使用本發明中描述之技術的實例視訊編碼及解碼系統之方塊圖。 圖2為說明圖像之實例寫碼相依性之方塊圖。 圖3為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。 圖4為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。 圖5為說明根據本發明之一或多種技術之檔案的實例結構之概念圖。 圖6為說明根據本發明之一或多種技術之檔案的實例結構之概念圖。 圖7為說明根據本發明之一或多種技術之檔案的多軌中之序列結束(EOS)網路提取層(NAL)單元的實例之概念圖。 圖8為說明根據本發明的一或多種技術之檔案的多軌中之位元流結束(EOB) NAL單元的實例之概念圖。 圖9A為說明根據本發明的一或多種技術之用於產生在多軌中包括EOS NAL單元之檔案的實例操作之流程圖。 圖9B為說明根據本發明的一或多種技術之用於處理在多軌中包括EOS NAL單元之檔案的實例操作之流程圖。 圖10A為說明根據本發明的一或多種技術之用於產生在多軌中包括EOB NAL單元之檔案的實例操作之流程圖。 圖10B為說明根據本發明的一或多種技術之用於處理在多軌中包括EOB NAL單元之檔案的實例操作之流程圖。
500‧‧‧EOS NAL單元
502‧‧‧EOS NAL單元

Claims (36)

  1. 一種產生用於儲存視訊內容之一檔案的方法,該方法包含:使一位元流之一經寫碼視訊序列(CVS)之一第一序列結束(EOS)網路提取層(NAL)單元包括在該檔案之一第一軌中,其中該第一軌包括用於該CVS之該位元流之一第一組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括該第一EOS NAL單元且屬於一第一時間子層,且該第一存取單元為該CVS之按該第一組存取單元之次序的一最後一個存取單元;及使該同一CVS之一第二EOS NAL單元包括在該檔案之一第二軌中,其中該第二軌包括用於該CVS之該位元流之一第二組存取單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括該第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第二存取單元屬於不同於該第一時間子層之一第二時間子層,且該第二存取單元為該CVS之按該第二組存取單元之次序的一最後一個存取單元。
  2. 如請求項1之方法,其中該位元流為一高效率視訊寫碼(HEVC)位元流或一分層式HEVC位元流。
  3. 一種處理用於儲存視訊內容之一檔案的方法,該方法包含:接收包含一第一軌及一第二軌之一檔案,該第一軌包括一位元流之一經寫碼視訊序列(CVS)的一第一組存取單元,該第二軌包括該同一CVS之一第二組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括一第一序列結束(EOS)網路提取層(NAL)單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括一第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第一存取單元屬於一第一時間子層,且該第二存取單元屬於不同於該第一時間子層之一第二時間子層;及基於與該第一EOS NAL單元相關聯之一時間及與該第二EOS NAL單元相關聯之一時間的一比較來輸出該第一EOS NAL單元,並丟棄該第二EOS NAL單元。
  4. 如請求項3之方法,其中該位元流為一高效率視訊寫碼(HEVC)位元流或一分層式HEVC位元流。
  5. 如請求項3之方法,其中:該第一存取單元為按該第一組存取單元之次序的一最後一個存取單元,且該第二存取單元為按該第二組存取單元之次序的一最後一個存取單元。
  6. 如請求項3之方法,其進一步包含:將該第一軌中之該經寫碼視訊序列的NAL單元輸出至一視訊解碼器;及將該第二軌中之該經寫碼視訊序列的NAL單元輸出至該視訊解碼器。
  7. 如請求項5之方法,其進一步包含基於該第一軌或該第二軌中之至少一者中的該經寫碼視訊序列的該等NAL單元來解碼該經寫碼視訊序列的圖像。
  8. 一種產生用於儲存視訊內容之一檔案的方法,該方法包含:使一位元流之一經寫碼視訊序列(CVS)之一第一位元流結束(EOB)網路提取層(NAL)單元包括在該檔案之一第一軌中,其中該第一軌包括用於該CVS之該位元流之一第一組存取單元,該第一組存取單元包括一第一 存取單元,該第一存取單元包括該第一EOB NAL單元且屬於一第一時間子層,且該第一存取單元為該CVS之按該第一組存取單元之次序的一最後一個存取單元;及使該同一CVS之一第二EOB NAL單元包括在該檔案之一第二軌中,其中該第二軌包括用於該CVS之該位元流之一第二組存取單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括該第二EOB NAL單元,該第二EOB NAL單元不同於該第一EOB NAL單元,該第二存取單元屬於不同於該第一時間子層之一第二時間子層,且該第二存取單元為該CVS之按該第二組存取單元之次序的一最後一個存取單元。
  9. 如請求項8之方法,其中該位元流為一高效率視訊寫碼(HEVC)位元流或一分層式HEVC位元流。
  10. 一種處理用於儲存視訊內容之一檔案的方法,該方法包含:接收該檔案,該檔案包含一第一軌及一第二軌,該第一軌包括一位元流之一經寫碼視訊序列(CVS)的一第一組存取單元,該第二軌包括該同一CVS之一第二組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括一第一位元流結束(EOB)網路提取層(NAL)單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括一第二EOB NAL單元,該第二EOB NAL單元不同於該第一EOB NAL單元,該第一存取單元屬於一第一時間子層,且該第二存取單元屬於不同於該第一時間子層之一第二時間子層;及輸出該第一EOB NAL單元,並丟棄該第二EOB NAL單元。
  11. 如請求項10之方法,其中該位元流為一高效率視訊寫碼(HEVC)位元流或一分層式HEVC位元流。
  12. 如請求項10之方法,其中:該第一存取單元為按該第一組存取單元之次序的一最後一個存取單元,且該第二存取單元為按該第二組存取單元之次序的一最後一個存取單元。
  13. 如請求項10之方法,其進一步包含: 將該第一軌中之該經寫碼視訊序列的NAL單元輸出至一視訊解碼器;及將該第二軌中之該經寫碼視訊序列的NAL單元輸出至該視訊解碼器。
  14. 如請求項13之方法,其進一步包含基於該第一軌或該第二軌中之至少一者中的該經寫碼視訊序列的該等NAL單元來解碼該經寫碼視訊序列的圖像。
  15. 一種產生用於儲存視訊內容之一檔案的器件,該器件包含:一記憶體,其經組態以儲存用於儲存視訊內容之該檔案;及一或多個處理器,其經組態以:使一位元流之一經寫碼視訊序列(CVS)之一第一序列結束(EOS)網路提取層(NAL)單元包括在該檔案之一第一軌中,其中該第一軌包括用於該CVS之該位元流之一第一組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括該第一EOS NAL單元且屬於一第一時間子層,且該第一存取單元為該CVS之按該第一組存取單元之次序的一最後一個存取單元;及使該同一CVS之一第二EOS NAL單元包括在該檔案之一第二軌中,其中該第二軌包括用於該CVS之該位元流之一第二組存取單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括該第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第二存取單元屬於不同於該第一時間子層之一第二時間子層,且該第二存取單元為該CVS之按該第二組存取單元之次序的一最後一個存取單元。
  16. 如請求項15之器件,其中該位元流為一高效率視訊寫碼(HEVC)位元流或一分層式HEVC位元流。
  17. 一種用於處理用於儲存視訊內容之一檔案的器件,該器件包含:一記憶體,其經組態以儲存用於儲存視訊內容之該檔案;及一或多個處理器,其經組態以:接收包含一第一軌及一第二軌之一檔案,該第一軌包括一位元流之一經寫碼視訊序列(CVS)的一第一組存取單元,該第二軌包括該同一CVS之一第二組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括一第一序列結束(EOS)網路提取層(NAL)單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括一第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第一存取單元屬於一第一時間子層,且該第二存取單元 屬於不同於該第一時間子層之一第二時間子層;及基於與該第一EOS NAL單元相關聯之一時間及與該第二EOS NAL單元相關聯之一時間的一比較來輸出該第一EOS NAL單元,並丟棄該第二EOS NAL單元。
  18. 如請求項17之器件,其中該位元流為一高效率視訊寫碼(HEVC)位元流或一分層式HEVC位元流。
  19. 如請求項17之器件,其中:該第一存取單元為按該第一組存取單元之次序的一最後一個存取單元,且該第二存取單元為按該第二組存取單元之次序的一最後一個存取單元。
  20. 如請求項17之器件,其中該一或多個處理器經進一步組態以:將該第一軌中之該經寫碼視訊序列的NAL單元輸出至一視訊解碼器;及將該第二軌中之該經寫碼視訊序列的NAL單元輸出至該視訊解碼器。
  21. 如請求項20之器件,其中該一或多個處理器經進一步組態以基於該 第一軌或該第二軌中之至少一者中的該經寫碼視訊序列的該等NAL單元來解碼該經寫碼視訊序列的圖像。
  22. 一種產生用於儲存視訊內容之一檔案的器件,該器件包含:一記憶體,其經組態以儲存用於儲存視訊內容之該檔案;及一或多個處理器,其經組態以:使一位元流之一經寫碼視訊序列(CVS)之一第一位元流結束(EOB)網路提取層(NAL)單元包括在該檔案之一第一軌中,其中該第一軌包括用於該位元流之該CVS之一第一組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括該第一EOB NAL單元且屬於一第一時間子層,且該第一存取單元為該CVS之按該第一組存取單元之次序的一最後一個存取單元;及使該同一CVS之一第二EOB NAL單元包括在該檔案之一第二軌中,其中該第二軌包括用於該CVS之該位元流之一第二組存取單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括該第二EOB NAL單元,該第二EOB NAL單元不同於該第一EOB NAL單元,該第二存取單元屬於不同於該第一時間子層之一第二時間子層,且該第二存取單元為該CVS之按該第二組存取單元之次序的一最後一個存取單元。
  23. 如請求項22之器件,其中該位元流為一高效率視訊寫碼(HEVC)位元流或一分層式HEVC位元流。
  24. 一種用於處理用於儲存視訊內容之一檔案的器件,該器件包含:一記憶體,其經組態以儲存用於儲存視訊內容之該檔案;及一或多個處理器,其經組態以:接收包含一第一軌及一第二軌之一檔案,該第一軌包括一位元流之一經寫碼視訊序列(CVS)的一第一組存取單元,該第二軌包括該同一CVS之一第二組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括一第一位元流結束(EOB)網路提取層(NAL)單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括一第二EOB NAL單元,該第二EOB NAL單元不同於該第一EOB NAL單元,該第一存取單元屬於一第一時間子層,且該第二存取單元屬於不同於該第一時間子層之一第二時間子層;及輸出該第一EOB NAL單元並丟棄該第二EOB NAL單元。
  25. 如請求項24之器件,其中該位元流為一高效率視訊寫碼(HEVC)位元 流或一分層式HEVC位元流。
  26. 如請求項24之器件,其中:該第一存取單元為按該第一組存取單元之次序的一最後一個存取單元,且該第二存取單元為按該第二組存取單元之次序的一最後一個存取單元。
  27. 如請求項24之器件,其中該一或多個處理器經進一步組態以:將該第一軌中之該經寫碼視訊序列的NAL單元輸出至一視訊解碼器;及將該第二軌中之該經寫碼視訊序列的NAL單元輸出至該視訊解碼器。
  28. 如請求項27之器件,其中該一或多個處理器經進一步組態以基於該第一軌或該第二軌中之至少一者中的該經寫碼視訊序列的該等NAL單元來解碼該經寫碼視訊序列的圖像。
  29. 一種產生用於儲存視訊內容之一檔案的器件,該器件包含:用於使一位元流之一經寫碼視訊序列(CVS)之一第一序列結束(EOS)網路提取層(NAL)單元包括在該檔案之一第一軌中的構件,其中該第一軌包括用於該CVS之該位元流之一第一組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括該第一EOS NAL單元 且屬於一第一時間子層,且該第一存取單元為該CVS之按該第一組存取單元之次序的一最後一個存取單元;及用於使該同一CVS之一第二EOS NAL單元包括在該檔案之一第二軌中的構件,其中該第二軌包括用於該CVS之該位元流之一第二組存取單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括該第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第二存取單元屬於不同於該第一時間子層之一第二時間子層,且該第二存取單元為該CVS之按該第二組存取單元之次序的一最後一個存取單元。
  30. 一種用於處理用於儲存視訊內容之一檔案的器件,該器件包含:用於接收包含一第一軌及一第二軌之一檔案的構件,該第一軌包括一位元流之一經寫碼視訊序列(CVS)的一第一組存取單元,該第二軌包括該同一CVS之一第二組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括一第一序列結束(EOS)網路提取層(NAL)單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括一第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第一存取單元屬於一第一時間子層,且該第二存取單元屬於不同於該第一時間子層之一第二時間子層;及用於基於與該第一EOS NAL單元相關聯之一時間及與該第二EOS NAL單元相關聯之一時間的一比較來輸出該第一EOS NAL單元並丟棄該第二EOS NAL單元的構件。
  31. 一種產生用於儲存視訊內容之一檔案的器件,該器件包含:用於使一位元流之一經寫碼視訊序列(CVS)之一第一位元流結束(EOB)網路提取層(NAL)單元包括在該檔案之一第一軌中的構件,其中該第一軌包括用於該CVS之該位元流之一第一組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括該第一EOB NAL單元且屬於一第一時間子層,且該第一存取單元為該CVS之按該第一組存取單元之次序的一最後一個存取單元;及用於使該同一CVS之一第二EOB NAL單元包括在該檔案之一第二軌中的構件,其中該第二軌包括用於該CVS之該位元流之一第二組存取單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括該第二EOB NAL單元,該第二EOB NAL單元不同於該第一EOB NAL單元,該第二存取單元屬於不同於該第一時間子層之一第二時間子層,且該第二存取單元為該CVS之按該第二組存取單元之次序的一最後一個存取單元。
  32. 一種用於處理儲存視訊內容之一檔案的器件,該器件包含:用於接收包含一第一軌及一第二軌之一檔案的構件,該第一軌包括一位元流之一經寫碼視訊序列(CVS)的一第一組存取單元,該第二軌包括同一CVS之一第二組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括一第一位元流結束(EOB)網路提取層(NAL)單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括一第二EOB NAL單元,該第二EOB NAL單元不同於該第一EOB NAL單元,該第一存取單元屬於一第一時間子層,且該第二存取單元屬於不同於該第一時間子層之一第二時間子層;及用於輸出該第一EOB NAL單元並丟棄該第二EOB NAL單元的構件。
  33. 一種其上儲存有指令之非暫時性電腦可讀儲存媒體,該等指令在經執行時使得計算器件:使一位元流之一經寫碼視訊序列(CVS)之一第一序列結束(EOS)網路提取層(NAL)單元包括在該檔案之一第一軌中,其中該第一軌包括用於該CVS之該位元流之一第一組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括該第一EOS NAL單元且屬於一第一時間子層,且該第一存取單元為該CVS之按該第一組存取單元之次序的一最後一個存取單元;及使該同一CVS之一第二EOS NAL單元包括在該檔案之一第二軌中,其中該第二軌包括用於該CVS之該位元流之一第二組存取單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括該第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第二存取單元屬於不同於該第一時間子層之一第二時間子層,且該第二存取單元為該CVS之按該第二組存取單元之次序的一最後一個存取單元。
  34. 一種其上儲存有指令之非暫時性電腦可讀儲存媒體,該等指令在經執行時使得用於處理用於儲存視訊內容之一檔案的一計算器件:接收該檔案,該檔案包含一第一軌及一第二軌,該第一軌包括一位元流之一經寫碼視訊序列(CVS)的一第一組存取單元,該第二軌包括該 同一CVS之一第二組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括一第一序列結束(EOS)網路提取層(NAL)單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括一第二EOS NAL單元,該第二EOS NAL單元不同於該第一EOS NAL單元,該第一存取單元屬於一第一時間子層,且該第二存取單元屬於不同於該第一時間子層之一第二時間子層;及基於與該第一EOS NAL單元相關聯之一時間及與該第二EOS NAL單元相關聯之一時間的一比較來輸出該第一EOS NAL單元,並丟棄該第二EOS NAL單元。
  35. 一種其上儲存有指令之非暫時性電腦可讀儲存媒體,該等指令在經執行時使得用於產生用於儲存視訊內容之一檔案的一計算器件:使一位元流之一經寫碼視訊序列(CVS)之一第一位元流結束(EOB)網路提取層(NAL)單元包括在該檔案之一第一軌中,其中該第一軌包括用於該CVS之該位元流之一第一組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括該第一EOB NAL單元且屬於一第一時間子層,且該第一存取單元為該CVS之按該第一組存取單元之次序的一最後一個存取單元;及使該同一CVS之一第二EOB NAL單元包括在該檔案之一第二軌中,其中該第二軌包括用於該CVS之該位元流之一第二組存取單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括該第二EOB NAL單元,該第二EOB NAL單元不同於該第一EOB NAL單元,該第二存取單元屬於不同於該第一時間子層之一第二時間子層,且該第二存取 單元為該CVS之按該第二組存取單元之次序的一最後一個存取單元。
  36. 一種其上儲存有指令之非暫時性電腦可讀儲存媒體,該等指令在經執行時使得用於處理用於儲存視訊內容之一檔案的一計算器件:接收該檔案,該檔案包含一第一軌及一第二軌,該第一軌包括一位元流之一經寫碼視訊序列(CVS)的一第一組存取單元,該第二軌包括該同一CVS之一第二組存取單元,該第一組存取單元包括一第一存取單元,該第一存取單元包括一第一位元流結束(EOB)網路提取層(NAL)單元,該第二組存取單元包括一第二存取單元,該第二存取單元包括一第二EOB NAL單元,該第二EOB NAL單元不同於該第一EOB NAL單元,該第一存取單元屬於一第一時間子層,且該第二存取單元屬於不同於該第一時間子層之一第二時間子層;及輸出該第一EOB NAL單元並丟棄該第二EOB NAL單元。
TW106117029A 2016-05-23 2017-05-23 分開之檔案軌中之序列結束及位元流結束網路提取層(nal)單元 TWI763669B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662340437P 2016-05-23 2016-05-23
US62/340,437 2016-05-23
US15/601,233 2017-05-22
US15/601,233 US10623755B2 (en) 2016-05-23 2017-05-22 End of sequence and end of bitstream NAL units in separate file tracks

Publications (2)

Publication Number Publication Date
TW201743607A TW201743607A (zh) 2017-12-16
TWI763669B true TWI763669B (zh) 2022-05-11

Family

ID=60330621

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106117029A TWI763669B (zh) 2016-05-23 2017-05-23 分開之檔案軌中之序列結束及位元流結束網路提取層(nal)單元

Country Status (9)

Country Link
US (2) US10623755B2 (zh)
EP (1) EP3466094A1 (zh)
JP (1) JP6960945B2 (zh)
KR (1) KR102604891B1 (zh)
CN (1) CN109155877B (zh)
BR (1) BR112018073877A2 (zh)
CA (1) CA3020519A1 (zh)
TW (1) TWI763669B (zh)
WO (1) WO2017205325A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623755B2 (en) 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
GB2560921B (en) 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US10904574B2 (en) 2018-09-13 2021-01-26 Tencent America LLC Method and device using an out of band end of stream NAL unit in decoding
US10999590B2 (en) * 2018-12-28 2021-05-04 Tencent America LLC Method for identification of random access point and picture types
CN112118453B (zh) * 2019-06-20 2024-08-09 腾讯美国有限责任公司 视频解码方法和设备、计算机设备以及存储介质
BR112021024418A2 (pt) * 2019-06-21 2022-01-18 Ericsson Telefon Ab L M Métodos para a decodificação de um conjunto de imagens a partir de um fluxo contínuo de bits e para a codificação de uma imagem, decodificador de vídeo, codificador de vídeo, programa de computador, e, portadora
KR20210080967A (ko) * 2019-12-23 2021-07-01 에스케이하이닉스 주식회사 컨트롤러 및 컨트롤러의 동작방법
US11343524B2 (en) * 2019-12-27 2022-05-24 Tencent America LLC Method for adaptation parameter set reference and constraints in coded video stream
US11792432B2 (en) * 2020-02-24 2023-10-17 Tencent America LLC Techniques for signaling and identifying access unit boundaries
CN111541901B (zh) * 2020-05-11 2022-05-27 网易(杭州)网络有限公司 图片解码的方法和装置
JP7506188B2 (ja) 2020-05-22 2024-06-25 バイトダンス インコーポレイテッド コーディングされた映像におけるシーケンスの終端の表示
EP4150901A4 (en) 2020-06-12 2023-10-18 ByteDance Inc. IMAGE HEADER CONSTRAINTS FOR MULTILAYER VIDEO CODING
US11750815B2 (en) 2020-09-17 2023-09-05 Lemon, Inc. Versatile video coding track coding
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding
KR20230159499A (ko) * 2021-04-19 2023-11-21 엘지전자 주식회사 미디어 파일 처리 방법 및 그 장치
EP4329315A4 (en) * 2021-04-19 2024-08-21 Lg Electronics Inc METHOD AND APPARATUS FOR CREATING/RECEIVING A MEDIA FILE BASED ON AN EOS SAMPLE GROUP AND METHOD FOR SENDING A MEDIA FILE
GB2618298A (en) * 2021-09-21 2023-11-08 V Nova Int Ltd Low complexity enhancement video coding with temporal scalability

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150078456A1 (en) * 2013-07-31 2015-03-19 Nokia Corporation Method and apparatus for video coding and decoding
WO2015052939A1 (en) * 2013-10-10 2015-04-16 Sharp Kabushiki Kaisha Alignment of picture order count
US20150110473A1 (en) * 2013-10-23 2015-04-23 Qualcomm Incorporated Multi-layer video file format designs

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US20070006274A1 (en) * 2005-06-30 2007-01-04 Toni Paila Transmission and reception of session packets
US20090161762A1 (en) * 2005-11-15 2009-06-25 Dong-San Jun Method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
CN101632081B (zh) * 2006-11-08 2016-08-03 沙金特&绿叶公司 现金追踪系统
CA2730543C (en) * 2008-07-16 2014-04-22 Nokia Corporation Method and apparatus for track and track subset grouping
US8514942B2 (en) * 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction
EP2424257A4 (en) * 2009-04-24 2015-12-02 Lg Electronics Inc VIDEO DISPLAY DEVICE AND OPERATING METHOD THEREFOR
US9917874B2 (en) * 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US8914835B2 (en) * 2009-10-28 2014-12-16 Qualcomm Incorporated Streaming encoded video data
EP2589222B1 (en) * 2010-06-29 2021-02-24 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130195201A1 (en) * 2012-01-10 2013-08-01 Vidyo, Inc. Techniques for layered video encoding and decoding
WO2013109178A1 (en) * 2012-01-20 2013-07-25 Telefonaktiebolaget L M Ericsson (Publ) Sub-bitstream extraction
US9578326B2 (en) * 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
AU2013285333A1 (en) * 2012-07-02 2015-02-05 Nokia Technologies Oy Method and apparatus for video coding
US9479774B2 (en) 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US9584825B2 (en) * 2012-09-27 2017-02-28 Qualcomm Incorporated Long-term reference picture signaling in video coding
KR101561012B1 (ko) * 2012-09-28 2015-10-15 텔레폰악티에볼라겟엘엠에릭슨(펍) 비디오 시퀀스의 픽처의 디코딩 및 인코딩
US9706199B2 (en) * 2012-09-28 2017-07-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10038899B2 (en) * 2012-10-04 2018-07-31 Qualcomm Incorporated File format for video data
US9900609B2 (en) * 2013-01-04 2018-02-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US9402076B2 (en) * 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
JP5672320B2 (ja) * 2013-02-26 2015-02-18 Nttエレクトロニクス株式会社 デコーダ装置
WO2014162750A1 (en) * 2013-04-05 2014-10-09 Sharp Kabushiki Kaisha Random access point pictures
US9596486B2 (en) * 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
US9602822B2 (en) * 2013-04-17 2017-03-21 Qualcomm Incorporated Indication of cross-layer picture type alignment in multi-layer video coding
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
JP6505026B2 (ja) * 2013-07-10 2019-04-24 シャープ株式会社 符号化方法
WO2015009693A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Layer based hrd buffer management for scalable hevc
JP5774652B2 (ja) * 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20160249056A1 (en) * 2013-10-10 2016-08-25 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coded data
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
MX352916B (es) * 2013-10-14 2017-12-14 Ericsson Telefon Ab L M Alineación de conteo de orden de imágenes en video escalable.
WO2015056182A2 (en) * 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding
US10284894B2 (en) * 2014-02-03 2019-05-07 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for naming video content chunks
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US11388441B2 (en) * 2014-03-18 2022-07-12 Qualcomm Incorporated Derivation of SPS temporal ID nesting information for multi-layer bitstreams
KR101560727B1 (ko) * 2014-04-07 2015-10-15 네이버 주식회사 멀티트랙 비디오 컨텐츠의 제공을 위한 멀티트랙 비디오 컨텐츠 서비스 방법 및 시스템
US9866852B2 (en) * 2014-06-20 2018-01-09 Qualcomm Incorporated Video coding using end of sequence network abstraction layer units
WO2016098056A1 (en) * 2014-12-18 2016-06-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
GB2534136A (en) * 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
US20170094288A1 (en) * 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US9788022B2 (en) * 2015-09-29 2017-10-10 Verizon Patent And Licensing Inc. Systems and methods for optimizing digital advertisement insertion
US10349067B2 (en) * 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
US10623755B2 (en) 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
EP3466079B1 (en) * 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150078456A1 (en) * 2013-07-31 2015-03-19 Nokia Corporation Method and apparatus for video coding and decoding
WO2015052939A1 (en) * 2013-10-10 2015-04-16 Sharp Kabushiki Kaisha Alignment of picture order count
US20150110473A1 (en) * 2013-10-23 2015-04-23 Qualcomm Incorporated Multi-layer video file format designs

Also Published As

Publication number Publication date
TW201743607A (zh) 2017-12-16
KR102604891B1 (ko) 2023-11-21
US11115669B2 (en) 2021-09-07
US20200154116A1 (en) 2020-05-14
CN109155877A (zh) 2019-01-04
CN109155877B (zh) 2021-09-21
BR112018073877A2 (pt) 2019-02-26
EP3466094A1 (en) 2019-04-10
KR20190013763A (ko) 2019-02-11
WO2017205325A1 (en) 2017-11-30
JP6960945B2 (ja) 2021-11-05
US10623755B2 (en) 2020-04-14
CA3020519A1 (en) 2017-11-30
JP2019520739A (ja) 2019-07-18
US20170339421A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
TWI763669B (zh) 分開之檔案軌中之序列結束及位元流結束網路提取層(nal)單元
CN108886642B (zh) 在高效率视频写码及分层高效率视频写码文件格式的图块分组的改进
US10298938B2 (en) Sample entry and operation point signalling in a layered video file format
US9648348B2 (en) Multi-layer video file format designs
EP3257262B1 (en) Sample grouping signaling in file formats
JP6637613B2 (ja) L−hevcファイルフォーマットにおけるビットストリーム終了nalユニットの処理、ならびにhevcおよびl−hevcタイルトラックの改善