TW201415896A - 寫碼用於視訊寫碼之隨機存取圖像 - Google Patents

寫碼用於視訊寫碼之隨機存取圖像 Download PDF

Info

Publication number
TW201415896A
TW201415896A TW102124775A TW102124775A TW201415896A TW 201415896 A TW201415896 A TW 201415896A TW 102124775 A TW102124775 A TW 102124775A TW 102124775 A TW102124775 A TW 102124775A TW 201415896 A TW201415896 A TW 201415896A
Authority
TW
Taiwan
Prior art keywords
image
nal unit
sei
rap
unit
Prior art date
Application number
TW102124775A
Other languages
English (en)
Other versions
TWI539799B (zh
Inventor
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201415896A publication Critical patent/TW201415896A/zh
Application granted granted Critical
Publication of TWI539799B publication Critical patent/TWI539799B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

在一實例中，一種用於解碼視訊資料之器件包括一處理器，該處理器經組態以：自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片，其中該NAL單元包括一NAL單元類型值，該NAL單元類型值指示該RAP圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；基於該NAL單元類型值，判定該RAP圖像是否可具有相關聯之引導圖像；及基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料。

Description

寫碼用於視訊寫碼之隨機存取圖像 相關申請案
本申請案主張以下申請案之權利：2012年7月10日申請之美國臨時申請案第61/670,066號，該申請案據此以其全文引用之方式併入本文中。
本發明大體上係關於處理視訊資料，且更特定而言，係關於用於視訊資料中之隨機存取圖像。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如描述於以下各者中之彼等技術：由ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262、ISO/IEC MPEG-2 Visual、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準，及目前在開發之高效率視訊寫碼(HEVC)標準，及此等標準之擴展。視訊器件可藉由實施此等視訊寫碼技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之預測性視訊寫碼，可將視訊切片(例如，視訊圖框或視訊圖框之一部分)分割為視訊區塊，該等視訊區塊亦可被稱作巨集區塊、樹型區塊、寫碼樹單元(CTU)、寫碼樹型區塊(CTB)、寫碼單元(CU)及/或寫碼節點。使用相對於相同圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)切片中的視訊區塊。圖像之經框間寫碼(P或B)切片中之視訊區塊可使用相對於相同圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。像素亦可被稱作圖像元素、像元或樣本。根據指向形成預測性區塊之參考樣本的區塊的運動向量，及指示經寫碼區塊與預測性區塊之間的差異的殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列的經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多之壓縮。
大體而言，本發明描述用於處理視訊資料之技術。詳言之，本發明描述可用以進行以下操作之技術：減少諸如交談式應用程式之視訊應用程式中的延遲，提供隨機存取一經寫碼視訊序列中之改良，及提供用於具有固定圖像速率且支援時間可調性的視訊內容之資訊。
在一實例中，一種解碼視訊資料之方法包括：自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片， 其中該NAL單元包括一NAL單元類型值，其指示該RAP圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；基於該NAL單元類型值判定該RAP圖像是否可具有相關聯之引導圖像；及基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料。
在另一實例中，一種用於解碼視訊資料之器件，該器件包含一處理器，該處理器經組態以：自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片，其中該NAL單元包括一NAL單元類型值，其指示該RAP圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；基於該NAL單元類型值判定該RAP圖像是否可具有相關聯之引導圖像；及基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料。
在另一實例中，一種用於解碼視訊資料之器件包括：用於自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片的構件，其中該NAL單元包括一NAL單元類型值，其指示該RAP圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；用於基於該NAL單元類型值判定該RAP圖像是否可具有相關聯之引導圖像的構件；及用於基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料的構件。
在另一實例中，一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時使得一處理器進行以下操作：自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片，其中該NAL單元包括一NAL單元類型值，其指示該RAP圖像是否為可具有相 關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；基於該NAL單元類型值判定該RAP圖像是否可具有相關聯之引導圖像；及基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料。
在另一實例中，一種產生包括視訊資料之一位元串流的方法，該方法包含：判定一隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像包含一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；將該RAP圖像之一切片囊封於一網路抽取層(NAL)單元中，其中該NAL單元包括一NAL單元類型值，其指示該RAP圖像是否為可具有相關聯之引導圖像的一類型；及產生包括該NAL單元之一位元串流。
在另一實例中，一種用於產生包括視訊資料之一位元串流的器件包括一處理器，該處理器經組態以進行以下操作：判定一隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像包含一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；將該RAP圖像之一切片囊封於一網路抽取層(NAL)單元中，其中該NAL單元包括一NAL單元類型值，其指示該RAP圖像是否為可具有相關聯之引導圖像的一類型；及產生包括該NAL單元之一位元串流。
在另一實例中，一種用於產生包括視訊資料之一位元串流的器件包括：用於判定一隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像包含一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像的構件；用於將該RAP圖像之一切片囊封於一網路抽取層(NAL)單元中的構件，其中該NAL單元包括一NAL單元類型值，其指示該RAP圖像是否為可具有相關聯之引導圖像的一類型；及用於產生包括該NAL單元之一位元串流的構件。
在另一實例中，一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時使得一處理器進行以下操作：判定一隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像包含一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；將該RAP圖像之一切片囊封於一網路抽取層(NAL)單元中，其中該NAL單元包括一NAL單元類型值，其指示該RAP圖像是否為可具有相關聯之引導圖像的一類型；及產生包括該NAL單元之一位元串流。
在另一實例中，一種解碼視訊資料之方法包括：針對一位元串流之一額外增強資訊(SEI)網路抽取層(NAL)單元，判定該SEI NAL單元之一NAL單元類型值指示該NAL單元包含包括一前置SEI訊息之一前置SEI NAL單元抑或包括一後置SEI訊息之一後置SEI NAL單元；及基於該SEI NAL單元為該前置SEI NAL單元抑或該後置SEI NAL單元及該SEI NAL單元之資料，解碼在該SEI NAL單元之後的該位元串流之視訊資料。
在另一實例中，一種用於解碼視訊資料之器件包括一處理器，該處理器經組態以：針對一位元串流之一額外增強資訊(SEI)網路抽取層(NAL)單元，判定該SEI NAL單元之一NAL單元類型值指示該NAL單元包含包括一前置SEI訊息之一前置SEI NAL單元抑或包括一後置SEI訊息之一後置SEI NAL單元；及基於該SEI NAL單元為該前置SEI NAL單元抑或該後置SEI NAL單元及該SEI NAL單元之資料，解碼在該SEI NAL單元之後的該位元串流之視訊資料。
在另一實例中，一種用於解碼視訊資料之器件包括：用於針對一位元串流之一額外增強資訊(SEI)網路抽取層(NAL)單元，判定該SEI NAL單元之一NAL單元類型值指示該NAL單元包含包括一前置SEI訊息之一前置SEI NAL單元抑或包括一後置SEI訊息之一後置SEI NAL單元的構件；及用於基於該SEI NAL單元為該前置SEI NAL單元 抑或該後置SEI NAL單元及該SEI NAL單元之資料，解碼在該SEI NAL單元之後的該位元串流之視訊資料的構件。
在另一實例中，一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時使得一處理器進行以下操作：針對一位元串流之一額外增強資訊(SEI)網路抽取層(NAL)單元，判定該SEI NAL單元之一NAL單元類型值指示該NAL單元包含包括一前置SEI訊息之一前置SEI NAL單元抑或包括一後置SEI訊息之一後置SEI NAL單元；及基於該SEI NAL單元為該前置SEI NAL單元抑或該後置SEI NAL單元及該SEI NAL單元之資料，解碼在該SEI NAL單元之後的該位元串流之視訊資料。
在另一實例中，一種產生包括視訊資料之一位元串流的方法包括：判定一額外增強資訊(SEI)訊息為一前置SEI訊息抑或一後置SEI訊息，其中該SEI訊息包括與經編碼視訊資料有關的資料；將該SEI訊息囊封於一SEI NAL單元中，其中該SEI NAL單元包括一NAL單元類型值，其指示該SEI NAL單元為一前置SEI NAL單元抑或一後置SEI NAL單元，及該SEI訊息為一前置SEI訊息抑或一後置SEI訊息；及產生至少包括該SEI NAL單元之一位元串流。
在另一實例中，一種用於產生包括視訊之一位元串流的器件包括一處理器，該處理器經組態以：判定一額外增強資訊(SEI)訊息為一前置SEI訊息抑或一後置SEI訊息，其中該SEI訊息包括與經編碼視訊資料有關的資料；將該SEI訊息囊封於一SEI NAL單元中，其中該SEI NAL單元包括一NAL單元類型值，其指示該SEI NAL單元為一前置SEI NAL單元抑或一後置SEI NAL單元，及該SEI訊息為一前置SEI訊息抑或一後置SEI訊息；及產生至少包括該SEI NAL單元之一位元串流。
在另一實例中，一種用於產生包括視訊資料之一位元串流的器 件包括：用於判定一額外增強資訊(SEI)訊息為一前置SEI訊息抑或一後置SEI訊息之構件，其中該SEI訊息包括與經編碼視訊資料有關的資料；用於將該SEI訊息囊封於一SEI NAL單元中之構件，其中該SEI NAL單元包括一NAL單元類型值，其指示該SEI NAL單元為一前置SEI NAL單元抑或一後置SEI NAL單元，及該SEI訊息為一前置SEI訊息抑或一後置SEI訊息；及用於產生至少包括該SEI NAL單元之一位元串流的構件。
在另一實例中，一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時使得一處理器進行以下操作：判定一額外增強資訊(SEI)訊息為一前置SEI訊息抑或一後置SEI訊息，其中該SEI訊息包括與經編碼視訊資料有關的資料；將該SEI訊息囊封於一SEI NAL單元中，其中該SEI NAL單元包括一NAL單元類型值，其指示該SEI NAL單元為一前置SEI NAL單元抑或一後置SEI NAL單元，及該SEI訊息為一前置SEI訊息抑或一後置SEI訊息；及產生至少包括該SEI NAL單元之一位元串流。
在另一實例中，一種呈現視訊資料之方法包括：判定該視訊資料之一整數值；判定一第一圖像之一呈現時間與一第二圖像之一呈現時間之間的一差值，其中該差值等於該整數值乘以一時鐘刻度值；及根據該所判定之差值，呈現該第一圖像及該第二圖像。
在另一實例中，一種用於呈現視訊資料之器件包括一處理器，該處理器經組態以：判定該視訊資料之一整數值；判定一第一圖像之一呈現時間與一第二圖像之一呈現時間之間的一差值，其中該差值等於該整數值乘以一時鐘刻度值；及根據該所判定之差值，呈現該第一圖像及該第二圖像。
在另一實例中，一種用於呈現視訊資料之器件包括：用於判定該視訊資料之一整數值的構件；用於判定一第一圖像之一呈現時間與 一第二圖像之一呈現時間之間的一差值的構件，其中該差值等於該整數值乘以一時鐘刻度值；及用於根據該所判定之差值，呈現該第一圖像及該第二圖像的構件。
在另一實例中，一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時使得一處理器進行以下操作：判定該視訊資料之一整數值；判定一第一圖像之一呈現時間與一第二圖像之一呈現時間之間的一差值，其中該差值等於該整數值乘以一時鐘刻度值；及根據該所判定之差值，呈現該第一圖像及該第二圖像。
在另一實例中，一種產生包括視訊資料之一位元串流的方法包括：產生指示一第一圖像之一呈現時間與一第二圖像之一呈現時間之間的一差是否為一時鐘刻度值之一整數倍的資料；及在該資料指示該差為該時鐘刻度值之該整數倍時，產生表示該整數倍數之資料。
在另一實例中，一種用於產生包括視訊資料之一位元串流的器件包括一處理器，該處理器經組態以進行以下操作：產生指示一第一圖像之一呈現時間與一第二圖像之一呈現時間之間的一差是否為一時鐘刻度值之一整數倍的資料；及在該資料指示該差為該時鐘刻度值之該整數倍時，產生表示該整數倍數之資料。
在另一實例中，一種用於產生包括視訊資料之一位元串流的器件包括：用於產生指示一第一圖像之一呈現時間與一第二圖像之一呈現時間之間的一差是否為一時鐘刻度值之一整數倍的資料的構件；及用於在該資料指示該差為該時鐘刻度值之該整數倍時，產生表示該整數倍數之資料的構件。
在另一實例中，一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時使得一處理器進行以下操作：產生指示一第一圖像之一呈現時間與一第二圖像之一呈現時間之間的一差是否為一時鐘刻度值之一整數倍的資料；及在該資料指示該差為該時鐘刻度值之該整數倍 時，產生表示該整數倍數之資料。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍而顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧寫碼結構單元
20‧‧‧視訊編碼器
21‧‧‧囊封單元
22‧‧‧輸出介面
28‧‧‧輸入介面
29‧‧‧解囊封單元
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
100‧‧‧視訊序列
200‧‧‧經寫碼視訊序列
202‧‧‧AU定界符NAL單元
204‧‧‧PPS NAL單元
206‧‧‧slice1 NAL單元
208‧‧‧slice2 NAL單元
402‧‧‧VCL NAL單元建構器
404‧‧‧非VCL NAL單元建構器
406‧‧‧存取單元建構器
408‧‧‧位元串流輸出介面
圖1為說明根據預測性視訊寫碼技術寫碼之視訊序列的概念圖。
圖2為說明經寫碼視訊序列之一實例的概念圖。
圖3為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統的方塊圖。
圖4為說明可實施本發明中所描述之技術的實例囊封單元的方塊圖。
圖5為說明根據本發明之技術產生VCL NAL單元之一實例的流程圖。
圖6為說明根據本發明之技術產生非VCL NAL單元之一實例的流程圖。
圖7為說明用信號發出呈現時間增量值之一實例的流程圖。
圖8為說明可實施本發明中所描述之技術的實例視訊編碼器的方塊圖。
圖9為說明判定呈現時間增量值之一實例的流程圖。
圖10為說明可實施本發明中所描述之技術的實例視訊解碼器的方塊圖。
本發明描述各種改良之視訊寫碼設計。詳言之，本發明描述可用以減少諸如交談式應用程式之視訊應用程式中的延遲，及提供隨機存取經寫碼視訊序列中之改良的技術。
數位視訊器件實施視訊壓縮技術以更有效率地編碼及解碼數位 視訊資訊。可根據視訊寫碼標準(諸如，AVC或HEVC)來定義視訊壓縮技術。ITU-T H.264/MPEG-4(AVC)標準由ITU-T視訊寫碼專家群組(VCEG)連同ISO/IEC動畫專家群組(MPEG)一起闡明為被稱為聯合視訊小組(JVT)之集體合作的產品。H.264標準由ITU-T研究群組且在日期為2005年3月描述於ITU-T推薦H.264(用於一般視聽服務之進階視訊寫碼)中，其在本文中可被稱作H.264標準或H.264規範或H.264/AVC標準或規範。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之擴展。
HEVC之最新工作草案(其被稱作「HEVC工作草案7」或「WD7」)描述於文件JCTVC-I1003_d5(Bross等人，「WD7：Working Draft 7 of High-Efficiency Video Coding(HEVC)」，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC)，第9次會議：Switzerland之Geneva，2012年4月27日至2012年5月7日)中。另外，HEVC之另一最新工作草案(工作草案9)描述於文件HCTVC-K1003_d7(Bross等人，「High Efficiency Video Coding(HEVC)Text Specification Draft 9」，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC)，第11次會議：中國上海，2012年10月)中。即將到來的HEVC標準亦可被稱作ISO/IEC 23008-HEVC，其意欲為HEVC之交付版本的標準編號。在一些態樣中，本發明中所描述之技術可應用於大體上符合H.264及/或即將到來的HEVC標準之器件。儘管關於H.264標準及即將到來的HEVC標準描述本發明之技術，但本發明之技術大體上可適用於任何視訊寫碼標準。
視訊序列通常包括一系列視訊圖框，視訊圖框亦被稱作圖像。編碼及/或解碼視訊序列之視訊應用程式的實例包括本端播放、串流、廣播、多播及交談式應用程式。交談式應用程式包括視訊電話及視訊會議，且亦被稱作低延遲應用程式。交談式應用程式需要全部系 統之相對較低的端間延遲，亦即，在第一數位視訊器件處俘獲視訊圖框的時間與在第二數位視訊器件處顯示該視訊圖框的時間之間的延遲。對於交談式應用程式，通常可接受的端間延遲應小於400ms，且大約150ms之端間延遲被視為極好的。
與處理視訊序列相關聯之每一步驟可有助於總的端間延遲。與處理視訊序列相關聯之延遲的實例包括俘獲延遲、預處理延遲、編碼延遲、傳輸延遲、接收緩衝延遲(用於解除抖動)、解碼延遲、經解碼圖像輸出延遲、後處理延遲及顯示延遲。與根據特定視訊寫碼標準寫碼視訊序列相關聯之延遲可被稱作編解碼器延遲，且其可包括編碼延遲、解碼延遲及經解碼圖像輸出延遲。在交談式應用程式中應使編解碼器延遲最小化。詳言之，視訊序列之寫碼結構應確保視訊序列中之圖像之輸出次序與該視訊序列中之圖像之解碼次序相同，使得經解碼圖像輸出延遲等於零。視訊序列之寫碼結構部分地指代用以編碼視訊序列之圖像類型的分配。
圖像群組(GOP)大體上包含根據顯示次序配置之一序列一或多個圖像。根據HEVC，視訊編碼器可將視訊圖框或圖像劃分成一系列大小相等之視訊區塊。視訊區塊可具有明度分量(表示為Y)及兩個色度分量(表示為U及V或Cb及Cr)。此等視訊區塊亦可被稱作最大寫碼單元(LCU)、樹型區塊或寫碼樹型區塊單元(CTU)。HEVC之LCU可廣泛地類似於諸如H.264/AVC之先前標準的巨集區塊。然而，LCU未必限於特定大小。根據HEVC，位元串流內之語法資料可根據水平明度樣本及/或垂直明度樣本之數目來定義LCU。舉例而言，可將LCU定義為包括64×64或32×32個明度樣本。另外，可根據四分樹分割方案將LCU分割成多個寫碼單元(CU)。大體而言，四分樹分割指代將CU遞迴地分裂成四個子CU。與經寫碼位元串流相關聯之語法資料可定義可分裂LCU之最大次數，該最大次數被稱作最大CU深度，且該語法 資料亦可定義CU之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。舉例而言，可將SCU定義為包括8×8明度樣本。
此外，根據HEVC，視訊編碼器可將圖像分割成複數個切片，其中該等切片中之每一者包括整數數目個LCU。切片可為I切片、P切片或B切片，其中I、P及B定義其他視訊區塊如何用於預測CU。使用框內預測模式預測I切片(例如，自相同圖框內之視訊區塊預測)。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。使用單向框間預測模式預測P切片(例如，自先前圖框中之視訊區塊預測)。使用雙向框間預測模式預測B切片(例如，自先前圖框及後續圖框內之視訊區塊預測)。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。
圖1為說明根據預測性視訊寫碼技術寫碼之視訊序列的概念圖。如圖1中所說明，視訊序列100包括圖像Pic1至Pic10。在圖1之概念圖中，圖像Pic1至Pic10係根據其將顯示之次序而配置及順序地編號。如下文更詳細地描述，顯示次序未必對應於解碼次序。如圖l中所說明，視訊序列100包括GOP1及GOP2，其中圖像Pic1至Pic5包括於GOP1中，且圖像Pic6至Pic10包括於GOP2中。圖1說明將Pic5分割成slice1及slice2，其中slice1及slice2中之每一者包括根據自左至右自上至下之光柵掃描的連續的LCU。儘管未展示，但可以類似方式將圖1中所說明之其他圖像分割成一或多個切片。圖1亦說明關於GOP2之I切片、P切片或B切片的概念。與GOP2中之Pic6至Pic10中的每一者相關聯的箭頭基於由箭頭指示之參考圖像指示圖像包括I切片、P切片抑或B切片。在圖1中，圖像Pic6及Pic9表示包括I切片之圖像(亦即，參考該圖像自身)，圖像Pic7及Pic10表示包括P切片之圖像(亦即，各自參考先前圖像)，及Pic8表示包括B切片之圖像(亦即，參考先前圖像及後續圖像)。
在HEVC中，視訊序列中之每一者：GOP、圖像、切片及CU可與描述視訊寫碼性質之語法資料相關聯。舉例而言，切片包括標頭，該標頭包括指示該切片為I切片、P切片抑或B切片之語法元素。另外，HEVC包括參數集概念。參數集為包括允許視訊解碼器重建構視訊序列之語法元素的語法結構。HEVC利用階層式參數集機制，其中語法元素基於預期語法元素改變之頻率包括於一種類型之參數集中。HEVC中之參數集機制將不頻繁改變之資訊的傳輸與經寫碼區塊資料之傳輸解耦。另外，在一些應用程式中，可「帶外」輸送參數集，亦即，不與含有經寫碼視訊資料之單元一起運輸該等參數集。帶外傳輸通常係可靠的。
在HEVC WD7中，使用參數集ID識別特定參數集。在HEVC WD7中，參數集ID為不帶正負號的整數指數哥倫布寫碼(Exp-Golomb-coded)語法元素，其中自左位元開始。HEVC WD7定義以下參數集：視訊參數集(VPS)：VPS為含有適用於零或多個全部經寫碼視訊序列之語法元素的語法結構。亦即，VPS包括預期對於一序列圖框保持不變的語法元素(例如，圖像次序、參考圖框之數目及圖像大小)。使用VPS ID識別VPS。序列參數集包括VPS ID。
序列參數集(SPS)--SPS為包括適用於零或多個全部經寫碼視訊序列之語法元素的語法結構。亦即，SPS包括預期對於一序列圖框保持不變的語法元素(例如，圖像次序、參考圖框之數目及圖像大小)。使用SPS ID識別SPS。圖像參數集包括SPS ID。
圖像參數集(PPS)--PPS為包括適用於一或多個圖像之語法元素的語法結構。亦即，PPS包括可在一序列內自圖像至圖像改變的語法元素(例如，熵寫碼模式、量化參數及位元深度)。使用PPS ID識別PPS參數集。切片標頭包括PPS ID。
自適應性參數集(APS)--APS為包括適用於一或多個圖像之語 法元素的語法結構。APS包括預期在一序列之圖像內改變的語法元素(例如，區塊大小及解區塊濾波)。使用APS ID識別APS集。切片標頭可包括APS ID。
根據HEVC WD7中所定義之參數集類型，每一SPS參考VPS ID，每一PPS參考SPS ID，且每一切片標頭參考PPS ID且可能參考APS ID。應注意，在一些狀況下，SPS中包括VPS ID及PPS中包括SPS ID之線性參考關係可為低效的。舉例而言，儘管HEVC WD7中支援VPS，但序列層級資訊參數中之大多數仍僅存在於SPS中。除參數集概念之外，HEVC包括經寫碼視訊序列及存取單元之概念。根據HEVC WD7，經寫碼視訊序列及存取單元如下來定義：經寫碼視訊序列：一序列存取單元，其由按解碼次序之以下各者組成：為位元串流中之第一存取單元的CRA存取單元、IDR存取單元或BLA存取單元，繼之包括至多所有後續存取單元但不包括任何後續IDR或BLA存取單元的零或多個非IDR及非BLA存取單元[下文詳細描述CRA存取單元、IDR存取單元及BLA存取單元]。
存取單元：在解碼次序上連續且含有一個經寫碼圖像之NAL單元之集合。除經寫碼圖像之經寫碼切片NAL單元之外，存取單元亦可含有不含有經寫碼圖像之切片的其他NAL單元。存取單元之解碼始終產生經解碼圖像。
NAL單元指代網路抽取層單元。因此，根據HEVC，經寫碼視訊資料之位元串流包括一序列NAL單元。存取單元為在解碼次序上連續地配置且含有確切一個經寫碼圖像之NAL單元之集合，且經寫碼視訊序列包括按解碼次序配置之一序列存取單元。圖2為說明經寫碼視訊序列之一實例的概念圖。圖2表示可對應於圖1中所說明之GOP2的經寫碼視訊序列200的一實例。如圖2中所說明，經寫碼視訊序列200包括對應於Pic6至Pic10中之每一者的存取單元。經寫碼視訊序列200之 存取單元係根據解碼次序順序地配置。應注意，對應於Pic9之存取單元位於對應於Pic8之存取單元之前。因此，解碼次序並不對應於圖1中所說明之顯示次序。在此實例中，此情況係歸因於Pic8參考Pic9之事實。因此，必須在可解碼Pic8之前解碼Pic9。圖2說明對應於Pic9之存取單元包括NAL單元：AU定界符NAL單元202、PPS NAL單元204、slice1 NAL單元206及slice2 NAL單元208。每一NAL單元可包括識別NAL單元類型之標頭。
HEVC定義兩個NAL單元類型類別：經寫碼切片NAL單元(VCL)及非VCL NAL單元。經寫碼切片NAL單元含有視訊資料之切片。在圖2中所說明之實例中，slice1 NAL單元206及slice2 NAL單元208各自含有視訊資料之切片，且為VCL NAL單元之實例。在圖2之實例中，slice1 NAL單元206及slice2 NAL單元208中之每一者可為I切片。非VCL包括含有除了視訊資料之切片以外的資訊。舉例而言，非VCL可含有定界符資料或參數集。在圖2中所說明之實例中，AU定界符NAL單元202包括資訊以自對應於Pic7之存取單元來界定對應於Pic9之存取單元的界限。另外，PPS NAL單元204包括圖像參數集。因此，AU定界符NAL單元202及PPS NAL單元204為非VCL NAL單元之實例。
HEVC中之非VCL NAL單元的另一實例為額外增強資訊(SEI)NAL單元。AVC及HEVC兩者中所支援的SEI機制使得編碼器能夠將後設資料包括於位元串流中，該後設資料並非正確地解碼輸出圖像之樣本值所需的，但該後設資料可用於各種其他目的，諸如圖像輸出計時、顯示以及損失偵測及隱藏。舉例而言，SEI NAL單元可包括由視訊解碼器在解碼位元串流時使用之圖像計時訊息。圖像計時訊息可包括指示視訊解碼器應何時開始解碼VCL NAL單元之資訊。編碼器可包括存取單元中之任何數目個SEI NAL單元，且每一SEI NAL單元可含有一或多個SEI訊息。草案HEVC標準包括用於若干SEI訊息之 語法及語義，但未指定該等SEI訊息之處置，此係因為其不影響基準解碼處理程序。草案HEVC標準中具有SEI訊息之一個原因為使得能夠在使用HEVC之不同系統中相同地解譯額外資料。使用HEVC之規範及系統可能需要編碼器產生某些SEI訊息或可定義特定類型之所接收SEI訊息的特定處置。表1列出HEVC中所指定之SEI訊息且簡略地描述其目的。
隨機存取指代自並非位元串流中之第一經寫碼圖像之經寫碼圖像開始解碼視訊位元串流。許多視訊應用程式中需要隨機存取位元串流，諸如廣播及串流，(例如)以用於使用者在不同頻道之間切換、跳 轉至視訊之特定部分或切換至不同位元串流以達成串流調適(例如，達成位元速率、圖框速率或空間解析度可調性)。對於視訊序列，藉由以規則間隔多次地具有包括隨機存取點(RAP)圖像或存取單元之寫碼結構實現隨機存取。瞬時解碼器再新(IDR)圖像、清潔隨機存取(CRA)圖像及斷鏈存取(BLA)圖像為HEVC WD7中所定義之RAP圖像類型。IDR圖像、CRA圖像及BLA圖像中之每一者僅包括I切片。然而，基於所定義之參考約束，IDR圖像、CRA圖像及BLA圖像中之每一者不同。
IDR圖像係在AVC中指定，且係根據HEVC WD7定義。雖然IDR圖像可用於隨機存取，但IDR圖像係受約束的，此係因為在解碼次序上在IDR圖像之後的圖像無法使用在IDR圖像之前解碼的圖像作為參考。在圖1及圖2中所說明之實例中，如上文所描述，視訊序列100中之Pic6可為IDR圖像。歸因於與IDR圖像相關聯之約束，依賴於IDR圖像來隨機存取之位元串流可具有顯著較低之寫碼效率。
為改良寫碼效率，在HEVC中引入CRA圖像之概念。根據HEVC WD7，類似於IDR圖像，CRA圖像僅包括I切片。然而，允許在解碼次序上在CRA圖像之後但在輸出次序上在CRA圖像之前的圖像使用在CRA圖像之前解碼之圖像作為參考。在解碼次序上在CRA圖像之後但在輸出次序上在CRA圖像之前的圖像被稱作與CRA圖像相關聯之引導圖像(或CRA圖像之引導圖像)。若解碼自當前CRA圖像之前的IDR圖像或CRA圖像開始，則CRA圖像之引導圖像可正確解碼。然而，當發生自CRA圖像隨機存取時，CRA圖像之引導圖像可能不可正確解碼。參看圖1及圖2中所說明之實例，Pic9可為CRA圖像且Pic8可為Pic9之引導圖像。若在Pic6下存取GOP2，則Pic8可正確解碼，但若將GOP2作為Pic9存取，則其可能不可正確解碼。此係歸因於以下事實：若將GOP2作為Pic9存取，則Pic7可能不可用。為防止自取決於解碼開始處而可 能不可用之參考圖像之錯誤傳播，根據HEVC WD7，將在解碼次序及輸出次序兩者上在CRA圖像之後的所有圖像約束為不使用在解碼次序或輸出次序上在CRA圖像之前的任何圖像(其包括引導圖像)作為參考。另外，在隨機存取解碼期間，通常丟棄引導圖像。
位元串流拼接指代兩個或兩個以上位元串流或其部分之串連。舉例而言，可將第二位元串流附加至第一位元串流，可能對該等位元串流中之一者或兩者作出一些修改以產生經拼接之位元串流。第二位元串流中之第一經寫碼圖像亦被稱作拼接點。因此，經拼接之位元串流中在拼接點之後的圖像起源於第二位元串流，而經拼接之位元串流中在拼接點之前的圖像起源於第一位元串流。通常由位元串流拼接器執行位元串流之拼接。位元串流拼接器常常為輕型的且相比視訊編碼器而言不太智慧。舉例而言，位元串流拼接器可能未裝備有熵解碼及編碼能力。時間可調性為可使用位元串流拼接之應用程式。時間可調性可指代以一或多個圖框速率解碼視訊序列。舉例而言，可能能夠基於系統能力以30圖框/秒(fps)或60fps解碼視訊序列。為達成時間可調性，視訊序列可包括複數個時間層。其中每一時間層為與圖框速率相關聯之經寫碼視訊序列。具有最高圖框速率之時間層可被稱作最高時間層。可將複數個時間層拼接在一起以產生最高圖框速率之視訊序列，例如，將具有30fps的經寫碼視訊序列與實現60fps的經寫碼視訊序列拼接。
可在自適應性串流環境中使用位元串流切換。在切換至之位元串流中的某些圖像處之位元串流切換操作實際上為位元串流拼接操作，其中拼接點為位元串流切換點，亦即，自切換至之位元串流起的第一圖像。應注意，通常對具有相同寫碼結構之兩個串流執行位元串流切換。亦即，該兩個串流具有相同的預測結構及對IDR圖像、CRA圖像、P圖像及B圖像等的相同分配。
在引入CRA圖像之後，在HEVC WD7中進一步引入斷鏈存取(BLA)圖像之概念，且其係基於CRA圖像之概念。BLA圖像通常起源於CRA圖像之位置處的位元串流拼接，且在經拼接之位元串流中，拼接點CRA圖像改變成BLA圖像。BLA圖像與CRA圖像之間的最本質差異如下：對於CRA圖像，若解碼自在解碼次序上在CRA圖像之前的RAP圖像開始，則相關聯之引導圖像可正確解碼，且在隨機存取自CRA圖像開始時，相關聯之引導圖像可能不可正確解碼；對於BLA圖像，在所有狀況下，相關聯之引導圖像可能不可正確解碼，甚至在解碼自在解碼次序上在BLA圖像之前的RAP圖像開始時亦如此。應注意，對於特定CRA圖像或BLA圖像，相關聯之引導圖像中之一些可正確解碼，甚至在CRA圖像或BLA圖像為位元串流中之第一圖像時亦如此。此等引導圖像被稱作可解碼引導圖像(DLP)，且其他引導圖像被稱作非可解碼引導圖像(NLP)。在HEVC WD9中，NLP亦被稱作加標誌為丟棄(TFD)圖像。應注意，與IDR圖像相關聯之所有引導圖像為DLP圖像。表2為包括於HEVC WD7中的指定根據HEVC WD7定義之NAL單元的表格。如表2中所說明，HEVC WD7中之NAL單元類型包括CRA圖像、BLA圖像、IDR圖像、VPS、SPS、PPS及APS NAL單元類型，其對應於上文所描述之圖像及參數集。
為了簡化NAL單元分配，S.Kanumuri、G.Sullivan之「Refinement of Random Access Point Support」(第10次會議，SE之Stockholm，2012年7月，文件JCTVC-J0344(下文稱作「Kanumuri」)，其以全文引用之方式併入本文中)提議：(1)對IDR圖像之約束，使得不存在與任何IDR圖像相關聯之引導圖像(亦即，無可在解碼次序上在IDR圖像之後且在輸出次序上在IDR圖像之前的圖像)，及(2)針對RAP圖像的根據上文表2所定義的NAL單元類型4至7之修改分配，如下：
在表3中，SAP類型指代ISO/IEC 14496-12第4版本之「Information technology-Coding of audio-visual objects-Part 12：ISO base media file format」(w12640，第100次MPEG會議，Geneva， 2012年4月)中所定義的串流存取點類型，該文件以其全文引用之方式併入本文中。如上文所描述，對於位元串流切換，IDR圖像及BLA/CRA圖像在功能上不同，但對於隨機存取，其在功能上相同(例如，搜尋應用程式)。對於IDR圖像處之位元串流切換，視訊寫碼系統可知道或假定呈現可為連續的，而不會出現故障(例如，未呈現之圖像之遺失)。此係因為在解碼次序上在IDR圖像之後的圖像不可使用在IDR圖像之前解碼之圖像作為參考(亦即，與IDR圖像相關聯之引導圖像為DLP)。然而，對於BLA圖像處之位元串流切換，可能需要對來自兩個串流之一或多個圖像進行一些重疊解碼以確保呈現連續。在無額外能力之情況下，對於符合HEVC WD7解碼器，此重疊解碼當前可能為不可能的。在無額外能力之情況下，在相關聯之TFD圖像位置處可能不存在待呈現之任何圖像，此係因為可能已丟棄該等圖像。此可導致呈現未必為連續的。另外，即使BLA圖像為不具有相關聯之TFD圖像的BLA圖像，問題亦係相同的，此係因為可能已丟棄存在於原始位元串流中之TFD圖像。另外，若原始位元串流中不存在TFD圖像，則CRA圖像(歸因於位元串流拼接/切換等，稍後改變為BLA圖像)可能已經編碼為IDR圖像。因此，不將具有引導圖像之IDR圖像標記為IDR圖像(亦即，不允許IDR圖像具有引導圖像)，如Kanumuri所提議，使得IDR圖像對於系統之位元串流切換不太友好。
自串流系統視角而言，例如，經由HTTP之動態串流(DASH)，能夠容易地識別哪個圖像為RAP圖像及在解碼自RAP圖像開始之情況下，能夠識別為最早呈現時間(例如，最早圖像次序計數(POC)值)之時間係有益的。因此，可進一步改良將NAL單元類型分配至不同的RAP圖像以及DLP圖像及TFD圖像之現有設計以對於串流系統更友好。根據現有設計，對於每一RAP圖像，當解碼自該RAP圖像開始時，系統必須查看是否存在相關聯之DLP圖像，以知道該RAP圖像自 身之呈現時間是否為最早呈現時間。另外，系統必須查看並比較所有DLP圖像之呈現時間，以計算出最早呈現時間值。
視訊寫碼標準包括視訊緩衝模型規範。在AVC及HEVC中，緩衝模型被稱作假設參考解碼器(HRD)，其包括經寫碼圖像緩衝器(CPB)及經解碼圖像緩衝器(DPB)兩者之緩衝模型。根據HEVC WD7，將HRD定義為假設解碼器模型，其指定對編碼處理程序可產生之符合的NAL單元串流或符合的位元串流之可變性的約束。因此，在AVC及HEVC中，將位元串流符合性及解碼器符合性指定為HRD規範之部分。根據HEVC WD7，CPB為按解碼次序含有存取單元之先進先出緩衝器，且DPB為保持經解碼圖像以用於參考之緩衝器。根據HRD，以數學方法指定CPB行為及DPB行為。HRD直接對計時、緩衝器大小及位元速率強加約束，且間接地對位元串流特性及統計強加約束。HRD參數之完整集合包括五個基本參數：初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲及DPB大小。根據HEVC WD7，HRD參數可包括於視訊可用性資訊(VUI)參數中，且VUI參數可包括於SPS中。應注意，儘管HRD被稱作解碼器，但編碼器側通常需要HRD以保證位元串流符合性，且解碼器側通常不需要HRD。HEVC WD7指定用於HRD符合性的兩種類型之位元串流，亦即類型I及類型II。HEVC WD7亦指定兩種類型之解碼器符合性，亦即輸出計時解碼器符合性及輸出次序解碼器符合性。
在AVC及HEVC HRD模型中，解碼或CPB移除係基於存取單元，且假定圖像解碼係瞬時的。在真實世界應用中解碼圖像所需之時間不可能等於零。因此，在實務應用中，若符合的解碼器嚴格地遵循(例如)在圖像計時SEI訊息中用信號發出之解碼時間來開始解碼存取單元，則可輸出特定經解碼圖像之最早可能時間等於彼特定圖像之解碼時間加上解碼彼特定圖像所需之時間。
類似於以下文件中所描述之CPB行為的基於子圖像之CPB行為已包括於HEVC WD7中：Ye-Kui Wang等人之「Sub-picture based CPB operation」(第9次會議：CH之Geneva，2012年5月，JCTVC-I0588(下文稱作「Wang」))。基於Wang子圖像之CPB允許在存取單元(AU)層級或子圖像層級進行CPB移除。允許AU層級或子圖像層級CPB移除有助於以互通方式達成減少之編解碼器延遲。當發生存取單元層級之CPB移除時，每次發生移除操作時，將存取單元自CPB移除。當發生子圖像層級之CPB移除時，每次發生移除操作時，將含有一或多個切片之解碼單元(DU)自CPB移除。
除AU層級CPB移除計時資訊之外，亦可用信號發出子圖像層級CPB移除計時資訊。當針對AU層級移除及子圖像層級移除兩者呈現CPB移除計時資訊時，解碼器可選擇在AU層級或子圖像層級操作CPB。應注意，為了達成當前圖像計時SEI訊息及同時實現AU層級及DU層級HRD CPB移除兩者以達成子圖像延遲之機制，必須在編碼全部AU之前，將DU發送出去，且在編碼全部AU之前，仍不可將AU層級SEI訊息發送出去。
根據HEVC WD7，計時資訊可包括定義兩個連續圖像之HRD輸出時間之間的時間距離的資訊。HEVC WD7定義以下計時資訊語法元素：time_scale為一秒中經過之時間單位的數目。舉例而言，使用27MHz時脈量測時間之時間座標系統具有27,000,000之time_scale。time_scale應大於0。
num_units_in_tick為時脈以對應於時鐘刻度計數器之一增量(稱為時鐘刻度)的頻率time_scale Hz操作之時間單位的數目。num_units_in_tick應大於0。
因此，基於time_scale及num_units_in_tick之值，可導出所謂的 時鐘刻度變數tc如下：tc=num_units_in_tick×time_scale (1)
根據HEVC WD7，時鐘刻度變數可用於約束HRD輸出時間。亦即，在一些狀況下，可能需要在輸出次序上連續的兩個圖像(亦即，第一及第二圖像)之呈現時間之間的差等於時鐘刻度。HEVC WD7包括fixed_pic_rate_flag語法元素，其指示在輸出次序上連續的兩個圖像之呈現時間之間的差是否等於時鐘刻度。fixed_pic_rate_flag語法元素可包括於VUI參數之集合中，VUI參數之集合可包括於SPS中。在HEVC WD7中，當fixed_pic_rate_flag語法元素等於一時，在以下條件中之任一者成立之情況下，在輸出次序上的任何兩個連續圖像之HRD輸出時間之間的時間距離受約束為等於所判定之時鐘刻度：(1)第二圖像處於與第一圖像相同的經寫碼視訊序列中；或(2)第二圖像處於不同於第一圖像的經寫碼視訊序列中，且在含有第二圖像之經寫碼視訊序列中，fixed_pic_rate_flag等於1，且對於兩個經寫碼視訊序列，num_units_in_tick÷time_scale之值相同。當fixed_pic_rate_flag語法元素等於零時，此等約束不適用於在輸出次序上的任何兩個連續圖像(亦即，第一圖像及第二圖像)之HRD輸出時間之間的時間距離。應注意，當未呈現fixed_pic_rate_flag時，推斷其等於0。應注意，根據HEVC WD7，當fixed_pic_rate_flag等於1時，在丟棄一些最高時間層之狀況下，基於時間可調性之串流調適將需要改變time_scale或num_units_in_tick之值。應注意，HEVC WD7提供fixed_pic_rate_flag之以下語義：當對於含有圖像n之經寫碼視訊序列，fixed_pic_rate_flag等於1時，當對於經指定以用於等式C-13中的後續圖像nn，以下條件中之一或多者成立時，如等式C-13中所指定的針對△to,dpb(n)計算之值應等於如等式C-1中所指定之tc(對於含有圖像n之經寫碼視訊序列，使用tc之 值)：
- 圖像nn處於與圖像n相同的經寫碼視訊序列中。
- 圖像nn處於不同的經寫碼視訊序列中，且在含有圖像nn之經寫碼視訊序列中fixed_pic_rate_flag等於1，且對於兩個經寫碼視訊序列，num_units_in_tick÷time_scale之值相同。
其中在HEVC WD7中，等式C-1對應於等式(1)，且等式C-13如下定義：△to,dpb(n)=to,dpb(nn)-to,dpb(n) (2)
鑒於上文所提及的與HEVC WD7相關聯之計時及隨機存取特性，本發明描述可用於進行以下操作之技術：減少諸如交談式應用程式之視訊應用程式中的延遲，及提供在隨機存取經寫碼視訊序列中之改良。在一實例中，本發明描述用於分配NAL單元類型之技術。在另一實例中，本發明描述子圖像層級或解碼單元層級HRD行為。在另一實例中，本發明描述用於參考參數集ID之技術。在又一實例中，本發明描述用於提供fixed_pic_rate_flag語法元素的改良之語義的技術。應注意，本文中所描述之此等技術及其他技術之任何及所有組合可併入於視訊編碼及解碼系統中。
圖3為說明可利用本文中所描述之技術之實例視訊編碼及解碼系統10的方塊圖。詳言之，視訊編碼及解碼系統可利用本文中所描述之技術，該等技術與以下各者有關：(1)分配NAL單元類型，(2)子圖像層級或解碼單元層級HRD行為，(3)參考參數集ID，(4)fixed_pic_rate_flag之改良之語義，或此等技術之任何及所有組合。視訊編碼及解碼系統10為可用於以下視訊應用程式中之任一者的視訊系統之實例：本端播放、串流、廣播、多播及/或交談式應用程式。源器件12及目的地器件14為寫碼器件之實例，其中源器件12產生經編碼視訊資料以用於傳輸至目的地器件14。在一些實例中，源器件12及 目的地器件14可以實質上對稱方式操作，使得源器件12及目的地器件14中之每一者包括視訊編碼及解碼組件。因此，系統10可經組態以支援源器件12與目的地器件14之間的單向或雙向視訊傳輸。
儘管結合源器件12及目的地器件14描述本文中所描述之技術，但可由任何數位視訊編碼及/或解碼器件來執行該等技術。亦可由視訊預處理器來執行本發明之技術。另外，儘管將本發明之技術大體上描述為由視訊編碼器件及視訊解碼器件執行，但亦可由視訊編碼器/解碼器(通常被稱作「編解碼器(CODEC)」)來執行該等技術。因此，圖3中之視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器(CODEC))的部分。另外，包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件，諸如蜂巢式電話。儘管圖3中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。在適用之情況下，MUX-DEMUX單元可符合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
如圖3中所說明，系統10包括源器件12，其提供待由目的地器件14於稍後時間解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將經編碼視訊資料提供給目的地器件14。目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」手機、所謂的「智慧型」平板裝置(smart pad)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器 件，或其類似者。在一些狀況下，源器件12及目的地器件14可經裝備用於無線通信。
電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、Blu-ray光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供給目的地器件14。類似地，媒體生產設施(諸如，光碟壓印設施)之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。
在一實例中，電腦可讀媒體16可包含用以使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，及將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟、Blu-ray光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在另一實例中，儲存器件可對應於可儲存由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器 件14的任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)，或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援諸如以下應用之多種多媒體應用中之任一者的視訊寫碼：無線電視廣播、有線電視傳輸、衛星電視傳輸、諸如經由HTTP之動態自適應性串流(DASH)之網際網路串流視訊傳輸、編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。
在圖3之實例中，源器件12包括視訊源18、寫碼結構單元19、視訊編碼器20、囊封單元21及輸出介面22。目的地器件14包括輸入介面28、解囊封單元29、視訊解碼器30及顯示器件32。在其他實例中，源器件12及目的地器件14可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。源器件12及目的地器件14之組件各自可實施為多種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當部分地在軟體中實施本文中所描述之技術時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行該等技術。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前所俘獲之視訊的視訊封存，及/或用以自視訊內容提供者接 收視訊之視訊饋入介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或直播視訊、封存視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，可由視訊編碼器20接收所俘獲視訊、預俘獲之視訊或電腦產生之視訊。輸出介面22可經組態以將經編碼視訊資料(諸如，經寫碼視訊序列)輸出至電腦可讀媒體16上。在一些實例中，可將經寫碼視訊序列自輸出介面22輸出至儲存器件。目的地器件14之輸入介面28自電腦可讀媒體16接收經編碼視訊資料。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
寫碼結構單元19、視訊編碼器20、囊封單元21、解囊封單元29及視訊解碼器30可根據諸如上文所描述的即將到來的HEVC之視訊寫碼標準操作，且可大體上符合HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據以下標準操作：其他專屬或工業標準，諸如ITU-T H.264標準(或者被稱作MPEG-4第10部分，進階視訊寫碼(AVC))，或此等標準之擴展。寫碼結構單元19、視訊編碼器20、囊封單元21、解囊封單元29及視訊解碼器30亦可根據視訊寫碼標準之修改之版本操作，其中視訊寫碼標準之修改之版本經修改以包括本文中所描述之技術之任何及所有組合。
視訊編碼器20可將視訊圖框或圖像劃分成一系列大小相等之視訊區塊，諸如HEVC WD7中所描述之CU。CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小的範圍可自8×8像素 直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)將CU分割成一或多個PU。分割模式可在以下情形間不同：CU經跳轉或直接模式編碼、經框內預測模式編碼或經框間預測模式編碼。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割成一或多個TU。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU之變換，該等變換對於不同CU可不同。通常基於針對經分割之LCU定義的給定CU內之PU的大小而設定TU之大小，但可能並非始終為此狀況。TU通常具有與PU相同的大小，或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分為較小單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生可量化之變換係數。
葉CU可包括一或多個預測單元(PU)。大體而言，PU表示對應於對應CU之全部或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，殘餘四分樹可包括描述對應於PU的TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量的資料。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使用RQT(亦被稱作TU四分樹結構)指定變換單元，如上文所論述。舉例 而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可進一步分裂成其他子TU。當TU不進一步分裂時，其可被稱作葉TU。大體而言，對於框內寫碼，屬於葉CU之所有葉TU共用相同的框內預測模式。亦即，大體上應用相同的框內預測模式來計算葉CU的所有TU之所預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。對於框內寫碼，PU可與相同CU之對應葉TU共置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即，葉CU可包括指示如何將葉CU分割成TU之四分樹。TU四分樹之根節點大體上對應於葉CU，而CU四分樹之根節點大體上對應於樹型區塊(或LCU)。RQT之不分裂的TU被稱作葉TU。大體而言，除非另有註釋，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。本發明使用術語「區塊」來指代在HEVC之上下文中的CU、PU或TU中的任一者，或在其他標準之上下文中的類似資料結構(例如，H.264/AVC中之巨集區塊及其子區塊)。
作為一實例，HM支援以各種PU大小進行之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行之框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行的用於框間預測之不對稱分割。在不對稱分割中，不分割CU之一個方向，而將另一方向分割成25%及75%。CU之對應於25%分割區之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」指代在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割的2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直尺寸與水平尺寸方面的像素尺寸，例如，16×16像素或16乘16像素。大體而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊大體上在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上具有與垂直方向上相同之數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測性寫碼或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述產生空間域(亦被稱作像素域)中之預測性像素資料的方法或模式的語法資料，且TU可包含在將例如離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換的變換應用於殘餘視訊資料之後的變換域中之係數。殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在應用任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化大體上指代如下處理程序：將變換係數量化以可能地減少用以表示該等係數之資料的量，從而提供進一步壓縮。該量化處理程序可減少與該等係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化之變換係數的二維矩陣產生一維向量。掃描可經設計成將較高能量(且因此較低頻率)係數置放於陣列前部，及將較低能量(且因此較高頻率)係數置放於陣列後部。在一些實例中，視訊編碼器20可利用預定 義掃描次序來掃描經量化之變換係數，以產生可經熵編碼之串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用於解碼視訊資料。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇可變長度碼。VLC中之碼字可經建構以使得相對較短碼對應於較有可能之符號，而較長碼對應於較不可能之符號。以此方式，使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用相等長度之碼字相比較)。機率判定可基於指派給符號之上下文而進行。
如上文所描述，可根據所判定之視訊寫碼結構來寫碼視訊序列，其中寫碼結構定義用於編碼視訊序列之圖像類型(例如，RAP圖像及非RAP圖像)之分配。舉例而言，可用以預定間隔包括之RAP圖像編碼視訊序列，以便促進視訊序列之隨機存取。此寫碼結構可用於廣播應用。另外，可根據使低延遲應用程式之延遲最小化的寫碼結構編碼視訊序列。寫碼結構單元19可經組態以判定待由視訊編碼器20使用以編碼自視訊源18接收之視訊序列的寫碼結構。在一實例中，寫碼結構單元19可儲存對應於各別視訊應用程式的預定義之寫碼結構。寫碼結構單元19可經組態以輸出向視訊編碼器20及囊封單元21中之每一者指示特定寫碼結構的資訊。視訊編碼器20接收來自視訊源18之視訊序列及來自寫碼結構單元19之寫碼結構資訊，且產生經編碼視訊資 料。囊封單元21接收來自視訊編碼器20之經編碼視訊資料及指示特定寫碼結構之資訊，且產生包括存儲單元之經寫碼視訊序列。解囊封單元29可經組態以接收經寫碼視訊序列，及剖析存取單元及NAL單元。視訊解碼器30可經組態以接收NAL單元，及基於包括於所接收之NAL單元中的資訊重建構視訊資料。
應注意，寫碼結構單元19及/或視訊編碼器20可經組態以產生包括於參數集中之語法元素。在一些實例中，寫碼結構單元19可經組態以產生包括於諸如SPS之高層級參數集中的語法元素，且視訊編碼器20可經組態以基於自寫碼單元結構所接收之語法元素執行視訊編碼，以及將經熵編碼之語法元素作為經編碼視訊資料之部分輸出。
根據本發明之技術，可按以下方式執行NAL單元類型之分配：使得諸如目的地器件14之器件可容易地識別RAP圖像及相關聯之計時資訊。在一實例中，不具有相關聯之引導圖像的IDR圖像具有與可具有相關聯之引導圖像的IDR圖像相異的NAL單元類型。舉例而言，不具有相關聯之引導圖像的IDR圖像具有NAL單元類型M，而可具有相關聯之引導圖像的IDR圖像具有NAL單元類型N，其中M不等於N，如表4中所說明。應注意，在表4中所說明之實例中，與IDR圖像相關聯之引導圖像可為DLP圖像。在一實例中，表4中所說明之NAL單元類型可併入至表2中所說明之HEVC WD7 NAL單元類型碼及NAL單元類型類別中。舉例而言，表2中經反轉之NAL單元類型值可用於表4中之NAL單元類型M及N。
在另一實例中，不具有相關聯之引導圖像的CRA圖像具有不同於 可具有相關聯之引導圖像的CRA圖像的相異NAL單元類型。此外，不具有相關聯之TFD圖像的CRA圖像具有不同於可具有相關聯之TFD圖像的CRA圖像的相異NAL單元。因此，三個不同的NAL單元類型可用於不同類型之CRA圖像，如表5中所說明。在一實例中，表5中所說明之NAL單元類型可併入至表2中所說明之HEVC WD7 NAL單元類型碼及NAL單元類型類別中。舉例而言，表1中經反轉之NAL單元類型值可用於表5中之NAL單元類型X、Y及Z。
在另一實例中，不具有相關聯之引導圖像的BLA圖像可具有不同於可具有相關聯之引導圖像的BLA圖像的相異NAL單元類型。此外，不具有相關聯之TFD圖像的BLA圖像可具有不同於可具有相關聯之TFD圖像的BLA圖像的相異NAL單元。因此，三個不同的NAL單元類型可用於不同類型之BLA，如表6中所說明。在一實例中，表6中所說明之NAL單元類型可併入至表2中所說明之HEVC WD7 NAL單元類型碼及NAL單元類型類別中。舉例而言，表2中經反轉之NAL單元類型值可用於表6中之NAL單元類型A、B及C。
關於表4至表6所描述之NAL單元類型之任何及所有組合可用於NAL單元類型之分配。在一實例中，關於表4至表6所描述之所有NAL 單元類型可用於NAL單元類型之分配。表7說明表4至表6中所說明之所有NAL類型用於NAL單元類型之分配的實例。如表7中所說明，NAL單元類型包括關於表4至表6所描述之CRA圖像、BLA圖像及IDR圖像NAL單元類型，以及上文所描述之VPS、SPS、PPS及APS NAL單元類型。表7可與上文之表2形成對比，此係因為：表7中所提供之NAL單元類型之分配包括針對IDR圖像、CRA圖像及BLA圖像的多個NAL單元類型，然而，表1中所提供之NAL單元類型之分配包括針對IDR圖像、CRA圖像及BLA圖像中之每一者的單一NAL單元類型。
囊封單元21可經組態以接收來自視訊編碼器20之經編碼視訊資料及指示特定寫碼結構之資訊，且基於表2至表7中所說明之NAL單元分配之任何及所有組合中所說明的NAL單元類型之分配，產生包括存取單元之經寫碼視訊序列。另外，解囊封單元29可經組態以接收經寫碼視訊序列，並剖析存取單元及NAL單元，其中NAL單元係基於表2至表7中所說明之NAL單元分配之任何及所有組合而分配。
如上文所描述，根據HEVC WD7，為了達成當前圖像計時SEI訊息及同時實現AU層級及DU層級HRD CPB移除兩者以達成子圖像延遲之機制，必須在編碼全部AU之前，將DU發送出去，且在編碼全部AU之前，仍不可將AU層級SEI訊息發送出去。根據本發明之技術，囊封單元21及解囊封單元29可經組態以使得相比於HEVC WD7而言，可修改子圖像層級或解碼單元層級HRD行為。
舉例而言，囊封單元21可經組態以使得在編碼全部AU之後，發送AU層級SEI訊息。此AU層級SEI訊息可包括於具有相異NAL單元類型之SEI NAL單元中。此SEI NAL單元與SEI NAL單元之現有定義(例如，如在HEVC WD7中所定義)之間的一差異在於：可允許此相異SEI NAL單元類型在解碼次序上接在相同AU中之最後VCL NAL單元之 後，且可受約束使得不會在解碼次序上在相同AU中之第一VCL NAL單元之前。習知SEI NAL單元及SEI訊息可分別被稱作前置SEI NAL單元及前置SEI訊息，而本文中所描述之相異SEI NAL單元及SEI訊息可分別被稱作後置SEI NAL單元及後置SEI訊息。
除經組態以基於表2至表7中所說明之NAL單元分配之任何及所有組合而產生經寫碼視訊序列之外，囊封單元21亦可經組態以產生包括前置SEI NAL單元及後置SEI NAL單元之經寫碼視訊序列。同樣地，解囊封單元29可經組態以接收經寫碼視訊序列，並剖析存取單元及NAL單元，其中NAL單元包括前置SEI NAL單元類型及後置SEI NAL單元類型。亦即，解囊封單元29可經組態以自存取單元提取後置SEI NAL單元。表8說明表4至表6中所說明之所有NAL類型用於NAL單元類型之分配的實例，以及前置SEI NAL單元及後置SEI NAL單元。
如上文所描述，除SEI NAL單元之外，非VCL NAL單元類型亦包括VPS、SPS、PPS及APS NAL單元。根據HEVC WD7中所定義之參數集類型，每一SPS參考VPS ID，每一PPS參考SPS ID，且每一切片標頭參考PPS ID且可能參考APS ID。視訊編碼器20及/或寫碼結構單元19可經組態以根據HEVC WD7中所定義之參數集產生參數集。另外，視訊編碼器20及/或寫碼結構單元19可經組態以產生參數集，其中可視情況在切片標頭中用信號發出VPS ID及SPS ID(例如，其中VPS ID在SPS ID之前)。在於切片標頭中用信號發出VPS ID及SPS ID之一實例中，無VPS ID將位於SPS中且無SPS ID將位於PPS中。另外，在一實例中，VPS ID及SPS ID可存在於每一RAP圖像之切片標頭中，且每一圖像可與恢復點SEI訊息相關聯。另外，在其他實例中， VPS ID及SPS ID可存在於其他圖像之切片標頭中。
圖4為說明可實施本發明中所描述之技術的實例囊封單元之方塊圖。在圖4中所說明之實例中，囊封單元21包括VCL NAL單元建構器402、非VCL NAL單元建構器404、存取單元建構器406及位元串流輸出介面408。囊封單元21接收經編碼視訊資料及高階語法，並輸出經編碼視訊位元串流。經編碼視訊資料可包括與切片相關聯之殘餘視訊資料及語法資料。高階語法資料可包括(例如)包括於參數集中之語法元素、SEI訊息或由諸如即將到來的HEVC標準之視訊寫碼標準定義的其他語法元素。經編碼視訊位元串流可包括一或多個經寫碼視訊序列，且可大體上符合諸如即將到來的HEVC標準之視訊寫碼標準。如上文所描述，VCL NAL單元包括視訊資料之切片。VCL NAL單元建構器402可經組態以接收經編碼視訊資料之切片，且基於包括切片之圖像的類型而產生VCL NAL單元。VCL NAL單元建構器402可經組態以根據上文關於表2至表8所描述之NAL分配之任何及所有組合而產生VCL NAL單元。VCL NAL單元建構器402可經組態以在VCL NAL單元中包括標頭，其中該標頭識別VCL NAL單元之類型。
舉例而言，VCL NAL單元建構器402可經組態以接收包括於一IDR圖像中之視訊資料之切片，且(1)若該IDR圖像不具有相關聯之引導圖像，則將視訊資料之該切片囊封於具有指示該IDR圖像不具有引導圖像之類型的NAL單元中，或(2)若該IDR圖像具有相關聯之引導圖像，則將視訊資料之該切片囊封於具有指示該IDR圖像具有引導圖像之類型的NAL單元中。VCL NAL單元建構器402可經組態以接收包括於一CRA圖像中之視訊資料之切片，且(1)若該CRA圖像不具有相關聯之引導圖像，則將視訊資料之該切片囊封於具有指示該CRA圖像不具有引導圖像之類型的NAL單元中，或(2)若該CRA圖像具有相關聯之引導圖像，則將視訊資料之該切片囊封於具有指示該CRA圖像具有 引導圖像之類型的NAL單元中。另外，若與CRA圖像相關聯之引導圖像為TFD圖像，則VCL NAL單元建構器402可經組態以將視訊資料之切片囊封於具有指示與CRA圖像相關聯之引導圖像為TFD之類型的NAL單元中。
另外，若與CRA圖像相關聯之引導圖像並非TFD圖像，則VCL NAL單元建構器402可經組態以將視訊資料之該切片囊封於具有指示與CRA圖像相關聯之引導圖像並非TFD之類型的NAL單元中。另外，VCL NAL單元建構器402可經組態以接收包括於一BLA圖像中之視訊資料之切片，且(1)若該BLA圖像不具有相關聯之引導圖像，則將視訊資料之該切片囊封於具有指示該BLA圖像不具有引導圖像之類型的NAL單元中，或(2)若該BLA圖像具有相關聯之引導圖像，則將視訊資料之該切片囊封於具有指示該BLA圖像具有引導圖像之類型的NAL單元中。另外，若與BLA圖像相關聯之引導圖像為TFD圖像，則VCL NAL單元建構器402可經組態以將視訊資料之切片囊封於具有指示與BLA圖像相關聯之引導圖像為TFD之類型的NAL單元中。另外，若與BLA圖像相關聯之引導圖像並非TFD圖像，則VCL NAL單元建構器402可經組態以將視訊資料之切片囊封於具有指示與BLA圖像相關聯之引導圖像並非TFD之類型的NAL單元中。
圖5為說明根據本發明之技術產生VCL NAL單元之實例的流程圖。儘管將圖5中所說明的產生VCL NAL單元之實例描述為由VCL NAL單元建構器402執行，但源器件12、視訊編碼器20、囊封單元21及其組件之組合的任何組合可執行圖5中所說明的產生VCL NAL單元之實例。如圖5中所說明，VCL NAL單元建構器402接收視訊資料之切片(502)。可根據本文中所描述之編碼技術中之任一者將視訊資料之切片編碼為經編碼視訊資料。視訊資料之切片可包括於本文中所描述之圖像類型中之一者中。VCL NAL單元建構器402判定視訊資料之 切片包括於IDR圖像抑或CRA圖像中(504)。
若視訊資料之切片包括於IDR圖像中(504之「IDR」分支)，則VCL NAL單元建構器402判定該IDR圖像是否具有相關聯之引導圖像(506)。若IDR圖像不具有相關聯之引導圖像(506之「否」分支)，則VCL NAL單元建構器402產生指示該IDR圖像不具有相關聯之引導圖像的VCL NAL單元(508)。若IDR圖像具有相關聯之引導圖像(506之「是」分支)，則VCL NAL單元建構器402產生指示該IDR圖像具有相關聯之引導圖像的VCL NAL單元(510)。
若視訊資料之切片包括於CRA圖像中，則VCL NAL單元建構器402判定該CRA圖像是否具有相關聯之引導圖像(512)。若CRA圖像不具有相關聯之引導圖像(512之「否」分支)，則VCL NAL單元建構器402產生指示該CRA圖像不具有相關聯之引導圖像的VCL NAL單元(514)。若CRA圖像具有相關聯之引導圖像(512之「是」分支)，則VCL NAL單元建構器402判定相關聯之引導圖像是否為TFD圖像(516)。
若CRA圖像之相關聯之引導圖像為TFD圖像(516之「是」分支)，則VCL NAL單元建構器402產生指示CRA之相關聯之引導圖像為TFD圖像的VCL NAL單元(518)。若BLA圖像之相關聯之引導圖像並非TFD圖像(516之「否」分支)，則VCL NAL單元建構器402產生指示相關聯之引導圖像並非TFD圖像的VCL NAL單元(520)。
VCL NAL單元建構器402可藉由將切片資料囊封於NAL單元中及將NAL單元類型值包括於NAL單元標頭中而產生NAL單元。每一NAL單元類型值可對應於一各別NAL單元類型。在一實例中，可根據表7定義NAL單元類型值。可由NAL單元建構器402將所產生之NAL單元輸出至存取單元建構器406以用於包括於存取單元中(522)。
以此方式，囊封單元21表示用於產生包括視訊資料之位元串流 之器件的實例，該器件包括處理器，該處理器經組態以：判定隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的類型，及該RAP圖像包含瞬時解碼器再新(IDR)圖像抑或清潔隨機存取(CRA)圖像；將該RAP圖像之切片囊封於網路抽取層(NAL)單元中，其中該NAL單元包括指示該RAP圖像是否為可具有相關聯之引導圖像之類型的NAL單元類型值；及產生包括該NAL單元之位元串流。
同樣地，圖5之方法表示產生包括視訊資料之位元串流之方法的實例，該方法包括：判定隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的類型，及該RAP圖像包含瞬時解碼器再新(IDR)圖像抑或清潔隨機存取(CRA)圖像；將該RAP圖像之切片囊封於網路抽取層(NAL)單元中，其中該NAL單元包括指示該RAP圖像是否為可具有相關聯之引導圖像之類型的NAL單元類型值；及產生包括該NAL單元之位元串流。
再次參看圖4，非VCL NAL單元建構器404可經組態以接收高階語法元素，諸如包括於參數集及SEI訊息中之語法元素(如上文所描述)，且基於上文關於表2至表8所描述之NAL單元分配之任何及所有組合而產生非VCL NAL單元。非VCL NAL單元建構器404可經組態以藉由將語法資料囊封於NAL單元中及將NAL單元類型值包括於NAL單元標頭中而產生非VCL NAL單元。舉例而言，非VCL NAL建構器可經組態以接收包括於參數集中之語法元素，且將指示參數集類型之NAL單元類型值包括於NAL單元標頭中。
另外，非VCL NAL單元建構器404可經組態以接收AU層級SEI訊息，且產生SEI訊息NAL單元。在一實例中，非VCL NAL單元建構器404可經組態以產生兩種類型之SEI訊息NAL單元，其中第一類型之SEI NAL單元指示此SEI NAL單元可在解碼次序上接在存取單元中之最後VCL NAL單元之後，且第二類型之SEI NAL單元指示此SEI NAL 單元不可在解碼次序上接在存取單元中之最後VCL NAL單元之後。另外，第一類型之SEI NAL可受約束，使得不可允許其在解碼次序上在相同存取單元中之第一VCL NAL單元之前。第一類型之NAL單元可被稱作後置SEI NAL單元，且第二類型之NAL單元可被稱作前置SEI NAL單元。非VCL NAL單元建構器404將非VCL NAL單元輸出至存取單元建構器406。
存取單元建構器406可經組態以接收VCL NAL單元及非VCL NAL單元，且產生存取單元。存取單元建構器406可接收表2至表8中所定義的任何類型之NAL單元。VCL存取單元建構器406可經組態以基於本文中所描述之NAL單元類型之任何及所有組合而產生存取單元。如上文所描述，根據HEVC WD7，存取單元為在解碼次序上連續且含有一經寫碼圖像之NAL單元之集合。因此，存取單元建構器406可經組態以接收複數個NAL單元，且根據解碼次序配置該複數個NAL單元。另外，存取單元建構器406可經組態以配置後置SEI NAL單元，如上文所描述，使得其接在存取單元中之最後VCL NAL單元之後及/或不在相同存取單元中之第一VCL NAL單元之前。
圖6為說明根據本發明之技術產生非VCL NAL單元之實例的流程圖。儘管將圖6中所說明的產生非VCL NAL單元之實例描述為由非VCL NAL單元建構器404及存取單元建構器406執行，但源器件12、視訊編碼器20、囊封單元21及其組件之組合的任何組合可執行圖6中所說明的產生非VCL NAL單元之實例。
如圖6中所展示，非VCL NAL單元建構器404接收SEI訊息(602)。SEI訊息可為上文關於表1所描述的任何類型之SEI訊息。非VCL NAL單元建構器404判定該SEI訊息為前置SEI訊息抑或後置SEI訊息(604)。
若該SEI訊息為後置SEI訊息(604之「後置」分支)，則非VCL NAL單元建構器404產生SEI NAL單元之指示SEI NAL單元為後置SEI訊息之類型值(606)。若該SEI訊息為前置SEI訊息(604之「前置」分支)，則非VCL NAL單元建構器404產生SEI NAL單元之指示SEI NAL單元為習知SEI訊息之類型值(608)。
存取單元建構器406接收所產生之NAL單元，該等所產生之NAL單元可包括上文關於表2至表8所描述之NAL單元之類型的任何組合(610)。存取單元建構器406產生包括所接收之NAL單元的存取單元(612)。若所產生之存取單元包括後置SEI NAL單元，則存取單元之NAL單元可經配置，使得該後置SEI NAL並不在相同存取單元中之第一VCL NAL單元之前，但可在解碼次序上接在存取單元中之最後VCL NAL單元之後。
以此方式，囊封單元21表示處理器之實例，該處理器經組態以：判定額外增強資訊(SEI)訊息為前置SEI訊息抑或後置SEI訊息，其中該SEI訊息包括與經編碼視訊資料有關之資料；將該SEI訊息囊封於SEI NAL單元中，其中該SEI NAL單元包括NAL單元類型值，該NAL單元類型值指示該SEI NAL單元為前置SEI NAL單元抑或後置SEI NAL單元，及該SEI訊息為前置SEI訊息抑或後置SEI訊息；及產生至少包括該SEI NAL單元之位元串流。
同樣地，圖6之方法表示產生包括視訊資料之位元串流之方法的實例，該方法包括：判定額外增強資訊(SEI)訊息為前置SEI訊息抑或後置SEI訊息，其中該SEI訊息包括與經編碼視訊資料有關之資料；將該SEI訊息囊封於SEI NAL單元中，其中該SEI NAL單元包括NAL單元類型值，該NAL單元類型值指示該SEI NAL單元為前置SEI NAL單元抑或後置SEI NAL單元，及該SEI訊息為前置SEI訊息抑或後置SEI訊息；及產生至少包括該SEI NAL單元之位元串流。
再次參看圖4，位元串流輸出介面408可經組態以接收存取單 元，且產生經寫碼視訊序列。位元串流輸出介面408可經進一步組態以將經寫碼視訊序列作為經編碼視訊位元串流之部分輸出，其中經編碼視訊位元串流包括基於本文中所描述之NAL單元類型之任何及所有組合的一或多個經寫碼視訊序列。如上文所描述，根據HEVC WD7，經寫碼視訊序列為在解碼次序上連續之存取單元之集合。因此，位元串流輸出介面408可經組態以接收複數個存取單元，且根據解碼次序配置該複數個存取單元。
如上文所描述，寫碼結構單元19及/或視訊編碼器20可經組態以產生包括於參數集中之語法元素，包括可包括於VUI參數之集合中的fixed_pic_rate_flag語法元素，VUI參數之集合可包括於SPS中，如HEVC WD7中所提供。另外，寫碼結構單元19及/或視訊編碼器20可經組態以產生fixed_pic_rate_flag語法元素，其中該fixed_pic_rate_flag語法元素包括自HEVC WD7中所提供之彼等語義修改的語義。舉例而言，根據HEVC WD7中之fixed_pic_rate_flag的當前語義，當fixed_pic_rate_flag等於1時，需要在輸出次序上連續的兩個圖像之呈現時間之間的差等於時鐘刻度。然而，當丟棄一些最高時間層以達成基於時間可調性之串流調適時，此情況將需要改變time_scale或num_units_in_tick之值。
在一實例中，不需要增量(亦即，在輸出次序上連續的兩個圖像之呈現時間之間的差)確切等於時鐘刻度，而是可能需要增量為時鐘刻度之整數數目倍。以此方式，寫碼結構單元19及/或視訊編碼器20可經組態以產生fixed_pic_rate_flag語法元素，使得當fixed_pic_rate_flag等於1時，需要在輸出次序上連續的兩個圖像之呈現時間之間的差等於時鐘刻度之整數倍。
在另一實例中，可能需要寫碼結構單元19及/或視訊編碼器20針對每一時間層用信號發出fixed_pic_rate_flag。另外，在此實例中， 若特定時間層之fixed_pic_rate_flag等於1，亦即，時間層表示具有恆定圖像速率，則可用信號發出值N，且該時間層表示之增量(在輸出次序上連續的兩個圖像之呈現時間之間)可等於時鐘刻度之N倍。
在另一實例中，寫碼結構單元19及/或視訊編碼器20可經組態以視情況針對每一時間層用信號發出fixed_pic_rate_flag。在此實例中，若特定層之fixed_pic_rate_flag存在且等於1，亦即，時間層表示具有恆定圖像速率，則可用信號發出值N，且該時間層表示之增量(在輸出次序上連續的兩個圖像之呈現時間之間)等於時鐘刻度之N倍。在視情況針對每一時間層用信號發出fixed_pic_rate_flag之狀況下，假定針對最高時間層用信號發出fixed_pic_rate_flag且值等於1，接著，針對不具有用信號發出之fixed_pic_rate_flag的每一特定時間層，可導出fixed_pic_rate_flag之值等於針對最高時間層用信號發出之fixed_pic_rate_flag，且導出N之值等於2max_Tid-currTid，其中max_Tid等於最高temporal_id值，且currTid等於特定時間層之temporal_id。
圖7為說明用信號發出呈現時間增量值之實例的流程圖。儘管將圖7中所說明的用信號發出呈現時間增量值之實例描述為由囊封單元21執行，但源器件12、視訊編碼器20、囊封單元21及其組件之組合的任何組合可執行圖7中所說明的用信號發出呈現時間增量值之實例。
如圖7之實例中所說明，囊封單元21產生指示第一圖像之呈現時間(例如，POC值)與第二圖像之呈現時間之間的增量是否為時鐘刻度值之整數倍的旗標(702)。換言之，囊封單元21可產生指示第一圖像與第二圖像之呈現時間之間的差(例如，增量)是否為時鐘刻度值之整數倍的資料。圖7中所描述之旗標表示此所產生之資料的實例。在一些狀況下，囊封單元21可自寫碼結構單元19或視訊編碼器20接收旗標之值。旗標可為上文所描述之fixed_pic_rate_flag語法元素中之任一者。
在一實例中，囊封單元21判定旗標之值是否可指示增量為時鐘刻度值之整數倍(704)。當旗標指示增量為時鐘刻度之整數值倍時(704之「是」分支)，囊封單元21可產生表示時鐘刻度值之整數倍的整數值N(706)。可由諸如目的地器件14之解碼器件使用整數值N，以判定該增量值，其中該增量為時鐘刻度值之整數倍。在一實例中，整數值N可為0至2047之值，且可指示增量所等於的比時鐘之整數倍數小1的值。囊封單元21可接著將旗標及整數值N作為位元串流之部分輸出(708)。
另一方面，當囊封單元21判定旗標指示增量值並非時鐘刻度之整數倍時(704之「否」分支)，囊封單元21可僅輸出該旗標(710)。
以此方式，源器件12表示處理器之實例，該處理器經組態以：產生指示第一圖像之呈現時間與第二圖像之呈現時間之間的差是否為時鐘刻度值之整數倍的資料，及在該資料指示該差為時鐘刻度值之整數倍時，產生表示該整數倍數之資料。
同樣地，圖7之方法表示用於產生包括視訊資料之位元串流之方法的實例，該方法包括：產生指示第一圖像之呈現時間與第二圖像之呈現時間之間的差是否為時鐘刻度值之整數倍的資料，及在該資料指示該差為時鐘刻度值之整數倍時，產生表示該整數倍數之資料。
如上文所描述，囊封單元21接收經編碼視訊資料。圖8為說明可產生經編碼視訊資料之視訊編碼器20之實例的方塊圖。如圖8中所展示，視訊編碼器20接收視訊資料及高階語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且大小可根據指定寫碼標準而不同。視訊編碼器20可進一步產生(例如)圖框標頭中、區塊標頭中、切片標頭中或GOP標頭中之語法資料，諸如，基於區塊之語法資料、基於圖框之語法資料及基於GOP之語法資 料。GOP語法資料可描述各別GOP中的圖框之數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
在圖8之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖8中未展示)以對區塊邊界進行濾波以自經重建構之視訊移除方塊效應假影。在需要時，解區塊濾波器通常將對求和器62之輸出進行濾波。除解區塊濾波器之外，亦可使用額外的濾波器(迴路內或迴路後)。為簡潔起見，未展示此等濾波器，但在需要時，此等濾波器可對求和器50之輸出進行濾波(作為迴路內濾波器)。
在編碼處理程序期間，視訊編碼器20接收待寫碼之視訊圖框或切片。可將圖框或切片劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊對所接收之視訊區塊執行框間預測性寫碼，以提供時間預測。框內預測單元46可替代地相對於與待寫碼之區塊相同之圖框或切片中的一或多個相鄰區塊對所接收之視訊區塊執行框內預測性寫碼，以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊的適當寫碼模式。
此外，分割單元48可基於先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可最初將圖框或切片分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)而將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割成子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可選擇寫碼模式(框內或框間)中之一者(例如，基於錯誤結果)，且將所得的經框內寫碼或經框間寫碼之區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建構經編碼區塊以供用作參考圖框。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但出於概念目的而分別加以說明。由運動估計單元42執行之運動估計為產生估計視訊區塊之運動之運動向量的處理程序。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖框(或其他經寫碼單元)內的預測性區塊(其相對於當前圖框(或其他經寫碼單元)內正經寫碼之當前區塊)的位移。預測性區塊為經發現在像素差方面緊密地匹配待寫碼之區塊的區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度來判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像的子整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋，且以分率像素精度輸出運動向量。
運動估計單元42藉由比較經框間寫碼之切片中的視訊區塊之PU的位置與參考圖像之預測性區塊的位置而計算該PU之運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元 42判定之運動向量來提取或產生預測性區塊。此外，在一些實例中，運動估計單元42及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量後，運動補償單元44便可將運動向量所指向之預測性區塊定位於參考圖像清單中之一者中。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊，如下文所論述。大體而言，運動估計單元42相對於明度分量執行運動估計，且運動補償單元44將基於明度分量而計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊切片相關聯之語法元素以供視訊解碼器30用於解碼視訊切片之視訊區塊。
作為由運動估計單元42及運動補償單元44執行之框間預測(如上文所描述)之替代，框內預測單元46可框內預測當前區塊。詳言之，框內預測單元46可判定使用框內預測模式來編碼當前區塊。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式選擇適當框內預測模式來使用。
舉例而言，框內預測單元46可使用針對各種所測試之框內預測模式的速率-失真分析計算速率-失真值，且在所測試之模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始的未經編碼區塊之間的失真(或錯誤)的量以及用以產生經編碼區塊之位元速率(亦即，位元之數目)，該原始的未經編碼區塊經編碼以產生該經編碼區塊。框內預測單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在選擇區塊之框內預測模式之後，框內預測單元46可將指示區塊的所選擇之框內預測模式的資訊提供至熵編碼單元56。熵編碼單元 56可編碼指示所選擇之框內預測模式的資訊。視訊編碼器20可在經傳輸之位元串流組態資料中包括各種區塊的編碼上下文之定義及用於該等上下文中之每一者的最有可能的框內預測模式、框內預測模式索引表及修改之框內預測模式索引表的指示，該經傳輸之位元串流組態資料可包括複數個框內預測模式索引表及複數個修改之框內預測模式索引表(亦被稱作碼字映射表)。
視訊編碼器20藉由自正經寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之(多個)組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT的其他變換。亦可使用小波變換、整數變換、次頻帶變換或其他類型之變換。在任一狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如，頻域)。變換處理單元52可將所得之變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減少位元速率。量化處理程序可減少與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵寫碼該等經量化之變化係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、概率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳 輸至另一器件(例如，視訊解碼器30)或將其封存以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊加至參考圖像記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可對經重建構之殘餘區塊應用一或多個內插濾波器以計算用於在運動估計中使用的子整數像素值。求和器62將經重建構之殘餘區塊加至由運動補償單元44產生的經運動補償之預測區塊以產生經重建構之視訊區塊以用於儲存於參考圖像記憶體64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續視訊圖框中之區塊。
如上文所描述，解囊封單元29可經組態以接收經寫碼視訊序列，並剖析存取單元及NAL單元，其中NAL單元係基於表2至表7中所說明之NAL單元分配之任何及所有組合而分配。另外，解囊封單元29及視訊解碼器30可基於NAL單元類型分配而重建構視訊資料。在一實例中，解囊封單元29可經組態以接收NAL單元，其中該NAL單元包括NAL類型值，且基於該NAL類型值，判定該NAL單元是否囊封包括於與引導圖像相關聯之RAP圖像中的視訊資料之經編碼切片，且視訊解碼器30可經組態以基於該NAL單元是否囊封包括於與引導圖像相關聯之RAP圖像中的視訊資料之經編碼切片，重建構視訊資料。在另一實例中，解囊封單元29可經組態以接收NAL單元，其中該NAL單元包括NAL類型值，且基於該NAL類型值，判定該NAL單元是否囊封AU層級SEI訊息，且視訊解碼器30可經組態以基於該NAL單元是否囊封AU層級SEI訊息而重建構視訊資料。在一些狀況下，重建構視訊資料可包括產生經拼接之位元串流，如上文所描述，且視訊解碼器30可基於NAL單元類型判定而判定經拼接之視訊串流中的圖像之呈現時間。
另外如上文所描述，諸如源器件12之源器件可經組態以用信號發出第一圖像之呈現時間與第二圖像之呈現時間之間的增量，其中該發信號使用可為上文所描述之fixed_pic_rate_flag語法元素中之任一者的語法元素中的任一者。因此，目的地器件14、解囊封單元29及視訊解碼器30可經組態以判定第一圖像及第二圖像之呈現時間，且相應地呈現該等圖像。
圖9為說明判定呈現時間增量值之實例方法的流程圖。儘管將圖9中所說明的用信號發出呈現時間增量值之實例描述為由解囊封單元29執行，但目的地器件14、視訊解碼器30、解囊封單元29及其組件之組合的任何組合可執行圖9中所說明的判定呈現時間增量值之實例。如圖9中所說明，解囊封單元29獲得第一圖像(902)。第一圖像可為對應於存取單元之經編碼圖像。解囊封單元29獲得第二圖像(904)。第二圖像可為對應於存取單元之經編碼圖像。第二圖像可包括於與第一圖像相同的時間層中。另外，第一圖像及第二圖像可包括於視訊資料之最高時間層中。
解囊封單元29可接著獲得整數值N(906)。此係假定解囊封單元29先前已獲得資料，諸如旗標之值，其指示。整數值N可包括於VUI參數之集合中，VUI參數之集合可包括於SPS中。解囊封單元29判定時鐘刻度值(908)。解囊封單元29可根據上文所描述之等式(1)，基於time_scale及num_units_in_tick語法元素而判定時鐘刻度值。
解囊封單元29可接著判定第一圖像之呈現時間與第二圖像之呈現時間之間的增量(910)。該增量可基於整數值N而等於時鐘刻度值之整數倍。舉例而言，增量可等於(N+1)*時鐘刻度。
解囊封單元29及視訊解碼器30可接著根據所判定之增量呈現第一圖像及第二圖像(912)。在一實例中，解囊封單元29可將該增量值用信號發出至視訊解碼器30，且視訊解碼器30可基於該增量值而執行 解碼處理程序。以此方式，目的地器件14表示包括處理器之器件的實例，該處理器經組態以判定第一圖像之呈現時間與第二圖像之呈現時間之間的差值，其中該差值等於整數值乘以時鐘刻度值，及根據所判定之差值呈現第一圖像及第二圖像。
同樣地，圖9之方法表示包括以下操作之方法的實例：判定第一圖像之呈現時間與第二圖像之呈現時間之間的差值，其中該差值等於整數值乘以時鐘刻度值，及根據所判定之差值呈現第一圖像及第二圖像。
圖10為說明視訊解碼器30之實例的方塊圖，視訊解碼器30可實施用於進行以下操作之技術：(1)接收包括NAL單元類型之資料，(2)處理所接收之子圖像層級或解碼單元層級HRD行為，(3)處理包括對參數集ID之參考的資料，(4)處理包括fixed_pic_rate_flag之改良之語義的所接收之資料，或此等各者之任何及所有組合。在圖10之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20(圖2)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70所接收之運動向量而產生預測資料，而框內預測單元74可基於自熵解碼單元70所接收之框內預測模式指示符產生預測資料。
在解碼處理程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊切片之視訊區塊的經編碼視訊位元串流及相關聯之語法元素。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化之係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收視訊切片層級及/或視訊區塊層級之語法元素。
當視訊切片經寫碼為經框內寫碼(I)切片時，框內預測單元74可 基於用信號發出之框內預測模式及來自當前圖框或圖像之先前經解碼區塊之資料而產生當前視訊切片之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)切片時，運動補償單元72基於自熵解碼單元70所接收之運動向量及其他語法元素而產生當前視訊切片之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像，使用預設建構技術來建構參考圖框清單：清單0及清單1。運動補償單元72藉由剖析運動向量及其他語法元素而判定當前視訊切片之視訊區塊的預測資訊，且使用該預測資訊產生正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用所接收之語法元素中之一些語法元素來判定用以寫碼視訊切片之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測切片類型(例如，B切片、P切片或GPB切片)、切片之參考圖像清單中之一或多者的建構資訊、切片之每一經框間編碼視訊區塊之運動向量、切片之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器來計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
反量化單元76將提供於位元串流中且由熵解碼單元70解碼的經量化之變換係數反量化(亦即，解量化)。反量化處理程序可包括使用由視訊解碼器30計算的視訊切片中之每一視訊區塊的量化參數QPY，來判定量化程度及(同樣地)應應用之反量化之程度。
反變換單元78將反變換(例如，反DCT、反整數變換或概念上類 似之反變換處理程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊加總而形成經解碼視訊區塊。求和器80表示執行此加總運算之(多個)組件。在需要時，亦可應用解區塊濾波器來對經解碼區塊進行濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，參考圖像記憶體82儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後呈現於顯示器件(諸如，圖3之顯示器件32)上。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列來執行，可經添加、合併或完全省略(例如，對於實踐該等技術而言，並非所有所描述之動作或事件皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非順序地執行動作或事件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體來實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體予以傳輸，且由基於硬體之處理單元來執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處之任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及 /或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為，針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。上文各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置來實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。本發明 中描述各種組件、模組或單元以強調經組態以執行所揭示之技術的器件之功能態樣，但未必需要藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適的軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。

Claims (48)

  1. 一種解碼視訊資料之方法，該方法包含：自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片，其中該NAL單元包括一NAL單元類型值，該NAL單元類型值指示該RAP圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；基於該NAL單元類型值，判定該RAP圖像是否可具有相關聯之引導圖像；及基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料。
  2. 如請求項1之方法，其中該NAL單元類型值指示該RAP圖像包含該CRA圖像，其中判定包含：基於該NAL單元類型值，判定該RAP圖像為可具有包括一加標誌為丟棄(TFD)引導的相關聯之引導圖像的一類型，且其中解碼包含在將該CRA圖像用作一隨機存取點時，剖析而不解碼對應於TFD圖像的該位元串流之資料。
  3. 如請求項1之方法，其中解囊封該切片包含擷取指示該RAP圖像包含該IDR圖像抑或該CRA圖像之該NAL單元類型值的一值。
  4. 如請求項1之方法，其進一步包含：針對一後續NAL單元，判定一NAL單元類型值指示該後續NAL單元包含包括一後置SEI訊息之一後置額外增強資訊(SEI)NAL單元；及基於該後置SEI訊息之資料，解碼在該後置SEI NAL單元之後的該位元串流之視訊資料。
  5. 如請求項4之方法，其進一步包含自一存取單元(AU)提取該後置 SEI NAL單元，該存取單元(AU)至少包括在解碼次序上在該後置SEI NAL單元之前的該AU中之一第一視訊寫碼層(VCL)NAL單元。
  6. 如請求項5之方法，其中該後置SEI NAL單元在解碼次序上在該AU中之所有VCL NAL單元之後。
  7. 一種用於解碼視訊資料之器件，該器件包含一處理器，該處理器經組態以：自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片，其中該NAL單元包括一NAL單元類型值，該NAL單元類型值指示該RAP圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；基於該NAL單元類型值，判定該RAP圖像是否可具有相關聯之引導圖像；及基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料。
  8. 如請求項7之器件，其中該NAL單元類型值指示該RAP圖像包含該CRA圖像，其中該處理器經組態以：基於該NAL單元類型值，判定該RAP圖像為可具有包括一加標誌為丟棄(TFD)引導的相關聯之引導圖像的一類型，且其中該處理器經組態以在將該CRA圖像用作一隨機存取點時，剖析而不解碼對應於TFD圖像的該位元串流之資料。
  9. 如請求項7之器件，其中該處理器經組態以擷取指示該RAP圖像包含該IDR圖像抑或該CRA圖像之該NAL單元類型值的一值。
  10. 如請求項7之器件，其中該處理器經進一步組態以：針對一後續NAL單元，判定一NAL單元類型值指示該後續NAL單元包含包括一後置SEI訊息之一後置額外增強資訊(SEI)NAL單元；及基於該後置SEI訊息之資料，解碼在該後置SEI NAL單元之後的該位元 串流之視訊資料。
  11. 如請求項10之器件，其中該處理器經組態以自一存取單元(AU)提取該後置SEI NAL單元，該存取單元(AU)至少包括在解碼次序上在該後置SEI NAL單元之前的該AU中之一第一視訊寫碼層(VCL)NAL單元。
  12. 如請求項11之器件，其中該後置SEI NAL單元在解碼次序上在該AU中之所有VCL NAL單元之後。
  13. 一種用於解碼視訊資料之器件，該器件包含：用於自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片的構件，其中該NAL單元包括一NAL單元類型值，該NAL單元類型值指示該RAP圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；用於基於該NAL單元類型值，判定該RAP圖像是否可具有相關聯之引導圖像的構件；及用於基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料的構件。
  14. 如請求項13之器件，其中該NAL單元類型值指示該RAP圖像包含該CRA圖像，其中用於判定之該構件包含用於基於該NAL單元類型值，判定該RAP圖像為可具有包括一加標誌為丟棄(TFD)引導的相關聯之引導圖像的一類型的構件，且其中用於解碼之該構件包含用於在將該CRA圖像用作一隨機存取點時，剖析而不解碼對應於TFD圖像的該位元串流之資料的構件。
  15. 如請求項13之器件，其中用於解囊封該切片之該構件包含用於擷取指示該RAP圖像包含該IDR圖像抑或該CRA圖像之該NAL單元類型值的一值的構件。
  16. 如請求項13之器件，其進一步包含：用於針對一後續NAL單元，判定一NAL單元類型值指示該後續NAL單元包含包括一後置SEI訊息之一後置額外增強資訊(SEI)NAL單元的構件；及用於基於該後置SEI訊息之資料，解碼在該後置SEI NAL單元之後的該位元串流之視訊資料的構件。
  17. 如請求項16之器件，其進一步包含用於自一存取單元(AU)提取該後置SEI NAL單元之構件，該存取單元(AU)至少包括在解碼次序上在該後置SEI NAL單元之前的該AU中之一第一視訊寫碼層(VCL)NAL單元。
  18. 如請求項17之器件，其中該後置SEI NAL單元在解碼次序上在該AU中之所有VCL NAL單元之後。
  19. 一種具有儲存於其上之指令之電腦可讀儲存媒體，該等指令在經執行時使得一處理器進行以下操作：自一網路抽取層(NAL)單元解囊封一位元串流之一隨機存取點(RAP)圖像的一切片，其中該NAL單元包括一NAL單元類型值，該NAL單元類型值指示該RAP圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像為一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；基於該NAL單元類型值，判定該RAP圖像是否可具有相關聯之引導圖像；及基於該判定該RAP圖像是否可具有相關聯之引導圖像，解碼在該RAP圖像之後的該位元串流之視訊資料。
  20. 如請求項19之電腦可讀儲存媒體，其中該NAL單元類型值指示該RAP圖像包含該CRA圖像，其中使得該處理器判定之該等指令包含使得該處理器基於該NAL單元類型值，判定該RAP圖像為可具 有包括一加標誌為丟棄(TFD)引導的相關聯之引導圖像的一類型的指令，且其中使得該處理器解碼之該等指令包含使得該處理器在將該CRA圖像用作一隨機存取點時，剖析而不解碼對應於TFD圖像的該位元串流之資料的指令。
  21. 如請求項19之電腦可讀儲存媒體，其中使得該處理器解囊封該切片之該等指令包含使得該處理器擷取指示該RAP圖像包含該IDR圖像抑或該CRA圖像之該NAL單元類型值的一值的指令。
  22. 如請求項19之電腦可讀儲存媒體，其進一步包含使得該處理器進行以下操作之指令：針對一後續NAL單元，判定一NAL單元類型值指示該後續NAL單元包含包括一後置SEI訊息之一後置額外增強資訊(SEI)NAL單元；及基於該後置SEI訊息之資料，解碼在該後置SEI NAL單元之後的該位元串流之視訊資料。
  23. 如請求項22之電腦可讀儲存媒體，其進一步包含使得該處理器自一存取單元(AU)提取該後置SEI NAL單元之指令，該存取單元(AU)至少包括在解碼次序上在該後置SEI NAL單元之前的該AU中之一第一視訊寫碼層(VCL)NAL單元。
  24. 如請求項23之電腦可讀儲存媒體，其中該後置SEI NAL單元在解碼次序上在該AU中之所有VCL NAL單元之後。
  25. 一種產生包括視訊資料之一位元串流的方法，該方法包含：判定一隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像包含一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；將該RAP圖像之一切片囊封於一網路抽取層(NAL)單元中，其中該NAL單元包括指示該RAP圖像是否為可具有相關聯之引導圖 像的一類型的一NAL單元類型值；及產生包括該NAL單元之一位元串流。
  26. 如請求項25之方法，其中該RAP圖像包含該CRA圖像，其中判定包含判定該RAP圖像為可具有包括一加標誌為丟棄(TFD)引導的相關聯之引導圖像的一類型，且其中囊封該切片包含設定該NAL單元類型值之一值以指示該CRA圖像可具有相關聯之TFD引導圖像。
  27. 如請求項25之方法，其中囊封該切片包含設定該NAL單元類型值之一值以指示該RAP圖像包含該IDR圖像抑或該CRA圖像。
  28. 如請求項25之方法，其進一步包含：判定一額外增強資訊(SEI)訊息為一前置SEI訊息抑或一後置SEI訊息，其中該SEI訊息包括與視訊資料之該經編碼切片有關的資料；及將該SEI訊息囊封於一SEI NAL單元中，其中該SEI NAL單元包括一NAL單元類型值，該NAL單元類型值指示該SEI NAL單元為一前置SEI NAL單元抑或一後置SEI NAL單元，及該SEI訊息為一前置SEI訊息抑或一後置SEI訊息，其中產生該位元串流進一步包含產生該位元串流以包括該SEI NAL單元。
  29. 如請求項28之方法，其中產生該位元串流包含將該SEI NAL單元囊封於一存取單元(AU)中，使得當該NAL單元類型值指示該SEI NAL單元為一後置SEI NAL單元時，該SEI NAL單元在解碼次序上在該AU中之一第一視訊寫碼層(VCL)NAL單元之後。
  30. 如請求項29之方法，其中產生該位元串流進一步包含將該SEI NAL單元囊封於該AU中，使得當該NAL單元類型值指示該SEI NAL單元為該後置SEI NAL單元時，該SEI NAL單元在解碼次序 上進一步接在該AU中之一最後VCL NAL單元之後。
  31. 一種用於產生包括視訊資料之一位元串流的器件，該器件包含一處理器，該處理器經組態以：判定一隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像包含一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；將該RAP圖像之一切片囊封於一網路抽取層(NAL)單元中，其中該NAL單元包括指示該RAP圖像是否為可具有相關聯之引導圖像的一類型的一NAL單元類型值；及產生包括該NAL單元之一位元串流。
  32. 如請求項31之器件，其中該RAP圖像包含該CRA圖像，其中該處理器經組態以判定該RAP圖像為可具有包括一加標誌為丟棄(TFD)引導的相關聯之引導圖像的一類型，且其中該處理器經組態以設定該NAL單元類型值之一值以指示該CRA圖像可具有相關聯之TFD引導圖像。
  33. 如請求項31之器件，其中該處理器經組態以設定該NAL單元類型值之一值以指示該RAP圖像包含該IDR圖像抑或該CRA圖像。
  34. 如請求項31之器件，其中該處理器經進一步組態以：判定一額外增強資訊(SEI)訊息為一前置SEI訊息抑或一後置SEI訊息，其中該SEI訊息包括與視訊資料之該經編碼切片有關的資料；將該SEI訊息囊封於一SEI NAL單元中，其中該SEI NAL單元包括一NAL單元類型值，該NAL單元類型值指示該SEI NAL單元為一前置SEI NAL單元抑或一後置SEI NAL單元，及該SEI訊息為一前置SEI訊息抑或一後置SEI訊息；及產生該位元串流以包括該SEI NAL單元。
  35. 如請求項34之器件，其中該處理器經組態以將該SEI NAL單元囊封於一存取單元(AU)中，使得當該NAL單元類型值指示該SEI NAL單元為一後置SEI NAL單元時，該SEI NAL單元在解碼次序上在該AU中之一第一視訊寫碼層(VCL)NAL單元之後。
  36. 如請求項35之器件，其中該處理器經組態以將該SEI NAL單元囊封於該AU中，使得當該NAL單元類型值指示該SEI NAL單元為該後置SEI NAL單元時，該SEI NAL單元在解碼次序上進一步接在該AU中之一最後VCL NAL單元之後。
  37. 一種用於產生包括視訊資料之一位元串流的器件，該器件包含：用於判定一隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像包含一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像的構件；用於將該RAP圖像之一切片囊封於一網路抽取層(NAL)單元中的構件，其中該NAL單元包括指示該RAP圖像是否為可具有相關聯之引導圖像的一類型的一NAL單元類型值；及用於產生包括該NAL單元之一位元串流的構件。
  38. 如請求項37之器件，其中該RAP圖像包含該CRA圖像，其中用於判定之該構件包含用於判定該RAP圖像為可具有包括一加標誌為丟棄(TFD)引導的相關聯之引導圖像的一類型的構件，且其中用於囊封該切片之該構件包含用於設定該NAL單元類型值之一值以指示該CRA圖像可具有相關聯之TFD引導圖像的構件。
  39. 如請求項37之器件，其中用於囊封該切片之該構件包含用於設定該NAL單元類型值之一值以指示該RAP圖像包含該IDR圖像抑或該CRA圖像的構件。
  40. 如請求項37之器件，其進一步包含：用於判定一額外增強資訊(SEI)訊息為一前置SEI訊息抑或一後置SEI訊息之構件，其中該SEI訊息包括與視訊資料之該經編碼 切片有關的資料；及用於將該SEI訊息囊封於一SEI NAL單元中之構件，其中該SEI NAL單元包括一NAL單元類型值，該NAL單元類型值指示該SEI NAL單元為一前置SEI NAL單元抑或一後置SEI NAL單元，及該SEI訊息為一前置SEI訊息抑或一後置SEI訊息，其中用於產生該位元串流之該構件進一步包含用於產生該位元串流以包括該SEI NAL單元之構件。
  41. 如請求項40之器件，其中用於產生該位元串流之該構件包含用於將該SEI NAL單元囊封於一存取單元(AU)中，使得當該NAL單元類型值指示該SEI NAL單元為一後置SEI NAL單元時，該SEI NAL單元在解碼次序上在該AU中之一第一視訊寫碼層(VCL)NAL單元之後的構件。
  42. 如請求項41之器件，其中用於產生該位元串流之該構件進一步包含用於將該SEI NAL單元囊封於該AU中，使得當該NAL單元類型值指示該SEI NAL單元為該後置SEI NAL單元時，該SEI NAL單元在解碼次序上進一步接在該AU中之一最後VCL NAL單元之後的構件。
  43. 一種具有儲存於其上之指令之電腦可讀儲存媒體，該等指令在經執行時使得一處理器進行以下操作：判定一隨機存取點(RAP)圖像是否為可具有相關聯之引導圖像的一類型，及該RAP圖像包含一瞬時解碼器再新(IDR)圖像抑或一清潔隨機存取(CRA)圖像；將該RAP圖像之一切片囊封於一網路抽取層(NAL)單元中，其中該NAL單元包括指示該RAP圖像是否為可具有相關聯之引導圖像的一類型的一NAL單元類型值；及產生包括該NAL單元之一位元串流。
  44. 如請求項43之電腦可讀儲存媒體，其中該RAP圖像包含該CRA圖像，其中使得該處理器判定之該等指令包含使得該處理器判定該RAP圖像為可具有包括一加標誌為丟棄(TFD)引導的相關聯之引導圖像的一類型的指令，且其中使得該處理器囊封該切片之該等指令包含使得該處理器設定該NAL單元類型值之一值以指示該CRA圖像可具有相關聯之TFD引導圖像的指令。
  45. 如請求項43之電腦可讀儲存媒體，其中使得該處理器囊封該切片之該等指令包含使得該處理器設定該NAL單元類型值之一值以指示該RAP圖像包含該IDR圖像抑或該CRA圖像的指令。
  46. 如請求項43之電腦可讀儲存媒體，其進一步包含使得該處理器進行以下操作之指令：判定一額外增強資訊(SEI)訊息為一前置SEI訊息抑或一後置SEI訊息，其中該SEI訊息包括與視訊資料之該經編碼切片有關的資料；及將該SEI訊息囊封於一SEI NAL單元中，其中該SEI NAL單元包括一NAL單元類型值，該NAL單元類型值指示該SEI NAL單元為一前置SEI NAL單元抑或一後置SEI NAL單元，及該SEI訊息為一前置SEI訊息抑或一後置SEI訊息，其中使得該處理器產生該位元串流之該等指令進一步包含使得該處理器產生該位元串流以包括該SEI NAL單元之指令。
  47. 如請求項46之電腦可讀儲存媒體，其中使得該處理器產生該位元串流之該等指令包含使得該處理器將該SEI NAL單元囊封於一存取單元(AU)中，使得當該NAL單元類型值指示該SEI NAL單元為一後置SEI NAL單元時，該SEI NAL單元在解碼次序上在該AU中之一第一視訊寫碼層(VCL)NAL單元之後的指令。
  48. 如請求項47之電腦可讀儲存媒體，其中使得該處理器產生該位 元串流之該等指令進一步包含使得該處理器將該SEI NAL單元囊封於該AU中，使得當該NAL單元類型值指示該SEI NAL單元為該後置SEI NAL單元時，該SEI NAL單元在解碼次序上進一步接在該AU中之一最後VCL NAL單元之後的指令。
TW102124775A 2012-07-10 2013-07-10 用於視訊編碼及解碼之用於編碼及解碼隨機存取圖像之方法、裝置及製程 TWI539799B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261670066P 2012-07-10 2012-07-10
US13/801,950 US9648322B2 (en) 2012-07-10 2013-03-13 Coding random access pictures for video coding

Publications (2)

Publication Number Publication Date
TW201415896A true TW201415896A (zh) 2014-04-16
TWI539799B TWI539799B (zh) 2016-06-21

Family

ID=49913978

Family Applications (3)

Application Number Title Priority Date Filing Date
TW102124778A TWI513281B (zh) 2012-07-10 2013-07-10 寫碼用於視訊寫碼之計時資訊
TW102124775A TWI539799B (zh) 2012-07-10 2013-07-10 用於視訊編碼及解碼之用於編碼及解碼隨機存取圖像之方法、裝置及製程
TW102124776A TWI545940B (zh) 2012-07-10 2013-07-10 寫碼用於視訊寫碼之額外增強資訊網路抽取層單元

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW102124778A TWI513281B (zh) 2012-07-10 2013-07-10 寫碼用於視訊寫碼之計時資訊

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW102124776A TWI545940B (zh) 2012-07-10 2013-07-10 寫碼用於視訊寫碼之額外增強資訊網路抽取層單元

Country Status (24)

Country Link
US (3) US9967583B2 (zh)
EP (3) EP2873234B1 (zh)
JP (3) JP6193371B2 (zh)
KR (3) KR101956967B1 (zh)
CN (3) CN104412600B (zh)
AU (2) AU2013288896B2 (zh)
BR (2) BR112015000597B1 (zh)
CA (2) CA2878293C (zh)
DK (2) DK2873235T3 (zh)
ES (3) ES2663444T3 (zh)
HK (2) HK1204181A1 (zh)
HU (3) HUE030663T2 (zh)
IL (2) IL236185B (zh)
MY (2) MY167759A (zh)
PH (2) PH12015500019A1 (zh)
PL (1) PL2873235T3 (zh)
PT (1) PT2873235T (zh)
RU (2) RU2635228C2 (zh)
SG (2) SG11201408364VA (zh)
SI (2) SI2873244T1 (zh)
TW (3) TWI513281B (zh)
UA (2) UA116354C2 (zh)
WO (3) WO2014011569A1 (zh)
ZA (2) ZA201500919B (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9912941B2 (en) 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US10110890B2 (en) 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9967583B2 (en) 2012-07-10 2018-05-08 Qualcomm Incorporated Coding timing information for video coding
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
WO2015015681A1 (ja) * 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法および画像符号化装置
WO2015056182A2 (en) 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding
GB2519745B (en) 2013-10-22 2018-04-18 Canon Kk Method of processing disordered frame portion data units
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9402083B2 (en) * 2014-04-24 2016-07-26 Vidyo, Inc. Signaling conformance points using profile space
US9306987B2 (en) 2014-04-29 2016-04-05 Cisco Technology, Inc. Content message for video conferencing
US9813719B2 (en) * 2014-06-18 2017-11-07 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US9866852B2 (en) * 2014-06-20 2018-01-09 Qualcomm Incorporated Video coding using end of sequence network abstraction layer units
US9838697B2 (en) * 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
KR102631484B1 (ko) * 2015-01-27 2024-01-30 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 이미지들 및 비디오의 전기-광학 및 광-전기 변환을 위한 방법들, 시스템들 및 장치
KR101909254B1 (ko) * 2015-07-08 2018-10-17 주식회사 케이티 셋톱 박스에서 고화질 파노라마를 제공하는 방법, 디바이스 및 시스템
US10410376B1 (en) * 2016-09-26 2019-09-10 Amazon Technologies, Inc. Virtual reality media content decoding of portions of image frames
CN106230560A (zh) * 2016-09-28 2016-12-14 西北工业大学 无线网络中协作多媒体多播数据传输方法
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
CN106534137B (zh) * 2016-11-18 2020-01-14 浙江宇视科技有限公司 媒体流传输方法及装置
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options
KR102006449B1 (ko) * 2017-11-29 2019-08-01 네이버 주식회사 분산 트랜스코딩 방법 및 분산 트랜스코딩 시스템
EP3811700A1 (en) * 2018-06-19 2021-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for controlling a robot device over a wireless network
CN109618186B (zh) * 2018-11-15 2021-01-01 中国航空工业集团公司洛阳电光设备研究所 一种采用fpga实现的h264/avc视频辅助增强信息封装电路
SG11202106524PA (en) * 2018-12-20 2021-07-29 Ericsson Telefon Ab L M Normative indication of recovery point
US11889118B2 (en) * 2019-02-24 2024-01-30 Sharp Kabushiki Kaisha Systems and methods for signaling types of pictures and associated information in video coding
WO2020185959A1 (en) 2019-03-11 2020-09-17 Futurewei Technologies, Inc. Gradual decoding refresh in video coding
WO2020184999A1 (ko) 2019-03-12 2020-09-17 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
US11153583B2 (en) 2019-06-07 2021-10-19 Qualcomm Incorporated Spatial scalability support in video encoding and decoding
WO2021006631A1 (ko) * 2019-07-08 2021-01-14 엘지전자 주식회사 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩
KR20210027175A (ko) * 2019-08-30 2021-03-10 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP4022929A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. ENCODER, DECODER SUPPORTING LOWER LAYER FRAMES
AU2020354368A1 (en) * 2019-09-24 2022-04-14 Huawei Technologies Co., Ltd. Temporal identifier constraints for SEI messages
EP4078950A1 (en) * 2019-12-19 2022-10-26 Telefonaktiebolaget Lm Ericsson (Publ) Film grain process
US11399188B2 (en) * 2020-01-01 2022-07-26 Tencent America LLC Method for mixed NAL unit type support in a coded picture
US11239933B2 (en) * 2020-01-28 2022-02-01 Microsemi Semiconductor Ulc Systems and methods for transporting constant bit rate client signals over a packet transport network
GB2593543B (en) * 2020-03-27 2023-04-19 Canon Kk Video coding and decoding
US11706428B2 (en) * 2020-04-06 2023-07-18 Tencent America LLC Method for signaling picture header in coded video stream
JP2023524201A (ja) * 2020-04-21 2023-06-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ・コーディングにおける制約処理及び適合性試験のためのセマンティクス
AU2021276676B2 (en) 2020-05-22 2024-08-22 Bytedance Inc. Scalable nested SEI message handling in video sub-bitstream extraction process
KR20230019850A (ko) * 2020-06-09 2023-02-09 바이트댄스 아이엔씨 서브픽처 레벨 및 버퍼링 정보의 시그널링
JP7549045B2 (ja) 2020-06-09 2024-09-10 バイトダンス インコーポレイテッド マルチレイヤ映像ビットストリームのサブビットストリーム抽出
EP4154542A4 (en) 2020-06-09 2023-10-11 ByteDance Inc. CONSTRAINTS ON ADDITIONAL ENHANCEMENT INFORMATION IN VIDEO CODING
US12041386B2 (en) 2020-09-29 2024-07-16 Lemon Inc. Dependent random access point indication in video bitstreams
US11765376B2 (en) 2020-10-08 2023-09-19 Tencent America LLC Pruning methods and apparatuses for neural network based video coding
JP2024500550A (ja) * 2020-12-28 2024-01-09 北京字節跳動網絡技術有限公司 ランダムアクセスポイントサンプルエントリの信号通知
EP4289136A1 (en) * 2021-02-05 2023-12-13 Nokia Technologies Oy High-level syntax for signaling neural networks within a media bitstream

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58127466A (ja) 1982-01-26 1983-07-29 Fuji Xerox Co Ltd 画像拡大縮小方式
US7095783B1 (en) 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
JP2959372B2 (ja) 1993-12-03 1999-10-06 日本電気株式会社 クロック生成回路
US20060093045A1 (en) 1999-06-29 2006-05-04 Roger Anderson Method and apparatus for splicing
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP4562300B2 (ja) 2000-11-14 2010-10-13 ルネサスエレクトロニクス株式会社 クロック制御方法及び回路
US9497452B2 (en) * 2002-01-22 2016-11-15 Broadcom Corporation System and method of transmission and reception of video using compressed differential time stamps
EP3054680B1 (en) 2002-04-19 2019-06-05 Panasonic Intellectual Property Corporation of America Motion vector calculating method
CN100380976C (zh) 2002-04-26 2008-04-09 日本电气株式会社 运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置
JP2003319391A (ja) 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
WO2004006446A2 (en) 2002-07-02 2004-01-15 Conexant Systems, Inc. Hypothetical reference decoder for compressed image and video
US7532670B2 (en) * 2002-07-02 2009-05-12 Conexant Systems, Inc. Hypothetical reference decoder with low start-up delays for compressed image and video
US7787539B2 (en) 2002-07-17 2010-08-31 Broadcom Corporation Decoding and presentation time stamps for MPEG-4 advanced video coding
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
JP4663223B2 (ja) 2003-09-11 2011-04-06 パナソニック株式会社 演算処理装置
US8351514B2 (en) 2004-01-16 2013-01-08 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
US7516064B2 (en) * 2004-02-19 2009-04-07 Dolby Laboratories Licensing Corporation Adaptive hybrid transform for signal analysis and synthesis
CN101053258A (zh) 2004-11-04 2007-10-10 皇家飞利浦电子股份有限公司 用于处理编码的视频数据的方法和设备
US20060104356A1 (en) 2004-11-15 2006-05-18 Microsoft Corporation Timing for decoder buffer examination
TWI268708B (en) 2005-08-12 2006-12-11 Realtek Semiconductor Corp Video processing method capable of preventing rough movement of video object, and related device
CN101317460A (zh) 2005-10-11 2008-12-03 诺基亚公司 用于有效的可伸缩流适配的系统和方法
US7839948B2 (en) * 2005-12-02 2010-11-23 Qualcomm Incorporated Time slicing techniques for variable data rate encoding
WO2007080223A1 (en) 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US20080165860A1 (en) 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
US20080089411A1 (en) 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US20090296826A1 (en) 2007-01-04 2009-12-03 Thomson Licensing Methods and apparatus for video error correction in multi-view coded video
JP5535646B2 (ja) 2007-01-05 2014-07-02 トムソン ライセンシング スケーラブル映像符号化用の仮想リファレンスデコーダ
US7756231B2 (en) 2007-01-09 2010-07-13 Freescale Semiconductor, Inc. Digital clock generating circuit and method of operation
US20100142613A1 (en) 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
CN101690229A (zh) 2007-06-26 2010-03-31 诺基亚公司 用于指示时间层切换点的系统和方法
JPWO2009001521A1 (ja) 2007-06-27 2010-08-26 パナソニック株式会社 信号処理装置
US7548123B2 (en) 2007-07-13 2009-06-16 Silicon Laboratories Inc. Dividerless PLL architecture
US8045836B2 (en) 2008-01-11 2011-10-25 Texas Instruments Incorporated System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
US8451819B2 (en) 2008-03-26 2013-05-28 Qualcomm Incorporated Methods and apparatus for uplink frame synchronization in a subscriber station
JP2009246712A (ja) 2008-03-31 2009-10-22 Panasonic Corp デジタル放送受信装置
US9532001B2 (en) * 2008-07-10 2016-12-27 Avaya Inc. Systems, methods, and media for providing selectable video using scalable video coding
US20100232521A1 (en) * 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
WO2010057027A1 (en) 2008-11-14 2010-05-20 Transvideo, Inc. Method and apparatus for splicing in a compressed video bitstream
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
JP5524594B2 (ja) * 2009-12-14 2014-06-18 パナソニック株式会社 画像復号装置及び画像復号方法
US20110274178A1 (en) 2010-05-06 2011-11-10 Canon Kabushiki Kaisha Method and device for parallel decoding of video data units
US8879585B2 (en) 2010-05-13 2014-11-04 Mediatek Inc. Frame timing controller and frame timing control method for triggering at least receiver in mobile station to start receiving transmitted information of base station by referring to at least frame pointer
RU2434358C1 (ru) 2010-07-07 2011-11-20 Государственное образовательное учреждение высшего профессионального образования "Военная академия связи имени С.М. Буденного" Министерства обороны Российской Федерации Способ сжатия и восстановления подвижных цветных видеоизображений
WO2012045192A1 (en) * 2010-10-05 2012-04-12 Intel Corporation Method and apparatus for dynamically adjusting video quality
JP2012114575A (ja) * 2010-11-22 2012-06-14 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP5645699B2 (ja) 2011-02-16 2014-12-24 三菱電機株式会社 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
EP2490447A1 (en) 2011-02-16 2012-08-22 British Telecommunications Public Limited Company Compact cumulative bit curves
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US20130188698A1 (en) 2012-01-19 2013-07-25 Qualcomm Incorporated Coefficient level coding
US9591328B2 (en) 2012-01-20 2017-03-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
US20130271568A1 (en) 2012-04-13 2013-10-17 Electronics And Telecommunications Research Institute Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
US9591303B2 (en) 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
US10230972B2 (en) 2012-07-01 2019-03-12 Sharp Kabushiki Kaisha Device for signaling a long-term reference picture in a parameter set
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US20140003534A1 (en) * 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9584803B2 (en) 2012-07-08 2017-02-28 Cisco Technology, Inc. Picture output management in video applications with fixed picture rate
US9967583B2 (en) 2012-07-10 2018-05-08 Qualcomm Incorporated Coding timing information for video coding

Also Published As

Publication number Publication date
IL236185A0 (en) 2015-01-29
TW201415866A (zh) 2014-04-16
PL2873235T3 (pl) 2017-03-31
TWI539799B (zh) 2016-06-21
PH12015500058A1 (en) 2015-03-02
PT2873235T (pt) 2017-01-04
TWI545940B (zh) 2016-08-11
PH12015500019B1 (en) 2015-03-02
UA113446C2 (xx) 2017-01-25
JP6231095B2 (ja) 2017-11-15
BR112015000597A2 (pt) 2017-06-27
ES2649671T3 (es) 2018-01-15
ZA201500918B (en) 2017-08-30
BR112015000597B1 (pt) 2023-04-11
EP2873244A1 (en) 2015-05-20
WO2014011569A1 (en) 2014-01-16
HUE034973T2 (en) 2018-05-02
MY167759A (en) 2018-09-24
KR20150031467A (ko) 2015-03-24
CN104429083B (zh) 2019-01-29
SI2873235T1 (sl) 2016-12-30
PH12015500019A1 (en) 2015-03-02
SI2873244T1 (en) 2018-04-30
HUE036332T2 (hu) 2018-07-30
BR112015000599A2 (pt) 2017-06-27
CN104429085B (zh) 2017-12-15
JP6193371B2 (ja) 2017-09-06
US9967583B2 (en) 2018-05-08
ZA201500919B (en) 2017-11-29
CA2878293A1 (en) 2014-01-16
KR101861903B1 (ko) 2018-05-28
US20140016708A1 (en) 2014-01-16
JP2015527814A (ja) 2015-09-17
KR101956967B1 (ko) 2019-03-11
CN104412600A (zh) 2015-03-11
AU2013288897A1 (en) 2015-01-22
AU2013288896A1 (en) 2015-01-22
JP2015527813A (ja) 2015-09-17
TWI513281B (zh) 2015-12-11
US9648322B2 (en) 2017-05-09
KR101784670B1 (ko) 2017-10-12
ES2608765T3 (es) 2017-04-12
HUE030663T2 (en) 2017-05-29
RU2619194C2 (ru) 2017-05-12
SG11201408364VA (en) 2015-01-29
JP6162236B2 (ja) 2017-07-12
CA2878365A1 (en) 2014-01-16
RU2015104260A (ru) 2016-08-27
HK1204181A1 (zh) 2015-11-06
WO2014011567A1 (en) 2014-01-16
US20140016707A1 (en) 2014-01-16
EP2873234A1 (en) 2015-05-20
EP2873244B1 (en) 2018-01-03
JP2015527815A (ja) 2015-09-17
CA2878293C (en) 2019-01-29
HK1204835A1 (zh) 2015-12-04
WO2014011570A1 (en) 2014-01-16
IL236185B (en) 2019-02-28
SG11201408365QA (en) 2015-01-29
RU2015104183A (ru) 2016-08-27
BR112015000601B1 (pt) 2023-04-11
EP2873234B1 (en) 2017-09-06
DK2873235T3 (en) 2016-12-19
IL236186A0 (en) 2015-01-29
RU2635228C2 (ru) 2017-11-09
AU2013288897B2 (en) 2017-11-23
CN104429085A (zh) 2015-03-18
US9584804B2 (en) 2017-02-28
KR20150031468A (ko) 2015-03-24
EP2873235A1 (en) 2015-05-20
ES2663444T3 (es) 2018-04-12
UA116354C2 (uk) 2018-03-12
TW201415906A (zh) 2014-04-16
AU2013288896B2 (en) 2017-08-10
CN104429083A (zh) 2015-03-18
KR20150031469A (ko) 2015-03-24
DK2873244T3 (en) 2018-04-16
US20140016697A1 (en) 2014-01-16
IL236186B (en) 2018-01-31
AU2013288897B9 (en) 2018-03-22
CA2878365C (en) 2019-09-24
MY171067A (en) 2019-09-24
BR112015000601A2 (pt) 2017-06-27
CN104412600B (zh) 2018-10-16
EP2873235B1 (en) 2016-09-28

Similar Documents

Publication Publication Date Title
TWI539799B (zh) 用於視訊編碼及解碼之用於編碼及解碼隨機存取圖像之方法、裝置及製程
TWI520588B (zh) 在視訊寫碼中用於視訊時序之時脈刻度求導資訊之發信
JP6545623B2 (ja) ビデオコード化における低遅延バッファリングモデル
TWI559774B (zh) 具有改善隨機存取點圖像行爲之視訊寫碼
TWI610557B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體