TWI636687B - 視訊資料串流概念技術 - Google Patents

視訊資料串流概念技術 Download PDF

Info

Publication number
TWI636687B
TWI636687B TW106111143A TW106111143A TWI636687B TW I636687 B TWI636687 B TW I636687B TW 106111143 A TW106111143 A TW 106111143A TW 106111143 A TW106111143 A TW 106111143A TW I636687 B TWI636687 B TW I636687B
Authority
TW
Taiwan
Prior art keywords
packet
roi
picture
packets
data stream
Prior art date
Application number
TW106111143A
Other languages
English (en)
Other versions
TW201742467A (zh
Inventor
湯瑪士 夏以爾
維雷瑞 喬治
阿納斯塔沙 亨凱爾
迪特利夫 馬皮
卡斯登 古寧貝格
羅伯特 史庫濱
Original Assignee
Ｇｅ影像壓縮有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48782303&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI636687(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Ｇｅ影像壓縮有限公司 filed Critical Ｇｅ影像壓縮有限公司
Publication of TW201742467A publication Critical patent/TW201742467A/zh
Application granted granted Critical
Publication of TWI636687B publication Critical patent/TWI636687B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64776—Control signals issued by the network directed to the server or the client directed to the server for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/31—Flow control; Congestion control by tagging of packets, e.g. using discard eligibility [DE] bits

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Communication Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

在允許諸如MANE或解碼器之網路實體容易存取的層級上在視訊資料串流內傳達解碼器擷取時序資訊、ROI資訊及影像塊識別資訊。為達到此層級，藉由穿插在視訊資料串流之存取單元的封包中的封包，在視訊資料串流內傳達此等類型之資訊。根據一實施例，穿插式封包係可移除式封包類型，即，此等穿插式封包的移除維持解碼器完全復原經由視訊資料串流所傳達的視訊內容之能力。

Description

視訊資料串流概念技術
本申請案係關於視訊資料串流概念技術，特定言之，該等概念技術在低延遲應用方面係有利的。
HEVC[2]允許向應用層進行高階語法發信號的不同手段。此等手段係NAL單元標頭、參數集及補充增強資訊(SEI)訊息。在解碼過程中不使用SEI訊息。高階語法發信號的其他手段源自於個別傳輸協定規定，諸如MPEG2傳輸協定[3]或即時傳輸協定[4]，及其有效負載特殊規定，例如對於H.264/AVC[5]、可縮放視訊編碼(SVC)[6]或HEVC[7]的建議。此等傳輸協定可介紹高階發信號，其所使用的結構及機構與個別應用層編碼解碼器規定(例如HEVC[2])之高階發信號類似。此發信號之一實例係如[6]中所描述之有效負載內容可縮放性資訊(PACSI)NAL單元，其為傳輸層提供補充資訊。
就參數集而言，HEVC包括視訊參數集(VPS)，該參數集在單個及中央位置編譯將由應用層使用之最重要的串流資訊。在較早的方法中，需要自多個參數集及NAL單元標頭收集此資訊。
在本申請案之前，關於假想參考解碼器(HRD)之已編碼圖片緩衝器(CPB)操作之標準的狀態，以及在序列參數集(SPS)/視訊可用性資訊(VUI)、圖片時序SEI、緩衝週期SEI以及解碼單元之定義(其描述子圖片及如圖塊標頭以及圖片參數集(PPS)中所呈現之相依性圖塊之語法)中提供的所有相關語法如下。
為了允許子圖片層級上的低延遲CPB操作，已提議子圖片CPB操作並且將其併入HEVC標準草案7JCTVC-I1003[2]中。尤其在此處，在[2]之第3章節中已將解碼單元定義為：解碼單元：存取單元或存取單元之子集。若SubPicCpbFlag等於0，則解碼單元係存取單元。否則，解碼單元由存取單元中的一或多個VCL NAL單元及相關非VCL NAL單元組成。就存取單元中的第一個VCL NAL單元而言，相關非VCL NAL單元係緊接在第一個VCL NAL單元之後的填充符資料NAL單元(若存在)以及在該存取單元中位於第一個VCL NAL單元之前的所有非VCL NAL單元。就並非存取單元中的第一個VCL NAL單元之VCL NAL單元而言，相關非VCL NAL單元係緊接在該VCL NAL單元之後的填充符資料NAL單元(若存在)。
到那時為止已定義的標準中，已描述「解碼單元移除時序及解碼單元解碼」。為了用信號發出子圖片時序，已擴展緩衝週期SEI訊息及圖片時序SEI訊息以及VUI中的HRD參數來支援解碼單元，如子圖片單元。
[2]之緩衝週期SEI訊息語法展示於圖1中。
當NalHrdBpPresentFlag或VclHrdBpPresentFlag等於1時，緩衝週期SEI訊息可與位元串流中的任何存取單元相關，且緩衝週期SEI訊息將與每一RAP存取單元及關聯於復原點SEI訊息的每一存取單元相關。
對於一些應用，緩衝週期SEI訊息的頻繁出現可能係理想的。
緩衝週期係規定為按解碼次序在緩衝週期SEI訊息之兩個例項之間的存取單元之集合。
語義如下：seq_parameter_set_id規定含有序列HRD屬性之序列參數集。seq_parameter_set_id的值將等於與緩衝週期SEI訊息相關的主要已編碼圖片所參考的圖片參數集中之seq_parameter_set_id的值。seq_parameter_set_id的值將在0至31的範圍內(包括0及31)。
rap_cpb_params_present_flag等於1規定initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]語法元素的存在。當不存在時，推斷rap_cpb_params_present_flag的值等於0。當相關圖片既非CRA圖片亦非BLA圖片時，rap_cpb_params_present_flag的值將等於0。
initial_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay[SchedSelIdx]規定第 SchedSelIdx個CPB之初始CPB移除延遲。該等語法元素具有由initial_cpb_removal_delay_length_minus1+1給出的以位元為單位的長度，且以90kHz的時鐘為單位。該等語法元素的值將不等於0且將不超過90000*(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，其係以90kHz的時鐘為單位的CPB大小之時間等效物。
initial_cpb_removal_delay_offset[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]係用於第SchedSelIdx個CPB，來規定已編碼資料單元至該CPB之初始遞送時間。該等語法元素具有由initial_cpb_removal_delay_length_minus1+1給出的以位元為單位的長度，且以90kHz的時鐘為單位。此等語法元素並不被解碼器所使用且僅為遞送排程器(HSS)所需要。
在整個已編碼視訊序列上，initial_cpb_removal_delay[SchedSelIdx]與initial_cpb_removal_delay_offset[SchedSelIdx]的總和對於SchedSelIdx的每一值將為恆定的，且initial_alt_cpb_removal_delay[SchedSelIdx]與initial_alt_cpb_removal_delay_offset[SchedSelIdx]的總和對於SchedSelIdx的每一值將為恆定的。
[2]之圖片時序SEI訊息語法展示於圖2中。
圖片時序SEI訊息之語法取決於對與圖片時序SEI訊息相關的已編碼圖片有效的序列參數集之內容。然而，除非IDR或BLA存取單元之圖片時序SEI訊息之前有 位於同一存取單元內的緩衝週期SEI訊息，否則相關序列參數集的啟動(以及，就並非位元串流中的第一個圖片之IDR或BLA圖片而言，對已編碼圖片係IDR圖片或BLA圖片的判定)在已編碼圖片之第一個已編碼圖塊NAL單元的解碼以前不會發生。因為已編碼圖片之已編碼圖塊NAL單元按NAL單元次序接在圖片時序SEI訊息之後，所以可能存在如下情況：解碼器有必要在判定將對已編碼圖片有效的序列參數之參數以前儲存含有圖片時序SEI訊息之RBSP，且接著執行圖片時序SEI訊息之剖析。
位元串流中圖片時序SEI訊息的存在係規定如下。
- 若CpbDpbDelaysPresentFlag等於1，則已編碼視訊序列之每個存取單元中將存在一個圖片時序SEI訊息。
- 否則(CpbDpbDelaysPresentFlag等於0)，已編碼視訊序列之任何存取單元中將不存在圖片時序SEI訊息。
語義係定義如下：cpb_removal_delay規定在自與先前存取單元中的最近緩衝週期SEI訊息相關的存取單元之CPB進行移除之後，在自緩衝器移除與圖片時序SEI訊息相關的存取單元資料之前，要等待多少個時鐘刻度。此值亦用來為HSS計算存取單元資料到達CPB之最早可能時間。該語法元素係固定長度碼，其以位元為單位的長度由cpb_removal_delay_length_minus1+1給出。cpb_removal_delay係模2(cpb_removal_delay_length_minus1+1)計數器 的餘數。
判定語法元素cpb_removal_delay的長度(以位元為單位)之cpb_removal_delay_length_minus1的值係編碼於對與圖片時序SEI訊息相關的主要已編碼圖片有效的序列參數集中之cpb_removal_delay_length_minus1的值，但cpb_removal_delay規定與含有緩衝週期SEI訊息之先前存取單元的移除時間有關的時鐘刻度數。
dpb_output_delay用來計算圖片之DPB輸出時間。其規定在自CPB移除存取單元中之最後一個解碼單元之後，在自DPB輸出已解碼圖片之前，要等待多少個時鐘刻度。
圖片係在其輸出時間自DPB移除，此時其仍標記為「用於短期參考」或「用於長期參考」。
對於已解碼圖片，規定僅一個dpb_output_delay。
語法元素dpb_output_delay的長度係由dpb_output_delay_length_minus1+1以位元為單位給出。當sps_max_dec_pic_buffering[max_temporal_layers_minus1]等於0時，dpb_output_delay將等於0。
由自符合輸出時間的解碼器輸出之任何圖片之dpb_output_delay導出的輸出時間按解碼次序將在由任何後續已編碼視訊序列中的所有圖片之dpb_output_delay導出的輸出時間之前。
此語法元素的值所確定的圖片輸出次序將與PicOrderCntVal的值所確定的次序相同。
對於並非由「衝撞(bumping)」過程輸出的圖片(因 為該等圖片按解碼次序在no_output_of_prior_pics_flag等於1或經推斷係等於1的IDR或BLA圖片之前)，由dpb_output_delay導出的輸出時間關於同一已編碼視訊序列內的所有圖片將隨著PicOrderCntVal值增加而增加。
num_decoding_units_minus1加1規定圖片時序SEI訊息所關聯的存取單元中之解碼單元數。num_decoding_units_minus1的值將在0至PicWidthInCtbs * PicHeightInCtbs-1的範圍內(包括0及PicWidthInCtbs * PicHeightInCtbs-1)。
num_nalus_in_du_minus1[i]加1規定圖片時序SEI訊息所關聯的存取單元之第i個解碼單元中的NAL單元數。num_nalus_in_du_minus1[i]的值將在0至PicWidthInCtbs * PicHeightInCtbs-1的範圍內(包括0及PicWidthInCtbs * PicHeightInCtbs-1)。
存取單元之第一個解碼單元由存取單元中按解碼次序的第一num_nalus_in_du_minus[0]+1個連續NAL單元組成。存取單元之第i個(其中i大於0)解碼單元由按解碼次序緊接在存取單元的前一解碼單元中之最後一個NAL單元之後的num_nalus_in_du_minus[i]+1個連續NAL單元組成。每一解碼單元中將存在至少一VCL NAL單元。與VCL NAL單元相關的所有非VCL NAL單元將包括於同一解碼單元中。
du_cpb_removal_delay[i]規定在自與先前存取單元中的最近緩衝週期SEI訊息相關的存取單元之第一個 解碼單元之CPB進行移除之後，在自CPB移除與圖片時序SEI訊息相關的存取單元中的第i個解碼單元之前，要等待多少個子圖片時鐘刻度。此值亦用來為HSS計算解碼單元資料到達CPB之最早可能時間。該語法元素係固定長度碼，其以位元為單位的長度由cpb_removal_delay_length_minus1+1給出。du_cpb_removal_delay[i]係模2(cpb_removal_delay_length_minus1+1)計數器的餘數。
判定語法元素du_cpb_removal_delay[i]的長度(以位元為單位)之cpb_removal_delay_length_minus1的值係編碼於對與圖片時序SEI訊息相關的已編碼圖片有效的序列參數集中之cpb_removal_delay_length_minus1的值，但du_cpb_removal_delay[i]規定與含有緩衝週期SEI訊息之先前存取單元中的第一個解碼單元的移除時間有關的子圖片時鐘刻度數。
[2]之VUI語法中含有某種資訊。[2]之VUI參數語法展示於圖3中。[2]之HRD參數語法展示於圖4中。語義係定義如下：sub_pic_cpb_params_present_flag等於1規定子圖片層級CPB移除延遲參數存在且CPB可在存取單元層級或子圖片層級上操作。sub_pic_cpb_params_present_flag等於0規定子圖片層級CPB移除延遲參數不存在且CPB在存取單元層級上操作。當sub_pic_cpb_params_present_flag不存在時，推斷其值等於0。
num_units_in_sub_tick係在頻率time_scale Hz操作的時鐘的時間單位數，其對應於子圖片時鐘刻度計數器之一個增量(稱為子圖片時鐘刻度)。num_units_in_sub_tick將大於0。子圖片時鐘刻度係當sub_pic_cpb_params_present_flag等於1時可在已編碼資料中表示的最小時間間隔。
tiles_fixed_structure_flag等於1指示已編碼視訊序列中每一有效的圖片參數集具有以下語法元素之相同值：num_tile_columns_minus1、num_tile_rows_minus1、uniform_spacing_flag、column_width[i]、row_height[i]及loop_filter_across_tiles_enabled_flag(當存在時)。tiles_fixed_structure_flag等於0指示不同圖片參數集中之影像塊語法元素可能或可能不具有相同值。當tiles_fixed_structure_flag語法元素不存在時，推斷其等於0。
用信號發出tiles_fixed_structure_flag等於1係對解碼器的如下保證：已編碼視訊序列中的每一圖片具有以相同方式分佈的相同數目個影像塊，其可能對多執行緒解碼情況下的工作量分配有用。
使用圖5中展示之填充符資料RBSP語法用信號發出[2]之填充符資料。
用來檢查位元串流及解碼器符合性的[2]之假想參考解碼器係定義如下：兩種類型之位元串流經受針對此建議|國際標準的HRD 符合性核對。第一種此類型之位元串流(稱為類型I位元串流)係僅含有針對位元串流中的所有存取單元之VCL NAL單元及填充符資料NAL單元的NAL單元串流。第二種此類型之位元串流(稱為類型II位元串流)除了針對位元串流中的所有存取單元之VCL NAL單元及填充符資料NAL單元之外，還含有以下各者中之至少一者：- 除了填充符資料NAL單元之外的額外非VCL NAL單元，- 所有leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes及trailing_zero_8bits語法元素，上述各者形成來自NAL單元串流之位元組串流。
圖6展示由[2]之HRD檢查的位元串流符合性點的類型。
使用兩種類型之HRD參數集(NAL HRD參數及VCL HRD參數)。經由視訊可用性資訊用信號發出該等HRD參數集，該視訊可用性資訊係序列參數集語法結構之部分。
將以及時方式在位元串流中或藉由其他手段將VCL NAL單元中所參考的所有序列參數集及圖片參數集以及對應的緩衝週期及圖片時序SEI訊息傳達至HRD。
當藉由此建議|國際標準未規定的其他手段將彼等NAL單元(或僅其中一些)傳達至解碼器(或傳達至HRD)時，亦滿足針對非VCL NAL單元之「存在」的規定。出於對位元計數之目的，僅對位元串流中實際存在的適當位元 計數。
作為一實例，藉由除了位元串流中的存在之外的手段所傳達的非VCL NAL單元與存在於位元串流中的NAL單元之同步可藉由指示位元串流中的兩個點來達成，在該兩個點之間，非VCL NAL單元將已經存在於位元串流中(若編碼器決定在位元串流中傳達該單元)。
當非VCL NAL單元之內容係藉由除了位元串流內的存在之外的某種手段來傳達以便應用時，不要求非VCL NAL單元之內容的表示使用相同語法。
請注意，當位元串流內含有HRD資訊時，可能僅基於位元串流內所含的資訊來驗證位元串流對此子條款之要求的符合性。當位元串流中不存在HRD資訊時(如同所有「獨立的」類型I位元串流之情況)，僅當藉由此建議|國際標準中未規定的某種其他手段供應了HRD資料時才可驗證符合性。
HRD含有已編碼圖片緩衝器(CPB)、瞬時解碼過程、已解碼圖片緩衝器(DPB)及輸出修剪，如圖7中所展示。
CPB大小(位元數)為CpbSize[SchedSelIdx]。針對0至sps_max_temporal_layers_minus1之範圍內(包括0及sps_max_temporal_layers_minus1)的每一X，時間層X的DPB大小(圖片儲存緩衝器數)係sps_max_dec_pic_buffering[X]。
變數SubPicCpbPreferredFlag係由外部手段規定，或當未由外部手段規定時係設定為0。
變數SubPicCpbFlag係導出如下：SubPicCpbFlag=SubPicCpbPreferredFlag && sub_pic_cpb_params_present_flag
若SubPicCpbFlag等於0，則CPB在存取單元層級上操作且每一解碼單元係存取單元。否則，CPB在子圖片層級上操作且每一解碼單元係存取單元之子集。
HRD如下操作。藉由HSS遞送與根據規定的到達排程流入CPB中之解碼單元相關的資料。在CPB移除時間藉由瞬時解碼過程瞬時移除並解碼與每一解碼單元相關的資料。將每一已解碼圖片置於DPB中。在稍後的DPB輸出時間或已經不再需要框間預測參考的時間，自DPB移除已解碼圖片。
如緩衝週期SEI所規定來初始化HRD。在圖片時序SEI訊息中規定自CPB移除解碼單元的移除時序及自DPB輸出已解碼圖片的輸出時序。與特定解碼單元相關的所有時序資訊將在解碼單元之CPB移除時間之前到達。
使用HRD來檢查位元串流及解碼器之符合性。
雖然在假設用來產生位元串流之所有圖框速率及時鐘完全匹配在位元串流中用信號發出的值之情況下保證了符合性，但在實際系統中，此等圖框速率及時鐘中之每一者可能不同於用信號發出的或規定的值。
用實際值完成所有算術，因此捨位誤差不會傳播。例如，緊接在解碼單元的移除之前或之後，CPB中之位元數不一定為整數。
變數tc係導出如下且被稱為時鐘刻度：tc=num_units_in_tick÷time_scale
變數tc_sub係導出如下且被稱為子圖片時鐘刻度：tc_sub=num_units_in_sub_tick÷time_scale
規定以下內容來表達限制條件：
- 使存取單元n為按解碼次序的第n個存取單元，其中第一個存取單元係存取單元0。
- 使圖片n為存取單元n的已編碼圖片或已解碼圖片。
- 使解碼單元m為按解碼次序的第m個存取單元，其中第一個解碼單元係解碼單元0。
在[2]中，圖塊標頭語法允許所謂的相依性圖塊。
圖8展示出[2]之圖塊標頭語法。
圖塊標頭語義係定義如下：dependent_slice_flag等於1規定推斷每一不存在的圖塊標頭語法元素的值等於含有編碼樹區塊之先前圖塊中之對應的圖塊標頭語法元素的值，針對該編碼樹區塊，編碼樹區塊位址係SliceCtbAddrRS-1。當不存在時，推斷dependent_slice_flag的值等於0。當SliceCtbAddrRS等於0時，dependent_slice_flag的值將等於0。
slice_address規定圖塊細微度解析中的位址，圖塊在該位址開始。slice_address語法元素的長度為(Ceil(Log2(PicWidthInCtbs*PicHeightInCtbs))+SliceGranula rity)個位元。
規定編碼樹區塊(其中圖塊按編碼樹區塊光柵掃 描次序開始)的變數SliceCtbAddrRS係導出如下。
SliceCtbAddrRS=(slice_address>>SliceGranularity)
規定圖塊中按最小編碼區塊細微度、按z掃描次序的第一個編碼區塊之位址的變數SliceCbAddrZS係導出如下。
SliceCbAddrZS=slice_address<<((log2_diff_max_min_coding_block_size-SliceGranul arity)<<1)
圖塊解碼從圖塊開始坐標處可能的最大編碼單元開始。
first_slice_in_pic_flag指示圖塊是否係圖片之第一個圖塊。若first_slice_in_pic_flag等於1，則變數SliceCbAddrZS及SliceCtbAddrRS皆被設定為0且解碼從圖片中之第一個編碼樹區塊開始。
pic_parameter_set_id規定使用中的圖片參數集。pic_parameter_set_id的值將在0至255的範圍內(包括0及255)。
num_entry_point_offsets規定圖塊標頭中entry_point_offset[i]語法元素之數目。當tiles_or_entropy_coding_sync_idc等於1時，num_entry_point_offsets的值將在0至(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1的範圍內(包括0及(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)- 1)。當tiles_or_entropy_coding_sync_idc等於2時，num_entry_point_offsets的值將在0至PicHeightInCtbs-1的範圍內(包括0及PicHeightInCtbs-1)。當不存在時，推斷num_entry_point_offsets的值等於0。
offset_len_minus1加1規定entry_point_offset[i]語法元素之以位元為單位的長度。
entry_point_offset[i]規定以位元組為單位的第i個入口點偏移且將由offset_len_minus1加1個位元來表示。在圖塊標頭後的已編碼圖塊資料由num_entry_point_offsets+1個子集組成，其中子集索引值在0至num_entry_point_offsets之範圍內(包括0及num_entry_point_offsets)。子集0由已編碼圖塊資料之位元組0至entry_point_offset[0]-1組成(包括0及entry_point_offset[0]-1)，子集k(其中k在1至num_entry_point_offsets-1的範圍內(包括1及num_entry_point_offsets-1))由已編碼圖塊資料之位元組entry_point_offset[k-1]至entry_point_offset[k]+entry_point_offset[k-1]-1組成(包括entry_point_offset[k-1]及entry_point_offset[k]+entry_point_offset[k-1]-1)，且最後一個子集(其中子集索引等於num_entry_point_offsets)由已編碼圖塊資料之剩餘位元組組成。
當tiles_or_entropy_coding_sync_idc等於1且num_entry_point_offsets大於0時，每一子集將含有正好一 個影像塊之所有已編碼位元，且子集數(即，num_entry_point_offsets+1的值)將等於或小於圖塊中之影像塊的數目。
當tiles_or_entropy_coding_sync_idc等於1時，每一圖塊必須包括一個影像塊之子集(在該情況下，用信號發出入口點並非必要的)或整數個完整影像塊。
當tiles_or_entropy_coding_sync_idc等於2且num_entry_point_offsets大於0時，每一子集k(其中k在0至num_entry_point_offsets-1的範圍內(包括0及num_entry_point_offsets-1))將含有正好一列編碼樹區塊之所有已編碼位元，最後一個子集(其中子集索引等於num_entry_point_offsets)將含有圖塊中所包括的剩餘編碼區塊之所有已編碼位元，其中剩餘編碼區塊由正好一列編碼樹區塊或一列編碼樹區塊之子集組成，且子集數(即，num_entry_point_offsets+1的值)將等於圖塊中之編碼樹區塊之列數，其中亦對圖塊中一列編碼樹區塊之子集計數。
當tiles_or_entropy_coding_sync_idc等於2時，圖塊可包括若干列編碼樹區塊及一列編碼樹區塊之子集。例如，若圖塊包括2.5列編碼樹區塊，且子集數(即，num_entry_point_offsets+1的值)將等於3。
圖9展示出[2]之圖片參數集RBSP語法，[2]之圖片參數集RBSP語義係定義如下：dependent_slice_enabled_flag等於1規定語法元素dependent_slice_flag在參考該圖片參數集之已編碼圖片的 圖塊標頭中的存在。dependent_slice_enabled_flag等於0規定語法元素dependent_slice_flag在參考該圖片參數集之已編碼圖片的圖塊標頭中的不存在。當tiles_or_entropy_coding_sync_idc等於3時，dependent_slice_enabled_flag的值將等於1。
tiles_or_entropy_coding_sync_idc等於0規定：參考該圖片參數集之每一圖片中將存在僅一個影像塊，在解碼參考該圖片參數集之每一圖片中的一列編碼樹區塊之第一個編碼樹區塊之前將不調用針對情境變數的特定同步過程，且參考該圖片參數集之已編碼圖片之cabac_independent_flag及dependent_slice_flag的值將不會皆等於1。
當cabac_independent_flag及dependent_slice_flag針對一圖塊皆等於1時，該圖塊係熵圖塊。
tiles_or_entropy_coding_sync_idc等於1規定：參考該圖片參數集之每一圖片中將存在一個以上的影像塊，在解碼參考該圖片參數集之每一圖片中的一列編碼樹區塊之第一個編碼樹區塊之前將不調用針對情境變數的特定同步過程，且參考該圖片參數集之已編碼圖片之cabac_independent_flag及dependent_slice_flag的值將不會皆等於1。
tiles_or_entropy_coding_sync_idc等於2規定：參考該圖片參數集之每一圖片中將存在僅一個影像塊，在 解碼參考該圖片參數集之每一圖片中的一列編碼樹區塊之第一個編碼樹區塊之前將調用針對情境變數的特定同步過程，且在解碼參考該圖片參數集之每一圖片中的一列編碼樹區塊之兩個編碼樹區塊之後將調用針對情境變數的特定記憶過程，且參考該圖片參數集之已編碼圖片之cabac_independent_flag及dependent_slice_flag的值將不會皆等於1。
tiles_or_entropy_coding_sync_idc等於3規定：參考該圖片參數集之每一圖片中將存在僅一個影像塊，在解碼參考該圖片參數集之每一圖片中的一列編碼樹區塊之第一個編碼樹區塊之前將不調用針對情境變數的特定同步過程，且參考該圖片參數集之已編碼圖片之cabac_independent_flag及dependent_slice_flag的值可皆等於1。
當dependent_slice_enabled_flag將不等於0時，tiles_or_entropy_coding_sync_idc將不等於3。
位元串流符合性的要求為，針對在已編碼視訊序列內所啟動的所有圖片參數集，tiles_or_entropy_coding_sync_idc的值將相同。
就參考該圖片參數集之每一圖塊而言，當tiles_or_entropy_coding_sync_idc等於2且該圖塊中的第一個編碼區塊並非一列編碼樹區塊之第一個編碼樹區塊中的第一個編碼區塊時，該圖塊中的最後一個編碼區塊將與該圖塊中的第一個編碼區塊屬於同一列編碼樹區塊。
num_tile_columns_minus1加1規定分割該圖片之影像塊行的數目。
num_tile_rows_minus1加1規定分割該圖片之影像塊列的數目。當num_tile_columns_minus1等於0時，num_tile_rows_minus1將不會等於0。
uniform_spacing_flag等於1規定行邊界以及列邊界跨越該圖片均勻地分佈。uniform_spacing_flag等於0規定行邊界以及列邊界並非跨越該圖片均勻地分佈，而是使用語法元素column_width[i]及row_height[i]來明確地用信號發出行邊界以及列邊界。
column_width[i]規定以編碼樹區塊為單位的第i個影像塊行之寬度。
row_height[i]規定以編碼樹區塊為單位的第i個影像塊列之高度。
向量colWidth[i]規定以CTB為單位的第i個影像塊行之寬度，其中行i在0至num_tile_columns_minus1的範圍內(包括0及num_tile_columns_minus1)。
向量CtbAddrRStoTS[ctbAddrRS]規定自按光柵掃描次序的CTB位址至按影像塊掃描次序的CTB位址之轉換，其中索引ctbAddrRS在0至(picHeightInCtbs * picWidthInCtbs)-1的範圍內(包括0及(picHeightInCtbs * picWidthInCtbs)-1)。
向量CtbAddrTStoRS[ctbAddrTS]規定自按影像塊掃描次序的CTB位址至按光柵掃描次序的CTB位址之 轉換，其中索引ctbAddrTS在0至(picHeightInCtbs * picWidthInCtbs)-1的範圍內(包括0及(picHeightInCtbs * picWidthInCtbs)-1)。
向量TileId[ctbAddrTS]規定自按影像塊掃描次序的CTB位址至影像塊id之轉換，其中ctbAddrTS在0至(picHeightInCtbs * picWidthInCtbs)-1的範圍內(包括0及(picHeightInCtbs * picWidthInCtbs)-1)。
colWidth、CtbAddrRStoTS、CtbAddrTStoRS及TileId的值係藉由調用如子條款6.5.1中所規定的CTB光柵及影像塊掃描轉換過程而導出，其以PicHeightInCtbs及PicWidthInCtbs作為輸入，且將輸出指派給colWidth、CtbAddrRStoTS、CtbAddrTStoRS及TileId。
ColumnWidthInLumaSamples[i](其規定以明度樣本為單位的第i個影像塊行之寬度)的值被設定為等於colWidth[i]<<Log2CtbSize。
陣列MinCbAddrZS[x][y](其規定自以最小CB為單位的位置(x,y)至按z掃描次序的最小CB位址之轉換，其中x在0至picWidthInMinCbs-1的範圍內(包括0及picWidthInMinCbs-1)，且y在0至picHeightInMinCbs-1的範圍內(包括0及picHeightInMinCbs-1))藉由調用如子條款6.5.2中所規定的Z掃描次序陣列初始化過程而導出，其以Log2MinCbSize、Log2CtbSize、PicHeightInCtbs、PicWidthInCtbs及向量CtbAddrRStoTS作為輸入，且將輸出指派給MinCbAddrZS。
loop_filter_across_tiles_enabled_flag等於1規定跨越影像塊執行迴圈內濾波操作。loop_filter_across_tiles_enabled_flag等於0規定不跨越影像塊執行迴圈內濾波操作。迴圈內濾波操作包括解區塊(deblocking)濾波、樣本適應性偏移及適應性迴圈濾波操作。當不存在時，推斷loop_filter_across_tiles_enabled_flag的值等於1。
cabac_independent_flag等於1規定圖塊中之編碼區塊的CABAC解碼與先前已解碼之圖塊的任何狀態無關。cabac_independent_flag等於0規定圖塊中之編碼區塊的CABAC解碼取決於先前已解碼之圖塊的狀態。當不存在時，推斷cabac_independent_flag的值等於0。
具有最小編碼區塊位址之編碼區塊的可用性的導出過程係描述如下：對此過程的輸入為
- 按z掃描次序的最小編碼區塊位址minCbAddrZS
- 按z掃描次序的當前最小編碼區塊位址currMinCBAddrZS
此過程的輸出為具有按z掃描次序的最小編碼區塊位址之編碼區塊的可用性cbAvailable。
請注意，在調用此過程時，判定可用性之含義。
請注意，任何編碼區塊，無論其大小如何，均與最小編碼區塊位址相關，最小編碼區塊位址係按z掃描次序的具有最小編碼區塊大小之編碼區塊的位址。
- 若以下條件中之一或多者為真，則將cbAvailable設定為假。
- minCbAddrZS小於0
- minCbAddrZS大於currMinCBAddrZS
- 具有最小編碼區塊位址minCbAddrZS之編碼區塊屬於與具有當前最小編碼區塊位址currMinCBAddrZS之編碼區塊不同的圖塊，且含有具有當前最小編碼區塊位址currMinCBAddrZS之編碼區塊的圖塊之dependent_slice_flag等於0
- 具有最小編碼區塊位址minCbAddrZS之編碼區塊係包含於與具有當前最小編碼區塊位址currMinCBAddrZS之編碼區塊不同的影像塊中。
- 否則，將cbAvailable設定為真。
[2]之針對圖塊資料的CABAC剖析過程如下：在剖析具有描述符ae(v)的語法元素時，調用此過程。
對此過程的輸入為，對語法元素的值的請求及先前已剖析之語法元素的值。
此過程的輸出係語法元素的值。
當開始對圖塊之圖塊資料的剖析時，調用CABAC剖析過程的初始化過程。
使用當前編碼樹區塊之左上角明度樣本之位置(x0,y0)，將含有空間相鄰區塊T(圖10a)的編碼樹區塊之最小編碼區塊位址導出如下。
x=x0+2<<Log2CtbSize-1
y=y0-1
ctbMinCbAddrT=MinCbAddrZS[x>>Log2MinCbSize][y>>Log2MinCbSize]
藉由調用以ctbMinCbAddrT作為輸入的編碼區塊可用性導出過程來獲得變數availableFlagT。
當開始對編碼樹之剖析時，以下有序步驟適用。
1. 如下初始化算術解碼引擎。
- 若CtbAddrRS等於圖塊位址，dependent_slice_flag等於1且entropy_coding_reset_flag等於0，則以下適用。
- 調用CABAC剖析過程之同步過程，其以TableStateIdxDS及TableMPSValDS作為輸入。
- 調用用於在終止前的二元決策的解碼過程，後續接著用於算術解碼的初始化過程。
- 否則，若tiles_or_entropy_coding_sync_idc等於2且CtbAddrRS % PicWidthInCtbs等於0，則以下適用。
- 當availableFlagT等於1時，調用CABAC剖析過程之同步過程，其以TableStateIdxWPP及TableMPSValWPP作為輸入。
- 調用用於在終止前的二元決策的解碼過程，後續接著用於算術解碼引擎的初始化過程。
2. 當cabac_independent_flag等於0且dependent_slice_flag等於1時，或當tiles_or_entropy_coding_sync_idc等於2時，如下應用記憶過程。
- 當tiles_or_entropy_coding_sync_idc等於2且CtbAddrRS % PicWidthInCtbs等於2時，調用CABAC剖析過程之記憶過程，其以TableStateIdxWPP及TableMPSValWPP作為輸入。
- 當cabac_independent_flag等於0，dependent_slice_flag等於1，且end_of_slice_flag等於1時，調用CABAC剖析過程之記憶過程，其以TableStateIdxDS及TableMPSValDS作為輸出。
對語法元素的剖析如下進行： 針對語法元素之每一所請求值，導出二進位化。
該語法元素之二進位化及已剖析之二進位數判定解碼過程流程。
針對語法元素之二進位化的每一二進位數(由變數binIdx編索引)，導出情境索引ctxIdx。
針對ctxIdx，調用算術解碼過程。
在解碼每一二進位數之後，比較已剖析之二進位數之所得序列(b0..bbinIdx)與由二進位化過程給出的二進位數串之集合。當該序列匹配給定集合中之二進位數串時，將對應的值指派給該語法元素。
在針對語法元素pcm-flag處理對語法元素的值之請求且pcm_flag的已解碼值等於1時，在解碼任何pcm_alignment_zero_bit、num_subsequent_pcm一級所有pcm_sample_luma及pcm_sample_chroma資料之後初始化解碼引擎。
在目前為止所描述的設計框架中，出現以下問題。
在低延遲狀況下編碼並發送資料之前，需要知道解碼單元之時序，其中NAL單元將已經由編碼器發出，同時編碼器仍在編碼圖片之部分，即，其他子圖片解碼單元。即，因為存取單元中的NAL單元次序僅允許SEI訊息在存取單元中的VCL(視訊編碼NAL單元)之前，但在此低延遲狀況下，若編碼器開始編碼解碼單元，則非VCL NAL單元需要已經在線上，即，發出。圖10b例示出如[2]中所定義的存取單元之結構。[2]並未規定序列或串流之結束，因此其在存取單元中的存在係假設性的。
此外，在低延遲狀況下亦需要預先知道與子圖片相關的NAL單元之數目，因為圖片時序SEI訊息含有此資訊且在編碼器開始編碼實際圖片之前必須編譯並發出圖片時序SEI訊息。不願插入填充符資料NAL單元的應用程式設計者(可能沒有填充符資料要符合NAL單元數，如在圖片時序SEI中每個解碼單元用信號發出)需要用來在子圖片層級上用信號發出此資訊的手段。此同樣適用於子圖片時序，子圖片時序當前係由在時序SEI訊息中給出的參數固定在存取單元的開頭。
規格草案[2]之另外的缺點包括子圖片層級之大量發信號，其係特定應用所要求的，諸如ROI發信號或影像塊尺寸發信號。
以上所概述的問題並非HEVC標準所特有的。 相反，關於其他視訊編碼解碼器，同樣亦會出現此問題。圖11更一般地展示出視訊傳輸情形，其中一對編碼器10及解碼器12經由網路14連接起來，以便以短的端對端延遲將視訊16自編碼器10傳輸至解碼器12。上文已概述之文圖如下。編碼器10根據大體上但不一定遵循圖框18之再現次序20的特定解碼次序來編碼視訊16之圖框18之序列，且在每一圖框18內以某種已定義方式行進穿過圖框18之圖框區域，諸如以光柵掃描方式在有或沒有圖框18之影像塊分區的情況下。解碼次序控制針對編碼器10所使用的編碼技術(諸如預測及/或熵編碼)之資訊的可用性，即，與視訊16之空間及/或時間相鄰部分有關的資訊之可用性，該資訊可用來充當預測或情境選擇之基礎。即使編碼器10可能能夠使用平行處理來編碼視訊16之圖框18，但編碼器10一定需要一些時間來編碼特定圖框18，諸如當前圖框。例如，圖11例示出編碼器10已經完成對當前圖框18之部分18a的編碼，而當前圖框18之另一部分18b尚未被編碼的時刻。因為編碼器10尚未編碼部分18b，所以編碼器10可能無法預測用於編碼當前圖框18之可用位元率應如何在當前圖框18上空間分佈來達成例如就速率/失真意義而言的最佳化。因此，編碼器10僅有兩個選擇：編碼器10預先估計當前圖框18之可用位元率至圖塊(當前圖框18被空間細分成該等圖塊)上的近乎最佳分佈，相應地接受該估計可能有誤；或者編碼器10在將含有該等圖塊之封包自編碼器10傳輸至解碼器12之前完成編碼當前圖框18。在任何 情況下，為了能夠利用在完成當前已編碼圖框18的編碼之前對當前已編碼圖框18之圖塊封包的任何傳輸，應以已編碼圖片緩衝器擷取時間的形式向圖塊14通知與每一此圖塊封包相關的位元率。然而，如上文所指示，儘管編碼器10根據HEVC之當前版本能夠藉由使用針對子圖片區域分別定義解碼器緩衝器擷取時間來改變分佈在圖框18上的位元率，但編碼器10需要在收集與當前圖框18有關的所有資料之每一存取單元的開頭經由網路14傳輸或發出此資訊，進而迫使編碼器10在剛才概述之兩個替選方案之間選擇，一個導致更低的延遲但更差的速率/失真，另一個導致最佳的速率/失真但端對端延遲有所增加。
因此，目前為止並無視訊編碼解碼器允許達成此低延遲，以致於編碼器將被允許在編碼當前圖框之剩餘部分18b之前開始傳輸與當前圖框之部分18a有關的封包，解碼器能夠利用經由網路16對與初步部分18a有關的封包之此中間傳輸，其遵守在自編碼器12發送至解碼器14之視訊資料串流內所傳達的解碼緩衝器擷取時序。例如將利用此低延遲的應用示範性地包含工業應用，諸如用於自動化或檢驗目的或其類似者的工件或製造監視。到現在為止，亦沒有令人滿意的解決方案來向解碼側通知封包與構成當前圖框之影像塊的關聯及當前圖框之有趣區(感興趣區)，因此允許網路16內的中間網路實體自資料串流收集此資訊而無須深入檢驗封包的內部，即，圖塊語法。
因此，本發明之目標係提供一種視訊資料串流編 碼概念技術，其更有效率地允許低的端對端延遲及/或使資料串流之各部分至感興趣區或至特定影像塊的識別更容易。
藉由所附獨立請求項之標的物達成此目標。
本申請案所基於的一個想法為：應在允許諸如MANE或解碼器之網路實體容易存取的層級上在視訊資料串流內傳達解碼器擷取時序資訊、ROI資訊及影像塊識別資訊；以及為了達到此層級，應藉由穿插在視訊資料串流之存取單元的封包中的封包在視訊資料串流內傳達此等類型之資訊。根據一實施例，穿插式封包係可移除式封包類型，即，此等穿插式封包的移除維持解碼器完全復原經由視訊資料串流所傳達的視訊內容之能力。
根據本申請案之一態樣，藉由使用穿插式封包來傳達關於當前存取單元內的解碼單元(解碼單元係由有效負載封包形成，該等有效負載封包在視訊資料串流之個別時序控制封包之後)之解碼器緩衝器擷取時間的資訊，使低的端對端延遲之達成更有效率。藉由此措施，允許編碼器在編碼當前圖框的過程中即時(on the fly)判定解碼器緩衝器擷取時間，編碼器進而能夠，在編碼當前圖框的同時，一方面繼續判定實際用於當前圖框之已經被編碼至有效負載封包中並且傳輸或發出的部分(其前綴為時序控制封包)之位元率，且相應地調適可用於當前圖框之剩餘位元率在當前圖框之尚未被編碼的剩餘部分上的分佈。藉由此措 施，有效率地利用可用位元率，且仍然保持延遲係較短的，因為編碼器不需要等待對當前圖框的編碼完全完成。
根據本申請案之另一態樣，利用穿插在存取單元之有效負載封包中的封包來傳達關於感興趣區之資訊，進而如上文所概述允許網路實體對此資訊之容易存取，因為該等網路實體無須檢驗中間有效負載封包。此外，編碼器仍可以在編碼當前圖框的過程中即時判定屬於ROI之封包，而無須預先判定當前圖框細分成子部分及個別有效負載封包。此外，根據實施例(根據該實施例，穿插式封包係可移除式封包類型)，對ROI資訊不感興趣或不能夠處理ROI資訊的視訊資料串流接收者可能忽略ROI資訊。
根據另一態樣，在本申請案中利用類似的想法，根據該態樣，穿插式封包傳達關於存取單元內的特定封包屬於哪個影像塊之資訊。
10‧‧‧編碼器
12‧‧‧解碼器
14‧‧‧網路
16‧‧‧視訊/視訊內容
18‧‧‧圖片/圖框
20‧‧‧再現次序
22‧‧‧視訊資料串流
24‧‧‧子部分/圖塊
28‧‧‧WPP子串流
34‧‧‧封包序列
42‧‧‧箭頭
48‧‧‧已編碼圖片緩衝器
50‧‧‧處理單元
52‧‧‧已解碼圖片緩衝器
60‧‧‧感興趣區/ROI
62‧‧‧虛線
64‧‧‧ROI封包
66‧‧‧圖表
68‧‧‧網路實體
80‧‧‧存取單元定界符
82‧‧‧SEI封包
84‧‧‧圖塊前綴NAL單元
86‧‧‧子圖片SEI訊息
88‧‧‧實際圖塊資料/圖塊資料NAL單元
90‧‧‧略過箭頭
110‧‧‧圖片
114‧‧‧編碼(樹)區塊
116‧‧‧編碼次序
118a-d1-3‧‧‧圖塊
119i‧‧‧子區段
124a、124b‧‧‧時序控制封包/影像塊識別封包
126‧‧‧封包次序
130a、130b‧‧‧存取單元邊界
18a、18b‧‧‧圖框之部分
26、112a~112d‧‧‧影像塊
30、120‧‧‧存取單元
32、36、122a-d1-3‧‧‧有效負載封包
38、128a、128b‧‧‧解碼單元
40、44、46‧‧‧步驟
本發明之有利實行方案係附屬請求項之標的。下文關於諸圖更詳細地描述本申請案之較佳實施例，其中：圖1至圖10b展示出HEVC之當前狀態，其中圖1展示出緩衝週期SEI訊息語法，圖2展示出圖片時序SEI訊息語法，圖3展示出VUI參數語法，圖4展示出HRD參數語法，圖5展示出填充符資料RBSP語法，圖6展示出用於HRD符合性檢查的位元組串流及NAL單元串流之結構，圖7展示出HRD緩衝器模型，圖8展示出圖塊標頭語法，圖9展示出圖片參數集RBSP語法，圖10a展示出說 明空間相鄰編碼樹區塊T(其可能用來調用與當前編碼樹區塊有關的編碼樹區塊可用性導出過程)的示意圖，且圖10b展示出存取單元之結構的定義；圖11示意性地展示出經由網路連接起來的一對編碼器及解碼器，以便說明在視訊資料串流傳輸中出現的問題；圖12展示出根據使用時序控制封包的一實施例之編碼器之示意性方塊圖；圖13展示出說明根據一實施例之圖12之編碼器的操作模式的流程圖；圖14展示出解碼器之一實施例的方塊圖，以便關於由根據圖12之編碼器產生的視訊資料串流來解釋該解碼器之功能性；圖15展示出說明根據使用ROI的另一實施例之編碼器、網路實體及視訊資料串流的示意性方塊圖；圖16展示出說明根據使用影像塊識別封包的另一實施例之編碼器、網路實體及視訊資料串流的示意性方塊圖；圖17展示出根據一實施例之存取單元之結構。虛線反映非強制性圖塊前綴NAL單元之情況；圖18展示出影像塊在感興趣區發信號中的使用；圖19展示出第一簡單語法/版本1；圖20展示出擴展語法/版本2，其包括除SEI訊息概念技術之外的tile_id發信號、解碼單元開始識別符、圖塊前綴ID及圖塊標頭資料；圖21展示出NAL單元類型碼及NAL單元類型類別； 圖22展示出圖塊標頭之可能語法，其中根據當前版本存在於圖塊標頭中的特定語法元素被變換成稱為slice_header_data()的較低階層語法元素；圖23展示出經由語法元素圖塊標頭資料用信號發出自圖塊標頭移除掉之所有語法元素的表；圖24展示出補充增強資訊訊息語法；圖25展示出已調適的SEI有效負載語法，以便介紹新的圖塊或子圖片SEI訊息類型；圖26展示出子圖片緩衝SEI訊息的實例；圖27展示出子圖片時序SEI訊息的實例；圖28展示出子圖片圖塊資訊SEI訊息可能看起來係什麼樣；圖29展示出子圖片影像塊資訊SEI訊息的實例；圖30展示出子圖片影像塊尺寸資訊SEI訊息的語法實例；圖31展示出感興趣區SEI訊息的語法實例之第一變體，其中在個別SEI訊息中用信號發出每一ROI；圖32展示出感興趣區SEI訊息的語法實例之第二變體，其中在單個SEI訊息中用信號發出所有ROI；圖33展示出根據另一實施例之時序控制封包的可能語法；圖34展示出根據一實施例之影像塊識別封包的可能語法；圖35至圖38展示出根據一實施例之根據不同細分設 定對圖片之可能細分；以及圖39展示出根據使用時序控制封包的一實施例之視訊資料串流的一部分之實例，該等時序控制封包係穿插在存取單元之有效負載封包之間。
關於圖12，描述根據本申請案之一實施例之編碼器10及其操作模式。編碼器10經組配來將視訊內容16編碼至視訊資料串流22中。編碼器經組配來以視訊內容16之圖框/圖片18之子部分為單位進行此編碼，其中該等子部分可為例如圖片18所分割成的圖塊24，或一些其他空間區段，諸如影像塊26或WPP子串流28，上述全部在圖12中予以說明，其僅出於說明性目的而不是暗示編碼器10需要能夠支援例如影像塊或WPP平行處理或暗示子部分需要為圖塊。
在以子部分24為單位來編碼視訊內容16時，編碼器10可遵守在子部分24之間定義的解碼次序(或編碼次序)，其例如根據圖片解碼次序(該次序例如不一定符合在圖片18之間定義的再現次序20)遍歷視訊16之圖片18，且根據光柵掃描次序在每一圖片18內遍歷圖片18所分割成的區塊，其中子部分24表示此等區塊沿著解碼次序的連續運行。詳言之，編碼器10可經組配來：在判定當前將要編碼之部分之空間及/或時間相鄰部分的可用性以便在諸如預測編碼及/或熵編碼中使用描述此等相鄰部分之屬性來判定預測及/或熵情境時，遵守此解碼次序。僅視訊之先前 已造訪(編碼/解碼)部分係可用的。否則，將剛才所提及之屬性設定為預設值，或採取一些其他替代措施。
另一方面，編碼器10不需要串列地編碼沿著該解碼次序的子部分24。相反，編碼器10可使用平行處理來加速編碼過程，或者能夠即時執行更複雜的編碼。同樣地，編碼器10可能或可能不經組配來傳輸或發出編碼沿著該解碼次序的子部分之資料。例如，編碼器10可按某一其他次序，諸如根據編碼器10完成對子部分之編碼的次序(由於例如平行處理，該次序可偏離剛才所提及之解碼次序)，來輸出/傳輸已編碼資料。
為了使子部分24之已編碼版本適合於經由網路傳輸，編碼器10將每一子部分24編碼至視訊資料串流22之封包序列之一或多個有效負載封包中。在子部分24係圖塊的情況下，編碼器10可例如經組配來將每一圖塊資料(即，每一已編碼圖塊)放入一個有效負載封包(諸如NAL單元)中。此封包化(packetization)可用以使視訊資料串流22適合於經由網路傳輸。因此，封包可表示視訊資料串流22可能出現的最小單元，即，可各自由編碼器10發出以便經由網路傳輸至接收者的最小單元。
除了有效負載封包及穿插在其間且在下文中論述的時序控制封包，其他封包(即，其他類型之封包)同樣可能存在，諸如填充資料封包、用於傳達不常改變之語法元素的圖片或序列參數集封包或EOF(檔案結束)或AUE(存取單元結束)封包或其類似者。
編碼器執行編碼至有效負載封包中，以使得封包序列被分成存取單元30之序列，且每一存取單元收集與視訊內容16之一個圖片18有關的有效負載封包32。即，形成視訊資料串流22之封包序列34被細分成稱為存取單元30的非重疊部分，每一非重疊部分與該等圖片18中之個別圖片相關。存取單元30之序列可遵循存取單元30所關於的圖片18之解碼次序。圖12例如例示出排列在資料串流22之所例示部分的中間之存取單元30包含每個子部分24一個有效負載封包32，圖片18係細分成子部分24。即，每一有效負載封包32攜載一對應的子部分24。編碼器10經組配來將時序控制封包36穿插在封包序列34中，因此時序控制封包將存取單元30細分成解碼單元38，因此至少一些存取單元30(諸如圖12中所展示的中間存取單元)被細分成兩個或更多解碼單元38，每一時序控制封包用信號發出解碼單元38之解碼器緩衝器擷取時間，其有效負載封包32在封包序列34中的個別時序控制封包之後。換言之，編碼器10用個別時序控制封包36加前綴於一個存取單元30內的有效負載封包32之序列的子序列(subsequence)，該時序控制封包36針對以個別時序控制封包36為前綴且形成編碼單元38的有效負載封包之個別子序列用信號發出解碼器緩衝器擷取時間。圖12例如例示出每隔一個封包32表示存取單元30之解碼單元38的第一個有效負載封包的情況。如圖12中所例示，用於每一解碼單元38的資料量或位元率會改變，且解碼器緩衝器擷取時間可與解碼單元38 之間的此位元率變化相關，因為解碼單元38之解碼器緩衝器擷取時間可遵循由緊接在前面的解碼單元38之時序控制封包36用信號發出的解碼器緩衝器擷取時間加上一時間間隔，該時間間隔對應於用於此緊接在前面的解碼單元38的位元率。
即，編碼器10可如圖13中所展示而操作。詳言之，如上文所提及，編碼器10可在步驟40中使當前圖片18之當前子部分24經受編碼。如已經提及，編碼器10可按上述解碼次序循序循環通過子部分24，如箭頭42所例示，或編碼器10可使用某種平行處理，諸如WPP及/或影像塊處理，以便同時編碼若干「當前子部分」24。無論是否使用平行處理，編碼器10均由剛才在步驟40中編碼之子部分中之一者或若干者形成一解碼單元，且繼續進行步驟44，其中編碼器10設定此解碼單元之解碼器緩衝器擷取時間且傳輸以時間控制封包為前綴的此解碼單元，該時間控制封包用信號發出此解碼單元之剛才設定的解碼器緩衝器擷取時間。例如，編碼器10可在步驟44中基於用於編碼已經編碼至形成當前解碼單元之有效負載封包(其包括例如此解碼單元內的所有其他中間封包(若存在)，即，「前綴式封包」)中的子部分之位元率來判定解碼器緩衝器擷取時間。
然後，在步驟46中，編碼器10可基於已經用於剛才在步驟44中已傳輸的解碼單元之位元率來調適可用位元率。例如，若剛才在步驟44中傳輸的解碼單元內的圖片 內容就壓縮率而言非常複雜，則編碼器10可減少下一解碼單元之可用位元率以便遵守某一外部設定之目標位元率，該目標位元率已經基於例如關於傳輸視訊資料串流22之網路所面臨的當前頻寬情形來判定。然後重複步驟40至46。藉由此措施，以解碼單元為單位來編碼並傳輸(即，發出)圖片18，每一解碼單元以獨對應的時序控制封包為前綴。
換言之，編碼器10在編碼視訊內容16之當前圖片18的過程中將當前圖片18之當前子部分24編碼40至當前解碼單元38之當前有效負載封包32中，在資料串流內在第一時刻藉由設定由當前時序控制封包(36)用信號發出的解碼器緩衝器擷取時間來傳輸44以當前時序控制封包36為前綴的當前解碼單元38，且在第二時刻(第二次造訪步驟40)藉由自步驟46循環回至40來編碼44當前圖片18之另一子部分24，該第二時刻比第一時刻(第一次造訪步驟44)晚。
因為編碼器能夠在編碼一解碼單元所屬於的當前圖片之剩餘部分之前發出此解碼單元，所以編碼器10能夠降低端對端延遲。另一方面，編碼器10不需要浪費可用位元率，因為編碼器10能夠對當前圖片之內容之特定性質及其複雜性之空間分佈作出反應。
另一方面，負責將視訊資料串流22進一步自編碼器傳輸至解碼器的中間網路實體能夠使用時序控制封包36來保證接收視訊資料串流22之任何解碼器及時接收解碼單元，以便能夠利用藉由編碼器10進行的逐個解碼單元 的編碼及傳輸。例如，參見圖14，其展示出用於解碼視訊資料串流22之解碼器的一實例。解碼器12藉由網路在已編碼圖片緩衝器CPB 48處接收視訊資料串流22，其中編碼器10經由該網路將視訊資料串流22傳輸至解碼器12。詳言之，因為假設網路14能夠支援低延遲應用，所以網路10檢驗解碼器緩衝器擷取時間以便將視訊資料串流22之封包序列34進送至解碼器12之已編碼圖片緩衝器48，因此在由加前綴於個別解碼單元的時序控制封包用信號發出的解碼器緩衝器擷取時間之前，每一解碼單元存在於已編碼圖片緩衝器48內。藉由此措施，解碼器能夠在不失速的情況下，即，在不用完已編碼圖片緩衝器48內的可用有效負載封包的情況下，使用時序控制封包中的解碼器緩衝器擷取時間來以解碼單元而不是完整的存取單元為單位清空解碼器之已編碼圖片緩衝器48。例如，圖14出於說明性目的展示出處理單元50係連接至已編碼圖片緩衝器48之輸出，已編碼圖片緩衝器48之輸入接收視訊資料串流22。類似於編碼器10，解碼器12可能能夠諸如使用影像塊平行處理/解碼及/或WPP平行處理/解碼來執行平行處理。
如下文將更詳細地概述，目前為止所提及之解碼器緩衝器擷取時間不一定與關於解碼器12之已編碼圖片緩衝器48之擷取時間有關。相反，時序控制封包可另外或其他操控解碼器12之對應的已解碼圖片緩衝器之已解碼圖片資料的擷取。例如，圖14展示出解碼器12包含解碼器圖片緩衝器，在此緩衝器中以解碼單元之已解碼版本為單位 來緩衝(即，儲存並輸出)視訊內容之已解碼版本，如處理單元50藉由解碼視訊資料串流22所獲得的已解碼版本。解碼器之已解碼圖片緩衝器22因此可連接在解碼器12之輸出及處理單元50之輸出之間。藉由有能力設定用來自已解碼圖片緩衝器52輸出解碼單元之已解碼版本的擷取時間，編碼器10有機會即時(即，在編碼當前圖片的過程中)控制在解碼側對視訊內容的再現或該再現之端對端延遲，即使細微度小於圖片率或圖框率。顯然，在編碼側將每一圖片18過度分段成大量子部分24將不利地影響用於傳輸視訊資料串流22的位元率，但另一方面，端對端延遲可得以最小化，因為編碼並傳輸並解碼並輸出此解碼單元所需的時間將得以最小化。另一方面，增加子部分24之大小會增加端對端延遲。因此，必須找到折衷。使用剛才所提及之解碼器緩衝器擷取時間來操控以解碼單元為單位的子部分24之已解碼版本之輸出時序允許編碼器10或在編碼側的某一其他單元在當前圖片之內容上空間調適此折衷。藉由此措施，將有可能以端對端延遲跨越當前圖片內容而空間變化的方式控制端對端延遲。
在實施上文所概述之實施例時，有可能使用可移除式封包類型之封包作為時序控制封包。可移除式封包類型之封包並非在解碼側復原視訊內容所必需的。在下文中，此等封包被稱為SEI封包。可移除式封包類型之其他封包同樣可存在，即，另一類型之可移除式封包，諸如(若在串流內傳輸)冗餘封包。作為另一替選方案，時序控制封 包可為特定可移除式封包類型之封包，然而其另外攜載特定SEI封包類型欄位。例如，時序控制封包可為SEI封包，其中每一SEI封包攜載一個或若干個SEI訊息，且唯有包含特定類型之SEI訊息的彼等SEI封包形成上述時序控制封包。
因此，根據另一實施例將目前為止關於圖12至圖14所描述之實施例應用於HEVC標準，進而形成用於使HEVC在達成更低的端對端延遲方面更有效率的可能概念技術。如此一來，上文所提及之封包係由NAL單元形成，且上述有效負載封包係NAL單元之VCL NAL單元，其中圖塊形成上文所提及之子部分。
然而，在對更詳細實施例之此描述之前，描述其他實施例，該等其他實施例符合上文所概述之實施例之處在於，使用穿插式封包來以有效方式傳達描述視訊資料串流之資訊，但資訊的分類不同於以上實施例，在以上實施例中，時序控制封包傳達解碼器緩衝器擷取時序資訊。在下文進一步描述之實施例中，經由穿插在屬於存取單元之有效負載封包中的穿插式封包所傳遞的資訊的種類與感興趣區(ROI)資訊及/或影像塊識別資訊有關。下文進一步描述之實施例可能或可能不與關於圖12至圖14所描述之實施例相組合。
圖15展示出編碼器10，除時序控制封包之穿插及上文關於圖13所描述之功能性(其對於圖15之編碼器10係任擇的)之外，該編碼器10類似於上文關於圖12所解釋 的編碼器而操作。然而，圖15之編碼器10經組配來以視訊內容16之圖片18之子部分24為單位將視訊內容16編碼至視訊資料串流22中，正如上文關於圖11所解釋的。在編碼視訊內容16時，編碼器10對連同視訊資料串流22一起傳達關於感興趣區ROI 60的資訊傳遞至解碼側感興趣。ROI 60係解碼器應例如特別注意的當前圖片18之空間子區域。ROI 60之空間位置可諸如藉由使用者輸入而自外部輸入(如虛線62所例示)，或可由編碼器10或由某一其他實體在編碼當前圖片18的過程中即時自動判定。在任一種情況下，編碼器10均面臨以下問題：ROI 60之位置的指示原則上對編碼器10而言不成問題。為此，編碼器10可容易在資料串流22內指示ROI 60之位置。然而，為了使此資訊容易存取，圖15之編碼器10使用ROI封包在存取單元之有效負載封包之間的穿插，因此編碼器10可以在線上基礎上選擇將當前圖片18分段成子部分24及/或有效負載封包之數目，空間上在ROI 60外及空間上在ROI 60內的子部分24係封包化成該等有效負載封包。使用穿插式ROI封包，任何網路實體均可容易識別屬於ROI之有效負載封包。另一方面，在針對此等ROI封包使用可移除式封包類型的情況下，其可能容易被任何網路實體忽略。
圖15展示出在存取單元30之有效負載封包32之間穿插ROI封包64的實例。ROI封包64指示視訊資料串流22之封包序列34內何處含有與ROI 60有關(即，編碼該ROI 60)的已編碼資料。ROI封包64如何指示ROI 60 之位置可以多種方式來實施。例如，ROI封包64之純粹存在/出現可指示在後續有效負載封包32中之一或多者內併入與ROI 60有關的已編碼資料，該等後續有效負載封包32按序列34之循序次序接在後面，即，屬於前綴有效負載封包。或者，ROI封包64內的語法元素可指示一或多個後續有效負載封包32是否與ROI 60有關，即，至少部分地編碼ROI 60。大量變化亦來源於關於個別ROI封包64之「範疇」(即，以一個ROI封包64為前綴的前綴有效負載封包的數目)的可能變化。例如，對在一個ROI封包內併入或未併入與ROI 60有關的任何已編碼資料之指示可與直至下一個ROI封包64出現為止按序列34之循序次序接在後面的所有有效負載封包32有關，或可僅與緊接在後面的有效負載封包32(即，按序列34之循序次序緊接在個別ROI封包64後面的有效負載封包32)有關。在圖15中，圖表66示範性地例示出一種情況，其中ROI封包64關於直至下一個ROI封包64或當前存取單元30之結束(無論哪個沿著封包序列34更早出現)出現為止在個別ROI封包64的下游出現的所有有效負載封包32來指示ROI相關性(即，與ROI 60有關的任何已編碼資料之併入)或ROI不相關性(即，與ROI 60有關的任何已編碼資料之不存在)。詳言之，圖15例示出ROI封包64在內部具有一語法元素的區塊，該語法元素指示按序列34之循序次序接在後面的有效負載封包32是否具有與ROI 60有關的任何已編碼資料。下文中亦描述此實施例。然而，如剛才所提及，另一種可能性為，每一ROI 封包64僅藉由其在封包序列34中的存在來指示屬於個別ROI封包64之「範疇」的有效負載封包32在內部是否具有ROI 60相關資料，即，與ROI 60有關的資料。根據下文中更詳細地描述之實施例，ROI封包64甚至指示編碼至屬於其「範疇」的有效負載封包32中之ROI 60之部分的位置。
接收視訊資料串流22之任何網路實體68可利用ROI相關性之指示(如藉由使用ROI封包64所實現)來以比例如封包序列34之其他部分高的優先權處理例如封包序列34之ROI相關部分。或者，網路實體68可使用ROI相關性資訊來執行與例如視訊資料串流22之傳輸有關的其他任務。網路實體68可為例如MANE或解碼器，其用於解碼並播放如經由視訊資料串流22所傳達的視訊內容60。換言之，網路實體68可使用ROI封包之識別結果來對與視訊資料串流有關的傳輸任務作出決策。傳輸任務可包含關於缺陷封包之重新傳輸請求。網路實體68可經組配來以增加之優先權處置感興趣區70，且與用信號發出與不覆蓋ROI的ROI封包及其相關有效負載封包相比，將較高優先權指派給與用信號發出為覆蓋感興趣區的ROI封包72及其相關有效負載封包(即，以該ROI封包72為前綴的有效負載封包)。網路實體68可在請求經指派有較低優先權之有效負載封包的任何重新傳輸之前，首先請求經指派有較高優先權之有效負載封包的重新傳輸。
圖15之實施例可容易與先前關於圖12至圖14 所描述之實施例相組合。例如，上文所提及之ROI封包64亦可為其中含有特定類型之SEI訊息的SEI封包，即，ROI SEI封包。即，SEI封包可例如為時序控制封包且同時為ROI封包，即，在個別SEI封包包含時序控制資訊以及ROI指示資訊兩者的情況下。或者，SEI封包可為時序控制封包及ROI封包中之一者而不是另一者，或可既非ROI封包亦非時序控制封包。
根據圖16中所展示之實施例，在存取單元之有效負載封包之間穿插封包係用來以容易由處置視訊資料串流22之網路實體68存取的方式指示當前存取單元30所關於的當前圖片18之哪個或哪些影像塊由編碼至有效負載封包32(個別封包充當其前綴)中之任一者中的任何子部分所覆蓋。在圖16中，例如，展示出當前圖片18被細分成四個影像塊70，該等影像塊在此處示範性地由當前圖片18之四個四分部形成。可例如在視訊資料串流內在包含圖片序列的單元中(諸如，在亦穿插在封包序列34中的VPS或SPS封包中)用信號發出將當前圖片18細分成影像塊70。如下文將更詳細地描述，當前圖片18之影像塊細分可為按影像塊之行及列對圖片18的常規細分。影像塊行數及列數以及行寬度及列高度可改變。詳言之，影像塊之行/列的寬度及高度分別針對不同列及不同行可能不同。圖16另外展示出子部分24係圖片18之圖塊的實例。圖塊24細分圖片18。如下文將更詳細地概述，圖片18細分成圖塊24可遭受限制條件，感覺該等限制條件，每一圖塊24可完全包含 於一個單獨影像塊70內，或完全覆蓋兩個或更多影像塊70。圖16例示出圖片18細分成五個圖塊24之情況。按前述解碼次序的此等圖塊24中之前四個覆蓋前兩個影像塊70，而第五個圖塊完全覆蓋第三個及第三個影像塊70。此外，圖16示範性地例示出每一圖塊24分別編碼至個別有效負載封包32中的情況。每一影像塊識別封包72又針對其緊接在後面的有效負載封包32指示編碼至此有效負載封包32中的子部分24覆蓋該等影像塊70中之哪一者。因此，在與當前圖片18有關的存取單元30內的前兩個影像塊識別封包72指示第一個影像塊的同時，第三個及第四個影像塊識別封包72指示圖片18之第二個影像塊70，且第五個影像塊識別封包72指示第三個及第四個影像塊70。關於圖16之實施例，與例如上文關於圖15所描述相同的變化係可行的。即，影像塊識別封包72之「範疇」可例如僅包含第一個緊接在後面的有效負載封包32或直至下一個影像塊識別封包出現為止的緊接在後面的有效負載封包32。
關於影像塊，編碼器10可經組配來編碼每一影像塊70，以使得跨越影像塊邊界不會發生空間預測或情境選擇。編碼器10可例如平行地編碼影像塊70。同樣地，諸如網路實體68之任何解碼器可平行地解碼影像塊70。
網路實體68可為MANE或解碼器或在編碼器10與解碼器之間的某一其他裝置，且可經組配來使用影像塊識別封包72所傳達之資訊來對特定傳輸任務作出決策。例如，網路實體68可以較高優先權來處置視訊16之當前圖 片18之特定影像塊，即，可較早地或使用較安全的FEC保護或其類似者來進送經指示為與此影像塊有關的個別有效負載封包。換言之，網路實體68可使用識別結果來對與視訊資料串流有關的傳輸任務作出決策。傳輸任務可包含關於在缺陷狀態下(即，在對視訊資料串流之任何FEC保護過度(若存在)的情況下)接收到的封包之重新傳輸請求。網路實體可例如以不同優先權來處置例如不同影像塊70。為此，與關於較低優先權影像塊之影像塊識別封包72及其有效負載封包相比較，網路實體可將較高優先權指派給與較高優先權影像塊有關的影像塊識別封包72及其有效負載封包(即，以影像塊識別封包72為前綴的有效負載封包)。網路實體68可例如在請求經指派有較低優先權之有效負載封包的任何重新傳輸之前，首先請求經指派有較高優先權之有效負載封包的重新傳輸。
目前為止所描述之實施例可建構至如本申請案之說明書的介紹性部分中所描述之HEVC框架中，如下文所描述。
詳言之，在子圖片CPB/HRD情況下可將SEI訊息指派給解碼單元之圖塊。即，可將緩衝週期及時序SEI訊息指派給含有解碼單元之圖塊的NAL單元。此可藉由新的NAL單元類型來達成，該新的NAL單元類型係被允許緊接在解碼單元之一或多個圖塊/VCL NAL單元前面的非VCL NAL單元。此新的NAL單元可被稱為圖塊前綴NAL單元。圖17例示出存取單元之結構，其省略了針對序列及 串流之結束的任何假設性NAL單元。
根據圖17，如下理解存取單元30：按封包序列34之封包的循序次序，存取單元可從特殊類型之封包(即，存取單元定界符80)的出現開始。然後，在存取單元30內，與整個存取單元有關的SEI封包類型之一或多個SEI封包82可接在後面。封包類型80及82皆為任擇的。即，此類型之封包可能不出現在存取單元30內。然後，解碼單元38之序列接在後面。每一解碼單元38任擇地從圖塊前綴NAL單元84開始，圖塊前綴NAL單元84中包括例如時序控制資訊，或根據圖15或16之實施例包括ROI資訊或影像塊資訊，或甚至更一般地包括個別子圖片SEI訊息86。然後，個別有效負載封包或VCL NAL單元中的實際圖塊資料88接在後面，如88中所指示。因此，每一解碼單元38包含圖塊前綴NAL單元84之序列，後續接著個別圖塊資料NAL單元88。圖17中略過圖塊前綴NAL單元之略過箭頭90將指示，在沒有對當前存取單元30之解碼單元細分的情況下，可能不存在圖塊前綴NAL單元84。
如上文已指出，在圖塊前綴中用信號發出且與子圖片SEI訊息相關的所有資訊可針對在存取單元中的或直至第二個前綴NAL單元出現為止的所有VCL NAL單元有效，或針對按解碼次序的後續VCL-NAL單元有效，其取決於在圖塊前綴NAL單元中給出的旗標。
在圖塊前綴中用信號發出的資訊針對其有效的圖塊VCL NAL單元在下文中被稱為前綴圖塊。與前綴之單 個圖塊相關的前綴圖塊不一定構成完整的解碼單元，而是可為解碼單元之一部分。然而，單個圖塊前綴不能針對多個解碼單元(子圖片)有效，且在圖塊前綴中用信號發出解碼單元之開始。若用於發信號的手段並非經由圖塊前綴語法給出(如在下文所指示之「簡單語法」/版本1中)，則圖塊前綴NAL單元的出現用信號發出解碼單元之開始。僅特定SEI訊息(經由以下語法描述中的payloadType來識別)可唯一地在子圖片層級上在圖塊前綴NAL單元內發送，而一些SEI訊息可在子圖片層級上在圖塊前綴NAL單元中發送或作為常規SEI訊息在存取單元層級上發送。
如上文關於圖16所論述，另外或其他，在高階語法中可實現影像塊ID SEI訊息/影像塊ID發信號。在HEVC之較早設計中，圖塊標頭/圖塊資料含有針對個別圖塊中所含的影像塊之識別符。例如，圖塊資料語義表明：tile_idx_minus_1規定按光柵掃描次序的TileID。圖片中的第一個影像塊將具有為0的TileID。tile_idx_minus_1的值將在0至(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1的範圍內。
然而並不認為此參數有用，因為若tiles_or_entropy_coding_sync_idc等於1，則可容易自圖塊位址及圖塊尺寸(如在圖片參數集中用信號發出)導出此ID。
儘管可在解碼過程中隱含地導出影像塊ID，但 在應用層上知道此參數對不同使用情況亦很重要，諸如在視訊會議狀況下，其中不同影像塊可具有不同的播放優先權(彼等影像塊通常形成感興趣區，其在交談使用情況下含有演講者)可具有比其他影像塊高的優先權。在多個影像塊的傳輸中丟失了網路封包的情況下，可以較高優先權重新傳輸含有表示感興趣區之影像塊的彼等網路封包，以便保持在接收器終端處的體驗之品質比在不按任何優先權次序來重新傳輸的情況下高。另一使用情況可為將影像塊(若已知尺寸及其位置)指派給不同螢幕，例如在視訊會議狀況下。
為了允許此應用層在傳輸狀況下以特定優先權來處置影像塊，可將tile_id提供為子圖片或圖塊特定SEI訊息，或在影像塊之一或多個NAL單元前面的特殊NAL單元中或在屬於影像塊之NAL單元的特殊標頭區段中提供tile_id。
如上文關於圖15所描述，另外或其他，亦可提供感興趣區SEI訊息。此SEI訊息可允許感興趣區(ROI)之發信號，詳言之，特定tile_id/影像塊所屬於的ROI之發信號。該訊息可允許給出感興趣區ID加感興趣區優先權。
圖18例示出影像塊在感興趣區發信號中的使用。
除了上文所描述之內容外，還可實施圖塊標頭髮信號。圖塊前綴NAL單元亦可含有後續相依性圖塊(即，以個別圖塊前綴為前綴的圖塊)之圖塊標頭。若僅在圖塊前 綴NAL單元中提供圖塊標頭，則需要藉由含有個別相依性圖塊之NAL單元的NAL單元類型或藉由圖塊前綴中之旗標來導出實際圖塊類型，該旗標用信號發出後續圖塊資料是否屬於充當隨機存取點之圖塊類型。
此外，圖塊前綴NAL單元可攜載圖塊或子圖片特定SEI訊息來傳達非強制性資訊，諸如子圖片時序或影像塊識別符。在本申請案之說明書之介紹性部分中所描述之HEVC規定中不支援非強制性子圖片特定訊息傳遞，但其對某些應用而言至關重要。
下文描述用於實施上文所概述之圖塊加前綴概念技術。詳言之，描述了當使用如本申請案之說明書之介紹性部分中所概述之HEVC狀態作為基礎時，哪些改變在圖塊層級上可為足夠。
詳言之，下文呈現可能的圖塊前綴語法之兩個版本，一個版本僅具有SEI訊息傳遞功能性，且一個版本具有用信號發出後續圖塊之圖塊標頭之一部分的擴展功能性。圖19中展示出第一簡單語法/版本1。
作為初步注釋，圖19因此展示出用於實施上文關於圖11至圖16所描述之實施例中之任一者的可能實行方案。其中所展示的穿插式封包可如圖19中所展示來理解，且下文中使用特定實行方案實例更詳細地描述上述情況。
在圖20之表中給出擴展語法/版本2，其包括除SEI訊息概念技術之外的tile_id發信號、解碼單元開始識 別符、圖塊前綴ID及圖塊標頭資料。
語義可定義如下：值為1的rap_flag指示含有圖塊前綴之存取單元係RAP圖片。值為0的rap_flag指示含有圖塊前綴之存取單元並非RAP圖片。
decoding_unit_start_flag指示存取單元內的解碼單元之開始，因此指示直至存取單元結束或另一解碼單元開始為止的後續圖塊屬於同一解碼單元。
值為0的single_slice_flag指示在前綴圖塊NAL單元及相關子圖片SEI訊息內提供的資訊針對直至下一存取單元開始、另一圖塊前綴或另一完整圖塊標頭出現為止的所有後續VCL-NAL單元有效。值為1的single_slice_flag指示在圖塊前綴NAL單元及相關子圖片SEI訊息中提供的資訊僅針對按解碼次序的下一VCL-NAL單元有效。
tile_idc指示後續圖塊中將會存在的影像塊的量。tile_idc等於0指示後續圖塊中不使用影像塊。tile_idc等於1指示後續圖塊中使用單個影像塊，且相應地用信號發出其影像塊識別符。值為2的tile_idc指示後續圖塊中使用多個影像塊，且相應地用信號發出影像塊數及第一個影像塊識別符。
prefix_slice_header_data_present_flag指示在給定之圖塊前綴中用信號發出對應於按解碼次序接在後面的圖塊之圖塊標頭之資料。
稍後在文中定義slice_header_data()。其含有相關圖塊 標頭資訊，若dependent_slice_flag係設定為等於1，則圖塊標頭不涵蓋該資訊。
請注意，將圖塊標頭與實際圖塊資料解耦允許標頭及圖塊資料之更靈活的傳輸方案。
num_tiles_in_prefixed_slices_minus1指示後續解碼單元中所使用的影像塊數減1。
first_tile_id_in_prefixed_slices指示後續解碼單元中的第一個影像塊之影像塊識別符。
對於圖塊前綴之簡單語法/版本1，以下語法元素可設定為如下預設值(若不存在)：
- decoding_unit_start等於1，即，圖塊前綴總是指示解碼單元之開始。
- single_slice_flag等於0，即，圖塊前綴針對解碼單元中之所有圖塊有效。
提議圖塊前綴NAL單元具有NAL單元類型24且NAL單元類型總覽表將根據圖21來擴展。
即，簡要概括圖19至圖21，其中所展示的語法細節表明：可認為特定封包類型屬於上文所識別之穿插式封包，此處示範性地為NAL單元類型24。此外，尤其是圖20之語法實例表明：關於穿插式封包之「範疇」的上述替選方案，受此等穿插式封包本身內的個別語法元素(此處示範性地為single_slice_flag)控制之切換機制，可用來控制此範疇，即，用來分別在針對此範疇之定義的不同替選方案之間切換。此外，已表明可擴展圖1至圖16之上述實施例， 因為穿插式封包亦包含屬於個別穿插式封包之「範疇」的封包內所含的圖塊24之共同圖塊標頭資料。即，可存在一種受此等穿插式封包內的個別旗標控制的機制，其指示個別穿插式封包內是否含有共同圖塊標頭資料。
當然，剛才呈現之概念技術(根據該概念技術，將圖塊標頭資料之部分變換成圖塊標頭前綴)要求改變如HEVC之當前版本中所規定的圖塊標頭。圖22中之表展示出此圖塊標頭之可能語法，其中根據當前版本存在於圖塊標頭中的特定語法元素被變換成稱為slice_header_data()的較低階層語法元素。圖塊標頭之此語法及圖塊標頭資料僅適用於以下選項，根據該選項使用擴展的圖塊標頭前綴NAL單元概念技術。
圖22中，slice_header_data_present_flag指示將自存取單元中的最後一個圖塊前綴NAL單元(即，最近出現的圖塊前綴NAL單元)中用信號發出的值來預測目前圖塊之圖塊標頭資料。
經由如圖23之表中所給出的語法元素圖塊標頭資料用信號發出自圖塊標頭移除掉之所有語法元素。
即，將圖22及圖23之概念技術轉移至圖12至圖16之實施例上，其中所描述之穿插式封包可藉由概念技術來擴展，該概念技術係將編碼至有效負載封包(即VCL NAL單元)中的圖塊(子部分)24之圖塊標頭語法之一部分併入至此等穿插式封包中。該併入可為任擇的。即，穿插式封包中的個別語法元素可指示個別穿插式封包中是否含 有此圖塊標頭語法。若併入，則併入至個別穿插式封包中的個別圖塊標頭資料可適用於屬於個別穿插式封包之「範疇」的封包中所含的所有圖塊。可藉由個別旗標(諸如圖22之slice_header_data_present_flag)用信號發出編碼至屬於穿插式封包之範疇的有效負載封包中之任一者中的圖塊是否採用此穿插式封包中所含的圖塊標頭資料。藉由此措施，可使用圖塊圖塊標頭中的剛才所提及之旗標來相應地縮小編碼至屬於個別穿插式封包之「範疇」的封包中的圖塊之圖塊標頭，且接收視訊資料串流之任何解碼器(諸如上文在圖12至圖16中展示出之網路實體)將對圖塊圖塊標頭中的剛才所提及之旗標作出回應，以便在該圖塊內的個別旗標用信號發出圖塊標頭資料至圖塊前綴(即，個別穿插式封包)的移動之情況下，將併入至穿插式封包中的圖塊標頭資料複製至編碼至屬於此穿插式封包之範疇的有效負載封包中的圖塊之圖塊標頭中。
進一步繼續用於實施圖12至圖16之實施例的語法實例，SEI訊息語法可如圖24中所展示。為了介紹圖塊或子圖片SEI訊息類型，可如圖25之表中所呈現來調適SEI有效負載語法。唯有payloadType在180至184的範圍內之SEI訊息可唯一地在子圖片層級上在圖塊前綴NAL單元中發送。另外，payloadType等於140的感興趣區SEI訊息可在子圖片層級上在圖塊前綴NAL單元中發送，或在存取單元層級上的常規SEI訊息。
即，在將圖25及圖24中所展示之細節轉移至上 文關於圖12至圖16所描述之實施例上時，可藉由使用具有特定NAL單元類型(例如24)之圖塊前綴NAL單元來實現圖12至圖16之此等實施例中所展示的穿插式封包，其包含例如在圖塊前綴NAL單元內的每一SEI訊息之開頭藉由payloadType用信號發出的特定類型之SEI訊息。在現在描述之特定語法實施例中，payloadType=180及payloadType=181導致根據圖11至圖14之實施例的時序控制封包，而payloadType=140導致根據圖15之實施例的ROI封包，且payloadType=182導致根據圖16之實施例的影像塊識別封包。本文中在以下描述之特定語法實例可僅包含剛才所提及之payloadType選項中之一者或其子集。此外，圖25表明：圖11至圖16之上述實施例中之任一者可彼此組合。更進一步，圖25表明：圖12至圖16之上述實施例中之任一者或其任何組合可藉由另一穿插式封包(隨後藉由payloadType=184來解釋)來擴展。如上文已描述，下文關於payloadType=183所描述之擴展最終得出以下可能性，即：任何穿插式封包可能已在其中併入編碼至屬於其範疇的任何有效負載封包中之圖塊之圖塊標頭的共同圖塊標頭資料。
後續諸圖中的表定義可在圖塊或子圖片層級上使用的SEI訊息。亦呈現可在子圖片及存取單元層級上使用的感興趣區SEI訊息。
例如，圖26展示出只要NAL單元類型24之圖塊前綴NAL單元具有包含於其中的SEI訊息類型180就會 出現(因此形成時序控制封包)的子圖片緩衝SEI訊息之實例。
語義可定義如下：seq_parameter_set_id規定含有序列HRD屬性之序列參數集。seq_parameter_set_id的值將等於與緩衝週期SEI訊息相關的主要已編碼圖片所參考的圖片參數集中之seq_parameter_set_id的值。seq_parameter_set_id的值將在0至31的範圍內(包括0及31)。
initial_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay[SchedSelIdx]規定解碼單元(子圖片)之第SchedSelIdx個CPB之初始CPB移除延遲。該等語法元素具有由initial_cpb_removal_delay_length_minus1+1給出的以位元為單位的長度，且以90kHz的時鐘為單位。該等語法元素的值將不等於0且將不超過90000 *(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，其係以90kHz的時鐘為單位的CPB大小之時間等效物。
在整個已編碼視訊序列上，每個解碼單元(子圖片)的initial_cpb_removal_delay[SchedSelIdx]與initial_cpb_removal_delay_offset[SchedSelIdx]之總和以及initial_alt_cpb_removal_delay[SchedSelIdx]與initial_alt_cpb_removal_delay_offset[SchedSelIdx]之總和對於SchedSelIdx的每一值將為恆定的。
圖27同樣展示出子圖片時序SEI訊息之實例， 其中語義可描述如下：du_cpb_removal_delay規定在自與同一解碼單元(子圖片)中的先前存取單元中之最近子圖片緩衝週期SEI訊息(若存在)相關，否則與先前存取單元中之最近緩衝週期SEI訊息相關的解碼單元(子圖片)之CPB進行移除之後，在自緩衝器移除與子圖片時序SEI訊息相關的解碼單元(子圖片)資料之前，要等待多少個時鐘刻度。此值亦用來為HSS(假想串流排程器[2]0)計算解碼單元(子圖片)資料到達CPB之最早可能時間。該語法元素係固定長度碼，其以位元為單位的長度由cpb_removal_delay_length_minus1+1給出。cpb_removal_delay係模2(cpb_removal_delay_length_minus1+1)計數器的餘數。
du_dpb_output_delay用來計算解碼單元(子圖片)之DPB輸出時間。其規定在自CPB移除已解碼的解碼單元(子圖片)之後，在自DPB輸出圖片之解碼單元(子圖片)之前，要等待多少個時鐘刻度。
請注意，此允許子圖片更新。在此狀況下，未更新的解碼單元可保持未改變最後已解碼的圖片，即，其保持可見。
概括圖26及圖27且將其中所含的特定細節轉移至圖12至圖14之實施例上，可以說解碼單元之解碼器緩衝器擷取時間可相對於另一解碼器緩衝器擷取時間以差動式編碼的方式(即，以增量方式)在相關時序控制封包中用信號發出。即，為了獲得特定解碼單元之解碼器緩衝器擷取 時間，接收視訊資料串流之解碼器將自加前綴於該特定解碼單元的時序控制封包獲得的解碼器擷取時間添加至緊接在前面的解碼單元(即，在該特定解碼單元前面的解碼單元)之解碼器擷取時間，且對於後續解碼單元以此方式繼續進行。在若干圖片(各自或其部分)之已編碼視訊序列的開頭，時序控制封包可另外或其他包含經獨立地編碼而不是相對於任何先前解碼單元之解碼器緩衝器擷取時間來差動式地編碼的解碼器緩衝器擷取時間值。
圖28展示出子圖片圖塊資訊SEI訊息可能看起來係什麼樣。語義可定義如下：值為1的slice_header_data_flag指示圖塊標頭資料存在於SEI訊息中。在SEI中提供的圖塊標頭資料針對直至存取單元結束、另一SEI訊息、圖塊NAL單元或圖塊前綴NAL單元中出現圖塊資料為止按解碼次序接在後面的所有圖塊有效。
圖29展示出子圖片影像塊資訊SEI訊息的實例，其中語義可定義如下：tile_priority指示按解碼次序接在後面的前綴圖塊中之所有影像塊的優先權。tile_priority的值將在0至7的範圍內(包括0及7)，其中7指示最高優先權。
值為1的multiple_tiles_in_prefixed_slices_flag指示按解碼次序接在後面的前綴圖塊中有1個以上的影像塊。值為0的multiple_tiles_in_prefixed_slices_flag指示後續前綴圖塊含有僅一個影像塊。
num_tiles_in_prefixed_slices_minus1指示按解碼次序接在後面的前綴圖塊中之影像塊之數目。
first_tile_id_in_prefixed_slices指示按解碼次序接在後面的前綴圖塊中之第一個影像塊的tile_id。
即，使用圖29之語法來實現圖16中所提及之影像塊識別封包，可實施圖16之實施例。如圖29中所展示，特定旗標(此處為multiple_tiles_in_prefixed_slices_flag)可用來在穿插式影像塊識別封包內用信號發出：編碼至屬於個別穿插式影像塊識別封包之範疇的有效負載封包中之任一者中的當前圖片18之任何子部分覆蓋僅一個影像塊還是一個以上的影像塊。若該旗標用信號發出對一個以上的影像塊之覆蓋，則個別穿插式封包中含有另一語法元素，此處示範性地為num_tiles_in_prefixed_slices_minus1，其指示屬於個別穿插式影像塊識別封包之範疇的任何有效負載封包之任何子部分所覆蓋的影像塊之數目。最後，另一語法元素(此處示範性地為first_tile_id_in_prefixed_slices)指示在當前穿插式影像塊識別封包所指示的若干影像塊中，根據解碼次序為第一個的影像塊之ID。將圖29之語法轉移至圖16之實施例上，加前綴於第五個有效負載封包32之影像塊識別封包72可例如具有所有三個剛才所論述之語法元素，其中multiple_tiles_in_prefixed_slices_flag設定為1，num_tiles_in_prefixed_slices_minus1設定為1，進而指示兩個影像塊屬於當前範疇，且first_tile_id_in_prefixed_slices設定為3，其指示屬於當前影像塊識別封包72之範疇的按 解碼次序的影像塊之運行在第三個影像塊(具有tile_id=2)開始。
圖29亦表明：影像塊識別封包72可能亦有可能指示tile_priority，即，屬於其範疇的影像塊之優先權。類似於ROI態樣，網路實體68可使用此優先權資訊來控制傳輸任務，諸如對重新傳輸特定有效負載封包之請求。
圖30展示出子圖片影像塊尺寸資訊SEI訊息的語法實例，其中語義可定義如下：值為1的multiple_tiles_in_prefixed_slices_flag指示按解碼次序接在後面的前綴圖塊中有1個以上的影像塊。值為0的multiple_tiles_in_prefixed_slices_flag指示後續前綴圖塊含有僅一個影像塊。
num_tiles_in_prefixed_slices_minus1指示按解碼次序接在後面的前綴圖塊中之影像塊之數目。
tile_horz_start[i]指示在圖片內的像素中第i個影像塊在水平方向中的開始。
tile_width[i]指示在圖片內的像素中第i個影像塊之寬度。
tile_vert_start[i]指示在圖片內的像素中第i個影像塊在水平方向中的開始。
tile_height[i]指示在圖片內的像素中第i個影像塊之高度。
請注意，在顯示操作中可使用尺寸SEI訊息，例如在多螢幕顯示狀況下用來將影像塊指派給螢幕。
圖30因此表明可改變關於圖16之影像塊識別封包的圖29之實行方案語法實例，因為屬於個別影像塊識別封包之範疇的影像塊係由其在當前圖片18內的位置而不是其影像塊ID來指示。即，代替用信號發出個別子部分(該等子部分係編碼至屬於個別穿插式影像塊識別封包之範疇的有效負載封包中之任一者中)所覆蓋的按解碼次序的第一個影像塊之影像塊ID，針對屬於當前影像塊識別封包之每一影像塊，可藉由用信號發出例如以下各者來用信號發出該影像塊之位置：每一影像塊i之左上角位置(此處示範性地藉由tile_horz_start及tile_vert_start)，以及影像塊i之寬度及高度(此處示範性地藉由tile_width及tile_height)。
感興趣區SEI訊息之語法實例展示於圖31中。為了甚至更精確，圖32展示出第一變體。詳言之，可例如在存取單元層級上或在子圖片層級上使用感興趣區SEI訊息來用信號發出一或多個感興趣區。根據圖32之第一變體，每個ROI SEI訊息用信號發出一次個別ROI，而不是在一個ROI SEI訊息內用信號發出個別ROI封包之範疇的所有ROI(若多個ROI在當前範疇內)。
根據圖31，感興趣區SEI訊息分別用信號發出每一ROI。語義可定義如下：roi_id指示感興趣區之識別符。
roi_priority指示在按解碼次序接在後面的前綴圖塊或所有圖塊中屬於感興趣區之所有影像塊的優先權，其取決於SEI訊息是在子圖片層級上還是存取單元層級上發送。 roi_priority的值將在0至7的範圍內(包括0及7)，其中7指示最高優先權。若給出roi資訊SEI訊息中之roi_priority及子圖片影像塊資訊SEI訊息中之tile_priority兩者，則上述兩者的最高值針對個別影像塊之優先權有效。
num_tiles_in_roi_minus1指示在按解碼次序接在後面的前綴圖塊中屬於感興趣區之影像塊的數目。
roi_tile_id[i]指示在按解碼次序接在後面的前綴圖塊中屬於感興趣區之第i個影像塊的tile_id。
即，圖31展示出如圖15中所展示的ROI封包可在其中用信號發出感興趣區之ID，個別ROI封包及屬於其範疇的有效負載封包係關於該感興趣區。任擇地，可連同ROI ID一起用信號發出ROI優先權索引。然而，兩個語法元素皆為任擇的。然後，語法元素num_tiles_in_roi_minus1可指示在個別ROI封包之範疇內屬於個別ROI 60的影像塊的數目。然後，roi_tile_id指示屬於ROI 60的第i個影像塊之tile-ID。例如，想像圖片18將以圖16中所展示的方式細分成影像塊70，且圖15之ROI 60將對應於圖片18之左半部分，將由按解碼次序的第一個及第三個影像塊形成。然後，ROI封包在圖16中可置於存取單元30之第一個有效負載封包32前面，後續接著另一ROI封包，該另一ROI封包在此存取單元30之第四個與第五個有效負載封包32之間。然後，第一個ROI封包將具有設定為0的num_tile_in_roi_minus1且roi_tile_id[0]為0(進而係關於按解碼次序的第一個影像塊)，其中在第五個有效 負載封包32前面的第二ROI封包將具有設定為0的num_tile_in_roi_minus1且roi_tile_id[0]設定為2(進而表示按解碼次序的第三個影像塊，其位於圖片18之左下四分之一)。
根據第二變體，感興趣區SEI訊息之語法可如圖32中所展示。此處，用信號發出單個SEI訊息中的所有ROI。詳言之，將使用與上文關於圖31所論述相同的語法，但將針對若干ROI(個別ROI SEI訊息或ROI封包係關於該等ROI)中之每一者的語法元素乘以藉由語法元素(此處示範性地為num_rois_minus1)用信號發出的一個數。任擇地，另一語法元素(此處示範性地為roi_presentation_on_separate_screen)可針對每一ROI用信號發出個別ROI是否適合於呈現在單獨的螢幕上。
語義可為如下：num_rois_minus1指示按解碼次序接在後面的前綴圖塊或常規圖塊中ROI之數目。
roi_id[i]指示第i個感興趣區之識別符。
roi_priority[i]指示在按解碼次序接在後面的前綴圖塊或所有圖塊中屬於第i個感興趣區之所有影像塊的優先權，其取決於SEI訊息是在子圖片層級上還是存取單元層級上發送。roi_priority的值將在0至7的範圍內(包括0及7)，其中7指示最高優先權。若給出roi_info SEI訊息中之roi_priority及子圖片影像塊資訊SEI訊息中之tile_priority兩者，則上述兩者的最高值針對個別影像塊之優先權有效。
num_tiles_in_roi_minus1[i]指示在按解碼次序接在後面的前綴圖塊中屬於第i個感興趣區之影像塊的數目。
roi_tile_id[i][n]指示在按解碼次序接在後面的前綴圖塊中屬於第i個感興趣區之第n個影像塊的tile_id。
roi_presentation_on_seperate_screen[i]指示與第i個roi_id相關的感興趣區適合於呈現在單獨的螢幕上。
因此，簡要概括目前為止所描述之各種實施例，已提議額外的高階語法發信號策略，其允許應用SEI訊息以及額外的高階語法項目(超過在每圖塊層級上包括於NAL單元標頭中的項目)。因此，描述了圖塊前綴NAL單元。連同針對低延遲/子圖片CPB操作、影像塊發信號及ROI發信號之使用情況一起，已描述圖塊前綴及圖塊層級/子圖片SEI訊息之語法及語義。已呈現擴展語法來另外用信號發出圖塊前綴中之後續圖塊的圖塊標頭之部分。
為了完整起見，圖33展示出語法之另一實例，其可用於根據圖12至圖14之實施例的時序控制封包。語義可為：du_spt_cpb_removal_delay_increment規定在當前存取單元中按解碼次序的最後一個解碼單元之標稱CPB時間與關聯於解碼單元資訊SEI訊息的解碼單元之標稱CPB時間的持續時間，以時鐘子刻度為單位。此值亦用來為HSS計算解碼單元資料到達CPB之最早可能時間。該語法元素係由固定長度碼來表示，其以位元為單位的長度由du_cpb_removal_delay_increment_length_minus1+1給出。 當關聯於解碼單元資訊SEI訊息的解碼單元係在當前存取單元中之最後一個解碼單元時，du_spt_cpb_removal_delay_increment的值將等於0。
dpb_output_du_delay_present_flag等於1規定pic_spt_dpb_output_du_delay語法元素在解碼單元資訊SEI訊息中的存在。dpb_output_du_delay_present_flag等於0規定pic_spt_dpb_output_du_delay語法元素在解碼單元資訊SEI訊息中的不存在。
pic_spt_dpb_output_du_delay用來計算當SubPicHrdFlag等於1時，圖片之DPB輸出時間。其規定在自CPB移除存取單元中之最後一個解碼單元之後，在自DPB輸出已解碼圖片之前，要等待多少個子時鐘刻度。當不存在時，推斷pic_spt_dpb_output_du_delay的值等於pic_dpb_output_du_delay。語法元素pic_spt_dpb_output_du_delay的長度係由dpb_output_delay_du_length_minus1+1以位元為單位給出。
位元串流符合性的要求為，與同一存取單元相關、適用於同一操作點且具有dpb_output_du_delay_present_flag等於1的所有解碼單元資訊SEI訊息將具有pic_spt_dpb_output_du_delay的同一值。自任何自符合輸出時序的解碼器輸出的圖片之pic_spt_dpb_output_du_delay導出的輸出時間將在自按解碼次序的任何後續CVS中之所有圖片之pic_spt_dpb_output_du_delay導出的輸出時間之前。
此語法元素的值所確定的圖片輸出次序將與PicOrderCntVal的值所確定的次序相同。
對於並非由「衝撞」過程輸出的圖片(因為該等圖片按解碼次序在no_output_of_prior_pics_flag等於1或經推斷係等於1且NoRaslOutputFlag等於1的IRAP圖片之前)，由pic_spt_dpb_output_du_delay導出的輸出時間關於同一CVS內的所有圖片將隨著PicOrderCntVal值增加而增加。對於CVS中的任何兩個圖片，當SubPicHrdFlag等於1時在兩個圖片之輸出時間之間的差將等同於當SubPicHrdFlag等於0時的同一差。
此外，圖34展示出使用ROI封包用信號發出ROI區域之另一實例。根據圖34，ROI封包之語法包含僅一個旗標，其指示編碼至屬於其範疇的任何有效負載封包32中的圖片18之所有子部分是否屬於ROI。「範疇」延伸至ROI封包或region_refresh_info SEI訊息出現為止。若該旗標為1，則指示該區被編碼至個別後續有效負載封包中，且若為0，則情況相反，即，圖片18之個別子部分不屬於ROI 60。
在再次論述以上實施例中之一些(換言之，另外解釋上文使用的一些用詞，諸如影像塊、圖塊及WPP子串流細分)之前，應注意，以上實施例之高階發信號可替代地定義於諸如[3-7]之傳輸規定中。換言之，上文所提及且形成序列34之封包可為傳輸封包，其中一些具有併入(諸如，完全封包化或分裂)至其中的應用層之子部分(諸如圖塊)，一些係以上文所論述之方式及目的被穿插在後者之間。換 言之，上文所提及之穿插式封包不限於被定義為應用層之視訊編碼解碼器中所定義的其他類型之NAL單元之SEI訊息，而是可替代地為傳輸協定中所定義的額外傳輸封包。
換言之，根據本說明書之一態樣，以上實施例揭露一種視訊資料串流，其具有以視訊內容之圖片之子部分(參見編碼樹區塊或圖塊)為單位編碼於其中的視訊內容，每一子部分係分別編碼於視訊資料串流之封包(NAL單元)序列的一或多個有效負載封包(參見VCL NAL單元)中，該封包序列被分成存取單元之序列，因此每一存取單元收集與視訊內容之個別圖片有關的有效負載封包，其中該封包序列具有穿插在其中的時序控制封包(圖塊前綴)，因此該等時序控制封包將存取單元細分成解碼單元，因此至少一些存取單元被細分成兩個或更多解碼單元，其中每一時序控制封包用信號發出解碼單元之解碼器緩衝器擷取時間，其有效負載封包在封包序列中在個別時序控制封包後面。
如上所述，以圖片之子部分為單位將視訊內容編碼至資料串流中所關於的領域可涵蓋與預測編碼有關的語法元素，諸如編碼模式(諸如框內模式、框間模式、細分資訊及其類似者)、預測參數(諸如運動向量、外推方向或其類似者)及/或殘餘資料(諸如轉換係數層級)，其中此等語法元素分別與圖片之局部部分(諸如編碼樹區塊、預測區塊及殘餘(諸如轉換)區塊)相關。
如上所述，有效負載封包可各自包含一或多個圖塊(分別係完整的)圖塊可為可獨立解碼的或可展示會阻礙 其獨立解碼的相互關係。例如，熵圖塊可為可獨立熵解碼的，但可阻止超出圖塊邊界之預測。相依性圖塊可允許WPP處理，即，使用超出圖塊邊界之熵及預測編碼的編碼/解碼，其具有以時間重疊方式平行地編碼/解碼相依性圖塊的能力，但交錯地開始個別相依性圖塊及相依性圖塊所參考的該圖塊/該等圖塊之編碼/解碼程序。
解碼器可預先知道在個別存取單元內排列存取單元之有效負載封包的循序次序。例如，編碼/解碼次序可定義於圖片之子部分之間，諸如以上實例中在編碼樹區塊之間的掃描次序。
例如，參見下圖。當前被編碼/解碼之圖片100可被分成影像塊，該等影像塊例如在圖35及圖36中示範性地對應於圖片110之四個四分部且係由參考符號112a-112d來指示。即，整個圖片110可形成一個影像塊，如在圖37之情況下，或可分段成一個以上的影像塊。影像塊分段可限於常規分段，其中影像塊僅按行及列來排列。下文呈現不同實例。
如可看出，圖片110進一步細分成編碼(樹)區塊(圖中的小方框，且在上文被稱為CTB)114，編碼次序116定義於該等區塊之間(此處為光柵掃描次序，但亦可不同)。將圖片細分成影像塊112a-d可受到限制，以使得影像塊係區塊114之不相交集合。另外，區塊114及影像塊112a-d皆可限於按行及列的常規排列。
若影像塊(即，一個以上)存在，則編碼(解碼)次 序116首先對第一個完整影像塊進行光柵掃描，然後，亦按光柵掃描影像塊次序過渡至按影像塊次序的下一個影像塊。
因為影像塊由於影像塊邊界不相交而可彼此獨立地編碼/解碼，此編碼/解碼係藉由自空間鄰域推斷出的空間預測及情境選擇，所以，除例如迴圈內或後置濾波(可能允許其與影像塊邊界相交)之外，編碼器10及解碼器12可彼此獨立地平行地編碼/解碼細分成影像塊112(之前由70指示)的圖片。
圖片110可進一步細分成圖塊118a-d、180(之前使用參考符號24來指示)。圖塊可含有影像塊之僅一部分、一個完整影像塊或一個以上的完整影像塊。因此，分成圖塊亦可細分影像塊，如在圖35之情況下。每一圖塊包含至少一個完整編碼區塊114，且由按編碼次序116的連續編碼區塊114組成，因此在圖塊118a-d之間定義一次序，其中遵循該次序來指派圖中的索引。僅出於說明目的而選擇圖35至圖37中的圖塊分割。可在資料串流中用信號發出影像塊邊界。圖片110可形成單個影像塊，如圖37中所描繪。
編碼器10及解碼器12可經組配來遵守影像塊邊界，因為跨越影像塊邊界並不應用空間預測。各種熵(算術)情境之情境調適(即，機率調適)可在整個圖塊上繼續。然而，只要圖塊沿著編碼次序116與影像塊邊界(若存在於圖塊內部)相交，諸如在圖36中關於圖塊118a、118b，則圖塊又被細分成子區段(子串流或影像塊)，其中圖塊包含指向 每一子區段之開頭的指標(即entry_point_offset)。在解碼器迴圈中，可允許濾波器與影像塊邊界相交。此等濾波器可涉及解區塊濾波器、樣本適應性偏移(SAO)濾波器及適應性迴圈濾波器(ALF)中之一或多者。後者可應用於影像塊/圖塊邊界上(若已啟動)。
每一任擇的第二個及後續子區段可使其開頭以位元組對準方式定位於圖塊內，其中指標指示自一個子區段之開頭至下一個子區段之開頭的偏移。該等子區段按掃描次序116排列在圖塊內。圖38展示出圖37之圖塊180c被細分成子區段119i的實例。
關於諸圖，請注意，形成影像塊之子部分的圖塊無須以影像塊112a中的列結束。例如，參見圖37及圖38中的圖塊118a。
下圖展示出資料串流之示範性部分，其係關於與上圖38之圖片110相關的存取單元。此處，每一有效負載封包122a-d(之前由參考符號32來指示)示範性地適用於僅一個圖塊118a。出於說明目的展示出兩個時序控制封包124a、124b(之前由參考符號36來指示)被穿插在存取單元120中：124a按封包次序126(對應於解碼/編碼時間軸)在封包122a之前，且124b在封包122c之前。因此，將存取單元120分成兩個解碼單元128a、128b(之前由參考符號38來指示)，其中第一個解碼單元包含封包122a、122b(以及任擇的填充符資料封包(分別在第一個封包122a及第二個封包122b之後)及任擇的存取單元引導SEI封包(在第一個 封包122a之前))，且第二個解碼單元包含封包118c、118d(以及任擇的填充符資料(分別在封包122c、122d之後))。
如上所述，封包序列之每一封包可指派有多個封包類型中之僅一個封包類型(nal_unit_type)。有效負載封包及時序控制封包(及任擇的填充符資料及SEI封包)例如為不同封包類型。封包序列中特定封包類型之封包的執行個體化可受到特定限制。此等限制可在封包類型之間定義一次序(參見圖17)，每一存取單元內的封包將遵守此次序，以使得存取單元邊界130a、130b可偵測到，且即使自視訊資料串流移除了任何可移除式封包類型之封包，其仍在封包序列內保持在相同位置。例如，有效負載封包係不可移除式封包類型。然而，時序控制封包、填充符資料封包及SEI封包如上文所論述可為可移除式封包類型，即，該等封包可為非VCL NAL單元。
在以上實例中，上文已藉由slice_prefix_rbsp()之語法明確地舉例說明時序控制封包。
使用時序控制封包的此穿插，使編碼器能夠在編碼視訊內容之個別圖片的過程中調整在解碼器側的緩衝排程。例如，使編碼器能夠最佳化緩衝排程來使端對端延遲減至最低。就此而言，使編碼器能夠考慮到編碼複雜性針對視訊內容之個別圖片跨越視訊內容之圖片區域的個別分佈。詳言之，編碼器可在封包接封包的基礎上連續輸出封包122、122a-d、122a-d1-3之序列(即，一結束當前封包就將其輸出)。藉由使用時序控制封包，編碼器能夠在當前圖 片之子部分中的一些已經編碼至個別有效負載封包中，但剩餘的子部分還未編碼的時刻調整解碼側的緩衝排程。
因此，用於將視訊內容以視訊內容之圖片之子部分(參見編碼樹區塊、影像塊或圖塊)為單位編碼至視訊資料串流中(其中分別將每一子部分編碼至視訊資料串流之封包(NAL單元)序列的一或多個有效負載封包(參見VCL NAL單元)中，因此封包序列被分成存取單元之序列且每一存取單元收集與視訊內容之個別圖片有關的有效負載封包)的編碼器可經組配來將時序控制封包(圖塊前綴)穿插在封包序列中，因此時序控制封包將存取單元細分成解碼單元，因此至少一些存取單元被細分成兩個或更多解碼單元，其中每一時序控制封包用信號發出解碼單元之解碼器緩衝器擷取時間，其有效負載封包在封包序列中在個別時序控制封包後面。
接收剛才所概述之視訊資料串流的任何解碼器可以利用或不利用時序控制封包中所含的排程資訊。然而，雖然解碼器可以利用該資訊，但符合編碼解碼器層級的解碼器必須能夠解碼遵循所指示時序的資料。若發生利用，則解碼器以解碼單元為單位向其解碼器緩衝器進行饋送並清空其解碼器緩衝器。如上所述，「解碼器緩衝器」可涉及已解碼圖片緩衝器及/或已編碼圖片緩衝器。
因此，用於解碼視訊資料串流(其具有以視訊內容之圖片之子部分(參見編碼樹區塊、影像塊或圖塊)為單位編碼至其中的視訊內容，其中分別將每一子部分編碼至視 訊資料串流之封包(NAL單元)序列的一或多個有效負載封包(參見VCL NAL單元)中，因此封包序列被分成存取單元之序列且每一存取單元收集與視訊內容之個別圖片有關的有效負載封包)之解碼器可經組配來尋找穿插在封包序列中的時序控制封包，在時序控制封包處將存取單元細分成解碼單元，因此至少一些存取單元被細分成兩個或更多解碼單元，自每一時序控制封包導出解碼單元之解碼器緩衝器擷取時間，其有效負載封包在封包序列中在個別時序控制封包後面，且自解碼器之緩衝器擷取解碼單元，此係排程在由解碼單元之解碼器緩衝器擷取時間所定義的時間。
尋找時序控制封包可涉及解碼器檢驗NAL單元標頭及其所含的語法元素，即，nal_unit_type。若後一旗標的值等於某一值，即，根據以上實例為124，則當前所檢驗的封包係時序控制封包。即，時序控制封包可包含或傳達上文關於偽碼subpic_buffering以及subpic_timing所解釋的資訊。即，時序控制封包可傳達或規定解碼器之初始CPB移除延遲，或規定在自CPB移除個別解碼單元之後要等待多少個時鐘刻度。
為了允許重複傳輸時序控制封包，而不會無意中將存取單元進一步分成其他解碼單元，時序控制封包內的旗標可明確地用信號發出當前時序控制封包是否參與將存取單元細分成編碼單元(比較指示解碼單元開始的decoding_unit_start_flag=1及用信號發出相反情況的decoding_unit_start_flag=0)。
使用與穿插式解碼單元有關的影像塊識別資訊的態樣與使用與穿插式解碼單元有關的時序控制封包的態樣不同之處在於，影像塊識別資訊係穿插在資料串流中。可另外將上文所提及之時序控制封包穿插在資料串流中，或可連同下文解釋的影像塊識別資訊一起共同在相同封包內傳達解碼器緩衝器擷取時間。因此，以上章節中提出的細節可用來在以下描述中闡明問題。
可自上述實施例導出的本說明書之另一態樣揭露一種視訊資料串流，其具有使用預測及熵編碼，以視訊內容之圖片被空間細分成的圖塊為單位，使用該等圖塊之間的編碼次序編碼於其中的視訊內容，其中將預測編碼及/或熵編碼之預測限於視訊內容之圖片被空間細分成的影像塊內部，其中按編碼次序的圖塊序列係按編碼次序被封包化至視訊資料串流的封包(NAL單元)序列之有效負載封包中，該封包序列被分成存取單元之序列，因此每一存取單元收集與視訊內容之個別圖片有關的有效負載封包，該等有效負載封包具有封包化至其中的圖塊，其中封包序列具有穿插在其中的影像塊識別封包，該等影像塊識別封包識別由圖塊(可能僅一個)所覆蓋的影像塊(可能僅一個)，該等圖塊係封包化至在封包序列中緊接在該個別影像塊識別封包後面的一或多個有效負載封包中。
例如，參見緊接在前面的展示出資料串流的圖。封包124a及124b現在將表示影像塊識別封包。藉由明確發信號(比較single_slice_flag=1)或按照慣例，影像塊識別 封包可僅識別由封包化至緊接在後面的有效負載封包122a中的圖塊所覆蓋的影像塊。或者，藉由明確發信號或按照慣例，影像塊識別封包124a可識別由圖塊所覆蓋的影像塊，該等圖塊係封包化至直至當前存取單元120之結束130b及下一個解碼單元128b之開始(分別地)中的較早者為止在封包序列中緊接在該個別影像塊識別封包124a後面的一或多個有效負載封包中。例如，參見圖35，若每一圖塊118a-d1-3係單獨封包化至個別封包122a-d1-3中，其中細分成解碼單元係使得該等封包根據{122a1-3},{122b1-3}及{122c1-3,122d1-3}被分組至三個解碼單元中，則封包化至第三個解碼單元之封包{122c1-3,122d1-3}中的圖塊{118c1-3,118d1-3}將例如覆蓋影像塊112c及112d，且對應的圖塊前綴將(例如當參考完整解碼單元時)指示「c」及「d」，即，此等影像塊112c及112d。
因此，下文進一步提及之網路實體可使用此明確發信號或慣例來正確地使每一影像塊識別封包與在封包序列中緊接在該影像塊識別封包後面的一或多個有效負載封包相關。上文已藉由偽碼subpic_tile_info示範性地描述可用信號發出該識別的方式。上文將相關有效負載封包稱為「前綴圖塊」。本質上可修改該實例。例如，可省略語法元素「tile_priority」。此外，可切換語法元素之間的次序，且關於語法元素之可能的位元長度及編碼原理之描述符僅為說明性的。
接收視訊資料串流(即，一種視訊資料串流，其 具有使用預測及熵編碼，以視訊內容之圖片被空間細分成的圖塊為單位，使用該等圖塊之間的編碼次序編碼於其中的視訊內容，其中將預測編碼及/或熵編碼之預測限於視訊內容之圖片被空間細分成的影像塊內部，其中按編碼次序的圖塊序列係按編碼次序被封包化至視訊資料串流的封包(NAL單元)序列之有效負載封包中，該封包序列被分成存取單元之序列，因此每一存取單元收集與視訊內容之個別圖片有關的有效負載封包，該等有效負載封包具有封包化至其中的圖塊，其中封包序列具有穿插在其中的影像塊識別封包)的網路實體可經組配來：基於影像塊識別封包，識別由圖塊所覆蓋的影像塊，該等圖塊係封包化至在封包序列中緊接在該個別影像塊識別封包後面的一或多個有效負載封包中。網路實體可使用識別結果來對傳輸任務作出決策。例如，網路實體可以不同的播放優先權來處置不同影像塊。例如，在封包丟失的情況下，相比與具有較低優先權之影像塊有關的有效負載封包，可能更願意重新傳輸與具有較高優先權之影像塊有關的彼等有效負載封包。即，網路實體可首先請求重新傳輸與具有較高優先權之影像塊有關的已丟失有效負載封包。僅在剩下足夠時間的情況下(取決於傳輸速率)，網路實體才繼續請求重新傳輸與具有較低優先權之影像塊有關的已丟失有效負載封包。然而，網路實體亦可為能夠將影像塊或與特定影像塊有關的有效負載封包指派給不同螢幕之播放單元。
關於使用穿插式感興趣區資訊之態樣，應注意， 下文提及之ROI封包可與上文提及之時序控制封包及/或影像塊識別封包共存，其實現方式為：如上文關於圖塊前綴所描述在共同封包內組合該等封包之資訊內容，或以單獨封包的形式。
換言之，使用如上所述之使用穿插式感興趣區資訊的態樣揭露一種視訊資料串流，其具有使用預測及熵編碼，以視訊內容之圖片被空間細分成的圖塊為單位，使用該等圖塊之間的編碼次序編碼於其中的視訊內容，其中將預測編碼之預測及/或熵編碼限於視訊內容之圖片被分成的影像塊內部，其中按編碼次序的圖塊序列係按編碼次序被封包化至視訊資料串流的封包(NAL單元)序列之有效負載封包中，該封包序列被分成存取單元之序列，因此每一存取單元收集與視訊內容之個別圖片有關的有效負載封包，該等有效負載封包具有封包化至其中的圖塊，其中封包序列具有穿插在其中的ROI封包，該等ROI封包識別圖片之影像塊，該等影像塊分別屬於圖片之一ROI。
關於ROI封包，與先前關於影像塊識別封包所提供的注釋類似的注釋係有效的：ROI封包可僅在由一或多個有效負載封包中所含的圖塊所覆蓋的彼等影像塊當中識別圖片之影像塊，該等影像塊屬於圖片之ROI，該個別ROI封包係關於該等一或多個有效負載封包(藉由其緊接在一或多個有效負載封包前面)，如上文關於「前綴圖塊」所描述。
ROI封包可允許每個前綴圖塊識別一個以上的 ROI，其中針對此等ROI(即num_rois_minus1)中之每一者識別相關影像塊。然後，針對每一ROI，可傳輸優先權，從而允許根據優先權(即roi_priority[i])來排序該等ROI。為了允許在視訊之圖片序列過程中隨時間流逝「追蹤」ROI，可用ROI索引來加索引於每一ROI，因此在ROI封包中所指示的ROI超出/跨越圖片邊界(即，隨時間流逝)可彼此相關(即roi_id[i])。
接收視訊資料串流(即，一種視訊資料串流，其具有使用預測及熵編碼，以視訊內容之圖片被空間細分成的圖塊為單位，使用該等圖塊之間的編碼次序編碼於其中的視訊內容，其中將預測編碼及/或熵編碼之預測限於視訊內容之圖片被分成的影像塊內部，同時在整個圖塊上繼續熵編碼之機率調適，其中按編碼次序的圖塊序列係按編碼次序被封包化至視訊資料串流的封包(NAL單元)序列之有效負載封包中，該封包序列被分成存取單元之序列，因此每一存取單元收集與視訊內容之個別圖片有關的有效負載封包，該等有效負載封包具有封包化至其中的圖塊)的網路實體可經組配來：基於影像塊識別封包，識別對圖塊繼續封包化之封包，該等圖塊覆蓋屬於圖片之ROI的影像塊。
網路實體可利用ROI封包所傳達之資訊，其方式與上文在此先前章節中關於影像塊識別封包所解釋的方式類似。
關於當前章節以及先前章節，應注意，諸如MANE或解碼器之任何網路實體能夠僅藉由以下操作來確 定當前所檢驗的有效負載封包之圖塊所覆蓋的影像塊：調查圖片之圖塊的圖塊次序，及調查此等圖塊所覆蓋之當前圖片部分的進度(關於圖片中之影像塊之位置)，其可能已在如上文所解釋的資料串流中明確地用信號發出，或可能根據慣例係編碼器及解碼器已知的。或者，每一圖塊(除了圖片之按掃描次序的第一個圖塊)可具備第一個編碼區塊(例如CTB)相同參考(相同碼)之指示/索引(以編碼樹區塊為單位來量測的slice_address)，因此解碼器可將每一圖塊(其重新建構)置於圖片中，此係自該第一個編碼區塊開始，進入圖塊次序之方向。因此，上述影像塊資訊封包僅包含緊接在個別影像塊識別封包後面的一或多個相關有效負載封包之任何圖塊所覆蓋的第一個影像塊之索引(first_tile_id_in_prefixed_slices)就夠了，因為網路實體在循序遇到下一個影像塊識別封包時很清楚：若後一影像塊識別封包所傳達的索引與前一影像塊識別封包相差超過一，則必定兩個影像塊識別封包之間的有效負載封包覆蓋具有介於二者之間的影像塊索引之影像塊。此在以下情況下成立：如所提及，影像塊細分及編碼樹細分皆例如係基於具有定義於其間的光柵掃描次序之逐列/行細分(對於影像塊及編碼區塊兩者，其例如係逐列的)，即，影像塊索引按此光柵掃描次序增加，並且圖塊根據圖塊次序沿著編碼區塊之間的此光柵掃描次序接在彼此後面。
自以上實施例導出的封包化且穿插式的圖塊標頭髮信號之所描述態樣亦可與上述態樣中之任一者或其任 何組合相組合。先前明確地描述之圖塊前綴(例如，根據版本2)聯合所有此等態樣。本態樣之優點為，使網路實體更容易存取圖塊標頭資料的可能性，因為其係在位於前綴圖塊/有效負載封包外部的獨立封包中傳達，且允許重複傳輸圖塊標頭資料。
因此，本說明書之另一態樣係封包化且穿插式的圖塊標頭髮信號之態樣，且換言之可被視為揭露一種視訊資料串流，其具有以視訊內容之圖片之子部分(參見編碼樹區塊或圖塊)為單位編碼於其中的視訊內容，每一子部分係分別編碼於視訊資料串流之封包(NAL單元)序列的一或多個有效負載封包(參見VCL NAL單元)中，該封包序列被分成存取單元之序列，因此每一存取單元收集與視訊內容之個別圖片有關的有效負載封包，其中該封包序列具有穿插在其中的圖塊標頭封包(圖塊前綴)，該等圖塊標頭封包傳達針對在封包序列中接在個別圖塊標頭封包後面的一或多個有效負載封包之(且其中所遺失之)圖塊標頭資料。
接收視訊資料串流(即，一種視訊資料串流，其具有以視訊內容之圖片之子部分(參見編碼樹區塊或圖塊)為單位編碼於其中的視訊內容，每一子部分係分別編碼於視訊資料串流之封包(NAL單元)序列的一或多個有效負載封包(參見VCL NAL單元)中，該封包序列被分成存取單元之序列，因此每一存取單元收集與視訊內容之個別圖片有關的有效負載封包，其中該封包序列具有穿插在其中的圖塊標頭封包)之網路實體可經組配來：自封包讀取圖塊之圖 塊標頭以及有效負載資料，然而其中自圖塊標頭封包導出圖塊標頭資料，且跳過讀取針對在封包序列中接在個別圖塊標頭封包後面的一或多個有效負載封包之圖塊標頭，而是改為採用自後續接著一或多個有效負載封包之圖塊標頭封包導出的圖塊標頭。
如對上文提及之態樣係成立的，有可能封包(此處為圖塊標頭封包)亦可具有以下功能性：向諸如MANE或解碼器之任何網路實體指示解碼單元之開頭或以個別封包為前綴的一或多個有效負載封包之運行的開頭。因此，根據本態樣之網路實體可基於此封包中之上述語法元素(即，single_slice_flag結合例如decoding_unit_start_flag，其中後一旗標允許如上文所論述重新傳輸在解碼單元內的特定圖塊標頭封包之拷貝)來識別有效負載封包，針對該等有效負載封包必須跳過讀取圖塊標頭。此係有用的，例如，因為一個解碼單元內的圖塊之圖塊標頭可沿著圖塊序列改變，且因此，雖然在解碼單元之開頭的圖塊標頭封包可使decoding_unit_start_flag被設定(等於1)，但定位於其間的圖塊標頭封包可使此旗標不被設定，以防止任何網路實體將此圖塊標頭封包之出現錯誤地理解為新的解碼單元之開頭。
儘管在設備之上下文中已描述了一些態樣，但清楚的是，此等態樣亦表示對應方法之描述，其中一區塊或裝置對應於一方法步驟或一方法步驟之一特徵。類似地，方法步驟之上下文中所描述之態樣亦表示對應設備之對應 區塊或項目或特徵的描述。一些或所有方法步驟可由(或使用)硬體設備來執行，例如微處理器、可規劃電腦或電子電路。在一些實施例中，最重要方法步驟中之一或多者可由此設備執行。
本發明之經編碼資料串流可儲存於數位儲存媒體上，或可於諸如無線傳輸媒體或有線傳輸媒體(諸如網際網絡)之傳輸媒體上進行傳輸。
取決於某些實施要求，本發明之實施例可在硬體中或軟體中實施。可使用上面儲存有電子可讀控制信號之數位儲存媒體(例如，軟磁碟、DVD、藍光、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體)來執行該實施方案，該數位儲存媒體與可規劃電腦系統協作(或能夠與之協作)，使得執行個別地方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包括具有電子可讀控制信號的資料載體，其能夠與可規劃電腦系統協作，使得執行本文所述方法中之一者。
通常，本發明之實施例可實施為具有程式代碼之電腦程式產品，當該電腦程式產品在電腦上運行時，該程式代碼操作以用於執行該等方法中之一者。該程式代碼可例如儲存於機器可讀載體上。
其他實施例包括儲存於機器可讀載體上之用於執行本文所述方法中之一者的電腦程式。
換言之，本發明之方法的實施例因此為具有程式 代碼之電腦程式，當該電腦程式在電腦上運行時，該程式代碼用於執行本文所述之方法中的一者。
本發明之方法的另一實施例因此為資料載體(或數位儲存媒體，或電腦可讀媒體)，其上面記錄有用於執行本文所述方法中之一者的電腦程式。該資料載體、該數位儲存媒體或該所記錄媒體通常為有形且/或非暫時的。
本發明之方法的另一實施例因此為表示用於執行本文所述方法中之一者的電腦程式的資料串流或信號序列。該資料串流或信號序列可例如經組配來經由資料通信連接(例如經由網際網路)傳送。
另一實施例包括一種處理構件，例如電腦或可規劃邏輯裝置，其經組配來或適於執行本文所述方法中的一者。
另一實施例包括一種電腦，其上面安裝有用於執行本文所述方法中之一者的電腦程式。
根據本發明之另一實施例包括一種設備或一種系統，其經組配來傳送(例如，以電子方式或光學方式)用於執行本文所述方法中之一者的電腦程式至接收器。該接收可例如為電腦、行動裝置、記憶體裝置等。該設備或系統可例如包括用於將電腦程式傳送至接收器的檔案伺服器。
在一些實施例中，一種可規劃邏輯裝置(例如，現場可規劃門陣列)可用以執行本文所述方法之功能性中的一些或全部。在一些實施例中，現場可規劃門陣列可與微處理器協作，以便執行本文所述方法中之一者。通常， 該等方法較佳由任何硬體設備執行。
上文所述之實施例僅例示本發明之原理。應理解，熟習此項技術者將明白對本文所述佈置及細節的修改及變化。因此，本發明之意圖僅由隨附之申請專利範圍之範疇限制，且不受藉助於描述及闡釋本文之實施例而呈現的具體細節限制。
參考文獻
[1] Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, 「Overview of the H.264/AVC Video Coding Standard」, IEEE Trans. Circuits Syst. Video Technol., vol. 13, N7, July 2003.
[2] JCT-VC, 「High-Efficiency Video Coding(HEVC)text specification Working Draft 7」, JCTVC-I1003, May 2012.
[3] ISO/IEC 13818-1: MPEG-2 Systems specification.
[4] IETF RFC 3550-Real-time Transport Protocol.
[5] Y.-K. Wang et al.,「RTP Payload Format for H.264 Video」, IETF RFC 6184, http://tools.ietf.org/html/.
[6] S. Wenger et al., 「RTP Payload Format for Scalable Video Coding」, IETF RFC 6190, http://tools.ietf.org/html/rfc6190.
[7] T.Schierl et al., 「RTP Payload Format for High Efficiency Video Coding」, IETF internet draft, http://datatracker.ietf.org/doc/draft-schierl-payload-rtp-h2 65/.

Claims (18)

  1. 一種具有視訊內容之視訊資料串流，該視訊內容以其圖片之子部分為單位編碼至該視訊資料串流中，每一子部分經分別編碼至該視訊資料串流之一封包序列的一或多個酬載封包中，該封包序列被分成存取單元之一序列，使得每一存取單元收集與該視訊內容之一個別圖片有關的酬載封包，其中至少一些存取單元具有該封包序列，該封包序列具有穿插在其中的感興趣區(ROI)封包，使得時序控制封包將該等存取單元細分成解碼單元，使得至少一些存取單元具有穿插在與該個別存取單元之該圖片有關的酬載封包之間的ROI封包，每一ROI封包與在該封包序列中接在該個別ROI封包後面的一或多個後續酬載封包有關，且識別編碼至該個別ROI封包所相關的該一或多個酬載封包中之任一者中的該等子部分是否覆蓋該視訊內容之一感興趣區。
  2. 如請求項1之視訊資料串流，其中該等子部分係圖塊，且該視訊內容係使用預測及熵編碼被編碼至該視訊資料串流中，而該預測及/或熵編碼限於該視訊內容之該等圖片被分成的影像塊內部，其中每一ROI封包另外識別一些影像塊，在所識別的該等影像塊內，編碼至該個別ROI封包所相關的該一或多個酬載封包中之任一者中的該等子部分覆蓋該感興趣區。
  3. 如請求項1或2之視訊資料串流，其中每一ROI封包唯一地與緊接在後面的該酬載封包有關。
  4. 如請求項1或3之視訊資料串流，其中每一ROI封包分別與在該封包序列中緊接在該個別ROI封包後面直至該個別ROI封包配置於其內之該存取單元之終點及下一個ROI封包中之較早者為止的所有酬載封包有關。
  5. 如請求項1之視訊資料串流，其中該視訊資料串流為可縮放視訊編碼(SVC)資料串流。
  6. 一種組配來接收視訊資料串流之網路實體，該視訊資料串流係如請求項1至5中任一項之視訊資料串流，且該網路實體基於該等ROI封包來識別該視訊內容之該ROI。
  7. 如請求項6之網路實體，其中該網路實體組配來使用該識別之一結果來對與該視訊資料串流有關的傳輸任務作出決策。
  8. 如請求項6或7之網路實體，其中該等傳輸任務包含關於缺陷封包之重新傳輸請求。
  9. 如請求項6或7之網路實體，其中該網路實體組配來以增加之優先權處置該感興趣區，其實現方式為：相較於以信號方式傳達不覆蓋之ROI封包及該個別ROI封包所相關的接續在該個別ROI封包後面的該一或多個酬載封包，將一較高優先權指派給一些ROI封包及該個別ROI封包所相關的接續在該個別ROI封包後面的該一或多個酬載封包，該些ROI封包以信號方式傳達編碼至該個別ROI封包所相關的該一或多個酬載封包中之任一者中的該等子部分對該感興趣區之一覆蓋。
  10. 如請求項9之網路實體，其中該網路實體組配來：在請求經指派有較低優先權之酬載封包的任何重新傳輸之前，首先請求經指派有較高優先權之酬載封包的一重新傳輸。
  11. 如請求項6之網路實體，其中該視訊資料串流為可縮放視訊編碼(SVC)資料串流。
  12. 一種解碼器，其組配來解碼如請求項1至5中任一項之視訊資料串流，且基於該等ROI封包來識別該視訊內容之該ROI。
  13. 如請求項12之解碼器，其中該視訊資料串流為可縮放視訊編碼(SVC)資料串流。
  14. 一種編碼器，其組配來編碼如請求項1至5中任一項之視訊資料串流，且基於該等ROI封包來識別該視訊內容之該ROI。
  15. 如請求項14之編碼器，其中該視訊資料串流為可縮放視訊編碼(SVC)資料串流。
  16. 一種用於解碼之方法，其包含：接收如請求項1至5中任一項之視訊資料串流，以及基於該等ROI封包來識別該視訊內容之該ROI。
  17. 如請求項16之方法，其中該視訊資料串流為可縮放視訊編碼(SVC)資料串流。
  18. 一種具有程式碼之電腦程式，該程式碼在一電腦上運行時，用於執行如請求項16或17之方法。
TW106111143A 2012-06-29 2013-07-01 視訊資料串流概念技術 TWI636687B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261666185P 2012-06-29 2012-06-29
US61/666,185 2012-06-29

Publications (2)

Publication Number Publication Date
TW201742467A TW201742467A (zh) 2017-12-01
TWI636687B true TWI636687B (zh) 2018-09-21

Family

ID=48782303

Family Applications (7)

Application Number Title Priority Date Filing Date
TW106111143A TWI636687B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW105130457A TWI584637B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW107128325A TWI662832B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW110128381A TWI769904B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW102123512A TWI558182B (zh) 2012-06-29 2013-07-01 視訊資料串流槪念技術
TW111119402A TW202315403A (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW108115080A TWI737990B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術

Family Applications After (6)

Application Number Title Priority Date Filing Date
TW105130457A TWI584637B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW107128325A TWI662832B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW110128381A TWI769904B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW102123512A TWI558182B (zh) 2012-06-29 2013-07-01 視訊資料串流槪念技術
TW111119402A TW202315403A (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術
TW108115080A TWI737990B (zh) 2012-06-29 2013-07-01 視訊資料串流概念技術

Country Status (25)

Country Link
US (6) US9973781B2 (zh)
EP (3) EP3905697A1 (zh)
JP (8) JP2015526006A (zh)
KR (5) KR102659283B1 (zh)
CN (15) CN115442626A (zh)
AU (6) AU2013283173B2 (zh)
BR (2) BR122020007914B1 (zh)
CA (3) CA2877045C (zh)
CL (1) CL2014003507A1 (zh)
DK (1) DK2868103T3 (zh)
ES (1) ES2614910T3 (zh)
HK (1) HK1210342A1 (zh)
HU (1) HUE031264T2 (zh)
IL (7) IL305350B1 (zh)
MX (2) MX2020009883A (zh)
MY (1) MY167958A (zh)
PH (5) PH12014502882A1 (zh)
PL (1) PL2868103T3 (zh)
PT (1) PT2868103T (zh)
RU (3) RU2635251C2 (zh)
SG (3) SG11201408612TA (zh)
TW (7) TWI636687B (zh)
UA (2) UA114909C2 (zh)
WO (1) WO2014001573A1 (zh)
ZA (1) ZA201500558B (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3174295B1 (en) 2012-04-13 2018-12-12 GE Video Compression, LLC Low delay picture coding
CN107809645B (zh) * 2012-06-22 2021-12-03 威勒斯媒体国际有限公司 图像解码方法及图像解码设备
EP2866438A4 (en) * 2012-06-25 2015-12-02 Nec Corp VIDEO ENCODING / DECODING DEVICE, METHOD, AND PROGRAM
CN115442626A (zh) 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
US20140003534A1 (en) * 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
EP4156690A1 (en) 2012-08-09 2023-03-29 Sun Patent Trust Image decoding method
US9479774B2 (en) * 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
MY181830A (en) 2012-09-26 2021-01-08 Panasonic Ip Corp America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9479782B2 (en) 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US9883011B2 (en) * 2012-10-12 2018-01-30 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
CA3129121C (en) 2013-04-07 2024-02-20 Dolby International Ab Signaling change in output layer sets
GB2513303B (en) * 2013-04-16 2017-06-07 Canon Kk Method and device for partitioning an image
GB2514618B (en) * 2013-05-31 2020-11-11 Advanced Risc Mach Ltd Data processing systems
EP3018910B1 (en) * 2013-07-05 2019-11-13 Saturn Licensing LLC Transmission device, transmission method, reception device, and reception method
KR102657916B1 (ko) 2013-07-15 2024-04-15 지이 비디오 컴프레션, 엘엘씨 다계층식 비디오 코딩에서의 저지연 개념
WO2015009676A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
JP6268066B2 (ja) * 2013-09-20 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
EP3703379B1 (en) 2013-12-16 2022-06-22 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmitting device, and receiving device
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
WO2015089623A1 (en) * 2013-12-16 2015-06-25 Mcafee, Inc. Process efficient preprocessing for an encryption standard
CA2951009A1 (en) 2014-06-20 2015-12-23 Sony Corporation Image encoding device and method, and image decoding device and method
US10091532B2 (en) * 2014-06-26 2018-10-02 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
US10123028B2 (en) * 2014-09-17 2018-11-06 Mediatek Inc. Syntax parsing apparatus with multiple syntax parsing circuits for processing multiple image regions within same frame or processing multiple frames and related syntax parsing method
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US11418812B2 (en) 2015-02-11 2022-08-16 Qualcomm Incorporated Placement of parameter sets and sync samples in video coding
JP6879479B2 (ja) 2015-09-02 2021-06-02 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム
US10616618B2 (en) * 2015-09-11 2020-04-07 Lg Electronics Inc. Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method and broadcast signal receiving method
JP6519441B2 (ja) 2015-10-22 2019-05-29 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN108886639B (zh) * 2016-02-02 2021-05-07 弗劳恩霍夫应用研究促进协会 视频流传输中的场景部分和感兴趣区域处理
TWI762260B (zh) * 2016-02-09 2022-04-21 弗勞恩霍夫爾協會 用於圖像/視訊資料串流而允許有效可縮減性或有效隨機存取之技術
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10574718B2 (en) * 2016-08-25 2020-02-25 Comcast Cable Communications, Llc Packaging content for delivery
EP3293981A1 (en) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system
MX2022004787A (es) * 2016-10-12 2022-12-01 Fraunhofer Ges Forschung Transmisión continua espacialmente desigual.
CN115955560A (zh) * 2017-03-20 2023-04-11 Ge 视频压缩有限责任公司 生成视频数据流的装置以及生成视频数据流的方法
US10587800B2 (en) * 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
WO2019034803A1 (en) * 2017-08-14 2019-02-21 Nokia Technologies Oy METHOD AND APPARATUS FOR PROCESSING VIDEO INFORMATION
US11523135B2 (en) 2018-04-09 2022-12-06 Nokia Technologies Oy Apparatus, a method and a computer program for volumetric video
GB2572770B (en) * 2018-04-09 2022-11-02 Canon Kk Method and apparatus for encoding or decoding video data with frame portions
KR102644707B1 (ko) * 2018-07-02 2024-03-06 노키아 테크놀로지스 오와이 비디오 코딩에서 타일 관련 어드레싱을 위한 방법 및 장치
CN112690004B (zh) * 2018-09-14 2023-01-13 华为技术有限公司 一种视频译码中的基于分块的寻址方法，译码器以及视频译码设备
KR102637732B1 (ko) * 2018-09-21 2024-02-19 삼성전자주식회사 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서
US10834163B2 (en) * 2018-10-18 2020-11-10 At&T Intellectual Property I, L.P. Methods, devices, and systems for encoding portions of video content according to priority content within live video content
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
US11310516B2 (en) * 2018-12-21 2022-04-19 Hulu, LLC Adaptive bitrate algorithm with cross-user based viewport prediction for 360-degree video streaming
US11778171B2 (en) * 2019-01-02 2023-10-03 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
BR112021013512A2 (pt) * 2019-01-09 2021-09-14 Huawei Technologies Co., Ltd. Codificador de vídeo, decodificador de vídeo e métodos correspondentes
CN113557744A (zh) * 2019-03-11 2021-10-26 华为技术有限公司 视频译码中的分块级滤波
US10924751B2 (en) * 2019-03-18 2021-02-16 Tencent America LLC Data unit and parameter set design for point cloud coding
CN114009051B (zh) * 2019-06-27 2023-07-18 华为技术有限公司 用于v-pcc的假设参考解码器
US11012690B2 (en) * 2019-08-21 2021-05-18 Tencent America LLC Method and apparatus for video coding
CN112422295B (zh) * 2019-08-23 2023-06-13 微芯片技术股份有限公司 以太网接口及相关系统、方法和设备
CN112532569B (zh) * 2019-09-19 2022-05-31 澜至电子科技（成都）有限公司 视频码流保护装置、方法以及存储介质
CN110856220B (zh) * 2019-11-15 2020-12-29 深圳市东方拓宇科技有限公司 数据传输方法及终端
CN110856153B (zh) * 2019-11-15 2020-12-29 深圳市东方拓宇科技有限公司 数据传输方法及终端
US20230013803A1 (en) * 2019-11-27 2023-01-19 Lg Electronics Inc. Image decoding method and apparatus therefor
US20230328266A1 (en) * 2019-11-27 2023-10-12 Lg Electronics Inc. Image decoding method and device therefor
US10939126B1 (en) * 2019-12-09 2021-03-02 Guangzhou Zhijing Technology Co., Ltd Method of adding encoded range-of-interest location, type and adjustable quantization parameters per macroblock to video stream
EP4085622A1 (en) * 2019-12-31 2022-11-09 Koninklijke KPN N.V. Partial output of a decoded picture buffer in video coding
KR20220119675A (ko) 2020-01-09 2022-08-30 텔레폰악티에볼라겟엘엠에릭슨(펍) 화상 헤더 존재
JP2021131168A (ja) 2020-02-18 2021-09-09 株式会社デンソー 熱交換器
CN115211130B (zh) 2020-02-21 2024-04-09 抖音视界有限公司 基于条带和片图片分割的信令通知的处理视频数据的方法
BR112022016900A2 (pt) * 2020-02-28 2022-10-25 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes que simplificam sinalização de elementos de sintaxe de cabeçalho de fatia
JP7450747B2 (ja) * 2020-03-05 2024-03-15 エルジー エレクトロニクス インコーポレイティド 混成ｎａｌユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法
EP4144093A4 (en) * 2020-05-22 2023-08-23 ByteDance Inc. SIGNALING OF IMAGE INFORMATION IN ACCESS UNITS
WO2021243044A1 (en) * 2020-05-27 2021-12-02 Let's Jam, Llc Methods and systems for synchronizing multimedia
CN115918077A (zh) 2020-06-09 2023-04-04 字节跳动有限公司 子图片子比特流提取过程中补充增强信息的处理
US11321878B2 (en) 2020-06-26 2022-05-03 Sony Group Corporation Decoded tile hash SEI message for V3C/V-PCC
EP4268457A1 (en) * 2020-12-28 2023-11-01 Koninklijke KPN N.V. Partial output of a decoded picture buffer in video coding
EP4268462A1 (en) * 2020-12-28 2023-11-01 Koninklijke KPN N.V. Prioritized decoding and output of parts of a picture in video coding
CN113542745B (zh) * 2021-05-27 2024-06-25 绍兴市北大信息技术科创中心 一种率失真编码优化方法
WO2023242590A1 (en) * 2022-06-16 2023-12-21 Mbda Uk Limited Method for image encoding
US11695965B1 (en) 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer
CN116149591B (zh) * 2023-04-04 2023-08-18 深圳曦华科技有限公司 一种命令模式码片数据流传输时序控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1667460A2 (en) * 2004-12-02 2006-06-07 Mitsubishi Denki Kabushiki Kaisha Method for scalable image transcoding
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
US20100246662A1 (en) * 2009-03-25 2010-09-30 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus

Family Cites Families (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5020121A (en) 1990-08-16 1991-05-28 Hewlett-Packard Company Neighborhood block prediction bit compression
US5786858A (en) 1993-01-19 1998-07-28 Sony Corporation Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium
RU2093968C1 (ru) 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
JP3409552B2 (ja) 1995-12-27 2003-05-26 三菱電機株式会社 ディジタル情報符号化装置、ディジタル情報復号化装置、及びディジタル情報符号化・復号化装置
JPH09298668A (ja) 1996-05-07 1997-11-18 Mitsubishi Electric Corp ディジタル情報符号化装置、ディジタル情報復号化装置、ディジタル情報符号化・復号化装置、ディジタル情報符号化方法、及びディジタル情報復号化方法
EP0861001B1 (en) 1997-02-07 2012-05-23 Texas Instruments Incorporated Error resilient video encoding
HUP0001273A3 (en) 1998-01-20 2000-09-28 Interactic Holdings Llc New Yo A scalable low-latency switch, interconnect apparatus, interconnect structure and method
US6754271B1 (en) 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US7093028B1 (en) 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
TW488155B (en) 2000-01-27 2002-05-21 Hewlett Packard Co Task-partitioned hybrid codec
US6493388B1 (en) 2000-04-19 2002-12-10 General Instrument Corporation Rate control and buffer protection for variable bit rate video programs over a constant rate channel
GB2377573B (en) * 2001-07-11 2004-03-31 Motorola Inc Video transmission system, video tranmission unit and methods of encoding/decoding video data
CN100407791C (zh) 2001-11-16 2008-07-30 株式会社Ntt都科摩 图像编码、译码方法、图像编码、译码装置及图像传送系统
JP3807342B2 (ja) 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
US7305036B2 (en) 2002-05-14 2007-12-04 Broadcom Corporation System and method for entropy code preprocessing
US6646578B1 (en) 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
US8661496B2 (en) 2002-12-10 2014-02-25 Ol2, Inc. System for combining a plurality of views of real-time streaming interactive video
EP1595405B1 (en) * 2003-02-18 2019-12-04 Nokia Technologies Oy Method and device for transmitting media data in nal units over rtp
KR101029762B1 (ko) 2003-03-03 2011-04-19 에이전시 포 사이언스, 테크놀로지 앤드 리서치 고급 비디오 코딩에 대한 인트라 프레딕션을 위한 신속모드 결정 알고리즘
US7447369B2 (en) 2003-03-07 2008-11-04 Ricoh Co., Ltd. Communication of compressed digital images
US6894628B2 (en) 2003-07-17 2005-05-17 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and methods for entropy-encoding or entropy-decoding using an initialization of context variables
US20050185541A1 (en) 2004-02-23 2005-08-25 Darren Neuman Method and system for memory usage in real-time audio systems
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
EP1754378A1 (en) 2004-05-25 2007-02-21 Koninklijke Philips Electronics N.V. Method and device for encoding digital video data
EP1760933B1 (en) 2004-08-06 2012-03-14 Panasonic Corporation Feedback control for multicast or broadcast services
KR101138392B1 (ko) 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
JP4680608B2 (ja) 2005-01-17 2011-05-11 パナソニック株式会社 画像復号装置及び方法
US7664041B2 (en) 2005-05-26 2010-02-16 Dale Trenton Smith Distributed stream analysis using general purpose processors
US20070022215A1 (en) 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
GB2429593A (en) 2005-08-26 2007-02-28 Electrosonic Ltd Data compressing using a wavelet compression scheme
CN102271249B (zh) * 2005-09-26 2014-04-09 韩国电子通信研究院 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
KR101255226B1 (ko) 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
EP2375749B1 (en) * 2005-10-11 2016-11-23 Nokia Technologies Oy System and method for efficient scalable stream adaptation
WO2007043609A1 (ja) 2005-10-14 2007-04-19 Nec Corporation 画像符号化方法及び、これを用いた装置とコンピュータプログラム
JP4211780B2 (ja) 2005-12-27 2009-01-21 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
WO2007077942A1 (ja) 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR100904442B1 (ko) 2006-01-09 2009-06-24 엘지전자 주식회사 영상 신호의 레이어 간 예측 방법
KR20070074453A (ko) 2006-01-09 2007-07-12 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
RU2384970C1 (ru) 2006-01-09 2010-03-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ межслойного предсказания для видеосигнала
US8619865B2 (en) * 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
JP4876122B2 (ja) 2006-03-22 2012-02-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 精度スケーラビリティを可能にする符号化スキーム
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
WO2007114612A1 (en) 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
KR100828404B1 (ko) 2006-05-08 2008-05-08 한국과학기술원 경계관찰질의를 이용한 데이터 스트림 처리 방법
JP2008017331A (ja) * 2006-07-07 2008-01-24 Toshiba Corp パケットストリーム送信装置
US7840078B2 (en) 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
CA2657267C (en) 2006-07-13 2013-07-16 Qualcomm Incorporated Video coding with fine granularity scalability using cycle-aligned fragments
CN101491097B (zh) * 2006-07-13 2011-12-14 高通股份有限公司 使用经循环对准的片段的具有细粒度可缩放性的视频编码
JP4129694B2 (ja) * 2006-07-19 2008-08-06 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US7554468B2 (en) 2006-08-25 2009-06-30 Sony Computer Entertainment Inc, Entropy decoding methods and apparatus using most probable and least probable signal cases
JP5143829B2 (ja) 2006-09-07 2013-02-13 エルジー エレクトロニクス インコーポレイティド スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置
CN101150719B (zh) 2006-09-20 2010-08-11 华为技术有限公司 并行视频编码的方法及装置
US8218640B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US8218641B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
US7778277B2 (en) * 2006-11-03 2010-08-17 Mediatek Inc. Timing recovery method and system thereof
US7675549B1 (en) * 2006-12-08 2010-03-09 Itt Manufacturing Enterprises, Inc. Imaging architecture for region and time of interest collection and dissemination
EP2124343A4 (en) 2006-12-14 2012-01-11 Nec Corp METHOD, DEVICE AND VIDEO PROGRAMMING PROGRAM
TWI328199B (en) 2006-12-15 2010-08-01 Via Tech Inc Method for image rendering
ZA200904019B (en) 2007-01-05 2010-08-25 Thomson Licensing Hypothetical reference decoder for scalable video coding
US20080247459A1 (en) 2007-04-04 2008-10-09 General Instrument Corporation Method and System for Providing Content Adaptive Binary Arithmetic Coder Output Bit Counting
MX2009010322A (es) * 2007-04-24 2009-10-19 Nokia Corp Señalizacion de multiples tiempos de descodificacion en archivos multimedia.
TWI330987B (en) 2007-05-18 2010-09-21 Via Tech Inc Method and apparatus for determining whether adjacent macroblocks are located in the same slice
US8180029B2 (en) 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
WO2009003885A2 (en) * 2007-06-29 2009-01-08 Thomson Licensing Video indexing method, and video indexing device
KR20090004659A (ko) 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004658A (ko) 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CN100534186C (zh) 2007-07-05 2009-08-26 西安电子科技大学 基于码率预分配的jpeg2000自适应率控制系统及方法
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
US20110116542A1 (en) 2007-08-24 2011-05-19 France Telecom Symbol plane encoding/decoding with dynamic calculation of probability tables
WO2009039638A1 (en) 2007-09-28 2009-04-02 Pin-Han Ho A robust system and method for wireless data multicasting using superposition modulation
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
KR101291196B1 (ko) 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US9357233B2 (en) 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
CN101552924B (zh) 2008-03-31 2011-08-03 深圳市融创天下科技发展有限公司 一种用于视频编码的空间预测方法
CN101568037B (zh) 2008-04-21 2010-12-15 展讯通信（上海）有限公司 一种dvb-h手机电视流式修复的方法、终端与系统
JP4962400B2 (ja) 2008-04-30 2012-06-27 ソニー株式会社 算術復号装置
US20090316793A1 (en) 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
US8908763B2 (en) 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
CN102113324B (zh) * 2008-07-31 2013-09-25 三菱电机株式会社 视频编码装置、视频编码方法、视频再现装置、视频再现方法
EP2890149A1 (en) * 2008-09-16 2015-07-01 Intel Corporation Systems and methods for video/multimedia rendering, composition, and user-interactivity
KR101007381B1 (ko) * 2008-10-06 2011-01-13 주식회사 아이엠케이네트웍스 관심 영역을 고려한 영상 부호화 장치
US20100254620A1 (en) 2008-10-10 2010-10-07 Daisuke Iwahashi Image decoding apparatus and image decoding method
US7932843B2 (en) 2008-10-17 2011-04-26 Texas Instruments Incorporated Parallel CABAC decoding for video decompression
CN102257819A (zh) 2008-10-30 2011-11-23 Gvbb控股股份有限公司 图像编码装置、图像编码方法和图像编码程序
US9467699B2 (en) 2008-12-03 2016-10-11 Hfi Innovation Inc. Method for performing parallel coding with ordered entropy slices, and associated apparatus
WO2010067505A1 (ja) 2008-12-08 2010-06-17 パナソニック株式会社 画像復号化装置および画像復号化方法
US8371552B2 (en) 2008-12-11 2013-02-12 GM Global Technology Operations LLC Shift actuator valve having a pressure dead band
US20120014451A1 (en) 2009-01-15 2012-01-19 Wei Siong Lee Image Encoding Methods, Image Decoding Methods, Image Encoding Apparatuses, and Image Decoding Apparatuses
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
JP5516843B2 (ja) 2009-01-29 2014-06-11 コマニー株式会社 ３ウェイ方式のパネル連結構造及び連結金具
RU2375939C1 (ru) 2009-03-02 2009-12-20 Андрей Николаевич Конев Противоскользящее средство для обуви
US8514931B2 (en) * 2009-03-20 2013-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Method of providing scalable video coding (SVC) video content with added media content
US20100246683A1 (en) 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
US9112618B2 (en) * 2009-07-02 2015-08-18 Qualcomm Incorporated Coding latency reductions during transmitter quieting
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
US20110096828A1 (en) 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
JP5389187B2 (ja) * 2009-10-29 2014-01-15 パナソニック株式会社 画像符号化方法および画像符号化装置
KR101495724B1 (ko) 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US20110196673A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
US8487791B2 (en) 2010-02-18 2013-07-16 Research In Motion Limited Parallel entropy coding and decoding methods and devices
US9973768B2 (en) 2010-03-16 2018-05-15 Texas Instruments Incorporated CABAC decoder with decoupled arithmetic decoding and inverse binarization
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
CN102939750B (zh) 2010-04-13 2016-07-06 Ge视频压缩有限责任公司 跨平面预测
US20110280314A1 (en) 2010-05-12 2011-11-17 Texas Instruments Incorporated Slice encoding and decoding processors, circuits, devices, systems and processes
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US20120014429A1 (en) 2010-07-15 2012-01-19 Jie Zhao Methods and Systems for Parallel Video Encoding and Parallel Video Decoding
US9591320B2 (en) 2010-07-15 2017-03-07 Texas Instruments Incorporated Context and bypass encoding video
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US20120014433A1 (en) 2010-07-15 2012-01-19 Qualcomm Incorporated Entropy coding of bins across bin groups using variable length codewords
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US20120063515A1 (en) 2010-09-09 2012-03-15 Qualcomm Incorporated Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
US8344917B2 (en) 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US8902988B2 (en) * 2010-10-01 2014-12-02 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
US8604951B2 (en) 2010-10-05 2013-12-10 Massachusetts Institute Of Technology System and method for optimizing context-adaptive binary arithmetic coding
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US20120082235A1 (en) * 2010-10-05 2012-04-05 General Instrument Corporation Coding and decoding utilizing context model selection with adaptive scan pattern
US8885729B2 (en) * 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
FR2972588A1 (fr) 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9325999B2 (en) 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
EP2684369A4 (en) 2011-03-10 2014-08-27 Sharp Kk METHOD FOR DECODING VIDEO DATA
JP2012232720A (ja) 2011-05-09 2012-11-29 Suzuki Motor Corp 船外機の動力連結装置
GB2491164B (en) 2011-05-25 2013-09-11 Canon Kk Method and device for compression of video data
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
WO2012167418A1 (en) * 2011-06-07 2012-12-13 Technicolor (China) Technology Co., Ltd. Method for encoding and/or decoding images on macroblock level using intra-prediction
US10298939B2 (en) * 2011-06-22 2019-05-21 Qualcomm Incorporated Quantization in video coding
US9398307B2 (en) 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
WO2013077236A1 (en) 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9565431B2 (en) 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
EP3174295B1 (en) 2012-04-13 2018-12-12 GE Video Compression, LLC Low delay picture coding
EP2843945B1 (en) 2012-04-23 2020-03-11 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
CN115442626A (zh) * 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
US9930562B2 (en) 2016-02-05 2018-03-27 Arris Enterprises Llc Utilization based control of wireless network services
WO2023107452A1 (en) * 2021-12-09 2023-06-15 Apple Inc. Encoding and decoding video content using prediction-aware flexible skip coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1667460A2 (en) * 2004-12-02 2006-06-07 Mitsubishi Denki Kabushiki Kaisha Method for scalable image transcoding
US7440626B2 (en) * 2004-12-02 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Image transcoding
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
US20100246662A1 (en) * 2009-03-25 2010-09-30 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus

Also Published As

Publication number Publication date
JP2020065292A (ja) 2020-04-23
IL305350B1 (en) 2024-05-01
CN115442624A (zh) 2022-12-06
TWI769904B (zh) 2022-07-01
TW202201961A (zh) 2022-01-01
WO2014001573A1 (en) 2014-01-03
US20150208095A1 (en) 2015-07-23
CN115442626A (zh) 2022-12-06
EP3905697A1 (en) 2021-11-03
US11025958B2 (en) 2021-06-01
TWI584637B (zh) 2017-05-21
IL299951A (en) 2023-03-01
IL277485A (en) 2020-11-30
RU2720534C2 (ru) 2020-04-30
KR101858200B1 (ko) 2018-05-16
MX2014016063A (es) 2015-04-09
JP2017118564A (ja) 2017-06-29
JP7021167B2 (ja) 2022-02-16
CN115442623A (zh) 2022-12-06
TW202007152A (zh) 2020-02-01
CN115442625A (zh) 2022-12-06
IL283196A (en) 2021-06-30
CA3095638A1 (en) 2014-01-03
RU2635251C2 (ru) 2017-11-09
CN115442621A (zh) 2022-12-06
CN115442630A (zh) 2022-12-06
DK2868103T3 (en) 2017-03-13
AU2020289848A1 (en) 2021-01-28
CN115442629A (zh) 2022-12-06
IL283196B2 (en) 2023-06-01
US20180220161A1 (en) 2018-08-02
EP3151566B1 (en) 2021-03-31
CN115442621B (zh) 2024-05-31
CN104685893B (zh) 2019-08-13
AU2013283173B2 (en) 2016-03-24
RU2766882C2 (ru) 2022-03-16
US20190253736A1 (en) 2019-08-15
JP6793167B2 (ja) 2020-12-02
KR20240070581A (ko) 2024-05-21
US11956472B2 (en) 2024-04-09
IL312019A (en) 2024-06-01
EP3151566A1 (en) 2017-04-05
CN104685893A (zh) 2015-06-03
US11856229B2 (en) 2023-12-26
AU2022252837B2 (en) 2023-12-14
US20200112749A1 (en) 2020-04-09
KR20180014234A (ko) 2018-02-07
PH12018500335A1 (en) 2019-01-28
KR20150029723A (ko) 2015-03-18
CA2877045C (en) 2020-12-08
RU2020114791A (ru) 2021-10-27
PT2868103T (pt) 2017-03-02
MX349567B (es) 2017-08-03
AU2022252837A1 (en) 2022-11-10
BR112014032687A2 (pt) 2018-05-02
AU2013283173A1 (en) 2015-01-22
UA123988C2 (uk) 2021-07-07
KR20200116538A (ko) 2020-10-12
SG11201408612TA (en) 2015-01-29
MY167958A (en) 2018-10-08
CA3095638C (en) 2023-11-14
HK1210342A1 (zh) 2016-04-15
IL277485B (en) 2021-05-31
JP2019041402A (ja) 2019-03-14
CL2014003507A1 (es) 2015-02-27
IL261382B (en) 2020-10-29
CN110536136A (zh) 2019-12-03
EP2868103A1 (en) 2015-05-06
HUE031264T2 (en) 2017-07-28
JP6831022B2 (ja) 2021-02-17
ZA201500558B (en) 2016-01-27
AU2024201670A1 (en) 2024-04-04
CN115442632A (zh) 2022-12-06
US20240007675A1 (en) 2024-01-04
CN115442622A (zh) 2022-12-06
RU2017137234A3 (zh) 2020-03-02
JP2023175929A (ja) 2023-12-12
JP6483167B2 (ja) 2019-03-13
JP7364710B2 (ja) 2023-10-18
AU2016204304B2 (en) 2018-06-28
CN115442631A (zh) 2022-12-06
KR102659283B1 (ko) 2024-04-22
US20210274221A1 (en) 2021-09-02
AU2016204304A1 (en) 2016-07-14
CA3214600A1 (en) 2014-01-03
SG10201809547WA (en) 2018-11-29
UA114909C2 (uk) 2017-08-28
BR122020007914B1 (pt) 2023-03-07
KR102162119B1 (ko) 2020-10-06
PH12014502882B1 (en) 2015-02-23
PH12018500332A1 (en) 2019-01-28
TWI662832B (zh) 2019-06-11
KR102415989B1 (ko) 2022-07-01
RU2017137234A (ru) 2019-02-12
MX2020009883A (es) 2021-08-20
JP2020025292A (ja) 2020-02-13
RU2020114791A3 (zh) 2021-10-27
IL305350A (en) 2023-10-01
AU2018236689B2 (en) 2020-09-24
KR20220098273A (ko) 2022-07-11
CN110536136B (zh) 2022-08-05
TWI558182B (zh) 2016-11-11
BR112014032687B1 (pt) 2023-02-28
SG10201606616WA (en) 2016-09-29
PH12014502882A1 (en) 2015-02-23
JP6603248B2 (ja) 2019-11-06
IL236285A0 (en) 2015-02-26
CA2877045A1 (en) 2014-01-03
CN115442633A (zh) 2022-12-06
ES2614910T3 (es) 2017-06-02
US9973781B2 (en) 2018-05-15
PL2868103T3 (pl) 2017-06-30
IL261382A (en) 2018-10-31
CN115442628A (zh) 2022-12-06
CN115442627A (zh) 2022-12-06
IL299951B2 (en) 2024-01-01
RU2015102812A (ru) 2016-08-20
AU2018236689A1 (en) 2018-10-11
US10484716B2 (en) 2019-11-19
TW201811059A (zh) 2018-03-16
AU2020289848B2 (en) 2022-07-14
JP2015526006A (ja) 2015-09-07
JP2022078031A (ja) 2022-05-24
JP2017123659A (ja) 2017-07-13
TW202315403A (zh) 2023-04-01
TW201921936A (zh) 2019-06-01
TWI737990B (zh) 2021-09-01
TW201409995A (zh) 2014-03-01
IL299951B1 (en) 2023-09-01
PH12018500333A1 (en) 2019-01-28
PH12018500334A1 (en) 2019-01-28
US10743030B2 (en) 2020-08-11
TW201742467A (zh) 2017-12-01
EP2868103B1 (en) 2016-12-07

Similar Documents

Publication Publication Date Title
TWI636687B (zh) 視訊資料串流概念技術
RU2812020C2 (ru) Концепция потока видеоданных