TWI595787B - 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術 - Google Patents

以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術 Download PDF

Info

Publication number
TWI595787B
TWI595787B TW104144821A TW104144821A TWI595787B TW I595787 B TWI595787 B TW I595787B TW 104144821 A TW104144821 A TW 104144821A TW 104144821 A TW104144821 A TW 104144821A TW I595787 B TWI595787 B TW I595787B
Authority
TW
Taiwan
Prior art keywords
image
hierarchy
temporal
layer
identifier
Prior art date
Application number
TW104144821A
Other languages
English (en)
Other versions
TW201631958A (zh
Inventor
麥斯卡 漢努克賽拉
王燁奎
Original Assignee
諾基亞股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 諾基亞股份有限公司 filed Critical 諾基亞股份有限公司
Publication of TW201631958A publication Critical patent/TW201631958A/zh
Application granted granted Critical
Publication of TWI595787B publication Critical patent/TWI595787B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Description

以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
本發明一般是關於可縮放視訊編碼之領域。較特別地，本發明是關於H.264/先進視訊編碼(AVC)及可縮放視訊編碼(SVC)中的抗錯性(error resiliency)。
此節意指提供一背景或環境給該等申請專利範圍中所列舉之本發明。該說明書中可能包括可被進一步研究之概念，但其等並非必然是先前已被構想出或被研究之概念。因此，除非在此特別指明，否則此節所描述的並非該申請案中該說明書及該等申請專利範圍之先前技術，且包含在此節中並非被承認是先前技術。
視訊編碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也稱為ISO/IEC MPEG-4 AVC)。此外，目前所作的努力是關於開發新的視訊編碼標準。這樣一開發中的標準是SVC標準，其將成為H.264/AVC的可縮放擴展。另一開發中的標準是多視角編碼標準(MVC)，其也是H.264/AVC的一擴展。所作的又一此類努力包含開發中國視訊編碼標準。
SVC的最新草案被描述在2006年10月於中國杭州舉行的第21次JVT會議的JVT-U201報告“Joint Draft 8 of SVC Amendment”中，該報告在以下網站中可得到：ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U201.zip。MVC的最新草案被描述在2006年10月於中國杭州舉行的第21次JVT會議的JVT-U209報告“Joint Draft 1.0 on Multiview Video Coding”中，該報告在以下網站中可得到：ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U209.zip。這兩份文件全文在此以參照形式被併入本文。
可縮放媒體一般被按照順序排列階層式層級(hierarchical layer)的資料。一基本層包括一已編碼的媒體流(如一視訊序列)的一個別表示。相對於該層級階層(layer hierarchy)中的之前層級，增強層包括精化資料。由於增強層被添加到該基本層中，所以已解碼的媒體流的品質日益提高。一增強層增強了時間解析度(即訊框率)、空間解析度，或者只是其另一層或另一部分所表示的視訊內容的品質。每一層與其所有相依層一起是某一空間解析度、時間解析度及品質等級下的視訊信號的一表示。因此，用語“可縮放層表示”被用在這裏描述連同其所有相依層一起的一可縮放層。對應於一可縮放層表示的一可縮放位元流的一部分可被擷取及解碼以產生具有某種保真度的原始信號的一表示。
一視訊編碼層(VCL)及網路抽象層(NAL)的概念是從先進視訊編碼(AVC)繼承而來。該VCL包括編碼解碼器 的信號處理功能；如轉換、量化、運動補償預測、回路濾波器、層間預測的機制。一基本層或增強層的一已編碼圖像由一或多個片段組成。該NAL將由該VCL產生的每一片段封裝成一或多個NAL單元。一NAL單元包含一NAL單元標頭及一NAL單元酬載。該NAL單元標頭包括NAL單元類型，該NAL單元類型指示該NAL單元是否包含一已編碼片段、一已編碼片段的資料分區、一序列或圖像參數組等。一NAL單元流是多個NAL單元的一序連連接。根據H.264/AVC或其擴展(例如，SVC)的一已編碼的位元流是透過將一起始碼前置於一NAL單元流中的每一NAL單元而成的一NAL單元流或者一位元組流。
每一SVC層由NAL單元形成，表示該層已編碼的視訊位元。只傳送一層的一即時傳輸協定(RTP)流可能只傳送屬於該層的NAL單元。傳送一完整的可縮放視訊位元流的一RTP流可能傳送一基本層的以及一或多個增強層的NAL單元。SVC指定這些NAL單元的解碼順序。
在一些情況中，一增強層中的資料在某個位置之後或在任意位置上可被截斷，其中每一截斷位置可包括表示逐漸增強的視覺品質的額外資料。在該等截斷點密集的情況下，可縮放性據說是“細密的”，因此用語“細粒(粒狀)可縮放性”(FGS)。與FGS相反，由只可以在某些粗略位置上被截斷的那些增強層提供的可縮放性被稱為“粗粒(粒度)可縮放性”(CGS)。
根據H.264/AVC視訊編碼標準，一存取單元包含 一基本編碼圖像。在一些系統中，存取單元邊界的檢測藉由將一存取單元定界符NAL單元插入該位元流而可以被簡化。在SVC中，一存取單元可以包含多幅基本編碼圖像，但相依性_id(dependency_id)、時間_位準(temporal_level)及品質_等級(quality_level)的每一唯一組合最多有一幅圖像。
已編碼的視訊位元流可以包括額外的資訊以增加視訊的用途，從而實現各種目的。例如，如H.264/AVC中所定義的補充增強資訊(SEI)及視訊可用資訊(VUI)提供這樣一功能。該H.264/AVC標準及其擴展包括支援憑藉SEI訊息的SEI信號方式。SEI訊息不被解碼過程要求在輸出圖像中產生正確的取樣值。取而代之的是，它們有助於實現其他目的，例如，錯誤復原及顯示。H.264/AVC包括該等特定的SEI訊息的語法及語意，但沒有任何用以處理接收器中的該等訊息的過程被定義。因此，編碼器在產生SEI訊息時被要求遵守H.264/AVC標準，而遵守H.264/AVC標準的解碼器不被要求為了輸出順序一致而處理SEI訊息。在H.264/AVC中包括SEI訊息的語法及語意的原因之一是要允許系統規格(如3GPP多媒體規格及DVB規格)相同地解譯該補充資訊且因此互相操作。意圖是系統規格可以在編碼端及解碼端都需要使用特定的SEI訊息，且用以處理該接收器中的SEI訊息的過程可被指定用於一系統規格中的應用程式。
SVC使用與H.264/AVC中所使用的機制類似的一機制來提供階層式時間可縮放性。在SVC中，某一組參 考及非參考圖像可以從一已編碼的位元流中被丟棄而不影響該剩餘位元流的解碼。階層式時間可縮放性需要多幅參考圖像來進行運動補償，即有一參考圖像緩衝器，其包含多幅已解碼的圖像，一編碼器可以從中選擇一參考圖像進行交互預測(inter prediction)。在H.264/AVC中，被稱為子序列的一特徵致能階層式時間可縮放性，其中每一增強層都包括子序列且每一子序列都包括多幅參考及/或非參考圖像。該子序列也包含多幅相關圖像，該等相關圖像可被丟棄而不干擾任何較低子序列層中的任何其他子序列。該等子序列層根據對彼此的相依性被階層式排列。因此，當最高增強層中的一子序列被丟棄(dispose)時，該剩餘的位元流仍然有效。在H.264/AVC中，時間可縮放性資訊的信號方式透過使用子序列相關的補充增強資訊(SEI)訊息而被實行。在SVC中，該時間位準階層(temporal level hierarchy)在網路抽象層(NAL)單元的標頭中被指示。
此外，SVC使用一層間預測機制，藉此某些資訊可以從除了一目前重建的層或下一較低層以外的層中被預測。可被層間預測的資訊包括內部紋理(intra texture)、運動及殘餘資料。層間運動預測也包括區塊編碼模式、標頭資訊等的預測，其中來自一較低層的運動資訊可被用以預測一較高層。在SVC中使用內部編碼，即來自周圍巨集區塊或來自較低層的共置巨集區塊的一預測也是可能的。此類預測技術沒有使用運動資訊且因此被稱為內部預測技術。另外，來自較低層的殘餘資料也可以被用於預測目前層。
如上所述，SVC包括具有某種最小品質的一“基本層”的編碼，以及將該品質增加到一最大等級的增強資訊的編碼。SVC流的基本層一般順應先進視訊編碼(AVC)。換言之，AVC解碼器可以解碼一SVC流的基本層並忽略SVC特定的資料。此特徵已經藉由指定已編碼片段的NAL單元類型而被實現，該等已編碼片段的NAL單元類型對於SVC而言是特定的，其等曾被保留以備將來在AVC中使用且根據該AVC規格必須被略過。
H.264/AVC的一暫態解碼再新(IDR)圖像只包括內部編碼的片段以及使目前圖像以外的所有參考圖像都被標識為“不用作參考”。一已編碼的視訊序列被定義為是按照解碼順序從一IDR存取單元(包含)到下一IDR存取單元(除外)，或者到該位元流的末端(無論哪個較早出現)的連續存取單元的一序列。H.264/AVC中的一圖像組(GOP)指的是按照解碼順序連接、開始於一內部編碼的圖像、結束於下一GOP的或已編碼視訊序列的解碼順序中的第一圖像(除外)的多幅圖像。在輸出順序中接在內部圖像(intra picture)之後的GOP內的所有圖像都可被正確地解碼，不管任何之前的圖像是否被解碼。一開放式GOP是這樣一圖像組：在輸出順序中在初始內部圖像之前的圖像可能不可以被正確地解碼。一H.264/AVC解碼器自該H.264/AVC位元流中的恢復點SEI訊息可以辨識出開始一開放式GOP的一內部圖像。開始一開放式GOP的圖像在此被稱為一開放式解碼再新(ODR)圖像。一封閉式GOP是這樣一圖像組：所有的圖像 都可以被正確地解碼。在H.264/AVC中，一封閉式GOP開始於一IDR存取單元。
已編碼的圖像可以由一索引tl0_pic_dix表示。該索引tl0_pic_dix指示一SVC位元流中的NAL單元，它具有與一存取單元中的dependency_id及quality_level相同的值，其中temporal_level等於0。對於temporal_level等於o的一IDR圖像而言，tl0_pic_dix的值等於0或者0到N-1(包含)的範圍中的任何值，其中N是一個正整數。對於temporal_level等於0的任何其他圖像而言，tl0_pic_dix的值等於(tl0_pic_idx_0+1)%N，其中tl0_pic_idx_0是temporal_level等於0的一之前圖像的tl0_pic_dix的值，以及%表示一模數運算。在目前的SVC規格中，tl0_pic_dix作為一條件欄位被包括在該NAL單元標頭中。一接收器或一MANE可以檢查該等tl0_pic_dix的值以決定其是否已接收所有關鍵圖像(即temporal_level等於0的圖像)。如果一關鍵圖像丟失，則一回授可被發送以通知該編碼器，該編碼器接著可以採取一些補救動作，例如重新傳輸該丟失的關鍵圖像。
H.264/AVC的RTP酬載格式在意見請求文件(RFC)3984(在www.rfc-editor.org/rfc/rfc3984.txt中可得)中被指定，而SVC的RTP酬載格式草案在網際網路工程任務編組(IETF)的Internet-Draft：draft-ietf-avt-rtp-svc-00(在tools.ietf.org/id/draft-ietf-avt-rtp-svc-00.txt中可得)中被指定。
RFC 3984指定數種封裝模式，其中之一是交錯 模式。如果使用該交錯封裝模式，則來自一個以上的存取單元的NAL單元可被封裝到一RTP封包中。RFC 3984也指定解碼序號(DON)的概念，該DON指示在一RTP流中傳送的NAL單元的解碼順序。
在該SVC RTP酬載格式草案中，被稱為酬載內容可縮放性資訊(PACSI)NAL單元的一種新的NAL單元類型被指定。如果存在的話，該PACSI NAL單元是一聚合封包中的第一NAL單元，且它不存在於其他類型的封包中。該PACSI NAL單元指示該酬載中所有剩餘NAL單元所共有的可縮放性特性，因此使MANE較易於決定是否發送/處理/丟棄該聚合封包。發送器可以產生PACSI NAL單元而接收器可以忽略它們，或將它們用作隱示以致能有效的聚合封包處理。當一聚合封包的第一聚合單元包括一PACSI NAL單元時，在該相同的封包內至少存在一額外的聚合單元。該RTP標頭欄位根據該聚合封包中的剩餘NAL單元被設定。當一PACSI NAL單元被包括在一個多時聚合封包中時，該PACSI NAL單元的解碼序號被設定以指示該PACSI NAL單元在該聚合封包內的該等NAL單元之中是解碼順序中的第一NAL單元，或者該PACSI NAL單元具有與在該聚合封包內的剩餘NAL單元之中的解碼順序中的第一NAL單元相同的一解碼序號。PACSI NAL單元的結構與下述4-位元組的SVC NAL單元標頭(其中E等於0)相同。
本發明的各種實施例提供一種藉由在一SEI訊息 內傳送temporal-level-0圖片索引(如tl0_pic_idx)來取代可取捨地將它們包括在NAL單元標頭中而修改抗錯性特徵的方法。此外，一機制被提供用以致能即時傳輸協定(RTP)封包中的任何SEI訊息的重複。致能任何SEI訊息的此類重複有助於在任何已接收封包的基礎上檢測丟失的temporal-level-0圖片。
在SEI訊息中傳送該tl0_pic_idx會產生與該tl0_pic_idx在一NAL單元標頭中被傳送時一樣簡單可靠的丟失檢測。另外，該NAL單元標頭或片段標頭中不需要有任何變化，且tl0_pic_idx的語意也不需要改變。此外，實現如其中所描述的那些抗錯性特徵不影響H.264/AVC或其目前擴展的特定解碼過程。
各種實施例提供一種方法、電腦程式產品及裝置用以封裝表示一視訊序列的一已編碼的位元流，包含將該已編碼的視訊序列的至少一部分封裝到一第一封包中，其中該第一封包包括概括該已編碼的視訊序列的該至少一部分的內容的資訊，以及在該第一封包中提供與該已編碼的視訊序列的該至少一部分相關聯的補充增強資訊。實施例也提供一種方法、電腦程式產品及裝置用以解封裝已編碼的視訊，包含自一第一封包解封裝一已編碼的視訊序列的至少一部分，其中該第一封包包含概括該已編碼的視訊序列的該至少一部分的內容的資訊。此外，與該已編碼的視訊序列的該至少一部分相關聯的補充增強資訊自該第一封包被獲取。
各種實施例提供一種方法、電腦程式產品及裝置用以封裝表示一影像序列的一時間可縮放位元流，包含將該影像序列的至少一部分封裝到一第一封包中，其中該第一封包包含概括該已編碼的影像序列的該至少一部分的內容的第一資訊，以及在該第一封包中提供指示一時間層階層中的一最低時間層內的一影像的一解碼順序的第二資訊。另一些實施例提供一種方法、電腦程式產品及裝置用以解封裝已編碼的視訊，包含自一第一封包解封裝一已編碼的影像序列的至少一部分，其中該第一封包包含概括該已編碼的影像序列的該至少一部分的內容的第一資訊。此外，指示一時間層階層中的一最低時間層內的一影像的一解碼順序的第二資訊自該第一封包被獲取。
參見該等附圖，本發明的這些與其他優點和特徵，及其結構和操作方式，在下面的詳細說明中將容易明白，其中在下面所描述之該等附圖中，相同的元件具有相同的符號。
12‧‧‧行動裝置
30‧‧‧外殼
32‧‧‧顯示器
34‧‧‧鍵盤
36‧‧‧麥克風
38‧‧‧耳機
40‧‧‧電池
42‧‧‧紅外線埠
44‧‧‧天線
46‧‧‧智慧卡
48‧‧‧讀卡機
52‧‧‧無線電介面電路
54‧‧‧編碼解碼器電路
56‧‧‧控制器
58‧‧‧記憶體
100‧‧‧資料來源
110‧‧‧編碼器/內容編碼器
120‧‧‧儲存器
130‧‧‧發送器
140‧‧‧閘道器
150‧‧‧接收器
160‧‧‧解碼器
170‧‧‧顯現器
第1圖顯示與本發明一起使用的一個一般多媒體通訊系統；第2圖是可被用於本發明之實施的一行動電話的一透視圖；第3圖是第2圖的行動電話的電話電路的一概要表示；以及第4圖是一示範性時間可縮放位元流的一說明。
第1圖顯示與本發明一起使用的一個一般多媒體通訊系統。如第1圖所示，一資料來源100提供一類比格式、未壓縮的數位格式或已壓縮的數位格式，或者這些格式的任何組合中的一源信號。一編碼器110將該源信號編碼成一已編碼的媒體位元流。該編碼器110可能能夠編碼一種以上的媒體類型，如音訊及視訊，或者一個以上的編碼器110可能被需要用來編碼不同媒體類型的源信號。該編碼器110也可以獲取合成產生的輸入，如圖及文字，或者它可能能夠產生合成媒體的已編碼位元流。在下文中，只考慮一種媒體類型的一已編碼的媒體位元流的處理以簡化描述。然而，應該注意的是即時廣播服務一般包含數個串流(典型地，至少一音訊流、視訊流及正文字幕(sub-titling)流)。同樣應該注意的是該系統可包括許多編碼器，但在下文中只考慮一編碼器110以簡化該描述而又不失一般性。
應該注意的是儘管正文及其中所包括的範例可能特別描述了一編碼過程，但該領域中具有通常知識者會逐漸理解該等相同的概念及原理也適用於對應的解碼過程，反之亦然。
該已編碼的媒體位元流被傳送到一儲存器120。該儲存器120可以包含任何類型的大容量記憶體以儲存該已編碼的媒體位元流。該儲存器120中的已編碼的媒體位元流的格式可以是一基本自含位元流格式，或者一或多個已編碼的媒體位元流可被封裝在一容器檔案中。一些系統“即 時”操作，即省略儲存並將已編碼的媒體位元流自該編碼器110直接傳送至一發送器130。接著，該已編碼的媒體位元流按需要被傳送至該發送器130(也稱為伺服器)。該傳輸中所使用的格式可以是一基本自含位元流格式、一封包流格式，或者一或多個已編碼的媒體位元流可被封裝在一容器檔案中。該編碼器110、該儲存器120及該發送器130可以在相同的實體裝置中或者它們可被包括在分開的裝置中。該編碼器110及該發送器130可以即時操作即時內容，在此情況下，該已編碼的媒體位元流一般不會被永久儲存，而是在該內容編碼器110中及/或在該發送器130中被緩衝一小段時間以消除處理延遲、傳送延遲及已編碼的媒體位元率中的變化。
該發送器130利用一通訊協定堆疊來發送該已編碼的媒體位元流。該堆疊可以包括(但不局限於)RTP、用戶資料元協定(UDP)及網際網路協定(IP)。當該通訊協定堆疊是封包導向的時候，該發送器130將該已編碼的媒體位元流封裝在封包中。例如，當RTP被使用時，該發送器130根據一RTP酬載格式將該已編碼的媒體位元流封裝在RTP封包中。典型地，每一媒體類型具有一專用RTP酬載格式。應該再次注意的是一系統可以包括一個以上發送器130，但為了簡單明瞭，下列描述只考慮一發送器130。
該發送器130可以或可以不透過一通訊網路被連接到一閘道器140。該閘道器140可以執行不同類型的功能，如依據一通訊協定堆疊的一封包流到另一通訊協定堆 疊的轉換、資料流的合併與分叉，以及依據下行鏈路及/或接收器能力進行的資料流的調處，如依據占優的下行鏈路網路條件來控制所發送串流的位元率。閘道器140的範例包括多點會議控制單元(MCU)、電路交換視訊電話與封包交換視訊電話之間的閘道器、即按即說(PoC)伺服器、掌上型數位視訊廣播(DVB-H)系統中的IP封裝器，或將廣播傳輸局部發送至家庭無線網路的視訊盒。當RTP被使用時，該閘道器140被稱為一RTP混合器並充當一RTP連接的一端點。
該系統包括一或多個接收器150，該等接收器150一般能夠接收、解調及解封裝被傳送的信號到一已編碼的媒體位元流。該已編碼的媒體位元流一般被一解碼器160進一步處理，其輸出是一或多個未壓縮的媒體流。最後，一顯現器(renderer)170可以以，例如，一揚聲器或一顯示器來重現該等未壓縮的媒體流。該接收器150、該解碼器160及該顯現器170可以在相同的實體裝置中或者它們可以被包括在分開的裝置中。應該注意的是要被解碼的位元流可以自虛擬地位在任何類型的網路中的一遠端裝置被接收。此外，該位元流可以自本地硬體或軟體被接收。
有關位元率、解碼複雜度及圖像大小的可縮放性是不均勻且易出錯的環境所期望的一性質。此性質是所期望的，以便抵消限制，如對一接收裝置中的位元率、顯示解析度、網路通量及計算能力的限制。
本發明的通訊裝置可以利用以下各種傳輸技術進行通訊，包括(但不局限於)分碼多重存取(CDMA)、全球 行動通訊系統(GSM)、通用行動通訊系統(UMTS)、分時多重存取(TDMA)、分頻多重存取(FDMA)、傳輸控制/網際網路協定(TCP/IP)、短訊息服務(SMS)、多媒體訊息服務(MMS)、電子郵件、即時訊息服務(IMS)、藍芽、IEEE 802.11等等。一通訊裝置可以利用以下各種媒體進行通訊，包括(但不局限於)無線電、紅外線、雷射、電纜連接以及類似媒體。
第2圖及第3圖顯示可實現本發明的一代表性行動裝置12。儘管如此，應該理解的是本發明並未被打算限制在一特定類型的行動裝置12或其他電子裝置中。第2圖及第3圖中所描述的該等特徵中的一些或全部可被併入第1圖所表示的該等裝置中的任何一個或全部。
第2圖及第3圖中的該行動裝置12包括一外殼30、一液晶顯示器形式的顯示器32、一鍵盤34、一麥克風36、一耳機38、一電池40、一紅外線埠42、一天線44、根據本發明之一實施例的一UICC(通用積體電路卡)形式的智慧卡46、一讀卡機48、無線電介面電路52、編碼解碼器電路54、一控制器56及一記憶體58。個別的電路及元件都是一種在該領域中眾所周知的類型，例如Nokia系列的行動電話。
第4圖顯示每一圖像具有4層時間層以及其值為tl0_pic_idx的一示範位元流。等於0的一時間位準被稱為該等層級的階層中的最低時間層。根據tl0_pic_idx的語意，如果該圖像具有等於0的時間位準，則tl0_pic_idx是該圖像本 身的temporal-level-0索引。因此，圖像序列號(POC)等於0、8及16的圖像的tl0_pic_idx值分別等於0、1及2。如果該圖像具有大於0的時間位準，則tl0_pic_idx是時間位準等於0的解碼順序中的之前圖像的temporal-level-0索引。因此，POC等於1至7的圖像的tl0_pic_idx值都等於1，因為對於它們而言，時間位準等於0的解碼順序中的之前圖像是POC等於8的圖像，以及POC等於9至15的圖像的tl0_pic_idx值都等於2，因為對於它們而言，時間位準等於0的解碼順序中的之前圖像是POC等於16的圖像。
本發明的各種實施例提供一種藉由在一SEI訊息內傳送temporal-level-0圖片索引(如tl0_pic_idx)來取代可取捨地將它們包括在NAL單元標頭中而修改抗錯性特徵的方法。此外，一機制被提供用以致能即時傳輸協定(RTP)封包中的任何SEI訊息的重複。致能任何SEI訊息的此類重複有助於在任何已接收封包的基礎上檢測丟失的temporal-level-0圖片。
表示該tl0_pic_idx索引的一欄位可被包括在一新的SEI訊息中，其可以與temporal_level等於0或任何值的每一已編碼圖像相關聯。該新的SEI訊息可被稱為，例如，一tl0圖像索引SEI訊息，以及可以被指定如下：
在一新的SEI訊息中傳送tl0_pic_idx會產生與該 tl0_pic_idx在一NAL單元標頭中被傳送時一樣簡單可靠的temporal-level-0圖像丟失檢測。另外，該NAL單元標頭或片段標頭中不需要有任何變化，且tl0_pic_idx的語意也不需要改變。此外，實現如其中所描述的那些抗錯性特徵不影響H.264/AVC或其目前擴展的特定解碼過程。事實上，與高階語法結構，如該NAL單元標頭及片段標頭相比，類似於tl0_pic_idx的抗錯性特徵，如也包括一訊框計數器的子序列資訊SEI訊息，之前已被包括作為SEI訊息。因此，這樣一傳送temporal-level-0圖形索引的方法與H.264/AVC的其他習知的抗錯性特徵相稱。
另外，修改一酬載內容可縮放性資訊(PACSI)NAL單元以包括該新的SEI訊息是可能的。目前，該PACSI NAL單元如果存在的話，是一封包中的第一NAL單元，以及包括概括該封包之內容的一SVC NAL單元標頭。該PACSI NAL單元的NAL單元類型在未在該SVC規格及該H.264/AVC RTP酬載規格中被指定的那些值之中被選擇，產生被H.264/AVC或SVC解碼器以及H.264/AVC RTP接收器忽略的該PACSI NAL單元。
假定SEI NAL單元在該PACSI NAL單元酬載中被允許，則該PACSI NAL單元酬載中的任何SEI NAL單元可被用以重複接著(但不被套入)該PACSI NAL單元的第一NAL單元的存取單元的一SEI NAL單元。此外，該PACSI NAL單元可以包括參考圖像標示重複SEI訊息，以及可以出現在一存取單元中的第一VCL NAL單元之前的其他NAL單 元。這能夠檢測解碼順序中的先前temporal-level-0圖像的長期圖像索引分配。應該注意的是傳送該新的SEI訊息內的tl0_pic_idx索引所造成的任何額外的位元率間接費用是可忽略的。
當交錯封裝模式被使用時，該PACSI NAL單元只可以包括該RTP酬載的第一NAL單元的SEI訊息，如上所述。然而，根據本發明的另一實施例，除了解碼序號(DON)或DON差、任何其他圖像識別符，或該RTP酬載內的任何其他NAL單元識別符(如該酬載內的NAL單元序號)以外，該PACSI NAL單元還會封裝SEI NAL單元對，而不會封裝該等新的SEI訊息本身。
根據本發明的又一實施例，一種新的NAL單元類型可以在該RTP酬載規格中被指定，其可被稱為交錯PACSI(IPACSI)。此NAL單元可被插在該RTP酬載中的任何AVC/SVC NAL單元之前。此外，IPACSI的酬載可包括該AVC/SVC NAL單元所屬的存取單元的SEI NAL單元的一重複。
應該注意的是本發明的各種實施例沒有將dependency_id及/或quality_level與該tl0_pic_idx SEI訊息相聯結，因為當dependency_id>0或quality_level>0時，該tl0_pic_idx SEI訊息可被用於可縮放的巢套式SEI內。因此，該可縮放的巢套式SEI的一種以上用途是可能的，儘管一媒體感知網路元件(MANE)中的分析過程稍微變得較複雜。可選擇地，對於不同的dependency_id及quality_level 的值，一回路可在該tl0_pic_idx SEI訊息自身中被實現。
應該注意的是除了其中所呈現的以外，tl0_pic_idx索引還存在其他問題。例如，當一temporal-level-1圖像將一幅以上的temporal-level-0圖像用作一預測參考時，該tl0_pic_idx索引可能不可以可靠地指示該temporal-level-1圖像可被解碼。因此，可以採取其他解決與該tl0_pic_idx索引有關的問題的方法。例如，在隨之產生的temporal-level-0圖像中使用不同的長期索引使得被分配一特定長期索引的一圖像較不可能被錯誤地參考。此外，當參考圖像列表重新排序命令被使用時，實際使用的參考圖像，包括那些長期的，可以根據該片段標頭被推斷出。還可選擇地，子序列SEI訊息可被使用，其中子序列層編號與子序列識別符可被明智地用以推斷子序列層丟失已在哪裡發生。在一些預測結構中，短期參考圖像可被用以取代長期參考圖像。在又一替代例中，一“傳輸”層可以是解決該習知的tl0_pic_idx問題的基礎，例如，使用RTP視聽回授(AVPF)曲線的一般未確認(generic not acknowledged)(NACK)封包，其中每當一temporal-level-0圖像的一可能的丟失被檢測到時，該等NACK封包可以被發送。
本發明在方法步驟之該一般環境中被描述，其可藉由一程式產品在一實施例中被實現，該程式產品包括電腦可執行指令，諸如在一網路環境中由電腦執行的程式碼。一電腦可讀媒體可包括可移除及不可移除的儲存裝置，包括(但不局限於)唯讀記憶體(ROM)、隨機存取記憶體 (RAM)、光碟(CD)、多樣化數位光碟(DVD)等等。一般程式模組包括常式、程式、物件、元件、資料結構等等，其等執行特定的任務或實現特定的抽象資料類型。與資料結構相關聯的電腦可執行指令及程式模組表示用以執行在此被揭露的該等方法之步驟的程式碼的例子。這類可執行指令或相關聯的資料結構之特定順序表示用以實現在這類步驟中被描述的該等功能之對應的動作的例子。
本發明之軟體及網頁實施可由標準程式編制技術達成，該等標準程式編制技術具有基於規則的邏輯及其他邏輯，其實現該等各種資料庫搜尋步驟、相關步驟、比較步驟以及判定步驟。還應該注意的是在此及在該等申請專利範圍中被使用的該等片語“元件”及“模組”意指涵蓋利用一或多行軟體碼的實施、及/或硬體實施、及/或用以接收人工輸入的設備。
前文對本發明的實施例的描述被呈現以達到解釋及說明的目的。並不意指詳盡描述或將本發明限制在揭露的明確形式裏，依據上述教示之修改和變化是可能的，或可從本發明之實施中獲得。該等實施例的選取及描述是為瞭解釋本發明的原理及它的實際應用，使此領域中具有通常知識者能夠利用各種實施例及各種修改以適用於特定使用之考量。其中所描述的該等實施例的特徵可被組合在方法、裝置、電腦程式產品與系統的所有可能的組合中。

Claims (10)

  1. 一種用以將影像序列編碼成為時間層級階層之方法，該方法包含下列步驟：將一第一影像編碼在該時間層級階層中之最低時間層內；定義一第一識別符，其指示於該時間層級階層中之該最低時間層內之該第一影像之一解碼順序；於與該第一影像相關聯之一補充增強訊息中，提供指示該第一識別符之資訊；將一第二影像編碼在該時間層級階層中比最低層更高之一時間層內；定義一第二識別符，其隨該時間層級階層中之該最低時間層內具有比該第二影像更早的解碼順序之一圖像的一解碼順序而定。
  2. 如請求項1之方法，其中，若該第一影像表示一瞬時解碼再新圖像，該第一識別符之值係重設為零。
  3. 如請求項1之方法，其中，若該第一影像不表示一瞬時解碼再新圖像，該第一識別符之值係隨該時間層級階層中該最低時間層內的一先前圖像的一解碼順序而定。
  4. 一種體現於非暫時性電腦可讀媒體中之電腦程式產品，包含有組配來執行用以將一影像序列編碼成為一時間層級階層之方法的電腦程式碼，該方法包含：將一第一影像編碼在該時間層級階層中之最低時 間層內；定義一第一識別符，其指示於該時間層級階層中之該最低時間層內之該第一影像之一解碼順序；於與該第一影像相關聯之一補充增強訊息中，提供指示該第一識別符之資訊；將一第二影像編碼在該時間層級階層中比最低層更高之一時間層內；定義一第二識別符，其隨該時間層級階層中之該最低時間層內具有比該第二影像更早的解碼順序之一圖像的一解碼順序而定。
  5. 一種用以將影像序列編碼成為時間層級階層之裝置，其包含：一處理器；以及一記憶體單元，通訊式地連接至該處理器並包括：用以將一第一影像編碼在該時間層級階層中之最低時間層內的電腦程式碼；用以定義一第一識別符的電腦程式碼，該第一識別符指示於該時間層級階層中之該最低時間層內之該第一影像之一解碼順序；用以於與該第一影像相關聯之一補充增強訊息中提供指示該第一識別符之資訊的電腦程式碼；用以將一第二影像編碼在該時間層級階層中比最低層更高之一時間層內的電腦程式碼；用以定義一第二識別符隨該時間層級階層中之該 最低時間層內具有比該第二影像更早的解碼順序之一圖像的一解碼順序而定的電腦程式碼。
  6. 如請求項5之裝置，其中，若該第一影像表示一瞬時解碼再新圖像，該第一識別符之值係重設為零。
  7. 如請求項5之裝置，其中，若該第一影像不表示一瞬時解碼再新圖像，該第一識別符之值係隨該時間層級階層中該最低時間層內的一先前圖像的一解碼順序而定。
  8. 一種用以將影像序列編碼進時間層級階層之方法，該方法包含：將一第一影像編碼在該時間層級階層中之最低時間層內；定義一第一識別符，其指示於該時間層級階層中之該最低時間層內之該第一影像之一解碼順序；於與該第一影像相關聯之一補充增強訊息中，提供指示該第一識別符之資訊；將一第二影像編碼在該時間層級階層中比最低層更高之一時間層內；定義一第二識別符，其隨該時間層級階層中之該最低時間層內具有比該第二影像更早的解碼順序之一圖像的一解碼順序而定；其中，在該第一影像表示一瞬時解碼再新圖像時，該第一識別符之值係重設為零。
  9. 一種體現於非暫時性電腦可讀媒體中之電腦程式產品，包含有組配來執行用以將一影像序列編碼成為一時 間層級階層之一方法的電腦程式碼，該方法包含：將一第一影像編碼在該時間層級階層中之最低時間層內；定義一第一識別符，其指示於該時間層級階層中之該最低時間層內之該第一影像之一解碼順序；於與該第一影像相關聯之一補充增強訊息中，提供指示該第一識別符之資訊；將一第二影像編碼在該時間層級階層中比最低層更高之一時間層內；定義一第二識別符，其隨該時間層級階層中之該最低時間層內具有比該第二影像更早的解碼順序之一圖像的一解碼順序而定；若該第一影像表示一瞬時解碼再新圖像，重設該第一識別符之值為零。
  10. 一種用以將影像序列編碼進時間層級階層之裝置，其包含：一處理器；以及一記憶體單元，通訊式地連接至該處理器並包括：用以將一第一影像編碼在該時間層級階層中最低時間層內的電腦程式碼；用以定義一第一識別符之電腦程式碼，該第一識別符指示於該時間層級階層中之該最低時間層內之該第一影像的一解碼順序；用以於與該第一影像相關聯之一補充增強訊息中 提供指示該第一識別符的資訊之電腦程式碼；用以將一第二影像編碼在該時間層級階層中比最低層更高的一時間層內的電腦程式碼；用以定義一第二識別符隨該時間層級階層中之該最低時間層內具有比該第二影像更早的解碼順序之一圖像的一解碼順序而定之電腦程式碼；用以在該第一影像表示一瞬時解碼再新圖像時重設該第一識別符之值為零之電腦程式碼。
TW104144821A 2007-01-18 2008-01-18 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術 TWI595787B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US88560607P 2007-01-18 2007-01-18

Publications (2)

Publication Number Publication Date
TW201631958A TW201631958A (zh) 2016-09-01
TWI595787B true TWI595787B (zh) 2017-08-11

Family

ID=39635696

Family Applications (4)

Application Number Title Priority Date Filing Date
TW106119501A TWI658734B (zh) 2007-01-18 2008-01-18 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
TW097101994A TWI455591B (zh) 2007-01-18 2008-01-18 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
TW103125692A TWI526084B (zh) 2007-01-18 2008-01-18 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
TW104144821A TWI595787B (zh) 2007-01-18 2008-01-18 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術

Family Applications Before (3)

Application Number Title Priority Date Filing Date
TW106119501A TWI658734B (zh) 2007-01-18 2008-01-18 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
TW097101994A TWI455591B (zh) 2007-01-18 2008-01-18 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
TW103125692A TWI526084B (zh) 2007-01-18 2008-01-18 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術

Country Status (13)

Country Link
US (5) US8355448B2 (zh)
EP (2) EP3182709B1 (zh)
KR (1) KR101072341B1 (zh)
CN (1) CN101622879B (zh)
AR (1) AR064967A1 (zh)
AU (1) AU2008206744B2 (zh)
CA (1) CA2675955C (zh)
HK (1) HK1133760A1 (zh)
MX (1) MX2009007696A (zh)
PL (1) PL2123049T3 (zh)
RU (1) RU2430483C2 (zh)
TW (4) TWI658734B (zh)
WO (1) WO2008087602A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2005607B1 (en) * 2006-03-27 2016-09-07 Vidyo, Inc. System and method for management of scalability information in scalable video coding systems using control messages
JP4242398B2 (ja) * 2006-06-02 2009-03-25 フェリカネットワークス株式会社 データ通信システム、情報処理端末、ｉｃカード、読み書き装置、およびプログラム
RU2430483C2 (ru) * 2007-01-18 2011-09-27 Нокиа Корпорейшн Передача сообщений дополнительной расширенной информации в формате полезной нагрузки транспортного протокола реального времени
US9826243B2 (en) 2007-04-12 2017-11-21 Thomson Licensing Methods and apparatus for video usability information (VUI) for scalable video coding (SVC)
EP2319223A1 (en) * 2008-04-24 2011-05-11 SK Telecom Co., Ltd. Scalable video providing and reproducing system and methods thereof
WO2010087574A2 (en) 2009-01-28 2010-08-05 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
CA2758237C (en) * 2009-04-09 2017-08-15 Telefonaktiebolaget Lm Ericsson (Publ) Media container file management
JP4861456B2 (ja) * 2009-07-15 2012-01-25 富士通株式会社 データレート調整装置、データ配信システム、及びプログラム
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
WO2013109112A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
US9503753B2 (en) * 2012-09-24 2016-11-22 Qualcomm Incorporated Coded picture buffer arrival and nominal removal times in video coding
US9479782B2 (en) * 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
US9641834B2 (en) * 2013-03-29 2017-05-02 Qualcomm Incorporated RTP payload format designs
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
GB2519746B (en) * 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
US10306239B2 (en) * 2014-05-13 2019-05-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods, source device, target device and analyser for managing video coding
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US20160112707A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Policy-based image encoding
US11640504B2 (en) 2019-05-17 2023-05-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
JP7431331B2 (ja) 2019-12-26 2024-02-14 バイトダンス インコーポレイテッド コーディングビットストリームにおけるビデオレイヤのシグナリングに対する制約
WO2021134018A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Signaling of decoded picture buffer parameters in layered video
KR20220115959A (ko) 2019-12-27 2022-08-19 바이트댄스 아이엔씨 비디오 코딩에서의 서브픽처 시그널링
WO2021142364A1 (en) 2020-01-09 2021-07-15 Bytedance Inc. Signalling of high level syntax indication
KR20230074521A (ko) * 2020-09-25 2023-05-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브비트스트림 추출
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680976B1 (en) * 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
US6804345B1 (en) * 1997-09-18 2004-10-12 At&T Corp Virtual contact center with flexible staffing control
US6862278B1 (en) * 1998-06-18 2005-03-01 Microsoft Corporation System and method using a packetized encoded bitstream for parallel compression and decompression
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
GB2362531A (en) 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
MY135449A (en) 2003-02-18 2008-04-30 Nokia Corp Picture coding method
MXPA05008405A (es) * 2003-02-18 2005-10-05 Nokia Corp Metodo de descodificacion de imagen.
JP4723483B2 (ja) * 2003-04-10 2011-07-13 トムソン ライセンシング 符号化ビデオに於いてフィルム粒子をシミュレートする技術
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP4190428B2 (ja) 2004-01-14 2008-12-03 株式会社東芝 データ伝送方法およびデータ伝送機
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
EP1968063B1 (en) 2004-04-28 2010-06-16 Panasonic Corporation Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR100631743B1 (ko) * 2004-11-26 2006-10-11 삼성전자주식회사 스케일러블 비트스트림의 효율적 전송 방법 및 장치
WO2006080910A1 (en) 2005-01-24 2006-08-03 Thomson Licensing Video error detection technique using a crc parity code
KR100937530B1 (ko) * 2005-03-08 2010-01-20 콸콤 인코포레이티드 무선 통신 시스템에서 디지털 방송 시그널링을 효율적으로수행하기 위한 방법 및 장치
CA2604203A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
EP1773063A1 (en) 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
FR2889004B1 (fr) * 2005-07-22 2007-08-24 Canon Kk Procede et dispositif de traitement d'une sequence d'images numeriques a scalabilite spatiale ou en qualite
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
TWI341136B (en) * 2005-10-11 2011-04-21 Nokia Corp System and method for efficient scalable stream adaptation
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
CN102036071B (zh) * 2005-12-08 2014-04-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
AU2007204168B2 (en) * 2006-01-11 2011-02-24 Nokia Technologies Oy Backward-compatible aggregation of pictures in scalable video coding
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
RU2430483C2 (ru) * 2007-01-18 2011-09-27 Нокиа Корпорейшн Передача сообщений дополнительной расширенной информации в формате полезной нагрузки транспортного протокола реального времени
EP2119187B1 (en) * 2007-02-23 2017-07-19 Nokia Technologies Oy Backward-compatible characterization of aggregated media data units
EA201692565A1 (ru) * 2014-06-12 2017-05-31 Сесвандерхаве Н.В. Способ трансформации протопластов сахарной свеклы на платформе технологии talen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools

Also Published As

Publication number Publication date
US20130107954A1 (en) 2013-05-02
TWI455591B (zh) 2014-10-01
EP3182709B1 (en) 2021-05-12
AR064967A1 (es) 2009-05-06
EP2123049A4 (en) 2015-04-29
CN101622879B (zh) 2012-05-23
US20150055712A1 (en) 2015-02-26
US20170006311A1 (en) 2017-01-05
CN101622879A (zh) 2010-01-06
US9451289B2 (en) 2016-09-20
EP2123049A1 (en) 2009-11-25
US8355448B2 (en) 2013-01-15
KR20090111844A (ko) 2009-10-27
WO2008087602A1 (en) 2008-07-24
EP3182709A1 (en) 2017-06-21
US20080181228A1 (en) 2008-07-31
PL2123049T3 (pl) 2017-06-30
US20130121413A1 (en) 2013-05-16
TW201448606A (zh) 2014-12-16
HK1133760A1 (en) 2010-04-01
TWI526084B (zh) 2016-03-11
TW201631958A (zh) 2016-09-01
EP2123049B1 (en) 2016-12-28
US10110924B2 (en) 2018-10-23
MX2009007696A (es) 2009-09-04
AU2008206744A1 (en) 2008-07-24
CA2675955C (en) 2013-07-23
AU2008206744B2 (en) 2011-09-22
KR101072341B1 (ko) 2011-10-11
US8908770B2 (en) 2014-12-09
TWI658734B (zh) 2019-05-01
TW201742453A (zh) 2017-12-01
RU2009130914A (ru) 2011-02-27
RU2430483C2 (ru) 2011-09-27
CA2675955A1 (en) 2008-07-24
TW200841740A (en) 2008-10-16

Similar Documents

Publication Publication Date Title
TWI595787B (zh) 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
JP4903877B2 (ja) ビデオの符号化においてピクチャ出力インジケータを提供するためのシステムおよび方法
US8699583B2 (en) Scalable video coding and decoding
KR101091792B1 (ko) 피드백 기반 스케일러블 비디오 코딩
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
JP6417039B2 (ja) 画像シーケンスのコーディングおよびデコーディングのための装置、方法およびコンピュータ・プログラム
JP2018510595A (ja) 画像コーディング・デコーディングのための装置、方法およびコンピュータ・プログラム
TW200850011A (en) System and method for implementing fast tune-in with intra-coded redundant pictures
KR20090123908A (ko) 패킷화 방법 및 장치, 비트스트림 처리 방법 및 장치와 컴퓨터 판독 가능 매체
US20080253467A1 (en) System and method for using redundant pictures for inter-layer prediction in scalable video coding