TWI432035B - 可縮放視訊編碼之圖像反向相容聚合技術 - Google Patents

可縮放視訊編碼之圖像反向相容聚合技術 Download PDF

Info

Publication number
TWI432035B
TWI432035B TW096101060A TW96101060A TWI432035B TW I432035 B TWI432035 B TW I432035B TW 096101060 A TW096101060 A TW 096101060A TW 96101060 A TW96101060 A TW 96101060A TW I432035 B TWI432035 B TW I432035B
Authority
TW
Taiwan
Prior art keywords
abstraction layer
network abstraction
unit
layer unit
scalable
Prior art date
Application number
TW096101060A
Other languages
English (en)
Other versions
TW200742447A (en
Inventor
Miska Hannuksela
Ye-Kui Wang
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW200742447A publication Critical patent/TW200742447A/zh
Application granted granted Critical
Publication of TWI432035B publication Critical patent/TWI432035B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

可縮放視訊編碼之圖像反向相容聚合技術 發明領域
本發明通常有關視訊編碼，更特別是本發明有關可縮放視訊的編碼、儲存與傳輸。
 發明背景
此部分係想要提供對於在申請專利範圍中所列舉之本發明之背景或來龍去脈。於此之說明可能包含將被進行之觀念，但並非必定為之前已想出或進行的觀念。因此，除非本文中指出，否則此部分中所述對於說明書與此申請案中的申請專利範圍不為習知技藝且不因此段中內容而被公認為習知技藝。
可縮放視訊編碼(Scalable Video Coding；SVC)提供可縮放視訊位元串流，一可縮放視訊位元串流含有一非可縮放基礎層與一個或更多個增強層，一增強層可以增強時間解析度(即，訊框率)，空間解析度或由其下層或部分所表示的視訊內容品質。縮放層能被聚合至一單一的即時傳輸協定(RTP)串流或獨立傳輸。
一視訊編碼層(VCL)與網路抽象層的概念係源自於進階的視訊編碼(AVC)，VCL含有編解碼的信號處理功能；諸如轉換、量化、移動補償預測、迴路濾波器、內層預測之機構。一基礎或增強層的一編碼圖像由一個或多個片段組成，NAL將由VCL所產生的每一片段封裝成一個或多個 NAL單元。
每一SVC層係由NAL單元所形成，表示該層之編碼視訊位元。僅運載一層的一RTP串流將僅運載屬於該層的NAL單元，運載一完整可縮放視訊位元串流的一RTP串流將運載一基礎層與一個或多個增強層的NAL單元，SVC指定這些NAL單元的解碼順序。
縮放視覺內容品質之概念因省略整個增強層之傳輸與解碼而被指稱為粗顆粒縮放性(CGS)。
某些情況下，產生的一增強層之位元率係能藉由自各個NAL單元截短位元而降低。截短導致該再生的增強層之視訊品質的優雅降級，此概念係已知為細顆粒(粒度)縮放性(FGS)。
根據H.264/AVC視訊編碼標準，一存取單元包含一個主要編碼圖像。在某些系統中，存取單元邊界之偵測係能藉由將一存取單元定義符號NAL單元插入到位元串流來簡化。在SVC中，一存取單元可能包含複數個主要編碼圖像，而按照每一唯一組合的dependency_id、temporal_level、及quality_level至多一個圖像。
可縮放視訊編碼包含一“基礎層”具有某些最小品質之編碼，以及增加品質上至一最大位準之增強資訊的編碼。SVC系統的基礎層典型上為進階視訊編碼(AVC)-順從。換言之，AVC解碼器能解碼一SVC串流的基礎層並忽略SVC特定資料。此特徵係已藉由指定對於SVC為特定的編碼片段NAL單元類型來實現、係保留給AVC的未來使 用、且必須根據AVC規格跳過。
一SVC存取單元當中圖像及其縮放性特性的識別至少為了兩個目的是重要的。第一，此識別對於伺服器或閘道中壓縮域串流變細是重要的。由於要求處理大量資料，這些成分必須以希望的品質與複雜性來識別一串流的播放。接收器與播放器應能夠識別一可縮放串流中的那些圖像是它們不能或不願解碼。
媒體察覺閘道或RTP或混合器的一個功能(例如，其可能為多點對話控制單元、在電路切換與封包切換視訊電話之間的閘道、細胞的隨壓即說(PoC)伺服器、在手持式數位視訊廣播(DVB-H)系統的IP封裝器、或局部將廣播傳送遞送至家用無線網路的機頂盒)是根據主要下鏈網路條件來控制被遞送串流的位元率。希望的是，在不需大量處理進來之資料下控制該遞送資料率，例如，藉由僅丟下封包或封包的容易識別部分。對於成層的編碼，閘道應丟下整個圖像或圖像串其不影響遞送串流的解碼。H.264/AVC PRT載荷規格的插入封包化模式允許實際上將任何存取單元的任何NAL單元封包到同一RTP載荷(被參考為一聚合封包)。特別是，不需封裝一個RTP載荷中的整個編碼圖像，而是一編碼圖像的NAL單元能被劃分成複數個RTP封包。
當此封包聚合庫對於許多應用是可允許使用時，它產生了在一閘道操作的一些複雜。首先，所產生的一聚合封包，在解析該聚合封包中所包含的每一NAL單元之標頭之前，它所不知它的NAL單元屬於哪些圖像。因此，當插入 的封包化模式被應用於SVC時，在解析該胞中的每一NAL單元之標頭前，係不知所該等包含的NAL單元所屬之層。結果，一閘道必須在決定出是否遞送該封包的任何、所有或某些NAL單元之前解析每一NAL單元標頭。其次，對於某些NAL單元，諸如補充增強資訊(SEI)與參數組NAL單元，不可能識別出它們所屬的存取單元，在該同一存取單元的視訊編碼層(VCL)NAL單元被接收之前。因此，該閘道可能需要保持一緩衝器與某些狀態資訊以解決非VCL NAL單元至它們的關聯圖像之映對。
在傳統的視訊編碼標準中，一圖像標頭被用來分開編碼圖像。然而，在H.264/AVC標準與SVC中，沒有圖像標頭被包含在語法中。此外，雖然解析器可能有能力解析一串流中的每一NAL單元之縮放性資訊，可是這需要一位元較大量的處理權力，並且某些解析器可能不具此能力。
除了上述以外，一聚合器NAL單元先前已提出於SVC檔案格式辨識模型2(MPEG文件M7586)。此系統中，該聚合器NAL單元是一容器，其包含它的載荷中的該等關聯NAL單元。該聚合器NAL單元具有一未被指定於H.264/AVC與SVC規格的類型且在H.264/AVC與SVC解碼器中必須被忽略。然而，當根據H.264/AVC標準的一基礎層圖像被封入一聚合器NAL單元中時，它不再是以一H.264/AVC解碼器而可解碼的，亦不可以一H.264/AVC RTP解載荷器或AVC檔案格式解析器來解析。
 發明概要
本發明提供給一種用於SVC檔案格式與RTP載荷格式之間接聚合器NAL單元，本發明之間接聚合器NAL單元使能夠容易識別在位元串流當中縮放性相依，因此使能夠快速且有效的串流操控。此外，本發明之間接聚合器NAL單元確保串流的底層仍能以一H.264/AVC解碼器、AVC檔案格式解析器、及H.264/AVC RPT載荷解析器來處理。
本發明的這些與其它優點與特徵，連同其組織與操作方式，從以下採納與附圖結合下的詳細說明將變的顯而易見，其中於全文說明在下的好幾個圖式中相似元件具有相似的數字。
圖式簡單說明
第1圖是包含在一能夠充當一編碼器或解碼器之電子裝置中實施本發明之功能的的電路之概要表示；第2圖顯示與本發明使用的一般多媒體通訊系統；及第3圖顯示一種IP多重播送配置，其中每一路由器能根據其能力來拆解位元串流。
 較佳實施例之詳細說明
本發明提供一種間接聚合器NAL單元，更普通地一種縮放性資訊基本資料單元，用於可縮放視訊編碼。該間接聚合器NAL單元並不包含其它NAL單元，反而，本發明的間接聚合器NAL單元包含將它本身聯合對應它的其它NAL單元之機構。這些機構包含，但非限制，後繼位元組的數 量、後繼NAL單元的數量、及在較高位準結構中的保留NAL單元數量。例如，在較高位準結構中的保留NAL單元是在同一RTP載荷中，其中該間接聚合器NAL單元亦存在。
本發明該間接NAL單元之結構更包含常見於所有關聯NAL單元的性質與特性資訊，共同性質或特性資訊包含，但非限制，縮放性資訊與是否該等關聯NAL單元形成一可縮放層切換點，一不同的可縮放層在該可縮放層切換點能被切換至目前層。該縮放性資訊可包含至少SVC規格中所指定之“延伸的”NAL單元標頭，包含simple_priority_id、discardable_flag、dependency_id、temporal_level及quality_level語法成分。
本發明之間接聚合器NAL單元係選自如僅被H.264/AVC基礎層之處理單元忽略之類型而指定出的NAL單元類型。換言之，H.264/AVC解碼器、AVC檔案格式解析器及H.264/AVC RTP解載荷器應忽略本發明的間接聚合器NAL單元。此外，該間接聚合器NAL單元可被SVC解碼器所忽略，因為在解碼處理上它不產生任何規範影響。用於SVC檔案格式之間接聚合器NAL單元的一範例語法與語義、以及用於SVC RTP載荷格式的另一範例係提供在下。同樣應注意到，本發明並不限於這些特別的封包與編碼格式範例。
在SVC檔案格式方面，聚合器NAL單元被用來聚集屬於同一樣品且具有同一縮放性資訊之SVC NAL單元。聚合器NAL單元使用同一標頭作為可縮放延伸NAL單元(SVC NAL單元)但是一新NAL單元類型，一聚合器NAL單元可包含提取器NAL單元，一提取器NAL單元可參考聚合器NAL單元。
當掃描串流時，若該聚合器NALU不被需要(即，它屬於一不希望之層)，則它與它的內容品質容易被丟棄(利用它的長度範圍)。若該聚合器NALU被需要，則它的標頭容易被丟棄且它的內容被保留。
一聚合器NAL單元將兩個或更多個SVC NAL單元封裝到一新的NAL單元，該聚合器NAL單元使用一具有相同如SVC NAL單元(依照SVC規格所指定)之語法的NAL單元標頭，一聚合器NAL單元被儲存在一似任何其它NAL單元的樣品中。
所有NAL單元以解碼順序保留在一聚合器NAL單元中。若屬於同一quality_level的NAL單元被群聚合器NAL單元，於是具有quality_level>05 NAL單元的順序可能改變。該聚合器NAL單元的語法係如下。
對於一聚合器NAL單元之語義係如下。
NALUnitHeader：(8或16位元)依照SVC規格中所指定：NAL_unit_type被設定至該聚合器NAL單元(類型30)。
縮放性資訊(NAL_ref_idc，siple_dependency_ID，discardable_flag，延伸的縮放性資訊)將具有如在每一聚合的NAL單元之標頭中之值。
NALUnitLength：指定下面的NAL單元之大小，此範圍的大小係隨著該lengthSizeMinusOne登錄而指定。
SVCNALUnit：依照SVC規格所指定的SVC NAL單元，包含SVC NAL單元標頭，SVC NAL單元的大小係依照NALUnitLength所指定。
假設一聚合器NAL單元收集同一縮放性層的SVC NAL單元，它同樣可能群聚不同層的SVC NAL單元(例如，所有品質位準的群聚(GFS片段)，具有同一dependency_ID的所有NAL單元之群聚)。既然如此，該聚合器NAL單元標頭將以信號表示具有最低dependency_ID及/或temporal_level，quality_level的SVC NAL單元的縮放性資訊。
聚合器NAL單元能被用來將屬於可不以NAL單元標頭信號表示之縮放性位準的SVC單元(例如，屬於一關注區的SVC NAL單元)群聚。此聚合器NAL單元之說明可能隨著該層說明與該NAL單元映對群組而達成。既然如此，超過一個具有同一縮放性資訊的聚合器NAL單元可能出現在一個樣品中。
聚合器NAL單元能導致每一AU中每層的一固定數量的NAL單元。為確保一固定型式，以下可能發生。AVC基礎層NALU能被群聚於一聚合器NAL單元中(若用於一SVC串流)。既然如此，temporal_level，dependency_ID及quality_ID全被設為0。該等AVC基礎層NALU能被一提取器NAL所參考。由於某些原因，若無一特別層的NALU存在於此AU中，於是一空聚合器NAL單元可能存在此位置。
在SVC視訊的一RTP載荷方面，一載荷內容縮放性資訊NAL單元係通常如下。一SVC NAL單元包含1個，2個或3個位元組的一標頭以及載荷位元組串。該標頭指示該NAL單元的類型、位元錯誤的(可能性)存在或該NAL單元載荷中的語法違反、有關該NAL單元用於解碼處理之相關重要性的資訊、及(選擇上當該標頭為3個位元組時)可縮放層解碼相依資訊。
該NAL單元標頭共同充當此RTP載荷格式的載荷標頭，一NAL單元的載荷立即跟隨，該NAL單元標頭的語法與語義係指定於[SVC]，而該NAL單元標頭的必要性質係總括在下。
該NAL單元標頭的第一位元組具有以下格式：
forbidden_zero_bit(F)：1位元。H.264規格宣告1之值為一語法違反。
nal_ref_idc(NRI)：2個位元。00的值指出該NAL單元之內容不被用來重建參考圖像給中間圖像預測。此等NAL單元能被丟棄而不會冒同一層中參考圖像完整的險，大於00之值指出該NAL單元的解碼係要求維持參考圖像的完整。對於劃分NAL單元的一片段或片段資料，一11之NRI 值指出該NAL單元含有一關鍵圖像，依照[SVC]中所指定。
Informative Note：一關鍵圖像的概念已在SVC中介紹，且不應作出任何假設，順從H.264的2003至2005版的位元串流中的任何圖像採用此規則。
nal_unit_type(Type)：5個位元。此成分指定該NAL單元載荷類型。以前，(其它者中)NAL單元類型20與21係以預留給將來的延伸。SVC正使用這兩個NAL單元類型。它們指示多一個位元組的存在從一傳輸的觀點來看是幫助的。
simple_priority_id(PRID)：6個位元。此成分指定一優先權識別符給該NAL單元。當extension_flag是等於0時，simple_priority_id係用於推斷dependency_id、temporal_level及quality_level之值。當simple_priority_id不存在時，它被推斷為等於0。
discardable_flag(D)：1個位元。1之值指出該NAL單元之內容(dependency_id=currDependencyID)不被用於具有dependency_id>currDependencyID之NAL單元的解碼處理。此等NAL單元能被丟棄而不會冒具有較大dependency_id值之較高可縮放層完整的險。等於0的discardable_flag指出該NAL單元的解碼被要求維持具有較 大dependency_id值之較高可縮放層的完整。
extension_flag(E)：1個位元。1之值指出該NAL單元標頭的第三位元組存在。當該第二位元組的E位元為1時，於是該NAL單元標頭延伸至一第三位元組：
temporal_level(TL)：3個位元。此成分係用來指示時間縮放性或訊框率，由一較小temporal_level值的圖像組成的一層具有較小的訊框率。
dependency_id(DID)：3個位元。此成分係用來指示層間編碼相依階層，再任何的時間位置，一較小dependency_id值的圖像可被用於一具有較大dependency_id值的圖像之間層預測。
Quality_level(QL)：2個位元。此成分係用來指市FGC層階層，在任何時間位置並具有同一的dependency_id值，一具有quality_level值等於QL的FGS圖像使用具有quality_level值等於QL-1之FGS圖像或基礎品質圖像(當QL-1=0時的非FGS圖像)給間層預測。當QL大於0時，該NAL單元含有一FGS片段或其部分。
此實施例中，一新NAL單元類型，參考為載荷容縮放性資訊(PACSI)NAL單元，被指定。該PACSI NAL單元，若 存在，必須是聚合封包中的第一NAL單元，並且它不能以其它封包類型存在。該PACSI NAL單元指示出對於該載荷中的所有剩下的NAL單元是共同的縮放性特性，於是對於MANE使得更容易來決定是否遞送或丟棄該封包。傳送者可能產生PACSI NAL單元並且接收者能忽略它們。
該PACSI NAL單元之NAL單元類型係在那些非指定於H.264/AVC規格與RFC 3984的值中選擇。於是，具有H.264/AVC基礎層且包含PACSI NAL單元的SVC串流係能以RFC 3984接收器與H.264/AVC解碼器來處理。
當一聚合封包的第一聚合單元含有一PASCI NAL單元時，必須有一個額外的聚合單元出現在同一封包中。該等RTP標頭範圍係根據該聚合封包中的剩下的NAL單元來設定。
當一PASCI NAL單元被包含在一多時聚合封包中時，該PASCI NAL單元的解碼順序數必須設定來指出該PASCI NAL單元是在該聚合封包中的該等NAL單元之中在解碼順序下的第一NAL單元或是該PACSI NAL單元使一同一解碼順序數給該聚合封包中該等剩下的NAL單元之中在解碼順序下的第一NAL單元。
PACSI NAL單元的結構被指定如下。
PACSI NAL單元中該等範圍之值必須被設定如下。
- 若該載荷中任何剩下的NAL單元中的F位元等於1，則F位元必須被設定到1，否則F位元必須被設定到0。
- NRI範圍必須被設定到在該載荷中的該等剩下NAL單元之中NRI範圍的最高值。
- Type範圍必須被設定到30。
- PRID範圍必須被設定到該載荷中該等剩下NAL單元之中PRID範圍的最低值。若PRID範圍未出現在該載荷中該等剩下NAL單元中的一個中，則該PACSI NAL單元中的PRID範圍必須被設定到0。
- 若該載荷中任何剩下NAL單元中的D位元等於0，則D位元必須被設定到0，否則D位元必須被設定到1。
- E位元必須被設定到1。
- TL範圍必須被設定到該載荷中該等剩下NAL單元之中TL範圍的最低值。
- DID範圍必須被設定到該載荷中該等剩下NAL單元之中DID範圍的最低值。
- QL範圍必須被設定到該載荷中該等剩下NAL單元之中QL範圍的最低值。
本發明的間接聚合器NAL單元使能夠容易識別在位元串流中的縮放性相依，於是使能夠快速且有效的串流操控。該間接聚合器NAL單元確保該等串流的基礎層仍能以一H.264/AVC解碼器、AVC檔案格式解析器、及H.264/AVC RTP載荷解析器來處理。
在解碼的情況下，將注意的是，要被解碼的位元串流係能接收自一虛擬設置在任何類型網路中的遙遠裝置。此外，該位元串流係能接收自局部硬體或軟體。同樣將理解的是，雖然包含於此的本文與範例可能明確地說明一編碼處理，嫻熟此技藝者將立即理解到相同概念與原則同樣地應用至對應的解碼處理，並且反之亦然。
第1圖顯示本發明在編碼方面與解碼方面可被實施在其中的一個代表性電子裝置12。然而，應被解理的是，本發明並不想被限制到一個特別類型的電子裝置12。第1圖之電子裝置12包含一顯示器32、一鍵盤34、一麥克風36、一耳機38、一紅外線埠42、一天線44、一根據一個實施例以一UICC之形式的智慧卡46、一讀卡機48、無線電介面電路52、編解碼電路54、一控制器56及一記憶體58。個別的電路與元件全為此技藝，例如Nokia系列的行動電話，所熟之之類型。
第2圖顯示一般與本發明一起使用的多媒體通訊系統。一資料源100提供以一類比、未壓縮數位、或壓縮數位格式，或者這些格式的任何組合之來源信號。一編碼器110將該來源信號編碼成一編碼媒體位元串流，該編碼器可能能夠編碼超過一個媒體類型，諸如音訊與視訊，或者一格編碼器110可能需要編碼不同媒體類型的來源信號，該編碼器110亦可能得到合成產生的輸入，諸如繪圖與文字，或者它可能能夠產生合成媒體的編碼位元串流。接著，僅一個 媒體類型的一個編碼媒體位元串流之處理被考慮來簡化說明。然而，應注意的是，典型即時廣播服務包含數個串流(典型上至少一個音訊、視訊及文字副標題串流)。同樣應注意的是，該系統可能包含許多編碼器，而在以下僅一個編碼器110被考慮來簡化該說明而不會缺乏普遍性。
該編碼的媒體位元串流被轉換至一儲存器120，該儲存器120可能包含任何類型的大量記憶體以儲存該編碼的媒體位元串流，該儲存器120中的編碼媒體位元串流之格式可以是一基本包含本身位元串流格式，或者一個或更多個編碼媒體位元串流可被封裝到一容器檔案。某些系統“現場”操作，即，省略了直接從該編碼器110至該發送器130的儲存與轉換編碼媒體串流，該編碼媒體位元串流然後被轉換到該發送器130，在需要的基礎上亦被參考為伺服器。用於傳送的格式可以是一基本包含本身的位元串流格式、一封包串流格式，或者一個或更多個編碼媒體位元串流可被封裝到一容器檔案。該編碼器110、該儲存器120與伺服器130可能屬於同一實體裝置或者它們可被包含在分開的裝置中，該編碼器110與伺服器130可根據現場即時內容來操作，其中的情況該編碼媒體位元串流典型上係不永久儲存，而是於小的時間期間被緩衝在該內容編碼器110及/或該伺服器130中來消除在處理延遲、轉換延遲及編碼媒體位元率的變化。
該伺服器130利用一通訊協定堆疊送出該編碼的媒體位元串流，該堆疊可包含但不被限制在即時傳輸協定 (RTP)、使用者資料報協定(UDP)、及網際網路協定(IP)。當該通訊協定堆疊被封包定向時，該伺服器130將該編碼媒體位元串流封裝到封包中。例如，當RTP被使用時，該伺服器130根據一RTP載荷格式將該編碼媒體位元串流封裝到RTP封包中。典型上，每一媒體類型具有一專用的RTP載合格式。再度應注意的是，一系統可能包含超過一個伺服器130，但為了簡化的緣故，以下說明僅考慮一個伺服器130。
該伺服器130可能或可能不經由一通訊網路而連接至一閘道140，該閘道140可能執行不同類型的功能，諸如根據一個通訊協定堆疊將一封包串流轉變到另一通訊堆疊、資料串流的合併與分叉、及根據下行線路及/或接收器能力之資料串流的操控，諸如根據主要下行網路條件來控制遞送串流的位元率。閘道140的範例包含多點會議控制單元(MCU)、在電路切換與封包切換視訊電話之間的閘道、在細胞(PoC)的隨壓即說伺服器、於數位視訊廣播處理(DVB-H)系統中的IP封裝器、或局部遞送廣播傳送至家用無線網路的機上盒。當RTP被使用時，該閘道140被稱作一RTP混合器且充當一RTP連接的一端點。
該系統包含一個或更多個接收器150，典型上能夠接收、解調變、及解封裝該傳送的信號成一編碼的媒體位元串流。該編碼媒體位元串流典型上進一步被一解碼器160處理，它的輸出是一個或更多個未壓縮的媒體串流。最後，一呈現器170可用例如一喇叭或一顯示器來再生該未壓縮的媒體串流。該接收器150、解碼器160與呈現器170可能屬 於同一實體裝置或者它們可能被包含在分開的裝置中。
在位元率、解碼複雜性及圖像大小方面的縮放性對於異種與誤差傾向環境是一希望的特性，為了抵抗諸如位元率的限制、顯示解析度、網路吞吐量、及一接收裝置中的計算力之限制，此特性是令人嚮往的。名稱“傳輸優先權化”有關不同的機構提供在傳輸上不同服務品質，包含不等的錯誤保護提供具有不同錯誤/損失率的不同通道。
依靠它們的本質，資料被不同地指派。例如，該基礎層可能經由一具有高度錯誤保護之通道來傳遞，並且該等增強層係可經由更多錯誤傾向的通道來傳輸。
在多點與廣播多媒體應用中，網路吞吐量的限制在編碼時可能不被預知。因此，一可縮放位元串流應被使用。第3圖顯示一IP群播配置其中每一路由器能根據它的能力來拆解位元串流。第3圖顯示一提供一位元串流給一些用戶C1-C3的伺服器S，該等位元串流係藉由路由器R1-R3按路線發送至用戶。此實施例中，該伺服器正提供一能被縮放到至少三個位元率，120kbit/s，60kbit/s及28kbit/s的夾。
若用戶與伺服器係經由一般單點廣播連接來連接，則該伺服器可嘗試根據暫時通道吞吐量來調整該傳輸的多媒體夾的位元率。一個解決方法是使用一成層的位元串流並適合藉由改變該傳送的增強層數量的帶寬變化。
本發明係以一般內容之方法步驟來說明，其係可藉由一包含由網路環境中之電腦來執行的電腦可執行指令，諸如程式碼，之程式產品實施在一個實施例中。通常，程式 模組包含例行程序、程式、物件、成分、資料結構等其執行特別的工作或實施特別的抽象資料型態。電腦可執行指令、相關資料結構、及程式模組表現出用於執行於此所揭露隻方法步驟的程式碼範例，如此可執行指令之特別序列或相關資料結構表現出用於實施此步驟中所說明的功能的對應行動之範例。
本發明的軟體與網絡履行可能係以具有規定基本邏輯與其它邏輯之標準程式化技術來完成以便完成不同的資料庫搜尋步驟、關聯步驟、比較步驟與決定步驟。同樣應注意的是，依照於此以及申請專利範圍中所用之詞“成分”與“模組”式打算包含使用一個或更多線的軟體碼之實行、及/或硬體實行、及/或接收人工輸入的設備。
上述本發明實施例之說明係已為了描述及說明之目的呈現，並非預期為詳盡的或將本發明限制到所揭露的精確形式，而且按照以上教示，修飾與變化是可能的或者可能從本發明的實現而得到。該等實施例係為了解釋本發明的原則與其實際應用而選擇與說明以便能使嫻熟此技藝者利用本發明在不同的實施例中且帶著適合於所預期之特別使用的不同修飾。
32‧‧‧顯示器
34‧‧‧鍵盤
36‧‧‧麥克風
38‧‧‧耳機
42‧‧‧紅外線埠
44‧‧‧天線
46‧‧‧智慧卡
48‧‧‧讀卡機
52‧‧‧無線電介面
54‧‧‧編解碼器
56‧‧‧控制器
58‧‧‧記憶體
100‧‧‧資料源
110‧‧‧編碼器
120‧‧‧儲存器
130‧‧‧伺服器
140‧‧‧閘道
150‧‧‧接收器
160‧‧‧解碼器
170‧‧‧呈現器
S‧‧‧伺服器
C1-C3‧‧‧用戶
R1-R3‧‧‧路由器
第1圖是包含在一能夠充當一編碼器或解碼器之電子裝置中實施本發明之功能的的電路之概要表示；第2圖顯示與本發明使用的一般多媒體通訊系統；及第3圖顯示一種IP多重播送配置，其中每一路由器能根 據其能力來拆解位元串流。
32‧‧‧顯示器
34‧‧‧鍵盤
36‧‧‧麥克風
38‧‧‧耳機
42‧‧‧紅外線埠
44‧‧‧天線
46‧‧‧智慧卡
48‧‧‧讀卡機
52‧‧‧無線電介面
54‧‧‧編解碼器
56‧‧‧控制器
58‧‧‧記憶體

Claims (16)

  1. 一種用於將包括一經編碼圖像之一基礎層及該經編碼圖像之至少一增強層的一可縮放經編碼視訊信號封裝之方法，該方法包含下列步驟：收集要被封裝至一第一聚合資料單元內的該經編碼圖像之至少一網路抽象層單元；將一縮放性資訊網路抽象層單元及該至少一網路抽象層單元封裝入該聚合資料單元，其中該縮放性資訊網路抽象層單元與以下之一者相關聯：該至少一網路抽象層單元，或接續該縮放性資訊網路抽象層單元之一些網路抽象層單元，及該縮放性資訊網路抽象層單元包含所有相關之該等網路抽象層單元所共同之性質或特性資訊。
  2. 如申請專利範圍第1項之方法，其中響應於該縮放性資訊網路抽象層單元係與接續該縮放性資訊網路抽象層單元之一些網路抽象層單元相關聯，該方法進一步包含產生一指示，其中該指示為下列其中一者：接續該縮放性資訊網路抽象層單元之一些位元組，其中該些位元組包封該些網路抽象層單元；或者接續該縮放性資訊網路抽象層單元之該些網路抽象層單元。
  3. 如申請專利範圍第2項之方法，其中該縮放性資訊網 路抽象層單元被組配來在解封裝期間被忽略。
  4. 如申請專利範圍第2項之方法，其中該縮放性資訊係選自於由下列所組成之群組中：用於一網路抽象層單元之一優先性識別符、時間位準、依附等級指示符、品質位準、指示與一較高依附等級指示符相關聯的網路抽象層單元是否需要該等相關聯的網路抽象層單元之至少一部分供用來解碼的指示符、指示該相關聯的網路抽象層單元是否屬於不同層可切換到目前層之一層切換點的指示符、以及其等之組合者。
  5. 如申請專利範圍第1項之方法，其中該可縮放經編碼視訊信號被封裝至一封包序列內以及該第一聚合資料單元為一封包酬載。
  6. 如申請專利範圍第5項之方法，該方法進一步包含下列步驟：產生且封裝一指示出超過一網路抽象層單元出現在該第一聚合資料單元中之指示；以及排序該縮放性資訊網路抽象層單元跟隨在該第一聚合資料單元中之該指示之後，及該至少一網路抽象層單元跟隨在該第一聚合資料單元中之該縮放性資訊網路抽象層單元之後。
  7. 如申請專利範圍第5項之方法，其中該封包序列包含一RTP串流。
  8. 如申請專利範圍第1或2項之方法，其中該可縮放經編碼視訊信號係封裝至符合至少一檔案格式之至少一 檔案內，且該第一聚合資料單元為一符合該至少一檔案格式之樣品。
  9. 一種電腦可讀媒體，其包含一用於將包括一經編碼圖像之一基礎層及該經編碼圖像之至少一增強層的一可縮放經編碼視訊信號封裝之電腦程式，該電腦程式包含用於執行下列動作之電腦碼：收集要被封裝至一第一聚合資料單元內的該經編碼圖像之至少一網路抽象層單元；將一縮放性資訊網路抽象層單元及該至少一網路抽象層單元封裝入該聚合資料單元，將該縮放性資訊網路抽象層單元與以下之一者相關聯：該至少一網路抽象層單元，或接續該縮放性資訊網路抽象層單元之一些網路抽象層單元，該縮放性資訊網路抽象層單元包含對所有相關之該等網路抽象層單元所共同之性質或特性資訊。
  10. 如申請專利範圍第9項之電腦可讀媒體，其中該電腦程式包含電腦碼，用以響應於該縮放性資訊網路抽象層單元係與接續該縮放性資訊網路抽象層單元之一些網路抽象層單元相關聯而產生一指示，其中該指示為下列其中一者：接續該縮放性資訊網路抽象層單元之一些位元組，其中該些位元組包封該些網路抽象層單元；或者 接續該縮放性資訊網路抽象層單元之該些網路抽象層單元。
  11. 如申請專利範圍第9項之電腦可讀媒體，其中該電腦程式包含用於在解封裝期間忽略該縮放性資訊網路抽象層單元之電腦碼。
  12. 如申請專利範圍第9項之電腦可讀媒體，其中該縮放性資訊係選自於由下列所組成之群組中：一網路抽象層單元之一優先性識別符、時間位準、依附等級指示符、品質位準、指示與一較高依附等級指示符相關聯的網路抽象層單元是否需要該等相關聯的網路抽象層單元之至少一部分供用來解碼的指示符、指示該相關聯的網路抽象層單元是否屬於不同層可切換到目前層之一層切換點的指示符、以及其等之組合者。
  13. 如申請專利範圍第9項之電腦可讀媒體，其中該可縮放經編碼視訊信號被封裝至一封包序列內以及該第一聚合資料單元為一封包酬載。
  14. 如申請專利範圍第13項之電腦可讀媒體，其中該電腦程式包含用於執行下列動作之電腦碼：產生且封裝一指示出超過一網路抽象層單元出現在該第一聚合資料單元中之指示；以及排序該縮放性資訊網路抽象層單元跟隨在該第一聚合資料單元中之該指示之後，及該至少一網路抽象層單元跟隨在該第一聚合資料單元中之該縮放性資訊網路抽象層單元之後。
  15. 如申請專利範圍第9項之電腦可讀媒體，其中該可縮放經編碼視訊信號係封裝至符合至少一檔案格式之至少一檔案內，且一聚合資料單元為一符合該至少一檔案格式之樣品。
  16. 一種用於封裝一可縮放經編碼視訊信號之電子裝置，其包含：一處理器；以及一記憶體單元，該記憶體單元通訊性地連接至該處理器，且包括一電腦程式產品，該電腦程式產品用於將一包括一經編碼圖像之一基礎層及該經編碼圖像之至少一增強層的可縮放經編碼視訊信號封裝，其包含：用以收集要被封裝至該第一聚合資料單元內的該經編碼圖像之至少一網路抽象層單元之電腦碼；用以將一縮放性資訊網路抽象層單元及該至少一網路抽象層單元封裝入該聚合資料單元之電腦碼，用以將該縮放性資訊網路抽象層單元與以下之一者相關聯之電腦碼：該至少一網路抽象層單元，或接續該縮放性資訊網路抽象層單元之一些網路抽象層單元，該縮放性資訊網路抽象層單元包含對所有相關之該等網路抽象層單元所共同之性質或特性資 訊。
TW096101060A 2006-01-11 2007-01-11 可縮放視訊編碼之圖像反向相容聚合技術 TWI432035B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US75825406P 2006-01-11 2006-01-11

Publications (2)

Publication Number Publication Date
TW200742447A TW200742447A (en) 2007-11-01
TWI432035B true TWI432035B (zh) 2014-03-21

Family

ID=38256684

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096101060A TWI432035B (zh) 2006-01-11 2007-01-11 可縮放視訊編碼之圖像反向相容聚合技術

Country Status (13)

Country Link
US (1) US8767818B2 (zh)
EP (1) EP1977604B1 (zh)
JP (1) JP4874343B2 (zh)
KR (1) KR101029854B1 (zh)
CN (1) CN101390399B (zh)
AU (1) AU2007204168B2 (zh)
BR (1) BRPI0707457A2 (zh)
HK (1) HK1127205A1 (zh)
MY (1) MY148628A (zh)
RU (1) RU2409910C2 (zh)
TW (1) TWI432035B (zh)
WO (1) WO2007080502A2 (zh)
ZA (1) ZA200806042B (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
WO2004034589A2 (en) 2002-10-05 2004-04-22 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
CN101834610B (zh) 2003-10-06 2013-01-30 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法和装置
KR101161193B1 (ko) 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
JP5550834B2 (ja) 2006-02-13 2014-07-16 デジタル ファウンテン， インコーポレイテッド 可変ｆｅｃオーバヘッド及び保護期間を利用したストリーミング及びバッファリング
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US8937997B2 (en) 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8767836B2 (en) 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
CN101543018B (zh) 2007-01-12 2012-12-26 庆熙大学校产学协力团 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置
WO2008087602A1 (en) 2007-01-18 2008-07-24 Nokia Corporation Carriage of sei messages in rtp payload format
EP2119187B1 (en) * 2007-02-23 2017-07-19 Nokia Technologies Oy Backward-compatible characterization of aggregated media data units
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
EP2186338A1 (en) * 2007-08-28 2010-05-19 Thomson Licensing Staggercasting with no channel change delay
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR101001024B1 (ko) * 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
EP2281395A2 (fr) * 2008-04-29 2011-02-09 France Telecom Transmission d'un flux video code par codage hierarchique
JP5155449B2 (ja) * 2008-07-26 2013-03-06 トムソン ライセンシング スケーラブルビデオコーディング（ｓｖｃ）を使用する高速チャネル変更アプリケーションのためのリアルタイムトランスポートプロトコル（ｒｔｐ）パケット化方法
EP2150060A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method and arrangement for video encoding
FR2939593B1 (fr) * 2008-12-09 2010-12-31 Canon Kk Procede et dispositif de codage video
KR20100071688A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 스케일러블 비디오 코딩 기반의 포괄적 비디오 접근을 위한스트리밍 서비스 장치 및 방법
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods
IT1398195B1 (it) * 2009-06-25 2013-02-14 St Microelectronics Srl "procedimento e sistema per la distribuzione di contenuti informativi, relativo prodotto informatico"
CN102165776B (zh) * 2009-07-06 2012-11-21 华为技术有限公司 一种可伸缩视频编码文件的传输方法、接收方法及装置
US8566393B2 (en) * 2009-08-10 2013-10-22 Seawell Networks Inc. Methods and systems for scalable video chunking
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US8386266B2 (en) 2010-07-01 2013-02-26 Polycom, Inc. Full-band scalable audio codec
EP2509359A4 (en) * 2009-12-01 2014-03-05 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR TRANSMITTING A MULTIMEDIA DATA PACKET USING LAYER OPTIMIZATION
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8190677B2 (en) 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
KR20120011774A (ko) * 2010-07-29 2012-02-08 한국전자통신연구원 전송 스케쥴링 방법
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
JP5640574B2 (ja) * 2010-09-01 2014-12-17 ヤマハ株式会社 端末装置
CN102404560B (zh) * 2010-09-17 2013-12-18 中兴通讯股份有限公司南京分公司 实现可伸缩视频编码业务协同传输的方法及系统
WO2012065081A1 (en) * 2010-11-12 2012-05-18 Polycom, Inc. Scalable audio in a multi-point environment
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
CN103313026B (zh) * 2012-02-10 2017-03-01 宝利通公司 处理多跳rtp流中的关键分组丢失的系统和方法
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9712887B2 (en) 2012-04-12 2017-07-18 Arris Canada, Inc. Methods and systems for real-time transmuxing of streaming media content
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
KR102045073B1 (ko) 2013-01-24 2019-11-14 한국전자통신연구원 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치
US9667959B2 (en) * 2013-03-29 2017-05-30 Qualcomm Incorporated RTP payload format designs
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
US9350781B2 (en) * 2013-05-31 2016-05-24 Qualcomm Incorporated Single network abstraction layer unit packets with decoding order number for video coding
CN105284114A (zh) * 2013-07-07 2016-01-27 韦勒斯标准与技术协会公司 视频信号处理方法及装置
WO2015047162A1 (en) * 2013-09-26 2015-04-02 Telefonaktiebolaget L M Ericsson (Publ) Hybrid codec scalable video
JP5836424B2 (ja) * 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9516147B2 (en) 2014-10-30 2016-12-06 Microsoft Technology Licensing, Llc Single pass/single copy network abstraction layer unit parser
GB2533775B (en) 2014-12-23 2019-01-16 Imagination Tech Ltd In-band quality data
US20160192018A1 (en) * 2014-12-29 2016-06-30 Microsoft Technology Licensing, Llc Previewing content available at local media sources
WO2020064733A1 (en) * 2018-09-25 2020-04-02 Telefonaktiebolaget Lm Ericsson (Publ) Media bistream having backwards compatibility
CN110445582B (zh) * 2019-08-12 2020-10-23 广东工业大学 一种编码交织方法、系统、装置及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
WO2002032147A1 (en) * 2000-10-11 2002-04-18 Koninklijke Philips Electronics N.V. Scalable coding of multi-media objects
US7386049B2 (en) * 2002-05-29 2008-06-10 Innovation Management Sciences, Llc Predictive interpolation of a video signal
US7010037B2 (en) * 2002-08-06 2006-03-07 Koninklijke Philips Electronics N.V. System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
WO2004036916A1 (en) 2002-10-15 2004-04-29 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
US7912125B2 (en) * 2002-12-03 2011-03-22 Thomson Licensing Hybrid scalable encoder, method and media for standard definition and high-definition video formats on a single-disc
US8437347B2 (en) * 2003-10-14 2013-05-07 Qualcomm Incorporated Scalable encoding for multicast broadcast multimedia service
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
DE102005001287A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
CN101223723A (zh) 2005-05-19 2008-07-16 诺基亚公司 用于在dvb-h传输系统中为标记有优先级的数据报提供非均衡差错保护的系统和方法
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
DE102005033981A1 (de) * 2005-07-20 2007-02-01 Siemens Ag Verfahren zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in eine Datei sowie zugehörige Vorrichtung

Also Published As

Publication number Publication date
JP4874343B2 (ja) 2012-02-15
KR101029854B1 (ko) 2011-04-15
US8767818B2 (en) 2014-07-01
AU2007204168A1 (en) 2007-07-19
US20070201549A1 (en) 2007-08-30
MY148628A (en) 2013-05-15
EP1977604A4 (en) 2010-11-17
BRPI0707457A2 (pt) 2011-05-03
WO2007080502A3 (en) 2007-10-25
CN101390399A (zh) 2009-03-18
WO2007080502A2 (en) 2007-07-19
AU2007204168B2 (en) 2011-02-24
RU2008128293A (ru) 2010-02-20
HK1127205A1 (en) 2009-09-18
RU2409910C2 (ru) 2011-01-20
ZA200806042B (en) 2009-04-29
CN101390399B (zh) 2010-12-01
KR20080092420A (ko) 2008-10-15
JP2009537078A (ja) 2009-10-22
TW200742447A (en) 2007-11-01
EP1977604A2 (en) 2008-10-08
EP1977604B1 (en) 2014-03-19

Similar Documents

Publication Publication Date Title
TWI432035B (zh) 可縮放視訊編碼之圖像反向相容聚合技術
KR102127702B1 (ko) 미디어 데이터를 송수신하기 위한 인터페이스 장치 및 방법
US8699583B2 (en) Scalable video coding and decoding
US20070183494A1 (en) Buffering of decoded reference pictures
US9043849B2 (en) Method for linking MMT media and DASH media
CN101601305B (zh) 用于可伸缩多媒体的自适应路径的通用指示
KR101021831B1 (ko) 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
RU2510908C2 (ru) Описание характеристик агрегированных блоков медиаданных с обратной совместимостью
US20050275752A1 (en) System and method for transmitting scalable coded video over an ip network
US20100183033A1 (en) Method and apparatus for encapsulation of scalable media
US20200021867A1 (en) Broadcast signal transmitting and receiving method and device
WO2007035151A1 (en) Media stream scaling
MX2008009353A (en) Backward-compatible aggregation of pictures in scalable video coding
Sun et al. MPEG-4/XML FGS approach to multicast video synchronization
IT et al. SUIT Doc Number SUIT_517 Project Number IST-4-028042