TWI497982B - 包括ｒｔｐ封包之資料連流，多層應用資料使用ｒｔｐ封包之編碼方法和裝置，以及包括多層應用資料的ｒｔｐ封包解碼之準備方法和裝置 - Google Patents

包括ｒｔｐ封包之資料連流，多層應用資料使用ｒｔｐ封包之編碼方法和裝置，以及包括多層應用資料的ｒｔｐ封包解碼之準備方法和裝置 Download PDF

Info

Publication number
TWI497982B
TWI497982B TW098124172A TW98124172A TWI497982B TW I497982 B TWI497982 B TW I497982B TW 098124172 A TW098124172 A TW 098124172A TW 98124172 A TW98124172 A TW 98124172A TW I497982 B TWI497982 B TW I497982B
Authority
TW
Taiwan
Prior art keywords
rtp packet
packet
rtp
layer
data
Prior art date
Application number
TW098124172A
Other languages
English (en)
Other versions
TW201006255A (en
Inventor
Yu Wen Wu
Zhi Bo Chen
Zhi Jin Xia
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201006255A publication Critical patent/TW201006255A/zh
Application granted granted Critical
Publication of TWI497982B publication Critical patent/TWI497982B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

包括RTP封包之資料連流，多層應用資料使用RTP封包之編碼方法和裝置，以及包括多層應用資料的RTP封包解碼之準備方法和裝置
本發明係關於封裝之即時規約(RTP)資料連流，包括多層應用之應用資料。本發明尤指關於RTP基礎之可標度視訊傳輸。
有多種多層多媒體應用存在，諸如可標度視訊、可標度音訊等。多媒體資料常透過封裝資料連流傳輸，於是分開層之多媒體資料可經時間多工化成為單一資料連流。尤其是H.264/AVC標準之可標度視訊寫碼(SVC)延伸，採用三種標度性：時間、空間、品質。時間標度性在H.264/AVC內受到充分支持，而SVC之基層刻意設計以符H.264/AVC。
典型上，跨越網際網路和行動網路之即時視訊傳輸，是基於RTP/IP。IETF曾倡議SVC視訊用之RTP酬載格式。惟可進一步改進，以方便解碼或表現RTP基礎之SVC位元連流，因而傳輸計劃可保持順應一般標準之解碼器。
以可標度之視訊而言，解碼器需某些資訊，例如總共空間和品質標度性層數。此初始資訊有助於解碼器，例如啟動記憶器部署和相關參數形態。其他資訊像層依賴性或圖幅型式，亦有助於解碼器更有效率和耐用。
然而，傳輸頻道往往易錯。以跨越如此易錯頻道傳輸之際的封包損失而言，有些解碼器可進行錯誤隱藏過程。但解碼器往往依靠轉送連流之格式，諸如RTP。標準RTP頭標含有計時資訊和RTP封包數，可用來確保封包以正確順序解碼。然而，若封包損失，必須又一規約來檢測。雖然對通常網際網路，使用應用TCP，對即時應用而言，TCP太慢。所以，在即時能力系統中，應用解碼器必須處置資料損失情況，必須單獨找出什麼資料失落。此舉會干擾應用解碼器，在某些情況下，甚至需要重新啟用。
對多層應用而言，已知應用解碼器有不同選項，對資料損失作反應，視失去的資料封包類型，和關係之應用層而定。然而，通常不知失落的封包是屬於哪一應用層。習用的多層應用解碼器需要一些處理時間，才能恢復如此情況。知道失落資料愈快，解碼器可反應愈佳。本發明要解決之一問題是，對解碼器提供更早而且更詳細的資訊，關於在傳送封包損失情況下失落資料之類型，尤其是攸關之應用。
本發明提供在封包基礎架構內之特別語法，基於識別和指示RTP封包和所帶應用層/圖幅間之關係，在封包饋送至多層應用解碼器之前進行。此舉有助於解碼器及時採用適當錯誤隱藏技巧，並防止在解碼器內之不必要處理。
本發明提供解決上述問題之資料連流格式、相對應編碼方法和裝置，以及解碼方法和裝置。
按照本發明之一要旨，資料連流包括RTP封包，含有多層應用之應用資料，其中至少一RTP封包含關係次一RTP封包內容之第一應用層資訊，和關於前一RTP封包(按傳輸順序)內容之第二應用層資訊。
按照本發明另一要旨，使用RTP封包對多層應用資料之編碼方法，包括步驟為：分別把多層應用資料之第一、第二和第三部份，封裝成第一、第二、第三RTP封包，其中應用資料之第一、第二、第三部份，指涉第一、第二、第三應用層；在第二RTP封包內添加至少第一資料，界定第一應用層，即第一封包所指涉，和第二資料，界定第三應用層，即第三封包所指側，並傳輸第一、第二、第三RTP封包(按此傳輸順序)。
使用RTP封包對多層應用之編碼裝置，各包括封裝插入機構，把多層應用資料之第一、第二、第三部份，分別封裝成第一、第二、第三RTP封包，其中應用資料之第一、第二、第三部份，指涉第一、第二、第三應用層；添加插入機構在第二RTP封包內，至少添加界定第一應用層之第一資料，第一封包所指涉，和界定第三應用層之第二資料，第三封包所指涉；以及傳輸機構，傳輸第一、第二、第三RTP封包(按此傳輸順序)。把多層應用資料之第一、第二、第三部份封裝於第一、第二、第三RTP封包內所用插入機構，可依序或同時處理一、二或全部三RTP封包。在第二RTP封包內添加資料之插入機構，可依序或同時把第一資料和第二資料處理和插入第二封包內。
按照本發明另一要旨，包括多層應用資料的RTP封包之解碼(或準備解碼)方法，包括步驟為：接受至少第一和後繼第二RTP封包，從第一RTP封包本體摘取多層應用資料之第一部份，和從第一RTP封包之充墊式位元組摘取第一毗鄰資訊，從第二RTP封包本體摘取多層應用資料之第二部份，和從第二RTP封包之充墊式位元組，摘取第二毗鄰資訊；決定第一RTP封包和第二RTP封包內之多層應用資料類型；比較在第二RTP封包內決定之多層應用資料類型，與從第一RTP封包所摘取第一毗鄰資訊，或是第一RTP封包內決定之多層應用資料類型，與從第二RTP封包所摘取第二毗鄰資訊，或二者兼具；比較從第一RTP封包所摘取第一毗鄰資訊，與從第二RTP封包所摘取第二毗鄰資訊；以及把該摘取和比較步驟的結果，提供該多層應用之解碼器。
包括多層應用資料資料的RTP封包之(準備)解碼裝置，各包括：接收機構，接收至少第一和後繼第二RTP封包；第一摘取機構，從第一RTP封包本體摘取多層應用資料之第一部份，和從第一RTP封包之充墊式位元組，摘取第一毗鄰資訊；第二摘取機構，從第二RTP封包本體摘取多層應用資料之第二部份，和從第二RTP封包之充墊式位元組，摘取第二毗鄰資訊；決定機構，決定第一RTP封包和第二RTP封包內之多層應用資料類型；第一比較機構，比較第二RTP封包內所決定多層應用資料類型，與從第一RTP封包摘取之第一毗鄰資訊，或比較第一RTP封包內所決定多層應用資料類型，與從第二RTP封包摘取之第二毗鄰資訊，或二者兼具；第二比較機構，比較從第一RTP封包摘取之第一毗鄰資訊，與從第二RTP封包摘取之第二毗鄰資訊；以及提供機構，把第一和第二摘取機構，以及第一和第二比較機構的結果，提供給該多層應用之解碼器。
舉例而言，多層應用資料可為層系資料，具有基層以及一或以上之增進層。
本發明有益之具體例，載於申請專利範圍附屬項、說明和附圖。
茲參見附圖說明本發明具體例如下。
第1圖表示封裝資料連流之結構。資料連流內之接續封包p1,p2,p3，包括多層應用之應用資料：第一封包p1包括第一應用層VCLf ，後繼之第二和第三封包p2,p3分別包括第二應用層VCLc 和第三應用層VCLn 之應用資料。如圖所示，封包係以立即序列傳送/接收。例如，若使用即時規約(RTP)為輸送規約，封包即具有RTP封包數。所以，接收器可按正確序列順序帶有封包，若第二封包p2在傳輸之際失落，解碼器不知失落的資料屬於哪一應用層。在本發明中，擬議在輸送封包的常務添加更多資訊，以改進解碼和錯誤隱藏效率。此舉使解碼器可以更彈性方式反應。例如，解碼器可找出失落封包屬於多層應用之增進層，因此，可繼續對基層解碼。故使用者會經歷到暫時損失品質，而習用上應用會中斷。反之，應用以基本模態繼續運作，例如以較低之解像度。
如第1圖所示，本發明包括輸送封包，有多層應用之應用資料，包括資訊，不僅特定其自層，還有兩種毗鄰資訊，其一NBf 特定先前(f=前者)輸送封包內應用資料層VCLf ，另一NBn 特定後續(n=其次)輸送封包內應用資料層VCLn 。因此，如果有一或二RTP封包失落，可以找出在最具或然性情況下，是哪一種應用資料失落。
以下說明SVC基礎之具體例。如上所述，本發明亦可適用於其他多層多媒體應用。就像任何其他視訊解碼器，SVC解碼器對傳輸錯誤敏感。對基於RTP之SVC視訊傳輸而言，如不用有效之錯誤隱藏技術，封包損失對解碼器是致命傷。幾乎對每一錯誤隱藏方法，重要的是要快速知道失落資料屬於哪一切片/層/圖幅。傳統上可利用所接收封包解碼為之，但此呈現不必要之複雜措施。又，減少解碼器內有軟體問題之虞，例如撞毀。問題之另一層面是，對現有系統諸如RTP需要一種解決方案，不必改變封包格式。
按照本發明，有些常務資訊插入RTP封包之充墊式位元組內，以協助接收器在資料饋至SVC解碼器之前，得到失落封包之認同資訊。因此，解碼器可比習知方法更早決定如何以不同解決方式進行。例如一種可能反應是，放棄失落封包相關的全切片，代之以使用先前圖像之共位切片，例如複製到現時圖像緩衝器。
有利的是，此意味解碼器之穩定處理，和減少不必要的計算。
把認同資訊放進充墊式位元組，即可保持計劃順應一般標準SVC解碼器，可全然忽視充墊式位元組，以及認同資訊。所擬方法可支援多層解碼器內的錯誤隱藏。原則上，次一和前一RTP封包之基本SVC資訊，可在現時RTP封包之後和之前，保存於現時RTP封包內。以此方法，SVC解碼器可更早和更容易進行錯誤隱藏處理。
第2(a)圖表示本發明RTP封包結構總覽。第2b和2c圖表示同樣封包之細節。第2圖各行是封包之一字組，有32位元。第1至5字組含有一般頭標資訊，詳後。
H.264和SVC使用所謂網路抽象化層(NAL)，把編碼視訊資料處理和格式化成封包，所謂NAL單位。NAL單位往往按解碼順序映射於輸送封包，諸如RTP封包，以供傳輸。界定不同類的NAL單位。NAL單位若其nal_type等於1、5或20，帶有從巨段發生的實際圖像資料。若nal_type不等於此等數值，則NAL帶有控制參數，諸如序列參數組(SPS)或圖像參數組(PPS)。各圖幅在SVC內編寫成nal_type等於1、5或20之一或以上NAL單位。若此種RTP封包和NAL單位在傳送中失落，相對應圖幅不會正確解碼。由於這是重要資訊，即添加分開旗誌，通知解碼器有nal_type=1、5或20的NAL先前失落。
V是版型欄。例如第2圖內V設定於V=2。P是一位元旗誌，表示在RTP封包末端的額外充墊式位元組。如果P=1，封包在末端含有一或以外的額外充墊式位元組。M是一位元旗誌，表示RTP封包是否有特殊性，例如現時切片之最後RTP封包。RTP封包頭標內之其他習知欄係酬載型式、時戳、同步化源ID(SSRC)和貢獻源(CSRC)欄。酬載含有實際視訊資料。雖然舉例表示二酬載字組，但封包往往帶有更多酬載。酬載之後，接著是以P表示的充墊式位元組。
按照本發明，關於先前和後續RTP封包之額外應用相關資訊，係儲存於充墊式位元組內。例如SVC界定表1所示結構，和相對應結構相關參數。
表1所示結構為一實施例。總共有六層：A-F。基層為A、D、E。全部品質層B、C、F的空間解像度分別與其基層相同。空間層D、E之空間解像度則與其基層不同。
「品質層」是由品質標度性產生，是SVC內之一種標度性。SVC需要品質層之空間解像度與其基層相同。編碼型品質標度層與空間標度層不同。故對品質層資料處置NAL單位損失之解碼措施和方法，即與空間標度性資料不同。"quality_id"是語法元素，指SVC位元連流內之各品質層ID。
"dependency_id"在SVC內用來指空間層。容許有8個空間層。若有基層存在，空間層之空間解像度與其基層(或參考層)不同。以語法元素"dependency_id"可知，現時層屬於哪一空間層。若quality_id=0，意即現時層為空間層，應做為空間層解碼。否則，現時層應做為品質層解碼。
原則上，"dependency_id"指空間解像度變化，"quality_id"指編碼措施的變化。
在SVC解碼器內有此資訊有用。
在本發明一具體例中，以下資訊包含在充墊式位元組內(指數n和f分別指涉其次或先前封包)：
Vn：一位元旗誌。Vn=1指次一RTP封包(按傳輸順序)所帶NAL單位之nal_type等於1、5或20。意即次一封包含有巨段資料，即實際圖像資料。各視訊圖幅編碼於nal_type=1、5或20之一或以上NAL單位內。
Qn：一位元旗誌。Qn=1指後續RTP封包所帶次一NAL單位屬於品質層(quality_id＞0)，否則Qn=0，而後續RTP封包屬於空間層。
Dn：一位元旗誌。Dn=1指後續RTP封包所帶次一NAL之dependency_id值與現時NAL相同。否則Dn=0。
POCn：10位元無符號整數，指後續RTP封包所帶次一NAL之POC數。
PIC_idxn：10位元無符號整數，指後續RTP封包所帶次一NAL之IDR數。nal_type=5的新NAL在處理，每次增進1。到達最大值1023，即回到零。
當Vn=1，意即次一RTP封包(按傳輸順序)所帶NAL之nal_type等於1、5或20：Vn、Qn、Dn、POCn和PIC_idxn旗誌之全部數值，均與次一RTP封包內之NAL相關。否則，若Vn=0，全部與次一NAL有關(在SVC位元連流內之保存順序)，即在稍後之RTP封包內。
Vf：一位元旗誌。Vf=1指前一RTP封包(即傳輸順序中之剛先前封包)所帶NAL之nal_type等於1、5或20。
Qf：一位元旗誌。Qf=1指先前RTP封包所帶NAL屬於品質層(quality_id＞0)，否則Qf=0。
Df：一位元旗誌。Df=1指前一RTP封包所帶NAL之與現時NAL相同。否則，Df=0。
POCf：10位元無符號整數，指前一RTP封包所帶NAL之POC數。
PIC_idxf：10位元無符號整數，指前一RTP封包所帶NAL之IDR數。nal_type=5之新NAL在處理時，每次增進1。到達最大值1023時，回到零。
另一選項參數是充墊長度：此為充墊式位元組數，包含本身在內。充墊式位元組不一定排整在32位元界域。
旗誌Vx(x=n或f)指次一/前一RTP封包之NAL是否為VCL NAL。以旗誌Qx提供的資訊，解碼器可容易知道次一/前一RTP封包是否屬於品質層。以旗誌Dx可容易獲得空間/CGS層。
若失去單一RTP封包，當Vn=1和Qn=0(即具有圖像資料之空間層)，應該由SVC解碼器進行錯誤隱藏。在此情況下，所需圖像資料失落。失落NAL所屬圖幅，可按照POCn決定，並在SVC解碼器內利用簡單快速的錯誤隱藏技術。
如有若干接續RTP封包損失，當Vn=1和Qn=0，或Vf=1和Qf=1，則SVC解碼器應進行錯誤隱藏。以首先失落RTP封包之前的RTP內Dn、POCn和PIC_idxn資訊，以及最後失落RTP封包之後的RTP內Df、POCf和PIC_idxf資訊，可決定失落圖像數，及其GOP和層資訊，再提供給SVC解碼器。此資訊有助於SVC解碼器進行簡單快速之錯誤隱藏。
第3圖表示本發明一要旨之編碼方塊圖。在一具體例中，編碼方法包括步驟為，把多層應用資料之至少第一、第二和第三接續部份分別封裝或插入305第一、第二、第三RTP封包p1,p2,p3內。如上所述，應用資料之不同部份指涉應用之第一、第二和第三層VCLf 、VCLc 、VCLn 。諸層可不同，或任何二或全部三封包可指涉同層。
對次一步驟320中，至少界定第一應用層(先前、第一封包所指涉)之第一資料Vf，和界定第三應用層(後續、第三封包所指涉)之第二資料Vn，添加於第二RTP封包內。具體言之，此資訊係添加於充墊式位元組，如前所述。在第三步驟，傳輸325第一、第二和第三RTP封包(依此順序)。
惟在另一具體例內，得到有關插入的先前和次一封包之應用層資訊時，才把單一封包編碼即可，可暫時緩衝。
第3圖可知是表示本發明一要旨的編碼器之一般結構。使用RTP封包把多層應用資料編碼所用編碼器，包括封裝插入機構305，把多層應用資料之第一、第二和第三部份，分別封裝入第一、第二和第三RTP封包p1,p2,p3内，其中應用資料之第一、第二、第三部份，指涉第一、第二、第三應用層，而添加插入機構320，在第二RTP封包內添加至少指涉第一(即先前)封包之第一應用層資料，和有關第三(即其次)封包之第二應用層資料；以及傳輸機構340，供傳輸第一、第二、第三RTP封包(按此順序)。
第4圖表示在實際應用層解碼之前所進行解碼準備原理之方塊圖。實際實施會更為複雜，或例如積合於解碼器內。
此法供準備包括多層應用資料的RTP封包解碼，方法包括步驟為，接受401至少第一和隨後第二RTP封包，從第一RTP封包本體摘取410多層應用資料415之第一部份，和從第一RTP封包之充墊式位元組摘取毗鄰資訊NBn ，並以同樣方式，從第二RTP封包本體摘取420多層應用資料425之第二部份，和從第二RTP封包之充墊式位元組摘取第二毗鄰資訊NBf 。如上所述，毗鄰資訊就次一封包而言，包括Vn、Qn、Dn、POCn和PIC_idxn至少其一，而就前一封包而言，包括至少Vf、Qf、Df、POCf和PIC_idxf至少其一。
在下一步驟，決定430,440第一RTP封包typn 和第二RTP封包typn+1 之多層應用資料型式。
次一步驟，比較450第二RTP封包內所決定多層應用資料型式typn+1 與從第一RTP封包所摘取毗鄰資訊NBn ，和/或比較460第一RTP封包內所決定多層應用資料型式typn ，與從第二RTP封包所摘取第二毗鄰資訊NBf 。若二種比較都進行，會有三種不同結果，詳後。
在下一步驟中，將從第一RTP封包摘取之第一毗鄰資訊NBn ，與從第二RTP封包摘取之第二毗鄰資訊NBf ，進行比較470。若二者相等，而封包已失，可結論為只有一封包失落。若二者不等，而封包已失，可結論為有一封包以上失落。
然後，把該摘取和比較結果，提供給該多層應用之解碼器，即可以適當方式很快反應，因為不必進行長時間分析失落資訊。
一比較結果訊號455指示現時封包型式，是否在後續封包中指示。一比較結果訊號465指示現時封包之封包型式，是否在前一封包內指示。此二訊號455,465稱為第一階比較結果，因其指示資料是否失落。一比較結果訊號475指示封包型式是否在前一封包內指示為「次一」，而在現時封包內指示為「前一」的封包型式是否相等。此為第二階比較結果，因其只在資料失落情況下相關。
在一具體例中，所有這些比較結果訊號，連同預期的次一和前一封包型式typn ,typn+1 ，均傳送到多層應用解碼器。解碼器可利用資訊如下。
舉例只說明二接續封包之接受和評估，二接受封包可發生三種情形：
第1種情形：第一封包之「次一」資訊，等於第二封包之封包型式，而第二封包之「前一」資訊，等於第一封包之封包型式。在此情況下，第一階比較結果訊號455和465，指示一切OK，沒有封包失落。
第2種情形：第一封包內的「次一」資訊，與第二封包的實際封包型式不同(或是第二封包的「前一」資訊，與第一封包的實際封包型式不同)，而且第一封包的「次一」資訊等於第二封包內之「前一」資訊。易言之，第一階訊號455，465至少其一，指示資料失落，而第二階訊號475指示二封包均指失落的資料同型。在此情況下，可結論為，第一和第二封包間只失落一封包，從「次一」和「前一」資訊，已知其型式。
第3種情形：第一封包內之「次一」資訊，與第二封包的實際封包型式不同(或第二封包的「前一」資訊，與第一封包的實際封包型式不同)，而且第二封包的「前一」資訊，與第一封包的「次一」資訊不同。易言之，第一階訊號455，465至少其一，指示資料失落，而第二階訊號475指示二封包均指出失落資料之不同型式。在此情況下，可結論為第一和第二封包之間至少有二封包失落。
以此提供的資訊，多層應用解碼器可按照現時情形很快反應。
在一具體例中，利用額外封包對解碼器提供進一步協助。在RTP規約中，RTP封包可用於此目的。第5圖表示如何有效利用RTCP封包，傳輸額外資訊至解碼器。有益的是，以此方式傳輸結構性資訊，啟動解碼器更快。
在一具體例中，(空間和/或品質)層數，送至應用界定之RTCP封包內的接受器。旨在方便解碼器啟動，為了隨機存取，資訊可定期性送出，例如和IDR圖幅或SPS一樣頻繁。第5圖表示如此RTCP封包之格式，其中有數欄說明如下。
「副型」：可連同「名稱」欄一同用來識別封包內容。
「長度」：以32位元字組減一，賦予此RTCP封包長度，包含頭標。從缺值2。
「名稱」：解釋為四個ASCII字元的序列，上位和下位字元截然分開處理。「名稱」可用來指SVC相關RTP基礎之應用。為啟動AVC解碼器或解碼程序，接收器可快速獲得所接收SVC位元連流之保留資訊。此種方法可將SVC解碼器啟動用資訊插入RTCP封包內。
情況1：「副型」欄始終與「名稱」欄用來識別封包內容。若「名稱」欄指示RTP封包內之酬載為SVC位元連流，則三個位元可用來指SVC位元連流內語法元素"dependency_id"之最大值。舉例而言，使用前三位元存此值，如第5b圖所示。MaxD_id是無符號之三位元整數，指要送的SVC位元連流內"dependency_id"之最大值。"dependency_id"最大值指SVC位元連流內空間/CGS層總數，此值對SVC解碼器基本啟動甚關重要。對局部位元連流播放而言，此值可藉核對SVC位元連流依賴性而得。但對易錯(例如網路基礎)SVC應用而言，核對SVC位元連流依賴性所得"dependency_id"最大值，會因封包損失而出錯。maxD_id值可由接收器用來啟動SVC解碼器。
起初傳送層資訊之另一方式是，在「名稱」欄末加過量酬載，如第5c圖所示。maxD_id已如上述。maxT_id有三位元，指SVC位元連流內語法元素"temporal_id"最大值。maxQ_id有四位元，指SVC位元連流內語法元素"quality_id"最大值。
「長度」從缺值為二。若「名稱」指SVC相關應用，「長度」不等於從缺值，則次於「名稱」欄的10位元存，maxD_id、maxT_id和maxQ_id。在接收器側，maxD_id可用於SVC解碼器之基本啟動，maxT_id和maxQ_id可於增進SVC解碼器啟動。解碼器優點是，在實際解碼開始之前，不需為決定參數而分析資料連流。所以，啟動更快，解碼更早開始。
須知本發明已純就實施例加以說明，細節可以修飾，不違本發明範圍。說明輸和(適當之)申請專利範圍及附圖揭示之各特點，可單獨或適當組合提供。特點可適當以硬體、軟體，或二者組合實施。連接可以無線或有線連接為之，不一定直接或專用連接。
申請專利範圍內出現的參考數字，只供說明用，對申請專利範圍無限制效應。
NBf ,NBn ．．．應用層資訊
p1,p2,p3．．．接續封包
VCLf ．．．第一應用層
VCLc ．．．第二應用層
VCLn ．．．第三應用層
305,320．．．插入機構
325．．．傳輸機構
Vf ．．．第一資料
Vn ．．．第二資料
typn ,typn+1 ．．．封包型式
401．．．接收機構
410,420．．．摘取機構
430,440．．．決定機構
450,460,470．．．比較機構
455,465,475．．．比較結果訊號
第1圖為本發明資料連流之結構；
第2圖為具有充墊式位元組的RTP封包之格式；
第3圖為編碼之方塊圖；
第4圖為解碼準備之方塊圖；
第5圖為本發明一要旨的RTCP封包之格式。
NBf ,NBn ．．．應用層資訊
p1,p2,p3．．．接續封包
VCLf ．．．第一應用層
VCLc ．．．第二應用層
VCLn ．．．第三應用層

Claims (11)

  1. 一種多層應用資料使用即時規約(RTP)封包之編碼方法，包括步驟為：-把多層應用資料之第一、第二和第三部份，分別封裝(305)於第一、第二和第三RTP封包內，其中應用資料之第一、第二和第三部份，指涉應用之第一、第二和第三層(VCLf ,VCLc ,VCLn )；-於第二RTP封包內，添加(320)界定第一應用層之第一資料(Vf )，第一RTP封包所指涉，和界定第三應用層之第二資料(Vn )，第三RTP封包所指涉；和-依順序傳輸(325)第一、第二和第三RTP封包者。
  2. 如申請專利範圍第1項之方法，其中第一資料和第二資料添加於第二RTP封包之充墊式位元組內者。
  3. 如申請專利範圍第1或2項之方法，其中界定第一應用層(VCLf )之第一資料(Vf )，和界定第三應用層(VCLn )之第二資料(Vn )，包括NAL型指示(Vn ,Vf )、品質資訊(Qn ,Qf )、依賴性資訊(Dn ,Df )、IDR數(PIC_idxn ,PIC_idxf )和圖像階數(POCn ,POCf )資訊之一或以上者。
  4. 如申請專利範圍第3項之方法，其中第一資料(Vf )或第二資料(Vn )包括旗誌(Vn ,Vf )，指示前一或次一封包之應用資料，指涉一或以上特別NAL型者。
  5. 如申請專利範圍第1項之方法，其中第一、第二和第三RTP封包，以立即序列傳輸者。
  6. 一種包括多層應用資料的RTP封包解碼之準備方法，包括步驟為：-接收(401)至少第一和後繼第二RTP封包；-從第一RTP封包本體摘取(410)多層應用資料之第一部份(415)，並從第一RTP封包之充墊式位元組，摘取第一毗鄰資訊(NBn )；-從第二RTP封包本體摘取(420)多層應用資料之第 二部份(425)，並從第二RTP封包之充墊式位元組，摘取第二毗鄰資訊(NBf )；-決定(430,440)第一RTP封包和第二RTP封包內之多層應用資料型(typn ,typn+1 )；-比較(450)第二RTP封包內決定之多層應用資料型(typn+1 )，與從第一RTP封包摘取之第一毗鄰資訊(NBn )；-比較(460)第一RTP封包內決定之多層應用資料型(typn )，與從第二RTP封包摘取之第二毗鄰資訊(NBf )；-比較從第一RTP封包摘取之第一毗鄰資訊(NBn )，與從第二RTP封包摘取之第二毗鄰資訊(NBf )；以及-對解碼器提供該決定步驟(430,440)和該比較步驟(450,460,470)之結果，於該多層應用者。
  7. 如申請專利範圍第6項之方法，其中第一和第二RTP封包內之毗鄰資訊，包括NAL型指示(Vn ,Vf )、品質資訊(Qn ,Qf )、預估依賴性資訊(Dn ,Df )、IDR數(PIC_idxn ,PIC_idxf )和圖像階數(POCn ,POCf )資訊之一或以上者。
  8. 一種多層應用資料使用RTP封包之編碼裝置，包括：-封裝插入機構(305)，把多層應用之第一、第二和第三部份，分別封裝於第一、第二和第三RTP封包(p1,p2,p3)內，其中應用資料之第一、第二和第三部份，指涉應用之第一、第二和第三層(VCLf ,VCLc ,VCLn )；-添加插入機構(320)，在第二RTP封包內添加至少界定第一應用層之第一資料(Vf )，第一RTP封包所指涉，和界定第三應用層之第二資料(Vn )，第三RTP封包所指涉；以及-傳輸機構(340)，把第一、第二和第三RTP封包按 此順序傳輸者。
  9. 如申請專利範圍第8項之裝置，其中第一資料和第二資料係添加於第二RTP封包之充墊式位元組內者。
  10. 一種RTP封包解碼之準備裝置，封包包括多層應用資料，此裝置包括：-接收機構(401)接收至少第一和後繼第二RTP封包；-第一摘取機構(410)，從第一RTP封包本體，摘取多層應用資料之第一部份(415)，並從第一RTP封包之充墊式位元組，摘取第一RTP封包第一毗鄰資訊(NBn )；-第二摘取機構(420)，從第二RTP封包本體，摘取多層應用資料之第二部份(425)，並從第二RTP封包之充墊式位元組，摘取第二RTP封包第二毗鄰資訊(NBf )；-決定機構(430,440)，決定第一RTP封包和第二RTP封包內之多層應用資料型(typn ,typn+1 )；-第一比較機構(450)，比較第二RTP封包內決定之多層應用資料型(typn+1 )，與從第一RTP封包摘取之第一毗鄰資訊(NBn )；-第二比較機構(460)，比較第一RTP封包內決定之多層應用資料型(typn )，與從第二RTP封包摘取的第二毗鄰資訊(NBf )；-第三比較機構(470)，比較從第一RTP封包摘取之第一毗鄰資訊(NBn )，與從第二RTP封包摘取之第二毗鄰資訊(NBf )；以及-提供機構，把第一和第二決定機構(430,440)，以及該第一、第二和第三比較機構(450,460,470)的結果，提供給該多層應用之解碼器者。
  11. 如申請專利範圍第10項之裝置，其中第一和第二RTP 封包內之毗鄰資訊(NBn ,NBf )，包括NAL型指示(Vn ,Vf )、品質資訊(Qn ,Qf )、預估依賴性資訊(Dn ,Df )、IDR數(PIC_idxn ,PIC_idxf )和圖像階數(POCn ,POCf )資訊之一或以上者。
TW098124172A 2008-07-28 2009-07-17 包括ｒｔｐ封包之資料連流，多層應用資料使用ｒｔｐ封包之編碼方法和裝置，以及包括多層應用資料的ｒｔｐ封包解碼之準備方法和裝置 TWI497982B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP08305424A EP2150022A1 (en) 2008-07-28 2008-07-28 Data stream comprising RTP packets, and method and device for encoding/decoding such data stream

Publications (2)

Publication Number Publication Date
TW201006255A TW201006255A (en) 2010-02-01
TWI497982B true TWI497982B (zh) 2015-08-21

Family

ID=40220088

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098124172A TWI497982B (zh) 2008-07-28 2009-07-17 包括ｒｔｐ封包之資料連流，多層應用資料使用ｒｔｐ封包之編碼方法和裝置，以及包括多層應用資料的ｒｔｐ封包解碼之準備方法和裝置

Country Status (6)

Country Link
US (1) US20100020865A1 (zh)
EP (2) EP2150022A1 (zh)
JP (1) JP5686506B2 (zh)
KR (1) KR101650571B1 (zh)
CN (1) CN101640640B (zh)
TW (1) TWI497982B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090161762A1 (en) * 2005-11-15 2009-06-25 Dong-San Jun Method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
CN102752670B (zh) * 2012-06-13 2015-11-25 广东威创视讯科技股份有限公司 减少网络视频传输中马赛克现象的方法、装置及系统
US20150288975A1 (en) * 2012-09-28 2015-10-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding video and method and appartaus for decoding video for random access
US8959414B2 (en) * 2013-06-13 2015-02-17 Lsi Corporation Systems and methods for hybrid layer data decoding
CN105141961B (zh) * 2015-08-03 2017-12-22 中国人民解放军信息工程大学 一种基于视频隐写的空间数据双协议传输方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050275752A1 (en) * 2002-10-15 2005-12-15 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
US20080065965A1 (en) * 2004-11-16 2008-03-13 Miska Hannuksela Buffering packets of a media stream

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247131A (ja) * 1996-03-07 1997-09-19 Toshiba Corp データ通信装置
CN1207860C (zh) * 1997-08-01 2005-06-22 Ntt移动通信网株式会社 数据序列发生器、发射机、信息数据解码器、接收机、发送－接收机、数据序列产生方法、信息数据解码方法
US20070192863A1 (en) * 2005-07-01 2007-08-16 Harsh Kapoor Systems and methods for processing data flows
KR100591350B1 (ko) * 2001-03-06 2006-06-19 가부시키가이샤 엔.티.티.도코모 오디오 데이터 보간장치 및 방법, 오디오 데이터관련 정보작성장치 및 방법, 오디오 데이터 보간 정보 송신장치 및방법, 및 그 프로그램 및 기록 매체
CN1602614A (zh) * 2001-12-11 2005-03-30 皇家飞利浦电子股份有限公司 通过网络发送附加信息的系统
US7061942B2 (en) * 2002-05-31 2006-06-13 Skystream Networks Inc. Apparatus for redundant multiplexing and remultiplexing of program streams and best effort data
JP2004056169A (ja) * 2002-07-16 2004-02-19 Matsushita Electric Ind Co Ltd 画像データ受信装置、画像データ送信装置
JP4336792B2 (ja) * 2003-03-13 2009-09-30 日本電気株式会社 パケット送信方法および無線アクセスネットワーク
JP4078544B2 (ja) * 2003-03-31 2008-04-23 サクサ株式会社 音声データの伝送装置および音声データの受信装置
DE102005001286A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Übertragung von skalierbaren Daten
AU2006223287C1 (en) * 2005-03-10 2010-10-21 Qualcomm Incorporated A decoder architecture for optimized error management in streaming multimedia
EP1773063A1 (en) * 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
EP1742476A1 (en) * 2005-07-06 2007-01-10 Thomson Licensing Scalable video coding streaming system and transmission mechanism of the same system
FR2898754B1 (fr) * 2006-03-17 2008-06-13 Thales Sa Procede de protection de donnees multimedia au moyen de couches d'abstraction reseau (nal) supplementaires
WO2008094279A1 (en) * 2006-06-06 2008-08-07 Cts Media A method and system for dynamic management of multiple media data streams
WO2008013528A1 (en) * 2006-07-25 2008-01-31 Thomson Licensing Recovery from burst packet loss in internet protocol based wireless networks using staggercasting and cross-packet forward error correction
US20080040498A1 (en) * 2006-08-10 2008-02-14 Nokia Corporation System and method of XML based content fragmentation for rich media streaming
JP2009065259A (ja) * 2007-09-04 2009-03-26 Sanyo Electric Co Ltd 受信装置
JP2009118151A (ja) * 2007-11-06 2009-05-28 Fujitsu Ltd 通信システム、送信装置、中継装置、受信装置及び送信プログラム
WO2009127961A1 (en) * 2008-04-16 2009-10-22 Nokia Corporation Decoding order recovery in session multiplexing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050275752A1 (en) * 2002-10-15 2005-12-15 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
US20080065965A1 (en) * 2004-11-16 2008-03-13 Miska Hannuksela Buffering packets of a media stream

Also Published As

Publication number Publication date
KR20100012830A (ko) 2010-02-08
US20100020865A1 (en) 2010-01-28
TW201006255A (en) 2010-02-01
CN101640640A (zh) 2010-02-03
CN101640640B (zh) 2014-01-29
EP2150022A1 (en) 2010-02-03
EP2150024B1 (en) 2016-05-18
EP2150024A1 (en) 2010-02-03
JP2010045775A (ja) 2010-02-25
JP5686506B2 (ja) 2015-03-18
KR101650571B1 (ko) 2016-08-23

Similar Documents

Publication Publication Date Title
CN101505316B (zh) 重排和复用属于互相关会话的多媒体流的包的方法和设备
US7447978B2 (en) Buffering packets of a media stream
TWI253868B (en) Picture coding method
US8432937B2 (en) System and method for recovering the decoding order of layered media in packet-based communication
US8351514B2 (en) Method, protocol, and apparatus for transporting advanced video coding content
US8345743B2 (en) Systems and methods for channel switching
US7864805B2 (en) Buffering in streaming delivery
EP1844593B1 (en) Signaling buffer parameters indicative of receiver buffer architecture
US20090177952A1 (en) Transcoder and receiver
US10257527B2 (en) Hybrid codec scalable video
TWI497982B (zh) 包括ｒｔｐ封包之資料連流，多層應用資料使用ｒｔｐ封包之編碼方法和裝置，以及包括多層應用資料的ｒｔｐ封包解碼之準備方法和裝置
TW200843520A (en) Backward-compatible characterization of aggregated media data units
US7839925B2 (en) Apparatus for receiving packet stream
EP2070336B1 (en) Method and apparatus for repairing samples included in container files having lost packets
US20090003429A1 (en) Apparatus And Method For Processing A Bitstream
US20100172374A1 (en) System and method for transport of a constant bit rate stream
US7428246B2 (en) Apparatus and method of packetizing data stream
US9918112B2 (en) System and method for multiplexed streaming of multimedia content
CN105407351B (zh) 一种从实时传输协议数据包中重建编码方式的方法和装置
Westin et al. RFC 7741: RTP Payload Format for VP8 Video

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees