TW513892B - MPEG-4 video specific control packet for providing a customized set of coding tools - Google Patents

MPEG-4 video specific control packet for providing a customized set of coding tools Download PDF

Info

Publication number
TW513892B
TW513892B TW089123112A TW89123112A TW513892B TW 513892 B TW513892 B TW 513892B TW 089123112 A TW089123112 A TW 089123112A TW 89123112 A TW89123112 A TW 89123112A TW 513892 B TW513892 B TW 513892B
Authority
TW
Taiwan
Prior art keywords
encoding
video stream
tool
video
decoder
Prior art date
Application number
TW089123112A
Other languages
English (en)
Inventor
Xuemin Chen
Ajay Luthra
Original Assignee
Gen Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gen Instrument Corp filed Critical Gen Instrument Corp
Application granted granted Critical
Publication of TW513892B publication Critical patent/TW513892B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

513892 _案號89123112_f/年7月f 曰_修正 · ._ 五、發明說明(1) i 發明背景 本發明主張整理於1 9 9 9年1 1月1 2日之美國臨時應用第 6 0 / 1 6 5,3 4 2 號。 本發明相關於對於流式視訊編碼的一個控制封包格式, 例如M PE G - 4視訊編碼。本發明尤其有助於發展流式視訊產 品,該產品用於網際網路協定(I Ρ)之多重廣播視訊,如網 際網路。 MPEG-4視覺由ISO/IEC 1 44 9 6 -2内動畫專家群所制定, 資訊技術,音訊-視覺物體的一般編碼,第二部分:視覺 ,1998年10月。M PEG-4是一種多媒體標準,定義了音訊和 視訊物體的編碼,兼具自然與合成,許多這樣同時發生·的春 物體的一個多工表示,以及涵蓋這些物體之情況的描述和 變動過程。MPEG-4有效範圍為位元率由10 Kbit/s到10 Mbi t/s。國際電訊組織(ITU-T)所制定的標準H. 2 6 3+關聯 於MPEG- 4,因為H.263 +是H.263的延伸,而H.263也是 ' MPEG-4的起始點之一。然而MPEG-4為更完整的標準,因為 v 它有很大寬廣範圍的位址,應用形式,大規模的系統支援 ,和編碼工具,以及自然與合成物體的整合。Μ P E G - 4增加 多種編碼工具來提供更多實用性,並且較Η. 2 6 3改進編碼 器/解碼器(codec)效能。但是,MPEG-4視訊的完整性也使 得難以實現一個”完整”的解碼器,因為建構一個可以掌控 φ 所有可能編碼工具的解碼器,相當地昂貴和複雜。 甚者,以MPEG-4為核心可發展出很寬廣的應用。這些應 用將使用MPEG-4中編碼工具的不同子組合。國際標準組織 規格I SO/SC2 9/WG-1 1藉由設計外形處理這個議題,如
O:\67\67417_910705.ptc 第6頁 513892 _案號89123112_fV年7月f 曰 修正 ·_ 五、發明說明(2) i Μ P E G - 2所處理。只是在Μ P E G - 4中,應用所預期的範圍比 MPEG-2寬廣許多。這將迫使建立更多外形。為了降低外形 數量,混合可能重複應用的需求,以結合成較少量的外形 。然而,這引起就大量應用而言低效能的外型。此外,儘 管上述的努力,愈來愈多的應用的壓力將繼續增加需要的 外型的數目。 另外,能夠把Μ P E G - 4 (動態影像壓縮標準- 4 )視訊應用於 網際網路上各種各樣的服務,包括即時視訊流,視訊隨選 ,多重廣播,單向廣播,等等。然而,在MPEG-4(動態影 像壓縮標準-4 )視訊中粗略規定的外型不能滿足這些應用 的需求,例如,由於大量可能網路類型。那是,為一低特春 定網路應用規定的編碼工具不一定需要適合於其他應用。 所以,期盼提供一個系統,以詳載各應用之編碼工具, 該應用不專屬於一個特定外型。 糸統應該規定使用哪個編碼工具於特定網路上之特定即 時視訊流應用。該技術應該通知接收視訊資料的解碼器 < (也就是,個人電腦、電視視訊轉接器、纜線數據機,或 類似),其中視訊資料已使用編碼工具。 應該規定編碼工具給非外型的資料流(這裡不使用慣用 的外型)。例如,對一些網路應用來說,一些非外型的資 料流能夠按照給編碼表現相對於codec (解碼器/解碼器)複 | 雜性,提供更好的表現。 系統應該允許使用一組定製的編碼工具,其不相應於任 何預定編碼外型。 系統應該利用已經建立的一個控制封包,和避免需要建
O:\67\67417-910705.ptc 第7頁 513892 案號 89123112 f/年7月广曰 修正 五、發明說明(3) 立額外關聯。 系統應該相容於即時應用的傳輸協定,如同即時傳輸協 定(RTP),其於1996年1月定義在RFC 1889中,’’RTP:用於 即時應用的傳輸協定π ,。 即時傳輸協定(RTP)設計作為能夠在多重廣播或者單向 廣播上,運輸即時資料的彈性協定。把這個協定已經廣泛 佈署和用做發送即時(或近似即時)的多媒體資料流。RTΡ 不提出對於即時服務的資源預定和不品質保證。由控制協 定(RTCP)力口強資料運輸,而允許監控對大多重廣播網路模 式的貧料父遞’和提供最小限度控制和識別的功能性。 RTP是一種網際網路標準執跡協定,可即時特性地提供 點對點交遞資料的服務,如同互動式聲訊和視訊。那些服 務包括有效載荷類型識別,序列計算,時間郵票和交遞監 控。 RTP主要設計以滿足多參與者之多媒體會議的需要,和 也許用於資料的儲存,互動式分配的模擬,活動中徽章 (標識語),和控制和測量應用。 這個RTP控制協定(RTCP)被用來監控服務品質和在進行 中的交談内傳送關於參與者的資訊。 然而,以前沒用R Τ Ρ來提供一個機制,已為流式視訊應 用指定編碼工具。 本發明提供一個具上述和其他優勢的系統。 本發明摘要 本發明相關於一個用於流式視訊編碼的控制封包格式。 本發明看來超出MPEG-2原理的範圍,並回歸MPEG_4(動
Q:\67\67417-910705.ptc 第8頁 513892 案號 89123112 f /年7月广曰 修正 五、發明說明(4) 態影像壓縮標準-4)的最初觀點與原理彈性。當發展時可 期望,MPEG-4(動態影像壓縮標準-4)解碼器(和相應的解 碼器)將是彈性的和因此使表現改變。數位信號優美遞降 的概念和所有接收器(不盡相同)的模型將可被接受,並且 將改變内部操作的舊意義。 因此,本發明提出一個機制的創造,以允許發信號或者 發送器和接收器之間的握手,以使得發送器能夠通知這些 接收器,MPEG-4(動態影像壓縮標準-4)的何種工具正用來 對一個已知視訊信號做編碼。為了為不同應用確保MPEG-4 (動態影像壓縮標準-4)視訊的彈性,本發明為給MPEG-4 (動態影像壓縮標準-4)視訊編碼工具的架構,提出一假 MPEG-4(動態影像壓縮標準-4)視訊特定控制封包。能夠沿 著這個視訊.資料流向前傳送這個封包。例如,集中即時協 定(RTP)。能夠為不同系統層,例如,透過描述符的動態 影像壓縮標準-2系統,達到一値類似目標。 尤其是,一個編碼工具封包可以根據下列一或多個而標 示出一個視訊流的狀態:是否使用可擴展性 (scalability),如果如此,哪一個類型;是否使用8-位 元編碼;是否使用a 1 p h a平面編碼,如果如此,哪一個類 型;是否使用錯誤-有彈性的編碼工具,如果如此,哪一 個類型;是否使用交錯編碼;是否使用s p r i t e編碼,如果 如此,哪一個類型;是否使用B _ V Ο P編碼,如果如此,是 否使用直接模式編碼;是否使用i n t r a直流和/或交流預測 ,如果如此,哪一個類型;是否使用更進階的預測,如果 如此,哪一個類型;是否使用四分之一圖素編碼;是否使
O:\67\67417-910705.ptc 第9頁 513892 修正 案號 89123112 五、發明說明(5) 用整體移動補償;和是否使用形狀—適合的D c 丁。 因此如果使用/組定製的編碼工具(該編碼工具不相關 於任何預定,無彈性的編碼外型),本發明即允許這樣的 使用。 13 7 、 附圖之簡單描述 圖1說明一個編碼工具架構地圖(CTCM)封包,其顯示依 據本發明將視訊流解碼,所需要的工具。 μ 圖2依據本發明’說明Μ P E G - 4 (動態影像壓縮標準—4 )視 訊CTCM有效載荷格式。 圖3依據本發明,說明從解碼器到解碼器之間的視訊 包和CTCM封包的通信。 ° 本發明之詳盡描述 ~ 本發明相關於一個對流式視訊編碼的控制封包格 I.可選擇性的MPEG-4(動態影像壓縮^準_4)1視訊1° 控制封包 ^ 雖然MPEG-4(動態影像壓縮標準_4)視訊能應用在網際 路上多樣化的服務,包括即時視訊資料流,隨選視訊,、 重廣播,單向廣播,和等等,MPEG-4(動態影像壓缩標/一 4 )視訊所粗略制定的這個外型不能滿足這些應用的需'求, 也就是說’由於這大量的可能網路型態。 、 本發明藉以沿著已編碼視訊封包,;;送一個編碼工呈外 ,地圖給使用者,以便提供一組訂製之不需對應於任二 定外型的編碼工具,來處理這個問題。完成這的一個方 是傳送這樣的一個架構地圖,如MPEG_4(動態影像壓縮 準-4)視訊特定RTCP控制封包^ RTCp是放這樣一個控封
513892
包的合理位置,因為它已經建立姐且沒有額外關聯需要建 立:同樣,總是在傳輸的開始或者以更不時常的模式,建 1这個架構,因此這個RTCp間隔(也就是說’如同由RFC 1 8 8 9上述規定般)恰當適合於這個"“_4(動恶影像壓縮標 準-4)視訊特定的RTcp控制封包。RTCP間隔是複合RTCP封 包的傳輸之間的時間。一#而七,/起傳送了若干RTCP封 包’如同在基本協定之封I内的〆個複合Rtcp封包; 這在每一個RTCP封包的固定標頭中的這個長度領域所促成 〇 接下來規定一個. 像壓縮標準-4)特定的 RTCP控制封包,稱為”編碼工^設定地圖”(CTCM)封包。一 CTCM封包的目的是通知MpEG“(動態影像壓縮標準—4)解碼 器,就(解碼器)來說,編碼工具包括在視訊物體目的層 (V 0 L〈位元流的封包裡。可以選擇性地選用由Μ P E G - 4 (動態 影像壓縮標準—4)發送器所支援的MPEg-4(動態影像壓縮標 準-4)視訊特定控制封包。尤其,該封包不能做為外型 MPEG-4(動態影像壓縮標準-4)v〇L位元流之用。在這樣的 情況下,視訊解碼器必須使用mpeg —4(動態影像壓縮標準-4)視覺所提供的這個外型定義。也可以以其他相關協定來 傳送這個架構資料,例如會議描述協定(SDP ),會議佈告 協定(SAP)或者即時流動協定(RTSP),等等。 I I · 編碼工具架構地圖(CMCT)封包 圖1依據本發明,說明一個編碼工具架構地圖(C T C Μ)封 包,其顯示欲解視訊流的所需工具。 如同在圖例105中解釋,CTCM封包100包括RTP版本領域
Q:\67\67417-9l0705.ptc 第11頁 513892 案號89123112 年7月广日 修正 . 五、發明說明(7) 1 1 0 ,按鍵領域1 2 0,外型指示器領域1 3 0 ,有效載荷類型 領域140,長度領域150,SSRC領域160,和有效載荷領域 170。 一個記數法1 0 2展示了每一個領域的位元數目。僅僅顯 示了每一個領域的位元配置作為例子,當然也可能使用不 同配置。 這個封包1 0 0顯示了為非外型位元流(P I = 0 )將視訊流解 碼的所需工具。 這些領域V,P,長度和SSRC定義於RTP規格之RFC 1889 中 0 尤其是: - (1 ) 版本(V ) : 2位元。這個領域辨別R T P版本。 (2 ) 按鍵(P ) : 1位元。如果設置這個按鍵位元,該封包 最後含有一或更多的另外按鍵八位組,而其不是有效載荷 的一部分。 (3) 外型指示器(P I )說明了長度5位元,雖然可能有其 他實行方式。一個外型是為特定應用規定的一組工具。PI 辨識MP E G - 4 (動態影像壓縮標準-4 )視訊位元流的外型, 如下: 0 :非外型的位元流 1 :短標頭的位元流 2 :簡單外型 3 :核心外型 4 :主要外型 5 :進階即時簡單外型
0: \67\67417-910705.ptc 第12頁 513892 案號89123112 年7月爹日 修正 ‘ ' " _ _ 1 …V … — 五、發明說明(8) t 6 :進階編碼效率外型 7-63 :保留 僅存外型配置到上面定義的P I領域。然而,應該感謝將 來可能配置其他發展外型。 儘管領域” P I π顯示外型,注意可能有相同外型的的各種 層次。例如,簡單外型(Ρ I = 2 ),有層次1 ,2和3 (參見 Μ P E G - 4 (動態影像壓縮標準-4 )規格)。這個層次規定於視 訊物體標頭中。 此外,對非外型的位元流(Ρ I = 0 )而言,依據本發明提供 這個CTCM資料,以表明使用哪個編碼工具。對外型的位元 流而言,外型規定編碼工具。Ρ I = 1是這個基準線Η . 2 6 3 Jt # 型(在MPEG-4(動態影像壓縮標準-4)中稱為短標頭)。PI = 5 和6規定於MPEG_4(動態影像壓縮標準_4)中版本2規格。 (4 ) 有效載荷類型(PT) : 8位元。這個領域辨識RTP有效 載荷格式,和根據應用決定其解釋。” RTCP_CTCM"依據本 ' 發明指定C T C Μ有效載荷。 ^ 把有效載荷/封包型式(ΡΤ)定義成一個八位元的辨識器 ,其值為用於MPEG-4(動態影像壓縮標準_4)編碼工具外型 地圖的常數。如同在圖1所示,將配置一種RTCP有效載荷 類型給這個新封包格式。 (5) 可以把單一擴展可任意選擇給RTP資料(有效載荷)φ 標頭。標頭擴展包含有1 6 -位元的π長度π領域,計數擴展 中3 2 -位元字的數目(也就是說,有效載荷1 7 0在本例中有 兩個字)。 (6) 同步來源(SSRC)是一串RTP封包的來源,由RTP標頭
O:\67\67417-910705.ptc 第13頁 513892 _案號_89lj3112 年7月之日 條正 五、發明說明(9) 中3 2 -位元數字S S R C辨識器來確認,而非取決於網路位址 。來自一個同步來源的所有封包組成相同時序和序列數目 空間的部分,所以一個接收器利用同步來源,將封包歸類 以便播放同步來源的例子包括從信號來源得到之一串封 包的發送器,例如一個話筒或者一個照相機,或RT P混合 器0 將於圖2進一步討論有效載荷領域1 7 0。 圖2依據本發明,說明MPEG-4(動態影像壓縮標準-4)視 訊CTCM有效載荷格式。 如同說明2 0 0所描述,有效載荷領域丨7 〇包含一個可擴展
性(scalability)辨識位元領域2 0 5 , —個非8-位元旗2L0 ,一個最初平面編碼領域2 1 5,一個錯誤—有彈性的編碼工 具領域2 2 0,一個交錯編碼旗2 2 5,一個sprite編碼旗23〇 ’一個B - V Ο P (雙向預測視訊物體平面)編碼旗2 3 5,一個 intra直流/交流預測旗24 0,一個進階預測旗245,一個四 分之一-圖素編螞旗250,一個球狀的運動補償旗255,一 個形狀-適合的DCT(離散餘弦轉換)旗26〇,和一個保留 位元領域2 6 5。 XI個例子僅僅顯示了這個格式,如當對那些熟悉本技藏 者而言,可能進行各種修正。 κ 在本具體^施例中’ MPEG-4(動態影像壓縮標準-4)視訊 CTCM有效載荷長度為32位元。把MPEG —4(動態影像壓縮標 準-4)視訊CTCM有效載荷的句法跟意義定義如下。簡述了 相對應的MPEG-4C動態影像壓縮標準專用名詞。SI]g, QPCF,GMCF和SADCTF是在mpeg-4(動態影像壓縮標準-4)解
G:\67\67417-910705.ptc 第14頁 513892 _案號89123112_f/年7月,曰 修正 五、發明說明(10) 碼器方面規定或者構成的。 可擴展性(scalability)辨識位元(3 b its): 11 AU IX Αυ 1Χ η -ϋ nu 1i 1i nu nuu 1i ca性性 (S展展 性擴擴 展可可 廣々々 白 白 可間間 無時空 的 美留留留留 完保保保保 性 展 擴 可 旗 碼 元 位 I 8 br 元 位 Ο :沒有8-位元編碼(沒有_8_位元二1) 1 :具有8-位元編碼(沒有_8_位元=0) 最初平面編碼(APC) (2 bits): 0 0 :沒有最初平面編碼(視訊_目標_層_形狀=π 0 0 π ) 0 1 :二進位制最初平面編碼(視訊—目標—層—形狀=π 0 1 n ) 10 ·灰色-層次最初平面編碼(視訊_目標_層_形狀= '1 0 Μ ) 1 1 :禁止的 錯誤-有彈性的編碼工具(ERCT) (3 bi ts): 0 0 0 :沒有R VLC,沒有資料分開,沒有視訊封包(可逆 的_乂1(3 = 0 ’貧料_分開=0,再同步_符號_失效=0) 001 :沒有RVLC,沒有資料分開,具有視訊封包(可逆 的_乂1〇=0 ’資料_分開=0,再同步__符號—失效=1) 0 1 0 :沒有RVLC,具有資料分開,沒有視訊封包(可逆
O:\67\67417-910705.ptc 第15頁 513892 五、發明說明(11) 的_ v1c二0 ,資料. 案號 89123112 修正 再同步_符號_失效二〇) 分開 的 的 0 11 :沒有RVLC, 具 有資料分 開 ,具有視訊 _v 1 c二0,資料—分 開 =1 ,再同 步_ 符號__失效= 100 :具有RVLC, 具 有資料分 開 ,沒有視訊: _ v 1 c二1 ,資料_分 開 =1 ,再同 步_ 符號_失效= 10 1 :具有RVLC, 具 有資料分 開 ,和視訊封 c = 1 ,資料_分開= 1 ,再同步_ 符號_失效=1 ) 110 :禁止的 111 :禁止的 交錯編碼旗(I C F ) (1 bits) 0 : 沒有交錯編碼 工 具(交錯二 0) 1 ·· 具有交錯編碼 工 具(交錯= 1) s p r i t e編碼旗(S C F ) (2 bits ): 00 :沒有 s p r i t e 編碼(s p r i t e _使 能夠=0 ) 01 :具有靜態s p r it e編石馬(s p r i t e —使能夠=1 r i t e _使能夠=0 ) 10 : :具有線上spr it e編石馬(s p r i t e _使能夠=1 r i t e _使能夠=1 ) 11 : :保留 B-VOP 編碼旗(BVCF) (2 bits )·· 00 B-VOP以直接 模 式編碼 01 B-VOP以非直 接 模式編碼 10 沒有 B-V0P(V0P. __編碼_類 型! =丨丨Βπ ) 11 禁止 I n t r a直流/交流預涓丨J旗織(I D A P F ) ( 2位元): 1)
Q:\67\67417-9l0705.ptc 第16頁 513892 __案號89123112_f/年 7月T曰 修正__ 五、發明說明(12) 〇〇 :有二者直流和交流的預測(交流-pred_旗二1 ) 〇 1 :有直流預測,沒有交流預測(交流—Pred_旗=0 ) 10 :有直流一scaler(定標器)二8的直流預測,沒有交流 預測(交流一pred—旗=0 ) 1 1 :沒有直流/交流預測和直流-scaler(定標器)二8。 進階預測旗(A P F ) (2 bits): 0 0 :無進階預測 0 1 :進階預測,具有沒有OBMC (obmc-失效=1 ) 10 :進階預測,具有OBMC (obmc-失效=0) 1 1 :保留 四分之一圖素編碼旗(QPCF)( 1位元): 一 〇 :無四分之一圖素編碼 1 :具有四分之一圖素編碼 玻狀的運動補償旗(GMCF)( 1位元):
0 :無GMC
1 :具有GMC 形狀-適合的DCT旗(SADCTF)( 1位元):
0 :無形狀-適合的DCT 1 :具有形狀-適合的DCT 保留Bits (RB) (11 bits): 這保留領域乃為了未來的可能擴展和應用。 使用建議的編碼工具架構地圖(CTC Μ ),例如,流式視訊 應用。流式視訊是一般在一個方式中採用,網路上壓縮視 訊位元流之封包基礎的傳輸,尤其是網際網路。 網際網路是共享的資料電報網路。在網際網路上傳送的
O:\67\674l7-9l0705.ptc 第17頁 513892 _案號 89123112_年 7 月 f 曰__ 五、發明說明(13) , 封包經常經歷無法預測耽搁和不穩定性。然而,流式視訊 應用需要對於傳輸和播放的精確計時。即時傳輸協定(也 就是說,R T P )提供了時間郵票,序列數目,和其他可以控 制時序問題的機制。這些協定也針對資料電報網路上的資 料,提供封包遺失偵測,安全和點對點傳輸之内容識別 (也就是說,UDP-用戶資料克協定/IP)。實際上,即時傳 輸協定通常是在應用之内執行的。許多問題,例如封包恢 復和擁擠控制,必須以應用層次被執行。 在流式視訊應用時,壓縮的視訊位元流如同運輸封包的 有效載荷般傳送。一般而言,對於每一個傳輸封包,傳輸 標頭之後緊跟著CODEC(即H· 261,H· 2 6 3和MPEG-4(動態影 · 像壓縮標準-4))有效載荷標頭,而其後又跟著多個已 CODEC壓縮位元流的位元。如同在上文所指示,CTCM能夠 作為一個MPEG-4(動態影像壓縮標準-4)視訊特定的RTCP控 制封包般地載送。 * 所以,本發明延伸出即時傳輸協定,以指定為給視訊位 元流編碼使用的編碼工具。 注意,CTCM封包的控制資料/領域能夠由或者一個特定 RTP封包或者一個RTCP封包般地載送。這樣的一個封包應 該反覆傳送,以使這些新用戶同步(也就是說,用戶/終 端)。傳送了 MPEG-4(動態影像壓縮標準-4)視訊資料,如 0 同傳送RTP資料封包,(以一種MPEG-4(動態影像壓縮標準-4 )視訊類型)。 能夠傳送CTCM資料,如同RTCP或者特定的RTP封包的有 效載荷載。
O:\67\67417-910705.ptc 第18頁 513892 _案號 89123112
視訊封 五、發明說明(14) 圖3依據本發明’說明從解碼器到解 包和CTCM封包的通訊。 ^為之間 一個編碼面3 0 0包括視訊解碼器3 〇 5,為使 / 用編瑪工具,接收和編碼一個輪人視訊信號用;=m 識符/解碼器3 1 0與視訊解碼器3 〇 5通m,以接|固馬 具才示 封包1。。。尤其是,有關編碼工具::檢的用 個編碼工具。一個檢查表或是類似功能3丨〇可以用作這 的。 〇 例如,一個檢查表可能將MPEG-4(動態影像壓縮桿準—4) 句法”交錯的=0”關聯於對CTCM封包領域價值” ICF = 〇,,。 此外’用來隨時間改變之視訊序列的編碼工具而言I可 能的。所以,基於用戶設置,在特定時間能夠更新這個 C T C Μ封包,例如,每個1 5個框架。 CTCM封包或者封包在多工器3 15做多工,用編碼視訊封 包中,(也就疋3兄,視afl位7〇流)’例如,它符合對μ ρ £ Q — 4 (動態影像壓縮標準_ 4 )標準,和通訊越過網路3 5 〇到解碼 面 3 6 0 〇 網路3 5 0基本上可以包括任何類型通訊網路,包括電腦 網路,例如網際網路,和/或者寬頻通訊網路,例如衛星 或者電纜的電視網路,電話聯結,等等。
解碼面3 6 0包括一個用戶/用戶終端3 7 0 ,其具有將從網 路3 5 0接收到的視訊封包和CTCM封包解多工的解多工器375 。當提供CTCM封包給CTCM解碼器3 8 0時,即提供視訊封包 給視訊解碼器3 8 5。而C T C Μ解碼器3 8 0將根據視訊解碼器 3 〇 5,解碼有關領域以決定使用哪個編碼工具,以將這些
111
O:\67\67417-910705 ptc
513892 修正 案號 8912311? 五、發明說明(15) 視訊封包編碼。尤其是,一個檢查表可以用在功能3 8 0, 以相關於具有切題編碼工具句法之CTCM封包的領域。 例如’一個檢查表可以將CTCM封包領域價值"ICF = 〇l,關 聯=M^EG-4(動態影像壓縮標準—4)句法”交錯的=〇,,。 、,,f碼工具資訊如同給視訊解碼器3 8 5的CTCM資料, ί德,:ΐ 2碼ΐ具,從解多工器3 7 5將視訊封包解碼。 ^出# ΐΜϋ碼^385解碼視訊封包,以提供信號給一個 二7 4 一個電視或者視訊監視器。 桩# ii知私A i P矛 個〜螭人口中之範例用戶終端,其 用戶終端TCM的封包,和/或存取這個網路3 5 0。 電纜數攄機 /匕括一個個人電腦,電視視訊轉換器-, 電話,便攜式的"個人數位助理",或是 具他此夠存取廷個網路35〇的器具。 或者,對CTCM封句爽鳍,
過-個獨立通訊通道視訊封包,f可能透 封包的多工。 捉供,因此需避免視訊封包與CTCM 現在應該理解太於明裎彳妓 ^ r ΓΤΓΜχ 4 s 尽^月挺七、一者名編碼工具架構地圖 (ΓΓμ,;^"-«PEG-4(" 層次下的視訊解碼写,例如%制封包,便能構成適當應用 組定製之編碼工具。就=::與-個預定外型-致的-能::‘ίί把所有編竭工具用於-個…其可能 例如,在流式視訊應用方面,希望使B_V0PS改進編碼效
513892 修正 案號 89123112 五、發明說明(16) 率。然而,預定外型定義(核心外型,P I二3 )也需要允許B -V 0 P s使用二進位制形狀編碼。然而,目前為流式視訊應用 ,不需要二進位制形狀編碼。此外,二進位制形狀編碼的 電路系統建造起來很昂貴。因此,本發明允許一組訂製之 編碼工具的創新,其包括B - V 0 P s,不含二進位制形狀編碼 〇 在其他應用中間,CTCM概念在有利於促進流式視訊的完 成,例如,在I P網路上的視訊多重廣播。 雖然,關於各種特定之具體實施例中已經描述了本發 明,但是那些熟於本技藝者將希望可以做許多適應和修 正,而不違背在專利中所陳述之本發明精神和範圍。—
O:\67\67417-910705.ptc 第21頁 513892 案號 89123112 %年7月,曰 修正
O:\67\674I7-910705.ptc 第22頁 513892 案號 89123112 91· 1〇· - 8 年月曰 圖式簡單說明 圖式元件 符號說明 100 編碼工具架構地圖封包 102 規格 105 圖例 110 即時傳輸協定版本搁位 120 按鍵爛位 130 外型指示器欄位 140 有效載荷類型攔位 150 長度欄位 160 同步來源欄位 170 有效載何搁位 200 圖例 205 可擴展性辨識位元欄位 210 非8位元編碼旗 215 最初平面編瑪搁位 220 錯誤-有彈性的編碼工具欄位 225 交錯編碼旗 230 s p r i t e編碼旗 235 雙向預測視訊物體平面編碼旗 240 内直流/交流預測旗 245 進階預測旗 250 四分之一圖素編碼旗 255 球狀的運動補償旗 260 形狀適合的離散餘弦轉換旗 265 保留的位元欄位 修正 «
O:\67\67417-911008.ptc 第23頁 513892 9!,1θ,δ 案號89123112_年月日 修正 圖式簡單說明 300 編碼側 305 視訊編碼器 310 編碼工具標識符/編碼器 315 多工器 350 網路 360 解碼側 370 用戶/用戶終端 375 解多工器 380 編碼工具架構地圖解碼器 385 視訊解碼器 390 輸出裝置
O:\67\67417-911008.ptc 第24頁

Claims (2)

  1. 513892 91· ί〇· -8 _案號89123112_年月日__ 六、申請專利範圍 1 . 一種用以傳送信號的方法,傳訊給至少一個解碼器以 確認編碼工具,該編碼工具用以將視訊流編碼,包含步 驟: 組合至少一個編碼工具封包,該封包指定使用哪一個編 碼工具編碼該視訊流;並且 提供該至少一個編碼工具封包給該解碼器; 其中該解碼器適用於處理該至少一個編碼工具封包,以 決定使用哪一個編碼工具來編碼該視訊流,和依此將該視 訊流解碼。 2. 如申請專利範圍第1項之方法,其中: 透過共有網路,從編碼器到解碼器,提供至少一個編碼 工具封包和視訊流。 3. 如申請專利範圍第1項之方法,其中: 透過網路,將該至少一個編碼工具封包與視訊流做多工 ,以便與解碼器通訊。 4. 如申請專利範圍第1項之方法,其中: 透過網路,提供該視訊流給解碼器,如流式視訊。 5. 如申請專利範圍第4項之方法,其中: 網路包括共享的資料電報網路。 6. 如申請專利範圍第1項之方法,其中: 透過網路,該視訊流對解碼器多重廣播。 7. 如申請專利範圍第1項之方法,其中: 根據即時傳輸協定,提供至少一個編碼工具封包。 8. 如申請專利範圍第1項之方法,其中:
    O:\67\67417-911008.ptc 第25頁 513892 91. !〇. -8 _案號89123112_年月日__ 六、申請專利範圍 用於編碼該視訊流的編碼工具,符合Μ P E G - 4 (動態影像 壓縮標準-4)標準。 9. 如申請專利範圍第1項之方法,其中至少一個編碼工 具封包指定該視訊流的一個編碼狀態,根據下述中至少一 個: 是否使用可擴展性(s c a 1 a b i 1 i t y ),如果是,哪一個類 型; 是否使用8 -位元編碼; 是否使用最初平面編碼,如果是,哪一個類型; 是否使用錯誤-有彈性的編碼工具,如果是,哪一個類 型; 是否使用交錯編碼; 是否使用sprite編碼,如果是,哪一個類型; 是否使用B-VOP編碼,如果是,是否使用直接模式編碼 是否i n t r a直流和/或交流預測,如果是,哪一個類型; 是否使用進階預測,如果是,哪一個類型; 是否使用四分之一圖素編碼; 是否使用全球運動補償;和 是否使用形狀-適合DCT。 10. 如申請專利範圍第1項之方法,其中: 藉由提供其中領域,根據相對應之編碼工具的句法元素 ,組成至少一個編碼工具封包,其中使用該編碼工具將該 視訊流編碼。
    O:\67\67417-911008.ptc 第26頁 513892
  2. 91. Ill -8 _案號89123112_年月曰 修正_ 六、申請專利範圍 11. 如申請專利範圍第1 〇項之方法,其中·· 使用檢查表,提供這些領域如同一個相對應句法元素的 功能。 12. 如申請專利範圍第1項之方法,其中: 該視訊流是無外型的;並且 至少一個編碼工具封包指定一組定製之編碼工具。 13. —種解碼方法’用以痛認將視訊流編碼的編碼工具 包括步驟: 在解碼器接收到該視訊流; 在解碼器,回復至少一個編碼工具封包,其可以指定使 用何種編碼工具將該視訊流做編碼;並且 處理至少一個回復的編碼工具封包,因而以決定使用何 種編碼工具將該視訊流做編碼與解碼。 14. 如申請專利範圍第1 3項之方法,其中: 透過共有網路,提供從解碼器到解碼器至少一個編碼工 具封包和視訊流。 15. 如申請專利範圍第1 3項之方法,其中: 透過網路,將至少一個編碼工具封包和視訊流做多工, 以和解碼器通訊。 16. 如申請專利範圍第1 3項之方法,其中: 透過網路,提供該視訊流給解碼器,當成流式視訊。 17. 如申請專利範圍第1 6項之方法,其中·· 網路包括共享的資料電報網路。 18. 如申請專利範圍第1 3項之方法,其中:
    O:\67\67417-911008.ptc 第27頁 513892 91.1〇· - 8 _案號89123112_年月日__ 六、申請專利範圍 透過網路,該視訊流對解碼器多重廣播。 19. 如申請專利範圍第1 3項之方法,其中: 根據即時傳輸協定,提供至少一個編碼工具封包。 2 0. 如申請專利範圍第1 3項之方法,其中: 用於將該視訊流編碼的編碼工具符合Μ P E G _ 4 (動態影像 壓縮標準-4 )視訊標準。 2 1. 如申請專利範圍第1 3項之方法,其中至少一個編碼 工具封包指定一個視訊流的編碼狀態,根據至少: 是否使用可擴展性(s c a 1 a b i 1 i t y ),如果是,哪一個類 型; 是否使用8 -位元編碼; 是否使用最初平面編碼,如果是,哪一個類型; 是否使用錯誤-有彈性的編碼工具,如果是,哪一個類 型; 是否使用交錯編碼; 是否使用s p r i t e編碼,如果是,哪一個類型; 是否使用B-VOP編碼,如果是,是否使用直接模式編碼 是否使用i n t r a直流和/或交流預測,如果是,哪一個類 型; 是否使用進階預測,如果是,哪一個類型; 是否使用四分之一圖素編碼; 是否使用全球運動補償;和 是否使用形狀-適合的DCT。
    O:\67\67417-911008.ptc 第28頁 513892 91, 10. - 8 _案號89123112_年月曰 修正_ 六、申請專利範圍 22. 如申請專利範圍第1 3項之方法,其中: 該至少一個編碼工具封包在其内包括場,其根據對應之 用於編碼該視訊流之編碼工具的句法元素而組成。 23. 如申請專利範圍第2 2項之方法,其中: 一個檢查表根據相對應之句法元素,而決定使用哪個編 碼工具’將視訊流編碼。 24. 如申請專利範圍第1 3項之方法,其中: 這個視訊流是無外型的;並且 至少一個編碼工具封包指定一組定製之編碼工具。 25. 一種對解碼器發出信號之裝置,以辨識用來對視訊 流編碼的編碼工具,包括: 組成至少一個編碼工具封包的工具,其指定何種編碼工 具來將該視訊流編碼;並且 提供該至少一個編碼工具封包給解碼器的工具; 其中該解碼器適用處理該至少一個編碼工具封包,來決 定使用何種編碼工具來將該視訊流編碼,和與此解碼一致 地將該視訊流解碼。 26. 一種解碼器裝置,用以辨識將視訊流編碼的編碼工 具,包括: 在解碼器接收該視訊流的工具; 在解碼器回復至少一個編碼工具封包的工具,其指定何 種編碼工具來將該視訊流編碼,並且 處理至少一個以回復之編碼工具封包的工具,以決定使 用何種編碼工具來將該視訊流編碼,和以此解碼一致地將
    O:\67\67417-911008.ptc 第29頁 513892 91. 10. ~8 案號89123112_年月日 修正 六、申請專利範圍 該視訊流解碼。 11111 第30頁 O:\67\67417-911008.ptc
TW089123112A 1999-11-12 2000-11-02 MPEG-4 video specific control packet for providing a customized set of coding tools TW513892B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US16534299P 1999-11-12 1999-11-12

Publications (1)

Publication Number Publication Date
TW513892B true TW513892B (en) 2002-12-11

Family

ID=22598517

Family Applications (1)

Application Number Title Priority Date Filing Date
TW089123112A TW513892B (en) 1999-11-12 2000-11-02 MPEG-4 video specific control packet for providing a customized set of coding tools

Country Status (8)

Country Link
EP (1) EP1230802B1 (zh)
KR (1) KR20020064899A (zh)
CN (1) CN1409929A (zh)
AU (1) AU1247701A (zh)
CA (1) CA2391196A1 (zh)
DE (1) DE60008016T2 (zh)
TW (1) TW513892B (zh)
WO (1) WO2001037573A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175097B2 (en) 2003-10-24 2012-05-08 Microsoft Corporation Embedding a session description message in a real-time control protocol (RTCP) message
US8320464B2 (en) 2004-05-04 2012-11-27 Qualcomm Incorporated Method and apparatus to construct bi-directional predicted frames for temporal scalability

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442473B1 (ko) * 2002-05-30 2004-07-30 주식회사 클릭티브이 네트워크를 통한 디지털 동영상제어장치
KR101244308B1 (ko) 2003-12-08 2013-03-18 삼성전자주식회사 동영상 파일의 암호화 방법 및 그를 이용한 디지털 저작권관리방법
JP4828906B2 (ja) * 2004-10-06 2011-11-30 三星電子株式会社 デジタルオーディオ放送でのビデオサービスの提供及び受信方法、並びにその装置
KR100760259B1 (ko) * 2005-12-01 2007-09-19 한국전자통신연구원 Mpeg-2 전송 스트림 패킷으로 분할 전송된 다중프로토콜 캡슐화 패킷의 재조합 장치 및 그 방법
CN101146212B (zh) * 2006-09-11 2010-06-09 思华科技(上海)有限公司 视频点播网络的流媒体封包解包方法及系统
CN101354697B (zh) * 2008-09-10 2010-06-23 中国物品编码中心 物品编码解析方法及系统
CN101986708A (zh) * 2010-10-29 2011-03-16 北京中星微电子有限公司 一种视频解码方法及解码器
CN118250476A (zh) 2018-12-13 2024-06-25 Sk电信有限公司 视频编码/解码设备执行的方法和提供视频数据的方法
KR20200073117A (ko) * 2018-12-13 2020-06-23 에스케이텔레콤 주식회사 코딩 툴 설정 방법 및 영상 복호화 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614313A (ja) * 1992-06-29 1994-01-21 Canon Inc 画像処理装置
EP0762777A3 (en) * 1995-09-04 1999-03-10 Sharp Kabushiki Kaisha Picture reproducing apparatus
DE69737554D1 (de) * 1996-08-05 2007-05-16 Matsushita Electric Ind Co Ltd Datensender, -empfänger, prozessor, vorrichtung und system zur verwaltung von einrichtungen, datensende- und -empfangssystem sowie übertragungsmedium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175097B2 (en) 2003-10-24 2012-05-08 Microsoft Corporation Embedding a session description message in a real-time control protocol (RTCP) message
US8320464B2 (en) 2004-05-04 2012-11-27 Qualcomm Incorporated Method and apparatus to construct bi-directional predicted frames for temporal scalability

Also Published As

Publication number Publication date
DE60008016D1 (de) 2004-03-04
CA2391196A1 (en) 2001-05-25
AU1247701A (en) 2001-05-30
KR20020064899A (ko) 2002-08-10
WO2001037573A1 (en) 2001-05-25
DE60008016T2 (de) 2004-09-16
EP1230802A1 (en) 2002-08-14
EP1230802B1 (en) 2004-01-28
CN1409929A (zh) 2003-04-09

Similar Documents

Publication Publication Date Title
JP4921488B2 (ja) スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法
US8436889B2 (en) System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
EP1936868B1 (en) A method for monitoring quality of service in multimedia communication
US20070183494A1 (en) Buffering of decoded reference pictures
US7400340B2 (en) Data mixer for portable communications devices
JP2003504897A (ja) 電話回線による高速映像伝送
CN101611551A (zh) 用于视频通信系统中的差错弹性的改进系统和方法
KR100606785B1 (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
TW513892B (en) MPEG-4 video specific control packet for providing a customized set of coding tools
US8352625B2 (en) Coded application data unit order recovery in layered multicast
JP2006512805A (ja) インターネットを使用しないセットトップボックスパーソナルメッセージング
US8477918B2 (en) Multimedia providing service
WO2005027439A1 (ja) メディアストリ−ムのマルチキャスト配信方法及び装置
KR101008753B1 (ko) 멀티미디어 데이터 스트리밍 시스템
CN101252670A (zh) 会议电视的处理方法和装置
US8564639B2 (en) Multimedia communication system, multimedia communication device and terminal
US8588379B2 (en) Multimedia communication system, multimedia communication device and terminal
US9118747B2 (en) Multimedia providing service
CN101018316A (zh) 一种基于iptv的视频会议系统及其实现方法
KR20030065002A (ko) 무선망을 통한 멀티미디어 스트리밍 데이터 송수신 방법및 수신장치
Ott et al. RTP Payload Format for ITU-T Rec. H. 263 Video
Mäkinen Mobile Videophone
KR20030057505A (ko) 실시간 전송 프로토콜을 이용한 멀티미디어 데이터 전송시스템
JPWO2009004891A1 (ja) 双方向通信システム、該双方向通信システムに用いられる通信端末、通信サーバ、通信方法及び通信制御プログラム
Ott et al. RFC 4629: RTP Payload Format for ITU-T Rec. H. 263 Video

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MK4A Expiration of patent term of an invention patent