TW520606B - A method and apparatus for streaming scalable video - Google Patents

A method and apparatus for streaming scalable video Download PDF

Info

Publication number
TW520606B
TW520606B TW090105407A TW90105407A TW520606B TW 520606 B TW520606 B TW 520606B TW 090105407 A TW090105407 A TW 090105407A TW 90105407 A TW90105407 A TW 90105407A TW 520606 B TW520606 B TW 520606B
Authority
TW
Taiwan
Prior art keywords
data
layer data
frames
enhancement layer
period
Prior art date
Application number
TW090105407A
Other languages
English (en)
Inventor
Robert A Cohen
Hayder Radha
Kavitha Parthasarathy
Original Assignee
Koninkl Philips Electronics Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninkl Philips Electronics Nv filed Critical Koninkl Philips Electronics Nv
Application granted granted Critical
Publication of TW520606B publication Critical patent/TW520606B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404Monitoring of server processing errors or hardware failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

520606 五、發明說明(1) 發明背景 本發明一般係關於視頻資料傳送,且更特別地係關於在 具有一可變頻寬的網路上供串流可標度視頻之方法及裝 置。 可標度視頻編碼乃意指能夠提供每個視頻訊框予不同之 資料層別(1 e v e 1 )或資料量的編碼技術。目前,這類技術 乃由MPEG-2及MPEG-4 (即”動態影像壓縮標準π編碼)之類 的視頻編碼標準所使用。在這些標準所使用的可標度編碼 技術中,視頻資料的訊框乃編碼並分割成一基層及一加強 〇 一般而言’基層包含一將編碼視頻貧料解碼時所需的最 小資料量。而加強層則包含解碼時用於加強(即改良品質) 基層之額外資料。在運作期間,基層之所有訊框乃傳送至 一接收元件。然而,若接收元件有足夠的處理功率以處理 額外訊框及/或媒介,則只傳送加強層訊框,其中於該媒 介上所傳送的訊框具有足夠的頻寬。 微粒式可標度乃一已知的可標度視頻技術。微粒式可標 度(F G S )於每次編碼時進階式地使用更多的資料以編碼相 同的影像(即視頻訊框)。例如,在一受讓人與此處相同且 序號0 9 / 1 1 0,6 1 6標題為π可標度視頻編碼系統π之共迫近式 應用中,揭露一種具有微粒式可標度性質的視頻編碼系統 ,其中視頻基層之編碼具有固定速率,且殘餘或加強層之 φ 編碼函蓋一寬廣的速率範圍。 目前,I S0 (國際標準組織)MPEG-4委員會正在研究微
第5頁 520606 五、發明說明(2) 粒式編碼方法。因此,需要提出一種供串流加強層之實際 方法。在另一受讓人亦同於此處且標題為”控制資料輸出 至網路之系統π序號0 9 / 1 7 7, 9 6 2之共迫近式應用中,揭露 一種在基於封包的網路上供串流資料的方法。然而,此方 法僅適用於網際網路上之串流基層。 發明概述 本發明乃著眼於在例如基於封包的可變式頻寬網路上串 流可標度基於訊框之資料。換句話說,對每一個加強型層 次訊框選擇(F G S之)位元數目或(離散多重層次可標度之) 副層數目予以傳送。另外,若於一基於封包的網路上傳送 這些位元或副層,亦會在多重封包上對這些位元或副層進 行分割。再者,一窗型函數乃用於在網路頻寬變化的情形丨® 下使每一個訊框所傳送的位元或副層次變化均勻。 特別地,本發明乃著眼於一種供串流包含基層資料及加 強層資料在内之可標度視頻之方法。本方法包含在一給定 時間内傳送基層資料。判斷是否在此給定時間内產生頻寬 漏失。選擇一預定訊框數目以分散頻寬漏失。在一預定的 訊框數目中計算加強層的減少量並予以傳送。於給定時間 中傳送加強層資料之減少量。 根據本發明之方法亦可判斷預定的訊框數目是否已經結 束(e X p i r e )。判斷是否存在任何殘餘的加強層資料。選擇 一第二預定之訊框數目以分散殘餘的加強層資料。在一第 φ 二預定之訊框數目中計算一第二之加強層資料減少量並予 以傳送。在一第二給定時間内傳送加強層資料之第二減少
520606 五、發明說明(3) 量0 現在參考附圖 圖式之簡單說明 其中同樣的參考編號表示相對應的部 件 表示因無法獲得之頻寬而導致延遲之 表示因無法獲得之頻寬而導致加強層 圖1為一時序圖 加強層傳輸; 表示根據本發明之方法; 表示詳細實現根據本發明之方法之具 圖2為一時序圖 品質中寬廣的變化 圖3為一流程圖 圖4為一流程圖 體實施例;以及 圖5 —根據本發明之裝置之具體實施例之方塊圖。 發明之詳細說明 本發明乃著眼於在一例如基於封包的可變式頻寬網路上 傳送可標度基於訊框之資料。在傳送之前,首先必須將視 訊資料壓縮並編碼成基層及加強層訊框。為此,可使用任 何一種已知的編碼架構。例如,基層可依據已知標準,如 JPEG、MPEG-1 、MPEG-2、MPEG - 4等予以編碼。另外,加強 層可用任何一種已知的可標度架構予以編碼。然而,底下 所述乃假設使用π微粒可標度π架構。 在編碼視頻資料之後,基層訊框具有每秒Rb位元之平均 頻寬,且加強層訊框乃以每秒Re位元之平均速率予以編碼 。在整個系統内,一給定訊框之所有基層位元之傳送必須 使訊框可在解碼器予以回復(r e c ο n s t r u c t)。加強層訊框
第7頁 520606 五、發明說明(4) 具有”微粒’’特性,意指每一個訊框之任何部分或所有資料 是可以傳送的。傳送更多的加強層位元可提升解碼訊框的 品質。此乃假設整體網路之平均頻寬超過基層頻寬 (Rtct>Rb)而具有傳送加強層的空間。 給定一整體網路之平均頻寬(RtQt>Rb)以及一工作週期為T 之系統時脈,則每一週期可傳送RtC)t*T個位元。在一無雜 訊之理想系統中,有足夠的空間於每一時脈週期内傳送 (Rtot-Rb)*T個力口強層位元。然而,在實際上,由於網路漏 失、雜訊、及頻寬變化等因素而使得可用於傳送加強層資 料的頻寬並非固定。 另外,系統時脈的工作週期為T秒,所以在底下的敘述 中,使用一時段計時器i以使時間t = i * T。因此,每一時段 所傳送的平均基層位元數目為Rb*T。加強層以每秒Re位元 的速率予以編碼。所以,可用於傳送加強層之初始速率為 每秒Rtcn — Rb個位元,該速率因加強層具有微粒屬性而小於 Re。給定一具有每秒v個訊框之訊框速率,用於自每一加 強層訊框理想地傳送F個位元,其中 _J(L bitsif W 圪 F""| Rjv bits if Rtot -Rb>Re· 實際上,加強層可用的頻寬並非固定。在一時段内傳送 Rb*T個位元之後,僅有足夠的空間用於傳送(RtQt-Rb)*T - Si 個位元,其中Si為用於其它目的或無法用於該時間時段内 之位元數目。例如,若系統在傳送基層位元之後必須再傳 送更早以前的基層位元,則再傳送程序會耗盡一些(或全
第8頁 520606 五、發明說明(5) 部)給定時段内的位元配置。 若相對所有i的Si皆為零,可自每一加強訊框傳送F個位 元,故不需什麼特別的動作。若s i > 0,則會面臨如圖1所 示的問題。 如圖1所示,在時段5至8中,某些頻寬無法用於傳送整 體加強層。若所有對應之加強層訊框之F個位元皆確定傳 送,則下一個訊框會延遲傳送。每一個s i > 0之時段皆會累 積延遲。假設解碼器不可有一無限緩衝器,基層及加強層 訊框最後會失去同步而使系統失靈或完全忽略延遲之加強 層資料。 為了避免累積延遲,可單純地自時段i内所傳送的訊框 消除s i個位元,如圖2所示。然而,此方法所產生的問題 為,自連續加強層訊框所消除的位元數目改變的廣且快。 這會使解碼結果產生令人無法接受的閃爍,或使觀測者看 到的視頻品質有快速且分散之變化。 鑑於上述兩個問題,用於傳送加強層的方法必須滿足兩 個條件: 必須自加強層消除位元以避免無限之延遲累積;以及 所消除的位元必須分散於數個訊框以避免視頻品質中的 快速變化。 為了達成上述條件,可使用窗型函數f ( B (t),W (t), t)將 B (t)個位元分佈於後續之W (t)個訊框。如後述,B個位元 之移除可均勻分佈於後續之W個訊框,其中: f(B, W,t)=B/W ° (2)
第9頁 520606 五、發明說明(6) 一種根據本發明供串流可標度視頻之方法乃示於圖3。 本方法中,(F G S之)位元數目或(離散多重層可標度之)副 層乃用於傳送於每一個加強層訊框。再者,一窗型函數乃 用於使每一個訊框傳送之副層或位元數目之變化均勻。 在步驟S2中,傳送目前時段(i )之基層資料(BLi)。如之 前所述,一以週期T秒工作之系統時脈及一時段計時器i之 使用使時間t二i *T。另外,請注意時段ti可小於一視頻訊 框之時間週期。既然如此,一訊框乃傳送於許多時段(i、 i + 1 、i + 2 等)中。 步驟S4中,亦傳送其它非加強層(EL)資料。其它非EL資 料可為,例如,再傳送來自先前時段之基層資料,如前所 述。 步驟S 6中,判斷目前時段(i )中是否有任何的頻寬漏失 (sd。漏失(Si)可由步驟S4中傳送其它非EL資料時所產生 。若沒有要傳送的非EL資料,漏失亦可為因網路頻寬而導 致的漏失。封包漏失、雜訊、及頻寬變化會導致頻寬中的 漏失。另外,上述情形之組合亦會產生漏失(s i)。 如前所述,頻寬中的漏失(Si)是非期望的,因為漏失會 減少於目前時段(i )中傳送加強層資料可用之初始速率(每 秒—Rb個位元)。如果沒有漏失(\ ) ’本方法會前進至步 驟S1 2並傳送該時段之EL資料。另外,若有步驟S6中有產 生漏失(Si),本方法會跳至步驟S8。 步驟S8中,決定一窗型(W),其代表漏失(Si)所分佈的 訊框數目。窗型(W)可為一基於如框訊速率、影像品質等
第10頁 520606 五、發明說明(7) 之條件所選擇之預定數目。 步驟S 1 0中,E L訊框尺寸依窗型(W)所標示之訊框數目而 減少。減少E L訊框尺寸之執行乃根據一窗型函數 f ( B (t),W (t),t)。例如,在方程式2中,窗型.函數為B / W, 此例中B = s i。所以,若s i = 5 0個位元且W二1 0個訊框,則具十 個訊框之窗型(W )中E L訊框尺寸應減少為5個位元。 請注意方程式(2 )僅為根據本發明之窗型函數中之一實 施例。根據本發明,可考慮其它的窗型函數,如步階函數 、指數函數以及依基層或加強層訊框型式,如I、P或B訊 框,而定之函數。
步驟S1 2中,傳送目前時段(i )之EL資料。若在步驟S6中 沒有漏失(Si)且目前訊框不因早先的漏失而在窗型(W)中 ,則會傳送時段(i )之完整EL資料量。若有漏失(Si),則 步驟S1 2中時段(i )所傳送之EL資料量會依照步驟S1 0而減 〇 步驟S 1 4中,判斷目前時段(i )内是否有留有任何空間以 傳送額外資料。如果有,本方法會回流至步驟S 1 2並於下 一訊框傳送EL資料。因此,本方法會停留在該迴路中直到 目前時段(i )未留有較多的空間以傳送資料。如果未留有 空間,本方法接著會前進至步驟S 1 6。
步驟S 1 6中,判斷是否留有任何EL資料訊框。如果未留 有任何訊框,則意指視頻序列已經終止且本方法會離開步 驟S1 8。如果留有EL訊框,本方法會回流至步驟S2並於下 一個時段傳送資料。本方法會停留在此迴圈直到視頻序列 520606 五、發明說明(8) 終止。請注意在後續的時段内,如果窗型(W )内沒有進一 步的頻寬漏失(Si),則步驟S1 2中所傳送的資料量取決於 步驟S 1 0中初始減少的訊框尺寸。 然而,如果在後續的時段中有進一步的頻寬漏失(Si ), 則在步驟S8中會再一次決定窗型且在步驟S1 0中會再一次 減少E L訊框尺寸。採用之前方程式(2 )之實施例,若在第 二個時段(i + 1 )中進一步有3 5個位元的漏失(Si ),則窗型 (W)會再設為10且B = 45 + Si。因此,在步驟S10中於接續的 時段内初始的E L訊框尺寸必須減少為8 0 / 1 0 = 8。 圖4表示一種根據本發明更為詳細實現串流可標度視頻 之方法之具體實施例。在描述圖4之具體實施例時,乃假 設使用n FGS可標度π架構。然而,使用其它的可標度架構 以實現此具體實施例乃本技藝中之良好技術。再者,於本 具體實施例中,亦假設資料乃傳送於一封包網路,例如網 際網路。因此,本具體實施例亦分割傳送於多重封包之資 料。 下列為底下敘述本具體實施例時所用到的參數定義: i 每一T秒時段之重複引數。
Si B bu f_cur bu f_end M 無法於時段i用於E L傳送之位元數目。 仍然必須自E L予以消除之整體位元數目。 進入下一次傳送之E L訊框之位元偏移。 表示目前E L訊框之虛擬終端之位元偏移。 序列中之整體EL訊框數目(若具有流動的 (1 i v e )或無限的序列則會予以忽略)。
第12頁 520606 五、發明說明(9) m E L訊框之指標器,其中m = { 0,1,…Μ - 1 } W Rt〇t Rb A E P drop_res 其上消除B個位元之訊框(窗型)數目,其中 0<W<Wfflax 〇 整體資料流或可用網路之平均頻寬(每秒之位 元數)。 基層串流之平均頻寬(每秒之位元數)。 於目前時段内有空間予以傳送之E L資料之位元 數目。 已傳送於分配予EL之頻寬之累增整體位元數目 (所有的位元,不一定是EL位元)。 網路之最大封包尺寸(位元)。 當目前EL訊框之位元不予以傳送時所設定之旗 標。 仍然參考圖4,在步驟S 2 4中,上述之參數予以初始化。 底下為如何對這些參數初始化之實施例: 如方程式(1 )所述設定F。 視頻不流時本序列之整體EL訊框數目。 最大的封包尺寸 m = 0 (指向第一EL訊框) i = 1 (第一重複) B二0 (目前未消除任何位元) B u f _ c u r = 0 (指向目前訊框之開頭)
Buf_end=F-1
Wmax=10(或一些依訊框速率、影像品質等而定之其它數值)
第13頁 520606 五、發明說明(ίο) E二 0 drop_rest= W = 0 步驟S26 : 前所述,使 器i使時間t 層(EL)資料 ,在此步驟 B = B + s i,( E二E + Si,( 元)。 步驟S30 ^ 框數目。在 W = m i n ( Wmax,1 步驟S32 ^ ,f buf _endn ^ E L訊框之虛 之尺寸。"b 出: 若(W>0),I 步驟S 3 4 i 增)E L位元I 否有任何存 (3)
FALSE 7,傳送目前時段(i )之基層資料(BLJ。如之 用一以週期T秒工作之系統時脈及一時段計時 =i *T。另外,步驟S28中,亦傳送其它非加強 。如之前所述,此傳送會導致漏失(s i)。再者 中蒼數B及E亦設定如下: 代表需自E L予以消除之整體位元數目); 說明於分配予EL之空間中所傳送之Si個位 7 ,設定窗型(W ),其代表漏失(Si)所分佈的訊 ® 此步驟中,若(Si>0)或(B>0且W SO)則 [-m ) 〇 7 ,減少目前之EL訊框尺寸。此乃介由計算 ‘數之新值而達成。因為參數1'1)111[_611(1”為指向 擬終端之指標器,減少其值會減少目前E L訊框 jf— end”之新值乃依照底下之窗型函數而算 lij buf__end = min
(Βλ F-1 — ,一1 _ W r,介由計算應以時段終端予以傳送之整體(累 :目(自一或多個訊框)以判斷目前時段内(i )是 留的空間可傳送資料。在此步驟中,參數π A’·
52〇6〇6 五 ------- 、發明說明(11) (尺⑼-A )*r] —五 ⑷ 乃計算如下 A = | 因此(Α ί i則意指目前時段内沒有空間以傳送E L資料。 而於4 日1段會增加為i = i + 1且本方法會回流至步驟^6 办門:一個蚪段傳送BL資料。若則目前時段内有 工本方法會前進至步驟S36。 值二,S36中判斷是否窗型(W) $〇。開始時,因為從未 半=:何1^貧料而使條件不成立,因此,若(w ) g 〇,本方 1二刖進至步驟S38。另一方面,若(w)不小於等於0,則 +方法前進至步驟S40。 ^驟S40中,判斷目前的EL資料訊框是否已完全傳送。 三二由觀察是否(buf 一 cur>buf — end)來決定此步驟是否已 =j。因為buf一cur為一指向所要傳送之目前叽訊框之 頭/ /刀之指標器且buf — end指向目前阢訊框之虛擬铢 buf cur>buf一end表示沒有更多來自目前訊料 以傳送。 貝针要予 若(buf — cur>buf_end),則m = m+ l (前進至下一 框)且drop —rest = FALSE。再者,本方法接菩二個加強訊 S34。然而,請注意開始時因為從未傳送任步驟 而使條件(b u f 一 c u r > b u f 一 e n d )不成立。若此 > 料矾框 則本方法接著前進至步驟S4 2。 u件不成立, 步驟S42中,判斷是否留存任何EL資料訊“、 若沒有留存訊框,則意指視頻序列已經終止匡以供傳送。 (m = = M),則未留存更多的EL訊框且本方、车、,°因此,若 方去厨進至步驟S46
第15頁 520606 五、發明說明(12) 離開。若此條件成立(f a 1 s e應改為t r u e ),則本方法前進 至步驟S 4 4。 步驟S44中,傳送EL資料。在此步驟中,傳送一些或者 所有目前訊框之EL位元。根據本具體實施例,步驟S44乃 以三個副步驟予以執行。 在第一副步驟中,傳送自目前E L訊框之位元數目 (n b i t s _ t 〇 _ s e n d )必須判斷如下: (nbits — to_send = buf_end-buf_cur+l) 在第二副步驟中,判斷目前時段(i )是否有足夠的空間 以傳送所有的位元,如底下所示: 若(nbits_t〇_send<A)貝1J : nbits — sent = min(P,nbits_t〇 — send),(將該等位元劃分 成封包)。 將開始於buf_cur個位元之nbits_sent個位元傳送至EL 訊框m。 若(nbits_sent二= nbits_to — send)貝丨J :(完成傳送目前訊 框) B = B- (F-buf — end-Ι),(介由自本訊框所消除的位元 數以減少B)
W = W - 1 (縮減窗型之一個訊框) m = m+ 1 (指向下一個訊框) drop_rest=TRUE 若(nbits_to_send>A)貝|J :(在目前時段内目前沒有足夠 的空間以傳送nbits_to_send)
第16頁 520606 五、發明說明(13) nbits — sent = min(P,A) 將起於buf — cur個位元之nbits〜sent個位元傳送至EL訊 框m 。 在第三副步驟中’步驟S44設定參數的數目,如下 不 · A = A-nb its一sent (減少目前時段存留之位元配置)
Buf 一 cur = buf 一 cur + nbits sent r ^ ^ ^ τ · 之下一個部分) - "曰向所要傳达之EL訊框 E = E + nbits_Sent (加上剛傳送之累增之整體位元 目)。 在執行上述步驟之後,便結束步驟S44且本方法合 至步驟S34。在步驟S34中,本方法會再一次 曰二口 (1 )内是否存留空間。若有足夠的空間,則則守段 Π之ί個步驟往前推進直到EL資料會於步驟s “以 土下-個訊框。本方法會停留在本迴圈直到4中傳达 存留空間或直到未存留E L訊框。 、又内未 否ί ί⑺在^行ίΪ::立本?法會於步驟S36中判斷* 窗型⑺並於步糊中:目則$方法會往前推進以重設 若(W<(H則:2 咸目丽EL訊框’如底下所示:
S FALSER 若二 r :二
W F-l- 一 1 buf_end = min EL t J3# J ^ J J ^ ^ ( ^ ^ ^ ^ ^ ^ ^ ^ 因此’為了佔有(account for)這些額
第17頁 520606 五、發明說明(14) 外的位元,步驟S38再一次縮減目前EL訊框並重設窗型(W) 。該情況發生於當參數π Β π無法以n W π予以均勻分割時。再 者,這種情況可發生於步驟S 4 4中所傳送之資料封包必須 包含與位元並列之整數個位元組時。所以,會發生一種窗 型(W )終止之後會留有資料位元組之情況。另外,步驟S 3 6 中用於計算窗型(W)之公式會與步驟S30中所用的公式不 同。
在實現時,為了加強圖4中具體實施例之運作,亦可進 行一些進一步的修改。例如,若所增加的網路層高過所傳 送的封包則可予以調整。這可於步驟S44中介由以所增加 之高過量調整參數n A π及π Ε π之計算而予以處理。一網路亦 可能需要使所傳送的封包包含(與位元並列之)整數個位元 組。這亦可介由修改步驟S 4 4使n b i t s _ s e n t忸為許多個八 位元而予以處理。 另外,若用於傳送EL訊框而存留的空間小於一特定的最 小值(例如3個位元組),則會消除整個訊框。可介由忽略 此訊框並自參數π Βπ減去所忽略的額外量而予以處理。
圖5表示一種本發明可予以實現之視頻/影像處理裝置2 0 。介由實施例,系統2 0表示一電視傳送器、一衛星傳送器 、一電纜頭端、一網路節點、一網路伺服器、一無線網路 節點、一無線基地台、一桌上型、膝上型或掌上型電腦、 一例如卡式錄放影機(VCR)之視頻/影像儲存裝置、一數位 視訊記錄器(D V R )等,以及這些和其它裝置之組合或部 分0
第18頁 520606 五、發明說明(15) 裝置20包含一或多個輸入/輸出裝置24、一處理器25以 及一記憶體26。連接至一或多個輸入/輸出裝置24者為視 頻/影像源(可為複數個)2 2,其可表示,例如,一電視接 收器、一卡式錄放影機或其它視頻/影像儲存裝置。來源 (可為複數個)2 2另可表示一或多個用於接收來自一伺服 器或多個伺服器之視頻/影像之網路連接,其乃位於,例 如,一如網際網路之全球電腦通訊網路上、一廣域網路上 、一都會區域網路上、一局部區域網路上、一地面廣播系 統上、一有線網路上、一衛星網路上、一無線網路上、或 一電話網路上、以及這些與其它網路型式之組合或部分。
來自來源(可為複數個)2 2之輸入視頻/影像乃依照儲存 於記憶體2 6之一或多個軟體程式予以處理並用處理器2 5予 以執行以產生傳送於通訊媒介2 7上之輸出視頻資料。這些 軟體程式包含能以可標度之方式編碼流動性視頻之編碼器 。此流動性視頻亦可予以編碼並接著儲存於記憶體2 6中。 另外,亦可接收編碼前之視頻資料使其可予以傳送或儲 存於記憶體2 6、一帶子或一磁片而於之後傳送之。在此情 形下,處理器2 5不須用於編碼輸入視頻/影像。這是因為 編碼前之視頻資料可讀自記憶體2 6、帶子、磁碟或經由視 頻/影像源(可為複個)2 2予以接收。
前述供串流具有一電腦可讀碼型式之可標度視頻之方法 亦儲存於記憶體2 6中或讀自/下載於一記憶媒介,如 C D - R 0 Μ或軟碟片。再者,根據本發明,處理器2 5亦執行此 碼以於通訊媒介2 7上串流可標度視頻資料。
第19頁 520606 五、發明說明(16) 在圖5之其它具體實施例中,可使用硬體電路取代軟體 指令或與軟體指令組合以實現本發明。 應瞭解示於圖5之系統2 0之特定結構僅為實施例。熟諳 此藝者認識到本發明可用廣泛之另一系統結構予以實現。 儘管本發明已用多個特定之具體實施例予以敘述,應瞭 解本發明並非受限或侷限於此處所揭露之具體實施例。例 如,本發明不侷限於任何特定的壓縮架構、訊框型式或可 能性分佈。相反地,本發明乃希望函蓋附加之申請專利範 圍之範疇與精神内所包含之許多架構與修改。

Claims (1)

  1. 95年年
    正 修 520606 案號 90105407 六、申請專利範圍 1 . 一種供串 之方法,包含 於一給定 判斷該給 選擇一預 於該預定 傳送之;以及 於該給定 2. 如申請專 層資料之可標 傳送非加強層 3. 如申請專 層資料之可標 該頻寬漏失均 4. 如申請專 層資料之可標 判斷該給 於該給定 加強層資料之 5. 如申請專 層資料之可標 判斷該預 判斷是否 選擇一第 流包含基層資料與加強層資料之可標度視頻 如下步驟: 之時段傳送基層資料; 定時段内是否有頻寬漏失發生; 定的訊框數目以分佈該頻寬漏失; 的訊框數目内計算一加強層資料之減少量以 時段内傳送該加強層資料之減少量。 利範圍第1項之供串流包含基層資料與加強 度視頻之方法,進一步包含於該給定時段内 資料。 利範圍第1項之供串流包含基層資料與加強 度視頻之方法,其中該計算步驟之執行使得 勻分佈於該預定的訊框數目。 利範圍第1項之供串流包含基層資料與加強 度視頻之方法,進一步包含如下步驟: 定時段内是否仍有空間;以及 時段内自一第二給定時段傳送至少一部分該 減少量。 利範圍第1項之供串流包含基層資料與加強 度視頻之方法,進一步包含如下步驟: 定的訊框數目是否已經終止; 存在任何殘餘的加強層資料; 二預定的訊框數目以分佈該殘餘的加強層資
    O:\69\69855-911114.ptc 第22頁 9IJ1. 14 520606 _案號 9Q1Q5407_年月日__ 六、申請專利範圍 料; 計算一第二加強層資料之減少量以傳送該第二 預定的訊框數目;以及 於一第二給定時段内傳送該第二加強層資料之減少 量 0 6 .如申請專利範圍第1項之供串流包含基層資料與加強 層資料之可標度視頻之方法,其中該加強層資料具有一微 粒可標度架構。 7. —種供串流包含基層資料與加強層資料之可標度視頻 之方法,包含如下步驟: 於一給定時段内傳送基層資料; 若在該給定時段内發生一頻寬漏失則選擇一預定的訊 框數目; 將該頻寬漏失分佈於該預定的訊框數目以產生一加強 層資料之減少量;以及 於該給定時段内傳送該加強層資料之減少量。 8. 如申請專利範圍第7項之供串流包含基層資料與加強 層資料之可標度視頻之方法,其中該分佈步驟之執行使得 該頻寬漏失均勻分佈於該預定的訊框數目。 9 . 一種包含供串流包含基層資料與加強層資料之可標度 視頻之碼之媒介,該碼包含: 一第一傳送碼,用於於一給定時段内傳送該基層資 料; 一選擇碼,用於選擇一預定的訊框數目以分佈該頻寬
    O:\69\69855-911114.ptc 第23頁 520606 91, Ικ Η ' _案號90105407_年月日_Ifi_ 六、申請專利範圍 漏失, 一計算碼,用於計算一加強層資料之減少量以傳送於 該預定的訊框數目中;以及 一第二傳送碼,用於於該給定時段内傳送該加強層資 料之減少量。 1 0 . —種供串流包含一基層與一加強層之可標度視頻之裝 置,包含: 一記憶體,用於儲存可執行之碼;以及 一處理器,用於執行儲存於該記憶體之碼以(i )於一 給定時段傳送該基層資料,(i i )判斷在該給定時段内是否 有頻寬漏失,(i i i )選擇一預定的訊框數目以分佈該頻寬 漏失,(i v)計算一加強層資料之減少量以傳送於該預定的 訊框數目,以及(v)於該给定時段内傳送該加強層資料之 減少量。 11. 一種用於串流包含一基層與一加強層之可標度視頻之 裝置,包含: 用於於一給定時段内傳送該基層資料之裝置; 用於判斷該時段内是否發生一頻寬漏失之裝置; 用於選擇一預定的訊框數目以分佈該頻寬漏失之裝 置; 用於計算一加強層資料減少量以傳送於該預定的訊框 數目之裝置;以及 用於於該給定時段内傳送該加強層之減少量之裝置。
    O:\69\69855-911114.ptc 第24頁
TW090105407A 2000-03-01 2001-03-08 A method and apparatus for streaming scalable video TW520606B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/516,035 US7095782B1 (en) 2000-03-01 2000-03-01 Method and apparatus for streaming scalable video

Publications (1)

Publication Number Publication Date
TW520606B true TW520606B (en) 2003-02-11

Family

ID=24053849

Family Applications (1)

Application Number Title Priority Date Filing Date
TW090105407A TW520606B (en) 2000-03-01 2001-03-08 A method and apparatus for streaming scalable video

Country Status (6)

Country Link
US (1) US7095782B1 (zh)
EP (1) EP1183871B1 (zh)
JP (1) JP2003525547A (zh)
CN (1) CN1196339C (zh)
TW (1) TW520606B (zh)
WO (1) WO2001065855A2 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
US7483487B2 (en) * 2002-04-11 2009-01-27 Microsoft Corporation Streaming methods and systems
MXPA04012517A (es) * 2002-06-11 2005-02-17 Thomson Licensing Sa Servidor multimedia con adaptacion simple con condiciones dinamicas de perdida de red.
KR100486713B1 (ko) * 2002-09-17 2005-05-03 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
KR100917464B1 (ko) * 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
EP1478197B1 (en) * 2003-05-12 2006-03-08 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transmitting layers for scalable data services
EP1478198B1 (en) * 2003-05-12 2006-03-22 Matsushita Electric Industrial Co., Ltd. Method and apparatus for performing inter-frequency measurements
DE10353793B4 (de) * 2003-11-13 2012-12-06 Deutsche Telekom Ag Verfahren zur Verbesserung der Wiedergabequalität bei paketorientierter Übertragung von Audio-/Video-Daten
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
US8081755B2 (en) * 2005-05-20 2011-12-20 Microsoft Corporation JPEG2000 syntax-compliant encryption with full scalability
US7953224B2 (en) * 2005-05-20 2011-05-31 Microsoft Corporation MPEG-4 encryption enabling transcoding without decryption
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US9201842B2 (en) * 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8243789B2 (en) * 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
WO2008092104A2 (en) * 2007-01-25 2008-07-31 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
CN100575313C (zh) * 2007-07-05 2009-12-30 济南圣泉集团股份有限公司 一种利用甲醛废水进行发酵生产有机肥的方法
FR2923124A1 (fr) * 2007-10-26 2009-05-01 Canon Kk Procede et dispositif de determination de la valeur d'un delai a appliquer entre l'envoi d'un premier ensemble de donnees et l'envoi d'un second ensemble de donnees
CN101159686B (zh) * 2007-11-01 2010-04-14 北京航空航天大学 一种零延迟的基于滑动窗口的fgs带宽分配方法
EP2058968A1 (en) * 2007-11-07 2009-05-13 Thomson Licensing Method and apparatus for FEC encoding and decoding
FR2928807B1 (fr) * 2008-03-11 2017-04-07 Canon Kk Procede de transmission sur un reseau de communication d'un signal video pre-encode
US20100161716A1 (en) * 2008-12-22 2010-06-24 General Instrument Corporation Method and apparatus for streaming multiple scalable coded video content to client devices at different encoding rates
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US8566393B2 (en) 2009-08-10 2013-10-22 Seawell Networks Inc. Methods and systems for scalable video chunking
CN103210642B (zh) * 2010-10-06 2017-03-29 数码士有限公司 在http流送期间发生表达切换时传送用于自然再现的可缩放http流的方法
WO2013108954A1 (ko) * 2012-01-20 2013-07-25 전자부품연구원 하이브리드 전송환경에서 스케일러블 초고해상도 비디오 서비스를 위한 프로그램 구성 정보 송수신 방법, 효율적인 스케일러 계층 정보 전송을 위한 방법 및 스케일러 계층 정보 전송을 위한 장치
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US9532057B2 (en) * 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
MX368827B (es) * 2014-08-07 2019-10-18 Sony Corp Dispositivo de transmision, metodo de transmision y dispositivo de recepcion.
US20160080826A1 (en) * 2014-09-16 2016-03-17 Qualcomm Incorporated Systems, methods and apparatus for broadcasting pay-per-view video over enhanced multimedia broadcast multicast service
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
US10750217B2 (en) * 2016-03-21 2020-08-18 Lg Electronics Inc. Broadcast signal transmitting/receiving device and method
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
WO2020188273A1 (en) * 2019-03-20 2020-09-24 V-Nova International Limited Low complexity enhancement video coding
WO2020250599A1 (ja) * 2019-06-12 2020-12-17 ソニー株式会社 画像処理装置および方法
CN113422951B (zh) * 2019-09-20 2022-05-31 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
CN114731409A (zh) * 2019-09-20 2022-07-08 韩国电子通信研究院 图像编码/解码方法和装置、以及存储比特流的记录介质
CN112106362A (zh) * 2019-09-30 2020-12-18 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质
WO2021093837A1 (en) * 2019-11-15 2021-05-20 Mediatek Inc. Method and apparatus for signaling horizontal wraparound motion compensation in vr360 video coding
US12022126B2 (en) * 2019-11-22 2024-06-25 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
JP2023524000A (ja) * 2020-05-19 2023-06-08 グーグル エルエルシー 品質正規化ビデオコード変換のための動的パラメータ選択
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
EP4161076A4 (en) * 2020-05-26 2023-07-05 Huawei Technologies Co., Ltd. METHOD, DEVICE AND VIDEO TRANSMISSION SYSTEM
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质
US20230412812A1 (en) * 2022-06-15 2023-12-21 Tencent America LLC Systems and methods for joint signaling of transform coefficient signs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5555244A (en) * 1994-05-19 1996-09-10 Integrated Network Corporation Scalable multimedia network
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US5828788A (en) * 1995-06-29 1998-10-27 Thomson Multimedia, S.A. System for processing data in variable segments and with variable data resolution
US6075768A (en) * 1995-11-09 2000-06-13 At&T Corporation Fair bandwidth sharing for video traffic sources using distributed feedback control
US6269078B1 (en) * 1997-04-04 2001-07-31 T. V. Lakshman Method and apparatus for supporting compressed video with explicit rate congestion control
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus

Also Published As

Publication number Publication date
WO2001065855A3 (en) 2001-12-27
US7095782B1 (en) 2006-08-22
CN1381139A (zh) 2002-11-20
WO2001065855A2 (en) 2001-09-07
EP1183871A2 (en) 2002-03-06
JP2003525547A (ja) 2003-08-26
EP1183871B1 (en) 2017-01-11
CN1196339C (zh) 2005-04-06

Similar Documents

Publication Publication Date Title
TW520606B (en) A method and apparatus for streaming scalable video
De Cuetos et al. Adaptive rate control for streaming stored fine-grained scalable video
Radha et al. Scalable internet video using MPEG-4
JP4965059B2 (ja) ビデオストリームの切り替え
JP5268915B2 (ja) マルチメディア音声会議向け視覚的構成の管理技術
US6580756B1 (en) Data transmission method, data transmission system, data receiving method, and data receiving apparatus
TWI401918B (zh) 傳送指示接收器緩衝架構之緩衝參數信號的通訊方法
KR20040069360A (ko) 클라이언트 대역폭 또는 성능에 기초한 타겟된 스케일가능한 비디오 멀티캐스트
MX2007000252A (es) Sistema de colocacion en capas del contenido para el envio programado en una red de datos.
JP4373012B2 (ja) データ伝送
KR20050052531A (ko) Ip 네트워크를 통해 스캐일 가능한 코드화된 비디오를전송하기 위한 시스템 및 방법
Chakareski et al. RaDiO Edge: Rate-distortion optimized proxy-driven streaming from the network edge
Campbell et al. Dynamic QoS management for scalable video flows
Fankhauser et al. WaveVideo–An integrated approach to adaptive wireless video
US7228535B2 (en) Methods and apparatus for multimedia stream scheduling in resource-constrained environment
JP4406816B2 (ja) 受信装置および受信方法、記録媒体、並びにプログラム
Merz et al. Iterative transmission of media streams
Garcia et al. QoS support for distributed multimedia communications
JP2006295601A (ja) 通信システム、送信装置および方法、受信装置および方法、並びにプログラム
Pliakas et al. Scalable Video Streaming Traffic Delivery in IP/UMTS Networking Environments.
Hong et al. Incorporating packet semantics in scheduling of real-time multimedia streaming
Psannis et al. QoS for wireless interactive multimedia streaming
Zink et al. Layer-encoded video streaming a proxy's perspective
Aurrecoechea et al. Meeting QoS challenges for scalable video flows in multimedia networking
Pourmohammadi et al. On the Design of a QoS-Aware MPEG-4 Multimedia Server

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MM4A Annulment or lapse of patent due to non-payment of fees