TW574831B - Generalized reference decoder for image or video processing - Google Patents

Generalized reference decoder for image or video processing Download PDF

Info

Publication number
TW574831B
TW574831B TW91121528A TW91121528A TW574831B TW 574831 B TW574831 B TW 574831B TW 91121528 A TW91121528 A TW 91121528A TW 91121528 A TW91121528 A TW 91121528A TW 574831 B TW574831 B TW 574831B
Authority
TW
Taiwan
Prior art keywords
patent application
scope
buffer
item
decoder
Prior art date
Application number
TW91121528A
Other languages
English (en)
Inventor
Jordi Ribas-Corbera
Philip A Chou
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Application granted granted Critical
Publication of TW574831B publication Critical patent/TW574831B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Description

574831 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明説明（） 發明領域： 本發明係有關於影像及視訊信號，以及其他像是通話 及音訊等時間變化信號的解碼作業。 發明背景： 在視訊編碼標準裡，若可由一連接於一編碼器輸出之 解碼器的數學模型來解碼某一位元串流，則意味該者至少 在概念上具有相容性。這種模型解碼器眾知為H.263編碼 標準内的假設參考解碼器（HRD)，以及MPEG編碼標準中 的視訊緩衝辨識器（VBV)。一般說來，真實的解碼器裝置 (或終端機）包含一解碼器緩衝器、一解碼器以及一顯示器 單元。如一真實解碼器裝置係按照該解碼器的數學模型所 建構’並在特定條件下將一相容位元串流傳送到該裝置， 則該解碼器緩衝器不會出現竭流或溢流問題，同時會正確 地執行此解碼作業。 先前參考（模型）解碼器是假定在給定之固定位元速率 下透過一頻道來傳送一位元串流，並且會被具有某給定緩 衝器大小之裝置（經一給定緩衝延遲後）所解碼。因此，這 些模型會相當地缺乏彈性，並且無法滿足現今許多重要視 訊應用，像是廣^播現場視訊，的要求，或者是在網路路徑 上’按照各種峰值位元速率而將預先編碼之隨選視訊串流 傳輸給具各式緩衝器大小之裝置。 在先前的參考解碼器中，會按給定固定位元速率收到 視訊位元串流（通常是按該串流每秒位元數的平均速率）， 且會被存放在解碼器緩衝器内，一直到緩衝器處理某一所 欲填度水準時為止。例如，在解碼作業可由此重新建構出 第4頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐） ' 裝.........訂.........線 (請先閲讀背面之注意事項再填寫本頁) 574831
五、發明説明（） 一輸出視框之前，麻舍雪i 5 + ， ^ 需要至^對應於視訊資訊之一初始 視框之資料β此所欲匕進亦圭 、 欲水旱可表如初始解碼器緩衝器填度， ...............f (請先閱讀背面之注意事項再填寫本頁) 且按-與傳輸或起始延遲成直接正比的固定位元速率。一 旦觸抵此填度，該解碼器會(基本上是)立即地移除該序列 之第視訊視框的各位元。在此，也將會按循序的時間間 隔而立即地移&、解碼與顯示後續視框的位元。 這種參考解碼器係按固定位元速率、緩衝器大小及初 始延遲而運作。然而，在許多目前的視訊應用裡(即如經網 際網路或ATM網路所位元串流傳送），峰值頻冑會按照網 路路徑而變化 ❹，峰值頻寬會根據接往該網路之連線 究係藉數據機、ISDN、DSL、、缓線等而有所不同。此外， 該峰值頻寬也或將根據網路狀況，像是根據網路壅塞情 形、連線的使用者人數和其他的已知因素，而依時間出現 波動而又進步，視訊位元串流會被遞送至具有不同緩 衝器容量的各種裝置，包含手機、個人數位助理（pDA)、 個人電電腦、口袋型計算裝置、電視機頂盒、光碟相關播 放器等等，且係依具不同要求之各式情境所產生，即如低 線·· 延遲串流傳送、漸進式下載等。 經濟部智慧財產局員工消費合作社印製 現存的參考解碼器並不會視該等變數而有所調整。同 時’編碼器通常^是不會也無法事先得知對於某一給定接收 者會是哪些變數條件。因此，常常會不必要地浪費許多資 源及（或）延遲時間，或者是在許多實例下並無法適用。 發明目的及概述： 本發明提供一種經改良之全域參考解碼器，其可對一給 定位元串流按照任意組數之速率及緩衝器參數加以運作，其 第5頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐) 經濟部智慧財產局員工消費合作社印製 574831
五、發明説明（） 可描述稱為溢漏集桶模型或參數集組之特徵，並, 2個數值（R，B，F)，其中R代表傳輪位元速率B代表缓衝 器大小，而F表示初始解碼器 .^ ^ 衝器填度。其中，F/R表示 起始或初始緩衝器延遲。 一種編碼器可產4滿和Ar - ^ 訊位疋串流，經含納於所欲N個 個數之溢漏集桶内，或是在產4分从-士 π处 在產生該位兀串流之後，該編碼器 可僅計算Ν組參數。該編碼器會# β ^ ^ 嘗在像疋初始串流標頭或離出 頻帶内’將此數值，並連同相對 逆Ν ^目對應個數的（R，B，F)集組，傳給 該解碼器（至少）一次。 。田該解碼器收到時，如出現至少兩組，此全域參考解碼 器會選出其-或是於各溢漏集桶參數之間進行内插，且可從 而按任何所欲之峰值位元速率、緩衝器大小或延遲來運算。 更特別是n所料㈣輸料R，，這在料器處為已 头者該全域參考解碼器可（根據可用的（r，B，f)集組，藉由 込擇’、於一或更多間内插或者是藉外插方式）來選出最 小緩衝器大小及延遲’依此能夠對該位元串流進行解瑪，而 ，不致產生緩衝器竭流或溢流問題。或另者，對__給定解碼 器緩衝器大小B，，此假設性解碼器會選擇並且按最小所需峰 值傳輪速率來運作。 全域參考解,碼器的益處包括内容供應商可僅需產生該 位70串流一次，而伺服器可利用具不同峰值傳輸速率的各種 頻道，將其遞送至多個具不同容量的裝置。或另者，一伺服 器及一終端機可互詢對於給定網接條件下的最佳溢漏集桶 參數，即如會產生出最低起始（緩衝器）延遲者，或是對於該 裝置給定緩衝器大小而要求最低峰值傳輸速率者。在實作 上’除了可忽略的額外位元量俾利傳通溢漏集桶資訊以外， 第6頁 本紙張尺度適用中國國家標準(CNS)A4規格(210χ 297公釐) (請先閲讀背面之注意事項再填寫本頁)
574831 五、 第 經濟部智慧財產局員工消費合作社印製 A7 —------ —_B7_ 發明説明（） 確可減少對某些終端機的緩衝器大小及延 县讦隊你 β % ~數量級，吱 降低一顯著因數的峰值傳輸速率（即如四倍）， 提南信號雜訊比（SNR)或許數個dB @無須增加平:或）可 率。 θ加十均位元速 圖.式簡單說 按如後述詳細說明，並連同隨附圖式，其他益處與優點 可為顯而易見，其中： 第1圖為表示一可併含本發明之示範性電腦系統區塊圖； 圖為表示根據本發明之一特點，供以進行視訊及影像資 料編石馬及解碼作業之經強化編碼器及全域參考解碼 器與彼等個別緩衝器區塊圖； 圖係當含於一參數（R，B，F)溢漏集桶時，緩衝器填度對於 時間上之圖式； 第4圖為對於一代表性視訊片段，其速率對緩衝器大小之曲 線表示圖；及 第5圖為對於一代表性視訊片段，其速率對緩衝器大小曲線 表示圖，此者係藉兩個提供給該全域參考解碼器之溢 漏集桶模型（參數集組）’以根據本發明之一特點進行 内插及外顏運算。 (請先閱讀背面之注意事項再填寫本頁) 第 第7頁 圖號對照說明： 120運作環境 124記憶體 128鍵盤 132應用程式 122處理器 126顯示器 130作業系統 1 3 4通知管理員 本紙張尺度適用中國國家標準(CNS)A4規格(210X 297公釐)
發明説明( 136電力供應 144音訊產生 強化編碼 器 器 器 (管線） 206傳輸媒體χ 口哪 全域參考解碼器 2 14溢漏集桶參數 140發光二極體 200輸入 2 0 4編瑪緩衝器 208解碼器緩衝器 212輸出資料 經濟部智慧財產局員工消費合作社印製 f 1圖說明一可實施本發明之適當運作環境1 2〇範例， 120、疋^合Γ解碼影像及（或）視訊資料之運作。該運作環境 r图僅、適虽運作環境之範例，而非意為對本發明功能運用 統==任何限制。其他可適於應用本發明之眾知計算系 腦、％境及（或）組態包括（但不僅限於）個人電腦、伺服器電 备手持式或膝上型裝置、多重處理器系統、微處理器基礎 、、先可程式化消費性電子設備、網路PC、迷你電腦、 :主機電腦、包含任何前述系統或裝置之分散式計算環境 例如，可能編碼作業影像及（或）視訊資料通常是會在 、起目刖手持式個人電腦更具處理能力的電腦上執行，但是 並^理由編碼作業不得在目前的個人電腦上進行，或是在更 具能力之裝置上1進行解碼作業。 本發明可按一般電腦可執行指令之情境加以說明，像是 程式模組，由-或更多電腦或其他裝置執行。—般說來，程 式模組包括能夠執行特定卫作或是實作特定抽象資料型態 之副程式、程 <、物件、元件、資料結構等等。料，在各 種實作方式裡，確可視需要將程式模組的功能性予以合併或 第8頁
(請先閲讀背面之注意事項再填寫本頁} 裝· -訂- 線_ 574831 A7 五、發明説明（） 散佈。計算裝置12〇 一般會 又會匕括至J的電腦可讀取媒體。電 細可續取媒體可為任何能夠 被该汁异裝置120所接取的可 用媒體。該電腦可讀取媒體 」匕^電恥儲存媒體及通訊媒 體’但此僅為其中一例，仍可古堂a 2 ^ 仍了有其匕選擇。電腦儲存媒體包 括揮發性及非揮發性、可 、 ^早赞[T移除式與非可移除式媒體，該者可 為按任何方法或技術所實作，而 一 叩用采儲存像是電腦可讀取指 令、負料結構、程式模組或其他資+ 人八他頁枓之責訊。電腦儲存媒體 包括（但不僅限於）RAM、ROM、Epppnu ^ M EEPR0M、快閃記憶體或其 他記憶體技術、CD-R0M、數位光碟（DVD)或其他光學儲存 設備、磁卡、磁帶、磁碟料設備或其他磁性儲存裝置，或 是任何其他可用來存放所欲資訊，且可被該計算裝置12〇所 接取的媒體。通訊媒體通常會實作電腦可讀取指令、資料結 構、程式杈組或其他在像是載波或其他傳送機制之調變信號 信號中的資料，並包含任何資訊遞送媒體。此名詞「調變資 料信號」意思是具有-或更多其特徵集組，或是按將資訊編 碼於該信號内之方式而改變的信號。通訊媒體包括像是有線 網路或有向固接連線的有線媒體，以及音響、射頻（rf)、紅 外線及其他無線媒體等無線媒體，但以上列舉者僅為範例'， 仍可有其它選擇‘。在此亦應包含上述各種組合，而仍歸屬該 電腦可讀取媒體範圍。 第1圖顯示其依該等手持式計算裝置丨2〇的功能性元 件，其中包含處理器122、記憶體124、顯示器126、鍵盤 128 (此可為實體或虛擬鍵盤）。該記憶體124 一般會含有揮 發性記憶體（即如RAM)以及非揮發性記憶體（即如r〇m、 第9頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐） (請先閲讀背面之注意事項再填寫本頁} 裝· 線- 經 濟 部 智 慧 財 產 局 員 工 消 費 合 社 印 製 574831 發明説明（） PCMCIA卡等等）兩者。一作 作業系統130可常駐於 124内，並在該處理器12 以隱體
上轨仃，而該者可像I 的Windows㊣CE作孝李矫弋甘从 疋微軟公司 卞系糸統或其他作業系統。 -或更多應用程式132會被載入記憶體 於該作業系統13〇上執行。應 ：執仃 程程式、ΗΜ (個人資訊管理）程式、文書處理程式、試算表 程式、網際網路湖覽程式等等。手持式個人電腦12〇也可包 括被載入S己憶體12 4内的通知管理昌 ,^ 艰犬e理員134，此者會執行於處 理器122上〇該通知營王軍昌 遇夭&理員134可處理譬如從應用程式132 來的通知請表。 該手持式個人電腦120具有電力供應器136，此者可實 作為一或更多個電池。該電力供應器136可進一步包括一外 電力來源、可跨載或重新充電該等内建電池’像是α。變 壓器或一經充電之置接基座。 如圖1所示之示範性手持式個人電腦12〇具有三種外部 通知機制·一或更多的發光二極體（LED) 140以及一音訊產 生裔144。這些裝置可直接地耦接於該電力供應器136，使 得當進行通知時’這些會如通知機制所表示般保持為啟動狀 Si —段時間’然該手持式個人電腦處理器122與其他元件會 仍屬關閉以保留電池電力。該LED 140最好是維持啟動，一 直到使用者採取動作為止。注意現有的音訊產生器144會耗 用目前的手持式個人電腦電池過多電力，因此當系統的其他 部分確已啟動，或是在經啟動後的某個確定時段内，會將音 訊產生器設計為關閉狀態。 第10頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐) ...............f (請先閲讀背面之注意事項再填寫本頁) 訂· 線·· 經濟部智慧財產局員工消費合作社印製 574831 五 發明説明（ /益漏集桶係一種編碼器或解碼器緩衝器狀態（或填度） 按如時間之函數的概念模型。第2圖所示者即為此概念，其 中輸入資料200會被饋送到一強化編碼器2〇2 (如後所述）’ 此者會將為料編碼置輸入該編碼器緩衝器204内。經編碼之 貝料會透過某種傳輸媒體（管線）206傳送到一解碼器缓衝器 2〇8 ’然後由解碼器21〇將其解碼成輸出資料si],像是影 像或視訊視框。為保持簡易性，在此會主要說明該解瑪器缓 衝器208，因為該編碼器與該解碼器緩衝器的填度在概念上 會屬互補者，意即在解碼器緩衝器内的資料愈多，在編碼器 緩衝器内的資料就愈少，並反是。 溢漏集桶模型之特徵是由一組三個參數，ΚB及ρ， 所描述，其中尺代表位元進入該解碼器緩衝器2⑽内的峰值 ,TG速率（按每秒位疋數）。在固定位元速率情境下，r通常 是頻道位元速率和該視訊或影像片段的平均位元速率，並在 應於該#線2()6的寬度π代表集桶或解 碼器緩衝器綱（按位元數），此者可平順視訊位元速率的波 動性》此緩衝器大小無法大於該解碼器裝置的實體緩衝p 而F表示初始解碼器緩衝器填度（亦按位元數），在碼 開始從緩衝器中，移除各位元之前需要先出現。？會至小二 現該初始視框之編碼資料量的量值。若不計 夕\ 因為本發明範例考量屬即時性者，則該？及r可決心此係 或起始延遲D,其中D=F/R秒。 、疋該初始 如此，在-溢漏集桶模型中，會按速率&將 到解碼器緩衝器208内，一直到填度水準達F立几輸入 過D秒），然後再移出第一視框所需要的位元，:、止（意即經 0 ’（這在本 第11頁 本紙張尺度朝巾@目家標準(LNS)A4規格(2歌297公爱) 1 3 8 74 5 五
發明説明( 發明耗例中為立即性）。位元舍一古t ^ , A ；位兀會直按速率R進入到該緩衝 器内，此解螞器會於草此仏宗ώ 、、 呆二給疋時點處而移出各後續視框的 机匕，_··、位元，通常是（但非必要者）每1/Μ秒，在 此Μ為視訊的視框速率。 第圖說明一位元串流之解瑪器緩衝器jt真度在時間上 、 ^ <立％串流係含納於-如前所述之參數溢漏集桶 (R，B，y)内4其中第i視框内的位元數為bi。在第3圖内， 會從緩衝器裡將經編碼之視訊視框移除(一般是會按照視訊 :框速率），即如圖中緩衝器填度下降所表示。更特別是， 令Bi為在、時間ti處移除bi位元之前的解碼器緩衝器填度。 廣義的溢漏集桶模型是根據下列等式而運作：
B〇=F
Bi + 1=min(B，B卜bi + RGm-tO)，，… 通常，ti + ^tpl/M秒，在此μ為位元串流的視框速率（按視 框/秒）。 如果該解碼器緩衝器208未出現竭流問題（第2圖），則 具參數（R，B，F)之溢漏集桶模型會含有一位元串流。由於編碼 器及解碼器緩衝ϋ填度會是彼此互補，因此這會等於該編碼 器緩衝器204無溢流問題。然而，該編碼器緩衝器2〇4 (即 溢漏集桶）可為寫無狀態，或等同地該解碼器緩衝器2〇8可 為全滿狀態，此時無進一步位元會被從該編碼器緩衝器204 傳送到該解碼器緩衝器208。所以，該解碼器緩衝器208當 為全滿時會停止接收位元，這就是在上述第二等式中使用 min運算子的原因。由於彼此為互補，因此全滿的解碼器緩 衝器208表示該編碼器緩衝器204現為空無，即如後文對於 可變位元速率（VBR)串流所說明者。 第12頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐) ...............f (請先閲讀背面之注意事項再填寫本頁) 訂· 線- 經濟部智慧財產局員工消費合作社印製 574831 A7 B7 五、發明説明（ (請先閲讀背面之注意事項再填寫本頁} 注意可在各式溢漏集桶組態裡包含一給定視訊串流。例 如，假使一視訊串流包含於一具有參數（R,B，F)之溢漏集桶 内，則這也會被含納於一具有更大緩衝器（R，B，，F)之溢漏集 桶中，在此B，大於B,或是被含納於一具有更高峰值傳輸速 率（R’，B，F)之溢漏集桶中，在此R，大於R。此外，對於任何 位元速率R，，會有一含有（時間有限）視訊位元串流的緩衝器 大小。在最劣情況下，如R，逼近於零，該緩衝器大小會需要 如位元串流本身一樣大。換句話說，只要緩衝器大小足夠 大，即可按任何速率來傳送該視訊位元串流（無論該月段的 平均位元速率為多少）。 第4圖為對於給定位元串流，最小緩衝器大小相 對於峰值位70速率Rmin圖式，其中利用上述第二等式，在 此所欲之初始緩衝器填度會被設定為該總緩衝器大小的固 定比值部分。第4圖内的曲線表示為按峰值位元速率^傳送 該串流’解碼器需要緩衝至少Bmin⑴個位元。此外，即如按 本圖所知，更高的峰值速率會要求較小的緩衝器大小，並因 此較短的起始緩衝器延遲。或另者，本圖表示若該解碼器緩 衝器的大小為b，則對傳送該位元串流所要求的最低峰值速 率會疋相關的Rmin(b)。此外，對於任何位元串流之（Rmin，Bmin) 組對的曲線均屬t片段線性以及凹向上。 經濟部智慧財產局員工消費合作社印製 根據本發明之一特點，如該曲線至少兩點是由經強化編 碼器202所提供，則全域參考解碼器21〇可選取一點，或各 點間線性内插，或是外插各點以獲某點（Rinterp，Binterp)，此者 會比起（Rmin，Bmin)略大但較為安全。由於係顯著序列，因 此可安全地縮減緩衝器大小，在許多實例中可按其平均速 率’相對於含有位元串流之單一溢漏集桶而約減少一個數量 第13頁 本紙張尺度適用中國國家標準(CNS)A4規格(210χ 297公爱) 1 3 8 74 5 發明説明（） 級，如此亦可縮短延遲。或另者，對於相同的延遲性，（可) 降低約四分之-因數的峰值傳輸速率，或是（可）提高信號雜 訊比（SNR)數個dB。 為此，會藉排置方式來強化該編碼器2〇2，以產生至少 兩組溢漏集桶參數214，即如（Rl，Bl，Fi)、、、 (Rn，Bn，Fn)，這些會對應到可適用於一給定視訊或影像片段 之速率-緩衝器曲線上至少兩個點（即如合理地按R及（或）b 的範圍所相隔P該經強化編碼器2〇2然後會提供溢漏集桶 參數集組，連同其個數N,給該全域參考解碼器21〇，使得 藉將彼等插入於一初始串流標頭内，或另插入於某種離出頻 帶裡。注意即使是對於相當大的N值（即如數十個溢漏集 桶，不過二到四個通常是會足以合理地表示R-B曲線），當 相較於典型的視訊或影像資料時，提供此項資訊所必要的額 外位元組數量（如一位元組來表示N，加上每溢漏集桶，或 參數集組，為八個位元組）確可忽略不計。 此外，注意到在較高位元速率下，内容產生器可於位元 率流内的不同時間點處決定標定出不同溢漏集桶模型，這在 每當於傳輸過程中連線失效且於位元串流中間重新開始時 將會非常有用。例如，可按每十五分鐘間隔提供溢漏集桶模 型，使得解碼器斤藉由在適當時間點處，重新進行選取、重 新進行内插或重新進行外插，而可視需要改變其運作條件 (即如其緩衝器大小或速率）。 可由編碼器來選取所欲之數值N (注意如N=1，該全域 參考解碼器210會如一 MPEG視訊緩衝辨識器般外插出各 點）。編碼器可選擇以預選定各溢漏集桶數值，並按一可確 保符合各溢漏集桶限制項的速率控制來編碼該位元串流，將 第14頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐) ...............f (請先閲讀背面之注意事項再填寫本頁) 訂· 線·· 經濟部智慧財產局員工消費合作社印製 574831 五 A7 B7 發明説明（） 位70串流編碼，以及然後利用前述等式來計算各個溢漏集桶 參數集組，這些會在N個不同的B值處含有該位元事流， 或是進行兩者。第一種做法是適用於現場或隨選傳輸作業， 而另一種是適用於隨選方式。 在本發明中，可知在該全域參考解碼器210處，該解碼 器210可決定意欲使用哪一個溢漏集桶、知悉彼所可用之峰 值傳輸速率及（或）其實體緩衝器大小。或另者，該全域參考 解碼器210可線性地對這些點處内插於間或自此外插，以尋 得對於一給定組態的適當參數集組。第5圖顯示兩個溢漏集 桶參數集組及其線性内插（R，B)值。為 ： …可表如細虛線，而溢漏集桶模型(Rx，:二 k供的R及B值可表如星號。而從（^)到队，^)的實線 表不内插數值。任何從此實線上所選出的r < B組對皆可 適當地維持(即如不致出現溢流或竭流問題)該解碼器緩衝 器208。也可從這些點外插獲得溢漏集桶參數即如 中的粗虛線所表示，且再次地，任何從此實線上所選出的汉 或B組對皆可適當地維持該解碼器緩衝器。 於點k及點k+1之間所内插的緩衝器大小 列等式： 曰付σ下 ...............裝： (請先閲讀背面之注意事項再塡寫本頁} 訂· 線· Λ+1 R,
Bt 經濟部智慧財產局員工消費合作社印製 其中 Rk<R<Rk+l。 類似地，亦可按線性方式内插出 度F : 該初始解碼器緩衝器填
B
Rk+i_Rk Rk+l-R 其中 Rk<R<Rk + 1。 +1 第15頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐） 574831 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明説明（） 所獲具參數（R，B，F)之溢漏集桶會保證含有該位元串 流，這是因為（可由數學證明）對於r及F而言，該最小緩衝 器大小Bmin係屬凹向上，這意思是對應於任何凹向上組合 (R，F) = a(Rk，Fk) + (l-a)(Rk+1，Fk+1)，0<a<1，的最小緩衝器大小 Bmin 會是小於等於 B = aBk + (l-a)Bk+1。 即如前述，當R大於RN時，溢漏集桶（r，Bn，Fn)也會含 有該位元串流，由此當RgRN時，此Bn& Fn會是所建議的 緩衝器大小及初始解碼器填度。如r小於R1，則可利用上 界,在此T為該串流按秒的時間長度。可利 用外插法來算出這些位於N個點範圍之外的（R，B)數值。 然應注意該解碼器並不需要選取、内插或外插這些溢漏 集桶參數K由另一實體來選擇供以&出單一集組給該解 碼器的參數，而然後該解碼器再來利用此單一集组。例如， 給定-些資訊，像是一解碼器的要求項目，飼服器可決定(透 過選擇、内插或外插）一組適當的溢漏集桶參數以送交給一 解碼，然後該解碼器會利用僅單一參數集組來解碼。該词服 器或解碼器的代理者也可進行選取作業，解碼器無須觀察到 -個以上的溢漏集桶資訊。換言之’無須解碼器決定，饲服 器可進行決定，Φ或可藉祠服器與客戶端解碼㈣的參數協 商作業。然-般，來，即以本發明，決定一些適當溢漏集桶 模型的方式，是根據至少兩個溢漏集桶模型而按事先或動態 方式進行。 〜 可從在解碼器緩衝器圖式中出現最高及最低填度值之 時間點，即如第3圖所示者，來計算出對一給定位元_流之 R-B曲線的數值。更特別是，對含於—參數溢漏集桶（r，b f) 内之位元串流，分別考慮解碼器緩衝器填度最高及最低值的 第16頁 C請先閲讀背面之注意事項再填寫本頁> 裝· -訂· 線- 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐) 574831 A7 五、發明説明（ 兩個時間點（tM，tm)。可在數種情況下觸抵該填度最高及最 低值，但是考慮到最大值組對（tM，tm)，使得tM <加。假定 適當地算出該溢漏集桶，B為對於數值R、F而含有該位元 串流的最小緩衝器大小，則
B
stM 在此丄b(t)為該視框在時間t上的位元數，而M為按視框/ 移為單位的視框速率。在此等式裡，η為時間與加之間 的視框數，而C為這些視框的位元數總和。 可將此式詮釋為直線B(r)上的一點，在此r=R，同時_ n/M為該直線的斜率。存在一位元速率範圍re[R_ri，R+r2]， 使得最大的數值tM及tm組對會保持同值，如此上述等式對 應為定義與該位元速率r相關之最小緩衝器大小B的直線。 如該位元速率Γ係離出於上述範圍，則至少數值tM及（或）tm 其中一者會改變，如此若r> R + r2，則tM與tm之間的時間 距離會變小’位於定義此B(r)之新直線内的η值也會減少， 而個別直線的斜率會變大（負值減少）。若1： < R-rl，則tM與 門的時間距離會變大，位於定義此B⑴之新直線内的^ 值也會增加，而嗰別直線的斜率會變小（負值增加）。 在此’可將對於一位元速率範圍（或相關η值）之組對 (tM’tm)值以及某些c值（對一給定組對會至少一個），存放在 位凡串流的標頭内，並因此可利用上述等式來獲得此片段 線性B (:)曲線。此外，當編碼器既已產生一位元串流後，可 利用該等式來簡化溢漏集桶模型參數的計算作業。 在測試作業裡，會產生出如第5圖的位元串流，而獲得 第17頁 本、-氏張尺度制巾g g轉準(CNS)A4規獻297公爱) .............Ί裝： (請先閲讀背面之注意事項再填寫本頁) -訂· 線丨 經濟部智慧財產局員工消費合作社印製 1 3 8 74 5 五 A7
發明説明( 797kbps的平均位元逮率。 的固定傳輸速率下，解碼器舍圖所概不，在797Κ¥ 大小（R 以會需要、約IMOOKbits的緩衝器 起始U會:ΓΓ解碼器緩衝器填μ於i8，Q°QKbis， 、阳％:遲會是約22 5秒。 所漥4、a妨， 如此本編碼作業（未藉逮率控制 生）會藉達2 2 · 5秒進行位亓孩〃 度it f彳眘# π 移 俾以對其整體編碼長 度違到實質最佳的可能品質。 · 第5圖也顯示出在2’5嶋ps的峰值傳輸速率（即如2 ^衝CD的視訊位元串流部分），該解碼器僅需要Μ·" 小’（Ry，By)，而這對於消費性硬體裝置而言會是合 理的。以初始解碼器緩衝器填度等於2,272Kbits，起始延遲 會僅約0 · 9秒。 口如此，對於這種編碼方式，兩個溢漏集桶模型或概已足 夠 即如（R=797KbPs，B = l 8,000Kbits，F=l 8,000Kbits)而 (R-2’5〇〇Kbps，B = 2,272Kbits，F = 2,272Kbits)。這第一個溢漏 集桶參數集組能夠在一固定位元速率頻道上進行視訊傳 輸，延遲約為22.5秒。這個延遲對於許多情境或屬過久， 但對於網際網路電影串流傳送或可接受。而第二個溢漏集桶 參數集組能夠在一峰值速率為2,5〇〇Kbps之分享網路上進行 數訊傳輸，或是可從2倍速CD進行本地播放，其延遲約為 〇·9秒。這種低;^ 一秒的延遲結果對於按類似VCR (錄影帶 播放器）功能的隨機接取播放會是可接.收者。 當考量到當出現在位元串流中僅標定第一溢漏集桶而 無第二溢漏集桶時，好處就會極為明顯。在此情況下，即使 是當在具2,500 Kbps峰值位元速率之頻道上播放時，該解碼 器會利用大小為18,000Kbps的緩衝器，而因此延遲會是 F/R=18,000Kbps/2,5 00Kbps = 7.2秒。即如可瞭解者，這樣的 第18頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐) ..........:…f (請先閲讀背面之注意事項再填寫本頁) -訂· 線- 經濟部智慧財產局員工消費合作社印製 574831 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明説明（） 延遲對於隨機存取播放，像是類似VCR功能，屬不可接受 者。然而’如另標以第二溢漏集桶，則如前述般在速率 2,500Kbps時，缓衝器大小會驟降至2,272Kbps，並且延遲 會降為0 · 9秒c» 另一方面，如僅標定第二溢漏集桶，而無第一者，則在 797Kbps的固定傳輸速率，即使是智慧型解碼器也會被強迫 採用遠大於所必須的緩衝器，以確保該緩衝器不致溢流，即 B，=B + (R-R’）T = 2,272Kbps + (2,5 00Kbps-7 97Kbps)x 130 秒=22 3, 662Kbps。即使是在該給定裝置中存有更多的可用記憶體， 這會對應到28 1秒的初始延遲，或近乎五分鐘，而這是遠超 乎可接受的範圍。不過，如亦標定第一溢漏集桶，則即如前 述在速率797Kbps下，緩衝器大小會降至18,〇〇〇Kbps，而 延遲降為22.5秒。 此外，當標定兩者溢漏集桶時，解碼器可對797Kbps 與2,500KbpS之間的任何位元速率，按線性方式（利用上述 内插公式）於其間内插，藉此達到對於任何給定速率的近乎 最小緩衝器大小及延遲。且相較於按僅單一溢漏集桶在 797Kbps與2,500Kbps間（含）的外插運算，在低於797Kbps 和高於2,500KbPs的外插作業（即如第5圖粗虛線所表示）也 可更效率。 即如前例所呈現，即使是僅兩位元組溢漏集桶參數也可 供將緩衝器大小減少一個數量級（即如在一例中為223,662 到 18,〇〇OKbits，而在另一例中為 18,〇〇〇 到 2,272Kbits)，而 在、、’σ定峰值傳輸速率，也可將延遲縮短一個數量級（即如在 例中為281到22.5秒，而在另一例中為7·2到〇 9秒）。 或另者，有可能對一給定解碼器緩衝器大小來減緩該峰 第19頁 本紙張尺度適用巾國國家標準(CNS)A4規格⑺似撕公爱)' (請先閲讀背面之注意事項再填寫本頁) 裝· 訂· 線 574831 A7 B7 五、發明説明（） 值傳輸速率。的確，即如從第5圖所明知，若可藉内插及（或） 夕。卜插多個溢漏集桶來獲得該R-B曲線，則具有固定實體緩衝 / * j的解碼器確有機會能夠選出所需以安全解竭該位元 串、/;,L而不致出現解碼器緩衝器竭流問題的最小峰值傳輸速 率。例如，假使一解碼器具有18,〇〇〇Kbits大小的固定緩衝 器’則用以編碼的峰值傳輸速率可低達797Kbps❹不過，如 僅軚定第一溢漏集桶，而無第一者，則解碼器可將位元速率 降低到不小於 R，=R 一（B，_ B)/T = 2 5()()Kbps 一
Kbits U72Kbits)/13〇 秒=2,379Kbps。在此情況下，相較 於利用單一溢漏集桶，對於相同的解碼器緩衝器大小，利用 僅兩個溢漏集桶可將峰值傳輸速率減少四個因數。 具有多個溢漏集桶參數也可在相同平均編碼速率下改 善重新建構視訊的品質。現請考慮一情況，其中可用到兩個 溢漏集桶以進行編碼作業，即如前述，藉此位於解碼器的資 訊’若該峰值傳輸速率為797Kbps，則可按22·5秒的延遲來 播放編碼項目’而若該峰值傳輸速率為2,5oQKbps，則延遲 會為0.9秒。 不過’假使無法用到第二溢漏集桶，則在2,5〇〇Kbps速 度時延遲會增加0.9到7.2秒。一種減少延遲回到〇·9秒而 無須第一溢漏_桶的方法是藉速率控制來重新編碼該片 段，藉由將（第一溢漏集桶的）緩衝器大小從18,〇〇〇降低到 (0.9秒）><(2,5 00。？3) = 2,250^^^。這可確保如該峰值傳輸速 率為2,500Kbps，則延遲會僅為〇·9秒，而在797Kbps的延 遲也會從22.5減少到2.8秒。然其品質（SNR)也會降低估計 為數個dB的量值，特別是對於具寬廣動態範圍之片段尤 甚。 第20頁 本紙張尺度適用中國國家標準(CNS)A4規袼(210X 297公釐) ............1裝： (請先閱讀背面之注意事項再填寫本頁) 訂· 線丨 經濟部智慧財產局員工消費合作社印製 574831 A7 _____ B7 五、發明説明（） 如此，除每片段的可忽略額外位元量俾利標定漏 集桶以外，標定第二溢漏集桶可增加或達數個dB的隱， 而無須改變平均位元速率。可從每次峰值傳輸速率播放觀察 得知SNR的提高效果。 在將單一編碼按不同峰值速率而傳送於頻道上，或是傳 送給具不同實體緩衝器大小之裝置的情況下，確可顯現出對 全域參考解碼器標定多個溢漏集桶的好處。不過，實作上這 會變得愈來愈常見。例如，經離線編碼而存放於碟片上的内 容經常會是被局部地播放，以及按不同峰值傳輸速率而於網 路上串流傳輸。即使是對於局部播放，不同的碟機轉速（即 如單倍速到八倍速）也會影響到峰值傳輸速率。此外，透過 網路連線的各峰值傳輸速率也會因具限制性之鏈路的速度 而劇烈地變化，這些通常會是靠近終端使用者（即如1〇〇或 10 BaseT乙太網路、T1、DSL、ISDN、數據機等等）。播放 裝置的緩衝器容量也會顯著地改變，從具數十億位元組緩衝 器空間的桌上型電腦，到具有較少達數個數量級之緩衝器空 間的消費性電子裝置。多個溢漏集桶及本發明所提議的全域 參考解碼器，確實能夠達成於各種頻道上以最小起始延遲來 傳送相同位元串流的目標。這不僅適用於離線編碼的視訊， 而亦適於同時透過不同頻道而廣播到不同裝置的現場視
I 訊。簡言之，所提議之全域參考解碼器可對現存位元串流增 加顯著彈性。 即如自前揭詳細說明可瞭解，在此提供一種相對於先前 標準者之經改良全域參考解碼器。此全域參考解碼器僅會對 編碼器要求少量的資訊（即如於該位元串流的標頭處）以提 供更高的位元串流遞送彈性，透過現有各式網路，其中頻寬 第21頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X 297公釐) .............Ί裝： (請先閱讀背面之注意事項再填寫本頁) 訂· 線 經濟部智慧財產局員工消費合作社印製 574831 發明説明（ :可變頻寬及(或)各終端會具有可變位元速率和緩衝容 本發明的參考解瑪器可適合於這些情境而同時對於此 =用頻寬而將傳輸延遲減少至_最小值，此外，按給定的實 =衝_大小限制，可將為以遞送至各裝置之頻道位元速率 要求降至幾近最低。 乂在此，確可對本發明著手各式修改及替換建構，其部分 的前述具體實施例可如附圖所示且已如前文詳述。然應瞭解 非為限制本發明於前揭該等特定形式，而實反之，所欲者係 涵蓋落屬本發明精神與範圍之内的所有修飾、替代建構，與 等同物。 (請先閲讀背面之注意事項再填寫本頁}
訂 經濟部智慧財產局員工消費合作社印製 第22頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐)

Claims (1)

  1. 574831 ABCD 六 經濟部智慧財產局員工消費合作社印製 申請專利範圍 1 · 一種電腦實作方法，該方法至少包含下列步驟： 利用至少兩組含有速率資料與緩衝器大小資料之參 數集組來決定一運作條件，方式是： 1) 根據速率資料來選出一緩衝器大小；或 2) 根據緩衝器大小來選出一速率； 以及 在一時變信號解碼器處、根據該運作條件來維持編碼 資料於一緩衝器内，並從緩衝器中解碼出該編碼資料。 2. 如申請專利範圍第1項所述之方法，其中更包含在一時變 信號解碼器處接收該至少兩組參數之步驟，其中該時變信 號解碼器可決定該運作條件。 3. 如申請專利範圍第2項所述之方法，其中每一組參數同時 包括在該時變信號解碼器處所收到的填度資料。 4·如申請專利範圍第2項所述之方法，其中該至少兩組參數 是由一編碼器所決定。 5. 如申請專利範圍第4項所述之方法，其中該至少兩組參數 ί 是在串流標頭中所收到，與表示總集組數之資訊同時收 到。 6. 如申請專利範圍第1項所述之方法，其中利用至少兩組參 數以決定運作條件之步驟包括選取該等參數其中一組的 步驟。 第23頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐) (請先閲讀背面之注意事項再填寫本頁) 574831 A8 B8 C8 D8 六、申請專利範圍 7.如申請專利範圍第1項所述之方法，其中利用至少兩組參 數以決定運作條件之步驟包括於各組中至少兩者内之各 資料點間進行内插的步驟。 8·如申請專利範圍第1項所述之方法，其中利用至少兩組參 數以決定運作條件之步驟包括從各組中至少兩者内之各 資料點進行外插之步驟。 9·如申请專利範圍第1項所述之方法，其中根據速率資料來 選取一緩衝器大小之步驟至少包含決定會趨近於一最小 負載延遲的緩衝器大小之步驟。 10·如申請專利範圍第1項所述之方法，其中根據速率資料 來選取一緩衝器大小之步驟至少包含根據該緩衝器大小 決定一最小所需峰值傳輸速率之步驟。 11.如申請專利範圍第1項所述之方法，其中該運作條件會 在編碼資料通訊至該緩衝器的過程中改變至少一次。 (請先閲讀背面之注意事項再填寫本頁)
    線 經濟部智慧財產局員工消費合作社印製 12· —種電腦實/乍方法，該方法至少包含下列步驟： 在時變信號解碼器處、接收至少兩組含有速率及緩衝 器大小資料的參數； 利用至少兩組參數集組來決定一運作條件，方式是·· 1) 根據速率資料來選出一緩衝器大小；或 2) 根據缓衝器大小來選出一速率； 根據該運作條件來維持編碼資料於一緩衝器内；以及 第24頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公爱) ABCD 574831 六、申請專利範圍 從緩衝器中解碼出該編碼資料。 (請先閲讀背面之注意事項再填寫本頁) 13·如申請專利範圍第12項所述之方法，其中更包含提供 填度資料給該時變信號解碼器的步驟。 14,如申請專利範圍第12項所述之方法，其中更包含決定 至少兩組參數、並將該等提供給該時變信號解碼器的步 驟0 1 5 ·如申請專利範圍第14項所述之方法，其中該至少兩組 參數係由編碼器決定。 16·如申請專利範圍第15項所述之方法，其中該至少兩組 參數疋在串流標頭中所收到，與表示總集組數之資訊同時 收到。 17.如申請專利範圍第12項所述之方法，i中 τ刊用至少兩 組參數以決定運作條件之步驟包括選取該等參數其 組之步驟。 、中一 t 經濟部智慧財產局員工消費合作社印製 18·如申請專利範圍第I〗項所述之方法，其中利用^ 組參數以決定運作條件的步驟包括於各組 夕兩 T卫少兩老向 之各資料點間進行内插的步驟。 19·如申請專利範圍第12項所述之方法， 、τ才〗用牵-少成| 組參數以決定運作條件的步驟包括從各組 王夕兩者内 第25頁 ’ 本紙張尺度適用巾晒家標準(CNS)A4規格(2ΐ〇χ 297公變 1 -----一 ― 574831 ABCD
    六、申請專利範圍 之各資料點進行外插的步驟。 20. 如申請專利範圍第12項所述之方法，其中根據速率資 料來選取一緩衝器大小的步驟至少包含決定會趨近於一 最小負載延遲的緩衝器大小的步驟。 21. 如申請專利範圍第12項所述之方法，其中根據速率資 料來選取-緩衝器大小的步棘至少包含根據該緩衝器大 小決定一最小所需峰值傳輸速率的步驟。 22·如申請專利範圍第12項所述之方法，其中該運作條件 會在編碼資料通訊至該緩衝器的過程中改變至少_ ^ 23 · —種用以提供時變信號的系統，其至少包含. 一編碼器，可提供時變信號； 一編碼器緩衝器及一解碼器緩衝器，可維持該時變信 號，該編碼器緩衝器係藉一傳輸媒體而連垃 4疋钱於該解碼器緩 衝器； 一解碼器’可自該解碼器緩衝器中移除該時變信號； 以及 ' 經濟部智慧財產局員工消費合作社印製 一第一機制，可決定至少兩組含有速率資料與緩衝器 大小資料之參數集組’以維持該解碼器緩衝器不致出現溢 流或竭流問題，以及 一第二機制’可根據該速率資料決定解碼器緩衝器大 小，或是根據緩衝器大小來決定從該編碼器緩衝器傳送資 料到該解碼器緩衝器的速率。 ' 第26頁 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公爱) """"' ' 一 574831 ABCD 經濟部智慧財產局員工消費合作社印製 申請專利範圍 24.如申請專利範圍第23項所述之系統，其中該用以決定 至少兩組參數集組之第一機制係被併入於該編碼器内。 25 ·如申請專利範圍第23項所述之系統，其中該第二機制 係被併入於該解碼器内。 26. 如申請專利範圍第23項所述之系統，其中該用以決定 至少兩組參數集組之第一機制係被併入於該編碼器内，該 第二機制係被併入於該解碼器内，而其中該編碼器可將各 組參數集組通訊傳給該解碼器。 27. 如申請專利範圍第26項所述之系統，其中該編碼器可 透過一串流標頭將參數集組傳給該解碼器。 2 8.如申請專利範圍第26項所述之系統，其中該編碼器可 識別出參數集組的總數。 29.如申請專利範圍第23項所述之系統，其中各參數集組 也包括在該解碼器處所收到的填度資料。 t 3 0.如申請專利範圍第23項所述之系統，其中該第二機制 會根據速率資料決定解碼器緩衝器的大小，或是藉由選擇 各集組其一者來決定傳送資料速率。 3 1 ·如申請專利範圍第23項所述之系統，其中該第二機制 會根據速率資料決定解碼器緩衝器的大小，或是藉於至少 第27頁 (請先閱讀背面之注意事項再填寫本頁) :裝· -訂· 線_ 本紙張尺度適用中國國家標準(CNS)A4規格(210X297公釐) 574831 ABCD 一 申μ專利範圍 兩集組内之各資料點間進行内插來決定傳送資料速率。 32·如申請專利範圍第23項所述之系統，其中該第二機制 會根據速率資料決定解碼器缓衝器的大小，或是藉從至少 兩集組内之各資料點間進行外插來決定傳送資料速率。 33·如申請專利範圍第23項所述之系統，其中該第二機制 會藉由決定趨近於一最小負載延遲的缓衝器大小，來決定 該解碼器緩衝器大小。 4 ·如申请專利範圍第2 3項所述之系統，其中該第二機制 會藉由決定對應於一預定緩衝器大小之最小所需峰值傳 輸速率來決定速率資料。 35·如申請專利範圍第23項所述之系統，其中該第二機制 會根據速率資料及時間資訊來決定新的解碼器緩衝器大 •/J、〇 36·如申請專利範圍第23項所述之系統，其中該第二機制 會根據緩衝器ι大小資料及時間資訊來決定新的傳送資料 速率。 ........-.....έ·: (請先閲讀背面之注意事項再填寫本頁} 訂· 線_ 經濟部智慧財產局員工消費合作社印製 第28頁 本紙張尺度適用中國國家標準(CNS)A4規格(210Χ 297公缝)
TW91121528A 2001-09-19 2002-09-19 Generalized reference decoder for image or video processing TW574831B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/955,731 US7646816B2 (en) 2001-09-19 2001-09-19 Generalized reference decoder for image or video processing

Publications (1)

Publication Number Publication Date
TW574831B true TW574831B (en) 2004-02-01

Family

ID=25497261

Family Applications (1)

Application Number Title Priority Date Filing Date
TW91121528A TW574831B (en) 2001-09-19 2002-09-19 Generalized reference decoder for image or video processing

Country Status (9)

Country Link
US (2) US7646816B2 (zh)
EP (3) EP1298938B1 (zh)
JP (2) JP4199973B2 (zh)
KR (2) KR100947162B1 (zh)
CN (2) CN100461858C (zh)
DE (1) DE20222026U1 (zh)
ES (3) ES2570190T3 (zh)
HK (1) HK1053034B (zh)
TW (1) TW574831B (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2027816B1 (en) 2000-07-19 2012-06-20 Innovamédica S.A. de C.V. Catheter for ischemic mucosal damage monitoring in hollow viscous organs
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
KR100950172B1 (ko) * 2002-04-19 2010-03-30 아이피지 일렉트로닉스 503 리미티드 출력 속도 변경
EP2403263A3 (en) * 2002-04-26 2012-01-25 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recoding medium, and program
GB0306973D0 (en) * 2003-03-26 2003-04-30 British Telecomm Transmitting video
US7266147B2 (en) 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
US7380028B2 (en) * 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
US7353284B2 (en) * 2003-06-13 2008-04-01 Apple Inc. Synchronized transmission of audio and video data from a computer to a client via an interface
US7477605B2 (en) * 2003-06-30 2009-01-13 Alcatel-Lucent Usa Inc. Methods providing variable granularity for data flow control using a leaky bucket
US20050004997A1 (en) * 2003-07-01 2005-01-06 Nokia Corporation Progressive downloading of timed multimedia content
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US8345754B2 (en) 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
SE0302778D0 (sv) 2003-10-17 2003-10-17 Ericsson Telefon Ab L M Container format for multimedia presentations
US7979886B2 (en) 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
GB0406901D0 (en) * 2004-03-26 2004-04-28 British Telecomm Transmitting recorded material
JP2005333478A (ja) * 2004-05-20 2005-12-02 Mitsumi Electric Co Ltd ストリーミングコンテンツ再生方法及びそれを用いたインターネット接続装置
CN100351869C (zh) * 2004-09-15 2007-11-28 致伸科技股份有限公司 一种数字图像插值处理方法
US20060104212A1 (en) * 2004-11-12 2006-05-18 Mao-Hsiung Lee Method of dynamically determining optimum size of buffer
US8218439B2 (en) * 2004-11-24 2012-07-10 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
US7543073B2 (en) * 2004-12-10 2009-06-02 Microsoft Corporation System and process for performing an exponentially weighted moving average on streaming data to establish a moving average bit rate
US20060133494A1 (en) * 2004-12-17 2006-06-22 Rahul Saxena Image decoder with context-based parameter buffer
JP2006174309A (ja) * 2004-12-17 2006-06-29 Ricoh Co Ltd 動画再生装置、プログラム、及び記録媒体
EP1856911A4 (en) * 2005-03-07 2010-02-24 Ericsson Telefon Ab L M SWITCHING MULTIMEDIA CHANNELS
JP4066268B2 (ja) * 2005-03-25 2008-03-26 船井電機株式会社 データ伝送システム
US7974193B2 (en) * 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US8792555B2 (en) 2006-01-31 2014-07-29 Qualcomm Incorporated Methods and systems for resizing multimedia content
JP5535646B2 (ja) * 2007-01-05 2014-07-02 トムソン ライセンシング スケーラブル映像符号化用の仮想リファレンスデコーダ
US7656318B2 (en) * 2007-01-29 2010-02-02 Ntt Docomo, Inc. Optimized content-based and royalty-based encoding and distribution of media data
CN101415078B (zh) * 2007-10-18 2010-08-18 深圳Tcl新技术有限公司 基于电影的视频的递归噪声降低方法及装置
US8345774B2 (en) * 2008-01-11 2013-01-01 Apple Inc. Hypothetical reference decoder
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
US9047236B2 (en) 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
US9167007B2 (en) * 2008-06-06 2015-10-20 Amazon Technologies, Inc. Stream complexity mapping
JP5171413B2 (ja) * 2008-06-16 2013-03-27 三菱電機株式会社 コンテンツ送信装置、コンテンツ受信装置及びコンテンツ送信方法
JP2010028633A (ja) * 2008-07-23 2010-02-04 Nec Personal Products Co Ltd デジタル放送受信機、及びプログラム
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
US20100246685A1 (en) * 2009-03-31 2010-09-30 Alcatel-Lucent Usa Inc. Compressed video decoding delay reducer
CN101557512B (zh) * 2009-05-19 2011-07-20 武汉长江通信产业集团股份有限公司 视频终端接收视频数据延时的处理方法
US9014545B2 (en) 2009-07-24 2015-04-21 Netflix, Inc. Adaptive streaming for digital content distribution
US8631455B2 (en) * 2009-07-24 2014-01-14 Netflix, Inc. Adaptive streaming for digital content distribution
US9521178B1 (en) 2009-12-21 2016-12-13 Amazon Technologies, Inc. Dynamic bandwidth thresholds
JP5706771B2 (ja) 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
JP5664229B2 (ja) * 2010-12-28 2015-02-04 ソニー株式会社 送信装置、送信方法、及びプログラム
EP2490447A1 (en) * 2011-02-16 2012-08-22 British Telecommunications Public Limited Company Compact cumulative bit curves
JP5787135B2 (ja) * 2011-04-06 2015-09-30 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
US10306206B2 (en) * 2013-07-23 2019-05-28 The Regents Of The University Of California 3-D motion estimation and online temporal calibration for camera-IMU systems
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
US10404986B2 (en) * 2015-03-30 2019-09-03 Netflix, Inc. Techniques for optimizing bitrates and resolutions during encoding
US9866596B2 (en) 2015-05-04 2018-01-09 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices
US10015216B2 (en) 2015-08-06 2018-07-03 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices
US9906572B2 (en) 2015-08-06 2018-02-27 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4706260A (en) * 1986-11-07 1987-11-10 Rca Corporation DPCM system with rate-of-fill control of buffer occupancy
CA2000156C (en) * 1989-02-14 1995-05-02 Kohtaro Asai Picture signal encoding and decoding apparatus
JP2787599B2 (ja) * 1989-11-06 1998-08-20 富士通株式会社 画像信号符号化制御方式
GB9012538D0 (en) * 1990-06-05 1990-07-25 Philips Nv Coding of video signals
JPH04297179A (ja) 1991-03-15 1992-10-21 Mitsubishi Electric Corp データ通信方式
US5159447A (en) * 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
EP0514663A3 (en) 1991-05-24 1993-07-14 International Business Machines Corporation An apparatus and method for motion video encoding employing an adaptive quantizer
US5291486A (en) * 1991-08-19 1994-03-01 Sony Corporation Data multiplexing apparatus and multiplexed data demultiplexing apparatus
US5365552A (en) 1992-11-16 1994-11-15 Intel Corporation Buffer fullness indicator
US5566208A (en) 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
US5933451A (en) * 1994-04-22 1999-08-03 Thomson Consumer Electronics, Inc. Complexity determining apparatus
JP3674072B2 (ja) 1995-02-16 2005-07-20 富士ゼロックス株式会社 ファクシミリ通信方法及びファクシミリ装置
US6026182A (en) * 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
FI101332B (fi) * 1995-12-18 1998-05-29 Nokia Telecommunications Oy Epäjatkuvalähetys monikanavaisessa suurinopeuksisessa datasiirrossa
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH09261266A (ja) * 1996-03-26 1997-10-03 Matsushita Electric Ind Co Ltd サービス情報通信システム
US5952943A (en) * 1996-10-11 1999-09-14 Intel Corporation Encoding image data for decode rate control
US6141053A (en) * 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
KR100574186B1 (ko) 1997-10-03 2006-04-27 소니 가부시끼 가이샤 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
US6060997A (en) * 1997-10-27 2000-05-09 Motorola, Inc. Selective call device and method for providing a stream of information
US6775840B1 (en) * 1997-12-19 2004-08-10 Cisco Technology, Inc. Method and apparatus for using a spectrum analyzer for locating ingress noise gaps
WO1999052282A1 (en) * 1998-04-02 1999-10-14 Sarnoff Corporation Bursty data transmission of compressed video data
US6629318B1 (en) * 1998-11-18 2003-09-30 Koninklijke Philips Electronics N.V. Decoder buffer for streaming video receiver and method of operation
US6233226B1 (en) * 1998-12-14 2001-05-15 Verizon Laboratories Inc. System and method for analyzing and transmitting video over a switched network
KR100584394B1 (ko) * 1998-12-30 2006-08-30 삼성전자주식회사 실시간 네트워크 감시에 의한 보코더 파라미터 제어 방법
WO2000046989A1 (fr) 1999-02-05 2000-08-10 Sony Corporation Dispositifs de codage et de decodage et methodes correspondantes, systeme de codage et procede correspondant
JP2000286865A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 連続メディアデータ送信ステム
KR100390115B1 (ko) * 1999-04-12 2003-07-04 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체
JP4283950B2 (ja) * 1999-10-06 2009-06-24 パナソニック株式会社 ネットワーク管理システム
KR100636110B1 (ko) * 1999-10-29 2006-10-18 삼성전자주식회사 엠펙-4 송수신용 시그널링을 지원하는 단말기
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
CN1322759C (zh) 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
JP2004505513A (ja) 2000-07-25 2004-02-19 エイジルビジョン・エル・エル・シー ネットワークフィードの固定タイムスロットに圧縮されたローカルビデオセグメントをスプライシングすること
US7454222B2 (en) * 2000-11-22 2008-11-18 Dragonwave, Inc. Apparatus and method for controlling wireless communication signals
US7675994B2 (en) 2001-04-02 2010-03-09 Koninklijke Philips Electronics N.V. Packet identification mechanism at the transmitter and receiver for an enhanced ATSC 8-VSB system
WO2002089369A1 (en) 2001-05-02 2002-11-07 Strix Systems, Inc. Method and system for indicating link quality among neighboring wireless base stations
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US8345754B2 (en) 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US20060143678A1 (en) 2004-12-10 2006-06-29 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a linear quadratic control technique and leaky bucket model

Also Published As

Publication number Publication date
CN100461858C (zh) 2009-02-11
EP1298938B1 (en) 2017-02-15
KR20030025186A (ko) 2003-03-28
US7646816B2 (en) 2010-01-12
ES2623635T3 (es) 2017-07-11
DE20222026U1 (de) 2011-12-28
EP1746844B1 (en) 2016-03-30
ES2570604T3 (es) 2016-05-19
KR20070097375A (ko) 2007-10-04
JP4199973B2 (ja) 2008-12-24
KR100999311B1 (ko) 2010-12-08
EP1746844A2 (en) 2007-01-24
EP1753248A2 (en) 2007-02-14
EP1753248B1 (en) 2016-03-30
JP2007329953A (ja) 2007-12-20
CN1848964B (zh) 2011-11-09
JP4489794B2 (ja) 2010-06-23
US7593466B2 (en) 2009-09-22
HK1053034B (zh) 2018-01-19
ES2570190T3 (es) 2016-05-17
CN1426235A (zh) 2003-06-25
CN1848964A (zh) 2006-10-18
KR100947162B1 (ko) 2010-03-12
EP1746844A3 (en) 2007-04-18
JP2003179665A (ja) 2003-06-27
US20030053416A1 (en) 2003-03-20
US20060198446A1 (en) 2006-09-07
EP1298938A3 (en) 2003-09-24
EP1298938A2 (en) 2003-04-02
EP1753248A3 (en) 2007-04-18

Similar Documents

Publication Publication Date Title
TW574831B (en) Generalized reference decoder for image or video processing
US9979771B2 (en) Adaptive variable fidelity media distribution system and method
CN100420250C (zh) 通信设备操作方法、数据呈现方法和设备
CN105379293B (zh) 基于超文本协议的动态自适应流媒体中的媒体质量信息指示
CN105635754B (zh) 在多个媒体流之间调整带宽的系统和方法
CN103210642B (zh) 在http流送期间发生表达切换时传送用于自然再现的可缩放http流的方法
CN102883152A (zh) 具有适应性的媒体流传输
EP2204965B1 (en) Device and method for receiving scalable content from multiple sources having different content quality
AU2006250203A1 (en) Method of transmitting picture information when encoding video signal and method of using the same when decoding video signal
BRPI0620947A2 (pt) métodos de sessão de mìdia para administrar coletivamente dados de mìdia, e para gerar um grupo de conteúdo de mìdia, gerenciador de mìdia, nó de rede, terminal de usuário, e, máquina de mìdia
JP2010166600A (ja) 画像符号化方法
JP5122644B2 (ja) レーザコンテンツを使用して場面を構成するための方法及び装置
US20070078954A1 (en) Apparatus and method for providing high speed download service of multimedia contents
US20110010748A1 (en) Video distribution device, video distribution system, and video distribution method
CN103297806A (zh) 图像处理设备、图像处理方法和图像处理系统
CN114501025A (zh) 一种视频转码方法、装置、设备及介质
US20070110168A1 (en) Method for generating high quality, low delay video streaming
KR20020019554A (ko) Ｍｐｅｇ-4 원격 액세스 단말기를 갖는 통신 시스템
US7554989B2 (en) Real time optimization over a shared communication channel
KR100896688B1 (ko) 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
TWI333361B (en) Resource allocation apparatus, method, application program, and computer readable medium thereof
Cha et al. Adaptive scheme for streaming MPEG-4 contents to various devices
KR20050103374A (ko) 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및그에 사용되는 단말기
US20210409740A1 (en) Data delivery device, system, method, and recording medium
Lei Video Transcoding techniques for wireless video communications

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MM4A Annulment or lapse of patent due to non-payment of fees