TW583878B - Video processing - Google Patents

Video processing Download PDF

Info

Publication number
TW583878B
TW583878B TW090124164A TW90124164A TW583878B TW 583878 B TW583878 B TW 583878B TW 090124164 A TW090124164 A TW 090124164A TW 90124164 A TW90124164 A TW 90124164A TW 583878 B TW583878 B TW 583878B
Authority
TW
Taiwan
Prior art keywords
digital
level
data
enhancement data
levels
Prior art date
Application number
TW090124164A
Other languages
English (en)
Inventor
Jiang Hong
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Application granted granted Critical
Publication of TW583878B publication Critical patent/TW583878B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

583878 A7 B7
五、發明説明( 發明背景 本發明與視頻處理有關。 在有限頻寬數位通道上之通信中,通常將類比視_、 成經過壓縮之位元流。再於接收端解壓縮並轉 ,螞 號。 4比信 一種特別用於補償品質損失之壓縮技術需要在傳送前、 視頻資料分成兩部分資料··其一為”基礎,,部分資料,=2 個則為”強化”部分資料。基礎資料所包括的視頻序列品 較差,但可經使用相對較低之頻寬傳送。 強化^料提供基礎資料之修正。強化資料可能包含強化 某圖像某區域顏色及強化某圖像某區域細節之資訊。在接 收端,基礎資料可在解碼過程中與強化資料重新結合。^ 礎資料與所有強化資料重新結合後將產生很接近原始视頻 信號之輸出視頻信號品質。不過,由於通信頻道頻寬之限 制’通常無法傳送完整之強化資料部分。因此,強化資料 兩分成每個只、需要少量頻寬之較小次部分,而強化資科中 一個或一個以上之次部分可與基礎資料同時間傳送。傳送 較多強化資料可產生較佳之輸出視頻信號,不過卻需要更 多的頻寬。 圖式簡單說明 圖1 a為顯示視頻信號路徑之功能方塊圖; 圖1 b為顯示視頻信號路徑之圖示; 圖2為組成一典型圖像之單位等級表示圖; 圖3a及3b為描述DCT係數之組織圖示; -4 -
本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 583878 A7 B7 五、發明説明(2 ) 圖4為顯示視頻編碼及壓縮之方塊圖。 圖5為顯tf視頻解碼之方塊圖。 圖6為描输以門檻為基準(thj^shoid-based)之分層程序流 程圖。 圖7為描繪門檻選擇之流程圖。 圖8&及81>顯示分割成位元平面(1)“131奶6)及層級次部分 之強化資料係數量值之實例。 圖9為描繪以解碼器收集強化資料層級之流程圖。 詳細說明 大m而〇,以下所描述之技術改善了在網路中視頻資料 之散佈,而網路中不同的通信路徑具有不同頻寬之特性。 圖la顯示視頻資料在網路上散佈路徑之方塊圖。輸入視 頻仏號10進入編碼器12,而該編碼器用於將輸入視頻信號 1 〇轉換為機械可讀取之位元序列或位元流形式之視頻資 料然後視頻資料便儲存於伺服器1 4,直到有人提出該視 頻資料之需求為止。當伺服器14收到該視頻資料之需求 時,其將該資料送至傳送器16,然後再由傳送器沿著網路 上之通信頻遒將資料18傳送出去。接收機2〇接收資料“並 將茲資料以位元流方式送至解碼器22。解碼器22將接收位 元流轉換為輸出視頻信號2 4 ,此即可觀看之信號。 、圖7顯示用於散佈視頻資料之系統。視頻信號源n產生 視頻信號1〇,而視頻信號輸入至第一電腦13。第一電腦Η G 口 了編碼器1 2,此編碼器用於將位元流丨8中之視頻資料 編碼以便資料能沿著連接網路19之通信頻道17傳送。第一 本紙張尺度適财s g家榡準(CNS) A4規格(21GX297公董)
裝 訂
線 583878 A7 B7 五、發明説明(3 電腦1 3也包含了記憶體1 5以儲存視頻資料,而第一電腦1 3 也可執行如同伺服器1 4之功能。第二電腦2 3包含了透過通 道2 1接收位元流1 8之解碼器2 2。解碼器2 2將接收位元流 18轉換為可在播放器25上觀看之輸出視頻信號24。
在編碼器12中之編碼過程可能需要具有損失性之壓縮技 術,如第一版或第二版之MPEG-2或MPEG-4(MPEG為動態 影像專家小組規範(Motion Picture Experts Group)之縮寫, 而MPEG-2及MPEG-4表示由該組織所發展之數位視頻壓縮 標準及檔案格式。)。這些技術能產生基礎視頻資料部分, 也就疋足以產生可觀看視頻序列之資料部分,而此部分資 料比來源視頻序列之表現品質差《若此基礎視頻資料經解 碼後觀賞,則我們可預期產生之視頻信號為原視頻信號之 較差版本。 MPEG使用具有損失的壓縮技術為:當一圖像與下一圖像 (順著移動向量)有所改變時將視頻序列中大部分之圖像編 碼,而不是將圖像資料本身編碼。此技術結果節省了相當 多的頻寬。
資料的另一部分(即所謂強化資料)擷取在量化基礎視頻 圖像與原始未量化輸入視頻圖像間之差異。當與基礎資料 結合後,強化資料可改善可觀看視頻序列之品質,進而產 生改良之視頻輸出。 強化資料之次部分可能包括針對圖像之修正或者針對一 圖像到其下一圖像改變之修正。通常強化資料是相對於基 礎資料的,意即若基礎資料將一圖像與下一圖像間之變化 -6 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) A7
編碼’則相對於此基礎資料之強化資料包含了一圖像與下 一圖像間變化之修正。強化資料也可能在將22解碼用於重 建在編碼12期間從編碼基礎視頻資料移除之圖像時使用。 在許多環境中,通信頻道16之頻寬有限,且只能容納一 二但並非全部之強化資料。當接收機20及解碼器22接收較 全部強化資料少之資料時,則輸出視頻信號24無法完整修 正。以下所述之技術經由下面將說明以門襤為基準之程序 (以下將有所描述)創造強化資料之次部分或”層級,,來有效 地利用頻寬一在一給定頻寬下傳送較大之強化,。 圖2顯示構成圖像之一些基本單元。通常一圖像是由圖像 元素(picture element)或圖素(pixel)組成。一個8乘8見方 之圖素構成方塊30,而一個2乘2見方之方塊構成巨大方塊 (macroblock) 32。邊接著邊放置之巨大方塊可構成圖像資 料之切片(slice) 34。一切片即為一水平行的圖像或者是數 個以光柵掃瞄順序排列(in raster scanning order)之相鄰 行。切片序列可構成圖像3 6。為了描繪目的,說明編碼程 序時我們只看8乘8之視頻資料3 0 。實際上之處理可利用 除了 8乘8方塊以外之資料單元(例如巨大方塊3 2 )完成。 在編碼過程期間,圖像資料可能經歷做為資料壓縮之一 部分的轉換過程。一種廣泛使用之轉換為分離式餘弦轉換 (discrete cosine transform,DCT)。DCT是一種類似分離式 傅利葉轉換(discrete Fourier transform)之線性轉換,而在 傅利葉轉換中之轉換資料以頻率排序並以係數加重權值。 一個8乘8方塊圖像經過DCT後將產生一個8乘8係數矩陣。 -7 - 583878 A7 B7
583878 A7 _________ B7 五、發明説明(6 ) 成眾多位元平面以供傳送。正如同以下將提到的,將強化 資料分成位元平面的做法是沒有效率也欠缺彈性的。以下 t之門松為準分層程序提供了一種更有效率及更具有彈 性的方法來將強化資料分割。 圖4顯示示範編碼器i 2之方塊圖。編碼器i 2可以軟體方 式實現,而該軟體可儲存於機械或電腦系統機械可讀取媒 介中(例如磁片或光學裝置或者是儲存於非無常性記憶體内 (如唯讀記憶體(R0M)内)。圖4顯示了連續輸入圖像6〇之 編碼及壓縮,而其產生視頻資料之基礎資料位元流62以及 強化資料位元流6 4。基礎資料位元流6 2及強化資料位元流 64在儲存於伺服器上或沿著通信頻道傳送前可以藉由多工 器(圖中未顯示)結合成單一輸出位元流(圖中未顯示)。 基礎料可藉由標準視頻編碼及壓縮6 6產生。顯示如圖4 中編碼及壓縮部分66是用於說明之用,但並不是達成編碼 及壓縮的唯一方式。編碼及壓縮可使用DCt 68、量化70、 掃瞄72以及可變長度編碼74。基礎資料62之產生是一種具 有損失的過程,其中大部分的損失是在量化7〇期間產生。 圖4也包括用於將個別圖像間之變動編碼的元件、其包括反 向量化76、反向離散式餘弦轉換(IC)CT)78、動態補償8〇、 訊框儲存82、動態估計84以及從輸入圖像流6〇中將先前圖 像88減去8 6以隔離一圖像到下一圖像之變動。 圖4顯示產生強化資料之減法90。強化資料經過程序卯由 基礎資料分離。強化資料由未量化基礎視頻資料與未量化 輸入視頻信號之差異組成。在圖4中,對應於每個圖像之強 -9 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) 583878 A7 B7 五、發明説明(7 ) 化資料代表對個別圖像間變動之強化以及對個別圖像本身 之強化。 強化資料可能經過選擇性之前置處理92。例如,前置處 理可能包括強調強化資料中視覺上之重要成分以及將視覺 上較不重要之成分分量減輕。通常人們觀看視訊時通常集 中於圖像全部出現的部分而不是在於圖像的細節部分。圖3 中顯示視覺上較重大的全部出現之相關資訊有集中於低頻 DCT部分之趨勢。圖像在視覺上較不重大之相關細部資訊 傾向集中於高頻DCT部分。前置處理可用於強調視覺上重 大之資料而給其較高傳送優先權。 強化資料經歷門檻為準分層處理94,以下將更詳細描 述。門檻為準分層處理94的反覆應用100產生多層級的強化 資料。這些層級在95審視並由可變長度編碼器96編碼進而 產生強化資料位元流64。 基礎資料位元流62及強化資料位元流64可儲存於伺服器 以等待用戶對視頻序列之請求或者廣播至網路上。典型上 當視頻資料在通信頻道17上傳送時,基礎資料62與強化資 料一起傳送。 圖5顯示示範解碼器22之方塊圖。解碼器2 2如同編碼器12 般可以用軟體實現。圖5說明了用於將經由伺服器14在通信 頻道17上傳送並由客戶端接收20解碼及回復成視頻資料的 方法。顯示於圖5中之解碼器22描繪了將視頻資料解碼的方 法之一,不過這並不是將資料解碼的唯一方法。圖5中描述 的一些運作是線性的,因此發生的順序可以不同。例如, -10 - 本纸張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)
•I 583878 A7 B7 五、發明説明(8 ) 圖5描述強化資料在IDCT運作114、132之後與基礎資料重 新結合。以此技術,相對於圖像單位(如圖素)之基礎資料 值及強化資料表示針對圖像單元之修正。因為離散式餘弦 轉換是線性的,強化資料可在IDCT運作114、132與基礎資 料結合。在後者的情況下,基礎資料值代表DCT係數而強 化資料代表針對此係數之修正。此外,解碼可能包括圖5中 未出現之額外運作。 解碼器22之輸入包括視頻資料位元流(圖中未顯示),而 此位元流可分隔成基礎資料位元流62及強化資料位元流 102。解多工器(圖中未顯示)可用於將位元流分割。圖5中 顯示之基礎資料位元流62與圖4中顯示之位元流62相同。不 過,圖5中顯示之強化資料位元流102不需要與圖4中顯示之 強化資料位元流64相同。由於通道頻寬之限制,在通道上 傳送之強化資料量可能並不完整。 基礎資料及強化資料各隸屬不同解碼程序,即”流水線 π 104及106。正如同基礎資料及強化資料之編碼並不需要完 全一致的步驟,在解碼過程中也可能有些不同。 在基礎資料解碼流水線104中,基礎資料經歷可變長度解 碼108、反向審視110、反向量化112及IDCT 114。可變長度 解碼108、反向掃瞄110、反向量化112及IDCT 114運作實質 上是反做在圖4中編碼期間執行之可變長度編碼74、審視 72、量化70及DCT 68運作。然後解碼完之基礎資料可以動 態補償器116處理,其可依據一圖像至下一圖像間之變動來 重組個別圖像。先前之資料(或稱’’參考’’圖像)可儲存於稱 -11 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 583878 A7 B7 五、發明説明(9
之為”訊框緩衝器(frame buffer) π之暫時記憶單元120,而 其也可用於作為參考。來自IDCT 114之解碼資料由動態補 償器116用於決定序列中下一圖像如何由先前圖像變動而 來。IDCT 114可能產生不正常之視頻資料,如數字超出範 圍。”修剪(clip)”功能115藉由將資料設定到最接近範圍内 數字使得資料合理化。基礎資料流水線104之輸出解碼為基 礎視頻資料122。顯示於圖5中基礎資料解碼技術是為說明 之用,但並不是達成解碼之唯一方法。 供強化資料使用之解碼流水線106不同於供基礎資料使用 之解碼流水線104。強化資料經歷了可變長度解碼程序124 及反向審視程序126,也就是反做編碼器12執行之可變長度 編碼器96及審視95。然後此資料經歷收集128及後處理 130。收集128將於以下更詳細地描述,其用於將由門檻為 準分層程序94產生之強化資料層級結合。後處理130反做在 編碼器12執行之前處理92。來自IDCT 132之輸出代表一種 修正,其由134將基礎資料加總再經修剪135而產生強化可 觀看視頻資料136。
如上所提及,頻寬的限制經常使得無法傳送強化資料的 完整部分。在頻寬限制存在的地方,我們想要傳送強化資 料之次部分以產生最佳之視頻品質。一種選擇強化資料次 部分的方法為:以位元平面接著位元平面的方式傳送強化 資料。伺服器14先傳送最重大位元平面46,然後再傳送包 含次重大位元之位元平面48。伺服器14持續傳送位元平面 直到頻寬無法容納為止。最重大位元平面46接收最高傳送 -12 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 583878 A7 B7 五、發明説明(10 ) 優先權,具有次重大位元之位元平面48接收次高傳送優先 權,以此類推。由於頻寬的限制,包含最不重大位元之位 元平面可能根本不傳送出去。 位元平面接著位元平面地傳送強化資料在某些方面而言 是沒有效率的。首先,大部分針對基礎資料之修正趨向於 相對小的修正。如此在方塊40中之強化資料數字傾向為小 的數字,因此重大位元平面46通常包含著高比例的’0’位 元。同樣地,次重大位元平面48也有可能包括高比例的’(V 位元,不過典型上’0’位元的比例不會像在最重大位元平面 46中那麼高。因此,由於大部分的強化資料位元都是'〇’位 元,所以只傳送兩個位元平面的強化資料將無法滿足基礎 資料所需之修正資訊。因此,位元平面接著位元平面地傳 送強化資料將無法產生正比於頻寬的圖像品質改善。舉例 來說,將有效頻寬切成一半將造成切除超過一半以上的圖 像修正品質。 其次,經過可變長度編碼96之每個位元平面需要不相等 量值的頻寬。典型上而言,最重大位元平面46需要最少頻 寬而最不重要位元平面50需要最多頻寬。一般說來,每個 位元平面比在其上之位元平面需要更多的頻寬。若強化資 料以位元平面接著位元平面的方式傳送,每個位元平面將 需要比先前傳送之位元平面更大量的頻寬。在某點上,該 頻寬並不能容納全新的位元平面,故只能傳送部分的位元 平面。因此,只有圖像36的部分接收到位元平面的強化資 料而圖像的其它部分則無。即強化資料並未平均地強化整 -13- 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 583878 五、發明説明(11 個圖像36。 且^ i位疋平面接著位元平面的傳送方式是沒有彈性的 不把谷忍強化資料品質的調整。 頻办傲承二〈技術提供利用門摇為準分層程序94針對可得 將率的使用。門摇為準分層程序叫藉由彈性地 斜闻1’分割成數個層級而不是僵硬地分成位元平面)針 开j提供了全面的改善。將強化資料分剖為位元平面時 考慮到強化資料的特性。相較之下,將強化資料分 J 、個層級能使強化資料依據強化資料本身之特性作分 j如此門极為準分層程序94允許編碼器12適應於強化資 :,門檻為準分層之優點之_為:其通常可以產生眾多幾 乎消耗相等頻寬量之層級,因此更緊密地將接收圖像之品 質與可得頻寬相關聯。 產生強化層級的過程描述於圖6。整個程序以強化資料 (140)進入門檻為準分層程序料開始。判斷是否強化資料層 級是否必須產生(142),若否則結束門檻為準分層程序 94(144)。有很多情況可中斷分層程序。例如,若強化資料 全部由0位元組成,則不再處理任何資料,分層程序94也 就中止。其它的中止情況可能為程序94是否已產生預定層 級數目,或者是否已用完所有頻寬。也可能由編碼器12二 定該產生之層級數目。 如同以下將更詳細描述的,產生強化資料層級包括選擇 門檻值(146)。基於此門檻值,產生了由,i,位元及,〇,位元組 成之強化資料層級(148) ^強化資料層級包括,i,位元(代表 -14 本纸張尺度適用中國國家標準(CNS) A4規格(210X297公釐) 583878 A7
______ B7 五、發明説明(12 ) 所有量值大於或等於該門檻值者)及’〇,位元(代表所有量值 小於該門檻值者)。經由門檻值之設定,一個層級可能包含 比一個位元平面中包含多或少或者相等的,Γ位元數目。門 檻值之選擇可調整在一層級中,i,位元的數目、或者調整在 一層級内’1’位元的分佈、或者控制一層級所需要之頻寬或 者疋以上之組合。從強化資料之量值減去此門摇值(1 $ 〇), 但只限強化資料值等於或超過門檻值時以免產生之量值為 負。 Μ 只要層級一產生,層級可包含(l52)在強化資料位元流Μ 中。典型之層級包括儲存此選定門檻值之標頭。在標頭中 之門檻值可由解碼器22使用以將強化資料解碼。除了門檻 值及’貝料層級外,正負號值也可送出。雖然傳送正負號的 方法很多,一般說來較有效的方法是只傳送確實包含在強 化資料位兀流中係數之正負號且只傳送係數正負號一次。 然後此分層程序可重複(154)以使用不同門檻值產生額外層 級。相同門檻值可能可以重複用於層級之產生,而較後^ 之門檻值也可能比較早之門檻值為高。 位據強化資料特性選擇門檻準位的方法很多。圖7顯示其 中一種设疋門檻準位的方法。藉由計數係數量值之頻率 (162)以評估強化資料(160)。我們可用統計分析(例如製作 長方圖條)評估係數之分佈情形。依據圖中顯示統計分析 (164)之分佈選擇將強化資料分割成數個層級之門檻 (166)。分割強化資料包括選擇用於強化層級之,χ,位元之目 標數目、產生-個符合要求頻寬之層級、產生一個符合需 15 - 297¾)
本纸張尺度適用中國國家標準(CNS) A4規格(210 X 583878 A7 B7 五、發明説明(13 ) 求強化品質之層級、依據其它強化資料特性產生一個層級 或者以上各項任何之組合。以下描述之技術產生眾多層級 之門檻值選擇有關,而每個層級包含近乎目標數目的,1,位 元。 圖8A及8B使用小圖像係數量值(190)之示範方塊以供產 生5個層級強化資料(2〇〇,202,204,206,208)與產生三 個位元平面(192,194,196)之比較。圖8A及8B也描述許 多選擇門檻值技黹中之其一方法。程序從係數量值之示範 方塊(190)開始,我們可找出在方塊中之最大值為12〇(此為 本例中DC係數之量值),如果以七位元二進位數字表示則 為’1111000’。因為方塊(19〇)中之最大值可用七個位元表 示,整個方塊也可以用七位元平面表示。最重大位元平面 (192)包括14個’1’位元。第二重大位元平面(194)包括21個 ’Γ位元。第三重大位元平面(196)包括26個位元,也就是 幾乎為最重大位元平面(192)之兩倍。因為,1’位元的數目隨 著每個連續位元平面而增加,每個位元平面比其之前位元 平面需要更多之頻寬。 相較於圖8A中之三個位元平面(192,194,196),圖8B 顯示強化資料之5個層級(200,202,204,206,208),而 每個層級包含之,1·位元目標數目大約為1〇個。第一強化層 級(200)藉由第一門檻值71之選擇產生。產生之強化資料第 一層級(200)包含一個,Γ位元(代表所有大於或等於第一門 檻值71之係數量值)及一個,〇,位元(代表所有小於第一門襤 值71之係數量值)。第一門檻值71之選擇產生包含1〇個,工, -16 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) 583878 A7 B7 五、發明説明(14 位元之第一層級(200)。 然後將所有大於或等於第一門檻值71之量值減去此門檻 值(150)進而產生第二層級(202)。第二選定門檻值為49, 此值可產生強化資料之第二層級(202)。如同第一層級,第 二層級包括10個’Γ位元。 然後此程序重複利用第三門檻值33產生第三層級(204)。 而第三層級(204)也同樣包含10個’Γ位元。第四層級(206) 以第四門檻值25產生,同樣地也包括10個’Γ位元,而第五 層級(208)以第五門檻19產生。 以如此門檻值之選擇可產生五個層級之強化資料(200, 202,204,206,208),而其中每個層級都有10個fl’且幾乎 消耗相同之頻寬。實際上並非所有層級都真的具有目標數 目的’ Γ位元,但藉由依據資料分怖之門檻值選擇是很有可 能產生數個層級中之T位元數目接近之層級。此外,雖然 我們將想要強化資料分割為數個相等頻寬之層級,但是各 個層級也可能消耗不同之頻寬。 可用頻寬也具有決定門檻值的作用。舉例來說,若全部 可用頻寬每單位時間容納約50個’ Γ位元,則利用門檻分割 成數個層級在將強化資料分割為位元平面時是有利的。門 檻為準之分層程序包括產生五個完整強化資料層級(200, 202,204,206,208)的靈活性、每層級改善全部之圖像以 及所有層級都能在可用頻寬内傳送。然而相同頻寬並不能 容納前三個位元平面(192,194,196)(其中每單位時間所 包含之fr位元較可用頻寬所能容納的還多)。若全部的可用 -17 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) 裝 訂
583878 A7 B7 五、發明説明(15 頻見可谷納不同數目的’ j,位元,則門檻可選擇產生能在該 頻寬内傳送之層級。 門檻選擇也可考慮是否強化資料在不同頻寬之兩通道上 傳送。例如·假使第一通道每單位時間可容納約5〇個,^,位 兀而第二通道單位時間容納約3〇個,i,位元,則可在第一通 道上傳送五個完整層級(2〇〇,2〇2,2〇4,2〇6,2〇8),而可 在第二通道上傳送三個完整層級(2〇〇,2〇2,2〇4)。 門檻選擇也可依據除了頻寬以外的其它因素,例如像每 個層級需求的改善程度。 在這些層級及其對應門檻值由解碼器22接收後,解碼器 22藉由集合128這些層級反做分層程序。收集這些層級的程 序描繪如圖9。在收集過程開始時接收(21〇)用於視頻資料 特別單元的強化資料(例如方塊3〇)。典型上,強化資料由 眾多層級組成。將這些強化資料層級收集並保持在緩衝器 中(其將修正係數之量值維持住)。典型上在緩衝器中修正 係數之初始值為〇( 212)。若一層級的強化資料存在(214), 則取出用於產生該層級之門摇值(例如從層級標頭將門摇掏 取出來(216))。之後針對層級中每個q,位元將此門檻值加 在緩衝器中(218)。對於每個,〇,位元,則不加入任何數字到 緩衝器中對應之修正係數。只要還有額外層級存在,則程 序就一再重複(220)。有了每個額外層級,在緩衝器中的資 料會接近經過編碼器12中門檻程序94之資料值。當收集到 所有層級後,在緩衝器中之資料代表由解碼器22所接收之 收集到的強化資料102,而此通常只是接近強化資料的完整 -18 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 裝 句
583878 A7 B7 五、發明説明(16 ) 部分。再指定給這些資料適當的正負號值(222,224)。 資料可能經過選擇性的刪除調整(truncation adjustment) (226)。不正確之刪去發生於落在最低門檻值之下之非零量 值,而此量值太小以致於無法傳送。表現在緩衝器中的這 些量值為零。刪去調整加入小量雜訊以取代這些零。雜訊 可能僅由將一常數值(例如近乎最低門檻值之四分之一數量) 加入緩衝器中之所有零值。另一種選擇是以較最低門檻值 小之隨機整數值取代這些零值。在删去調整(226)之後便結 束收集程序(228),而強化資料可再進一步處理並與基礎資 料結合(如圖5所示)。 以上已描述了本發明的各種具體實施例。這些及其它具 體實施例都在下列申請專利範圍之範圍中。 •19- 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐)

Claims (1)

  1. 583878 弟〇9〇124164號專利申請案 中文申請專利範圍替換本(93年2月)
    A B c D 93. 年 修補 1· 一種視頻處理方法,其中包括: 指定數位視頻多重層級之頻寬作為指定頻寬; 形成數位視頻強化資料之多重層級,其中每一該多重 層級各自具有一對應之該指定頻寬。 2·如申請專利範圍第〗項之方法,其中之形成數位視頻強化 資料層級更包括:一種視頻處理方法,其中包括: 依據頻寬需求選擇門檻值;以及 依據該門摄值產生視頻強化資料層級。 3·如申凊專利範圍第2項之方法,其中更包括: 在數位通訊通道上傳送該視頻強化資料層級;以及 在數位通訊通道上傳送該門檻值。 4. 一種包括電腦可讀取媒介之物品,而其中之媒介儲存供 視頻資料處理之電腦可執行指令,這些指令使得機器: 指定數位視頻多重層級之頻寬; 形成數位視頻強化資料之多重層級,其中每一該多重 層級各自具有一對應之該指定頻寬。 5·如申請專利範圍第4項之物品,其中形成數位視頻強化資 料層級更包括: 依據頻寬需求選擇門禮值;以及 依據該門檻值產生視頻強化資料層級。 6.如申請專利範圍第5項之物品,這些指令還可使機器: 在數位通訊通道上傳送該視頻強化資料層級;以及 在數位通訊通道上傳送該門檻值。 7· —種視頻處理方法,包括·· O:\73\73975-930210.doc - 1 · 本紙張尺度適用中@ ®家標準(CNS) A4規格( χ挪公董) ---
    583878
    A B c D -X •月 正充 扣貧南 處理強化基礎視頻信號之數位視頻強化資料層級,而 這些層級具有實質上等量之頻寬。 如申請專利範圍第7項之方法,其中之基礎視頻信號由圖 像組成,且其中每個處理過的層級皆可強化整個圖像。 一種包括電腦可讀取媒介之物品,而其中之媒介儲存供 視頻資料處理之電腦可執行指令,這些指令使得機器: 處理強化基礎視頻信號之數位視頻強化資料層級,而 這些層級具有近似相等之頻寬需求。 如申請專利範圍第9項之物品,其中之基礎視頻信號由圖 像組成,且其中每個處理過的層級皆可強化整個圖像。 一種視頻處理方法,包括: 接收達到頻寬需求之數位視頻強化資料層級; 接收一相關於該層級之門檻值,其中該層包括一‘Γ 位疋,其用於每一大小大於或等於該門檻值; 在一數位通信頻道上傳送此層級;以及 於該數位通信頻道傳送該門摇值。 12·如申請專利範圍第丨丨項之方法,其中之數位視頻強化資 料層級為達到第一頻寬需求之第一數位視頻強化資料層 級,此方法更包括: 接收達到第二頻寬需求之數位視頻強化資料之第二層 級’其中之第一頻寬需求與第二頻寬需求並不相等;以 及在數位通信頻道上傳送此第二層級。 8. 9.10. 11. O:\73\73975-930210.doc - 2 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公
    13· —種包括電腦可讀取媒介之物品,而其中之媒介儲存供 視湧貝料處理之電腦可執行指令,這些指令使得機器: 接收達到頻寬需求之數位視頻強化資料層級; 接收一相關於該層級之門檻值,其中該層包括一 ‘ 1, 位元,其用於每一大小大於或等於該門檻值; 在一數位通信頻道上傳送該層級;以及 於遠數位通信頻道傳送該門植值。 14·如申叫專利範圍第1 3項之物品,其中之數位視頻強化資 料為達到第一頻宽需求之數位視頻強化資料的第一層 級’這些指令更使機器: 接收達到第二頻寬需求之數位視頻強化資料之第二層 級,其中之第一頻寬需求與第二頻寬需求並不相等;以 及 在數位通信頻道上傳送此第二層級。 15· —種視頻處理方法,包括: 從來源視頻序列產生數位基礎視頻信號; 從來源視頻序列產生數位視頻強化資料部分;以及 從數位強化資料部分產生複數個數位視頻強化資料層 級’每一該層級滿足一指定頻寬需求。 16·如申凊專利範圍第1 5項之方法,其中之數位視頻強化資 料部分包括眾多量值,而其中之產生數位視頻強化資料 包括: 選擇門檻值;以及 -3 - O.\73\73975-930210.doc 本紙張尺度適用中國國家標準(CNS) Α4規格(210X297公复)
    形成包括代表每個大於或等於門檻值之量值的,丨,位元 的數位視頻強化資料層級。 17·如申睛專利範圍第1項之方法,其中該指定步驟包括為每 —該多重層級指定一單一頻寬。 18·如申請專利範圍第17項之方法,其中該形成步驟包括形 成具有數位一及數位零之多重層級,及其中每一該多重 層級包括實質上等數目之數位一。 19·如申請專利範圍第4項之物品,其中該指定指令包括為每 一該多重層級指定一單一頻寬。 2〇·如申請專利範圍第19項之物品,其中該形成指令包括形 成具有數位一及數位零之多重層級,及其中每一該多重 層級包括實質上相似數目之數位一。 21·如申請專利範圍第7項之方法,其中每一該等層級係具有 貫質上等數目數位一之數位值。 22·如申請專利範圍第11項之方法,其中每一該等層級係具 有實質上等數目數位一之數位值。 23·如申凊專利範圍第1 3項之物品,其中該接收指令包括接 收數位強化資料之層級,其各包括實質上等數目之數位 — 〇 24·如申請專利範圍第丨5項之方法,其中該指定頻寬對每一 該複數層級係實質上相同頻寬。 25.如申請專利範圍第24項之方法,其中每一該複數層級包 括一具有實質上相等數目數位一之數位值。 O:\73\73975-930210.doc -4
TW090124164A 2000-09-29 2001-09-28 Video processing TW583878B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/675,279 US7082221B1 (en) 2000-09-29 2000-09-29 Bandwidth determination for multiple layer digital video

Publications (1)

Publication Number Publication Date
TW583878B true TW583878B (en) 2004-04-11

Family

ID=24709787

Family Applications (1)

Application Number Title Priority Date Filing Date
TW090124164A TW583878B (en) 2000-09-29 2001-09-28 Video processing

Country Status (8)

Country Link
US (1) US7082221B1 (zh)
EP (1) EP1325637A2 (zh)
JP (1) JP3990630B2 (zh)
KR (1) KR100591114B1 (zh)
CN (2) CN102186085B (zh)
AU (1) AU2001294835A1 (zh)
TW (1) TW583878B (zh)
WO (1) WO2002030124A2 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619718B2 (en) 2002-04-05 2013-12-31 Interdigital Technology Corporation Method and apparatus for coordinating a radio network controller and node B resource management for high speed downlink packet data service
US7992068B2 (en) * 2003-10-06 2011-08-02 Ipg Electronics 503 Limited Digital television transmission with error correction
US7324664B1 (en) * 2003-10-28 2008-01-29 Hewlett-Packard Development Company, L.P. Method of and system for determining angular orientation of an object
KR20060005585A (ko) * 2004-07-13 2006-01-18 삼성전자주식회사 Usb를 이용한 데이터 전송 장치 및 방법
EP1816870A4 (en) * 2004-11-19 2009-07-29 Panasonic Corp VIDEO CODING METHOD AND VIDEO CODING METHOD
RU2007128067A (ru) * 2004-12-22 2009-01-27 Конинклейке Филипс Электроникс Н.В. (Nl) Масштабируемое кодирование
US7778476B2 (en) * 2005-10-21 2010-08-17 Maxim Integrated Products, Inc. System and method for transform coding randomization
KR100813001B1 (ko) * 2006-07-13 2008-03-13 한국전자통신연구원 차분신호의 크기와 부호의 분리를 이용한 동영상부호화/복호화 장치 및 그 방법
JP2010505324A (ja) 2006-09-26 2010-02-18 ライブユー リミテッド 遠隔送信システム
CN101094406B (zh) * 2007-07-23 2010-09-29 北京中星微电子有限公司 一种视频数据流的传输方法及装置
EP2245770A1 (en) 2008-01-23 2010-11-03 LiveU Ltd. Live uplink transmissions and broadcasting management system and method
US9118680B1 (en) 2009-06-30 2015-08-25 Amazon Technologies, Inc. Opportunistic routing
US9137301B1 (en) 2009-06-30 2015-09-15 Amazon Technologies, Inc. Client based opportunistic routing
US9137300B1 (en) 2009-06-30 2015-09-15 Amazon Technologies, Inc. Opportunistic pipe switching
US9137548B2 (en) * 2011-12-15 2015-09-15 Flextronics Ap, Llc Networked image/video processing system and network site therefor
WO2013171648A1 (en) 2012-05-17 2013-11-21 Liveu Ltd. Multi-modem communication using virtual identity modules
US8787966B2 (en) 2012-05-17 2014-07-22 Liveu Ltd. Multi-modem communication using virtual identity modules
US9980171B2 (en) 2013-03-14 2018-05-22 Liveu Ltd. Apparatus for cooperating with a mobile device
US9338650B2 (en) 2013-03-14 2016-05-10 Liveu Ltd. Apparatus for cooperating with a mobile device
US9369921B2 (en) 2013-05-31 2016-06-14 Liveu Ltd. Network assisted bonding
US10986029B2 (en) 2014-09-08 2021-04-20 Liveu Ltd. Device, system, and method of data transport with selective utilization of a single link or multiple links
US9565451B1 (en) * 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US11088947B2 (en) 2017-05-04 2021-08-10 Liveu Ltd Device, system, and method of pre-processing and data delivery for multi-link communications and for media content
US11873005B2 (en) 2017-05-18 2024-01-16 Driveu Tech Ltd. Device, system, and method of wireless multiple-link vehicular communication
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
JP3170193B2 (ja) 1995-03-16 2001-05-28 松下電器産業株式会社 画像信号の符号化装置及び復号装置
EP0835589A1 (en) 1995-06-29 1998-04-15 THOMSON multimedia System for encoding and decoding layered compressed video data
DE69830979T2 (de) * 1997-07-29 2006-05-24 Koninklijke Philips Electronics N.V. Verfahren und vorrichtung zur videocodierung mit variabler bitrate
US5995150A (en) * 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
KR20010032337A (ko) * 1998-09-22 2001-04-16 마츠시타 덴끼 산교 가부시키가이샤 영상신호 부호화방법, 영상신호 부호화장치 및 프로그램기록매체
WO2000021302A1 (en) * 1998-10-02 2000-04-13 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
US6496980B1 (en) * 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
CN1279864C (zh) * 1999-07-27 2006-10-18 林内株式会社 米饭的长时间保温方法以及长时间保温式饭煲
JP3957937B2 (ja) * 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding

Also Published As

Publication number Publication date
JP3990630B2 (ja) 2007-10-17
WO2002030124A2 (en) 2002-04-11
CN102186085A (zh) 2011-09-14
AU2001294835A1 (en) 2002-04-15
US7082221B1 (en) 2006-07-25
WO2002030124A3 (en) 2002-08-22
CN102186085B (zh) 2013-01-09
JP2004511186A (ja) 2004-04-08
KR100591114B1 (ko) 2006-06-19
CN1466853B (zh) 2011-06-08
EP1325637A2 (en) 2003-07-09
KR20040018243A (ko) 2004-03-02
CN1466853A (zh) 2004-01-07

Similar Documents

Publication Publication Date Title
TW583878B (en) Video processing
JP3392862B2 (ja) 適応ブロック・サイズによる画像圧縮方法およびシステム
TW517501B (en) Quality based image compression
US7884742B2 (en) System and method for efficient compression of digital data
US7519228B2 (en) Method and apparatus for encrypting and compressing multimedia data
US20060088098A1 (en) Method and arrangement for reducing the volume or rate of an encoded digital video bitstream
JPH06511361A (ja) アダプティブ・ブロックサイズイメージ圧縮方法およびシステム
JP2008527789A (ja) エントロピー符号化方法
CN101969566A (zh) 运动图像编码装置以及运动图像编码方法
US9077960B2 (en) Non-zero coefficient block pattern coding
CN101098473A (zh) 一种图像编码方法及装置
US6865229B1 (en) Method and apparatus for reducing the “blocky picture” effect in MPEG decoded images
CN108965887B (zh) 一种基于块间去耦合的视频信息隐藏方法和装置
US20140328391A1 (en) Method and system for video rate control
WO2008147142A2 (en) Method and system of inserting watermark for h.264/avc video stream
JP5345797B2 (ja) ビデオ信号の変換方法及び装置
KR100624404B1 (ko) 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
KR100566290B1 (ko) 스캔 테이블을 이용한 영상 주사방법과 그를 적용한 이산코사인 변환 장치
CN100566419C (zh) 以无损的方式编码数字图像数据的设备和方法
Kavitha et al. H. 264 Video Compression Using Novel Refined Huffman Codes for Omnipresent Applications
JP2002290743A (ja) 画像情報符号化方法、符号化装置、ディジタル複写機、ディジタルファクシミリ装置、及び、ディジタルファイリング装置
Nasiopoulos et al. A high-quality fixed-length compression scheme for color images
Jin et al. A data hiding method for JPEG 2000 coded images using modulo arithmetic
Pandiammal et al. An Enhanced Approach for Video Compression
Reed Improvement of MPEG-2 compression by position-dependent encoding