TWI325724B - Multiple layer video encoding - Google Patents

Multiple layer video encoding Download PDF

Info

Publication number
TWI325724B
TWI325724B TW095135858A TW95135858A TWI325724B TW I325724 B TWI325724 B TW I325724B TW 095135858 A TW095135858 A TW 095135858A TW 95135858 A TW95135858 A TW 95135858A TW I325724 B TWI325724 B TW I325724B
Authority
TW
Taiwan
Prior art keywords
quantized coefficients
coefficients
quantized
video frame
data
Prior art date
Application number
TW095135858A
Other languages
English (en)
Other versions
TW200737986A (en
Inventor
Fang Shi
Vijayalakshmi R Raveendran
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW200737986A publication Critical patent/TW200737986A/zh
Application granted granted Critical
Publication of TWI325724B publication Critical patent/TWI325724B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

1325724 九、發明說明: 【發明所屬之技術領域】 本揭示案係針對一種用以處理多層視訊資料之方法及裝 置。 【先前技術】 由於網際網路及無線通信之爆炸式增長及極大成功,以 及對於多媒體服務之愈來愈多的需求,因此經由網際網路 及移動/無線通道的串流媒體已引起極大的注意。在異質 網際網路協定(IP)網路中,視訊由一伺服器提供且可由一 或多個用戶端串流。有線連接包括撥接、ise>n、電纜、 xDSL、光纖、LAN(區域網路)、WAN(廣域網路)及其他。 傳輸模式可為單播或多播。包括PDA(個人數位助理)、膝 上型電腦、桌上型電腦、視訊轉換器、TV、HDTV(高畫 質電視)、行動電話及其他在内之個別用戶端裝置的不 同,需要同時針對相同内容而具有不同頻寬之位元流。連 接頻寬可隨時間(自9.6 kbps至1〇〇 Mbps及以上)快速變 化’且可快於伺服器之反應。 與異質IP網路相似的是移動/無線通信。經移動/無線通 道之多媒體内容的傳送係非常具挑戰性因為此等通道通常 由於多路徑衰退、屏蔽、符號間干涉及雜訊干擾而嚴重減 損某些其他原因,例如移動率及競爭訊務亦導致頻寬變 動及損耗。通道雜訊及所伺服之使用者數量決定通道環境 的時變性。除環境條件以外,目標網路可自第二至第三代 蜂巢式網路變動至寬頻帶資料為主的網路dab· 114995.doc ^ ·6· ,一 only network),此歸因於地理位置以及移動漫遊。所有此 等變化需要對甚至在高速旋轉中之多媒體内容進行自適應 速率調整》S ’經由異f有線/無線網路成功地傳輸視 訊需要有效的編碼,及對於變動網路條件、裝置特性,及 使用者偏好的適應性,同時亦對損耗有彈性。 為滿足不同使用者之需求且適應通道變動,可產生多個 獨立版本之位元流,每一者滿足基於傳輸頻寬、使用者顯 不及/或計算能力的一個等級的約束,但此對於伺服器儲 存及多播應用而s效率不佳。在可擴展編碼中,於伺服器 處建立適應咼端使用者之單個巨集位元流,用於低端應用 之位元流被嵌入作為該巨集位元流之子集。如此,藉由選 擇性傳輸子位元流,一單個位元流可適應不同應用環境。 由可擴展編碼提供之另一優點為在易出錯通道上進行穩固 的視訊傳輸。可輕易處理錯誤保護及錯誤隱匿。可將一更 可靠之傳輸通道或一更佳的錯誤保護應用至含有最重要資 訊之基礎層位元。 在諸如MPEG-1、MPEG-2、MPEG-4(統稱為 MPEG-x)、 H.261、H.262、H.263及H.264(統稱為H.26x)之混合編碼器 中存在空間、時間及訊雜比(SNR)可擴展性。在混合編碼 中,藉由運動補償預測(MCP)來移除時域冗餘。視訊通常 被为為一系列圖像組(GOP),其中每一 GOP始於一框内編 碼圖框(I),繼之以前向(及/或後向)預測圖框(p)與雙向預 測圖框(B)之一配置。P圖框及B圖框兩者皆為採用MCP之 框間預測圖框。基礎層可以較低品質水準含有I圖框、p圖 114995.doc 1325724 框或B圖框之最重要的資訊,且-增強層可含有相同圖框 之更高品質的資訊或基礎層中所不含有之額外時域擴展圖 杧SNR可擴展性可在解碼器處藉由在解碼基礎詹資料之 同時選擇性略去對增強層中之較高品質資料的解碼而實 現。視如何在基礎層與增強層之間剖析資料而^,對基礎 層加增強層資料之解碼可引入增大的複雜性及記憶體要 求增大的计算複雜性及記憶體要求可對功率受限及計算 能力受限之裝置(諸如PDA(個人數位助理)、行動電話及其 類似物)的效能有害.理想的係:對基礎層加增強層之解 碼並不顯著增加此等裝置的計算複雜性及記憶體要求。 【發明内容】 因此,發展一種用於解碼基礎層加增強層而不顯著增加 。十算複雜性及所需之記憶體的系統及方法將係有利的。 一個實施例包括一種用於處理多媒體資料之方法。該方 法包含:接收一表示至少一視訊圖框之第一組量化係數; 接收一表示至少一視訊圖框之第二組量化係數;及使用該 第一組量化係數及該第二組量化係數產生一表示至少一視 訊圖框之第三組量化係數。 在某些實施例中,該方法進一步包含:接收表示至少一 視訊圖框之可變長度係數(VLC)資料;及處理該VLC資料 以產生該第一組量化係數及該第二組量化係數,其中導致 該第一組及該第二組量化係數之產生的VLC資料處理係藉 由一單個處理器執行。在某些實施例中,第二組量化係數 指示對第一組量化係數之至少一改進。在某些實施例中, 114995.doc 第三組量化係數係藉由將該第一組量化係數添加至該第二 組量化係數而產生β在某些實施例中,該第一組量化係數 與該第二組量化係數組合以產生該第三組量化係數係部分 地基於一與該第一組量化係數相關聯之第一量化參數及一 與該第二組量化係數相關聯之第二量化參數。在某些實施 例中’第一量化參數及第二量化參數具有一除1之外的公 分母。 另一實施例包括一種用於處理多媒體資料之裝置。該裝 置包含:用於接收表示至少一視訊圖框之第一組量化係數 的構件;用於接收一表示至少一視訊圖框之第二組量化係 數的構件;及用於使用該第一組量化係數及該第二組量化 係數產生一表示至少一視訊圖框之第三組量化係數的構 件。 在某些實施例中,該裝置進一步包含:用於接收表示至 少一視訊圖框之VLC資料的構件;及用於處理該VLC資料 以產生第一組量化係數及第二組量化係數的構件,其中導 致該第一組及該第二組量化係數之產生的VLC資料處理係 藉由一單個處理器執行。在某些實施例中,與該第一組量 化係數及該第二組量化係數相關聯之量化參數具有一除i 之外的公分母。在某些實施例中,該公分母為6。在某些 實施例中,用於產生該第三組量化係數之構件使用添加至 第二組量化係數之第一組量化係數。在某些實施例中,將 該第一組量化係數添加至該第二組量化係數以產生該第三 組量化係數係部分地基於一與該第一組量化係數相關聯之 114995.doc 1325724 第一量化參數及一與該第二組量化係數相關聯之第_ θ 〜蕙化 參數。在某些實施例中’第二組量化係數指示對該第—全 «so. 量化係數之至少一改進。 另一實施例包括一種用於處理多媒體資料之裝置。該穿 置包含:一接收模組,其經組態以接收一表示至少一視訊 圖框之第一組量化係數及一表示至少一視訊圖框之笛一 布一'組 量化係數;及一處理模組’其經組態以使用該第—組量化 係數及該第二組量化係數產生一表示至少一視訊圖樞之第 三組量化係數。 另一實施例包括一種包含用於處理多媒體資料之指令之 機器可讀媒體’其中該等指令在執行時導致一機器:判定 一表示至少一視訊圖框之第一組量化係數;判定一表示至 一視訊圖框之第一組莖化係數;及使用該第一組量化係 數及該第二組量化係數編碼一表示至少一視訊圖框之第= 組量化係數》 另一實施例包括一種用於處理多媒體之處理器。該處理 器係經組態以判定一表示至少一視訊圖框之第一組量化係 數;判定一表示至少一視訊圖框之第二組量化係數;及使 用該第一組量化係數及該第二組量化係數編碼一表示至少 一視訊圖框之第三組量化係數。 既非此【發明内容】亦非以下【實施方式】聲稱限定本 發明。本發明係由【申請專利範圍】限定。 【實施方式】 本發明描述以降低的解碼器額外負擔提供包括一基礎層 114995.doc 〆 «a. 1325724 及-或多個增強層在内之多個視訊層視訊的方法及裝置。 基礎層係數及增強層係數可在兩層均可用於解碼時於解量 化之前藉由根攄木女斛^ _ 又所揭不之某些實施例之解碼器裝置進 行組合’從而改良解碼效率。 在以下描述中’給出特定細節以提供對實施例之徹底理 解然而 般熟習此項技術者將瞭解,該等實施例可在 無彼等特定細節之情況下實i舉例而言,電子組件可以 方塊圖表展示,以便不致因不必要之細節而使本發明之實 施例難以理解。在其他實例中,可詳細展示此等組件、其 他結構及技術以進一步解釋該等實施例。 亦凊注意,豸等實施例可描述為一過帛,該過程係描繪 為流程圖、流程圖表、結構圖表,或方塊圖表。儘管一流 程圖可將操作描述為一順序過程,但該等操作中之許多操 作可並行或同時執行且該過程可重複。另外,操作之次序 可重新配置。當一過程之操作完成時,該過程終止。一過 程可對應於方法、功能、程序、次常式、次程式等。當一 過程對應於一功能時,該過程的終止對應於該功能返回至 呼叫功能或主功能。 在習知單層解碼器中’I圖框、p圖框及B圖框之解碼皆 遵循一相似路徑。無論表示框内編碼視訊抑或殘餘錯誤之 係數均經解量化、逆變換且然後分別與空間預測係數或最 佳匹配巨集區塊係數組合。 在下文中描述之編碼及解碼過程以增加效率的方式使基 礎層及/或增強層之可擴展解碼對於負責解碼視訊資料的 114995.doc •11- 1325724 組件而言為透通》替代在每一層之自身通過中單獨解碼每 一層’且然後組合經解碼之層(其為低效的使雙層解碼透 通的兩次通過方式)’對解碼器有效之透通性可藉由諸如 使用一預處理器(例如數位信號處理器(DSP》在組合資料在 一單次通過中於硬體視訊核心中解碼之前,組合基礎層資 料及増強層對基礎層資料的修改而完成。 圖1 A係一用於解碼多個視訊層之解碼器裝置100之一實 例的說明。解碼器裝置1〇〇含有:一視訊核心11〇,其包括 一解量化組件120及一逆變換組件丨丨5 ; 一記憶體組件 130,一通信組件14〇 ; 一第一處理器18〇 ;及一第二處理 器135。該解碼器裝置100接至··(a)—儲存組件145,其可 在解碼器裝置100之内部或外部;及(b)—顯示組件190。出 於與圖1相關聯進行論述及說明之目的,假設儲存組件145 係在解碼器裝置1〇〇之外部。 解碼器裝置1〇〇接收來自一外部儲存裝置145或來自一接 收自網路150之傳輸的編碼資料。編碼資料可包含經變換 資料、董化資料、可變長度編碼(VLC)資料或其任意組 合。此外’編碼資料可包含用於不同視訊層之資料,諸如 基礎層資料及增強層資料。舉例而言,通信組件14〇可接 收表不一基礎層、—増強層之VLC資料,及用於將針對該 兩層之VLC資料變換為量化係數的查詢表。通信組件140 含有用以與網路15G協同接收(Rx)編碼資料的邏輯,以及 用於接收來自外部儲存器145之編碼資料的邏輯“卜部儲 存器145可為(舉例而言)外部ram或r〇m,或遠端伺服 114995.doc 〆· -12· 1325724 器。 第一處理器180含有用於處理vlc資料之邏輯。第一處 理器180含有用於VLC符號產生(亦已知為執行VLc表查 3旬)、VLC運行長度(run length)擴充,及逆之字形掃描之 邏輯。第一處理器180可因此當給定表示量化(或殘餘)係數 之VLC資料時產生非壓縮(unpacked)的量化(或殘餘)係數。 在某些實施例中,第一處理器為一精簡指令集電腦(Risc) 處理器。 第一處理器135含有用於組合表示基礎層及增強層的資 料(例如量化係數)之邏輯,使得經組合之資料可稍後在一 單個層中解碼(如在下文中參看圖3更詳細地討論)。在某些 實施例中,第二處理器135可含有用於在(例如)未接收到或 以一毁壞狀態接收到增強層時或為了節省電池電力或節省 處理能力而產生基礎層可解碼資料的邏輯。在某些實施例 中,第二處理器135為一 DSP。 當接收框内編碼資料時,第二處理器U5首先處理資料 且然後將經處理之資料發送至視訊核心1丨〇之解量化組件 120進行解量化,繼之,由視訊核心11〇之逆變換組件"5 進行逆變換,得到一可顯示於顯示組件19〇上之經解碼的 圖像。另一方面,框間編碼資料在參考圖框(自該參考圖 框預測框間編碼資料)解碼之後予以解碼。殘餘錯誤係數 由第二處理器135、解量化組件12〇及逆變換組件115予以 處理,得到經解碼之殘餘錯誤。然後,該殘餘錯誤與來自 參考圖框之最佳匹配巨集區塊組合。經解碼之圖框可由顯 114995.doc 13 ^25724 儲存於外部儲存器145中或儲存於内部記 顯示組件190可為含有諸如視訊顯示硬體及邏輯之部分 之解碼裝置(包括-顯示勞幕)的整合部分或其可為外部 周邊裝置。通信組件175亦含有用以將經解碼之圖框傳遞 至外部儲存組件m或顯示組件19〇之邏輯。解碼器褒置 100之一或多個元件可重新配置及/或組合。
視訊核心110含有兩個組件:解量化組件12〇及逆變換組 件115。在某些實施例中,視訊核心11〇可建構為特殊應用 積體電路(ASIC) ^解量化組件12〇及逆變換組件115分別執 行解里化及逆變換》此等逆操作係經執行以允許表示原始 視訊資料之係數及視訊圖框的重建,以使得殘餘錯誤計算 及增強層係數計算盡可能精確。
示組件190顯示 憶體130中。 當執行逆量化時,解量化組件12〇將經分配以表示變換 係數中之每一者之位元的數目用作量化係數以重新產生變 換係數。該等變換係數之量化/解量化可針對每一區塊或 每一巨集區塊而不同。一巨集區塊可為一16)<16像素區塊 (由一 16x16 Luma區塊,及兩個8x8 Chroma區塊組成)。量 化參數(QP)決定當變換係數量化為量化係數時所執行之量 化等級。更多數位壓縮係藉由增加QP,藉此提供對係數之 較低品質的數位表示而實現。在一個實例中,較低品質係 數可在一 SNR可擴展視訊流之基礎層中進行編碼。減少Qp 慮及係數之較南品質的數位表不。此等較高品質係數可在 一 SNR可擴展視訊流之增強層中進行編碼。 114995.doc -14- :執仃逆變換時’逆變換組件115將變換係數變換為來 自工域之視訊資料’例如經解碼之視訊圖框。若使用 DCT(離散餘弦變換),則變換係數可表示頻域。變換係數 可為框内編碼資料,甘士 • 頁科其中變換實際視訊資料;或其可為框 内編碼資料’纟中變換空間預測殘餘;或其可為框間編碼 資料’其中變換殘餘錯誤。其他數位變換包括Hah歸d變 換、DWT(離散小波變換),及諸如H.264中所使用之整數 變換。 在視訊解碼中,舉例而言,可使用視訊核心之硬體實施 例以加速計算密集解碼過程’尤其是解量化及逆變換。一 硬體視訊核心可含有能夠同時執行(管線操作)若干功能的 特殊電路及/或處理器。管線操作可間減少。標 準管線流中之任何中斷,例如一額外逆變換、一額外解量 化操作或甚至額外加法可使整個過程減.卜熟習此項技術 者將瞭解,視訊核心之一或多個實施例可由硬體、軟體、 韌體、中間軟體、微碼或其任意組合而實施。 通信組件140含有用以自一外部源(例如網路15〇)接收編 碼資料的邏輯。外部源亦可為(舉例而言)外部儲存器145、 實況視頻及/或音頻饋入,且接收該資料可包括有線及/或 無線通彳§。如上所述,編碼資料可包含經變換資料、量化 資料、可變長度編瑪資料或其任意組合。網路15〇可為諸 如電話系統、電纜系統,或光纖系統之有線系統的一部 統。在為無線通信系統之 )碼分多向近接(CDMA或 分,或該網路150可為一無線系 狀況下,網路150可包含(例如 114995.doc -15· 1325724 CDMA2000)通信系統之一部分,或者,替代地,該系統可 為頻分多向近接(FDMA)系統、時分多向近接(TDMA)系統 (例如GSM/GPRS(整體封包無線電服務)/EDGE(增強資料 GSM環境)或用於服務業的TETRA(地面中繼無線電)行動電 話技術)、寬頻碼分多向近接(WCDMA)、高資料率(lxEV-D0或lxEV-DO黃金多播)系統,或大體而言任何採用技術 組合之無線通信系統。可重新配置及/或組合解碼器裝置 100之一或多個元件。舉例而言,通信組件14〇可在解碼器 裝置100之外部。 圖1B為圖1A之編碼系統之例示性第一處理器180及第二 處理器135的說明。第一處理器180包括一用於接收VLC資 料181之模組及一用於處理VLC資料182之模組。第二處理 器135包括一用於接收一第一組量化係數136之模組、一用 於接收於一第二組量化係數137之模組,及一用於產生一 第三組量化係數138之模組。 在某些實施例中,第一處理器180經由其用於接收VLC 資料之模組181接收VLC資料。在某些實施例中,該VLC 資料可表示單個或多層視訊資料。舉例而言,VLC資料可 接收自如圖1中所示之解碼器裝置1〇〇的通信組件14〇。在 某些實施例中,用於接收表示至少一視訊圖框之VLC資料 的構件包含用於接收VLC資料之模組181。用於接收VLC 資料之模組181進一步經組態以將VLC資料發送至用於處 理VLC資料之模組182。在某些實施例中,用於處理VLC 資料以產生第一組量化係數及第二組量化係數之構件包含 114995.doc -16 - 1325724 用於處理VLC資料之模組182,其中該導致該第一組及該 第二組量化係數之產生的VLC資料處理係藉由一單個處理 器執行。用於處理VLC資料之模組182係經組態以使用 VLC資料中所包括之資訊擴充vlc資料。舉例而言,用於 處理VLC資料之模組182可含有用於產生VLC符號,亦已 知為使用VLC資料中所包括之VLC表資訊執行VLC表查詢 之邏輯。用於處理VLC資料之模組182可進一步含有VLC 運行長度擴充’及逆之字形掃描。VLC處理器可進一步經 組態以將經擴充之VLC資料、量化係數發送至第二處理器 135。在某些實施例中’經擴充之vlc資料可包括多組表 示多個視訊資料層之量化係數。 在某些實施例中,第二處理器135經由用於接收一第一 組里化係數之模組13 6及用於接收一第二組量化係數之模 組13 7來接收量化係數資料’例如量化係數組。在某些實 施例中,一用於接收表示至少一視訊圖框之第一組量化係 數的構件包含用於接收一第一組量化係數之模組136。在 某些實施例中,一用於接收一表示至少一視訊圖框之第二 組量化係數的構件包含用於接收一第二組量化係數之模組 137。第一及第二組量化係數可(舉例而言)分別表示基礎層 及增強層視訊資料。接收模組136及137可進一步經組態以 所接收之量化係數資料發送至用於產生一第三組量化係數 之模組138。在某些實施例中,一用於使用該第一組量化 係數及該第二組量化係數產生一表示至少一視訊圖框之第 三組量化係數的構件包含用於產生第三組量化係數之模組 114995.doc _17_ ::s > 1325724 138。在某些實施例中,用於產生一第三組量化係數之模 組13 8係經組態以使用本文中所討論之多層視訊編碼技術 (例如參看圖4所揭示之過程)以將第一組量化係數與第二組 •.量化係數組合。用於產生第三組量化係數之模組138可因 此產生一表示第一及第二組量化係數之第三組量化係數。 在某些其他實施例中,用於產生一第三組量化係數之模組 13 8係經組態以在即使未自兩個接收模組13 6及13 7中之一 者處接收一係數組之狀況下產生一第三組量化係數。 般熟習此項技術者將瞭解,可使用任何各種不同的技 藝及技術表示資訊及信號。舉例而言,在整個以上描述中 所引用之資料、指令、命令、資訊、信號、位元、符號, 及晶片可由電壓、電流、電磁波、磁場或磁粒子、光場或 光粒子,或其任意組合來表示。 圖2為根據本發明之一實施例之解碼SNR可擴展視訊之 過程的流程圖。雖然圖2展示使用本文所揭示之多層視訊 鲁編碼的實施例解碼SNR可擴展視訊的過程’但其他過程亦 可與本文所揭示之多層視訊編碼的特定實施例結合使用, 例如彼等描述於題為"Scalable vide〇 C〇ding with Tw〇
Layer Encoding and Single Layer Decoding"且全文以引用 的方式倂入本發明中之美國專利申請案第6〇/66〇 877號中 的過程。 過程200描繪使用多層視訊編碼解碼一由一基礎層及一 增強層組成之視訊流的流程。在步驟2〇1中,解碼器裝置 之通信模組自網路接收一針對SNR可擴展視訊流之乂1^(:資 114995.doc 1325724 料。該SNR可擴展視訊流具有兩層:一基礎層及一增強 層°然後’通信模組在步驟202中將VLC資料發送至第一 處理器180。在步驟203中,第一處理器180使用VLC符號 產生過程(亦已知為VLC表查詢),繼之為VLC運行長度擴 充’及包括逆之字形掃描擴充VLc資料以產生非壓縮之量 化係數。第一處理器180因此為基礎層及加強層兩者產出 單獨量化係數組。然後該兩組量化係數發送至第二處理 器135。在步驟204中,第二處理器135使用在下文中將參 看圖3討論之某些發明特徵將表示基礎層之第一組量化係 數及表示增強層之第二組量化係數組合為第三組量化係 數。在其他實施例中,並非第一處理器18〇執行擴充vlc 資料的整個過程,而是第一處理器18〇可執行VLC符號的 產生且接著第二處理器135可執行VLC運行長度擴充及逆 之子形掃描以便得到表示基礎層及增強層的兩組量化係 數。 將第三組量化係數發送至視訊核心之解量化組件,其中 在步驟205中,該組件對該組執行解量化,產生一組表示 第三組量化係數的變換係數^然後將變換係數發送至逆變 換組件,其中在步驟206中’現將相反於應用至視訊流以 產生變換係數的起始變換功能的功能應用至變換係數以颠 倒該過程且重新產生視訊流。接著將視訊流置放於内部記 憶體t且使用通信組件傳遞至顯示器,且過程2〇〇完成。 圓3為接收且組合表示兩個單獨視訊資料層的兩組量化 係數之例示性過程的流程圖。所說明之過程提供圖2之步 114995.doc -19· 1325724 驟203之更詳細的細節。在某些實施例中,例如圖1中所展 示之系統及圖2中所展示之流程圖,可由一 RISC處理器執 行該過程。在其他實施例中,可使用另一類型之處理器。 在另外實施例中,可使用複數個處理器接收及組合量化係 數資料。該過程在步驟301中始於首先接收一第一組量化 係數。在某些實施例中’該第一組量化係數可表示一視訊 資料層。舉例而言’第一組係數可表示一基礎層。接著, 在步驟302中,接收一第一組量化係數。在某些實施例 中’該第二組量化係數亦可表示一視訊資料層。舉例而 言’第二組係數可表示一增強層。在其他實施例中,第一 組係數可接收於第二組係數之後。在另外實施例中,可同 時接收兩組係數。 在步驟303中’使用第一組係數及第二組係數產生第三 組係數。在某些實施例中,可藉由將第一組係數與第二組 係數組合而產生第三組係數。在某些實施例中,如將在下 文中參看圖4進一步討論,可使用與該第一組係數及/或該 第二組係數相關聯之量化參數以產生第三組係數。在產生 第三組係數之後,該過程完成。 圖4係為起初由第一及第二組量化係數表示之視訊產生 一第三組量化係數之一個例示性過程的流程圖。所展示之 過程係關於其中與係數組相關聯之量化參數具有一為^之 ^分母的實施例在其他實施例中,量化參數可不具有公 分母。在一個實施例中,解碼器裝置1〇〇可在將表示基本 與增強層兩者之量化係數組相組合時動態地決定Qp。 H4995.doc
•20- 1325724 在步鄉401中,過程始於基礎層係數組中之第一係數。 然後,在步驟402中,該過程移動進入一反覆迴圈 (iterative l〇op) ’其中組合基礎及增強層係數組中之每一 係數。特定言之,始於基礎層係數組中的第一係數Βι,組 合係數組中之對應係數^的值為基於涉&Bl、增強層係數 且中之對應係數E!,及相關於基礎層係數組qpb及增強層 係數組QPE之量化係數的方程式,特定而言,在步驟4〇3 中’方程式為(1:丨=(((^8-(^0/3)*氏+&,其中/=1·..η,且其 中》為基礎層係數組與增強層係數組之間之最長係數組中 之係數的數目。所說明之過程利用基礎層及增強層量化, 其中QPB>QPE,且兩QP均具有一為6之公分母。方程式因 此藉由將係數向左移(擴展的一種形式)一個位元而將基礎 層係數轉換至增強層擴展。 此將來自基礎及增強層之係數相加以使用以上方程式產 生針對組合層之係數的過程於步驟4〇4中針對基礎層係數 組中之每一係數重複,該基礎層係數組在所展示之實施例 中與増強層係數組在長度上相等。接著,當基礎層係數組 中無剩餘待處理之係數時,該過程結束。在其他實施例 中,可使用其他方程式計算組合係數組值,其可涉及具不 同或無公分母的量化參數。
硬體與軟體之此可互換性, 區塊、模組,及演算步驟可實 或兩者之組合。為清晰地說明 以上已大體上關於其功能性描 114995.doc •21 · 1325724 述各種說明性組件、區塊、模組、電路,及步驟。此功能 是否實施為硬體或軟體係視特定申請案及施加於整個系統 上之設計約束而定。熟習此項技術者可針對每一特定申請 案而以變動的方式實施所描述之功能性,但此實施決定不 應解釋為導致自所揭示之方法之範疇的脫離。
結合本文所揭示之實例所描述之各種說明性邏輯區塊、 模組,及電路可藉由經設計以執行本文中所描述之功能之 通用處理器、DSP、ASIC、現場可程式化閘極陣列(fpga) 或其他可程式化邏輯裝置、離散閘或電晶體邏輯、離散硬 體組件,或其任意組合來實施或執行。一通用處理器可為 一微處理器,但作為替代,該處理器可為任意習知處理 器、控制器、微控器,或狀態機。處理器亦可實施為計算 裝置之組合,例如DSP與微處理器之組合、複數個微處理 器、一或多個與DSP核心結合之微處理器之組合,或任意 其他此種組態。
結合本文所揭示之實例描述之方法或演算之步驟可直接 實施於硬體中、由處理器執行之軟體模組中,或兩者之組 合。一軟體模組可駐於RAM記憶體、快閃記憶體、r〇m 記憶體、EPROM記憶體、EEPR〇M記憶體、暫存器、硬 碟、可抽取式磁碟、CD_ROM,或此項技術中已知之任何 其他形式之儲存媒體中。一例示性儲存媒體耦接至處理器 以使得該處理器可自該儲存媒體讀取資訊且將資訊寫入該 儲存媒體中。作為替代,儲存媒體可整合至處理器。該處 理器及該儲存媒體可存在於ASIC*。該Asic可駐於無線 114995.doc 〆為; •22- 數據機中。作為替代,處理器及儲存媒體可作為離散組件 駐於無線數據機中。 對所揭示實例之先前描述係經提供以使任何熟習此項技 術者能夠製作或使用所揭示之方法及裝置。彼等熟習此項 技術者將易於瞭解對此等實例之多種修改,且本文中所定 義之原理可應用至其他實例而不脫離所揭示之方法及裝置 之精神或範_。 因此,已描述藉由產生一單個表示一基礎層及一增強層 兩層之量化係數組,而以最小解碼器額外負擔在一基礎層 處提供可接受品質視訊且在一增強層處提供更高品質視訊 的方法及裝置。 【圖式簡單說明】 圖1A為用於遞送串流視訊之編碼系統之實例的說明; 圖1B為圖1A之編碼系統之例示性第一處理器及第二處 理器的說明; 圖2為編碼視訊之一個實例的流程圖; 圖3為圖丨入之第一處理器所執行之一個例示性過程的流 程圖;及 圖4為產生一表示起初由第一及第二組量化係數表示之 視訊的第二組量化係數之一個例示性過程的流程圖。 【主要元件符號說明】 100 解碼器裝置 110 視訊核心 115 逆變換組件 114995.doc -23- 1325724 120 解量化組件 130 記憶體 135 第二處理器 136 用於接收第一組量化係數之模組 137 用於接收第二組量化係數之模組 138 產生一第三組量化係數之模組 140 通信組件 145 外部儲存器
150 網路 180 第一處理器 181 用於接收VLC資料之模組 182 用於處理VLC資料之模組 190 顯示器
114995.doc -24-

Claims (1)

  1. 1325724 ' ' ^ ^ ^ • · 第095135858號專利申請案 中文申請專利範圍替換本(98 '十、申請專利範圍: 1. 一種用於處理多媒體資料之方法,其包含: 接收表示至少一視訊圖框之可變長度係數(VLC)資 料; ' 處理該VLC資料以產生一表示至少一視訊圖框之第一 組量化係數及一表示該至少一視訊圖框之第二組量化係 數,其中由一單個處理器執行導致該第一組及該第二組 量化係數之該產生的該VLC資料處理; • 接收該第一組量化係數; 接收該第二組量化係數;及 使用該第一組量化係數及該第二組量化係數,產生一 表示該至少一視訊圖框之第三組量化係數。 2. 如請求項1之方法,其中該第二組量化係數指示對該第 一組量化係數之至少一改進。 3. 如請求項1之方法,其中藉由將該第一組量化係數添加 至該第二組量化係數而產生該第三組量化係數。 • 4.如請求項3之方法,其中該第一組量化係數與該第二組 量化係數組合以產生該第三組量化係數係部分地基於一 與該第一組量化係數相關聯之第一量化參數及一與該第 二組量化係數相關聯之第二量化參數。 5. 如請求項4之方法,其中該第一量化參數並非該第二量 化參數之一因子。 6. 如請求項4之方法,其中該第一量化參數及該第二量化 參數不具有公分母。 114995-98123 丨.doc 1325724
    8· 9. 如請求項4之方法,其中該第一量化參數及該第二量化 參數具有一除1之外的公分母。 如請求項7之方法,其中該公分母為6。 一種用於處理多媒體資料之裝置,其包含: 用於接收表示至少一視訊圖框之VLC資料的構件; 用於處理該VLC資料以產生一表示至少一視訊圖框之 第一組篁化係數及一表示該至少一視訊圖框之第二組量 化係數的構件,其中由一單個處理器執行導致該第一組 重化係數及該第二組量化係數之該產生的該VLc資料處 理; 用於接收該第一組量化係數的構件; 用於接收該第二組量化係數的構件;及 用於使用該第一組量化係數及該第二組量化係數產生 一表不該至少一視訊圖框之第三組量化係數的構件。 10.如請求項9之裝置,其中與該第一組量化係數相關聯之 第一量化參數及與該第二組量化係數相關聯之一第二 量化參數不具有公分母。 11·如請求項9之裝置,其中與該第一組量化係數及該第二 組里化係數相關聯之量化參數具有一除1之外的公分 母。 12·如3月求項11之裝置,其中該公分母為0。 13.如請求項9之裝置,其中該用於產生該第三組量化係數 的構件使用加至該第二組量化係數的該第一組量化係 數0 114995-981231.doc -2- 14. 15. 16. 17. 如請,項13之裝置,其中將該第—組量化係數加至該第 -組ί化⑽以產生該第三址量化係數俦、部分地基於一 與該第-組量化係數相關聯之第-量化參數及一與該第 二組量化係數相關聯之第二量化參數。 如請求項9之裝置,其中該第二組量化係數指示對該第 一組量化係數之至少一改進。 一種用於處理多媒體資料之裝置,其包含: 一 VLC接收模組,其經組態以接收表示至少一視訊圖 框之可變長度係數(VLC)資料; 一處理模組’其經組態以處理該VLC資料以產生一表 不至少一視訊圖框之第一組量化係數及一表示該至少一 視§fl圖框之第二組量化係數,其中由一單個處理器執行 導致該第一組及該第二組量化係數之該產生的該VLC資 料處理; 一量化係數接收模組,其經組態以接收該第一組量化 係數及該第二組量化係數;及 一產生模組,其經組態以使用該第一組量化係數及該 第二組量化係數,產生一表示該至少一視訊圖框之第三 組量化係數。 一種包含用於處理多媒體資料之指令之機器可讀媒體, 其中該等指令在執行時導致一機器: 接收表示至少一視訊圖框之可變長度係數(VLC)資 料; 處理該VLC資料以產生一表示至少一視訊圖框之第一 114995-981231.doc 1325724 組量化係數及一表示該至少一視訊圖框之第二組量化係 數,其中由一單個處理器執行導致該第一組量化係數及 該第二组量化係數之該產生的該VLC資料處理; 接收該第一組量化係數; 接收該第二組量化係數;及 使用該第一組量化係數及該第二组量化係數,產生一 表示該至少一視訊圖框之第三組量化係數。 18.種用於處理多媒體之處理器’該處理器係經組態以: 接收表示至少一視訊圖框之可變長度係數(VLC)資 料; 處理該VLC資料以產生一表示至少一視訊圖框之第一 組量化係數及一表示該至少一視訊圖框之第二組量化係 數,其中由一單個處理器執行導致該第一組量化係數及 5亥第二組量化係數之該產生的該VLC資料處理; 接收該第一組量化係數; 接收該第二組量化係數;及 使用該第一組量化係數及該第二組量化係數,產生一 表示該至少一視訊圖框之第三組量化係數。 I14995-981231.doc 1325724 第095135858號專利申請案 匕 π ^ 中文圖式替換本(98年I2月)I 正戈換頁 十一、圖式: 001-
    061
    S寸I- ΙΙ4Φ犟命女
    $ 114995-fig-981231.doc 1325724
    114995-fig-981231.doc 1325724
    第一處理器接收VLC資料且將表示VLC資料之 化係數及針對增強層之第二組量化係數輪:以:^-組量
    _組件對第三組組變換係數輪出 至
    _數==變輸 = 二之視訊圓框資 114995-fig-981231.doc 結束 春2 1325724 ij ,二 Γ·: LJ' 12. 31" (開 始) r 广 3〇1 接收第一係數組 r ,302 接收第二係數組 r 广 303 使用第一及第二組係數 產生第三係數組 ” (7吉束)
    114995-fig-981231.doc 1325724 4 1¾ 二滅頁
    402 基礎層係數組中之每一係數B 〖 ^403 使用第一及第二組中之係數且視情況 與第一及第二組相關聯之量化參數產 生第三組係數 r 广 404 至基礎層係數組中之下一係數 結束 春4 114995-fig-9B1231.doc
TW095135858A 2005-09-27 2006-09-27 Multiple layer video encoding TWI325724B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US72143505P 2005-09-27 2005-09-27

Publications (2)

Publication Number Publication Date
TW200737986A TW200737986A (en) 2007-10-01
TWI325724B true TWI325724B (en) 2010-06-01

Family

ID=37763800

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095135858A TWI325724B (en) 2005-09-27 2006-09-27 Multiple layer video encoding

Country Status (8)

Country Link
US (1) US8705617B2 (zh)
EP (1) EP1929787A2 (zh)
JP (2) JP2009510940A (zh)
KR (1) KR100964778B1 (zh)
CN (1) CN101313583B (zh)
AR (1) AR055662A1 (zh)
TW (1) TWI325724B (zh)
WO (1) WO2007038730A2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239766B2 (en) 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
JP5197238B2 (ja) * 2008-08-29 2013-05-15 キヤノン株式会社 映像送信装置、その制御方法、および制御方法を実行するプログラム
JP5174737B2 (ja) * 2009-05-05 2013-04-03 国立大学法人広島大学 画像配信システム、符号装置及び復号装置
GB2496862B (en) * 2011-11-22 2016-06-01 Canon Kk Communication of data blocks over a communication system
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
US9832481B2 (en) * 2014-01-03 2017-11-28 Qualcomm Incorporated Support of base layer of a different codec in multi-layer video coding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654196A (ja) 1992-07-31 1994-02-25 Canon Inc 画像処理装置
JPH06244736A (ja) 1993-02-15 1994-09-02 Toshiba Corp 符号化装置
US5510842A (en) * 1994-05-04 1996-04-23 Matsushita Electric Corporation Of America Parallel architecture for a high definition television video decoder having multiple independent frame memories
US6757438B2 (en) 2000-02-28 2004-06-29 Next Software, Inc. Method and apparatus for video compression using microwavelets
JP3170193B2 (ja) * 1995-03-16 2001-05-28 松下電器産業株式会社 画像信号の符号化装置及び復号装置
US6795501B1 (en) * 1997-11-05 2004-09-21 Intel Corporation Multi-layer coder/decoder for producing quantization error signal samples
JPH11346366A (ja) 1998-06-01 1999-12-14 Sony Corp 符号化装置とその方法および復号化装置とその方法
US20020001412A1 (en) 1998-07-21 2002-01-03 Hewlett-Packard Company System for variable quantization in jpeg for compound documents
JP2001245301A (ja) 2000-02-28 2001-09-07 Sharp Corp 符号化装置および符号化方法
US6792044B2 (en) 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
US6882685B2 (en) 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US7158684B2 (en) 2002-04-25 2007-01-02 Texas Instruments Incoporated Entropy coding scheme for video coding
AU2003279015A1 (en) 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
JP2005057738A (ja) 2003-07-18 2005-03-03 Canon Inc 信号処理装置、信号処理方法及びプログラム
JP2005094054A (ja) * 2003-09-11 2005-04-07 Hiroshima Univ 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム
KR100834748B1 (ko) 2004-01-19 2008-06-05 삼성전자주식회사 스케일러블 비디오 스트림 재생 방법 및 장치
KR100703734B1 (ko) * 2004-12-03 2007-04-05 삼성전자주식회사 Dct 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
US7778327B2 (en) * 2005-02-08 2010-08-17 Texas Instruments Incorporated H.264 quantization
US7995656B2 (en) 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding

Also Published As

Publication number Publication date
KR100964778B1 (ko) 2010-06-21
EP1929787A2 (en) 2008-06-11
TW200737986A (en) 2007-10-01
JP2012239193A (ja) 2012-12-06
WO2007038730A2 (en) 2007-04-05
KR20080066709A (ko) 2008-07-16
US8705617B2 (en) 2014-04-22
JP2009510940A (ja) 2009-03-12
WO2007038730A3 (en) 2007-05-24
CN101313583B (zh) 2013-04-24
CN101313583A (zh) 2008-11-26
JP5675719B2 (ja) 2015-02-25
US20070071093A1 (en) 2007-03-29
AR055662A1 (es) 2007-08-29

Similar Documents

Publication Publication Date Title
TWI325724B (en) Multiple layer video encoding
JP5384694B2 (ja) 多層ビデオ設計のためのレート制御
EP1856917B1 (en) Scalable video coding with two layer encoding and single layer decoding
Ma et al. A survey of energy-efficient compression and communication techniques for multimedia in resource constrained systems
RU2475998C2 (ru) Многоуровневая структура кодированного битового потока
Hemami Digital image coding for robust multimedia transmission
US20090279600A1 (en) Flexible wyner-ziv video frame coding
Taieb et al. Spatial correlation-based side information refinement for distributed video coding
Liu et al. Adaptive residual-based distributed compressed sensing for soft video multicasting over wireless networks
Lei et al. Study for distributed video coding architectures
Ahmad et al. Delay-efficient GOP size control algorithm in Wyner-Ziv video coding
Miyazawa et al. Coding efficiency improvement on distributed video coding utilizing super resolution approach
Li et al. Solution for hybrid bandwidth variation in wireless video environments
Zhang Robust scalable video compression using multiple description coding
Işık Implementation of a distributed video codec

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees