TWI378729B - Method and apparatus to construct bi-directional predicted frames for temporal scalability - Google Patents

Description

1378729 九、發明說明： [35U.S.C§119項下之優先權請求] 本專利申請案主張優先於2004年5月4日申請且名稱為 ”構建雙訊框及可調整性之方法與設備）METHOD AND APPARATUS TO IMPLEMENT B-FRAMES AND SCALABILITY)"之 臨時申請案第60/5 68,142號，且該申請案受讓於本發明之受 讓人，並以弓丨用方式明確地併入本文中。 【發明所屬之技術領域】 本發明係關於一種用於藉助有效再利用基礎層模組以構 建加強層訊框來解碼及編碼可調整視訊資料之方法與設 備。 【先前技術】 由於網際網路及無線通訊之爆炸性增長及巨大成功’以 及對多媒體服務之日益增加之需求’網際網路及行動/無線 通道上之串流式媒體已引起人們極大之關注。於異質性網 際網路協定（IP)網路中，視訊由一伺服器提供且可由一個或 多個客戶串流化。有線連接包括：撥號、整合服務數位網 路（ISDN)、電規、數位用戶線路協定（xDSL)、光纖、區域 網路（LAN)、廣域網路（WAN)及其它網路。該傳輸模式可係 單播或係多播。包栝個人數位助理（PDA)、膝上型電腦、桌 上型電腦、機頂盒、TV、HDTV(高解析度電視）、行動電話 及其它裝置在内之各種個別客戶裝置需要同時用於同一内 容之不同帶寬之位元流。該連接帶寬可隨時間快速改變（自 9.6 kbps至1〇〇 Mbps及以上），且可快於一伺服器之反應。 101627.doc 1378729 類似於異質性ip網路者係行動/無線通訊。藉由行動/無線 通道運輸多媒體内容極具挑戰性，此乃因該等通道經常因 諸如多路徑衰落、遮蔽、符號間干擾及雜訊干擾之影響而 ‘ 又到嚴重損害。某些諸如行動性及競爭性訊務之其它原故 - 亦可導致帶寬變化及損失。諸如通道雜訊及所服務之使用 者數量等因素決定通道環境之時間變化性質β除環境條件 外’目的地網路可因地理位置及行動漫遊而自第二至第三 代蜂巢網路變成唯寬帶資料網路。所有此等可變性需要對 φ 多媒體内容實施適應性速率調節，既使是在作業中。因此， 於異質性有線/無線網路上成功傳輸視訊需要有效之編碼 及對變化之網路條件、裝置特徵及使用者偏好之適應性， 同時亦對損失具彈性。 為滿足不同使用者之要求且適應於通道變化，人們可產 生多個獨立版本之位元流，每一位元流可基於傳輸帶寬、 使用者顯示及計算能力來滿足一個等級之限制，但此對飼 服器儲存或網路能力無效。於含納高端使用者之一單一大 # 位元流構建在該伺服器處之可調整編碼中，僅將該等用於 低端應用之位元流作為該大位元流之子集合嵌入。如此， 一單一位元流可藉由有選擇地傳輸子位元流而適合於各種 應用環境。可調整編碼所提供之另一優點係針對易出錯通 道（error prone charme丨）上之碩壯視訊傳輸。可將更穩定之 傳輸通道或更佳之錯誤保護應用於包含最有效資訊之基礎 層位元。 在類似 MPEG-i、MPEG_2、MPEG_4(共稱為 mpeG x)， 101627.doc 1378729 Η.261、Η.262、Η.263、及 H.264(統稱為 Η.26x)之混合編碼 器中存在空間、暫時及信號-雜訊比（SNR)之可調整性。於 混合編碼中，可藉由運動補償預測（MCP)去除暫時冗餘。一 .視訊通常被劃分成一系列圖像群組（GOP)，其中每一 GOP 皆以一内編碼訊框（I)開始，後跟一向前預測訊框（P)與雙向 預測訊框（B)之佈置。P-訊框及B-訊框兩者皆係中間訊框。 B訊框係大多數類似MPEG之編碼器中暫時可調整性之關 鍵。然而，諸如MPEG-4簡單規範（Simple Profile)及H.264 | 基本規範（Baseline Profile)之某些規範並不支援B訊框。 於MPEG-4中，規範及位準提供一種根據解碼一特定位元 流所需之解碼器能力界定語律及語義之子集之手段。一規 範係一經界定之整個語律位元流之子集。一位準係一經界 定之施加在該位元流内參數上之限制集合。對於任一既定 規範，位準通常對應於解碼器之處理負載及記憶體能力。 如此，規範及位準規定對位元流之限制且因此對解碼位元 流之能力設置限制。一般而言，若其能夠正確地解碼由彼 φ 規範於彼位準處規定之所有語律元素之全部已允許值，則 一解碼器應被視為符合一既定位準處之一既定規範。 當需要能夠得到滿足且同時將軟體、韌體及硬體之變化 保持至一最低程度時，可以一有效方式完成現代微處理器 晶片組之進化式發展或變遷。如上文所討論，MPEG-4簡單 規範及H.264基本規範並不支援B訊框用於暫時可調整性。 因此，依照此等規範所開發之晶片組亦不支援B訊框。隨著 更高速率多媒體之流行和需求及支援更高速率多媒體之網 101627.doc 1378729 路之增加，人們需要自MPEG-4簡單規範或h.264基礎規範 至藉助B訊框提供暫時可調整性之一有效遷移路徑。該 MPEG-4標準闡釋於IS0/IEC 14496·2中。該η·264標準閣釋 於[ISO/IEC 14496-10]中。 ' 【發明内容】 相應地，本文所揭示之實施例提供一種用於基於一對基 礎層軟體、韌體及硬體具最小改變之基礎層非暫時調整設 計藉由雙向預測來提供可調整視訊已編碼資料之方法與設 備。 、〇又 本文闡述一種能夠藉由使用運動補償雙向預測對一視訊 流實施可調整編碼之視訊編碼及解碼系統。基礎層非暫時 調整模組之-有效設計及其用於構建雙向預測區域可達成 一用於提供加㈣編碼之有效遷料# ^使用—基礎層非 暫時調整模組藉由料解碼雙向參輕域之每-區域且隨 後組合該等結果以計算該雙向預測區域來解碼雙向預測區 【實施方式】 ,

j, . „ WdeAkpY 本文闡迷-種基於對基_體、_硬體具最小改 變之-基礎層非可調整編碼設計藉由雙向預測提供可調整 視訊已編碼資料之方法、設備及系統。一基礎層編解碼器 可構建正向預測或反向預測p訊框。同樣，該基礎層運動補 仏編解碼器可在對軟體1體及硬體具最小改變之情形下 =改以構建正向/反向預測（或雙向）B麻可利用用於解 I訊框之相同組件藉助多個參考依料訊框。p訊框可 I01627.doc 包=於&礎層内而B訊框可包含於一可調整視訊編碼位 疋流之加強層内。, 办二 ί·妙 :下文說明中：給出^種具體細節係旨在提供對各種實 之徹底瞭解。然而’應瞭解，普通熟悉此項技術者無需 等’、’節亦可實踐此等實例。例如，電組件可顯示於方 塊圖中以免使非必要細節遮掩實例。於其他例示中，可詳 細顯示：等組件、其它結構及技術以進一步解釋實例。 主忍該等實例可被闡述為-過程，該過程被描繪為 程圖表 机程圖、一結構圖或一方塊圖。儘管一流 程表可將作業閣述為—順序過程，但，可並行或同時實施 該等作業中之諸多作業且可重複該過程。此外，可再排列 :業之次序。當其作業完成時，-過程結束。一過程可相 =於：¾法 功此、一程序、一子例程、一子程式等。 田過程相田於一功月色日夺，其結束相當於該功能返回至調 用功能或主功能。 對稱作MPEG-x及H26x之視訊編碼標準闡述甚適合於 使用固定或可變長度源編碼技術壓縮及傳送視訊、聲訊及 其匕：k訊之*貝料處理及調處技術（本文稱作混合編碼^特定 而5，上述標準及其它混合編碼標準及技術闡釋性地使用 訊框内編碼技術（諸如、例如，運行長度編碼法、哈夫曼 (Huffman)編碼法及類似方法）及訊框間編碼技術（例如，正 向及反向預測編碼法、運動補償及類似方法）來壓縮視訊資 訊。具體而言，於視訊處理系統之情形下，混合視訊處理 系統之特徵係藉助訊框内及/或訊框間運動補償編碼法對 10l627.doc •10· 1378729 視訊訊框實施基於預測之壓縮編碼β 訊框内編碼係指無需參考任一其它圖像來编碼一圖像 (一榻位或一訊框），但’該内編碼圖像可用作其它圖像之一 . 參考。術語内部訊框（Intra-frame)、内編碼訊框（Intra-coded . frame)及1訊框皆係藉助本專利申請中通篇使用的内編碼法 所形成之視訊物件之實例。 訊框間或預測編碼係指參照另一圖像來編碼一圖像（一 攔位或一訊樞）。與内編碼訊框相比較，可以更高之效率編 # 碼際編碼或預測圖像。將在本專利申請中通篇使用之際編 碼圖像（Intra-coded pictures)之實例係預測訊框（或正向或 反向預測，亦稱作P訊框）、及雙向預測訊框（亦稱作8訊 框）。用於際編碼（Inter-coding)之其它術語包括：高通編螞 法:剩餘編碼&、運動補償插值法及熟悉此項技術之普通 人員習知之其它方法。 稱作可調整編碼之技術可將内編碼圖像及不同之際編 碼圖像（例如P訊框或B訊框）劃分成一位元流中之不同層， 例如-基礎層及一加強層。可調整編碼可用於動態通道 中’其中可調整位元流可適合於匹配網路帶寬之波動。於 易出錯通道令’可調整編碼可藉由對基礎層及加強層之非 ^衡錯誤保護來增加健壯性。較佳之錯誤保護應施 重要之層》 =係-用於編碼及解以流式圖像之_般通訊系統之 糸統_包括編碼器裝置⑽及解碼器裝置ιι〇。編 “置H)5進一步包括：内編碼組件ιΐ5、預測編碼組件 101627.doc 1378729 120、暫時可組件125、記憶體組件13〇及通訊組件 175。此等元件可係離散組件、或可含納於一個或多個微處 理器或數位信號處理器（DSPs)内。編碼器裝置1〇5能夠使用 通訊組件175内所包含之通訊邏輯自外部源135接收資料。 外部源135可係（例如）外部記憶體 '網際網路、一直播或延 遲視訊及/或聲訊饋送，且接收該資料可包含無線及/或無線 通訊。外部源135内所包含之資料可處於一未編碼或已編碼 狀態。内編碼組件115用於編碼訊框之内編碼部分（片段、 • 巨集區塊及子巨集區塊ρ預測編碼組件丨2 〇用於編碼訊框 之預測部分，包括正向預測、反向預測及雙向預測。 編碼器裝置105可存取原始或已編碼資料供編碼之用。可 存取已編碼資料，以便使用加強層部分（例如，雙向預測訊 框）替代已編碼部分以提供暫時可調整性。當存取已編碼資 料（或内編碼或際編碼資料）時，内編碼組件U5及預測編碼 組件120内所包含之邏輯解碼該已編碼資料，以產生經重建 之原始資料。然後，以給暫時可調整性及/或低優先權資料 •提供一包含Β訊框之加強層之方式編碼該經重建之原始資 料或已存取之原始資料。 暫夺ΤΓ調整性組件12 5包括用以確定内編碼組件11 $應對 、見訊 > 料之哪些部分實施内編碼及預測編碼組件應對 那些部分實施際編碼之邏輯。暫時可調整性組件125亦包括 用於確定視訊之哪些部分係低優先權且應被置放於加強層 及那些部分係南優先權且應被置放於基礎層中之邏輯。 暫時可調整性組件125編碼附加項資訊，該附加項資訊可包 10l627.doc -12. 1378729 括一内編碼及際編碼部分之圖，例如一其中巨集區塊（或子 巨集區塊）被識別為係内編碼或際编碼（亦識別哪種類型之 際編碼’包括（例如）正向、反向及雙向）及際編碼部分參考 ..哪一些訊框之一巨集區塊圖。在編碼之後，將已編碼訊框 儲存於記憶體組件13 0或外部記憶體内《該外部記憶體可包 含於外部源135或一單獨記憶體組件（未顯示）内。 通訊組件175包括可結合網路丨⑽用於資料傳輸（Τχ)之邏 輯。網路140可係諸如電話、電纜及光纖之有線系統或一無 _ 線系統之部分。在無線系統之情形下，網路140可包括（例 如）一分碼多重近接（CDMA或CDMA2000、或其變型，例如 CDMA2000 lx、CDMA2000 lx-EVDO)通訊系統之部分，或 另一選擇為’該系統可係：一分頻多重近接（FDMA)系統； 一分時多重近接（TDMA)系統，例如用於服務業之行動電話 技術之GSM/GPRS(通用封包無線電服務）/rdge(加強型資 料GSM環境）或TETRA(地面中繼無線電）；一寬帶分碼多重 近接（WCDMA)OFDM(正交分頻多工）或〇FDMA(正交分頻 多重近接）糸統；802.XX系統；或一般而言，任一採用上述 技術之一組合之通訊系統》該等已編碼訊框係藉由網路丨4〇 傳輸（Tx)。下文將更全面闡述由編碼器裝置1〇5所實施之該 等編碼過程。 解碼器裝置110包括編碼器裝置105之互補組件，包括： 内部解碼組件145、預測解碼組件150、暫時可調整性組件 1 5 5、§己憶體組件16 0及通訊組件1 8 0。解碼器裝置11 〇接收 已藉由網路140傳輸之已編碼資料或自外部儲存器165接收 101627.doc -13· 1378729 已編碼資料》通訊組件180包括用於結合網路i4〇接收(Rx) 已編碼資料之-邏輯及用於自外部儲存器i65接收已編碼資 料之邏輯夕卜部儲存器i65可係，例如，外部或R()M、 或一遙遠㈣器。内部解碼組件145用於解碼内編碼資料。 預測解竭組件15G用於解碼際編碼資料。該預測解碼組件既 解碼P訊框（正向或反向預測）亦解碼B訊框。可利用用於解 碼P訊框之相同子組件藉助多個參考依序解碼B訊框。用於 之夕個參考可同處於正向及反向參考訊框内同處於 相同參考訊框内’同處於單獨正向訊框内或同處於反向參 考訊框内。 暫夺可調玉|·生組件155包括用於解碼包含上文所討論巨 集區塊圖之附加項f訊且翻譯此資訊以使㈣解碼組件 14 5及預測解碼組件丨5 〇可以適宜方式解碼該等適宜巨集區 塊之邏輯。該資訊之翻譯可包括兩次依序賦能使用預測解 碼組件之子組件以解碼B訊框（依據多個參考預測之訊框之 片段或其它部分）。暫時可調整性組件155亦包括用於跳過 對包含雙向預測訊框及/或低優先權視訊資料之加強層資 料解碼之邏輯。若（例如）未接收到或以不良或不充分之SNR 接收到加強層資料’及/或若解碼器裝置處之處理能力不 足’則可跳過對加強層之解碼。在解碼後，該等已解碼訊 框可被顯示在顯示組件17()上或儲存於内部記憶體16〇或外 部儲W 165心顯示組件17G可係包括此等部分（包括-顯 不屏幕）作為視訊顯示硬體及邏輯之解碼裝置之一整合部 分’或其可係-外部週邊裝置。下文將更全面地閣述:解 101627.doc 1378729 碼器裝置110所實施之解碼過程。 於一典型MPEG解碼器中，可相對於一參考訊框（其中一 内部訊框或另一預測訊框可用作一參考訊框）來解碼預測 編碼像素塊（即，包括一個或多個運動向量及一剩餘錯誤分 量之塊）。圖2 A係一圖解闡釋一傳統MpEG_4簡單規範資料 流程之不意圖，其描繪一 GOP之訊框相依性e GOP 1〇係由 初始I訊框12後跟數個正向預測ρ訊框14構成。ρ訊框對一先 前I或Ρ訊框之相依性可限制提供至一僅支援正向預測訊框 • 之系統（諸如彼等符合MPEG_4簡單及Η 264基本規範之系 統）之暫時可調整性。去除任一 ρ訊框14可導致對解碼其他ρ 訊框可能至關重要之資訊損失。Ρ訊框之去除可導致，例 如，視訊抖動或解碼器在標記下一 GOP開始之下一 Γ訊框工6 之前不能1'繼續解碼。 如上文所討論，於一可調整視訊編碼系統之一加強層中 使用雙向預測資料可用於動態通道中。圖2Β係一圖解闡釋 一可土達成暫時可調整性之傳統編碼資料流之示意圖，其 #描繪一 GOP之訊框相依性。GOP 20係由I訊框22Λ、正向預 測Ρ訊框24及雙向預測Β訊框26組成。每一Β訊框皆可組合 參照I訊框22八或正向預測Ρ訊框24(亦可使用反向預測ρ訊 框，但此實例中並未顯示）之正向及反向運動向量及剩餘錯 誤β I訊框22Β標記下一 GOP之開始。如圖2Β中所示，在I訊 框22Α與Ρ訊框24之間或兩個ρ訊框24之間僅包含一個Β訊 框26。可在參考訊框之間插入數個β訊框以使暫時可調整性 具有更大之靈活性。由於沒有其他訊框可依賴於該Β訊框作 101627.doc -15· 1378729 為一參考訊框’因此人們可在不損失關於其他訊框解碼資 訊之情形下移除B訊框26。B訊框26之此特徵可允許B訊框 26被插入一位元流’其中編碼器、轉碼器及解碼器可選擇 移除B訊框26 ’以適應通道條件、帶寬限制、電池功率以及 其他考慮因素。例如，若參考訊框之間存在三個B訊框，則 人們可移除所有三個B訊框並將訊框速率減小四分之三或 人們可保留位於中間的B訊框而移除另兩個訊框以將訊框 速率減小一半。資料速率亦相應減小》 • P訊框（或任何際編碼段）可利用一當前圖像内一區域與 一參考圖像内一最佳匹配預測區域之間的暫時冗餘。該當 前區域與該最佳匹配參考預測區域之間的差被稱作剩餘錯 誤（或預測錯誤）0該參考訊框内最佳匹配預測區域之位置可 編碼於一運動向量内。圖3係一於（例如）MPEG-4内P訊框構 建過程之實例之圖解。過程300包括由5x5巨集區塊組成之 當前圖像305 ’其中此實例中巨集區塊之數量係任意數量。 一巨集區塊係由16x16個像素所組成。像素可由一 8_位元亮 _ 度值（Y)及兩個8-位元色度值（Cr或Cb)予以界定。於MPEG 中，可以一4:2:0格式儲存Y、Cr及Cb分量，其中Cr及Cb分 量在X及Y方向上被降取樣或減去十分之二。因此，每一巨 集區塊皆由256 Y分量、64 Cr分量及64 Cb分量組成。可在 一不同於當前圖像305之時間點處依據參考圖像3 1〇預測當 前圖像3 05之巨集區塊315。在參考圖像310中進行搜尋以尋 找在Y、Cr及Cb值上最接近於正被編碼之當前巨集區塊315 之最佳匹配巨集區塊320。熟悉此項技術之普通人士所習知 101627.doc -16- 1378729 之搜尋最佳匹配巨集區塊320之方法包括：a)將當前巨集區 塊315與參考圖像310巨集區塊之間之SAD(絕對像素差之 和）降至最低；b)將SSD(平方像素差之和）降至最低；及〇 • 將速率失真感測及其它方面之成本降至最低。將參考圖像 310内最佳匹配巨集區塊320之位置編碼於運動向量325 中。參考圖像310可係該解碼器將先於當前圖像305之構建 已重建之一 I訊框或P訊框。自當前巨集區塊315中減去最佳 匹配巨集區塊320(計算每一 γ、Cr及Cg分量之差），從而導 φ 致剩餘錯誤330。藉由2D離散餘弦轉換（DCT)335編碼剩餘 錯誤33 0且隨後予以量化340。可實施量化340以藉由（例如） 給高頻係數分配較少之位元而給低頻係數分配較多之位 元，來提供空間壓縮。剩餘錯誤330之該經量化係數連同運 動向量325及參考圖像310識別資訊皆係表示當前巨集區塊 315之已編碼資訊。可將該已編碼資訊儲存於記憶體内供將 來使用或可出於（例如）錯誤修正或影像加強之目的而運作 或藉由網路345傳輸該已編碼資訊。

模擬將導致編碼器與解碼器兩者使用同一參考圖像工 編碼器中實施用於進 施。可在重建該參考 一部分）後開始一p訊 本文提供該重建過程，無論其係在一 步之内編碼，還係在一解碼器中實施 訊框（或一正被參考之圓像或訊框之一 101627.doc 1378729 框之重建。解量化該等已編碼之經量化係數350且隨後實施 2D反向DCT或IDCT 355，從而產生經解碼或經重建之剩餘 錯誤3 60。已編碼運動向量325用於尋找已重建參考圖像31〇 中之已重建最佳匹配巨集區塊365。然後，將經重建之剩餘 錯誤360添加至已重建最佳匹配巨集區塊365，以形成已重 建巨集區塊370 〇可將已重建巨集區塊370儲存於記憶體 内、單獨地或與其它重建巨集區塊一起顯示於一圖像中、 或進一步處理供用於影像加強。 B訊框（或藉助雙向預測編碼之任一段）可利用一當前圖 像中一區域與一先前圖像中一最佳匹配預測區域及一後續 圖像中一最佳匹配預測區域之間的暫時冗餘。組合該後續 最佳匹配預測區域與該反向最佳匹配預測區域來形成一經 組合之雙向預測區域。該當前圖像區域與該最佳匹配組合 雙向預測區域之間的差係一剩餘錯誤（或預測錯誤p可將該 後續參考圖像内最佳匹配預測區域及該先前參考圖像内最 佳匹配預測區域之該等位置編碼於兩個運動向量中。 圖4係一（例如）MPEG_4中一 B訊框構建過程之實例之圖 解。過程400包括由5x5巨集區塊組成之當前圖像4〇5，其中 此實例中巨集區塊之數量係任意數量。可在一先於當前圖 像405之時間點處參照先前參考圖像41〇及在一後續時間點 處參照後續參照圖像475對當前圖像405之巨集區塊415實 施編碼。在先前參考圖像410中實施搜尋來尋找最接近於正 被編瑪之當前巨集區塊415之最佳匹配巨集區塊420。將最 佳匹配巨集區塊420之位置編碼於運動向量425中。先前參 101627.doc -18- 1378729 考圖像410可係該解碼器將先於當前圖像405之構建已重建 之一 I訊框或P訊框。在後續參考圖像475中進行搜尋以尋找 最接近於當前巨集區塊415之最佳匹配巨集區塊480。將最 佳匹配巨集區塊480之位置編碼於運動向量485中》後續參 考圖像475可係該解碼器將先於當前圖像405之構建已重建 之一 I訊框或P訊框。將最佳匹配巨集區塊420與最佳匹配巨 集區塊480平均化以形成一經組合之雙向巨集區塊，自當前

巨集區塊415中減去該經組合之雙向巨集區塊，從而導致剩 餘錯誤430。 下文將时命組合該等最佳匹配巨集區塊之其它方法。藉 助（例如）DCT435(其它2D轉換法包括一 Hadamard轉換或如 H.264中之一整數轉換）將剩餘錯誤43〇編瑪且隨後予以量 化440 »剩餘錯誤43〇之該等經量化係數連同運動向量々μ 與4 8 5及參考圖像識別資訊皆係表示當前巨集區塊4上$之已 為碼資訊可將該已編碼資訊储存於記憶體内供將來使用 或出於(例如)錯誤修正或影像加強之目的而運作或藉由網 路445傳輸該已編碼資訊。 由於一B訊框不用竹―兔去 用作參考訊框，故為保持其暫時調整 質二一器Γ器令可不需要用於_框之巨集區塊重建。 ::中’可在重建先前參考訊框(或-正被參考之圖 或訊框之一部分 )與㈣參考訊框（或-正被參考之圖像 訊框之一部分）兩者後開始一^凡 碼之經量化係數解量化45〇曰陆重建。將該等已; ^ ^ 化450且隨後實施2D IDCT 455，您 導致經解碼或綿舌法 35 從丨 •建之剩餘錯誤彻。經編碼之運動向： 101627.doc • J9· 1378729 425及485用於尋找該已重建先前參考訊框41〇中之已重建 最佳匹配巨集區塊465 ’及尋找後續參考訊框475中之已重 建最佳匹配巨集區塊490。將經重建之最佳匹配巨集區塊 465與490平均化以形成一經組合之雙向巨集區塊。然後， 將重建之剩餘錯誤460添加至該經組合之雙向巨集區塊以 形成經重建之巨集區塊470。可將經重建之巨集區塊470儲 存於記憶體内、單獨地或與其它經重建巨集區塊一起顯示 於圖像中或進一步處理供影像加強之用。 I H.264給上文所討論之p訊框構建及b訊框構建之mpeG-4 實例提供某些選項。圖5係一 H.264中一 P訊框構建過程之實 例之圖例。過程500包括由5x5巨集區塊組成之當前圖像 505 其中此實例中巨集區塊之數量係任意數量。可在一不 同於當前圖像505之時間點處依據參考圖像5 1〇預測當前圖 像505之巨集區塊515。一巨集區塊可被劃分成較小的子巨 集區塊段（例如，此實例中描繪四個子巨集區塊，但h.264 允許子巨集區塊分段與4x4像素一樣小。因此，一單一巨集 ^ 區塊可具有16個運動向量）且每一子巨'集區塊段皆可單獨 用於暫時冗餘。在該參考圖像内進行搜尋以尋找每一子巨 集區塊之最佳匹配子巨集區塊，從而產生最接近於正被編 碼之當前巨集區塊515之複合最佳匹配巨集區塊520。可將 該參考圖像内最佳匹配巨集區塊之位置編碼在四個運動向 量525a-525d。該參考圖像可係該解碼器將先於當前圖像 505之構建已構建之一 I訊框或p訊框。在當前巨集區塊Η〗 中減去該複合最佳匹配巨集區塊AT'I從而產生剩餘錯誤 101627.doc -20· 1378729 53〇。可藉助與MPEG-4中使用的DCT稍有不同之正向2〇轉 換535將剩餘錯誤編碼且隨後予以量化54〇。剩餘錯誤 之該等經量化係數、運動向量525a-525d及參考訊框識別資 訊皆係表示當前巨集區塊515之已編碼資訊。該已編碼資訊 可儲存於記憶體中供將來使用或出於（例如）錯誤修正或影 像加強之目的運作或藉由網路545傳輸該已編碼資訊。 該等已編碼之經量化係數、運動向量、權重及剩餘錯誤 亦可用於重建該編碼器内之當前巨集區塊以作為一參考訊 _ 框之部分用於後續運動估計及補償。該編碼器可模擬一解 碼态之程序用於此p訊框重建。該解碼器之模擬將導致編碼 器與解碼器兩者使用同一參考圖像工作。本文提供該重建 過程，無論其係在一編碼器中實施用於進一步之内編碼還 係在一解碼器中實施β可在重建該參考訊框（或一正被參考 之圖像或訊框之一部分）之後開始重建ρ訊框。將該等已編 碼之經量化係數解量化550且隨後實施2D反向轉換555，從 而產生一經解碼或經重建之剩餘錯誤56〇。解碼且使用已編 ®碼運動向量525a_525d來尋找構成經重建之最佳匹配複合 巨集區塊565之已重建最佳匹配子巨集區塊。隨後，將經重 建之剩餘錯誤460添加至經重建之最佳匹配複合巨集區塊 560以形成經重建巨集區塊57(^亦可使用去塊濾波器575 作為該編碼或解碼過程之一部分用於（例如）沿該等巨集區 塊或子巨集區塊之邊緣之像素加強。該經重建之巨集區塊 可儲存於記憶體中、單獨地或與其它經重建之巨集區塊一 起顯不於一圖像中或經進一步處理供影像加強之用。熟悉 101627.doc -21 · 1378729 此項技術之普通人士將認識到：Η.264中之B訊框構建亦可 使用類似方法來利用多個子巨集區塊。 在H.264之情形下，可於片段位階（一片段通常係一鄰接 巨集區塊群絚）或其中該B訊框内之不同片段或圖像可向下 被内編碼或際編碼至4x4像素塊之圖像位階上實施B訊框構 建。H.264亦提供直接模式之雙向預測。於直接模式中，自 兩個參考訊框之一的一共同尋找之巨集區塊内使用的一運 動向量中導出該等正向及反向運動向量。於直接模式中， 該等正向及反向運動向量之導出係基於該等反向及正向參 考訊框與該當前B訊框或圖像之間的暫時距離。該直接模式 亦能夠對參考巨集區塊γ、（^及Cb分量加權而非如圖3實例 中所示之平均化。該加權亦係基於該等反向及正向參考訊 框與該當前B訊框或圖像之間的暫時距離。此外，B訊框構 建可或僅依據正向或僅依據反向最佳匹配巨集區塊而非圖 3中所描繪之平均巨集區塊來計算剩餘錯誤。 圖6係一圖解闡釋一包括暫時可調整性之解碼過程之實 例之流程圖》可藉由諸如圖丨中之解碼器裝置丨ι〇之一裝置 執订過程600。在步驟6〇5中，該解碼器裝置藉由諸如圖五 中網路140之網路、或自諸如圖1中外部儲存組件165之外部 儲存器接收已編碼視訊資料。如上所述，肖已編碼資料包 括基礎層及加強層資料。諸如圖i中通訊組件18〇之接收構 件可執行步驟6G5°該解碼器裝置解碼可包括I及P訊框兩者 之基礎層資料。諸如圖1中内部解碼組件145及預測解碼組 件150之解碼構件可執行步驟61〇。在步驟615中，該解碼器 101627.doc -22- 1378729 裝置確定是否解碼加強層資料。不解碼該加強層資料之理 由包括：例如，未接收到或以不良或不充足之SNR接收到 該加強層資料，及/或若該解碼器裝置處之處理能力不足。 可在任一位階上實施決定塊615以略去包括整個訊框、片 ’又巨集區塊及更小部分在内之任一大小之正解碼部分。 右步驟615之決定係解碼該加強層資料，則在步驟62〇中， 該解褐器裝置料包括！、！>及3訊框之該加強層資料。諸如 圖1中暫時可調整性組件155之決定構件可實施步驟615。諸 • 如圖1中内部解碼組件145及預測解碼組件15〇之解碼構件 可實鉍步驟620。在已解碼該解碼器選擇解碼之所有基礎及 加強層資料之後，於步驟625中，該解碼器可將經解碼之視 訊儲存於記憶體中或顯示該視訊。諸如圖丨中外部儲存組件 165或記憶體組件16〇之儲存構件可實施步驟625之儲存部 分。諸如圖！中顯示組件170之顯示構件可實施步驟625之顯 示部分。 圖7係一圖解闡釋用於圖6之步驟61〇中所實施之基礎層j •及？訊框構建之運動補償編解碼過程之實例之流程圖。一可 調整視訊已編碼位元流之基礎層可包括高優先權資料。某 些低位元速率遙遠裝置可僅具有基礎層能力。於步驟725 中’解碼H過程藉由經—網路或自記憶體接收該已編碼 之經量化内編碼視訊資料開始解碼一〗訊框。諸如圖丨中通 3孔組件180之接收構件可實施步驟725。在步驟73〇中解量 化該經量化之内編碼視訊資料。然後，在步驟735中，逆轉 換該貝料，伙而產生一經解碼訊框。隨後，在步驟 10l627.doc •23. 1378729 中’該經解碼之I訊框或〖-VOPM-VOP代表内編碼視訊物件 平面）即準備顯示及/或儲存於記憶體内。該解碼器亦可將經 解碼之輸出I-VOP儲存於記憶體内用於解碼參考該J訊框之 一後續Ρ訊框。 在解碼據以預測該ρ訊框之參考訊框後 可開始。在步驟705中，自記憶體存取該經解碼之參力 VOP。於步驟710中’用零填補V0P邊界邊緣，以準備像意 插值。用零填補允許多分接式遽波器正確地在存在不充足 像素數量之邊界區域像素之間插值。在步驟715中，插值該 等填補VOP像素。可使用像素插值法達成用於運動補償之 較佳匹配參考區域。下文將更詳細討論像素插值法。在插 值該等像素後，於步驟720中，編解碼器會藉助一已編碼運 動向量尋找該等被插值像素内之最佳匹配參考巨集區塊 (或任一大小的段）。在藉助運動向量已尋找並依據參考訊框 邛刀重建所有内編碼巨集區塊後，於步驟755中，將該部分 重建之Ρ訊框儲存於記憶體内。類似於上文關於㈣框之討 論，在步驟mt，藉由網路或自記憶體接收該？訊框之剩 餘錯誤部分之經量化DCT係數。在步驟73〇中，肖量化該剩 餘錯誤，並在步驟735中予以逆轉換。在步驟74〇中’將該 經解碼之㈣錯誤添加至經部分重建之已儲存P訊框.，從而 產生經解碼之輸出P.VOP。在步驟7对，可將經解碼之 ρ-vop儲存於記憶體中及/或予以顯示。 過程700以上文所討論之相同方式用於解媽如圖6之步驟 620中之加強層I及ρ訊框。麸 …、而，步驟620申解碼加強層6訊 101627.doc •24· 1378729 框係利用兩個參考訊框，例如一個先前i或p訊框及一個後 續I或P訊框》圖8係一加強層B訊框構造過程之實例之流程 圖，該構造過程利用用於實施圖7中基礎層過程之基礎層運 動補償編解碼器之組件。出於構建一雙向圖像或B訊框之目 的’此實例性實施例再使用該等基礎層組件，但極少修改 或不修改該等基礎層組件且僅少量額外改變軟體、韌體及

硬體。在步驟805中，B訊框構建開始於存取一第一經解碼 之VOP1。在步驟810中’用零填補乂〇1>1邊界邊緣。在步驟 8 15中，插值該經填補v〇p丨之像素。在步驟中使用一 已編碼運動向量尋找V0P1内一最佳匹配區域。可假設 VOP1係一未損失通用性之反向尋找的參考訊框。在步驟 855中，將來自V0P1之最佳匹配巨集區塊儲存於記憶體内 以與第一 νορ最佳匹配巨集區塊相組合。步驟855可能需要 一第二記憶體緩衝器用於儲存一未修改基礎層編解碼器不 需要的VOP1之最佳匹配區域。針對v〇p2重複步驟8〇5、 810 815及82G »為能夠存取儲存於記憶體中之第二訊框，

可此需要該基礎層編解碼器曾不需要的一記憶體之第二區 域。該等f用於填補、及插值像素、及尋找VOP1之最佳匹 配區域之相同基礎層模組皆可再用於v〇p2。 由於在任何-個時間僅有一個模組可用，因此對模組之 再使用可增加該編碼/解碼過程中之延遲，但若該延遲可接 受’則成本節約可係_較大益處。然後，在步驟86〇中，將 來自VOP2之最佳匹配巨集區塊添加至v〇pi之已儲存最佳 匹配巨集區塊’與此同時亦增加—用於舍人控制之"1"，從 10l627.doc -25- 1378729 而產生一經組合之最佳匹配巨集區塊。然後，在步驟865 中’將該經組合之最佳匹配巨集區塊除以2以平均化該等像 素值（顯示為1之一位元右移ρ隨後，在步驟845中，將經平 ' 均化之經組合最佳匹配巨集區塊儲存於記憶體内。可繼續 步驟 805、810、815、820、855、860、865 及 845直到完成 整個部分重建之B-VOP。如同上文所討論之基礎層ρ·ν〇ρ 重建’藉由一網路或自記憶體接收該Β_ν〇Ρ之剩餘錯誤， 在步驟830中對其解量化，並在步驟835中實施逆轉換。隨 φ 後，在步驟840中，將該剩餘錯誤添加至已儲存之部分重建 B-VOP，從而產生一經解碼之Β·ν〇ρ。隨後，在步驟以❹中 將該經解碼之B_V0P儲存於記憶體内或予以顯示。 圖8顯示在第一進程中依次實施之步驟8〇5、81〇、815及 820且隨後在第二進程中依序重複該整組步驟。如熟悉此 項技術之普通人士將瞭解，於一處理器中可同時出現多個 處理執行緒。在存在多個處理執行緒之情形下，一個模組 (例如一運動補償模組）可能正處理該第一參考訊框或其中 鲁之-個塊，而另-模組（例如-該逆量化及逆轉換模組）正處 理該第二參考訊框或其中之一個塊…旦該等模組完成作 業，其切換訊框或塊，以使該運動補償模組處理該第二參 考訊框而該逆量化及逆轉換模組將處理下一參考訊框。此 類型之多執行緒處理可減小由模組之再使用所導致之計算 延遲。 ^ 將基礎層解碼組件再用於解碼雙向預測部分可能需要某 些限制。對於p訊框而言，可在此等组件之間傳送一組運動 lOI627.doc •26· 1378729 向量（對於H.264内之4x4像素分割，最多每巨集區塊十六個） 及-個參考®像指數1於B訊框而言，為了使用該相同介 面，將解碼限制為每巨集區塊八個分割區（每一分割區具有 ’兩個運動向量)。多個模擬實驗已顯示：B訊框内十六個4χ4 - 像素以可忽略之概率出現且對位元速率及品質之影響由於 此一限制而不可覺察。同樣，將解碼限制為八個分割區並 非暗示不能處理4x4塊分割區。該限制僅係對於每巨集區塊 之運動向量數量。例如，一劃分成四個4χ4塊及三個8χ8像 • 素塊之巨集區塊係一有效組合。限制編碼之另一選擇係， 解碼器可利用Η.264所提供的一模式，在該模式中組合多個 四個4x4塊之群組以形成一 8χ8塊且使用4個運動向量之一 作為用於該組合8x8像素塊之運動向量。 若該等處理器之計算能力充足，該運動補償編解碼器可 依序實施填補、分數像素插值及最佳匹配區域尋找。特定 言之，多個模擬實驗已顯示：解碼一 Β訊框之計算負載（具 體而§ ’花費在對整個訊框之運動補償上之循環數量）小於 • — ρ訊框之計算負載。因此，既使填補、插值及最佳匹配區 域尋找依序發生’仍可解碼一訊框來滿足多達每秒3〇個訊 框及以上之播放訊框速率（必須在[1/(以fps為單位之訊框速 率）]秒内解碼一訊框）。 可使用像素插值法來改良運動補償預測編碼之效能。圖9 係一運動補償中使用之半像素插值之實例之圖例。所示實 例係半像素插值，其中一個被插值像素係位於原始整數像 素每一個之間《圖中將整數像素910描繪為標有大寫體"A" 101627.doc 27· 1378729 至"Γ之圓圈而被插值像素或半像素920則被描繪為標有小 寫體"a"至之方格。可藉由一雙線性濾波器（例如，一具 有權重[0.5 0.5]之2分接FIR濾波器）實施半像素插值。例 如，可將被插值像素922計算為整數像素912與整數像素914 之平均值，被插值像素924可係整數像素912與整數像素916 之平均值，且被插值像素926可係兩個被插值像素（例如， 922與928或924與930)之平均值。可以此方式插值亮度 及色度（Cr及Cb)分量兩者。各種標準皆支援像素插值之其

它次序。H.264支援四分之一像素插值及八分之一像素插 值。熟悉此項技術者應瞭解該等其它像素插值方法，故本 文不再贅述。 上述方法及設備之實例包括： 月b夠一次自僅一個參考訊框中尋找數個 參考訊框部分之運動補償編解碼器來解碼—雙向圖像之方 一種用於藉助 法’其包括：在第一進程中自一第一參考訊框尋找一第一 參考訊框部分；將該第—參考訊框部分儲存於記憶體内；

在第二進料自-第二參考訊框尋找—第二參考訊框部 分；及組合該第一參考訊框部分與該第二參考訊框部分以 形成一雙向預測部分。 種用於藉助一能夠一次自僅一個參考訊框中尋找數個 >考訊框部分之運動補償編解碼器解碣一雙向圖像之設 ;，其包括：用於在第-進程中自-第-參考訊框尋找一 參考訊框部分之構件，·用於將該第一參考訊框部分储 存於記憶體内之構件；用於在第二進程中自一第二參考訊 101627.doc -28- 1378729 框尋找一第二參考訊框部分之構 稱件，及用於組合該第一參 考訊框部分與該第二參考訊框 刀以形成一雙向預測部分 <構件。

一種用於藉助一能夠一次自僅.A 目僅一個參考訊框中尋找數伯 參考訊框部分之運動補償編解 %裔來解碼一雙向圖像之f 子裝置，該電子裝置經組態以： ^ ^ ^ 任第一進程中自一第一參 考訊框尋找一第一參考訊框部分. 刀，將該第一參考訊框部分 儲存於記憶體内；在第二進程中 延枉〒自一第二參考訊框尋找一

第二參考訊框部分；及組合該第—參考訊框部分與該第二 參考訊框部分以形成一雙向預測部分。 -種具有指令之電腦可讀媒體，該等指令導致一電腦執 能夠-次自僅_個參考訊框中尋找數個參 考訊框部&之運動補償編解碼器來解碼一雙向圖像之方 法’該電腦可讀媒體包括：㈣—進程中自一第一參考訊 框尋找一第一參考訊框部分；將該第一參考訊框部分儲存 於記憶體内；在第二進程中自—第二參考訊框尋找—第二

參考訊框部分；及組合該第一參考訊框部分與該第二參考 訊框部分以形成一雙向預測部分。 一種用於編碼一依據兩個擬由一運動補償編解碼器解碼 之參考訊框所預測之雙向圖像之方法，其中該運動補償編 解碼器能夠一次自僅一個參卡訊框中尋找數個參考訊框邛 分且能夠為每一巨集區塊解碼有限數量之分割區。 琢方法 匕括··將該雙向圖像之一巨集區塊分割成複數個 E果區 塊；為每一子巨集區塊在兩個參考訊框之每一個中尋找一 101627.doc -29- 1378729 Μ區域，及將子巨集區塊數量限制為一不超過該運動補 償編解碼器能夠解碼之有限分段數量—半之數量。 種用於編碼-依據兩個擬由一運動補償編解碼器解碼 之參：訊框所預測之雙向圖像之設備，其中該運動補償編 ^碼35¾夠-次自僅—個參卡訊框中尋找數個參考訊框部 分且能夠為每m塊解碼有限數量之分割區。該設備 包括.用於將該雙向圖像之一巨集區塊分割成複數個子巨 ，區塊之構件，用於為每—子巨集區塊在兩個參考訊框之

，一個中尋n龍域之構件；及用於將子巨集區塊數 量限制為—不超過該運動補償編解碼器能夠解碼之有限分 段數量一半之數量之構件。

一種用於編碼一依據兩 之參考訊框所預測之雙向 償編解碼器能夠一次自僅 框部分且能夠為每一巨集 電子裝置經組態以：將該 數個子巨集區塊；為每一 一個中尋找一預測區域； 超過該運動補償編解碼器 半之數量。 個擬由一運動補償編解碼器解碼 圖像之電子裝置，其中該運動補 一個參卡訊框中尋找數個參考訊 區塊解碼有限數量之分割區。該 雙向圖像之一巨集區塊分割成複 子巨集區塊在兩個參考訊框之每 及將子巨集區塊數量限制為一不 能夠進行解碼之有限分段數量一 /、有彳a々之電腦可讀媒體，該等指令導致一電腦執 盯-用於編碼-依據兩個擬由—運動補償編解碼器解碼之 參^訊框所預測之雙向圖像之方法，纟中該運動補償編解 碼器月b夠-人自僅—個參卡訊框中尋找數個參考訊框部分 10I627.doc 1378729 且月b夠為母一巨集區塊解碼有限數量之分割區。該電腦可 續媒體包括：將該雙向圖像之一巨集區塊分割成複數個子 巨集區塊，為每一子巨集區塊在兩個參考訊框之每一個中 哥找一預測區域；及將子巨集區塊數量限制為一不超過該 運動補償編解碼器能夠解碼之有限分段數量一半之數量。 热習此項技術之普通人士應瞭解，可使用眾多種不同技 術及技法中之任一種來表示資訊及信號。舉例而言，在上 文通篇中可能提及之資料、指令、命令、資訊、信號、位 • 元、符號及碼片可由電壓、電流、電磁波、磁場或粒子、 光場或粒子、或其任一組合來表示。 熟習此項技術之普通人士應進一步瞭解，結合本文所揭 示實例闡述之各種例示性邏輯塊、模組、及演算法步驟可 構建為電子硬體、電腦軟體或兩者之組合。為清楚地例示 硬體與軟體之可互換性’上文大體就其功能闡述了各種例 示性組件、塊、模組、電路及步驟。此功能構建為硬體抑 或軟體係取決於施加於整體系統上之特定應用及設計約 φ 束。熟習此項技術者可針對每一特定應用以不同之方式構 建所述功能度’但此種實施方案決定不應視為背離所揭示 方法之範疇。 結合本文所揭示實例闡述之各種例示性邏輯塊、模組及 電路可使用通用處理器、數位信號處理器（DSP)、應用專用 積體電路（ASIC)、場可程式規劃閘陣列（FPGA)或其他可程 式規劃邏輯裝置、離散閘或電晶體邏輯、離散硬體元件、 或設計用於執行本文所述功能之其任一組合來構建或執 101627.doc -31 · 7。通用處理器可為微處理器、但另—選擇為，處理器可 ，傳統處理器、控制器、微控制器或狀態機。處理器 :、可構建為汁算裝置之組合，例如_DSP與—微處理器之 ”且合、複數個微處理器、一或多個微處理器結合一DSP核 心、或任何其他此種構造。 結合本文所揭示實㈣述之方法或演算法之步驟可直接 實施於硬體令、由處理器執行之軟體模組中或兩者之組合 :。一軟體模組可駐存於RAM記憶體、閃光記憶體、r⑽ 纪憶體、EPROM記憶體、EEpR〇M記憶體、暫存器、硬磁 碟、一可移除式磁碟、-CD_R⑽、或此項技術中已知之 任一其它形式之儲存媒體中。一實例性储存媒體可輕合至 該處理器以使該處理器可自該健存媒體讀取資訊，及將資 訊寫至該儲存媒體。另一選擇係’儲存媒體可整合至該處 理器中。處理器及儲存媒體可駐存於應用專用積體電路 (ASIC)中。ASIC可駐存於無線數據機中。另―選擇係，處 理器及储存媒體可作為離散組件駐存於無線數據機卜 、上文對所揭示實例之說明旨在使任何熟習此項技術之普 通人士皆可製作或利用所揭示方法與設備。熟習此項技術 者將易知對該等實例之各種修改，且本文所界定之一般原 理亦可應用於其他實例，此並不背離所揭示方法與設備之 精神或範嘴。 由此，本文揭示了一種基於對基礎層軟體、韌體及硬體 具最小改變之-基礎層非可調整編碼設計藉由雙向預測提 供可調整視訊已編碼資料之方法、設備及系統。 I01627.doc -32· 1378729 結合本文所揭示實施例闡述之各種例示性邏輯、邏輯 塊、模組及電路可使用通用處理器、數位信號處理器 _)、應用專用㈣電路（ASIC)、場可程式規㈣㈣ (㈣A)或其他可程式規劃邏輯裝置、離散閉或電晶體邏 軏、離散硬體組件、或設計用於執行本文所述功能之其任 一組合來構建或執行i用處理器可為微處理器、但另一 選擇為，處理器可係任何傳統處理器、控制器、微控制器 或狀態機。處理器亦可構建為計算裝置之組合，例如一撕 與一微處理器之組合、複數個微處理器、一或多個微處理 器結合-DSP核心、❹何其他此種構造。 結合本文所揭示實施例閣述之方法或演算法之步驟可直 接實施於硬體中、由處理器執行之軟體模組中或兩者之电 。中。一軟體模組可駐存於RAM記憶體、閃光記憶體、r〇M δ己憶體、職0M記憶體、EEpR〇M記憶體、暫存器、硬磁 碟、-可移除式磁碟、一 CD娜、或此項技術中已知之 :其：形式之儲存媒體中。一實例性儲存媒體可耗合至 “理益以使該處理器可自該儲存媒體讀取資訊，及將資 訊寫至該健存媒體。其 瑩 媒體另選擇係’儲存媒體可整合至該處 ° ASIC可駐存於使用者終端機中。另-選擇係，處 理器及健存媒體可作為離散元件駐存於使用者終端機中。 私土文對所揭不實施例之說明旨在使任何普通熟習此項技 =皆可製作或利用本發明。熟習此項技術者將易知對該 盆―^之各種修改’且本文所界定之一般原理亦可應用於 -匕貫例’例如’於一快速訊息服務或任何一般無線資料 10l627.doc -33· 1378729 通訊應用巾’此並不背離本發明之精神或。因此，本 發明並非意欲限制於本文所示各種實施例且應被賦予符合 本文所揭示原理及新穎特徵之最寬廣範嘴。本文所使用"實 例性"一詞之含義係指”用作一實例、示例或例證"。本文中 闡述為f例性任一實施例未必應理解為較佳於或優於其 它實施例。 【圖式簡單說明】 圖1係-用於編碼及解碼串流式圖像之—般通訊系統之 方塊圖， 圖2 A係一圖解闞釋一傳統MPEG-4簡單規範資料流之示 意圖， 圖2B係一圖冑闡釋一可達成料可調整性之傳統經編碼 資料流之示意圖， 圖3係MPEG-4中一 p訊框構建過程之實例之圖解， 圖4係MPEG-4中一 B訊框構建過程之實例之圖解， 圖5係H.264中一 p訊框構建過程之實例之圖解， • 圖6係一圖解闡釋一包括暫時可調整性之解碼過程之實 例之流程圖， 圖7係一圖解闡釋一用於基礎層I訊框及p訊框構建之運 動補償編解碼器過程之實例之流程圖， 圖8係一圖解闡釋一用於加強層B訊框構建之運動補償編 解碼器過程之實例之流程圖， 圖9係一運動補償中使用之半像素插值法之實例之圖解。 【主要元件符號說明】 10I627.doc •34· 1378729 10 GOP 12 初始I訊框 14 正向預測P訊框 16 下一 I訊框 20 G0P 22A I訊框 22B I訊框 24 正向預測P訊框 26 雙向預測B訊框 100 系統 105 編碼器裝置 110 解碼器裝置 115 内編瑪組件 120 預測編碼組件 125 暫時可調整性組件 130 記憶體組件 135 外部源 140 網路 145 内部解碼組件 150 預測解碼組件 155 暫時可調整性組件 160 記憶體組件（内部記憶體） 165 外部儲存器（外部儲存組件） 170 顯示組件 101627.doc •35- 1378729 175 通訊組件 180 通訊組件 300 過程 305 當前圖像 310 參考圖像 315 巨集區塊（當前巨集區塊） 320 最佳匹配巨集區塊 325 運動向量 330 剩餘錯誤 335 2D離散餘弦轉換 340 量化 345 網路 350 解量化 355 2D反向DCT或IDCT 360 經重建之剩餘錯誤 365 經重建之最佳匹配巨集區塊 370 經重建之巨集區塊 400 過程 405 當前圖像 410 先前參考圖像 415 當前巨集區塊 420 最佳匹配巨集區塊 425 運動向量 430 剩餘錯誤 101627.doc -36- 1378729 435 DCT 440 量化 445 網路 450 解量化 455 2D IDCT 460 經重建之剩餘錯誤 465 經重建之最佳匹配巨集區塊 470 經重建之巨集區塊 475 後續參考圖像 480 最佳匹配巨集區塊 485 運動向量 490 經重建之最佳匹配巨集區塊 500 過程 505 當前圖像 510 參考圖像 515 巨集區塊（當前巨集區塊） ， 520 複合最佳匹配巨集區塊 525a 運動向量 525b 運動向量 525c 運動向量 525d 運動向量 530 剩餘錯誤 535 正向2D轉換 540 量化 101627.doc •37- 5451378729

550 555 560 565 570 575 600 700 910 912 914 916 920 922 924 926 928 930 網路 解量化 2D反向轉換 經重建之剩餘錯誤（經重建之最佳匹配複合 巨集區塊） 經重建之最佳匹配複合巨集區塊 經重建之巨集區塊 去塊濾波器 過程 過程 整數像素 整數像素 整數像素 整數像素 被插值像素或半像素 被插值像素 被插值像素 被插值像素 被插值像素 被插值像素 101627.doc -38-

Claims (1)

1378729 iftO. 10：-Τ8- 年月日修正太 申請專利範圍： 第094114437號專利申請案 中文申請專利範圍替換^(100年10月） 1. 一種用於解碼一加強層雙向圖像之方法，其包括： 使用每次僅能夠自一參考訊框尋找參考訊框部分之一 運動補償編解碼器之基礎層組件以解碼該加強層雙向圖 像’使用該基礎層組件包括：

使用一第一解碼模組在第一進程中自 尋找一第一參考訊框部分； 將該第一參考訊框部分儲存於記憶體内； 2使用該第一解碼模組在第二進程t自一第二參考訊 框尋找一第二參考訊框部分；及 組合該第-參考訊框部分與該第二參考訊框部分以形 成一雙向預測部分》 根據請求項1之方法，其進一步包括： 無線網路接收代表該第一參考訊框及該第二參 考A框之已編碼資料；及 無線網路接收識別該第一參考訊框及該第二參 考訊C之位置之已編碼資料。 3. 根據請求項i之方法，其進—步包括· 插值該第一參考訊框之像素;及 4. 根據請求们=插值:第二參考訊框之像素。 ★喟3之方法，其進—步包括： 在該第一進程中填補該第 在該第_+ 亏汛框之邊界邊緣 5. 根據請求項丨 考詋杧之邊界邊緣 第一參考訊框 2. 及 J01627-1001027.doc 其中在第一進程中自—坌一办^ 訊框部分包括使用爽白 框尋找一第-參考 匕括使用來自運動向 量；及 里-^ ^弟—運動向 其中在第二進程中自—第_ 弟一參考訊框尋找一第-袭去 讯框部分包括使用來自運動弟一參考 免勒门里組之一第二運動向量， 其中運動向量組包括不多1 之最大數量。 斤伴隨一 Ρ訊框之運動向量 6. 根據請求項1之方法，其進一步包括： 將一剩餘錯誤添加至該雙向預測部分。 7. 根據請求項！之方法，其進_步包括： 顯示該雙向預測部分。 8. 根據請求項！之方法，其進—步包括： 依序實施該第一及第二進程。 9. 根據請求項！之方法，其進_步包括： 確定省略對依據兩個參考 解碼以實㈣時調整。 所預測之一雙向圖像之 10. 根據請求項2之方法，其進_步包括： ;二：5周整視訊已編碼位元流之-基礎層内多媒體 貝料之第一際編碼部分； 調整視訊已編碼位元流之-加強層内多媒體 第 Λ向部分’其中該多媒體資料包括：代表 该第一參考訊框、 一 β弟一>考訊框之資料，及識別該第 爹号訊框部分及节坌_办k 料；及 刀及°玄弟—參考訊框部分之位置之資 101627-1001027.doc -2- 1378729 經由該無線網路傳輸該多媒體資料。 11. -種用於解碼_加強層雙向圖像之設備其包括： 用於解碼該加強層雙向圖像之一運動補償編解碼器之 基礎層組件，其每:域能夠自—參相料找參考訊框 部分’該編解碼器包括： 弟一參考 用於使用一第一解碼模組在第一進程中自 訊框尋找一第一參考訊框部分之構件；

用於將該第-參考訊框部分儲存於記憶體内之構件： 用於再使用該第一解碼模組在第二進程中自一第二參 考訊框尋找一第二參考訊框部分之構件；及 用於組合該第一參考訊框部分與該第二參考訊框部分 以形成一雙向預測部分之構件。 12.根據請求項11之設備，其進一步包括： 用於經由一無線網路接收代表該第—參考訊框及該第 -一參考机框之已編碼資料之構件；及 用於經由該無線網路接收識別該第—參考訊框及該第 二參考訊框之位置之已編碼資料之構件。 13_根據請求項11之設備，其進一步包括： 用於在該第一進程中插值該第一參考訊框之像素之構 件；及 用於在該第二進程中插值該第二參考訊框之像素之構 件 14.根據請求項13之設備，其進一步包括： 用於在該第一進程中填補該第一參考訊框之該等邊界 101627-1001027.doc 1378729 邊緣之構件；及 用於在該第二進程中填補該第二參考訊框之該等邊界 邊緣之構件。 15·根據請求項11之設備， 其中該在第-進程中自一第一參考訊框尋找一第一參 考訊框部分之構件包㈣於使用來自運動向量組之一第 一運動向量之構件；及 其中用於在第二進程中自一第二參考訊框尋找一第二 參考訊框部分之構件包括用於使用來自運動向量組之一 第二運動向量之構件； 其中運動向量組包括不多於伴隨一p訊框之 之最大數量。 s 16.根據請求項u之設備，其進一步包括： 用於將一剩餘錯誤添加至該雙向預測部分之構件。 I7·根據請求項Π之設備，其進一步包括： 用於顯示該雙向預測部分之構件。 I8.根據請求項Π之設備，其進一步包括： 用於依序實施該第一及第二進程之構件。 19♦根據請求項11之設備，其進一步包括： 用於確定省略對依據兩個參考訊框所預測之一雙向圖 像之解碼以實施暫時調整之構件。 2〇. -㈣於解碼一加強層雙向圖像之電子裝置，該電子裝置 包括每次僅能夠自僅-參考訊框尋找參考訊框部分之，一 運動補償編解碼器之基礎層组件，該電子裝置經組態以： 101627-1001027.doc -4- 1378729 使用該編解喝器之一第

一進程中自一第 參考訊框1找_第—參考訊框部分；將該第—參考訊框 部分儲存於記憶體内；再使用該編解碼器之㈣—解碼模 組在第—進程中自__第二參考訊框尋找—第二參考訊框 部分；及組合㈣-參考訊框部分與該第：參考訊框部分 以形成一雙向預測部分。

21·根據請求項2G之電子裝置，其進-步經組態以m 線網路接收代表該第-參考訊框及該第二參考訊框之= 編碼貧料、及經由該無線網路接收識別該第一參考訊框部 分及該第二參考訊框部分之位置之已編碼資料。 22•根據請求項2〇之電子裝置，其進_步經組態以：在該第— 進=插值该第-參考訊框之像素、及在該第二進程中插 值s亥弟一參考訊框之像素。 23·根據請求項22之電子裝置，其進—步經組“：在 進程中填補該第一參考訊框之該等邊界邊緣、及在該第二 進私中填補該第二參考訊框之該等邊界邊緣。 24.根據請求項2〇之電子裝置， 其中在第一進程中自一第— 訊框部分包括使用來自運動 量；及 參考訊框尋找一第一參考 向量组之—第—運動向 其中在第二進程中自 §Jl框部分包括使用來自 其令運動向量組包括 之最大數量。 運動向S組之一第二運動向 不夕於伴隨一 Ρ訊框之運爱 101627-1001027.doc 1378729. » ί 25. 根據請求項20之電子裝置，其進一步經組態以將一剩餘錯 誤添加至該雙向預測部分。 26. 根據請求項2〇之電子裝置，其進一步經組態以顯示該雙向 預測部分。 27. 根據請求項20之電子裝置，其進—步經組態以依序實施該 第一及第二進程。 28. 根據請求項2〇之電子裝置，其進一步經組態以確定省略對 依據兩個參考訊框所預測之一雙向圖像之解碼以實施暫 時調整。 29. —種具有指令之電腦可讀媒體，該等指令導致一電腦執行 一用於解碼一加強層雙向圖像之方法，包括： 指示用於解碼該加強層雙向圖像之每次僅能夠自一參 考訊框尋找參考純部分之—運動補償編解碼器之基礎 層組件以執行下列步驟·· a使用一第一解碼模組在第一進程令自一第一參考訊框 寻找一第一參考訊框部分； 將該第一參考訊框部分儲存於記憶體内； 再使用該第一解碼模組在第二進程中自一第二參考訊 框尋找一第二參考訊框部分；及 組合該第-參考訊框部分與該第二參考訊框部分以形 成一雙向預測部分。 101627-100l027.doc -6 -