TW200920143A - Adaptive reference picture data generation for intra prediction - Google Patents

Description

200920143 九、發明說明： 【發明所屬之技術領域】 本發明一般係關於通信系統，且更特定言之，係關於視 訊編碼及解碼。 本申請案主張美國臨時申請案第60/925,351號之權利， 其於2007年4月19曰申請。 【先前技術】 在典型視訊壓縮系統及標準中，例如MPEG-2及 r JVT/H.264/MPEG AVC(例如’參見ITU_t Rec_ H.264，”用 於同屬視聽服務之進階視訊編碼"，2〇〇5)，編碼器及解碼 器一般依賴圖框内預測及圖框間預測，以便達成壓縮。關 於圖框内預測，已建議用以改良圖框内預測之各種方法。 例如’位移内預測（DIP)及模板匹配（TM)已達成用於紋理 預測之良好編碼效率。此兩個途徑間之相似性係其兩者搜 尋欲編碼之目前圖像之先前已編碼内區域（亦即，其使用 該目前圖像作為一參考），而且根據某種編碼成本尋找該 最佳預測，其係藉由實行（例如）區域匹配及/或自動迴歸模 板匹配。 【發明内容】 吾人已觀察位移内預測（DIp)及模板匹配（TM)兩者遭遇 相似問題：降級編瑪效能及/或視覺品質。具體言之，來 自該目前圖像之先前已編碼内區域之參考圖像資料可含有 $種塊狀或其他編㉝假像，其降級編碼效能及/或視覺品 質。然而，吾人亦已了解，有可能解決關於内編碼之上述 129817.doc 200920143 編碼效能問題。尤其，並且根據本發明之原理，一種用於 編碼之方法包括以下牛 . 〇 下步驟.從一目前圖像之先前已編碼巨 集£塊產生適應性參考圖像資料；及從該適應性參考圖像 資料預測該目前圖像之未編碼巨集區塊。 在本發明之具體實施例中，一器件合併用於提供已遷 縮或已編碼視訊資料的—Η.264相容視訊編碼器、。該Η264 編：器包括-緩衝器’其用於儲存欲編碼之一目前圖像之 先4已編碼巨集區塊；及一處理器其用於從該目前圖像 之先前已編碼巨集區塊產生適應性參考圖像資料；其中該 適應性參考圖像貧料係用於預測該目前圖像之未編碼巨集 區塊。 在本發m具體實施例巾，—^件合併用於提供視 訊資料的一H.264相容視訊解碼器。該Η·264解碼器包括一 緩衝1§，其用於儲存欲解碼之—目前圖像之先前已編碼巨 集區塊；及-處理器，其用於從該目前圖像之先前已編碼 巨集區塊產生適應性參考圖像資料；其中該適應性參考圖 像資料係用於解碼該目前圖像之巨集區塊。 考慮到以上，並且如從閱讀該詳細描述將很明顯，其他 具體實施例及特點亦可行，而且落在本發明之原理内。 【實施方式】 除了本發明概念，該等圖式中所示之元件係已熟知，而 且將不詳細描述。同時，假設與視訊廣播、接收器及視訊 編碼之熟悉性，而且本文不詳細描述。例如，除了本發明 概念，假設與用於TV標準之目前及已建議之推薦之熟悉 129817.doc 200920143 性，該等τν標準例如NTSC(國家電視系統委員會）、 PAL(相交替行）、SEC AM(電視顯示技術）及ATSC(進階電視 系統委員會）（ATSC)。同樣地，除了本發明概念，假設傳 輸概念，例如八階殘邊帶（8-VSB)、正交調幅（QAM)，及 接收器組件’例如一射頻（RF)前端，或者接收器區段，例 如一低雜訊區塊、調諧器、解調變器、相關器、洩漏積分 器與平方器。相似地，除了本發明概念，吾人熟知用於產 生位元流之格式化及編碼方法（例如動畫專家群（ΜρΕ〇)_2 系統標準（ISO/IEC 13818-1))，且尤其h.264 :國際電信聯 盟，推薦ITU-T H.264 :用於同屬視聽服務之進階視訊編 碼”，ITU-T，2005，而且本文不描述。就這方面而言，應 注意，僅將不同於已知視訊編碼之本發明概念之部分描述 於下文及顯示於該等圖式中。如此，假設圖像、圖框、攔 位、巨集區塊 '亮度、色度、圖框内預測、圖框間預測等 之Η.264視訊編碼概念，而且本文不描述。例如，除了本 發明概念，圖框内預測技術（例如空間方向預測）及該等目 刚建議包含於H.264之擴充（例如位移内預測（Dip)及模板匹 配（TM)技術）係已知，而且本文不描述。亦應注意，本發 明概心可使用習知程式化技術加以實施，如此，本文亦將 不描述。最後，圖式中將依類似數字代表相似元件。 簡短地參考圖1至8，其呈現某些通用背景資訊。一般而 言，而且如該技術中已知，視訊之一圖像或圖框係分割成 數個巨集區塊（MB)。此外，該等MB係組織成數個切片 (slice)。圖1中對於一圖像1〇說明此，該圖像包括三個切片 129817.doc 200920143 16、17 ' i7、18;其中每一切片包含數個]^^，如藉由mb η加 乂代表。如上文所提出者，對於圖框内預測’可使用空間 方向預測、位移内預測（DIP)及模板匹配（ΤΜ)之技術以處 理圖像1 〇之MB。

圖2中顯示一先前技術之以η·264為基礎之編碼器5〇之高 階代表，其用於使用H 2642DIP4TM已建議擴充之圖框 内預'艮丨（下文簡稱為編碼器50)。如此，本文未描述一 h.264 編碼斋所支援之其他模式。一輸入視訊信號54係施加於編 馬器5 0，其供一已編碼或已壓縮輸出視訊信號5 6。應觀 察到編碼姦5〇包括視訊編碼器55、視訊解碼器⑼及參考圖 像緩衝器70。特別言之，編碼器5〇複製該解碼器處理，使 、’爲馬器50及一對應之以H 264為基礎之解碼器（圖2中未顯 示）兩者將產生後續資料之同樣預測。因此，編碼器$ 〇亦 解碼（解壓縮）該已編碼輸出視訊信號56，而且提供已解碼 視訊k號61。如圖2中所示，該已解碼視訊信號6ι係儲存 於參考圖像緩衝器70，以便用於該等腳或頂圖框内預測 技術中之後續已編碼Mb之預測。應注意，Dip或以一 MB為基礎而操作，亦即，參考圖像緩衝器70儲存一 MB， 其二於該等後續已編碼MB之預測。為了完整性，圖3顯示 先前技術編碼器50的—較詳細方塊圖，其元件及操作係該 技術已知’而.且本文不進—步描述。應注意，編碼器控制 75係以虛線形式顯示1以-已簡化方式代表圖3中之所 有元件之控制(對照顯示編碼器控制75與圖3之其他 之個別控制/發信路徑)。就這方面而言，應注意，於⑽ 129817.doc 200920143 或TM圖框内預測期間，每一 已解碼MB係經由發信路徑62 提供，而經由切換哭8 5 4 土 m ^ Μ 8 〇至參考圖像緩衝器7 0 (其係在編碼 器控制75之控制下）0換令 ^ ^ 狭s之’母一先前已編碼MB並未由 解區塊遽波|g 6 5加以處理图1 a 乂恩理。圖4中顯示當實行mp或1^圖 框内預測時在一編碼器5〇中眘 甲之育枓流程的一較簡化圖。相 似地’圖5中顯示-對應先前技術之以η··為基礎之解碼 器90，其用於使用η,264之mp或丁μ已建議擴充之圖框内

預測。再次’圖6中顯W 264為基礎之解碼㈣實行 DIP或TM圖框内預測時的一已簡化形式。 如上文提出H·264編碼器的一擴充可實行DIP或TM 圖框内預測。圖7中對於一圖像2〇在該圖框内編碼程序中 之一時間點說明DIP圖框内預測（例如，參見s _l九與c

ysafis使用内巨集區塊運動補償之新内預測"，JVT 會議 Fairfax，doc JVT_C151，2〇〇2年5月；及】Ban^M

Wien，用於H.264内編碼之已擴充紋理預測"，vceg_ AEll.doc’㈣叫月）。如上文提出，mp係以一廳為基 礎而實施。於時間T，圖像2〇之區域26已加以編碼亦 即，區域26係一内編碼區域；而且圖像2〇之區域27尚未加 以編碼’亦即，未編碼。在⑽中，—先前已編碼靡係藉 由-位移向量加以參考’以預測該目前Μβ。此係說明於 圖7中，其中先前已編碼MB 2 1係藉由位移向量（箭號）25加 以參考，以預測目前MB 22。類似於H 264之運動間向量， »亥等位移向量係差分編碼，其使用藉由該等鄰近區塊之中 間值（median)的一預測。 129817.doc -10· 200920143 以一相似方式’圖8中對於一圖像3〇在該圖框内編碼程 序中之一時間點τ說明TM(例如，參見T K Tan、c s B〇〇n

與Υ· SuZUkl，’’藉由模板匹配之内預測"，ICIP 2006丨及j. Balle與M. Wien，”用於H 264内編碼之已擴充紋理預測,，， VCEG-AEll.doc，2007年i月）。如同DIp，頂係以一細為 基礎而實施。於時間T ’圖像30之區域36已加以編碼，亦 即區域3 6係内編碼區域；而且圖像3 0之區域3 7係尚未 加以編碼，亦即，未編碼。在TM中，利用影像區域之自 我相似性進行預測。尤其，該TM演算法藉由搜尋像素之 相似郤域之内編碼區域而遞迴地決定該目前像素（或目 標）之值。此係說明於圖8中，其中該目前MB 43(該目標） 具有圍繞已編碼MB的一相關聯鄰域（或模板）31。然後搜尋 内編碼區域36，以識別-相似候選鄰域，此處藉由鄰域32 加以代表。一旦已定位一相似鄰域，然後，如圖8中所說 明，該候選鄰域之MB 33係用作用於預測該目標MB 43之 候選MB。 如較早所注意，DIP及TM兩者已達成用於紋理預測之良 好編=效率。此兩個途徑間之相似性係其兩者搜尋欲編碼 之目則圖像之先前已編碼内區域（亦％，其使用該目前圖 像作為一參考）’而且根據某些編碼成本尋找該最佳預 測，其係藉由實行（例如）區域匹配及/或自動迴歸模板匹 配。遺慽的係，DIP及ΤΜ兩者遭遇相似問題：其降級編碼 效能及/或視覺品質。具體言之，來自該目前圖像之先前 已編碼内區域（例如，圖7之内區域26或圖8之内區域Μ)之 129817.doc 200920143 儲存於參考圖像緩衝器70之參考圖像資料可含有某些塊狀 或其他編碼假像，其降級編碼效能及/或視覺品質。然 而，有可能解決相對於内編碼之上述編碼效能問題。尤 其，並且根據本發明之原理，一種用於編碼之方法包括以 下步驟：從一目前圖像之先前已編碼巨集區塊產生適應性 參考圖像資料；及從該適應性參考圖像資料預測該目前圖 像之未編碼巨集區塊。 圖9中顯示根據本發明之原理之一器件1〇5的一說明性具 體實施例。器件1〇5係代表任何以處理器為基礎之平台， 例如，一pc、一伺服器、一個人數位助理（PDA)、一蜂巢 式電話等。就這方面而言，器件1〇5包含具有相關聯記憶 體（未顯示）的一或多個處理器。器件1〇5包含根據本發明概 念所修改的一已擴充H.264編碼器15〇(下文稱為編碼器 150)。除了本發明概念，假設編碼器15〇符合於ιτυ-τ Η·264(上文提出），而且亦支援位移内預測⑴ιρ)及模板匹 配（TM)已建議擴充之上述圖框内預測技術。編瑪器15〇接 收一視號149(其係例如從輸入信號〗〇4導出），而且提 供-已編碼視訊信號151。可包含後者當作一輸出信號ι〇6 之一部分，其代表從器件1〇5至例如另一器件或網路（有 線、無線等）的—輸出信號。應注意，雖然圖9顯示編碼器 150係器件1〇5之-部分，本發明並未如此限制，而且編碼 器150可在器件105外部，例如，實體上相鄰，或者部署於 一網路（電欖、網際網路、蜂巢式等W之別處，使器件如 可使用編碼器150用於提供—已編碼視訊信號。僅為了此 I29817.doc 200920143 二=::假設視訊信號149係符合於-CiF(共用中間 格式）視汛袼式的一即時視訊信號。 圖10甲顯示編碼器150的一 月性方塊圖。說明上，編 中:二軟體為基礎之視訊編碼器，其如藉由圖1。 中之虛線框之形浙_ + + + 之形式所不之處理器190及記憶體195加以 、在此背景中，電腦程式或軟體係儲存於 以便由處理器190加以執 程式控制處理器，而且未义真i係代表一或多個已儲存 未必專屬於該視訊編碼器功能， 理器㈣可控制器件⑽之其他功能。記憶體195 係代表任何儲存器件，例如，隨機存取記憶體（ram)、唯 。賣α己隐體（ROM)等，可在編碼器15〇内部及/或外部；而且 視需要為揮發性及/或非揮發性。除了本發明概念，編碼 以0具有兩層，如該技術中已知，如藉由視訊編碼層⑽ 及網路抽象層165加以代表。就這方面而言’編碼器150之 視訊編碼層⑽合併本發明概念（以下進一步描述）。視訊編 碼層⑽提供-已編碼信號161，其包括如該技術中已知之 視訊編碼資料’例如，視訊序列、圖像、切片及遍。視 訊編碼層16〇包括-輸入緩衝器⑽、—編碼器m及一輸 出緩衝器185。該輸人緩衝器刚儲存來自視訊信號⑽之 視訊資料’用於由編碼器17〇進行處理。除了以下所述之 發明概念，編碼器170壓縮如上述根據H 264之視訊資料， 而且提供已壓縮視訊資料給輸出緩衝器185。後者將唁已 I縮視訊資料當作已編碼信號161提供給該網路抽象、 5其以適〇在各式各樣通信通道或儲存通道運輸的一 1298l7.doc 200920143 方式格式化該已編碼信號i6i，以提供h 264視訊編碼信號 151例如，網路抽象層165促進以下能力：將已編碼信號

161映射至傳逆厗 ；U 博达層（例如RTP(即時協定）/IP(網際網路協 疋））铋案格式（例如，用於儲存與多媒體訊息（MMS)之 ISO MP4(MPEG_4標準（ISC) 14496_14)))、用於有線及無線 又淡式服務之H.32X、用於廣播服務之MPEG_2系統等。 圖11中顯不根據本發明之原理之在圖框内預測中使用之 視編碼益160的-說明性方塊圖。為了此範例之原理， 假設視訊編碼器丨6〇實行一目前圖像之DIP或ΤΜ圖框内預 測士此，本文並未描述根據該H.264標準之視訊編碼層 所支援之其他模式。視訊編碼層丨6〇包括視訊編碼器 55、視訊解碼器6〇、參考圖像緩衝器7〇及參考處理單元 2〇5。代表該目前圖像的一輸入視訊信號149係施加於視訊 編碼器55，其提供一已編碼或已壓縮輸出信號ΐ6ι。該已 編碼輸出信號161亦施加於視訊解碼器6〇，其提供已解碼 視訊信號61 ^後者代表該目前圖像的一先前已編碼mb， 而且係儲存於參考圖像緩衝器70。根據本發明之原理，對 於目前欲編碼之圖像（亦即，該目前圖像），參考處理單元 2〇5彳文儲存於參考圖像緩衝器7〇之先前已編碼mb圖像資料 產生適應性參考圖像資料（信號206)。此適應性參考圖像資 料現在用於§亥目前圖像之DIP或TM圖框内預測技術中之後 續已編碼MB之預測。因此，參考處理單元2〇5可濾波該先 月il已編碼MB圖像資料，以移除或減輕任何塊狀或其他編 碼假像。 1298I7.doc 14 200920143 f

實際上’參考處理單元2〇5可應用數個濾波器之任—者 以產生不同適應性參考圖像資料。此係說明於圖丨2之表 一。表一說明參考處理單元205可用以產生該適應性參考 圖像資料之不同濾波或處理技術的一清單。表一說明六個 不同處理技術，本文一般稱為”濾波器類型”。在此範例 中’每一遽波器類型係相關聯於一 Filter-Number參數。例 如，若該Filter—Number參數之值係零，則參考處理單元 205使用一中間值類型濾波器以處理儲存於參考圖像緩衝 器70之先前已編碼MB圖像資料。相似地若該 Fiher—Number參數之值係一，則參考處理單元2〇5使用一 解區塊濾波器以處理儲存於參考圖像緩衝器7〇之先前已編 碼MB圖像資料。此解區塊濾波器係相似於如Η·264中所規 定之圖3之解區塊65。如表一所指示，亦可定義一客製化 濾波器類型。 應注意’表-僅為-範例，而且根據本發明之原理，參 考處理單元205可對儲存於參考圖像緩衝器7〇之資料應用 一遽波器、變換、勉曲或投影之任—者。實際上用以產 生該適應性參考圖像資料之據波器可為任何空間渡波器、 中間值渡波器、Wiener^、幾何平均、最小平方等。事 實上，吾人可使用可用以移除該目前（參考）圖像之編碼假 像之任何線性及非線性濾波器。亦可能考慮暫時方法，例 如先鈾已編碼圖像之暫時涛油。，丨 、， 才/應/皮冋樣地，翹曲可為允許該 目則欲編碼内區塊之 '一幸交伯 Τ7Π 35;? ΛΑ 杈佳匹配的一仿射變換或其他線性 及非線性變換。 I29817.doc -15· 200920143 右參考處理單元205使用一個以上類型之濾波器，則亦 使用參考索引結合該濾波器類型與由參考處理單元2〇5 所產生之特定適應性參考圖像資料。現在參考圖Η，一說 明性參考清單係顯示於根據本發明之原理之表二。表二代 表用於將資訊運輸至一Η·264解碼器的一說明性語法。此 資訊係以Η.264之高階語法（例如，—序列參數集、一圖像 :數集、-切片標頭等)加以運輸。例如，參見上述Η·264 標準之7.2節。在表二中，該參⑴規定第i 參=之渡波器類型；該參數_乂⑽i 規疋係數之數目；而且該參數quant—e〇eff⑴規定該第】係 數之已量化值1等描述符u(1) ' ue(v)A se(v)係如h⑽ 中所定義(例如，參見第7·2節）。例如，u⑴係W元的一 不可正負號整數；吵）係—不帶正負號整數Exp-G〇i〇mb 編碼之語法it件（其中該左位元為先），其中此描述符之剖 析程序係規定於該h.264標準之第9」節；而且se㈣_帶 正負號整數Exp-Gol〇mb、編碼語法元件(其中該左位元為 先）其中此描述符之剖析程序係規定於該Η Μ*標 9.1節。 乐 、上所述 編碼器或其他器件可將多個不同濾波器 施加於來自欲編碼之目前 "° 目則圖像的—參考圖像資料。該編碼 益可使用用於實；哮曰回/Α 、α目刚圖像之圖框内預測的一或多個淚 波器類型。例如，該編 " ,亞·]恧立使用一中間值濾波器 目前圖像的—第—參考。該編碼器亦可建立使用-幾^平 均濾波器的一第二來| n 4 -考，及建立使用一 Wiener濾波器的— 129817.doc -16- 200920143 第三參考等等。以此方式，一實施方案可提供—編碼写， 其適應性地決^哪-參考（哪—遽波器）用於該目前圖像之 2何給定MB或區域。該編碼器可例如對於該目前圖像之 & $ t 皮n參考’而且對於該目 半使用-幾何平均遽波器參考。 s像之後 為了兀整性’圖14中顯示根據本發明之原埋之視訊編碼 層160的一較詳細方塊圖。除了本發明，圖14中所示之元 f' V, 件代表如該技術中已知之—以Η·264為基礎之編碼器而 且本文不進一步描述。應注意，編碼器控制77係以-虛線 形式顯不’其以-已簡化方式代表圖14中之所有元件之控 制（對照顯示編碼器控制77與圖14之其他元件間之個別控 制/發信路徑）。就這方面而言，應注意，於赚或顶圖框 内預測期間’每一已解碼则係經由發信路徑62加以提 供，而經由切換器80至參考圖像緩衝器7〇(其係在編碼器 卫制77之控制下）。根據本發明之原理，編碼器控制π另 外控制切換器㈣於提供適應性參考圖像資料施，及由 參考處理單元205所使用之渡波器類型之選擇（若一個以上 處理技術係可用）。圖15中顯示根據本發明之原理於實行 ⑽或ΤΜ圖框内預測時在視訊編碼層⑽中之資料流程的 一較簡化圖。 現在參考®I 16，其顯不在圖1G之視訊編碼層⑽中使用 根據本發明之原理的—說明性流程圖，用於實行圖1〇之視 丄L號149之至v _像或圖框之圖框内預測。一般而 。並且如3亥技術中已知，該目前圖像（未顯示）係分割成 129817.doc 200920143 數個巨集區塊（MB)。在此範例中，假設位移内預測（Dip) 係用於圖框内預測。根據本發明之原理對於TM實行相似 處理而且如此’本文不描述。如上文提出，Dip係以一 巨集區塊為基礎而實施。尤其’於步驟305，出現該目前 圖像之圖框内預測之初始化。例如，決定該目前圖像之

mb之數目N、將一迴路參數i設定成等於〇(其中ki<N), 及初始化一參考圖像緩衝器。於步驟3 10,檢查該迴路參 數1之值，以決定是否已處理所有MB，在該情況中，該常 式退出或結束。否則，對於每―MB，執行步驟315至 乂·^行δ亥目月纟圖像之圖框内預測。於步驟3 1 5，以來 〇第1 1已編碼mb之資料更新該參考圖像緩衝器。例 如，儲存於該參考圖像緩衝器之資料代表來自該第m Dip 已編碼MB之未編碼像素。於步驟33〇，並且根據本發明之 原理m所述，從該第Μ已編碼mb產生適應性參考 圖像資料二（例如，參見圖U之參考處理單元205及圖12 ^表一）。於步驟325及33〇，實行DIp並且使用該適應性參 像資料趟:1搜尋該最佳參考索引(步驟325)，而且一旦 找到’則以該最佳參考索引編碼該第iMB(步驟330)。 現在參考圖1 7 ’其顯示根據本發明之原理之-器件405 之另-說明性具體實施例。器件4〇5係代表任何以處理器 為基礎之平台’例如，—Pc、—伺服器、—個人數位助理 (:DA)、一蜂巢式電話等。就這方面而言，器件405包含具 相關如α己憶體（未顯示）的一或多個處理器。器件權包含 根據本發明概“修改之已擴充Η·解碼器例下文稱 129817.doc 200920143 為解碼器450)。除了本發明之概念，假設解碼器45〇符合 ITU-T Η·264(上文提出），而且亦支援上述之位移内預測 (⑽）及模板匹配（ΤΜ)建議擴充之圖框内預測技術。解碼 為450接&已編碼視訊信號449(其係例如從輸入信號彻 導出）’而且提供一已解碼視訊信號451。可包含後者以當 作-輸出信號406的—部分，其代表從器件彻至例如另一 器件或網路(有線、無線等)的一輸出信號。應注意，雖然 f \ 圖17顯示該解碼器45〇係器件他的—部分但本發明並未 如此限制，而且解碼器45〇可在器件4〇5外部例如實體 上相鄰，或者部署於一網路（電纜、網際網路、蜂巢式等） 中之別處，致使器件4G5可使用解碼器彻提供—已解^視 訊信號。 為了完整性，圖18中顯示根據本發明之原理之解碼器 450的一較詳細方塊圖。除了本發明，圖18中所示之元件 代表如該技術中已知之一以Η 264為基礎之解碼器，而且 本文不進一步描述。解碼器45〇以與上述視訊編碼層WO互 補的一方式實行。解碼器45〇接收一輸入位元流449，而且 從其中恢復-輸出圖像451。應注意，解碼器控制97係以 虛線形式顯示，其以一[簡化方式代表圖18中之所有元件 之控制（對照顯示圖18之解碼器控制97與其他元件間之個 別控制/發信路徑就這方面而言，應注意，於或頂 圖框内預測期間，每一已解碼經由發信路徑々a加以 提供，而經由切換器480至參考圖像緩衝器47〇(其係在解 碼器控制97之控制下）。根據本發明之原理，解碼器控制 129817.doc -19. 200920143 9 7另外控制切換器485，由於提供適應性參考圖像資料 206 ’及由參考處理單元2〇5所使用之濾波器類型之選擇 (右一個以上處理技術係可用）。應回憶到若存在一個以上 濾波器類型，則解碼器450從例如一已接收切片標頭擷取 該參考清單，以決定該濾波器類型。圖19中顯示根據本發 月之原理於實行DIp或TM圖框内預測時在解碼器中之 資料流程的一更簡化圖。 巩隹參考圖2〇，其 小卞奴 η 、"j、^〜⑺…、圃i /之 解碼器450的一說明性流程圖。圖2〇之流程圖係與用於編 碼該視訊信號之圖16中所示之流程圖互補。再次，假設： 圖框内預測使用位移内預測（DIp)。才艮據本發明之原理對 於TM實行相似處,里，而且如此，本文内未做描述。如上 文所提出者，DIP係以一巨集區塊為基礎而實施。特別今 之’於步驟505,出現該目前圖像之圖框内預測之初二 化。例如，決定該目前圖像之MB之數目N、將一迴 ^定f (其中⑽N)，及初始化—參考圖像緩衝器。 有二。’檢查該迴路參數丨之值’以決定是否已處理所 ，在該情況中，該常式退出或結束。否則，對於每 MB，執行步驟515至53〇，實 預測。於步驟515，以來自該第^ :則圖像之圖框内 夂者圖禮 ^ 已、扁碼ΜΒ之資料更新該 Μ來白。例如’儲存於該參考圖像緩衝器之資料 代表來自該第M mp已編碼μβ 、 520,並且奸姑太双Βη 木、局碼像素。於步驟 ，考圖像資料—二(例如，參見圖18之 129817.doc -20· 200920143 參考處理單元2〇5、圖12之表一及圖13之表- 右存在一個以上濾波器類型，則解碼器45〇從例如一已接 收切片標頭擷取該參考清單，以決定該遽波器類型。於步 驟53〇，根據DIP解碼該MB。 圖21至26中顯示根據本發明之原理之其他說明性具體實 施例。圖21至23顯示其他編碼器變動。如可從圖^表一 觀察者，參考處理單元205可包含一解區塊遽波器。如 此，分離解區塊遽波器65可從該編瑪器加 考處理單元斷解區塊遽波器可在其位置加以使用： 變動係顯不於圖21之編碼器_。至編碼“⑽的—額外修 改係顯示於圖22之編碼器_。在此具體實施例中，消除 參考圖像緩衝器7〇,而且參考處理單元2G5即時（亦即，立 即（〇n-the-fly))操作。最藉由圖以編碼器64〇所說明 之具體實施例說明對於所有则使用解區塊遽波器65。通 常，如該技術中已知，解區塊遽波器65係於一整切片及/ 或圖像完成解碼（亦即，以—刀片為基礎及/或圖像為基礎 而非-mb為基礎）後或者對單一mb加以使用。反之，編 碼裔64G對於所有_使用該解區塊濾波器。如此，移除參 考處理單元2〇5。現在參考圖24至26，此等圖式說明至解 碼器之相似修改。也丨 〆 ’圖24之解碼器700係相似於圖21 之編碼器600，亦即，使 _ _ 便用參考處理早兀205之解區塊濾波 益取代一分離解區换、、舍 鬼濾波态。圖25之解碼器72〇係相似於 圖22之編碼器620，女B 、 亦P ’消除參考圖像緩衝器70，而且 參考處理單元、 守（亦即，立即）操作。最後，圖26之解 1298l7.doc •21 - 200920143 碼器740係相似於圖23之編碼器64〇，亦即，對於所有mb 使用該解區塊濾波器。 如以上所述，並且根據本發明之原理，適應性地產生適 應性參考圖像資料，以用於内預測。應注意，雖然本發明 概念係以H.264之一 DIP及/或頂擴充之背景加以說明，但 本發明概念並未如此限制，而且可應用於其他類型之視訊 編碼。 考慮到以上，前述僅說明本發明之原理，而且因此將了 解熟諳此技術者將能夠設計出眾多替代配置，雖然本文並 未明確地描述，但其體現本發明之原理，而且在其精神及 範缚内。例如，雖然以分離功能元件之背景加以說明，但 可在-或多個積體電路(IC)中體現此等功能元件]目似 地’雖然顯示成分離元件，但可將任何或所有元件實施於 例如一數位信號處理器的一已儲存程式控制處理器，豆執 行例如對應於例如圖16及20中所示之一或多個步驟之相關 聯軟體等。另外，可蔣太恭s ^ Γ 了將本發明之原理應用於其他類型之通 信系統，例如’衛星、無線保真度（Wi_Fi)、蜂巢式等。實 際上’亦可將本發明概念應用於固定或行動接收器。所以 應該瞭解的係，可以對所闡述的具體實施例進行各種修 改’並且可在不脫離隨附中請專利範圍㈣義之本發明^ 精神及範疇下設計出其他的配置。 【圖式簡單說明】 、圖1至8說明用於使用⑽或™之圖框内_之 視訊編碼及解碼； f f 129817.doc -22- 200920143 圖9顯示根據本發明之原理之—說明性器件 器 的一說明 圖10顯示根據本發明之原理之—Η 2 6 4編喝 性方塊圖； 圖顯示根據本發明之原理之一視訊編碼 性方塊圖； 器的另一說 明 同類型處理之表 圖12顯示說明根據本發明之原理之不 f 一圖13顯示說明用於圖9之器件或圖1〇之乩 高階語法之表.二： ’ 碼器之 視訊編碼器之其他 圖1 4及1 5顯示根據本發明之原理之 說明性方塊圖； 圖16顯示用於根據本發 明性流程圖； ,Η治兹固. 理之一視訊編碼器的一說 —說明性器件； 之一視訊解碼器之說 明 圖17顯示根據本發明之原理之另 圖18及19顯示根據本發明之原理 性方塊圖； 圖20顯示用於根據本發明 明性流程圖；以及 例0 之原理之一視訊解碼器的-說 之原理之其他說明性具體實施 圖2〗至26顯示根據本發明 【主要元件符號 說明】 10 圖像 11 MB 16 切片 129817.doc •23- 200920143 17 切片 18 切片 20 圖像 21 已編碼MB 22 MB 25 位移向量 26 區域 27 區域 30 圖像 31 相關聯鄰域 32 鄰域 33 MB 36 内編碼區域 37 區域 43 MB 50 編碼 54 輸入視訊信號 55 視訊編碼器 56 輸出視訊信號 60 視訊解碼器 61 視訊信號 62 發信路徑 65 解區塊濾波器 70 參考圖像缓衝器 129817.doc -24- 200920143 r 75 編碼器控制 77 編碼器控制 80 切換器 85 切換器 90 解碼器 97 解碼器控制 104 輸入信號 105 器件 106 輸出信號 149 視訊信號 150 編碼is 15 1 視訊信號 160 視訊編碼層 161 信號 165 網路抽象層 170 編碼 180 輸入緩衝器 185 輸出緩衝器 190 處理器 195 記憶體 205 參考處理單元 206 信號/適應性參考圖像資料 404 輸入信號 405 器件 129817.doc •25 - 200920143 406 輸出信號 449 視訊信號/輸入位元流 450 解碼器 451 視訊信號/輸出圖像 462 發信路徑 470 參考圖像緩衝器 485 切換器 600 編碼 620 編碼 640 編碼 700 解碼器 720 解碼器 740 解碼器 t 129817.doc -26-

Claims (1)

1. 200920143 十、申請專利範圍： 1 _ 種用於視讯編碼之方法’該方法包括： 從一目前圖像之先前已編碼巨集區塊產生適應性參 圖像資料；以及 從該適應性參考圖像資料預測該目前圖像之未蝙螞 集區塊。 & 2 ·如明求項1之方法，其中該產生步驟包括： 使用一濾波器以用於產生該適應性參考圖像資料。 女明求項1之方法，其進一步包括以下步驟： 儲存該目前圖像之該先前已編碼巨集區塊； 其中該目前圖像之已儲存之先前已編碼巨集區塊係用 於該產生步驟。 4 ·如叫求項1之方法，其中該預測步驟進一步包括： 使用該適應性參考圖像資料實行圖框内預測編碼； 其中該實行步驟搜尋該目前圖像之先前已編碼區域， 用於預測一目前巨集區塊。 對該目前圖像之至少一 6. 7. 5·如睛求項4之方法’其中該實行步驟包含以下步驟： 些部分實行位移内預測。

   選擇複數個濾波器類型之一者；

   如請求項7之方法 類型產生s亥適應性參考圖像資料。 其中s亥選定濾波器類型係一解區塊 129817.doc 200920143 遽波器。 9·如咕求項7之方法，其中該選定濾波器類型在變換域 操作。 10. 如請求項7之方法’其中該選定濾波器類型係一中間值 滤波器。 11. 如請求項7之方法，其進一步包括以下步驟： 形成一參考清單以用於由一解碼器使用； Γ #中該參考清單識別選定錢器類型以用於解碼欲編 1 碼之該目前圖像。 12·種電腦可讀取媒體，其具有用於一以處理器為基礎之 系統的電腦可執行指令，致使當執行時，該處理器為基 礎之系統實行一用於視訊編碼之方法，該方法包括： 從-目前圖像之先前已編碼巨集區塊產生適應性參考 圖像資料；以及 從該適應性參考圖像資料預測該目前圖像之未編碼巨 集區塊。 、 13. 如請求項12之電腦可讀取媒體，其中該產生步驟包括： • 使用；慮波器以用於產生該適應性參考圖像資料。 14. 如請求項12之電腦可讀取媒體，其中該方法進一步包 括： 儲存該目前圖像之該先前已編碼巨集區塊； 其中該目前圖像之該已儲存之先前已編碼巨集區塊係 用於該產生步驟。 15. 如請求項12之電腦可讀取媒體，其中該預測步驟進一步 129817.doc « 200920143 包括： 使用該適應性參考圖像資料實行圖框内預測編碼； 其中S亥實行步驟搜尋該目前圖像之先前已編碼區域， 用於預測一目前巨集區塊。 16·如請求項15之電腦可讀取媒體，其中該實行步驟包含以 下步驟： 對該目前圖像之至少-些部分實行位移内預測。 π如請求項15之電腦可讀取媒體，其中該實行步驟包含以 下步驟： 對該目前圖像之至少—些部分實行模板匹配。 18·如請求項12之電腦可讀取媒體，其中該產生步驟包括： 選擇複數個濾波器類型之—去.、 可，以及 根據該選定濾波器類刮而A L 貝1而產生該適應性參考圖像資 料。 、 其中該選定據波器類型 其中該選定濾波器類型 其中該選定據波器類型 1其中該方法進一步包 19.如請求項18之電腦可讀取媒體， 係一解區塊濾波器。 20·如請求項18之電腦可讀取媒體， 在變換域中操作。 21. 如請求項1 8之電腦可讀取媒體， 係一中間值濾波器。 22. 如請求項丨8之電腦可讀取媒體 括： 形成一參考清單以用於由— 解碼益使用； 其中該參考清單識別選定请^ 選疋4波器類型，用於解碼欲編 129817.doc 200920143 碼之該目前圖像。 23· —種用於視訊編碼之裝置，該裝置包括： 一緩衝d ’其用於儲存欲編媽之—目前圖像之先前 編碼巨集區塊；以及 -處理器，其用於從該目前圖像之該先前已編碼巨集 區塊產生適應性參考圖像資料； 一 其中該適應性參考圖像資料係用於預測該目前圖像之 未編碼巨集區塊。 24.如凊求項23之裝置，其中該處理器使用一解區塊據波器 以用於產生該適應性參考圖像資料。 β 25·如请求項23之|置，其中該處理器使用該適應性參考圖 像資=實行圖框内預測編碼，其係、藉由搜尋該目前圖像 之先4已編碼區域，用於預測一目前巨集區塊。 26.如明求項25之裝置，其中該處理器對該目前圖像之至少 一些部分實行位移内預測。 27·如請求項25之|置，其中該處理器對該目前圖像之至少 一些部分實行模板匹配。 28·二請^項23之裝置’其中該處理器選擇複數個遽波器類 型之一者；而且根據該選定濾波器類型產生該適應性參 考圖像資料。 29. 如請求項28之裝置，其中該選定渡波器類型係—解區塊 濾波器。 30. 如請求項28之農置，其中該選定渡波器類型在變換域中 操作。 129817.doc 200920143 31. 如請求項28之裂置，其中該選定慮波器類型係-中間值 濾波器。 32. 如请求項28之袭置’其中該處理器形成一參考清單以用 於由一解碼器使用； 其中該參考清單識別選定渡波器類型，用於解石馬欲編 碼之該目前圖像。 Μ請求項23之装置，其中該裝置根據h.264視訊編碼實 f 行視讯編碼。 、 34. -種用於視訊解碼之方法，該方法包括： 攸目則圖像之先前已編碼巨集區塊產生適應性來 圖像資料；以及 ’ 從該適應性參考圖像資料解碼該目前圖像之巨集區 塊> 0 35·如請求項34之方法，其中該產生步驟包括： 使用-濾、波器以用於產生該適應性參考圖像資料。 36. 如請求項34之方法，苴進一+ 、 儲存4目削圖像之該先前已編碼巨集區塊； 其中該目前圖像之該已儲存义 用Μ太 钸存之先刚已編碼巨集區塊係 用於該產生步驟。 37. 如請求们4之方法，其中解料驟進—步包括·· 使用該適應性參考圖傻眘 > ▼α像貝枓實仃圖框内預測解碼； 八中該實行步驟搜尋該目前圖 m 引回像之先刖已編碼區域以 用於解碼一目前巨集區塊。 38. 如請求項37之方法，1 …甲實仃步驟包含以下步驟： 129817.doc 200920143 對該目前圖像之至少一些部分實行位移内預測。 39. 如請求項37之方法，其中該實行步驟包含以下步驟： 對該目前圖像之至少—些部分實行模板匹配。 40. 如請求項34之方法，其中該產生步驟包括： 接收一參考清單，其用於識別至少一濾波器類型，以 在產生該適應性參考圖像資料中使用；以及 根據該已識別濾波器類型而產生該適應性參考圖像資 料。 .如請求項40之$法，#中該遽波器類型係一解區塊遽波 器。 42.如請求項40之方法，其中該濾波器類型在變換域中操 作。 ’、 一中間值濾波 43.如請求項40之方法 器。 其中該濾波器類型係 44. 一種電腦可讀取媒體’其具有用於—以處理器為基礎之 系統的電腦可執行指令，致使當執行時，該處理器為基 礎之系統實行一用於視訊解碼之方法，該方法包括：土 從一目前圖像之先前已編碼巨隼區 果^塊產生適應性參老 圖像資料；以及 從該適應性參考圖像資料解碼該目前圖像 塊。 ’、睦 45·如請求項44之電腦可讀取媒體’其中該產生步驟包括： 使用一濾波器以用於產生該適應性參考圖像資料。 46.如請求項44之電腦可讀取媒體，装由 ，、中該方法進一步包 129817.doc 200920143 括： 儲存該目前圖像之該先前已編碼巨集區塊 已編碼巨集區塊係 其中該目前圖像之該已儲存之先前 用於該產生步驟。 其中該解碼步驟進一步 47.如請求項44之電腦可讀取媒體， 包括： 使用該適應性參考圖像資料實行圖框内預測解碼； 其中該實行步驟搜尋該目前圖像之先前已編碼區域， 用於解碼一目前巨集區塊。 48. 如請求項47之電腦可讀取媒體，其中該實行步驟包含以 下步驟： 對該目前圖像之至少一些部分實行位移内預測。 49. 如請求項47之電腦可讀取媒體，其中該實行步驟包含以 下步驟： 對該目前圖像之至少一些部分實行模板匹配。 50. 如請求項44之電腦可讀取媒體，其中該產生步驟包括： 接收一參考清單，其用於識別至少一濾波器類型，以 在產生該適應性參考圖像資料中使用；以及 根據該已識別濾波器類型而產生該適應性參考圖像資 料。 51. 如請求項50之電腦可讀取媒體，其中該濾波器類型係一 解區塊濾波器。 52_如請求項50之電腦可讀取媒體，其中該濾波器類型在變 換域中操作。 129817.doc 200920143 53.2求項5G之電腦可讀取媒體，其中該毅器類型係— 中間值濾波器。 54. —種用於視訊解碼之裝置，該裝置包括： 一緩衝器，其用於儲存欲觫 ㈣欲解碼之-目前圖像之先前已 、'扁碼巨集區塊；以及 一處理器’其用於從該目前圖像之該先前已編碼巨集 區塊產生適應性參考圖像資料； 、 其中該適應性參考圖像資料係用於解碼該目前圖像之 巨集區塊。 55=r，裳置’其中該處理器使用-解區塊渡波器 :產生该適應性參考圖像資料。 56 ^求項54之裝置，其中該處理器使用該適應性參考圖 二j實仃圖框内預測解瑪，其係、藉由搜尋該目前圖像 之^别已編碼區域，用於解碼一目前巨集區塊。 一长項56之裝置’其中該處理器對該目前圖像之至少 些4分實行位移内預測。 58’：喷求項56之裝置’其中該處理器對該目前圖像之至少 一些部分實行模板匹配。 59.^月^項54之裝置’其中該處理器係回應於一參考清 m後二哉另J至夕一據波器類型’以在產生該適應性參考 類型:料中使用；且其中該處理器根據該已識別據波器 、 生該適應性參考圖像資料。 6〇·如請求項59 琴 乂 ，、中δ亥;慮波器類型係一解區塊渡波 129817.doc 200920143 61. 如請求項59之裝置，其中該濾波器類型在變換域中操 作。 62. 如請求項59之裝置，其中該濾波器類型係一中間值濾波 器。 63. 如請求項54之裝置，其中該裝置根據H.264視訊解碼而 實行視訊解碼。

   129817.doc