TWI309951B - Deblocking control method considering intra bl mode and multilayer video encoder/decoder using the same - Google Patents

Description

I3omd〇c 九、發明說明： 【發明所屬之技術領域】 -稽有關於一種視訊壓縮技術，且特別是有關於 便用在夕層視訊編碼解碼器的去區塊濾波器。 【先前技術】 d 外多通訊技術的發展，除了文字與聲音的通訊 的通訊系 式 而承亚且此夠扣供各種資訊型 加。由=予、影像、音樂等等）的多媒體服務也不斷增 儲存媒體料的資料量是很大的，所以需要大容量 傳驶ϊ寬來儲存與傳輸此多媒體資料。因此，為了 、豆貝料（其包括文字、影像與音^胃_ 除空間，的基本原理是移除資料冗餘。資料可藉由移 sd、例如在影像中重複的相同色彩或物件）、時 音訊中連=影像訊框中相鄰訊框的些微變動或在 將人的聲音）以及視訊/感知冗餘來壓縮，其會 ,、7見與感知感覺視為高頻率。在一般視方二 二間几餘技由空㈣絲歸。 I且 不同^移:Ϊ:冗餘之後傳輸多媒體’傳輸媒體需要 例如，别使用的傳輸媒體具有多樣的傳輪速度。 以及行動每秒鐘可傳輸幾十百萬位元的資料 I罔路具有每秒鐘384千位元的傳輸速度。為 6

^md〇c 了在此傳輸環境下支援、 的傳輸速度傳送多媒體，及以適用於此傳輸媒體 方法。，要更合適的可調適性資料編碼 分解碼。解碼器與預解“=位元串流的部 法所編瑪的部分位方 質、解析度或框率的多媒體。 -有*同衫片品 有關此可调適性視訊編碼，動態影像墨縮標準 moving picture experts gr〇up_2 i) pART七已發展其標 化工作。特別是’許多依據多層在視訊編碼中實作^適 性的研究都正在進行中。如同此多層視訊編碼的範例，多 層結構是由基礎層、第一增強層與第二增強層並且各個層 具有不同解析度的1/4共用中間格式（quarter common intermediate format, QCIF )、共用中間格式（common intermediate format, CIF)與 2 共用中間格式（c〇mrnon intermediate format，CIF)以及不同的框率。 圖1是繪示使用多層結構的可調適性視訊編碼解碼器 的範例示意圖。在此視訊編碼解碼器中，基礎層是設定至 在15Hz (框率）中的QCIF，第一增強層是設定至在3〇Hz 中的CIF，並且第二增強層是設定至在6〇Hz中的標準晝質 (standard definition, SD )。 在編碼此多層視訊訊框中，會使用層之中的關係。例 如，第一增強層的視訊訊框的某區域12會透過來自於基礎 在目$ MPEG-21可调適性視訊編碼標準（以下稱為 準）中’用以貫作如圖1所示範例的多層視訊編碼 ”馬时的研九正在進行中，其依據現存H264/進階視訊編 碼（advanced video coding, AVC )。

i3〇9mfd〇c 框的對應區域13的預測來有效地編碼 。在此方 ㈣二增強層的視訊訊框的區域11會透過來自於第一 視訊訊框的區域12的預测來有效地編碼。倘若多 ^體層視訊訊框的各闕具有不同崎析度時，則應會在 執行預測之前向上取樣基礎層的影像。 然而，H.264使用DCT轉換作為空間轉換方法，並且 ，DCT絲礎的解碼編碼器中區塊假象與區塊效應會隨 著壓縮率的增加而發生。有兩個原因造成區塊假象。 第一個成因是以塊為基礎的整數DCT轉換。這是因為 由於起因於DCT轉換的DCT係數的量化而使得中斷發生 在區塊邊界。由於H.264使用4x4大小的DCT轉換（其是 相對於較小的大小），所以中斷問題會稍微的減緩，但是 還是無法完全避免。 第二個成因是移動補償預測。移動補償塊是由複製從 不同參考訊框的另一位置插入的像素資料來產生。由於此 些資料集合無法精確地彼此重疊，所以中斷會發生在複製 區塊的邊緣。同樣地，在複製的過程中，此中斷會被轉換 為移動補償塊。 近來’許多用以解決塊影響的技術已在發展。為了減 少塊影響，H.263與MPEG-4已提出可重疊式區塊移動補

I3〇9q5i T8^4if.d〇c ^ (overlapped block motion compensation, OBMC) 技術。 儘官OBMC能有效降低區塊假象，但是其需要大量運算以 用於移動預測，其是在編碼器終端執行。基此，Ή 264使 用去區塊濾波器來移除區塊假象並改善影片品質。 去區塊過濾處理是在回復巨集區塊之前以及執行其逆 轉換之後於編碼器或解碼器終端裡執行。在此案例中，去 區塊濾波器的強度可調整來適合各種條件。 圖2是解釋用以根據傳統Η.264標準決定去區塊濾波 盗強度的方法的流程圖。在此，區塊q與區塊ρ是兩個定 義欲應用去區塊濾波器的區塊邊界的區塊，並且表示目前 區塊與鄰近區塊。五種濾波器強度（指示Bs=〇至4)是根 據區塊P或q是否已圖框内編碼（intra-coded)區塊、目 才75取樣是否配置在巨集區塊邊界上、區塊q或p是否是編 ，區塊等來設定。倘若Bs為〇時，則其意旨去區塊濾波 益不會應用至對應目標像素。 換句話說’根據傳統方法決定去區塊濾波器強度時， 則濾波器強度會依據目前區塊（其中目標取樣存在）與鄰 近區塊是否為圖框内編碼、圖框間編碼（inter-coded)或 無邊碼來蚊。濾波㉔度也會依據目標顿是存在於 4x4區塊的邊界或16χ16區塊的邊界而決定。 的訊框預測在目前層的訊框（如圖i所示 = (b:selayer，BL)模式），但當決定去區塊據波c 其還是延續傳統H.264標準（如圖2所示）。 又守 9 1309測 if.doc 然而，由於去區塊濾、波器是應用至在 視訊編碼/解碼器中的層，所以血法再—二马基礎的 器至從較低層提供的訊框以為了有效地“目；=波 不過，在目丽SVC標準中，圖框内乩 =成私。 圖框内編碼並且用以決定遽波器強度的方已括成—種 會依此使用，所以當決定遽波器強度時 斤不） 是否屬於圖框内BL巨集區塊。 而号慮目則區塊 強度適合各別條件並且去區塊濾波 改Ϊ °其f ""強度時，則回復視訊的影片品質會大= ί在要研究一種在多層視訊編碼/解碼以 =間在考㈣框UL模式下正祕決定驗g強度^ 【發明内容】 基此’本㈣已解決上述f之技術所發生的問題 目的是在以多層為基礎的視訊編碼器/解碼器 BT ^^"用去區塊濾、波11的某個區塊是否使用圖框内 吴式來給定正確的去區塊濾波器強度。 本發明的其他目的與優勢將在以下詳細描述，並且 由本發明的實施例習得。 曰 、。。為了完成此些目標，在此提供一種用以決定去區塊濾 波。。強度的方法，其是用於包括數個區塊的訊框中，此方 法包括：（a)選擇欲在其上執行去區塊過濾的目前區塊與鄰 近區，；（b)判斷目前區塊與鄰近區塊是否已藉由圖框内 BL核式來編碼；以及⑷根據判斷的結果來決定去區塊濾 10 I3〇9951fdoc 波器強度。。 、本發明的再-目的是提供—種用以執㈣框的去 過濾的方法，其中訊框包括數個區塊，此方法包括 此些區塊中選擇欲在其上執行去區塊過濾的目前區塊= 近區塊“b)判斷目前區塊與鄰近區塊是否已藉由圖框夕内 BL模式來編碼；（c)根據判斷的結果來決定去區塊濾波哭 強度；以及(d)根據去區塊濾波器強度以關於在目前區塊^ 鄰近區塊之間的邊界來執行去區塊過濾。 〜 • 本發明的又一目的是提供一種以多層為基礎的視訊編 碼方法，其是使用去區塊過濾，此方法包括：⑻編碼輸入 視訊訊框，（b)解碼已編碼的輸入視訊訊框；（c)根據包括在 解碼的輸入視訊訊框中的區塊是否是由圖框内BL模式編 碼來決定去區塊濾波器強度；以及(d)根據所選擇的去區塊 濾波器強度以關於在區塊與鄰近區塊之間的邊界來執行去 區塊過滤。 本發明的另一目的是提供一種以多層為基礎的視訊解 着碼方法，其是使用去區塊過濾，此方法包括：（a)從輸入位 元串流中回復視訊訊框；（b)根據構成所回復的視訊訊框的 區塊是否已由圖框内BL模式編碼來選擇去區塊濾波器強 度；以及(c)根據所選擇的去區塊濾波器強度以關於在區塊 與鄰近區塊之間的邊界來執行去區塊過濾。 本發明的另一目的是提供一種以多層為基礎的視訊編 碼器，其是使用去區塊過濾，此視訊編碼器包括：（a)用以 編碼輸入視訊訊框的裝置；（b)用以解碼已編碼的輸入視訊 1309951 18994pif.doc 訊框的裝置；_峰據包括在解制輸人視訊訊框 區塊是否由圖框内BL模式編碼來決定去區塊濾波勺 的裝置；以及_以根據所選擇的去區塊濾波器強度^ 於在區塊與鄰近區狀_邊縣執行去區塊過遽的】 B 0

。。不银明的力一日的疋提供—裡以夕層马丞碾的視訊角” ，其疋使用去區塊過濾、，此視訊解碼器包括：⑷用^ 從輸入位元串流中回復視訊訊框的裝置；⑻用以根據 ΪΓΪ的視訊訊框的區塊是否已由圖框内BL模式編石馬ί ^擇去區塊纽H強度的裝置；以及_以根據所 區塊濾、波器強度以關於在區塊與鄰近區塊之間 : 執行去區塊過濾的裝置。 、"末 【實施方式】 為讓本發明之上述和其他目的、特徵、和優 =如下文特舉一較佳實施例，並配合所附圖 並非用以二發Γ已以較佳實施例揭露如下，然其 明之保當可作些許之更動與潤飾，因此本 圖。見後附之申請專利範圍所界定者為準。 訊編碼解;實施例緣示決定以多層為基礎㈣ 中，詞，，視強度的方法的流程圖。在下列㈣ 共用_。疋用作為視訊編碼器與視訊㈣“ 較於傳續古根據本發明實施例的此方法（如圖3所示）iE 傳、、先方法（如圖2所示）額外地包括S25、s=)和 \2 ipif.doc Ι309( 與S60 4取樣是在區塊（例如4x4壹去F诒、66、喜 "周圍來選取。目標取樣表示在旦Μ鬼）々邊 Ρ之間的邊界周圍彳則區塊q與其鄰近區塊 圖6所示，在老圍旦排列成圖4或圖5所示的取樣集合。如 的左區塊會對鬼產生順序下較高區塊與目前區塊q 塊。較二:？目ί會疋較馬區塊與目前區塊q的左區 德血目^ ’目W區塊㈣右區塊會在下—用於較低區 、刖品塊q的右區塊的處理期間來過濾。在本發明實 U ^ ，由於4x4DCT轉換是使用在H.264標準並且在移 動預測中可^區塊的最小尺寸是4x4畫素，所以在此以 时區塊為範例。然而，在具有不同特性的視訊編碼與解 碼器中（也就是使用8x8DCT轉換）此過濾技術也可應用 至8x8區塊與其他區塊尺寸的區塊邊界。

°月參照圖4,在區塊邊界是垂直的案例中，目標取樣 會出現在目前區塊q的左邊界周圍。目標取樣包括在垂直 邊界線的左側上的四個樣本p〇、pl、p2與p3 (其存在於 鄰近區塊P中）以及邊界線的右侧上的四個樣本qO、ql、 q2與q3 (其存在於目前區塊p中）。雖然四個樣本是根據 過慮來決定，但參考樣本的數目與過濾樣本的數目也可根 據所決定濾波器的強度而改變。 請參照圖5 ’在區塊邊界是水平的案例中，目標取樣 會出現在目前區塊q的較高邊界周圍。目標取樣包括在水 彳邊界線的較高半部（鄰近區塊p)中的四個樣本p〇、pl、 13 n〇mu p2與p3以及水平邊界線的較低半部中的四個樣本qO、ql、 q2與q3 (目前區塊q)。 根據目前H.264標準，去區塊濾波器是分別應用至亮 度訊號組件與彩度訊號組件，並且過濾是成功地以循序掃 瞄順序在連續一個訊框的巨集區塊的單元上執行。關於各 別巨集區塊中，在垂直方向（如圖5所示）的過遽會在執 行在水平方向（如圖4所示）的過遽之後執行，並且反之 亦然。 ® 請參照圖3，在S10之後，會判斷是否至少一個區塊 p與區塊q (屬於目標取樣）是圖框内編碼（S15 )。為何 要判斷為圖框内編碼區塊的原因是相較於圖框間編碼來說 在·—個訊框中使用類似的圖框内編碼會大大地增加區塊效 應。基此，當至少一個區塊P與q是圖框内編碼時相較無 圖框内編碼來說於濾波器強度會相對地增加。 在本發明實施例中，圖框内編碼包括根據用以從訊框 的鄰近區塊的某個部分預測目前區塊的方向空間性預測 ·( intra prediction )模式的編碼，以及根據用以從來自於目 前層的較低層回復的影像中預測目前巨集區塊的”圖框内 BL模式”的編碼。 倘若當S15的決策的結果是區塊p與/或區塊q被圖框 内編碼時，則之後會判斷區塊邊界是否與巨集區塊邊界重 疊。由於巨集區塊的塊影響的出現會高於4x4區塊，所以 濾波器強度會由於在S20中的決策而增加。 倘若當S20的決策結果是區塊邊界與巨集區塊邊界重 14 1309951 18994pif.doc 疊時’則會判斷區塊P與區塊q是否在圖框内BL模式 (S±25 )中。偏若區塊P與區塊q是在圖框内BL模式（S25 ) 中8才，則指示濾波器強度（以下稱為Bs)的值會設定為，A, (S30)，倘若不是時’則別會設定為，4，（S5〇)。在本 制白個實施例中，倘若甚至區塊p與區塊q的其中之 一不是在BL模式中時則Bs會設定為，4,。 一 θ值A’是小於倘若在S25中回答是，否，所選擇的值（也 就疋4’）。這是因為由於去區塊濾波器已應用至提供來使 用圖框内BL模式的基礎層的影像，所以無法應用至具有 相同於其他空間性預測模式強度的濾波器的影像。基此， 雖然A可以是〇、i、2或3，但由實驗結果顯示，a 的值是’1’。 倘右當S20的決策結果顯示區塊邊界沒有與巨集區塊 重疊時，則會判斷區塊q是否已由圖框内BL模式編碼 (S55)。倘若判斷區塊q已由圖框内BL模式編碼時，則 Bs έ D又疋為B (S60)，倘若不是時，則Bs會設定為，3, (S65)。基於相同原因，值’B，是小於倘若在中回答 是’否’所選擇的值（也就是，3，）。基此，雖然，B，可以是〇、 1或2，但由實驗結果顯示，B，最佳的值是，丨，。 倘若在S15中判斷區塊ρ或區塊q並未圖㈣編碼 時，則之後會判斷區塊p或區塊q是否已編碼（S7〇)。 一般來說，未圖框内編碼的區塊會透過時間性預測 prediction)來圖框間編碼。然而，根據H.264標準，倘若 當時間性侧的結果顯示在制影像與目前影像之間的差 15 1309951 18994pif.doc 異是低於特定門植值時，則會使用無編碼差異的技術，並 且由此需要S70的判斷。這是因為相較於被編碼的區塊的 案例區塊效應發生的可能性是較低的，並且最佳的是應用 相對低的濾波器強度在此案例中。 倘若當S70的判斷結果顯示區塊p或區塊q被編碼 時，則Bs會設定為’2’（S75)。然而，倘若區塊p與區塊 q的參考訊框是不相同或者參考訊框的數目在區塊已編碼 的狀態（其對應在S80中的’是’）中是不相同時，則Bs會 設定為’l’（S85)。這是因為區塊p與q具有不同的參考 訊框，其表示區塊效應已發生的可能性是相對地高。 倘若當在S80的判斷顯示區塊p與q的參考訊框是不 同或在其之間的參考訊框數目是相同（其對應在S80中的” 否”）時，則會判斷區塊P與區塊q的移動向量是否為不同 (S90)。此是因為由於在移動向量不會彼此重疊，所以 雖然兩區塊都具有相同參考訊框（其對應在S80中的” 否”），相較於移動向量彼此重疊的案例下區塊效應發生的 可能性是相對地高，並且由此最好是根據S90的判斷結果 應用不同的濾波器強度。 倘若在S90中區塊p與區塊q的移動向量是不同（其 對應在S90中的”是”）時，則Bs會設定為” 1”(S85)，反之 則Bs會設定為”0”（S95)。 圖7是根據本發明另一實施例繪示決定以多層為基礎 的視訊編碼解碼器的濾波器強度的方法的流程圖。雖然在 圖3的實施例中在S25中會判斷區塊p與區塊q是否同時 16 1309951 18994pif.doc 在圖框内BL模式中，但在圖7的實施例中除了判斷區塊p 與區塊q是否同時在圖框内BL模式中外也會判斷區塊p 或區塊q的任一個是否是在圖框内BL模式中以便分別應 用不同遽波器強度至此案例。 由於圖7實施例的其他部分是相似於圖3實施例，以 下將只針對圖7中不同的部分進行解釋。 倘若在S25中區塊p與區塊q都是在圖框内BL模式 (其對應在S25中的’是’）時，則Bs會如在圖3的實施例 般設定為，A，（S30)。然而，倘若只有區塊P與區塊q的 其中一個是在圖框内BL模式（其對應在S35中的’是’）時， 則Bs會設定為新值，C，（S45)。其間倘若區塊P或區塊q 不是在圖框内BL模式（其對應在S35中的’否’）時，則 Bs會依照圖3實施例中相同的方法設定為’4’（S50)。 由於’C’是參考為只有其中一個區塊是在圖框内BL模 式的案例，所以濾波器強度會設定為大於’A’但小於，4,的 值。倘若如圖3所示’A，是設定為，1’時’貝U’C’應是具有，2, 或’3’的值。 其間，圖8是繪示以多層為基礎的視訊編碼器的結構 的方塊圖，其中以多層為基礎的視訊編碼器包括根據用以 決定濾波器強度的方法的去區塊濾波器以多層為基礎的視 訊編碼器可實作成封閉迴路型態或開放迴路型態。在此， 封閉迴路型態視訊編碼器會參考原始訊框來執行預測，並 真開放迴路型態視訊編碼器會參考回復訊框來執行預 選擇單元280會選擇與輸出從基礎層編碼器1〇〇、^二 I3〇9?51fd〇c 取樣斋195中轉換的訊號、從 — 訊號與從空間性預測單元27〇中貝早=中轉換的 此選擇會藉由從圖框内BL 4轉=號的其中之-。 性預=中選擇來執行，其具“;編=式與空間 自==單Γ。會根據特定空間性預測職^ 自、力法。。215所提供的回復鄰 口藉有最高編碼效率的模式;:行個 ”性預測模式而預測的區 目前250會依據參考訊框在輪入視訊訊框的 目刚巨集&塊上執行移_計並 :移:__是區塊比對演算法 =二塊比對演算法會估計在參考訊框的特定 搜寸&域中具有取小錯誤的向量 可使用固定大小的移動區塊戈；：向里。私動估计 根據層級可變動大小區塊比可變動大小的移動區塊 block matching, HVSBM) ΤΓ"1 別會提供移動資料（例如移=來+=。移動估計單元 向量、移動區塊的模式、來=；^果所獲取的的移動 (她—coding)單元24〇说框數目等）至亂度編碼 移動補償單元260會使用 移動向量與參考練來執行 〇估計單元25Q計算的 订移動補償並且產生用於目前訊 18 i3〇9m- 框的時間性預測影像。 減法器205會藉由從目前輸入訊框訊號中減去由選擇 單元280所選擇的訊號來產生殘留訊框。 空間轉換單元220會執行由減法器2〇5所產生的殘留 訊框的空間轉換。離散餘弦轉換（discrete c〇sine transf〇rm, DCT)、小波轉換等都可用作為空間轉換模式。轉換係數 會被獲取作為空間轉換的結果。在使用DCT作為空間轉換 方法的案例中，會獲取DCT係數，在使用小波轉換方法的 琴案例中’會獲取小波係數。 罝化單元230會藉由量化由空間轉換單元22〇獲取的 轉換係數來產生量化係數。量化意旨在預先定義間隔中藉 由分割轉換值的離散值呈現表示為實際值的轉換係數。此 置化方法可以是數量量化、向量量化等等。數量量化方法 可藉由依據來自於量化表的對應值來分割轉換係數以及完 成組合的值至最近整數來執行。 曰在使用小波轉換作為空間轉換方法的案例中，浮現式 籲 置化方法(embedded quantization method)主要用作為量化 方法。此浮現式量化方法會使用空間冗餘優先編碼轉換係 數的，組件來執行有效量化，其中轉換係數是藉由改變門檻 值（為1/2)而超過門檻值。浮現式量化方法可以是浮現 式 7 樹】波/秀 4法（embedded zerotrees wavelet algorithm, EZW )在p白層树中集合分割（奶押池& hierarchicai trees’ SPIHT )或浮現式零區塊編碼（embedded zeroblock coding，EZBC ) 〇 19 I309^apifdoc 在上，度編碼之前的編碼料稱之為損耗性編碼 C lossy coding)。 亂度編碼料24G會執行#由移動估計單a 25〇提供 的量化係數與移動資料的無損耗性編石馬㈤如⑽㈣、 f且產生輸出位兀串流。算術編碼與可便長度編碼可 為撕損耗性編碼方法。 圖9是繪示根縣發㈣施例職生的位元串流％ =結構的不意圖。在H.264中，位元串流在切片單元中被 、，扁碼三位元率流50包括切片標頭60與切片資料70，並且 切片貢料70是由數個巨集區塊（赋_喊MB) 71至 成。巨集區塊資料（例如巨集區塊73)是由 攔位80、mb—pred攔位85與結構資料搁位％所組成-。 插^ ^ 8〇中’會記錄指示巨集區塊種類的 ^此攔位會指示目前巨集區塊是否為圖框内巨 木區塊、圖框間區塊或圖框内BL巨集區塊。 =b—__ 85中’會記錄根據聽區塊種類的 _内巨集區塊的案例中，會記錄所選 預測5 ’並且在圖框間巨集區塊的案例中， 曰。、木區塊部分的參考訊框數目與移動向量。 構資^了構資料攔位9Q中，會記錄編碼的殘留訊框，即結 逆增強層編碼器2更包括逆量化單元27i、 損耗! 生银換早兀272與加法器215，其些用來藉由逆編瑪 祕性編軌絲回復她_碼訊框。 20 Ι309?ι 逆量化單元271會逆地量化由量化單元23〇量化 數。此逆量化程序是量化程序的逆程序。逆DCT轉換單元 =2會執行纽結果的逆賴並且提供逆職結果至加法 裔 215。 加法器215會藉由將從逆空間轉換單元272提供的訊 號加入至由選擇單元280所選擇與儲存在訊框緩衝器（未 綠示）的預測訊號中來回復視訊訊框。由加法器215回復 ❸視訊訊框會提供至去區塊濾、波器綱，並且所儲存視訊 訊框的鄰=區塊的影像會提供至空間性預測單元270。 、。。濾波器強度決策單元291會根據圖3與圖7所示的渡 波器強度決定方法來決定關於在巨集區塊中巨集區塊邊界 與區塊（例如4x4區塊）邊界的濾波器強度。在亮度組件 的案例中，巨集區塊具有如圖1〇所示16χ16像素的尺寸， 並且在彩度組件的案例中，巨集區塊具有如圖U所示㈣ 像素的尺寸。在圖1〇與u中，，Bs，被標記在屬於巨集區 塊的區塊的邊界上。然而，，Bs，不會被標記在巨集區塊的 鲁右邊界線與較低邊界線上。倘若無巨集區塊存在於 目前巨 集區?的右邊或下邊時，則用不需要於對應部分的去區塊 濾波益，當巨集區塊存在於目前巨集區塊的右邊或下邊 夺則邊〃線的濾波為強度會在對應巨集區塊的去區塊過 濾程序期間被決定。 、、，於如圖10所示亮度組件巨集區塊的幾個邊界線的 ^波器強度決定的範例繪示於圖12中。請參照圖12，目 刖巨木區塊與左巨集區塊是圖框内巨集區塊並且較高 21 i3〇9m pif.doc 巨集區塊是圖框間巨集區塊（或圖框内巨集區塊）。 ^圖3 _實施綱基礎上，奸無塊 4 區塊邊界線㈣波器強度會設定為，β ，隹 &左圖框内巨集區塊之間的邊界線的 為Α，。同樣地，目前巨集 ？ ”又疋 設定為,4,。 此闕“邊界的濾波器強度會 在圖7範例實施例的基礎 邊界線的驗， ‘塊巾所有較高 的濾波器強度。 為C，而不像標記在圖12中 去區塊遽波器謂會根據濾波器強度 =的滤波器強度來實際地執行關於各別邊界::： 會心不四個像素。對於在邊界每個側上的 ⑹、P卜P0、q〇、q卜必）j側上的二個像素（即 而決定。 匕鬼的1化芩數QP與其他參數 然而’在去區塊過濾中， 中的實際邊緣與由4化DCT係要的在於影片 像的對比，實際邊緣應會在 了保持影 式⑴的條件下才會執行過見。基此，只有在滿足方程

Bs^|P0-q〇|<a,|pl.p〇|<p?|qi_q〇|<p……⑴ 在此a與β是根據量化泉

等所判斷的門檻值。 〃數、触·fsetA、FilterIffsetB i3〇mu 倘若Bs是’Γ、’2’或’3’並且應帛4_標籤滤波器來輸出 pi、Po、q〇與qi時，則過濾的輪出會是p〇 (其為過濾沖 的結果）與Q〇 (其為過濾q〇的結果）。在以關於亮度組 件下，倘若|ρ2-Ρ〇Ι<β時，則會應用4_標籤濾波器來輸出 p2、pi、ρ〇與並且過濾的輪出會是P1 (其為過濾ρ1 的結果）。在相同方法中，倘若|q2-q〇|<p時，則會應用4_ 標籤濾波器來輸出q1、q〗、q〇與p〇並且過濾的輪出會是 qi (其為過濾q〗的結果）。 鲁 其間’倘若Bs是，4,時，則會應用3_標籤濾波器、4- 標籤濾、波器或標籤濾、波器至輪出並且P0、P1與P2 (其 為過濾P〇、P1與P2的結果）和Q〇、Q1與Q2 (其為過淚 qO、ql與的結果）會依據門彳監值α與β和八個實際像 素來輸出。 關於去區塊過濾程序的更詳盡資訊揭露於，，Draft ITU-T Recommendation and Final Draft International

Standard of Joint Video Specification(ITU-R Rec. H.264| • ISO/IEC 14496-10 AVC), Pattaya, Thailand, 7-14 March, 2003”。 請參照圖8，由去區塊濾波器290過濾的組合訊框D1 提供至移動估計單元250來用於其他輸入訊框的圖框空間 性，測。同樣地，倘若在目前增強層之上存在增強層時， 則晏在較咼增強層上執行圖框内BL模式的運作時訊框D1 可提供作為參考訊框。 然而’去區塊濾波器的輸出D1只有在封閉迴路型態 23 I309m- 下才會輸人至移動估計單元咖中。在開 路型咖編碼器（例如以移動補償時間過滤（m〇t咖 lTrritempo^filtering, MCTF) 的^中’在時間性預測期間原始訊框會用作為 =單=需要再次將去區塊據波器的輸出輸入至移動 基礎層編碼器包括空間轉換單元120、量化單元 :亂度編碼單元140、移動估計單元150、移動 =6、圖框空間性預測單元m、選擇單元⑽、逆量化 =2、逆空間轉換單元172、下取樣器105 D5與去區塊濾波器19〇。 下取樣1§ 105會執行原始輪人訊 一取樣器195會執行去二 =輪出的上取樣並提供上取樣結果至增強層的選

Zq(J 0 、㈣，於基礎層編⑽無法使雜低層的資訊，所以 ^中早元⑽會選擇測誠與咖性預測訊號的 /、之—，並且去區塊濾波器19〇會以如傳統H264相同 的方法決定濾波器強度。 由於其他元件的運作是相同於增強層編碼器2〇〇的元 件，所以在此不再贅述。 ，13是根據本發明實施例繪示視訊解碼器誦的結 構的方塊圖。視_碼器3_包括增強層解·、_ 礎層解碼器500。 〃 .24 1309951 l8"4pif.doc 首先將解釋增強層解碼器600的結構。相對於亂度編 馬器來說，亂度解碼單元610會執行輸入增強層位元串流 的無損解碼，並且擷取巨集區塊型態資訊（即指示巨集區 塊種類的資訊）、空間性預測模式、移動資訊、結構資料 等等。 ，位元串流可依圖9的範例的結構。在此，巨集區塊的 種類可由mb_type攔位80而得知，詳細空間性預測模式與

移動資訊可由mb—pred攔位85而得知並且結構資料可藉 由讀取結構資料攔位90而得知。 亂度解碼單元610會提供結構資料至逆量化單元 620、，供空間性預測模式至空間性_單元64Q以及提供 移，貧訊至移動補償單元65〇。同樣地，亂度解碼單元61。 會提供目莊集區塊的型態資訊至濾波器強度決策單元 逆量化單元620會逆量化從亂度解碼單元61〇轉換的 結構資訊。在此時’㈣在視訊編碼器的侧量化表合 使用。 曰 之後，逆㈣轉換單元63G會在逆量化的 逆空間職。此逆空㈣換對應在視訊編 ^丁 轉換就會在視訊解碼財執行，且 ^ ^ 視訊編碼器中執行，則逆小波轉換就會在視訊解 盯。殘留訊框會被儲存作為逆空間轉換的_果，〜中執 空間性預測單元_會根據從亂度解解^ 610轉換 25 i3〇m- 的空間性預測模式從由加法器6〗5輸出的回復鄰 區塊中產生用於目前圖框内區塊的預測區塊以提供二】内 的預測區塊至選擇單元660。 ’、汁產生 其間，移動補償單元650會使用從亂度解碼單元 提供的移動資訊與從去區塊濾波器69〇提供的參考^框= 執行移動補償。移動補償結果所產生的預測訊框备提 選擇單元660。 θ ^ 此外，選擇單元660會在從上取樣器590中轉換的訊 號、從移動補償單元650轉換的訊號與從空間性預測單元 640轉換的訊號當中選擇一個並且轉換所選取的訊號至加 法器615。在此時，選擇單元66〇會分辨從亂度解碼單元 61〇提供的目前巨集區塊的型態資訊並且根據目前巨集區 塊的型態在三個種類的訊號中選擇對應的訊號。 加法器615會將從逆空間轉換單元630輸出的訊號加 入至由選擇單元660所選擇的訊號中以回復增強層的視訊 訊框。 • 濾波器強度決策單元691會根據圖3與圖7所示的濾 波β強度決定方法來決定關於在一個巨集區塊中巨集區塊 邊界與區塊邊界的濾波器強度。在此案例中，為了執行過 濾’會知道巨集區塊的型態（如圖12所示），並且關於巨 集區塊型態的資訊會從亂度解碼單元610中提供。 由上述去區塊濾波器690過濾的組合訊框D3會提供 至移動補償單元650以產生用於其他訊框的時間性預測訊 框。同樣地，倘若在目前增強層之上存在增強層時，則當 26 供从=3強層上執行圖框内BL模式的運作時訊框03可提 、作為參考訊框。 而，基礎層解碼器5〇〇的結構類似於增強層解碼器。然 選擇J基磓層解碼器500無法使用較低層的資訊，所以 中之:元、5 6 〇會選擇空間性預測訊號與時間性預測訊號其 管味沾i亚且去區塊濾波器590會以相同於傳統H.264演 =來決定遽波器強度。同樣地，上取樣器595會 上取樣濾波器別過濾的結果的上取樣並且提供此 取樣讯唬至增強層的選擇單元660。. 件作是相同於增強層解碼器_的元 的視與兩:層(基礎層與增強層) 發明，本發_可實；;在然而，此❹於解釋本 碼器中。 Λ乍在一有二個或多個層的視訊編碼解 到目前為止，圖8與圖13的夂丄 gate airay，FPGA )或特接座 m C filed programmable specific integrated cir_ ASIcT 積體電路（application 被建構來駐於可尋址儲存媒體或執各別組成元件可 更“成:== 圖Ma至16b繪示本發明每 驗結果的範例。在此，習之與習之技術比較的實 孜衡是使用，’IS0/IEC 21000 i3〇mu

Scalable Video Coding, N6716, Palma, Oct. 2004”的 SVM 3.0模式。 圖14a是繪示根據以群連續晝面（crew sequence )的 位元率變化的亮度組件PSNR的圖形，並且圖14b是繪示 根據以港灣連續畫面（harbour sequence)的位元率變化的 冗度組件PSNR的圖形。在群連續晝面（crew sequence ) 中，影片品質改善約〇·1至〇.2db。其間，在港灣連續晝面 (harbour sequence)中’影片品質改善並不顯著。然而， •在所有案例中並沒有發生影片品質惡化的現象。基此，根 據本發明實施例的方法在快速移動連續晝面上具有大的影 像’但在低移動連續晝面或具有強時間關連的連續晝面上 具有相對低的影響。可以相信的是此是因為本發明實施例 改善在使用圖框内BL巨集區塊的案例的效能，但在低移 動連續晝面或具有強時間關連的連續晝面上圖框内BL巨 集區塊數目較少。 圖15a是在相關於CIF@每秒1〇24千位元的足球連續 § 晝面（football sequence)本發明超過習之技術的績效改善 的圖形，並圖15b是在相關於CIF@每秒3000千位元的足 球連續晝面（football sequence)本發明超過習之技術的績 效改善的圖形。如圖14a與14b所示，平均PSNR改善不 會很大，但可以確認的是在一些訊框中pSNR值改善 〇_7仙。同樣地，在群連續晝面（crew sequence)中，幾個 訊框的PSNR值改善了 〇.i7db。根據本發明實施例，在具 有h夬速移動的訊框中影片品質有很大的改善，而同時對於 28 術來說，在具有快逮移動的訊框中影片品f有嚴重 圖⑹是緣示由f之技術回奴球連續晝面（f00tball sequence)的-個訊框的示意圖，以及圖i6 本發明意圖。在ί 刪千位㈣足球連續晝面（f。。躺㈣職㈨

^與脱所示，根據本發明實施例的方法降低了過j 滑影響’其是在去區塊程序期間所產生，並且相 =:法’本發明實施例的方法可良好地保持視訊:： 、根，本發明實施例，在多層視訊編碼器/解碼器中 塊濾波器強度可正韻根據某個欲制去區塊濾波^ 塊疋否為圖框内BL模式來設定。 °° 此外，藉由設定正確的去區塊濾波器強度（如上、才 可改善回復視訊的影片品質。 处

雖然本發明已以較佳實施例揭露如上，然其並非用以 限定本發明，任何熟習此技藝者，在不脫離本發明之精 和範圍内，當可作些許之更動與潤飾，因此本發明之 範圍當視後附之申請專利範圍所界定者為準。 ’' 【圖式簡單說明】 圖1是繪示使用多層結構的可調適性視訊編 的範例示意圖。 鮮馬益 圖2是績示用以根據傳統H.264標準決定去區塊 器強度的方法的流程圖。 一 29 I309mifd〇e )圖3是根據本發明實施例繪示決定以多層為基礎的視 11孔編碼解瑪器的濾波器強度的方法的流程圖。 圖4是％示區塊的垂直邊界與目標取樣的示意圖。 圖5是繪示區塊的水平邊界與目標取樣的示意圖。 圖6疋％示具有鄰近區塊pa與pb的目前區塊q的位置 關係的示意圖。 圖7是根據本發明另一實施例繪示決定以多層為基礎 的視。K編碼解石馬器的濾波器強度的方法的流程圖。 圖8疋根據本發明實施例緣示開放迴路型態視訊編碼 器的結構的方塊圖。 ， 構的 圖9是繪示根據本發明實施例所產生的位元串流的結 思、圖。 圖 圖10是繪示巨集區塊與關於亮度組件的區塊的示清 圖 圖11是繪示巨集區塊與關於彩度組件的區塊的示| 待的f 12是繪示具有以其邊界設定濾波ϋ強度的巨集匡 塊的乾例的示意圖。 大#圖13疋根據本發明實施例繪示視訊解碼器的結構的 乃塊圖。 ，Ha是緣示根據以群連續晝面叫此⑽）的 疋率變化的亮度組件PSNR的圖形。 圖:4b以會示根據以港灣連續畫面（harb〇ur卿_ ) 、70率變化的亮度組件PSNR的圖形。 30 i3〇mdoc 圖15a是在相關於CIF@每秒1024千位元的足球連續 晝面（football sequence)本發明超過習之技術的績效改呈 的圖形。 圖15b是在相關於CIF@每秒3000千位元的足球連續 畫面（football sequence)本發明超過習之技術的績效改善 的圖形。 圖16a是續·示由習之技術回復足球連續畫面（f〇〇tball sequence)的一個訊框的示意圖。 圖16b是繪示根據本發明回復圖i6a的訊框的示意圖。 【主要元件符號說明】 11、12、13 :區域 50 :位元串流 60 :切片標頭 70 :切片資料 71、72、73、74 :巨集區塊（macroblock, MB ) 80 : mb—type 攔位 85 : mb—pred 攔位 90 :結構資料攔位 100 :基礎層編碼器 105 :下取樣器 120 :空間轉換單元 130 :量化單元 140 :亂度編碼單元 150 :移動估計單元 31 1309¾¾ 160 :移動補償單元 170 :圖框空間性預測單元 171 :逆量化單元 172 :逆空間轉換單元 180 :選擇單元

190 .去區塊滤波器 195 :上取樣器 200 :增強層編碼器 220 :空間轉換單元 230 :量化單元 240 :亂度編碼單元 250 :移動估計單元 260 :移動補償單元 270 :圖框空間性預測單元 271 :逆量化單元

272 :逆空間轉換單元 280 :選擇單元 290 .去區塊遽波器 291 :濾波器強度決策單元 500 :基礎層解碼器 510 :亂度解碼單元 515 :加法器 520 :逆量化單元 530 :逆空間轉換單元 32 削9铷- 540 :空間性預測單元 550 :移動補償單元 560 :選擇單元 590 :去區塊濾波器 595 :上取樣器 600 :增強層解碼器 610 :亂度解碼單元 615 :加法器 • 620 :逆量化單元 630 :逆空間轉換單元 640 :空間性預測單元 650 :移動補償單元 660 :選擇單元 690 ·去區塊遽波器 691 :濾波器強度決策單元 33

Claims (1)

1. I3〇mu 十、申請專利範圍： h—種用以決定去區塊濾波器強度的方法，其是用於 包括多數個區塊的一訊框，該方法包括： (a) 适擇欲在其上執行一去區塊過濾的一目前區塊與 一鄰近區塊； (b) 判斷該目前區塊與該鄰近區塊是否已藉由一圖框 内基礎層（BL)模式來編碼；以及

   (c)根據該判斷的一結果來決定該去區塊濾波器強度。 2.種用以執行訊框的去區塊過濾的方法，豆中嗜訊 框包括多數個區塊，該方法包括： 八 ° Ϊ)從該些區塊中選擇欲在其上執行區塊過濾的 一目岫區塊與一鄰近區塊； (=)判斷該目前區塊與該鄰近區塊是否已藉由一圖框 内基礎層（BL)模式來編碼； 度H據該觸的—結果來決定該去區塊濾波器強 口 ^ lH£ _US _ 度純行關於在該 m區塊之_—邊界㈣去區塊過遽。 塊過读專利範圍第2項所述之用以執行訊框的去區 塊過濾的方法，其中(c)包括： 兮圖目/區塊與轉近區塊的至少—個不是由 前區塊鱗二ίΓ模式來編碼時，則會關於在該目 區塊之間的—邊界輪一麵波器強 34 if.doc (c2)倘若該目前區塊與該鄰近區塊都由該圖框内Bl 模式編碼時，則會決定一濾波器強度，其低於相關於該邊 界所決定的該濾波器強度。 、4.如申請專利範圍第3項所述之用以執行訊框的去區 塊過遽的方法，其中（c】）更包括相較於在該目前區塊盥該 鄰近區塊的其中之一不是由該圖框内BM莫式編碼的二狀 況下’在該目前區塊與該鄰近區塊都是由該圖框内乩模 式編碼的一狀況下會選擇一較低濾波器強度。 二I請專利範圍第2項所述之用以執行訊框的去區 =濾、的方法，其中該些區塊的每個區塊具有4x4像素的 堍、專利範圍第2項所述之用以執行訊框的去區 ==其中，決定嶋波器強度是根據-£塊邊界疋否與—巨集區塊重疊而分為不同 強度，並且倘若該區塊邊界與該巨集區 舌思/ 會以關於該區塊邊界選擇一較高濾、波器強^重受時，則 7·如申請專利範圍第6項所述之用一 > 塊過遽的方法，其中倘若該邊界 去區 在⑹所選擇的該濾波器強度會是，重豐時’則 該濾波器強度會是，丨，。 亚且在(c2)所選擇的 8.如申請專利範圍第6項所述之 塊過濾的方法，其中倘若該邊界不===去區 則在⑼所選擇的該缝器強度 j界重豐時， 的該濾波器強度會是,〗，。 & J亚且在(c2)所選擇 35 '4pif.doc 1309m 9. 如申請專利範圍第2項所述之用以執行訊框的去區 塊過濾的方法，其中該邊界是在該目前區塊與該鄰近區塊 之間的一垂直邊界或一水平邊界的其中之一。 10. —種以多層為基礎的視訊編碼方法，其是使用一去 區塊過濾、，該方法包括： (a) 編碼一輸入視訊訊框， (b) 解碼已編碼的該輸入視訊訊框， (c) 根據包括在解碼的該輸入視訊訊框中的一區塊是 • 否由一圖框内基礎層（BL )模式編碼來決定一去區塊遽波 器強度；以及 (d) 根據所選擇的該去區塊濾波器強度來執行關於在 該區塊與一鄰近區塊之間的一邊界的該去區塊過濾。 11. 如申請專利範圍第10項所述之以多層為基礎的視 訊編碼方法，其中（C)包括： (cl)在組成所解碼的該視訊訊框的多數個區塊之中選 擇欲在其上執行該去區塊過濾的一目前區塊與一鄰近區 φ 塊； (c2)判斷該目前區塊與該鄰近區塊是否已藉由一圖框 内B L板式來編碼，以及 (c3)根據該判斷的結果來決定該去區塊濾波器強度。 12. 如申請專利範圍第11項所述之以多層為基礎的視 訊編碼方法，其中孰行該去區塊過濾的結果是提供用以執 行相關於一後續輸入訊框的一時間性預測。 13. 如申請專利範圍第11項所述之以多層為基礎的視 36 1309^1 if.doc 訊編碼方法’其中執行該去區塊過濾的該結果是提供用以 根據该圖框内BL模式在一目前層的一較高層上執行預測。 14. 如申請專利範圍第u項所述之以多層為基礎的視 訊編碼方法，其中_(c.3)包括： ;(c31)倘若該目前區塊與該㈣區塊的至少一個不是 模式的—模式來編碼時，則會以關於在該 強:t塊之間的—邊界來決定-特定濾波器 界所決定的該慮波器強度’其低於相關於該邊 15. 如申請專利範圍第 訊編碼方法，其中倘若,之以多層為基礎的視 該濾波器強度會是，丨，。度㈢疋4,並且在(c32)所選擇的 16. 如申請專利範圍 訊編碼方法，I中倘# 員所述之以多層為基礎的視 在_所選擇的該濾與；巨集邊界重疊時，則 的該濾波器強度會是，丨，7金度㈡疋，3,並且在(C32)所選擇 區塊過濾、，該礎的視訊解财法，其是使用一去 ⑻從—輪入位元串流中 ⑻根據構成所回復；:視缝框； 一圖框内基礎層（BU ；"視汛汛框的一區塊是否已由 式編碼來選擇-去區塊濾波器強 37 i3〇muc 度；以及 (C)根據所選擇的該去區塊濾波器強度以來執行關於 在該區塊與一鄰近區塊之間的一邊界的該去區塊過濾。 18. 如申請專利範圍第17項所述之以多層為基礎的視 訊解碼方法，其中(b)包括： (b 1)在組成所解碼的該視訊訊框的多數個區塊之中選 擇欲在其上執行該去區塊過濾的一目前區塊與一鄰近區 塊， • (b2)判斷該目前區塊與該鄰近區塊是否已藉由一圖框 内BL模式來編碼；以及 (b3)根據該判斷的一結果來決定該去區塊濾波器強 度。 19. 如申請專利範圍第18項所述之以多層為基礎的視 訊解碼方法，其中執行該去區塊過濾的一結果是提供用以 執行相關於一後續輸入訊框的移動補償。 20. 如申請專利範圍第18項所述之以多層為基礎的視 肇 訊解碼方法，其中執行該去區塊過滤的該結果是提供用以 回復由該圖框内BL模式編碼的一目前層的一較高層的一 巨集區塊。 21. 如申請專利範圍第18項所述之以多層為基礎的視 訊解碼方法，其中（b3)包括： (b31)倘若該目前區塊與該鄰近區塊的至少一個不是 由該圖框内BL模式的一模式來編碼時，則會以關於在該 目前區塊與該鄰近區塊之間的一邊界來決定一特定濾波器 38 1309¾¾ pif.doc 強度；以及 “、（b32)倘若該目前區塊與該鄰近區塊都由該圖框内bL t式'、扁碼％ ’則會決定-濾波器強度，其低於相關於該邊 界所決定的該濾波器強度。 22.如申請專利範圍第21項所述之以多層為基礎的視 碼2法，其中倘若該邊界與一巨集邊界重疊時，則在 兮、#所選擇的該濾波器強度會是，4,並且在(b32)所選擇的 μ慮波器強度會是，ρ。 訊解Ϊίΐ申請專利範圍第21項所述之以多層為基礎的視 在所倘若該邊界不與一巨集邊界重叠時’則 的#、 ^亥濾波器強度會是，3,並且在(b32)所選擇 曰亥濾波器強度會是，Γ。 24 塊過、、唐.—Γ以多層為基礎的視訊編碼器，其是使用-去區 ’慮，该視訊編碼器包括： 用以編碼一輸入視訊訊框的裝置； =以解碼已編碼的該輸人視訊訊框的裝置； 叫據紐在解碼_輪人視職 占已由—圖框内基礎層α £塊疋 波器強度的裝置；^ 桓式編碼來決定—去區塊濾 =根據所選擇的該去區錢波 ，與-鄰近區塊之間的-邊界的該去 塊過ί.:二 =視訊解碼器，其是使用-去區 39 I3〇9^4lifdoc 用以從一輸入位元串流中回復一視訊訊框的裝置； 用以根據構成所回復的該視訊訊框的一區塊是否已由 一圖框内BL模式編碼來選擇一去區塊濾波器強度的裝 置；以及 用以根據所選擇的該去區塊濾波器強度來執行關於在 該區塊與一鄰近區塊之間的一邊界的該去區塊過爐、的裝 置。 26. —種電腦可讀記錄媒體，其包括可由一電腦執行的 一程式碼以執行一視訊編碼方法，該視訊編碼方法包括： (a) 編碼一輸入視訊訊框， (b) 解碼已編碼的該輸入視訊訊框， (c) 根據包括在解碼的該輸入視訊訊框中的一區塊是 否已由一圖框内基礎層（BL)模式編碼來決定一去區塊濾 波器強度；以及 (d) 根據所選擇的該去區塊濾波器強度來執行關於在 該區塊與一鄰近區塊之間的一邊界的該去區塊過濾。 27. 如申請專利範圍第26項所述之電腦可讀記錄媒 體，其中其中⑷包括： (c 1)在組成所解碼的該視訊訊框的多數個區塊之中選 擇欲在其上執行該去區塊過濾的一目前區塊與一鄰近區 塊， (c2)判斷該目前區塊與該鄰近區塊是否已藉由一圖框 内BL模式來編碼，以及 (c3)根據該判斷的一結果來決定該去區塊濾波器強 40 I3〇9951ifd〇c 度。 28. —種電腦可讀記錄媒體，其包括可由一電腦執行的 一程式碼以執行一視訊解碼方法，該視訊解碼方法包括： (a) 從一輸入位元串流中回復一視訊訊框； (b) 根據構成所回復的該視訊訊框的一區塊是否已由 一圖框内基礎層（BL)模式編碼來選擇一去區塊濾波器強 度；以及 (c) 根據所選擇的談去區塊濾波器強度來執行關於在 該區塊與一鄰近區塊之間的一邊界的該去區塊過濾。 29. 如申請專利範圍第28項所述之電腦可讀記錄媒 體，其中⑼包括： (M)在組成所解碼的該視訊訊框的多數個區塊之中選 擇欲在其上執行該去區塊過濾、的一目前區塊與一鄰近區 塊； (b2)判斷該目前區塊與該鄰近區塊是否已藉由一圖框 内BL模式來編碼；以及 (b3)根據該判斷的一結果來決定該去區塊濾波器強 度。 41