TWI335183B - - Google Patents

Description

1335183 九、發明說明： 【發明所屬之技術領域】 ‘ 本發明係有關於一種可動態調整畫質之畫面内編 碼快速演算法，尤指一種對内部編碼提出可動態調整 畫質演算法，可減少預測模式之次數並提高編碼效能。 【先前技術】 H.264/AVC視訊編碼系統包含對亮度與彩度等 二種内部編碼運算，其中亮度又分為兩種不同之巨集 區塊（Macroblock )型態，一種係稱為I4MB之Intra 4x4 區塊，另一種則稱為Π6ΜΒ之Intra 16x16區塊，而彩 度又稱為Chrominance區塊。重要之内部編碼部份包 括了晝面内預測產生（Intra predictor generation )、 DCT/Q/IQ/IDCT、前後自適應可變長度編碼 ( Context-Adaptive Variable Length Coding, CAVLC )、内部邏輯文件（Internal Logical File, ILF ) 及模式決定（Mode decision )。該畫面内預測產生與模 式決定大約佔了 H.264/AVC内部編碼70%之計算量。 這係由於晝面内預測（Intra prediction )必須產生出 13種不同之亮度預測值、及4種不同之彩度預測值， 又該亮度預測值係包含9種Intra4x4及4種 Intra 16x 16。在產生預測值之後與原先影像相減，經過 二維哈達瑪（Hadamard )轉換，累加轉換後之係數， 則決定出最佳之預測模式。雖然可減少預測模式與模 5 < £ 式決定之計算’進而大幅改善整體系，統之效能，然而， 相對此舉也會影響到影像之畫質； 目前文獻上有幾種快速模式決定演算法，一種係 ==來提早結束模式決定，該方法中係先選擇 ==有可能發生之模式做預測，假設這幾種模式 j 本Λ!"隸糾，g卩代㈣些模式非最 幻頁繼續5十异剩下之模式，反之，則提早終止。 然而，這種演算法需要決定界限值， 能有很大之影響。另外一稀方々目^玄界限值對效 m.... 種方式則係以邊緣偵測，利 邊方向來預測最有可能出現之模式然而這 種利用邊緣來推狀最_式並麵係正確。 =合上述兩種方式都會增加相當多之位元和畫質 者侍體實作需要大量之成本。故，一般習用 者係…、法付合使用者於實際使用時之所需。 【發明内容】 對内部編碼提出可動 可減少預測模式之次 、高畫質及低功率， a本發明之主要目的係在於 態調整畫質演算法。 本發明之另一目的係在於， 數2提高編碼效能，具有高效能 非常適合低成本硬體實作。 為達以上之目的， 之畫面内編碼快速演算 本發明係一種可動態調整晝質 法，對H.264/AVC内部編碼， 1335183 提供Intra 4x4區塊、Intra 16x16區塊及彩度（Chroma) 區塊等三種區塊型態之編碼模式，可針對各區塊型態 % 提出 CC-SA ( Condition Correlation Search Algorithm )'PCC-SA( Probability Condition Correlation Search Algorithm)、NDCB-SA (Non DC Block Search Algorithm)及 QMB-SA( Quarter MB Search Algorithm) - 等快速之演算法，使晝面内編碼具有三種可調整畫質 之層級0、層級1及層級2，可在不同環境及需求下， _ 使用不同之計算複雜度編碼，在低耗電需求時，選擇 低計算複雜度及低工作頻率之層級1及層級2，使其 與該層級0相比分別可節省38%及50%之計算量；當 高晝質需求時’可選擇該層級〇之完全無畫質損失之 正常編碼方式’進而達到可動態調整畫質晝面内編碼 之需求。 【實施方式】 • 請參閱『第1圖及第2圖』所示，係分別為本發 明之畫面内編碼流程示意圖及本發明之可動態調整畫 面内編碼示意圖。如圖所示：本發明係一種可動態調 整晝質之晝面内編碼快速演算法，其至少包括下列步 驟： (A )開始靜態編碼1 1時，係在一 H.264/AVC 内部編碼中’利用一模式決定（M〇de Decision)以進 行可動態調整晝面内編碼2丄。在内部編碼標準流程 < S： 7 1335183 中，先對Intra 4x4區塊與Intra 16x 16區塊作亮度模式 決定1 2，再與彩度（Chroma)區塊作彩度模式決定 1 3，將上述三種型態分別做完模式預測，以決定最 佳之預測模式，其中，該H264/AVC内部編碼中，晝 面内預測產生（Intra predictor generation )與模式決定 佔70%之計算量，係最複雜之部份，所以對模式決定 最佳化提供三種編碼層級2 1 1，並對各編碼層級2 1 1所對應之晝面内模式決定演算法2 1 2分為： (a)層級0 :該層級0之計算複雜度為最高， 在該Intra 4x4區塊、Intra 16x16區塊與彩度區塊使用 之演算法則皆與國際標準之參考軟體Full-SA正常編 碼方式相同，故不會造成晝質降低； (b )層級1 :該層級1中之Intra 4x4區塊係 使用一 CC-SA ( Context Condition Search Algorithm) 演算法來決定最佳模式，而該Intral6xl6區塊與彩度 區塊則係分別使用一 NDCB-SA ( Non DC Block Search Algorithm)演算法與一 QMB-SA (Quarter MB Search Algorithm )演算法來決定最佳模式，其中，該CC-SA 演算法與QMB-SA演算法分別可降低45%與75%之計 算量；該CC-SA演算法係由一狀態關聯搜尋法 (Condition-Correlation Search Method)、一半域搜尋 法（Half-Full Search Method)及一前後關聯搜尋法 (Context-Correlation Search Method)等三種模式決

1335183 定方法所組成； (c )層級2 :該層級2所花費之計算量為最 少，在該 Intra 4x4 區塊係使用一 PCC-SA ( Probability Context Condition Search Algorithm )演算法以更進一 步降低模式決定之計算量，其中，該PCC-SA係由狀 態關聯搜尋法、一概率相關搜尋法 (Probability-Correlation Search Method )及一非前後 關聯搜尋法（Non Context-Correlation Search Method ) 等三種模式決定方法所組成；以及 (B )將該亮度與彩度選出之最佳預測模式，進行 一材質編碼（Texture Coding) 1 4。 藉此’為H.264/AVC提供一個可動態調整晝質晝 面内編碼（Intra coding )演算法，依該模式決定及材 質編碼讓使用者可根據需求與應用選擇編碼之模式， 由每種模式對於不同區塊型態搭配不同之快速演算法 以降低計算量’進而提高效能並維持一定之晝質。 請參閱『第3圖〜第6圖』所示，係分別為本發 明之CC-SA狀態關聯搜尋法示意圖、本發明之半域搜 尋法示意圖、本發明之半域搜尋法預測示意圖、本發 明之前後關聯搜尋法示意圖、本發明之前後關聯搜尋 法預測示思圖及本發明之CC-S A搜尋表示意圖。如 圖所示：在Intra 4x4區塊中有9種不同之預測模式， 由上方與左方之區塊存在情況，可選擇性只預測某些 9 1335183 . 模式，以減少模式之預測計算量。， ' 根據上方與左方區塊存在與否以建立模式決定法 ' 之狀態關聯搜尋法3 1。在該狀態關聯搜尋法3丄中 係分成4種不同之情況以進行模式預測，其中，垂直 (Vertical)為模式 〇、水平（H〇rizontai)為模式 1、 DC為模式2、左斜下（Diagonal d〇wn left)為模式3、 右斜下（Diagonal down-right)為模式4、垂直向左 • ( VerticaMeft)為模式 7、及水平向上（H〇rizontal-up ) 為模式8，又該模式〇及模式丨係分別從模式7及模 式6得來之預測模式。當左方區塊存在，而上方區塊 不存在時，則只選擇模式丨、模式2及模式8做最佳 預測模式之計算；當左方與上方之區塊皆存在時，則 使用兩種模式決定法，分別為半域搜尋法3 2及前後 關聯搜尋法3 4。在Intra 4x4區塊之預測模式中，除 了 DC模式之外，其它預測模式都擁有自己之方向性， 瞻目此可以將DC模式與其它預測模式獨立出來。在自 然之影像中，鄰邊區塊都擁有極高之相似度因此可 以使用此種區塊空間相關性，只選出幾種較可能之預 測模式，以簡化運算量。不管鄰近區塊所屬之預測模 式為何，DC模式永遠都會有可能成為最佳之預測模 式。因此’如果DC模式發生在鄰邊區塊，則所有種 類之預測模式都有可能會被選作最佳之預測模式 而必須要計算所有之模式。由於DC模式沒有明顯之 1335183

方向性’因此不適合用空間中之相關性（Correlation) 來預測。為了簡化運算之複雜度·，選擇交錯方向之預 測模式3 3來代替全域搜尋（Full search )之預測模 式。影像中區塊越小’則相鄰區塊越相似，參考鄰邊 £塊之預測結果也越準，因此在Intra 4x4區塊模式預 測中’除了原先上方與左方區塊之預測模式之外，亦 選擇跟上方及左方區塊方向相似之預測模式來做為模 式預測之根據。如該前後關聯搜尋法3 4及預測模式 3 5，其上方與左方之預測模式分別為模式6與模式 7，根據之前所提之方法，將只選擇模式3、模式7、 模式〇、模式4、模式6、模式1及模式2做為預測之 依據。根據先前所提出找尋預測模式之狀態關聯搜尋 法3 1、半域搜尋法3 2及前後關聯搜尋法3 4，可 建立出 CC-SA 搜尋表（search table)。 請參閱『第7®〜第χ }圖』所示，係分別為本 發明之PCC-SA狀態關聯搜尋法示意圖、本發明之概 率相關搜-法不意圖、本發明之概率相關搜尋法第一 預測示意圖、本發明之概率相關搜尋法第二預測示音 圖、本發明之非錢關難尋㈣意圖、本發明之: 前後關聯搜尋法制示意圖林發明之pcc_s 如圖所示：使用該咖演算法處理一個 -塊而要4.9個預測模式，爲了進一步 區塊模式蚊所需之時間，以提高效能，進而提= 丄功183 ^CC SA廣算法。該PCC_SA演算法係由該cc sA演 算法改善而來，根據預測模式發生之機率高低，選擇 機率較南之模式來預測，以化簡每個區塊所需計算之 模式個數，因此該PCC_SA演算法計算—個區塊只需 要3.84個預測模式。 戎PCC-SA >'寅算法之狀態關聯搜尋法5 1與該 CC-SA演算法之狀態關聯搜尋法3 i相同，苴不同之 f =在於概率相關搜尋法5 2之改良。在該cc-从演 :广概率相關搜尋法中，當鄰邊區塊預測模式皆為 日’，因為無法知道方向性，所以需對每個方向做模 ^ ，而在該PCC-SA之概率相關搜尋法5 2中， 為了卽省計算之模式，因此只對模式0、卜2、3及4 圖3及Γ方式與!半域搜尋法31相同 DC時，。姓# + 4B圖）。當只有一邊鄰邊模式為 5 4。模\ Γ模式G小2與其鄰邊區塊之預測模式 個主二=直方向與模式1之水平方向，係兩 因此把這cr現機率最高之兩個模式， 式2不且計算之預測模式中，而模 當作需要計算之模鄰^塊資訊得知，因此也 邊區塊之預測模式Ί / 統計中可發現，鄰 最佳模式之^區塊#式決定中再被選擇成 模式也此：性’鄰邊區塊之預測 而要汁异之模式。當鄰邊區塊預測模式皆 1335183 不為DC時，則只選擇2個鄰邊區塊模式和DC做模式 決定，如該非前後關聯搜尋法5 5及預測模式5 6， 當鄰邊區塊模式分別為模式6和模式7時，只針對此 兩個模式與DC做預測。根據先前所提出找尋預測模 式之狀態關聯搜尋法5 1、概率相關搜尋法5 2及非 前後關聯搜尋法5 5，可建立出PCC-SA搜尋表。

請參閱『第1 2圖及第1 3圖』所示，係分別為 本發明之亮度16x16巨集區塊示意圖及本發明之4x4 區塊轉換剩餘值示意圖。如圖所示：計算Intra 16x16 區塊預測模式之成本方式，係將一個巨集區塊7 1分 成16個4x4區塊。藉由NDCB-SA演算法先計算每個 4x4區塊含有之16個剩餘值（Residues )，在經過哈 達瑪（Hadamard )轉換後取得其絕對轉換差值和（Sum of Absolute Transformed Differences, SATD)，再累加 16個區塊之絕對轉換差值和以成為此Intra 16x 16區

塊之預測成本，即可決定最佳之預測模式。其 NDCB-SA演算法之計算公式如下： SATD AxAblk =Utr, Ί16ΜΒ =tsATD 4xAblk=0 4xAblk 其中，該為轉換剩餘值（Transformed residues) 7 2 ·，該SAJD娜為trO累加到trl5之值；該為 此Intral 6x 16區塊累加16個區塊之MTLLtf*。 13 1335183 請參閱『第1 4圖及第1 5圖i所示，係分別為 本發明之色彩元素U8x8巨集區塊示意圖及本發明之 色糸元素V8x8巨集區塊不意圖。如圖所示：彩度區 塊中分成兩種不同之色彩元素，分別為第一色彩元素 8 1與第一色彩元素8 2。每個色彩元素中各有4個 4x4區塊及4種不同之預測模式。由於在該彩度區塊 中’區塊間之空間關聯性並不強烈，且區塊間變化幅 度亦不大’又每個區塊預測值都相當接近，而人眼對 彩度變化並不敏感。因此，在qMB_sa演算法中，各 色彩元素只計算最左上方區塊做模式決定，將該第一 色彩元素8 1與第二色彩元素8 2之成本累加即代表 整個彩度區塊（Chroma macroblock)之成本（Cost) 8 3 ’如此即可減少75%之計算量。其qMB SA演算 法之0城益羚如初灯第一 + C0ST第二 =SATD AxAbikO + SATD “麵 其中，該以為最左上方區塊之絕對轉換差值 和’ 3亥 CAr_為2種不同色彩元素之成本累加。 如是，藉提供3種不同計算複雜度層級，在lntra 4x4區塊模式決定中，由空間相關性推導出一個區塊 需要計算4.9種模式之CC-SA演算法；並另外根據預 測模式出現機率’更進一步化簡該CC_SA演算法，得 到使個區塊Ί要計算3.84種模式之PCC-SA演算 法’可降低21%之計算量。而除了該化的4χ4區塊之 1335183 外，本發明也為言亥intral6xl6區塊與彩度區塊型態提 出適合之演算法，分別為該NDCB-SA演算法與 QMB-SA演算法。轉態輕晝f晝面⑽碼演算法 可用於不同應用，使用層級〇編碼高畫質影像不會 造成影像品f遺失’在可攜式產品上’可使用層級！ 層級2以_省功率消耗’而模式1與模式2分別可 郎省38%與5G%之計算量，且只造成些微畫質下降。 匕本發月之廣算法可大量降低所需之計算複雜度， 且可以用查表之方式實作在硬體架構上，簡單且不需 太多額外硬體負擔。對於可調式之硬體需求提供-個 極佳之解決方案。 综上所述’本發明係、一種可動態晝質之畫面 内編碼快速演算法，可有效改善習用之種種缺點，藉 由可用於不同應用之動態調整畫質晝面内編碼演算 法’可大量降低所需之計算複雜度並提高編碼效能， 具有高效能、高畫質及低功率，適合低成本硬體實作， 進而使本發明之產生能更進步、更實用、更符合使用 者之所須’確已符合發明專利申請之要件，爰依法提 出專利申請。 .准以上所述者，僅為本發明之較佳實施例而已， 當不能以此限定本發明實施之範圍；&，凡依本發明 申請專利範圍及發明說明書内容所作之簡單的等效變 化與修飾’皆應仍屬本發明專利涵蓋之範圍内。

15 1335183 【圖式簡單說明】 第1圖，係本發明之晝面内編碼流程示意圖。 第2圖’係本發明之可動態調整晝面内編竭示意圖。 第3圖’係本發明之CC-SA狀態關聯搜尋法示意圖。 第4 A圖’係本發明之半域搜尋法示意圖。 第4 B圖，係本發明之半域搜尋法預測示意圖。 第5 A圖，係本發明之前後關聯搜尋法示意圖。 鲁 第5 B圖，係本發明之前後關聯搜尋法預測示意圖。 第6圖’係本發明之CC_SA搜尋表示意圖。 第7圖，係本發明之pCC_SA狀態關聯搜尋法示意圖。 第8圖，係本發明之概率相關搜尋法示意圖。 第9A圖，係本發明之概率相關搜尋法第一預測示意 圖。 • 第9B圖，係本發明之概率相關搜尋法第二預測示意 圖。 第1 0A圖，係本發明之非前後關聯搜尋法示意圖。 第1 0B圖，係本發明之非前後關聯搜尋法預測示意 圖。 第1 1圖，係本發明之PCC_SA搜尋表示意圖。 第1 2圖，係本發明之亮度16χ16巨集區塊示意圖。 第1 3圖，係本發明之4χ4區塊轉換剩餘值示意圖。 16 (.£ 1335183 第1 4圖，係本發明之色彩元素U8x8巨集區塊示意 圖。 第1 5圖’係本發明之色彩元素V8x8巨集區塊示意 圖。 【主要元件符號說明】 步驟1 1〜1 4 可動態調整畫面内編碼2 1 編碼層級2 1 1 畫面内模式決定演算法2 1 2 狀態關聯搜尋法3 1 半域搜尋法3 2 預測模式3 3 前後關聯搜尋法3 4 預測模式3 5 狀態關聯搜尋法5 1 概率相關搜尋法5 2 預測模式5 3 預測模式5 4 非前後關聯搜尋法5 5 預測模式5 6 巨集區塊7 1 17 1335183 轉換剩餘值7 2 第一色彩元素81 第二色彩元素8 2

Claims (1)

1335183 十、申請專利範圍： 1 · 一種可動態調整晝質之晝面内編碼快速演算法，係 至少包含下列步驟： (A )在一 H.264/AVC内部編碼中，利用—模 式決定（Mode Decision )以進行可動態調整晝面内 編碼。在内部編碼標準流程中對Intra 4x4區塊、 Intra 16x16區塊與彩度（Chroma)區塊等三種型態 分別做模式預測，以決定最佳之預測模式；以及 (B )當選出最佳預測模式時，會對此模式做 一材質編碼（Texture Coding )。 2 ·依申請專利範圍第1項所述之可動態調整畫質之晝 面内編碼快速演算法，其中，該可動態調整晝面内 編碼係在Intra 4x4區塊之模式決定中，加入一 CC_SA (Context Condition Search Algorithm)演算 法及一 PCC-SA ( Probability Context Condition Search Algorithm)演算法。 3 ·依申請專利範圍第1項所述之可動態調整晝質之晝 面内編碼快速演算法，其中，該可動態調整晝面内 編碼係在Intra 16x 16區塊與彩度區塊之模式決定 中，加入一 NDCB-SA ( Non DC Block Search Algorithm )演算法及一 QMB-SA( Quarter MB Search Algorithm)演算法。 19 依申請專職圍第1項所述之可動態調整晝質之晝 面内編碼快速演算法，其巾，_式決定係分為三 種編碼層級，並進_步為層級0、層級i及層級2。 依申明專利範圍第4項所述之可動態調整晝質之畫 面内、’扁媽快速演算法，其巾，各編碼層級所對應之 演算法，係可分為： 〇 ( A)該層級 〇 之 Intra 4x4 區塊、Intral6xl6 區塊與彩度區塊所對應之演算法為參考軟體 Full-SA ; (B) 該層級！之 Intra 4χ4 區塊、Intral6xl6 區塊與彩度區塊所對應之演算法分別為CC-SA、 NDCB-SA 與 QMB-SA ;以及 (C) 該層級2之Intral6xl6區塊與彩度區塊 所對應之/臾算法與该層級1相同，而Intra 4X4區塊 則採用PCC-SA。 依申請專利範圍第5項所述之可動態調整畫質之晝 面内編碼快速演算法，其中，該NDCB-SA演算法 係以一個區塊有16個剩餘值（Residues )，經過哈 達瑪（Hadamard)轉換後再取絕對值累加成為此區 塊之成本’待累加16個區塊之成本即代表整個 Intral6xl6區塊之預測成本。 7 ·依申請專利範圍第5項所述之可動態調整晝質之畫 面内編碼快速演算法，其中，該QMB-S A演算法對 彩度區塊做模式預測，係將該彩度區塊分成第一及 第二兩種色彩元素，每種元素有4種不同之預測模 式，而每種元素都有4個4x4區塊，針對最左上方 區塊做模式決定，將2種不同色彩元素之成本累加 即代表整個彩度區塊。 8 ·依申請專利範圍第5項所述之可動態調整晝質之畫 面内編碼快速演算法，其中，該CC-SA演算法係由 一狀態關聯搜尋法（Condition-Correlation Search Method )、一半域搜尋法（Half-Full Search Method ) 及一前後關聯搜尋法（Context-Correlation Search Method)等三種模式決定方法所組成。 9 ·依申請專利範圍第5項所述之可動態調整晝質之晝 面内編碼快速演算法，其中，該PCC-SA係由狀態 關聯搜尋法、一概率相關搜尋法 (Probability-Correlation Search Method)及一非前 後關聯搜尋法（Non Context-Correlation Search Method )等三種模式決定方法所組成。 1 0 ·依申請專利範圍第8項所述之可動態調整畫質之 晝面内編碼快速演算法，其中，該狀態關聯搜尋法 係分為下列四種不同情況： (A )當鄰邊不存在時，只計算解碼（Decoding， 1335183 DC )模式； (B )虽只有上方區塊存在時只計算模式〇、 2、3 及 7 ; (c)虽只有左方區塊存在時只計算模式1、 2及8 ;以及 一（=)當上方與左方區塊皆存在時，則使用該 半域搜尋法與前後關聯搜尋法以預測最佳模式。 11依申印專利範圍第8項所述之可動態調整畫質之 晝面内編碼快速演算法，其中，該半域搜尋法係當 DC模式發生在鄰近之區塊，只計算一半intr“:4 區塊之預測模式，其找尋模式包括了 〇、1、2、3、 4模式。 1 2依申叫專利範圍帛8項所述之可動態調整晝質之 晝面内編碼快速演算法，其f，該前後關聯搜尋法 係決定哪些模式需要被計算，除了上方與左方區塊 兩種模式與DC模式之外，亦選擇與上方及左方區 塊空間方向性相似之預測模式。 13·依申請專利範圍第8項所述之可動態調整畫質之 畫面内編碼快速演算法，其中，該狀態關聯搜尋法、 半域搜尋法及前後關聯搜尋法與鄰邊存在與否，係 可以建立CC-SA搜尋表（Search Table )。 L 4 ·依申請專利範圍第9項所述之可動態調整畫質之 22 1335183 畫面内編碼快速演算法，其中， ^ pCC-SAt 關聯撞4 酵相關搜尋法與非前後 關聯搜哥法之兩種模式預測方式。 5之Γ申％專利㈣第1 4項所述之可動態調整書質 二=編碼快速演算法，其中，該概率相關搜尋 ，係根據DC模式在鄰邊區塊之狀態來決定要計算 夕少個預測模式。 6 ·依申請專利範圍第1 5項所述之可動態調整晝質 之晝面内編碼快速演算法，其中，該鄰邊區塊之預 測模式皆為DC時，則計算〇、卜2、3及4模式。 依申叫專利範圍苐1 5項所述之可動態調整晝質 之晝面内編碼快速演算法，其中，該鄰邊區塊只有 一方係為DC時，則計算〇、！、2及另一鄰邊區塊 之模式。 8依申叫專利範圍第1 4項所述之可動態調整畫質 之畫面内編碼快速演算法’其中，該PCC-SA當鄰 邊區塊都不包括DC模式時，係使用該非前後關聯 搜尋法，只計算鄰邊區塊之預測模式與DC。 9 .依申請專利範圍第9項所述之可動態調整晝質之 晝面内編碼快速演算法，其中，該狀態關聯搜尋法、 概率相關搜尋法及非前後關聯搜尋法與鄰邊存在與 否’係可以建立PCC-SA搜尋表。

23