TW200812395A - Image processing device, method, and program - Google Patents

Description

200812395 (1) 九、發明說明 【發明所屬之技術領域】 本發明，係爲有關於畫像處理裝置及方法、以及程式 ，而係爲有關於：能夠使畫質提昇之畫像處理裝置及方法 ‘ ，以及程式。 【先前技術】 作爲藉由 MPEG-2 ( Moving Picture Experts Group phase 2 )方式而編碼之畫像的畫質劣化之其中一個原因 ，係爲圖塊雜訊。因此，在藉由 MPEG-4 (Moving Picture Coding Experts Group phase4)方式、H.264 / A VC ( Advanced Video Coding)方式而將畫像作編碼之裝 置中，係被設置有進行將區塊雜訊除去之解塊處理的解塊 濾波器（例如，參考專利文獻1 )。藉由此解塊處理，特 別是就算在低位兀速率的畫像中，亦能夠抑制畫質的劣化 〔專利文獻1〕日本特許第3 4 8 9 7 3 5號公報 【發明內容】 ‘ 〔發明所欲解決之課題〕 然而，解塊處理，由於係對區塊之邊界施加低通濾波 處理，因此，雖然能除去區塊雜序，但是另一方面，卻會 有會失去畫像之膜樣等的詳細資訊（以下，亦稱爲質地（ t e X t u r e ))的問題。 200812395 (2) 本發明’係爲有鑑於此種狀況而進行者，而係爲 適當的施加解塊處理，來使畫質提昇者。 〔用以解決課題之手段〕 ^ 本發明之其中一側面的畫像處理裝置，係被設置 • 解塊濾波器（deblocking filter )，其係對於：在將 畫像編碼時，被使用於前述第1畫像之移動預測的在 φ 第1畫像之前而被編碼之第2畫像作解碼後的解碼畫 施加解塊處理；和特徵量算出手段，其係計算出表示 第2畫像之複雜度的特徵量，其特徵爲：前述解塊濾 ，係根據前述特徵量，而對是否對前述解碼畫像適用 處理、又或是對適用於前述解碼畫像之解塊處理的強 控制。 在前述特徵量算出手段中，係可將前述第2畫像 碼難易度作爲前述特徵量而計算出。 0 在前述特徵量算出手段中，當前述第2畫像係爲 圖框間預測而被編碼的畫像時，則可使用在前述第2 被編碼之前，利用圖框間預測而被—編碼之第3畫像的 難易度，來將前述第2畫像之編碼難易度正規化後的 ' 作爲前述特徵量。 在前述特徵量算出手段中，係可將被編碼前之即 2畫像分割爲複數之圖塊’並根據前述每一圖塊中之 値的分散，而計算出前述特徵量° 在前述特徵量算出手段中’係可將被編碼則之即 藉由 有： 第1 前述 像， 前述 波器 解塊 度作 之編 使用 畫像 編碼 値， 述第 畫素 述第 -6 - 200812395 (3) 2畫像分割爲複數之圖塊，並根據藉由對前述每一圖塊施 加正交變換所得到之變換係數，而計算出前述特徵量。 在前述特徵量算出手段中，係可根據身爲藉由圖框間 預測所預測出之相對於前述第2畫像的預測畫像與編碼前 * 之前述第2畫像間的差分之預測誤差，而計算出前述特徵 , 量。 在前述畫像處理裝置中，係可藉由 H. 2 64 / A VC ( φ Advanced Video Coding)方式而將畫像作編碼，前述解塊 濾、波器，係可藉由調整 disable_deblocking_filter_idc、 slice_alpha_cO_offset_div2、又或是 slice_beta_offset_div2 之値，而對是否對前述解碼畫像適用解塊處理、又或是對 適用於前述解碼畫像之解塊處理的強度作控制。 在前述畫像處理裝置中，係可藉由 MPEG-4 ( Moving Picture Coding Experts Group phase4)、H.264 /AVC ( Advanced Video Coding)、又或是 VC-1 ( Video Codec 1 φ )方式，而將畫像作編碼。 本發明之其中一側面的畫像處理方法又或是程式，係 包含有：計算出表示在將第1畫像編碼時，被使用於前述 第1畫像之移動預測的在前述第1畫像之前而被編碼之第 ' 2畫像的複雜度之特徵量的步驟；和根據前述特徵量，而 對是否對前述解碼畫像適用解塊處理、又或是對適用於前 述解碼畫像之解塊處理的強度作控制之步驟。 在本發明之其中一側面中，係計算出表示在將第1畫 像編碼時，被使用於前述第1畫像之移動預測的在前述第 200812395 (4) 1晝像之前而被編碼之第2畫像的複雜度之特徵量，並根 據前述特徵量，而對是否對前述解碼畫像適用解塊處理、 又或是對適用於前述解碼畫像之解塊處理的強度作控制。 〔發明之效果〕 _ 若是藉由本發明之其中一側面，則可以因應於畫像之 特徵，而適當的施加解塊處理。又，若是藉由本發明之其 φ 中一側面，則可以提昇畫質。 【實施方式】 以下，參考圖面，針對本發明之實施形態作說明。 圖1，係爲展示適用有本發明之畫像處理裝置的其中 一種實施形態之區塊圖。 畫像處理裝置101，係將被輸入之畫像藉由H. 2 64/ A VC ( Advanced Video Coding )而編碼，並將編碼後之畫 φ 像，輸出至例如後段之未圖示的記錄裝置或是傳送路徑的 裝置。 畫像處理裝置1Θ1’係以包含有 A/D ( Analog/ Digital )變換部1 1 1、和畫面重排緩衝部1 12、和特徵量 * 算出部1 1 3、和加算器1 1 4、和正交變換部1 1 5、和量子 化部1 1 6、和可逆編碼部1 1 7、和儲存緩衝部1 1 8、和速 率控制部1 1 9、和預測誤差加算部1 20、和逆量子化部 1 2 1、和逆正交變換部1 22、和加算器1 23、和解塊濾波器 1 24、和圖框記憶體1 25、和畫面內預測部1 26、以及移動 200812395 (5) 預測、補償部127的方式而被構成。又，特徵量 1 1 3，係以包含有活動算出部1 4 1以及正交變換部 方式而被構成。 A/ D變換部U 1，係將從外部所輸入之類比 A / D變換爲數位畫像，並將變換後之數位畫像（ ，亦稱爲原畫像），供給至畫面重排緩衝器1 1 2中。 畫面重排緩衝器1 1 2，係將從A/ D變換部1 1 φ 給之原畫像，根據GOP ( Group Of Pictures )構造 ，並依序供給至特徵量算出部1 1 3。 特徵量算出部1 1 3，係計算出代表原畫像之複 特徵量。又，特徵量算出部1 1 3，係將結束特徵量 的原畫像，供給至加算器1 1 4、畫面內預測部1 2 6 移動預測·補償部127。 在構成特徵量算出部的要素之中，活動算出部 係參考圖4，而如後述一般，將原畫像分割爲複數 φ ，並根據每一區塊中之畫素値的分散，而計算出原 特徵量。活動算出部1 4 1，係將代表所算出之特徵 訊供給至解塊濾波器1 24中。 又，正交變換部1 4 2，係參考圖5，而如後述 * 將原畫像分割爲複數之區塊，並根據藉由對每一區 加正交變換所得到的變換係數，而計算出原畫像之 。正交變換部142，係將代表所算出之特徵量的資 至解塊濾波器124中。 加算器114，係在每一巨區塊（macr0 block) 算出部 142的 的畫像 以下， 1所供 而重排 雜度的 之算出 、以及 141， 之區塊 畫像之 量的資 一般， 塊中施 特徵量 訊供給 中，將 200812395 (6) 相對於原畫像，使用畫面內預測（圖框內預測）後所預測 的畫面內預測畫像，以及使用畫面間預側（圖框間預測、 移動補償預測）所預測之畫面間預測畫像中的任一方之預 測畫像，從畫面內預測部126又或是移動預測·補償部 1 2 7而作取得。加算器1 1 4，係在每一巨區塊中，求取出 • 原畫像與畫面內預測畫像又或是畫面間預測畫像之間的差 分，並將由藉由求取差分所得之預測誤差所成的差分畫像 φ ，供給至正交變換部1 1 5以及預測誤差加算部1 20。 正交變換部1 1 5，係對於差分畫像，對每一特定大小 之區塊施加離散餘弦變換又或是卡忽南-拉維（Karhunen-Lo eve )變換等之正交變換，並將藉由此所得到之變換係 數，供給至量子化部1 1 6。 量子化部1 1 6，係使用藉由速率控制部1 1 9所控制之 量子化尺度，來將從正交變換部1 1 5所供給之變換係數量 子化，並將量子化後之係數供給至可逆編碼部11 7以及逆 φ 量子化部121。 可逆編碼部1 1 7，係從畫面內預測部1 2 6取得有關於 畫面內預測之資訊，並從移動預測·補償部1 27取得有關 於畫面間預測之資訊。可逆編碼轉換部1 1 7，係將被量子 * 化後之變換係數、有關於畫面內預測之資訊、有關於畫面 間預測之資訊等，以特定之順序來作配置，並對於所配置 之資料，施力[]CAVLC ( Context-Adaptive Variable Length Coding )等之可變長度編碼，又或是施加 CABAC ( Context-Adaptive Binary Arithmetic Coding)等之算數編 -10- 200812395 (7) 碼等的可逆編碼處理。可逆編碼部1 1 7，係將編碼後之資 料供給至儲存緩衝部1 1 8並使其被儲存。 儲存緩衝部1 1 8，係將從可逆編碼部1 1 7所被供給之 資料，作爲藉由H. 264 / A VC方式而被編碼之畫像，而輸 ' 出至例如後段之未圖示的記錄裝置或是傳送路徑的裝置。 • 速率控制部1 1 9，係根據被記憶於儲存緩衝部1 1 8之 畫像的編碼量，而控制身爲被分配於所編碼之畫像的每一 φ 單位時間之編碼量的位元速率。舉例而言，速率控制部 119，係使用在 MPEG-2 TestModel5(TM5)中所規定之 速率控制方式，而藉由對身爲當量子化部116進行量子化 時對變換係數作除算之値的量子化尺度的値作控制，來控 制位元速率。又，速率控制部1 1 9，係參考圖3，而如後 述一般，將編碼難易度作爲代表原畫像之複雜度的特徵量 而計算出，並將所計算出之編碼難易度，供給至解塊濾波 器 124 〇 φ 預測誤差加算部1 2 0，係參考圖6，而如後述一般的 ，根據構成從加算器114所供給之差分畫像的預測誤差， 而算出代表畫像之複雜度的特徵量。預測誤差加算部120 ，係將展示所算出之特徵量的資訊供給至解塊濾波器1 24 中〇 逆量子化部1 2 1，係將從量子化部1 1 6所供給之變換 係數逆量子化，並供給至逆正交變換部1 2 2。 逆正交變換部1 22，係對從逆量子化部1 2 1所供給之 變換係數，施加逆離散餘弦變換、逆卡忽南-拉維變換等 -11 - 200812395 (8) 的逆正交變換。藉由此，差分畫像係被解碼。逆正 部122，係將解碼後之差分畫像供給至加算器123。 加算器1 23，係將被使用於差分畫像之產生的 預測畫像又或是畫面間預測畫像，從畫面內預測部 或是移動預測•補償部127而取得之，並將差分畫 > 取得之畫面內預測畫像又或是畫面間預測畫像作加 由此，原畫像係被解碼。加算器123，係將所解碼 φ (以下，亦稱爲解碼畫像）供給至解塊濾波器1 24 解塊濾波器1 24，係對於解碼畫像，施加用以 塊歪斜的解塊處理。另外，解塊濾波器1 24，係參 乃至圖6，而如後述一般，根據從速率控制部119 誤差加算部1 20、活動算出部141、又或是正交 1 42所取得的特徵量，而對是否有對解碼畫像適用 理，又或是對適用於解碼畫像之解塊處理的強度作 解塊濾波器1 24，係將施加了解塊處理後之解碼畫 φ 至圖框記憶體125。又，解塊濾波器124，係作爲 畫面內預測之畫像，而將未施加有解塊處理之解碼 接供給至圖框記憶體125。 圖框記憶體1 25，係將從解塊濾波器1 24所供 ~ 碼畫像，作爲在進行畫面內預測又或是畫面間預測 考之畫像（以下，亦稱爲參考畫像）而作記憶。 畫面內預測部1 26，係在每一巨區塊中，使用 於圖框記憶體1 25中之同圖框內的鄰接於該巨區塊 碼的畫素，而進行產生對於原畫像之預測畫像的畫 交變換 畫面內 126又 像與所 算。藉 之畫像 中〇 除去區 考圖4 、預測 變換部 解塊處 控制。 像供給 使用於 畫像直 給之解 時所參 被記憶 之已編 面內預 -12- 200812395 (9) 測。另外，如上述一般，在畫面內預測中，係使用在被施 加解塊處理之前的解碼畫像之畫素。 移動預測·補償部1 2 7，係在每一巨區塊中，使用被 記憶於圖框記憶體1 25中之其他圖框的參考畫像’而檢測 出相對於參考畫像之原畫像的移動向量，並使用所檢測出 之移動向量，而對參考畫像施加移動補償，藉由此，而進 行產生對於原畫像之畫面內預測畫像的畫面內預測。 φ 另外，在各巨區塊中所適用之預測模式，例如，係藉 由未圖示之模式判定部，並使用Low Complexity Mode ( 高速模式）來作判定。當所適用之預測模式係爲畫面內預 測的預測模式時，如圖1所示，圖框記憶體1 25與畫面內 預測部1 26係被連接，而畫面內連接部1 26與加算器1 1 4 以及加算器123係被連接。畫面內預測部126，係根據所 選擇之預測模式，而產生畫面內預測畫像，並將所產生之 畫面內預測畫像供給至加算器1 1 4以及加算器1 23。又， φ 畫面內預測部1 26，係作爲相關於進行了畫面內預測之巨 區塊的畫面內預測之資訊，而將所適用之預測模式等的資 訊供給至可逆編碼部11 7。 又，當所適用之預測模式係爲畫面間預測的預測模式 時，在圖1雖並未展示，但是圖框記憶體1 25與移動預測 •補償部1 27係被連接，而移動預測•補償部1 27與加算 器114以及加算器123係被連接。移動預測，補償部127 ，係根據所選擇之預測模式，而產生畫面間預測畫像，並 將所產生之畫面間預測畫像供給至加算器1 1 4以及加算器 -13- 200812395 (10) 123。又，畫面內預測部126 ’係作爲相關於進行了畫面 間預測之巨區塊的畫面間預測之資訊，而將所適用之預測 模式、所檢測出之移動向量、所參考之圖像（picture )的 號碼等的資訊，供給至可逆編碼部i丨7。 接下來’參考圖2之流程圖，說明藉由圖1之畫像處 ' 理裝置1 〇 1所實行之編碼處理的流程圖。另外，此處理， 例如係在開始外部之對畫像處理裝置1 〇 1的畫像之輸入 Φ 時而被開始。 在步驟S1中，畫像處理裝置101，係開始畫像之編 碼。亦即是，參考圖1，藉由使畫像處理裝置1〇1之各部 開始動作，而開始所輸入之畫像的Η . 2 6 4 / A V C方式所致 之編碼。又’爹考圖3乃至圖6，亦開始後述之解塊控制 處理。 在步驟S 2中，畫像處理裝置1 〇 1，係判定是否所有 的畫像均係被編碼。在步驟S 2中，一直到所有從外部所 • 輸入之畫像均被判定爲已被編碼爲止，晝像之編碼係被進 行’而當所有從外部所輸入之畫像均被判定爲已被編碼時 _ ，則結束編碼處理。 接下來’爹考圖3之流程圖，並參考圖2，針對在上 述之編碼處理中藉由畫像處理裝置1 〇 1所實行之解塊控制 .處理的第1實施形態作說明。 在步驟S21中，速率控制部119，係計算出complexity 。具體而言’速率控制部1 1 9，係將已編碼後之圖像（ p i c t u r e )從儲存緩衝器1 1 8作取得。速率控制部丨1 9，係 -14 - 200812395 (11) 藉由以下之（1 )式，而計算出代表該畫像之複雜度的特 徵量之編碼難易度Complexity。

Complexity=PictureGeneratedBisxPictureAverageQuant . · · ( 1) 於此，PictureGeneratedBis係代表該畫像之產生編碼 量。又，PictureAverageQuant，係代表被適用於該畫像之 量子化尺度的平均値，並係藉由以下之（2 )式而被計算 出。

〔數式1〕

PictureAverageQuant = MBNum MBNumΣ Quantk (2) 於此，MBNum係代表該畫像之巨區塊7684數量。又 ，Quantk係代表被適用於畫像內之第k個的巨區塊之量 子化尺度，並係藉由以下之（3)式而被計算出。 〔數式2〕 m

Quantk = 2 ^ …⑺ 於此，QPk係代表畫像內之第k個的巨區塊之量子化 參數。 亦即是，藉由式（1)所求得之Complexity，係爲將 該畫像之產生編碼量與量子化尺度之平均値相乘所得到的 値。故而，Complexity，在晝像之移動越少時則變爲越小 ，當畫像之移動越大時則變爲越大。 在步驟S22中，解塊濾波器124，係對關於解塊處理 之參數作調整。具體而言，速率控制部1 1 9，係將展示所 算出之C 〇 m p 1 e X i t y的資訊供給至解塊漉波器1 2 4中。解 塊濾波器 124，係因應於施加解塊處理之畫像的 -15- 200812395 (12)

Complexity 之値，而調整 disable —deblocking_filter —idc、 slice —alpha_cO_offset —div2、以及 slice_beta_offset —div2 之値。 disable_deblocking_filter —idc，係爲用以設定有無適 '用解塊處理的參數，而可在每一切片（slice)分別作設定 - 。disable_deblocking_filter_idc，當適用有解塊處理時， 係被設定爲〇，而當不適用解塊處理時，係被設定爲1， φ 當在切片邊界不適用解塊處理時，係被設定爲2。 slice —alpha_C〇 —offset_div2，係爲用以對在將切片分 割爲4x4畫素之區塊時，被適用於區塊邊界之解塊處理之 強度作調整的參數，而可在每一切片分別作設定。 slice_alpha_c0_offset_div2 之設定範圍，係在一6 乃至 + 6 之間，若是値越小，則所適用之解塊處理的強度係變弱， 若是値越大，則所適用之解塊處理的強度係變強。 sliCe_beta_offSet_div2，係爲用以對在將切片分割爲 φ 4x4畫素之區塊時，被適用於區塊內部的畫素之解塊處理 的強度作調整的參數，而可在每一切片分別作設定。 slice_beta_offset_div2之設定範圍，係在—6乃至+ 6之 間，若是値越小，則所適用之解塊處理的強度係變弱，若 ' 是値越大，則所適用之解塊處理的強度係變強。 在步驟S22中，例如，若是Complexity爲較特定之臨 界値 T h c 更小的情況時，貝fj d i s a b 1 e _ d e b 1 〇 c k i n g — f i 11 e r _ i d c 係 被設定爲1。亦即是，對於幾乎未產生有區塊雜訊而移動 係爲非常少的畫像，則係成爲不被適用有解塊處理。 -16- 200812395 (13) 又，例如，當Complexity係成爲臨界値The以 ，因應於 Complexity 之値，slice —alpha_cO_offset_ 以及 slice_beta_offset_div2之値係被調整。例如， Complexity 的値變得越小，貝[J slice__aipha_cO_offset_ 以及slice_beta_offset_div2係被設定爲接近於—6之 若是 Complexity 的値變得越大，則 slice_alpha_cO_offset 以及slice_beta_offset_div2係被設定爲接近於+ 6之 亦即是，對於難以產生區塊雜訊之移動較少的畫像， 適用之解塊處理的強度係被減弱，對於容易產生區塊 之移動較大的畫像，則所適用之解塊處理的強度係被 〇 在步驟S23中，解塊濾波器124，係進行解塊處 並結束解塊控制處理。被施加有解塊處理之解碼畫像 做爲參考畫像而被儲存於圖框記憶體1 25中。另外 d i s a b 1 e _ d e b 1 〇 c k i n g _ f i 11 e r __ i d c 被設定爲 1 時’貝[[並不 解塊處理。 如此這般，因應於c〇mPlexity’對於解碼畫像’ 處理係適當的被施加’而產生質地被原狀保持而區塊 係被除去之參考畫像。故而，能夠使用參考畫像來提 作畫面間預測編碼的晝像之畫質。 另外，亦可將臨界値Thc之値’根據畫像之種類 即是根據其係爲1圖像（Picture ) 、p圖像以及B圖 之何者，而作改變。 又，亦可將身爲使用圖框間預測而被編碼之畫像

上時 di v2 若是 di v2 値， _div2 値。 則所 雜訊 增強 理， ，係 ，當 施加 解塊 雜訊 昇被 ，亦 像中 的P -17- 200812395 (14) 圖像以及B圖像之編碼難易度，使用身爲在該畫像被編碼 之前，利用圖框內預測而被編碼之I圖像的Complexity 來進行正規化，並根據正規化後之値（Norm_Complexity )來控制解塊處理。將P圖像之Complexity正規化後的 Norm — ComplexityPpic，以及將 B 圖像之 Complexity 正規 化後的Norm__ComplexityBpic，係使用以下之式（4 )乃 至式（8)而計算出。

ComplexityIpic=PictureGeneratedBisIpicxPictureAverageQuantIpic · · · (4)

ComplexityPpic=PictureGeneratedBisPpicxPictureAverageQuantPpic …(5)

ComplexityBpic=PictureGeneratedBisBpicxPictureAverageQuantBpic …(6)

Norm—ComplexityPpic=ComplexityPpic+ComplexityIpic …(7)

Norm_ComplexityBpic=ComplexityBpic+ComplexityIpic …(8) 另夕f ， ComplexityIpic、 PictureGeneratedBisIpic、 PictureAverageQuantlpic，係分別展示I圖像之編碼難易 度、產生編碼量、量子化尺度之平均値，C o m p 1 e x i t y P p i c 、PictureGeneratedBisPpic 、 PictureAverageQuantPpic ， 係分別展示p圖像之編碼難易度、產生編碼量、量子化尺 度之平均値，而 ComplexityBpic、PictureGeneratedBisBpic 、PictureAverageQuantIBic，係分別展示B圖像之編碼難 易度、產生編碼量、量子化尺度之平均値。 例如，當施加解塊處理之畫像係爲P圖像又或是B 圖像的情況時，若是N〇rm—c〇mPlexity係爲較特定之臨界 値 Then 更小，貝(I disable_deblocking_filter —idc 係被設定 爲1。亦即是，對於幾乎未產生有區塊雜訊而移動係爲非 -18- 200812395 (15) 常少的畫像，則係成爲不被適用有解塊處理。 又’例如，當Norm — Complexity係成爲臨界値Then 以上的情況時，則因應於 N 〇 r m — C 〇 m p 1 e X i t y之値，對 slice —alpha — c0_offset — div2 以及 slice_beta_offset一div2 之 値作調整。例如，若是Norm — Complexity的値變得越小， 貝IJ slice —alpha —c0_offset — div2 以及 slice_beta — offset_div2 係被設定爲接近於—6之値，若是Norm_Complexity的値變得越 _ 大，貝!J slice_alpha_c0_offset_div2 以及 slice_beta_offset—div2 係被設定爲接近於+ 6之値。亦即是，對於難以產生區塊 雜訊之移動較少的畫像，則所適用之解塊處理的強度係被 減弱，對於容易產生區塊雜訊之移動較大的畫像，則所適 用之解塊處理的強度係被增強。

Norm_ComplexityPpic 以及 Norm ComplexityBpic， 係代表當將I圖像之移動設爲1時的P圖像以及B圖像之 移動，由於能夠將各圖像之移動的複雜度更爲正確的抽出 φ ，因此係施加更爲適當的解塊處理，而能夠將被作畫面間 預測編碼之畫像的畫質更加提昇。 另外，亦可將臨界値Then之値，根據畫像之種類， 亦即是根據其係爲P圖像以及B圖像中之何者，而作改 ' 變 〇 又，在正規化中所使用之I圖像，係以使用在該畫像 之前的最爲接近的時間所被編碼之I圖像，又或是，以使 用在該畫像之編碼中所被參考之I圖像爲理想。 又，針對I圖像，係如上述一般，根據Complexity， -19- 200812395 (16) 來控制解塊處理。 接下來，參考圖4之流程圖，並參考圖2，針對在上 述之編碼處理中藉由畫像處理裝置1 0 1所實行之解塊控制 處理的第2實施形態作說明。 在步驟S41中，活動算出部141，係計算出Activity 。具體而言，活動算出部141，係藉由以下之（9)式， 而計算出代表從現在起將被編碼之畫像之複雜度的特徵量 之 Activity 〇 〔數式3〕 於此，actk，係代表該畫像之第k個巨區塊的活動（ activity)，並係藉由以下之（10)式而被計算出。 〔數式4〕 actk = I + min (varsblk) ,··β〇) sblk=l，8 ' ’

於此，var sblk，係爲當將1個的巨區塊，分割爲以 8 X 8個的畫素所構成之4個的副區塊時，代表此被分割之 副區塊的畫素値之分散的値，並可藉由以下之（11)式以 及（12 )式來求取出。 〔數式 5 ) var sblk : τ 64 j =wZ(Pk-p) …⑽ P： t 64 =去ΣΚ 〇4 A=i -(12) 於此，Pk係代表副區塊內之第k個的畫素之畫素値 -20- 200812395 (17) 又，（10)式之 minsblk=l，8(var sblk)，係爲展 示當對於各副區塊分別針對圖框D C T編碼f旲式和圖場 DCT編碼模式的兩種情況’求取出var sblk時’所求取之 v a r s b 1 k中的最小値。 ' 亦即是，藉由式（9 )所求得之Activity ’係爲該畫 . 像內之各巨區塊的活動（activity )之平均値’而係爲被 使用在例如於MPEG-2 TestModel5 ( TM5 )所規定之速率 ^ 控制中的値。故而，Activity ’在畫素値之變化越少的畫 像中則變爲越小，在畫素値之變化越大的畫像中則變爲越 大。 在步驟S 4 2中，解塊濾波器1 2 4，係對關於解塊處理 之參數作調整。具體而言’活動算出部1 4 1 ’係將代表所 算出之Activity的資訊，供給至解塊濾波器124中。解塊 濾波器124，係因應於施加解塊處理之畫像的Activity之値，而 調整 disable_deblocking_filter_idc、slice_alpha_c0_offset_div2 、以及 slice_beta_offset_div2 之値。 例如，若是Activity爲較特定之臨界値Tha更小的情 況時，貝丨J disable —deblocking—filter —idc 係被設定爲 1。亦 即是，對於幾乎未產生有區塊雜訊而畫素値之變化係爲非 ‘ 常少的平坦畫像，則係成爲不被適用有解塊處理。 又，例如，當Activity係成爲臨界値Tha以上時，因 應於 Activity 之値，slice_alpha — c0_offset_div2 以及 slice_beta_offset_div2 之値係被調整。例如，若是 Activity 的値變得越小，貝[J slice_alpha —c0 —offset —div2 以 -21 - 200812395 (18) 及slice__beta__offset_div2係被設疋爲接近於— 是 Activity 的値變得越大’貝[J slice__alpha_cO_ 以及slice_beta —offset_div2係被設定爲接近於 亦即是，對於難以產生區塊雜訊之畫素値的變 像，則所適用之解塊處理的強度係被減弱’對 區塊雜訊之畫素値的變化較大之複雜的畫像’ 解塊處理的強度係被增強。 在步驟S43中，與上述之圖3的步驟S〗3 的，係進行解塊處理，並結束解塊控制處理。 如此這般，因應於Activity，對於解碼畫 理係適當的被施加，而產生質地被原狀保持而 被除去之參考畫像。故而，能夠使用參考畫像 畫面間預測編碼的畫像之畫質。 又，在使用Activity的情況時，在將畫像 ，可以求取出代表畫像之複雜度的特徵量。 進而，如上述一般，Activity，由於係爲 TestModel5 ( TM5 )所規定之速率控制中被使 此，舉例而言，可以在速率控制部1 1 9中來將 又，除了上述之Activity，亦即是，除了 活動（activity )的平均値之外，亦可使用例 之活動（activity )的合計値等，反應有該畫 的分散之大小的値。 接下來，參考圖5之流程圖，並參考圖2 述之編碼處理中藉由畫像處理裝置1 〇 1所實f了 6之値，若 _offset_di v2 + 6之値。 化較少的畫 於容易產生 則所適用之 的處理同樣 像，解塊處 區塊雜訊係 來提昇被作 作編碼之前 在 MPEG-2 用的値，因 其計算出。 各巨區塊之 如各巨區塊 像之畫素値 ，針對在上 之解塊控制 -22- 200812395 (19) 處理的第3實施形態作說明。 在步驟S61中，正交變換部142，係計算出正交變換 係數之總和。具體而言，正交變換部1 4 2，係將從現在開 始會被編碼之畫像，分割爲特定大小之區塊。另外，以下 ，係針對將其分割爲4x4畫素的區塊，且作爲正交變換係 使用阿達瑪（hadamard )變換的情況爲例來作說明。正交 變換部1 42，係藉由以下之式（1 3 )，而對各區塊進行阿 達瑪變換。 P，=HTPH …(13) 於此，P係代表阿達瑪變換前之4x4畫素的畫素矩陣 ，而P’係代表阿達瑪變換後之4x4畫素的變換係數矩陣 。又，Η係代表以下之式（1 4 )所展示之4次的阿達瑪矩 陣，而ΗΤ係展示4次之阿達瑪矩陣的轉置矩陣。 〔數式6〕

η4 V4 (1111 1 -1 1 _1 1 1 ·ι -1 "•(14) 正交變換部1 4 2，係在每一區塊中，計算出除了變換 係數矩陣ρ ’的座標（〇，〇)之變換係數（d c (直流）成 分之變化係數）之外的變換係數之絕對値的和Ph。亦即 是，Ph，係成爲在阿達瑪變換後之區塊內的變換係數之中 ，與編碼量具有相關之AC (交流）成分的變換係數之絕 對値的和。進而，正交變換部142，係計算出畫像內之全 區塊的Ph之總和DCtotal。另外，DCtotal，在頻率成分 偏向集中之越單純的畫像中則變爲越小，在頻率成分分散 -23- 200812395 (20) 之複雜的畫像中則變爲越大。 在步驟S62中，解塊濾波器124，係對關於解塊處理 之參數作調整。具體而言，垂直變換部1 42，係將代表所 算出之DCtotal的資訊供給至解塊濾波器124中。解塊濾 • 波器124，係因應於施加解塊處理之畫像的DCtotal之値，而調 . 整 disable —deblocking_filter_idc、slice —alpha_c0—offset_div2、 以及 slice_beta_offset —div2 之値。 0 例如，若是DCtotal爲較特定之臨界値Thd更小的情 況時，則 disable_deblocking_filter_idc 係被設定爲 1。亦 即是，對於幾乎未產生有區塊雜訊，而頻率成分係爲偏向 集中之非常單純的畫像，則係成爲不被適用有解塊處理。 又，例如，當DCtotal係成爲臨界値Thd以上時，因 應於 DCtotal 之値，slice_alpha_c0_offset_div2 以及 slice_beta_offset_div2 之値係被調整。例如，若是 DCtotal 的値變得越小，則 slice_alpha —c0 —offset__div2 以 及slice_beta__offset_div2係被設定爲接近於—6之値，若 是 DCtotai 的値變得越大，則 slice_alpha —c0_offs et_div2 以及slice_beta_offset_div2係被設定爲接近於+ 6之値。 亦即是，對於難以產生區塊雜訊之頻率成分係爲偏向集中 - 的單純畫像，則所適用之解塊處理的強度係被減弱，對於 容易產生區塊雜訊之頻率成分係爲分散的複雜畫像’則所 適用之解塊處理的強度係被增強。 在步驟S63中，與上述之圖3的步驟S23的處理同樣 的，係進行解塊處理’並結束解塊控制處理。 -24- 200812395 (21) 另外，在以上的說明中，作爲正交變換，雖 用阿達瑪變換的例子，但是，亦可使用其他的正 例如DCT (離散餘弦變換）等。 又，不論正交變換之種類爲何，所分割之區 ，係並不限定爲上述之4x4畫素者，例如，亦可 畫素等之任意的大小。。 如此這般，因應於DCtotal，對於解碼畫像 理係適當的被施加，而產生質地被原狀保持而區 被除去之參考畫像。故而，能夠使用參考畫像來 畫面間預測編碼的畫像之畫質。 又，DCtotal，由於係爲施加正交變換，而 率成分之變換係數的總和，因此與該畫像之編碼 的相關度係變高，而能夠以較Activity更爲高的 表示畫像之複雜度。 進而，在使用DCtotal的情況時，在將畫像 前，可以求取出代表畫像之複雜度的特徵量。 又，代替正交變換部1 42，亦可使用正交變 ’來計算出正交變換係數。 進而，除了上述之DCtotal，亦即是，除了 之正交變換係數的總和之外，亦可使用例如A C 交變換係數的平均値等，反應有該畫像之A C成 變換係數之大小的値。 接下來，參考圖6之流程圖’並參考圖2’ 述之編碼處理中藉由畫像處理裝置1 〇 1所實行之 係展示使 交變換， 塊的大小 設爲8 X 8 ，解塊處 塊雜訊係 提昇被作 分解爲頻 難易度間 精確度來 作編碼之 換部1 1 5 AC成分 成分之正 分的正交 針對在上 解塊控制 -25- 200812395 (22) 處理的第4實施形態作說明。 在步驟S 8 1中，預測誤差加算部1 2 0，係計算出預測 誤差之總和。具體而言，預測誤差加算部1 20，係當從現 在起將被編碼之畫像，亦即是，當藉由加算器1 4而被進 ‘ 行有差分之畫像，係爲P圖像又或是B圖像時，將從加 - 算器1 1 4所供給之預測誤差加算上1圖像份。藉由此，預 測誤差之總和Et係被計算出。另外，Et，係當畫像之移 φ 動的預測爲越容易時，亦即是Μ當畫像之移動爲越小且 爲越單純時，則變得越小，而若是畫像之移動預測越難， 亦即是，畫像之移動爲越大且爲越複雜，則變得越大。 在步驟S82中，解塊濾波器124，係對關於解塊處理 之參數作調整。具體而言，預測誤差加算部1 20，係將代 表所算出之預測誤差的總和Et的資訊供給至解塊濾波器 124中。解塊濾波器124，係因應於Et之値，而調整 disable_deblocking_filter_idc 、 slice_alpha_c0_offset_div2 、以及 slice_beta — offset_div2 之値。 例如，若是Et爲較特定之臨界値The更小的情況時 ，貝[j d i s a b 1 e — d e b 1 〇 c k i n g _ f i 11 e r — i d c 係被設定爲 1。亦即是 ，對於幾乎未產生有區塊雜訊而畫像係幾乎沒有移動的畫 _ 像，則係成爲不被適用有解塊處理。 又，例如，當Et係成爲臨界値The以上時，因應於Et 之値，slice —alpha—c0 — offset_div2 以及 slice_beta—offset_div2 之値係被調整。例如，若是 Et的値變得越小，則 slice_alpha_c0_offset_div2 以及 slice_beta — offset_div2 係 - 26- 200812395 (23) 被設定爲接近於- 6之値，若是Et的値變得越大，則 slice_alpha一c0-〇ffset —div2 以及 Slice —beta —offset_div2 係 被設定爲接近於+ 6之値。亦即是，對於難以產生區塊雜 訊之畫像的移動係爲小且單純的畫像，則所適用之解塊處 ' 理的強度係被減弱，對於容易產生區塊雜訊之移動爲大且 - 複雜的畫像，則所適用之解塊處理的強度係被增強。 在步驟S83中，與上述之圖3的步驟S23的處理同樣 φ 的，係進行解塊處理，並結束解塊控制處理。 如此這般，因應於Et，對於解碼畫像，解塊處理係 適當的被施加，而產生質地被原狀保持而區塊雜訊係被除 去之參考畫像。故而，能夠使用參考畫像來提昇被作畫面 間預測編碼的畫像之畫質。 又，在使用Et的情況時，在將畫像作編碼之前，可 以求取出代表畫像之複雜度的特徵量。 進而，除了上述之Et，亦即是，除了預測誤差的總 φ 和之外，亦可使用例如正交變換係數的平均値等，反應有 對於該畫像之預測誤差的大小的値。 如上述一般，因應於畫像之特徵，能夠適當的施加解 塊處理，其結果，能夠提昇畫像之主觀畫質。 • 另外，在以上的說明中，係針對將 Complexity、

Activity、DCtotal、以及Et分別單獨作使用’而調整 disable deblocking一filter一idc、slice —alpha_c0_offset_div2、 以及slice_beta_offset_div2之値的例子作展示’但是， 亦可使用複數之値來判定畫像之複雜度，並根據其結果’ -27- 200812395 (24) 來調整 disable_deblocking—filter—idc、slice—alpha—c〇—offset—div2 、以及 slice —beta__offset_div2 之値亦可。 又，在以上之說明中，雖係展示藉由Η. 264/A VC方 式來作編碼的例子作說明，但是，本發明，係亦可適用於 使用有內迴圈（Inloop )之解塊濾波器的編碼方式的情況 ，例如，亦可使用於使用 MPEG-4 ( Moving Picture Coding Experts Group phase4 ) 、VC-1 ( Video Codec 1) 方式等而作編碼的情況。 上述之一連串處理，可以藉由硬體來實行，亦可以藉 由軟體來實行。當藉由軟體來實行此一連串之處理時，係 將該軟體之程式，從程式記錄媒體中，而安裝至被組入有 專用之硬體的電腦，又或是，安裝至被安裝有各種之程式 ’而可實行各種功能之例如汎用型的個人電腦中。 圖7，係爲展示將上述之一連串的處理藉由程式而作 實行之個人電腦3 00的構成之例的區塊圖。CPU ( Central Processing Unit) 301，係依據被記億於 ROM (Read Only Memory) 3 02、又或是被記憶於記錄部3 08中之程式，而 進行各種之處理。在 RAM (Random Access Memory) 30 3 中，係適當地被記憶有CPU3 01所實行之程式或資料等。 此些之CPU301、ROM302、以及RAM3 03，係藉由匯流排 3〇4而被相互連接。 於CPU301中，係又經由匯流排3〇4而被連接於輸入 輸出介面305。在輸入輸出介面305中，係被連接有··藉 由鍵盤、滑鼠、麥克風等所成之輸入部3 06、和藉由顯示 -28- 200812395 (25) 器、揚聲器等所成之輸出部307。CPU301，係對應於從輸 入部3 06所輸入之指令，而實行各種之處理。而， CPU301，係將處理結果輸出至輸出部307 〇 被連接於輸入輸出介面3 0 5之記錄部3 0 8，係由例如 硬碟所成，並記憶有CPU3 0 1所實行之程式或是各種的資 • 料。通訊部3 0 9 ’係藉由網際網路或是區域網路等之網路 ，而與外部之裝置作通訊。 φ 又，亦可經由通訊部309來取得程式，並記憶於記錄 部 3 08。 被連接於輸入輸出介面305之驅動裝置310，係當被 裝著有磁碟、光碟、光磁性碟或是半導體記憶體等之可移 除媒體時，對此些作驅動，並將此些中所記錄之程式或資 料作取得。所取得之程式或資料，係因應於需要而被傳送 至記錄部3 0 8並被記憶。 儲存有被安裝於電腦中並成爲可經由電腦而實行之狀 φ 態的程式之程式記錄媒體，係如圖7所示，藉由磁碟（包 含軟碟）、光碟（包含 CD-ROM ( Compact Disc-Read Only Memory) ，DVD ( Digital Versatile Disc))，光磁 性碟、或是身爲由半導體記憶體等所成之封裝媒體的可移 ’ 除媒體3 1 1，又或是將程式作暫時又或是永久的儲存之 ROM3 02，或者是構成記錄部3〇8之硬碟等所構成。對程 式記錄媒體之程式的儲存，係因應於需要，而經由身爲路 由器、數據機等之介面的通訊部3 09，利用區域網路、網 際網路、數位衛星廣播之類的有線又或是無線的通訊媒體 -29- 200812395 (26) 而進行。 另外，在本說明書中，對被儲存於程式記錄媒體中之 程式作記載的步驟，除了包含有沿著所記載之順序而以時 間系列來進行的處理之外，就算不是時間系列的處理，而 ’ 係爲並列又或是各別的被實行之處理，亦包含在內。 • 進而，本發明之實施形態，係並不被上述之實施形態 所限定，在不脫離本發明之要旨的範圍之內，可作各種之 • 變更 ° 【圖式簡單說明】 〔圖1〕展示適用有本發明之畫像處理裝置的其中一 種實施形態之區塊圖。 〔圖2〕用以說明藉由圖1之畫像處理裝置所實行之 編碼處理的流程圖。 〔圖3〕用以說明藉由圖1之畫像處理裝置所實行之 φ 解塊控制處理的第1實施形態之流程圖。 〔圖4〕用以說明藉由圖2之畫像處理裝置所實行之 解塊控制處理的第2實施形態之流程圖。 〔圖5〕用以說明藉由圖3之畫像處理裝置所實行之 ' 解塊控制處理的第3實施形態之流程圖。 〔圖6〕用以說明藉由圖4之畫像處理裝置所實行之 解塊控制處理的第4實施形態之流程圖。 〔圖7〕展示個人電腦之構成例的區塊圖。 -30- 200812395 (27) 【主要元件符號說明】 1 0 1 :畫像處理裝置 1 1 3 :特徵量算出部 1 1 4 :加算器 1 1 5 :正交變換部 1 1 9 :速率控制部 120 :預測誤差加算部 124 :解塊濾波器 126 :畫面內預測部 127 :移動預測、補償部 1 4 1 :活動算出部 142 :正交變換部

-31

Claims (1)

1. 200812395 (1) 十、申請專利範圍 1.一種畫像處理裝置，係包含有： 解塊濾波器（deblocking filter)，其係對於 第1畫像編碼時，被使用於前述第1畫像之移動預 ' 前述第1畫像之前而被編碼之第2畫像作解碼後的 - 像，施加解塊處理；和 特徵量算出手段，其係計算出表示前述第2畫 ^ 雜度的特徵量，其特徵爲： 前述解塊濾波器，係根據前述特徵量，而對是 述解碼畫像適用解塊處理、又或是對適用於前述解 之解塊處理的強度作控制。 2 ·如申請專利範圍第1項所記載之畫像處理裝 中，前述特徵量算出手段，係將前述第2畫像之編 度作爲前述特徵量而計算出。 3 ·如申請專利範圍第2項所記載之畫像處理裝 φ 中，前述特徵量算出手段，當前述第2畫像係爲使 間預測而被編碼的畫像時，則使用在前述第2畫像 之前利用圖框間預測而被編碼之第3畫像的編碼難 來將前述第2畫像之編碼難易度正規化，並將該値 ^ 述特徵量。 4 .如申請專利範圍第1項所記載之畫像處理裝 中，前述特徵量算出手段，係將被編碼前之前述第 分割爲複數之圖塊，並根據前述每一圖塊中之畫素 散，而計算出前述特徵量。 :在將 測的在 解碼畫 像之複 否對前 碼畫像 置，其 碼難易 置，其 用圖框 被編碼 易度， 作爲前 置，其 2畫像 値的分 -32- 200812395 (2) 5 .如申請專利範圍第1項所記載之畫像處理裝置，其 中，前述特徵量算出手段，係將被編碼前之前述第2畫像 分割爲複數之圖塊，並根據藉由對前述每一圖塊施加正交 變換所得到之變換係數，而計算出前述特徵量。 ' 6 ·如申請專利範圍第1項所記載之畫像處理裝置，其 , 中，前述特徵量算出手段，係根據身爲藉由圖框間預測所 預測出之相對於前述第2畫像的預測畫像與編碼前之前述 ^ 第2畫像間的差分之預測誤差，而計算出前述特徵量。 7 ·如申請專利範圍第1項所記載之畫像處理裝置，其 中， 係藉由 H.264/AVC( Advanced Video Coding)方式 而將畫像作編碼， 前述解塊濾波器，係藉由調整disable_deblocking_filter_idc 、slice alpha cO offset div2、又或是 slice_beta_offset —div2 之値’而對是否對前述解碼畫像適用解塊處理、又或是對 φ 適用於前述解碼畫像之解塊處理的強度作控制。 8 ·如申請專利範圍第1項所記載之畫像處理裝置，其 中， 係藉由 MPEG-4 ( Moving Picture Coding Experts Group phase4)、H.264 /AVC( Advanced Video Coding )、又或是VC-1 ( Video .Codec 1 )方式，而將畫像作編 碼。 9 · 一種畫像處理方法，其特徵爲，包含有： 計算出在將第1畫像編碼時，被使用於前述第1畫像 -33- 200812395 (3) 之移動預測的用以表現在前述第1畫像之 2畫像的複雜度之特徵量的步驟；和 根據前述特徵量，而對是否對將前述 之解碼畫像適用解塊處理、又或是對適用 * . 之解塊處理的強度作控制之步驟。 . 1 〇 · —種程式，係爲用以使電腦實行 ，其特徵爲，該處理，係包含有： • 計算出在將第1畫像編碼時，被使用 之移動預測的用以表現在前述第1畫像之 2畫像的複雜度之特徵量的步驟；和 根據前述特徵量，而對是否對將前述 之解碼畫像適用解塊處理、又或是對適用 之解塊處理的強度作控制之步驟。 前而被編碼之第 第2畫像解碼後 於前述解碼畫像 一*種處理的程式 於前述第1畫像 前而被編碼之第 第2畫像解碼後 於前述解碼畫像 -34 -