TW200913726A - Image encoding method and device - Google Patents

Description

200913726 九、發明說明 【發明所屬之技術領域】 本發明’係有關用於動畫像又或是靜止畫像之畫像編 碼方法及裝置。 【先前技術】 在以 ISO/IEC 14496 - 1 0 ITU—T Recommendation Η .264 ( ISO/ IEC 1 4496 - 1 〇 ITU-T Rec ommendation H · 264)等爲代表之動畫像編碼標準方式中，對於輸入畫像 訊號’例如係使用圖3所示一般之參考構造，而藉由從已 完成編碼之參考畫像訊號來進行畫面內預測或移動補償一 事’來作成預測訊號。經由對於此預測畫像訊號與輸入訊 號間之預測誤差訊號，施加離散餘弦變換（DCT )等之正 交變換，亦即是經由進行頻率軸上之變換，空間方向之冗 長性係從預測誤差訊號而被除去。而後，對於預測誤差訊 號’進行量子化以及編碼化所致之壓縮處理，而產生編碼 畫像。亦即是，係被進行有非可逆壓縮方式所致之動畫像 編碼。 在圖3中，I係代表僅從畫面內之已完成編碼的畫像 訊號來進行預測並進行編碼之圖框。P係代表從以輸入畫 像之圖框順序而位置於時間性之前方的已被編碼之I或P 來進行預測並進行編碼之圖框。B係代表從以輸入畫像之 圖框順序而位置於前方或後方的已被編碼之畫像訊號來進 行預測並進行編碼之圖框。圖框下之號碼’係代表顯示順 -5- 200913726 序。由於B係對顯示順序爲位置於後方之圖框作參考並預 測，因此，係以將所參考之圖框先作編碼的方式，而重排 圖框順序並進行編碼。 於圖 3 中，例如係以 10、P 3、B1、B 2、P 6、B 4、B 5 之順序來進彳了編碼。如此這般，在使用圖3所示之參考構 造而作成預測畫像之動畫像編碼方式中，藉由取得參考畫 像與輸入畫像間之差分，時間方向之冗長性係被削除，進 而，藉由正交變換，預測誤差訊號之空間方向的冗長性係 被削除。而後，藉由對預測誤差訊號進行可變長度編碼， 而提昇壓縮效率。但是，對於圖框間之預測誤差訊號的時 間方向之冗長性，係並未作考慮。相對於此，日本特開平 10-164594號公報，係在圖3所示一般之編碼構造中，將 P6、B4、B5之3圖框份的移動補償後之差分一同進行3 維正交變換。量子化後，藉由進彳了可變長度編碼，預測誤 差訊號之時間方向的冗長性亦被除去，而進行編碼。如此 這般，而提案有提昇編碼效率之方式。 【發明內容】 在 I S O / IE C 1 4 4 9 6 — 1 0 ITU— T Recommendation Η . 2 64中，在作成Β圖框之預測殘差時，係有必要參考Ρ圖 框而進行移動補償。例如，圖3之Β4、Β5 ’雖係參考Ρ6 之解碼畫像訊號並作爲預測畫像而被作成，但是，係將 Ρ6、Β4、Β5之3圖框份的移動補償後之預測殘差訊號作3 維正交變換並量子化。因此，當Β4、Β5之預測畫像作成 -6- 200913726 時，由於係無法得到P6之正確的解碼畫像訊號’因此’ 在編碼側與解碼側係會產生不一致。 本發明之目的，係爲提供一種：對於並不被相互參考 之相關於複數的輸入畫像之預測殘差，將複數圖框作總括 而於每一區塊中進行2維正交變換又或是3維正交變換， 並在變換後，進行量子化•可變長度編碼之編碼裝置及方 法，還有用於此編碼裝置之解碼裝置以及方法。 本發明之其中一種實施形態，係提供一種畫像編碼裝 置，其特徵爲，具備有：預測殘差畫像產生器，係將複數 之輸入畫像中的在並不被相互作參考之複數的編碼對象畫 像間而位於共通之位置的複數之編碼對象區域的複數之預 測殘差畫像，參考在前述複數之輸入畫像中已被進行了編 碼的參考畫像之局部解碼畫像，而產生之：和模式選擇部 ，係將對前述複數之預測殘差畫像的各個進行空間方向之 2維正交變換的2維模式，又或是對由前述複數之預測殘 差畫像所成的3維時空間預測殘差畫像進行時空間方向之 3維正交變換的3維模式，作爲正交變換模式而選擇；和 2維正交變換部，係當作爲前述正交變換模式而被選擇了 2維正交變換模式時，藉由對於前述複數之預測殘差畫像 的各個而進行空間方向之2維正交變換，來產生2維正交 變換係數；和3維正交變換部’係當作爲前述正交變換模 式而被選擇了 3維正交變換模式時，藉由對於由前述複數 之預測殘差畫像所成的3維時空間預測殘差畫像而進行時 空間方向之3維正交變換’來產生3維正交變換係數；和 200913726 量子化器’係將前述2維又或是3維正交變換係數量子化 ’並產生量子化正交變換係數；和可變長度編碼器，係將 量子化正交變換係數作可變長度編碼，而產生編碼變換係 數；和多工化器’係輸出將代表藉由前述模式選擇部所選 擇之正交變換模式的正交變換模式資訊和前述編碼變換係 數多工化後之編碼資料。 【實施方式】 以下，參考圖面，針對本發明之實施形態作說明。 於圖1中，展示本發明之其中一種實施形態的用以進 行動畫像編碼之畫像編碼裝置。在畫像編碼裝置中，作爲 畫像訊號1 00，例如係以圖框單位而將動畫像訊號輸入至 編碼部10處，並暫時儲存在輸入圖框緩衝器118中。編 碼構造控制器120，係因應被儲存在緩衝器中之輸入圖框 的參考順序而決定編碼順序，並將編碼構造資訊輸出至編 碼部10。編碼構造控制部120之具體處理的詳細內容，係 於後述。 輸入圖框緩衝器118，係根據編碼構造資訊119，而 將遵循編碼順序之圖框又或是複數圖框之畫像，於每一編 碼單位中輸出至差分訊號作成器1〇1處。藉由差分訊號產 生器101，而計算出輸入畫像訊號100與預測畫像訊號 1 〇 2間之差分，並產生預測誤差訊號1 〇 3。對於所產生之 預測誤差訊號103，而藉由正交變換器104來施加2維正 交變換或是3維正交變換之任一者。關於施加2維正交變 -8- 200913726 換或是3維正交變換之何者一事’係因應於編碼構造資訊 1 1 9與預測誤差訊號1 0 3來作選擇。關於如何作選擇，係 於後述。 作爲被施加於預測誤差訊號1 0 3處之正交變換，例如 係可列舉有離散餘弦變換（DCT)。在正交變換器1〇4之 內部，係包含有：進行時間方向之正交變換的時間方向正 交變換器104a、和進行空間方向之正交變換的空間方向正 交變換器1 04b。當被選擇之變換係爲3維變換的情況時， 切換器係被連接於端子104c，亦即是，差分訊號產生器 1 〇 1之輸出’係被連接於空間方向正交變換器1 〇 4 a。預測 誤差訊號103，係經由時間方向正交變換器i〇4a與空間方 向正交變換器104b之兩者，而於時空間方向被進行3維 正交變換。當被選擇之變換係爲2維變換的情況時，切換 器係被連接於端子1 04d ’亦即是，差分訊號產生器1 〇丨之 輸出’係被連接於空間方向正交變換器丨〇4b，預測誤差訊 號1 0 3 ’係僅經由空間方向正交變換器！ 〇 4 b而僅在空間方 向被進行2維正交變換。 。 在正交變換器104處，係產生正交變換係數資訊1〇5 ，例如產生DCT係數資訊。又，代表於此所施加之正交 變換係爲2維正交變換又或是3維正交變換一事之資訊， 又或是關於該變換尺寸等之正交變換資訊121，係被導入 至熵編碼/多工化器108處。正交變換係數資訊105，係 在藉由量子化器106而被量子化後，被作2分歧。被2分 歧後之量子化正交變換係數資訊1〇7的其中一方，係被導 -9- 200913726 入至熵編碼/多工化器108處。被2分歧後之量子化正交 變換係數資訊1 07的另外一方，係藉由逆量子化器1 09以 及逆正交變換器110，而依序受到與量子化器106以及正 交變換器104之處理爲相反的處理，並被變換爲與預測誤 差訊號相同之訊號。此訊號，係藉由在局部解碼畫像訊號 產生器111處被與預測畫像訊號102作加算而產生局部解 碼畫像訊號1 1 2。 在逆正交變換器U 0之內部，係包含有：進行時間方 向之逆正交變換的時間方向逆正交變換器ll〇a、和進行空 間方向之逆正交變換的空間方向逆正交變換器11 Ob。因應 於代表其係爲2維正交變換或是3維正交變換之正交變換 資訊，切換器係在端子U〇c又或是1 10d之間作切換。若 是切換器被連接於端子110c，亦即是，若是空間方向逆正 交變換器110b之輸出被連接於時間方向逆正交變換器 1 1 0a，則逆量子化器1 09之逆量子化訊號係經由空間方向 逆正交變換器ll〇b以及時間方向逆正交變換器ll〇a之兩 者，而被進行時空間方向之3維逆正交變換。若是切換器 被連接於端子ll〇d，亦即是，若是空間方向逆正交變換器 ll〇b之輸出係旁通時間方向逆正交變換器i10a並被連接 於局部解碼畫像訊號產生部111，則逆量子化器109之逆 量子化訊號係僅經由空間方向逆正交變換器1 1 〇b，而僅被 進行空間方向之逆正交變換，亦即是被進行2維逆正交變 換。局部解碼訊號112，係在因應於必要而藉由迴圈濾波 器113來近行濾波處理後，被儲存在圖框記憶體114中。 -10- 200913726 預測畫像產生器1 1 5，係根據某一預測模式資訏 從輸入畫像訊號1 〇〇以及被儲存在圖框記憶體11 4 4 部解碼畫像訊號1 1 2來產生預測晝像訊號。此時，彷 解碼畫像訊號產生器111而來之局部解碼畫像訊號 係暫時被儲存在圖框記億體114中。在圖框內之每-中，取得輸入畫像訊號100與被儲存在圖框記憶體1 之局部解碼畫像訊號1 1 2間的匹配（例如，區塊匹配 並檢測出移動向量。使用藉由此移動向量而作了補償 部畫像訊號，來作成預測畫像訊號。於此所產生之預 像訊號1 02，係與被選擇之預測畫像訊號的移動向量 /預測模式資訊1 1 6 —同藉由預測畫像產生器而被輸 在熵編碼/多工化器108處，量子化正交變換係數 1 07、移動向量資訊/預測模式資訊1 1 6、正交變換 1 2 1以及編碼構造資訊1 1 9，係被作熵編碼，經由此 生之編碼資料1 1 7，係被送出至未圖示之傳送系又或 存系4 接下來，使用圖4以及圖5，對身爲本發明之實 態的特徵之編碼構造與編碼單位、以及編碼順序作說 在本實施形態中，係並非將並不相互作參考的複數之 框作爲圖框單位，而係藉由將2圖框或是4圖框等之 N次方之數的圖框總括地進行編碼，來成爲能夠利用 方向之正交變換。例如，當如圖4 一般之在圖框與P 之間挾持有2枚之B圖框的構造時，在被展示爲Bm 框間，由於相互間係並沒有參考關係，因此，此些之 ，而 之局 局部 112, 區塊 14內 )， 的局 測畫 資訊 出。 資訊 資訊 所產 是儲 施形 明。 B圖 2的 時間 圖框 之圖 圖框 -11 - 200913726 ，係可以使用本實施形態來總括地進行編碼°例如’藉由 將（Bml，Bm2)以及（Bm4，Bm5)之兩圖框分別總括地進 行編碼，在時間方向亦可進行3維正交變換’例如，當時 間方向之變換尺寸爲2的情況時’係可使用4 x 4 x 2 D C Τ ( 離散餘弦變換）或是8 x 8 x 2 D C T等。此時’編碼順序’例 如，係成爲 10、Ρ3、（Bml，Bm2) 、P6、（Bm4，Bm5)… 〇 又，（Bml,Bm2，Bm4，Bm5)之4圖框，亦由於並不會 相互作參考，而總括地進行編碼’例如’當時間方向之變 換尺寸爲4的情況時，係可更進而使用4 X 4 X 4 D C T (離散 餘弦變換）或是8x8x4DCT等之3維正交變換，而將圖框 編碼。此時，編碼順序，例如，係成爲1〇、P3、P6、( Bml，Bm2,Bm4，Bm5) .··。 圖5，係圖示有將如前述一般而並不相互作參考的複 數之B圖框總括地作編碼時之編碼單位。藉由多重切片構 造來進行編碼，該多重切片構造，係將複數圖框內之位於 相同之空間位置處、在H.2 64中係被稱爲巨集塊之例如16 X 1 6像素單位的正方形區塊於時間方向而作了連結的例如 16χ16χΜ(Μ係爲時間方向之圖框的枚數）的正方體區塊 (以下’稱爲巨集立方體）作爲1編碼單位，並依序進行 編碼。多重切片，係由複數之巨集立方體所成，當將複數 之Β圖框作總括的情況時，係可將其全體作爲多重切片， 亦可藉由某一定數量之巨集立方體來作切片分割。 又’作爲其他之編碼構造，係有如圖6所示一般之被 -12- 200913726 稱爲階層B構造的編碼構造。階層B構造，係爲將被包含 在I圖框與P圖框間之B圖框作階層性的參考之構造。本 構造，係可利用在如同H. 2 64 —般之可將B圖框作爲參考 畫像來作利用的情況中。例如，當如同圖6 —般之參考構 造的情況時，由於被包含在相同階層中之B圖框係並不會 被相互參考，因此能夠將其總括而以多重切片單位來作編 碼。例如，當將（Bml，Bm3 ) ( B m 5 , B m 7 )分別作爲包含 有2枚之切片的多重切片來編碼的情況時，編碼順序，例 如係成爲 10、P8、RB4、RB2、 ( Bml ,Bm3 ) 、RB6、(

Bm5,Bm7)…。又，例如，當將（Bml,Bm3,Bm5,Bm7)之 4圖框總括地作編碼的情況時，編碼順序，例如係成爲10 、P 8、R B 4、R B 2、R B 6、 （ B m 1，B m 3，B m 5 5 B m 7 )…。 進而，若是上段之（RB2,RB6 )亦滿足並不相互作參 考之條件，則此些之圖框亦可總括地作編碼，例如，可將 (RB2，RB6) 、 （Bml，Bm3) 、 （Bm5,Bm7)各另!J 2 圖框 2圖框地作總括，並以I〇、P8、RB4、（ RB2、RB6 )、( Bml，Bm3) 、（Bm5、Bm7)…一般之編碼順序來作編碼 ，亦可將（RB2,RB6)之 2 枚，和（Bml,Bm3，Bm5，Bm7) 之 4圖框作總括，並以 10、P8、RB4、（ RB2、RB6 )、 (Bml，Bm3、Bm5、Bm7 )…之編碼順序來作編碼。 圖7，係圖示例如將（Bml,Bm3,Bm5,Bm7)之4圖框 作總括而編碼時之編碼單位，此時，巨集立方體係成爲將 位置於相同之空間位置的4個的巨集塊於時間方向作連結 後之例如16x16x4的正方體區塊。 -13- 200913726 於此，雖係對可適用於本發明之實施形態的數個編碼 構造作了說明，但是，本發明係並不僅是可適用此些之編 碼構造，只要是將並不相互參考之複數的B圖框總括地作 爲多重切片來作編碼一般的編碼構造，則不論是何種的編 碼構造，均可作適用。 以下，將把並不相互作參考的複數之B圖框總括地作 爲多重切片而編碼時之切片類型，設爲Bm切片。 使用圖8，對經由編碼構造控制部1 2 0而被控制之編 碼處理的流程400作說明。首先，在步驟401中，以圖框 單位來將輸入畫像訊號依顯示順序而依序輸入，並儲存在 輸入圖框緩衝器1 1 8中。在緩衝有一定之枚數的狀態下， 前進至步驟402，進行輸入圖框緩衝器118內之各圖框的 編碼順序與編碼切片類型（係爲I圖框或是P圖框或是B 圖框又或是Bm圖框）的判斷。此判斷，例如係將圖4或 圖6 —般之編碼構造預先從外部來輸入，並對所輸入之順 序、亦即是顯示順序作對照，而決定之。於此，作爲一例 ，藉由圖 4之編碼構造，對將（Bml,Bm2 )以及（ Bm4，Bm5 )作爲多重切片而編碼的情況時作詳細說明。 在步驟403中，以藉由步驟402所決定之編碼順序， 來依序將輸入圖框取出，並判定切片類型。首先，係取出 1〇 ’但是，由於其之切片類型係並非爲Bm切片，因此， 前進至步驟4〇4，該圖框，例如係遵循與H.264相同之程 序而被切片編碼。若是10之編碼完全結束，則前進至步 驟405，判定是否所有的圖框之編碼係結束。於此，由於 -14- 200913726 係存在有應更進而進行編碼之圖框’因此’處理係回到步 驟 401。 在藉由前述之程序而進行了圖框輸入（步驟401)以 及編碼順序決定（步驟402)後’從輸入圖框緩衝器118 中而取出編碼順序爲在1〇之下一個的P3，並在步驟403 中進行切片類型的判定。由於該當圖框係並非爲B m切片 ，因此，處理係前進至步驟404，該圖框’與10同樣的， 例如係遵循與H. 2 64相同之程序而被切片編碼，而處理係 前進至步驟405。。由於係存在有應更進而進行編碼之圖 框，因此，處理係回到步驟401。 在藉由前述之程序而進行了圖框輸入（步驟401)以 及編碼順序決定（步驟402 )後，從輸入圖框緩衝器1 1 8 中而取出編碼順序爲在P3之下一個的Bml，並在步驟 4 03中進行切片類型的判定。由於該當圖框係爲Bm切片 ，因此，處理係前進至步驟405，且與該圖框Bml屬於相 同之多重切片的圖框Bm2係亦從輸入圖框緩衝器118而 被輸出，並作爲多重切片而被編碼。針對多重切片之編碼 處理的程序，係於後述。 若是該當多重切片之編碼結束，則處理係前進至步驟 ’之後，藉由相同之程序，而依序將圖框P6作爲切片 ’將圖框Bm4、Bm5作爲多重切片，而進行編碼。藉由此 種程序，若是所輸入之所有的圖框之編碼係結束，則結束 編碼處理。 接下來，使用圖9，對經由多重切片編碼處理的詳細 -15- 200913726 之程序500作說明。於此，藉由圖4之編碼構造，對將圖 框Bml、Bm2作爲多重切片而編碼的情況時作詳細說明。 首先，在步驟501中，將多重切片內的巨集立方體依 序作輸入。於此，輸入順序，例如係藉由從多重切片之左 上起而朝向右下的逐線掃描（Raster Scan)順序來進行。 相對於下一個所輸入之巨集立方體的預測畫像，係被作成 。在巨集立方體內，係包含有：屬於圖框Bml之巨集塊 MB 1、和屬於圖框Bm2之巨集塊MB2。巨集塊MB 1、 MB2之預測畫像，係分別與身爲參考畫像之圖框10、P3 而藉由例如區塊匹配等來進行移動補償，並對預測區塊形 狀（預測模式）或是移動向量作探索，而作成之，成爲候 補之預測模式與移動向量，係對於巨集塊MB 1、MB2之各 個，而分別暫時藉由記憶體來保持。 在步驟503中，係進行預測殘差訊號之作成。藉由差 分訊號產生器1 0 1，而作成藉由步驟5 02所作成之預測畫 像訊號與該當巨集立方體之輸入畫像訊號間的差分，並與 預測模式或是移動向量同樣的，暫時藉由記憶體來作保持 〇 處理係前進至步驟504中，並決定正交變換之類型。 於此，舉例而言，假設作爲正交變換，係可以使用作爲2 維正交變換之4x4DCT與8x8DCT;作爲3維正交變換之 4x4x2DCT與8x8x2DCT的4個。作爲對使用何者之正交 變換來進行編碼一事作決定的手段，例如，若將包含有暫 時被保存在記憶體中之預測模式與移動向量的資訊、以及 -16- 200913726 代表係使用有何者之正交變換一事之正交變換資訊的模式 資訊設爲OH，將預測殘差訊號之絕對和（suin of absolute value )設爲SAD ’則係將使藉由次式所算出之編碼成本K 成爲最小値之預測模式以及正交變換資訊，作爲最適當之 預測模式與正交變換資訊而選擇之。 K = SAD + λ χΟΗ 於此，λ係爲定數，並係基於量子化參數之値而被決 疋。 作爲成本計算之其他例子，係亦可僅使用模式資訊 ’又或是僅使用預測殘差訊號之絕對和SAD。亦可利 用對模式資訊又或是預測殘差訊號作了哈達馬德變換（ Hadamard Transform )或是作了近似後之値。亦可利用量 子化寬度、量子化參數而作成成本函數。 作爲成本計算之另外其他例子，係可準備假編碼部， 並對各預測模式所產生之預測殘差訊號1 〇3實際地進行2 維變換又或是3維變換，而將所輸出之正交變換係數量子 化且作可變長度編碼，並使用此時之編碼量、和對編碼資 料作局部解碼所得到之解碼畫像訊號與輸入畫像訊號間之 平方誤差。於此情況，使藉由次式所計算出之編碼成本J 成爲最小値的預測模式，係作爲最適當模式而被選擇。

J = D + λ xR -17- 200913726 於此，D係爲代表輸入畫像訊號與解碼畫像 平方誤差的編碼歪曲。另一方面，R係爲代表經 所估算出之編碼量。 當使用有式（2 )之編碼成本J的情況時， 爲有必要在每一預測模式中進行假編碼與局部解 子化或是逆正交變換），因此，處理量又或是電 係增大。但是，由於J係反應有正確之編碼量與 ，因此，係成爲能夠更進一步地選擇出最適當之 。其結果，能夠得到更高之編碼效率。在式（2 編碼成本J之計算中雖係使用有編碼歪曲D以及 ，但是，亦可僅使用D以及R之其中一方，來計 成本。又，亦可使用將D以及R作了近似後之値 成本函數。 在步驟5 05中，係判定在步驟504中所決定 換係爲2維變換又或是3維變換。於此，當2維 決定爲最適當模式的情況時，處理係前進至步驟 於巨集立方體內之巨集塊MB1與MB2之各別的 訊號，係被施加有被判定爲最適當的正交變換 或是8x8DCT)，而進行有對於變換係數之量子 所進行之正交變換或量子化，例如，係使用與H. 的變換量子化。另一方面，在步驟505中，當並: 變換’亦即是，3維變換係被決定爲最適當之模 時’處理係前進至步驟5 07。 訊號間之 由假編碼 由於係成 碼（逆量 路之規模 編碼歪曲 預測模式 )中，於 編碼量R 算出編碼 ，來作成 之正交變 變換係被 5 06，對 預測殘差 (4x4DCT 化。在此 2 64同樣 非爲2維 式的情況 -18- 200913726 在步驟5 0 7中，係對巨集立方體之預測殘差訊號施加 3維變換，而後，進行量子化。作爲3維正交變換，例如 係使用4x4x2DCT或是8x8x2DCT。在此3維正交變換中 ，例如係將被包含於16x16x2之巨集立方體中的巨集塊 MB 1、MB2作16分割又或是4分割，而作成4x4或8x8 之正方形的副區塊。對於在空間位置上係位置於相同之場 所的副區塊內的像素値，係經由時間方向正交變換器1 〇4c 而在時間方向上被施加有2x2DCT，而後’對於空間方向 之2個的4x4又或是8x8之副區塊內的變換係數，例如係 經由空間方向正交變換器l〇4b而進行有與H.264相同的 4x4DCT或是8x8DCT。對於如此這般所得到之巨集立方體 內的3維正交變換係數，例如施加與H.264同樣的量子化 處理。 在上述之說明中，由於係針對將2枚之圖框作爲多重 切片並總括進行編碼的例子作了說明，因此，作爲3維正 交變換，係使用4x4x2DCT或是8x8x2DCT。然而，當例 如如圖7所示一般，將4枚之圖框作爲多重切片並總括地 進行編碼的情況時，作爲巨集立方體，由於係輸入例如 16x16x4之直方體區塊，因此，作爲3維正交變換，可以 將巨集立方體內之巨集塊2個2個的分割並施加 4x4x2DCT或是8x8x2DCT，亦可對於4個巨集塊而使用 4x4x2DCT或是 8x8x2DCT。又，例如，係亦可使用 16xl6x2DCT —般之大尺寸的正交變換，亦可使用如同 4x8x2DCT 一般之空間方向並非爲正方區塊尺寸之正交變 -19- 200913726 換。進而，只要是3維正交變換，則例如亦可使用KL變 換等之離散餘弦變換（DCT)以外的變換。 又，在本實施形態中，雖係成爲能夠對？維變換與3 維變換作適應性地選擇，但是，亦可設爲僅能選擇3維變 換，於此情況，步驟5 0 6係成爲不必要。 在施加了上述一般的處理後，前進至步驟508’巨集 立方體內之量子化正交變換係數，係在熵編碼/多工化器 108中被進行可變長度編碼，並與正交變換資訊、預測模 式資訊、移動向量資訊一同被多工化。針對熵編碼之詳細 內容，係於後述。 最後，在步驟509中，判定該當多重切片內之所有的 巨集立方體是否已被編碼，當該當巨集立方體並非爲多重 切片內之最後的巨集立方體時，處理係回到步驟501，並 藉由前述之處理程序，而進行下一個的巨集立方體之編碼 。當該當巨集立方體係爲多重切片內的最後之巨集立方體 的情況時，多重切片編碼之處理係結束。 接下來，使用圖10以及圖11，針對：將前述之編碼 構造資訊、或是代表作爲巨集立方體內之預測畫像訊號所 被施加之正交變換，係使用有何種之變換一事的正交變換 資訊121，以熵編碼/多工化器108來將編碼資料多工化 並送訊的方法作說明。 於圖1 0中，展示在本實施形態中所使用之語法的構 造之例。在此語法構造例中，存取（access)單元（301) ，係爲在解碼處理時所被讀入之單位，對每一此單位，進 -20- 200913726 行解碼處理。在存取單元（301)之內部，係因應於處理 之內谷或是編碼構造，而被塞入有高階語法（high-level syntax ) ( 3 02 )、多重切片階層語法（mulU slice layer syntax) ( 305)、切片階層語法（siiCe levei Syntax)( 3 1 2 )等。在高階語法（3 02 )中，係被塞入有切片以上之 上位階層的語法資訊。多重切片階層語法（3 05 )，係明 記有在每一多重切片中所必要之資訊。另一方面，切片階 層語法（3 1 2 )，係明記有在每—切片中所必要之資訊。 多重切片階層語法（3 0 5 )，係由相對於所包含之各 個的複數切片之切片檔頭語法（header syntax) ( 306a〜 306η)與多重切片資料語法（multi slice data syntax)( 3 0 7 )等所構成。多重切片階層語法（3 〇 7 )，係包含有巨 集 1 方體階層 I吾法（macro cube layer syntax) ( 308)， 其係明記有在對包含於多重切片內之巨集立方體階層作解 碼時所必要之資訊。。巨集立方體階層語法，細由巨集立 方體檔頭語法（3 0 9 )以及巨集立方體資料語法（3丨〇 )所 構成。巨集立方體資料語法，係由明記有對包含在內部之 複數的巨集塊階層作解碼時所分別必要之資訊的複數之巨 集塊階層語法（311)所構成。 另一方面’切片階層語法（312)，係由切片檔頭語 法（3 1 3 )以及切片資料語法（3 1 4 )所構成。切片資料語 法’係包含有明記有在對包含於切片內之巨集塊階層作解 碼時所必要之資訊的巨集塊階層語法（3 1 5 )，並明記有 在每一巨集塊中所必要之量子化參數的變更値或是模式資 -21 - 200913726 訊等。 上述之語法，係爲解碼時的必要不可或缺之構成要素 ’若是欠缺此些之語法資訊’則在解碼時會成爲無法正確 地將資料作復原。 於圖11A中，展示多重切片階層內部之語法構造的其 中一例，log2一 slice 一 cnt 一 minus一 1，爲指定在多重切片 內係包含有幾枚之切片，亦即是指定係將幾枚之圖框作總 括編碼。藉由此値，而例如如下述一般來計算出被包含於 多重切片內的切片之枚數slice—num。 slice num = 21+ log2-slice-cnt-minus- 1 接下來，明記有被包含於多重切片內之各切片的檔頭 資訊之切片檔頭語法slice— header ()，係被送訊有 slice — num 個，slice 一 header ()，例如係使用與 H.264 相同之語法。而後，明記有多重切片內之實際的編碼資料 的資訊之多重切片資料語法multi_ slice_ data ()係被 送訊。 圖11B，係展示多重切片資料語法multi_slice— data ()之其中一例。在多重切片資料語法之內部，係被送訊 有多重切片內之巨集立方體的數量個之mcube__ skip_ flag又或是巨集立方體階層語法macro — cube—layer () 。mcube— skip— flag，係爲代表是否就算並未明記有任何 之在巨集立方體的解碼時所必要之資訊，亦能夠從到此爲 -22- 200913726 止之編碼以及解碼資訊來作解碼一事的旗標’當TRUE的 情況時，則巨集立方體階層語法以下之資訊’係亦可並不 作送訊。當false的情況時，明記有在對包含於多重切 片內之巨集立方體階層作解碼時所必要之資訊的巨集立方 體階層語法macro— cube— layer ()係依序被送訊，直到 end _ of — slice — flag 成爲 1 爲止。

End— of— slice— flag，係展示有代表被包含於多重切 片內之巨集立方體的語法是否已全部被送訊一事之旗標， 當〇的情況時，係代表仍存在有未被送訊之巨集立方體語 法。當1的情況時，係代表多重切片內的巨集立方體語法 係已全部被送訊。 於圖11C中，展τκ巨集立方體階層macro — cube — layer ()之語法構造的其中一例。巨集立方體階層，係包 含有代表被包含於內部之預測殘差係爲使用2D/ 3中之何 者的變換而被作了變換一事之1位元的旗標three— d 一 Uansform—flag。此旗標，當僅能夠利用3維變換的情況 時’係並非爲必要。又，當在多重切片階層中包含有4枚 的切片之情況時，係送訊代表3維正交變換之時間方向的 盖換尺寸之 log2 — temporal — transform 一 size _ minus 一 1 。使用此値，而例如如下述一般來計算出3維變換之時間 方向的變換尺寸Tsize。 T S i Z e = 2 1 + 1〇g2 - temporal — transform — slice — minus— 1 -23- 200913726 1 〇g2 一 temporal — transform __ size — minus __ 1，當被 包含於多重切片階層中之切片數係爲2枚或4枚的情況時 ，係可作爲1位元之旗標而送訊。亦即是，當時間方向之 變換尺寸係爲2的情況時，只要送訊〇即可，當4的情況 時，只要送訊1即可。又，當被包含於多重切片階層中之 切片數係爲2的情況時，由於此旗標係僅將時間方向之變 換尺寸爲2的變換作爲3D之變換來使用，因此，係成爲 不必要的旗標。 進而，當被選擇有3 D變換的情況時，係送訊代表作 爲空間方向之變換而使用了 4x4或是8x8中之何者一事的 1位元之旗標transform— size— 8x8— flag。當被選擇有 2D變換的情況時，係與H. 2 64同樣的，藉由巨集塊階層 來將此些之資訊作送訊，於此，係並非一定要進行送訊。 在巨集立方體階層之內部，係被送訊有多重切片內之 切片數slice_cnt個之mp—skip_flag又或是巨集立方體 階層語法 macroblock—layer () 。mb— skip — flag，係爲 代表是否就算並未明記有任何之在巨集塊的解碼時所必要 之資訊，亦能夠從到此爲止之編碼以及解碼資訊來作解碼 一事的旗標’當TRUE的情況時，則巨集立方體階層語法 以下之資訊’係亦可並不作送訊。當該旗標爲FALSE的 情況時’係被送訊巨集塊階層語法macroblock _ layer () 。巨集塊階層之語法，例如’係使用與Η.264同樣的語法 〇 在Η. 204之巨集塊階層的語法中，雖係將模式資訊或 -24 - 200913726 是移動向量等之於解碼中所必要的資訊之一部分，從該當 巨集塊之左方與上方之巨集塊來作預測並編碼，但是，在 本實施形態中，係可從包含有該當巨集塊之同一切片的左 方與上方之巨集塊來分別進行與H. 264相同之預測，亦可 從包含有該當巨集塊之巨集立方體內的屬於其他之切片的 巨集塊、或者是從與該巨集塊位於同一切片內之左方或上 方的巨集塊來進行預測。又，巨集塊階層之語法，例如， 當使用有與H. 264相同之語法時，亦可將已藉由巨集立方 體階層語法macro — cube— layer ()而被送訊的重複之旗 標（例如，transform — size— 8x8— flag)作省略。 接下來，使用圖1 2以及圖1 3，對於進行3維正交變 換時之量子化正交變換係數資訊107的熵編碼方法的具體 例作說明。 進行3維正交變換，並被施加了量子化之量子化正交 變換係數資訊1 〇 7，例如，係如圖1 2所示一般，將3維正 交變換係數，亦即是巨集立方體內之各巨集塊〇、i、2、3 之量子化正交變換係數在時間方向上分別分割爲例如4個 ’並分別作爲各巨集塊階層之副區塊的變換係數，而使用 例如與H. 2 64同樣之掃描程序（鋸齒掃描）或是熵編碼之 程序來進行編碼。 又’作爲與圖1 2相異之另外一例，亦可如圖1 3所示 一般’將身爲施加3維正交變換之單位、亦即是將巨集立 方體內之副巨集塊在時間方向上作了連結後之副巨集立方 體單位內之量子化正交變換係數資訊，經由預先決定之掃 -25- 200913726 描順序來重新並排爲1維之係數列，並將該係數 如位置於時間性之最開頭的巨集塊階層之預測殘差 由與H. 2 64相同之程序來進行熵編碼。例如，當 8x8x4之變換的情況時，在副巨集立方體內，係 2 5 6個的量子化正交變換係數。將此，例如以在各 置之發生成爲非0的係數之確率的高低順序來作重 ，並作爲2 5 6個的1維係數列，來進行熵編碼。此 圖13所示一般，當時間方向之尺寸爲4的巨集立 情況時，用以將剩餘之3個的巨集塊階層之預測殘 訊的語法係成爲不必要。 又’亦可在如圖13 —般而將身爲施加3維正 之單位的副巨集立方體單位內之變換係數重新排列 之係數列後’將該係數列藉由巨集立方體內之巨集 例如，在圖中之情況，係爲4 )來作等分割，並將 後之系列分別作爲如圖1 2所示一般之各巨集塊階 區塊之變換係數，而藉由例如與H.264相同之程序 熵編碼。 於圖2中’展示本實施形態之畫像解碼裝置。 在熵解碼/逆多工化器200中，將經由前述編碼裝 編碼後之編碼資料1 1 7，依循與熵編碼相反之程序 解碼/逆多工化’並得到量子化正交變換係數資訊 移動向量/預測模式資訊i i 6、編碼構造控制資訊 以及正交變換資訊121。量子化正交變換係數資訊 係根據正交變換資訊丨2 1，而藉由逆量子化器209 [作爲例 ，而藉 進行了 存在有 係數位 新排列 時，如 方體之 差作送 交變換 爲1維 塊數（ 被分割 層的副 來進行 首先， 置而被 而進行 107a ' 119、 10 7a， 以及逆 -26- 200913726 正交變換器210’來依序受到與量子化器106以及正交變 換器1 04之處理爲相反的處理，並被變換爲與殘差訊號 201。於此，逆正交變換器210，係在內部包含有：進行時 間方向之逆正交變換的時間方向逆正交變換器210a、和進 行空間方向之逆正交變換的空間方向逆正交變換器2 1 Ob。 根據正交變換資訊1 2 1，若是切換器被連接於端子 2 1 〇c，則逆量子化器正交變換係數資訊1 07b係經由空間 方向逆正交變換器210b以及時間方向逆正交變換器210a 之兩者，而被進行時空間方向之3維逆正交變換。若是切 換器被連接於端子2 1 Ob，則逆量子化器正交變換係數資訊 1 〇 7b係僅經由空間方向逆正交變換器2 1 Ob而僅被進行空 間方向之逆正交變換，亦即是被進行2維正交變換。 當逆正交變換器210作爲3維逆正交變換器而起作用 的情況時，逆正交變換器2 1 0係求出具備有特定之量的正 交變換係數之1維的斷片化係數列，並將複數之斷片化係 數列連結而求取出1維之係數列，再從係數列而產生3維 正交變換係數，並對於3維正交變換係數進行3維逆正交 變換。逆正交變換器21〇，係將複數之解碼對象區域的各 個之前述正交變換係數，在時間方向上作連結，而產生3 維正交變換係數，並可對於前述3維正交變換係數，進行 3維逆正交變換。又，逆正交變換器21〇，係可從特定之 重的則述正交變換係數而產生3維正交變換係數，並對於 目IJ述3維正交變換係數進行3維逆正交變換。 另一方面’移動向量/預測模式資訊116係被輸入至 -27- 200913726 預測畫像產生器，並從被儲存在圖框記憶體214中之解碼 畫像訊號203來根據移動向量/預測模式資訊116來產生 預測畫像訊號1 02。殘差訊號20 1與預測畫像訊號1 02， 係經由局部解碼畫像訊號產生器202而被加算。被加算之 訊號，係因應於必要而藉由迴圈瀘波器2 1 4來進行濾波處 理，並作爲解碼畫像訊號2 03而被輸出，而被儲存在圖框 記憶體2 1 4中。編碼構造控制器220，係根據編碼構造資 訊1 1 9，而對解碼部20之處理作控制，同時，將儲存在圖 框記憶體2 1 4內之解碼畫像訊號203，依顯示順序而重新 排列。 接下來，使用圖1 4以及圖1 5，對本發明之實施形態 的畫像解碼裝置之具體的處理之流程作說明。 圖14，係爲展示被輸入之編碼資料的解碼處理之大略 的程序之圖。於此，編碼資料，係假設爲使用在圖10以 及圖11中所示之語法構造而被編碼者。首先，在步驟601 中’作爲處理單位，而被輸入有存取單元。接下來，在步 驟602中，進行在存取單元內之語法是否爲高階語法的判 定，當爲高階語法的情況時，係在步驟603中，例如經由 與H.264相同之解碼處理，而進行高階語法之解碼。當並 非爲高階語法的情況時，處理係前進至步驟6 0 4。在步驟 604中，係進行在存取單元內之語法是否爲Bm切片之判 定。當語法係並非爲B m切片的情況時，處理係前進至步 '驟605 ’並藉由例如與H.2 64相同之處理程序，而進行切 片之解碼。當語法係爲Bm切片的情況時，處理係前進至 -28- 200913726 步驟606，並進行多重切片之解碼。針對多重切片之解碼 的具體之處理程序，係於後述。 若是結束了以上之解碼處理，則在步驟607中，判定 在編碼資料內之存取單元的所有之解碼是否已結束，當並 非所有之解碼均結束的情況時，則係回到步驟60 1，並進 行下一個的存取單元之解碼處理。若是所有的存取單元之 解碼係結束，則編碼資料之解碼處理係全部結束。 圖15，係爲展示在圖14中之多重切片的解碼處理（ 步驟606 )之更爲具體的處理程序之圖。首先，在步驟 701中，將對被包含於多重切片內之圖框數作管理的計數 器slice— cnt初期化爲0。接下來，在步驟702中，進行 相對於多重切片內之第slice__ cnt個的切片之切片檔頭的 解碼。此解碼，例如，係使用與Η. 2 6 4同樣的程序來進行 。接下來，在步驟703中，使技術器增數，並在步驟704 中’判定si ice 一 cnt '亦即是完成解碼之切片檔頭，是否 爲較被包含於多重切片內之切片數slice— num爲更小。反 覆進行從步驟7 0 2〜步驟7 0 4之處理，直到完成解碼之切 片檔頭數成爲slice—num個爲止。 步驟705〜717，係爲多重切片資料語法之解碼程序。 首先’在步驟705中，進行mcube _ skip — flag之値的解 碼’並進行該値之判定。當rncube — skip— flag爲TRUE 的情況時，處理係前進至步驟712。當mcube—skip—flag 爲FALSE的情況時，處理係前進至步驟7〇6，並進行巨集 立方體檔頭之解碼。 -29- 200913726 若是以圖1 1 C之語法爲例來作說明，則首先，係進行 對代表巨集立方體內之變換係爲2維變換或是3維變換~ 事之 three— d— transform— flag的解碼。接下來，當 three一 d—transform—flag之値係爲代表3維變換之値， 且巨集立方體內之巨集區塊數、亦即是被包含在多重切片 內之切片數slice— num係爲較2更大之値的情況時，則代 表3維變換之時間方向的變換尺寸之l〇g2_temporal_ transform— size— minus— 1 係被解碼。進而，當當 three __d_ transform—flag之値係爲代表3維變換之値的情況 時，代表空間方向之變換尺寸係爲4x4或是8x8中之何者 —事的 transform __ size— 8x8— flag 係被解碼。 步驟707〜711，係展示被包含於巨集立方體內之巨集 塊的解碼之處理程序。首先，在步驟707中，將對被包含 於巨集立方體內之巨集塊之數作管理的計數器mb_cnt初 期化爲0。接下來，在步驟708中，進行mb—skiP—flag 之値的解碼，並進行該値之判定。當mb— skip 一 flag爲 TRUE的情況時，處理係前進至步驟71〇。當mb—skip — flag爲FALSE的情況時，係進行巨集立方體內之第mb — cnt個的巨集塊階層之語法的解碼。此解碼，例如，係使 用與H.264同樣的程序來進行。 在步驟71 〇中’係進行技術器mb一 cnt之增數’並藉 由判斷m b — c n t是否爲較s I i c e — c n t爲更小’來判斷在巨 集立方體內之所有的巨集塊之解碼是否已結束’當並未結 束的情況時，則係回到步驟7 〇 8，並進行下一個的巨集塊 -30- 200913726 階層之解碼處理。反覆進行步驟708〜71 1之處理，直到 巨集立方體內之所有的巨集塊之解碼結束爲止。若是巨集 立方體內之所有的巨集塊之解碼結束，則處理係前進至步 驟712。於此，巨集立方體內之殘差訊號201的量子化正 交變換係數資訊1 〇7a，係經由與前述之量子化正交變換係 數的熵編碼以及掃描程序相反的程序，而被再構成。 在步驟712中，係作成對於巨集立方體內之各巨集塊 的預測畫像訊號1 02。預測畫像訊號1 02，係從被儲存在 圖框記憶體2 1 4內之已完成解碼的參考畫像訊號，來根據 各巨集塊之已完成解碼的預測模式/移動向量資訊Η 6而 被作成。 處理係前進至步驟 713，並經由three — d — transform _flag來判斷出巨集立方體內之殘差訊號201係被作2維 正交變換或是 3維正交變換。當 three — d __ transform flag爲代表2維正交變換的情況時，處理係前進至步驟 714。當 three _ d— transform— flag爲代表 3維正交變換 的情況時，處理係前進至步驟7 1 5。 在步驟714中，係進行2維正交變換的情況時之逆量 子化與逆正交變換的處理。對於巨集立方體內之各巨集塊 的量子化正交變換係數l〇7a，進行逆量子化器209所致之 逆量子化與逆正交變換器210所致之逆正交變換。此時， 逆正交變換器210內部之切換器，係被連接於端子210d， 並僅被施加有空間方向逆正交變換器2 1 Ob所致之空間方 向逆正交變換。此處理，例如，係使用與H. 2 64同樣的程 -31 - 200913726 序來進行。 在步驟715中，係進行3維正交變換的情況時之逆量 子化與逆正交變換的處理。例如，首先，係藉由與H.264 相同之程序，來對於量子化正交變換係數l〇7a而進行逆 量子化器209所致之逆量子化。接下來，進行逆正交變換 器210所致之3維逆正交變換。此時，逆正交變換器210 內部之切換器，係被連接於端子210d，逆量子化正交變換 係數l〇7b，首先係被施加有空間方向逆正交變換器210b 所致之空間方向逆正交變換。例如，對於巨集立方體內之 各巨集塊的各副區塊，當空間方向之變換尺寸係爲4x4的 情況時，係被施加有4x4IDCT (逆離散餘弦變換），而當 空間方向之變換尺寸係爲 8x8的情況時，係被施加有 8X8IDCT。進而，對於被輸出之變換係數，經由時間方向 逆正交變換器210a而施加時間方向之逆正交變換。例如 ，當時間方向之變換尺寸爲2的情況時，係對於各副區塊 之在空間上而位置於相同位置之2個的變換係數列，而施 加2X2IDCT。當時間方向之變換尺寸爲4的情況時，亦同 樣的係對於2個的變換係數列而施加4X4IDCT。 以上，經由步驟7 1 3、7 1 4、7 1 5之處理，係得到巨集 立方體內之殘差訊號201，經由將巨集立方體內之各巨集 塊的殘差訊號2 0 1與預測畫像訊號1 〇 2 5作加算，而產生 解碼畫像訊號2 03 (步驟716 )。另外，步驟713、714、 715之處理，當mcube __ skip—flag爲TRUE的情況時’係 並非一定有必要進行，而只要將巨集立方體內之各像素的 -32- 200913726 殘差訊號201之値設爲〇即可。又，對於步驟714之處理 ，當mb— skip— flag爲TRUE的情況時，亦並非一定有必 要進行，而只要將該當巨集塊之各像素的殘差訊號201之 値設爲〇即可。又，在步驟715中，當巨集立方體內之巨 集塊的任一者係經由mb_ skip— flag TRUE而被跳過 時，係設爲將該當巨集塊之量子化正交變換係數作爲0並 進行逆量子化以及逆3維正交變換之處理者。 最後，在步驟717中，判定end—of—slice—flag是 否爲TRUE。當此旗標爲FALSE的情況時，處理係回到步 驟705，並反覆進行步驟705以後之處理，直到所有之巨 集立方體的解碼結束爲止。若是所有的巨集立方體之解碼 係結束，則結束多重切片之解碼處理。 若藉由以上之構成，則由於係可將並不相互作參考之 複數的B圖框之預測殘差於每一區塊中作總括，並對2維 正交變換與3維正交變換之其中一者作選擇，而因應於時 間方向之冗長性來選擇最適當之正交變換，因此，能夠提 昇編碼效率。又，由於係將並不相互參考之顯示時刻爲相 異的B圖框總括地作編碼，因此，各別之B圖框的預測畫 像訊號，係能夠從已被編碼之參考畫像而獨立地作成，故 而，成爲能夠不在編碼側與解碼側產生不一致地來進行編 碼/解碼。 [產業上之利用可能性] 本發明之畫像編碼方法以及裝置’係被使用於通訊媒 -33- 200913726 體、積蓄媒體以及廣播媒體等之畫像壓縮處理中。 【主要元件符號說明】 [圖1 ]圖1係爲根據本發明之實施形態1的畫像編碼 裝置之區塊圖。 [圖2]圖2係爲根據本發明之實施形態1的畫像解碼 裝置之區塊圖。 [圖3 ]圖3係爲展示一般之動晝像編碼的編碼構造之 圖。 [圖4]圖4係爲展示實施形態之編碼構造的其中一例 之圖。 [圖5]圖5係爲展示實施形態之編碼單位的其中一例 之圖。 f @ 61 01 6係爲展不實施形態之其他編碼構造的其中 一例之圖。 [圖7 ]圖7 {系胃Μ $ # 开多態、t # ί也編51 H ί立的其中 一例之圖。 [匱| 8 ] ® 8係爲展示實施形態之編碼程序的流程圖。 [0 9]® 9係爲展不實施形態之多重切片（mu丨丨丨slice )的編碼程序之流程圖。 [|ffl 1〇]圖10係爲展示實施形態之編碼資料的語法（ 、n冰的其中一例之圖。 syntax)構 [圖1 1 ]圓n係爲展示實施形態之編碼資料的語法（ 、6/1宜中一例之圖。 syntax)的具 τ -34- 200913726 [圖12]圖12係爲展示實施形態之預測殘差訊號的量 子化正父變換係數之編碼構造的其中一例之圖。 [圖1 3 ]圖1 3係爲展示實施形態之預測殘差訊號的量 子化正交變換係數之編碼構造的另外一例之圖。 [圖14]圖14係爲展示實施形態之解碼程序的流程圖 〇 [圖15]圖15係爲展示實施形態之多重切片（multi s 1 i c e )之解碼程序的流程圖。 【主要元件符號說明】 1 〇 :編碼部 20 :解碼部 1〇〇 :差分訊號 1 01 :差分訊號作成器 102 :預測畫像訊號 1 〇 3 :預測誤差訊號 1 0 4 :正交變換器 104a :時間方向正交變換器 l〇4b :空間方向正交變換器 1 0 4 c :端子 1 0 4 d :端子 105:正交變換係數資訊 106 :量子化器 107 :量子化正交變換係數 -35- 200913726 108 :熵編碼/多工化器 109 :逆量子化器 1 1 〇 :逆正交變換器 1 1 0a :時間方向逆正交變換器 1 1 Ob :空間方向逆正交變換器 1 1 0 c :端子 1 l〇d :端子 I 1 1 =局部解碼畫像訊號產生器 II 2 :局部解碼畫像訊號 1 1 3 :迴圈濾波器 1 1 4 :圖框記憶體 1 1 5 預測畫像產生器 1 1 6 :移動向量資訊/預測模式資訊 1 1 7 :編碼資料 1 1 8 :輸入圖框緩衝器 1 1 9 :編碼構造資訊 120 :編碼構造控制器 1 2 1 :正交變換資訊 200 :熵解碼/逆多工化器 201 :殘差訊號 2 02 :局部解碼畫像訊號產生器 203 :解碼畫像訊號 209 :逆量子化器 2 1 0 :逆正交變換器 -36- 200913726 2 10a :時間方向逆正交變換器 2 10b :空間方向逆正交變換器 2 1 0 c :端子 210d :端子 2 1 3 :迴圈濾波器 2 1 4 :圖框記憶體 220 :編碼構造控制器 -37-

Claims (1)

1. 200913726 十、申請專利範圍 1.一種畫像編碼裝置，其特徵爲’具備有： 預測殘差畫像產生器，係將複數之輸入畫像中的在並 不被相互作參考之複數的編碼對象畫像間而位於共通之位 置的複數之編碼對象區域的複數之預測殘差畫像，參考在 前述複數之輸入畫像中已被進行了編碼的參考畫像之局部 解碼畫像，而產生之；和 正交變換部，係藉由對於前述複數之預測殘差畫像的 各個而進行空間方向之2維正交變換的2維模式、又或是 藉由對於由前述複數之預測殘差畫像所成的3維時空間預 測殘差畫像而進行時空間方向之3維正交變換的3維模式 ，來進行正交變換，並藉由此而產生正交變換係數；和 量子化器，係將前述正交變換係數量子化，並產生量 子化正交變換係數；和 可變長度編碼器，係將量子化正交變換係數作可變長 度編碼，而產生編碼變換係數；和 多工化器，係輸出將代表前述正交變換係爲2維模式 亦或是3維模式之正交變換模式資訊和前述編碼變換係數 多工化後之編碼資料。 2 .如申請專利範圍第1項所記載之畫像編碼裝置，其 中，前述編碼器，當前述正交變換係爲3維模式的情況時 ，係將前述3維正交變換係數分割爲複數之2維係數區塊 ，並將對各係數區塊進行1維掃描所得到之係數列，作可 變長度編碼。 -38- 200913726 3 .如申請專利範圍第1項所記載之畫像編碼裝置，其 中，前述編碼器，當前述正交變換係爲3維模式的情況時 ，係將對前述3維正交變換係數進行1維掃描所得到之係 數列，作可變長度編碼。 4 ·如申請專利範圍第1項所記載之畫像編碼裝置，其 中’係更進而包含有輸入圖框緩衝器，其係根據編碼構造 資訊，而將遵循編碼順序之圖框又或是複數圖框之畫像， 於每一編碼單位而輸出至前述預測殘差畫像產生器處。 5 ·如申請專利範圍第4項所記載之畫像編碼裝置，其 中’前述輸入圖框緩衝器，係將把位置在相同之空間位置 的複數之巨集塊（m a c r 〇 b 1 〇 c k )於時間方向上而作了連結 的巨集立方體（macro cube) ’作爲前述編碼單位，而將 畫像輸出至前述預測殘差畫像產生器處。 6 .如申請專利範圍第1項所記載之畫像編碼裝置，其 中，係更進而包含有： 逆量子化器，係將前述量子化正交變換係數作逆量子 化；和 逆正交變換器，係將逆量子化正交變換係數作逆正交 變換；和 局部解碼畫像訊號產生器，係將從此逆正交變換器而 來之再生預測誤差訊號與預測誤差訊號作加算，而產生局 部解碼訊號；和 預測畫像產生器’係從前述輸入畫像訊號以及前述局 部解碼畫像訊號，而根據某一預測模式資訊來產生預測畫 -39- 200913726 像訊號， 前述逆正交變換器，係包含有進行時間方向之逆正交 變換的時間方向逆正交變換器、和進行空間方向之逆正交 變換的空間方向逆正交變換器。 7. —種畫像編碼裝置，其特徵爲’具備有： 預測殘差畫像產生器，係將複數之輸入畫像中的在並 不被相互作參考之複數的編碼對象畫像間而位於共通之位 置的複數之編碼對象區域的各個之預測殘差畫像，參考在 前述複數之輸入畫像中已被進行了編碼的參考畫像之局部 解碼畫像，而產生之；和 正交變換器，係在由前述複數之預測殘差畫像所成的 3維時空間預測殘差畫像中，進行時空間方向之3維正交 變換，來產生正交變換係數；和 量子化器，係將前述正交變換係數量子化’並產生量 子化正交變換係數；和 編碼器，係將前述量子化正交變換係數作可變長度編 碼，而產生前述編碼對象區域之編碼資料。 8. —種畫像編碼方法，其特徵爲’具備有： 預測殘差畫像產生步驟，係將複數之輸入畫像中的在 並不被相互作參考之複數的編碼對象畫像間而位於共通之 位置的複數之編碼對象區域的複數之預測殘差畫像，參考 在前述複數之輸入畫像中已被進行了編碼的參考畫像之局 部解碼畫像，而產生之；和 正交變換步驟，係藉由對於前述複數之預測殘差畫像 -40- 200913726 的各個而進行空間方向之2維正交變換的2維模式、又或 是藉由對於由前述複數之預測殘差畫像所成的3維時空間 預測殘差畫像而進行時空間方向之3維正交變換的3維模 式，來進行正交變換，並藉由此來產生正交變換係數；和 量子化步驟，係將前述正交變換係數量子化’並產生 量子化正交變換係數；和 可變長度編碼步驟，係將量子化正交變換係數作可變 長度編碼，而產生編碼變換係數；和 多工化步驟，係將代表前述正交變換係爲2維模式亦 或是3維模式之正交變換模式資訊和前述編碼變換係數多 工化，並輸出編碼資料。 9.如申請專利範圍第8項所記載之畫像編碼方法，其 中，前述編碼步驟，當前述正交變換係爲3維模式的情況 時，係將前述3維正交變換係數分割爲複數之2維係數區 塊，並將對各係數區塊進行1維掃描所得到之係數列，作 可變長度編碼。 1 0.如申請專利範圍第8項所記載之畫像編碼方法， 其中，前述編碼步驟，當前述正交變換係爲3維模式的情 況時，係將對前述3維正交變換係數進行1維掃描所得到 之係數列，作可變長度編碼。 1 1 .如申請專利範圍第8項所記載之畫像編碼方法， 其中，前述預測殘差畫像產生步驟，係將把位置在相同之 空間位置的複數之巨集塊（macro block)於時間方向上而 作了連結的巨集立方體（m a c r 〇 c u b e )，作爲前述編碼對 -41 - 200913726 象區域，而產生前述預測殘差畫像。 12. 如申請專利範圍第8項所記載之畫像編碼方法， 其中，係更進而包含有： 逆量子化步驟’係將前述量子化正交變換係數作逆量 子化；和 逆正交變換步驟，係將逆量子化正交變換係數作逆正 交變換；和 局部解碼訊號產生步驟，係將藉由此逆正交變換所得 之再生預測誤差訊號與預測誤差訊號作加算，而產生局部 解碼訊號；和 預測畫像訊號產生步驟，係從前述輸入畫像訊號以及 前述局部解碼畫像訊號，而根據某一預測模式資訊來產生 預測畫像訊號， 前述逆正交變換步驟，係包含有進行時間方向之逆正 交變換的時間方向逆正交變換步驟、和進行空間方向之逆 正交變換的空間方向逆正交變換步驟。 13. —種畫像解碼裝置，其特徵爲，具備有·· 逆多工化部，係從所輸入之編碼資料，而抽出編碼變 換係數與正交變換模式資訊；和 可變長度解碼部，係將前述編碼變換係數作可變長度 解碼，並產生量子化正交變換係數；和 逆量子化器’係將前述量子化正交變換係數作逆量子 化’並產生解碼對象畫像之解碼對象區域的正交變換係數 ;和 -42- 200913726 2維逆正交變換器，係當前述正交變換模式資 表2維模式之値的情況時，將前述正交變換係數在 向上作2維逆正交變換，並產生解碼對象畫像之解 區域的預測殘差畫像；和 3維逆正交變換器，係當前述正交變換模式資 表3維模式之値的情況時，將在複數之解碼對象畫 位於共通之位置處的複數之解碼對象區域之前述正 係數，在時空間方向上作3維逆正交變換，並產生 數之解碼對象畫像間而位於共通之位置處的複數之 象區域的複數之預測殘差畫像所成之3維時空間預 畫像；和 解碼畫像產生部，係對參考畫像作參考，並從 述2維逆正交變換器以及前述3維逆正交變換器所 預測殘差畫像，而產生解碼對象畫像之解碼對象區 碼畫像。 14. 如申請專利範圍第13項所記載之畫像解碼 其中，前述3維逆正交變換器，係將複數之解碼對 的各個之前述正交變換係數，在時間方向上作連結 生3維正交變換係數，並對於前述3維正交變換係 行3維逆正交變換。 15. 如申請專利範圍第13項所記載之畫像解碼 其中，前述3維逆正交變換器，係從特定量之前述 換係數而產生3維正交變換係數，並對於前述3維 換係數，進行3維逆正交變換。 訊爲代 空間方 碼對象 訊爲代 像間而 交變換 由在複 解碼對 測殘差 藉由前 產生之 域的解 裝置， 象區域 ，而產 數，進 裝置， 正交變 正交變 -43- 200913726 16. —種畫像解碼裝置，其特徵爲，具備有： 可變長度解碼器，係將所輸入之編碼資料作可變長度 解碼，並產生量子化正交變換係數；和 逆量子化器，係將前述量子化正交變換係數逆量子化 ，並產生正交變換係數；和 逆正交變換器，係對前述正交變換係數進行時空間方 向之3維逆正交變換，並產生由在並不被相互作參考之複 數的編碼對象畫像間而位於共通之位置的複數之編碼對象 區域的複數之預測殘差畫像所成的3維時空間預測殘差畫 像；和 解碼畫像產生器，係使用前述複數之預測殘差畫像以 及已產生之解碼畫像，而產生前述複數之解碼對象區域的 畫像。 17. —種畫像解碼方法，其特徵爲，具備有： 逆多工化步驟，係從所輸入之編碼資料，而抽出編碼 變換係數與正交變換模式資訊；和 可變長度解碼步驟，係將前述編碼變換係數作可變長 度解碼，並產生量子化正交變換係數；和 逆量子化步驟，係將前述量子化正交變換係數作逆量 子化，並產生解碼對象畫像之解碼對象區域的正交變換係 數；和 2維逆正交變換步驟，係當前述正交變換模式資訊爲 代表2維模式之値的情況時，將前述正交變換係數在空間 方向上作2維逆正交變換，並產生解碼對象畫像之解碼對 -44- 200913726 象區域的預測殘差畫像；和 3維逆正交變換步驟，係當前述正交變換模式資訊爲 代表3維模式之値的情況時，將在複數之解碼對象畫像間 而位於共通之位置處的複數之解碼對象區域之前述正交變 換係數’在時空間方向上作3維逆正交變換，並產生由在 複數之解碼對象畫像間而位於共通之位置處的複數之解碼 對象區域的複數之預測殘差畫像所成之3維時空間預測殘 差畫像；和 解碼畫像產生步驟’係對參考畫像作參考，並從藉由 目U述2維逆正父變換步驟以及前述3維逆正交變換步驟所 產生之預測殘差畫像，而產生解碼對象畫像之解碼對象區 域的解碼畫像。 -45-