TW202310621A - 非暫時性記憶媒體 - Google Patents
非暫時性記憶媒體 Download PDFInfo
- Publication number
- TW202310621A TW202310621A TW111140010A TW111140010A TW202310621A TW 202310621 A TW202310621 A TW 202310621A TW 111140010 A TW111140010 A TW 111140010A TW 111140010 A TW111140010 A TW 111140010A TW 202310621 A TW202310621 A TW 202310621A
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- blocks
- information
- sub
- division
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 335
- 238000005192 partition Methods 0.000 claims description 569
- 238000000638 solvent extraction Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 description 348
- 230000008569 process Effects 0.000 description 206
- 230000033001 locomotion Effects 0.000 description 201
- 239000013598 vector Substances 0.000 description 142
- 230000011218 segmentation Effects 0.000 description 140
- 238000006243 chemical reaction Methods 0.000 description 119
- 238000013139 quantization Methods 0.000 description 115
- 238000010586 diagram Methods 0.000 description 74
- 238000007906 compression Methods 0.000 description 59
- 230000006835 compression Effects 0.000 description 58
- 238000012986 modification Methods 0.000 description 38
- 230000004048 modification Effects 0.000 description 38
- 230000009466 transformation Effects 0.000 description 32
- 238000004590 computer program Methods 0.000 description 28
- 239000000470 constituent Substances 0.000 description 26
- 238000010276 construction Methods 0.000 description 25
- 238000012937 correction Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000005236 sound signal Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 11
- 230000011664 signaling Effects 0.000 description 11
- 238000010187 selection method Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 101100537098 Mus musculus Alyref gene Proteins 0.000 description 7
- 101150095908 apex1 gene Proteins 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 238000009795 derivation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical group COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
Abstract
一種編碼裝置，是對圖像的區塊進行編碼，並具備有處理器、及連接於處理器的記憶體，處理器是利用記憶體讀出區塊的幾何資訊；判定已讀出的幾何資訊是否與規定的幾何資訊相等；在已讀出的幾何資訊與規定的幾何資訊為相等的情況下，將區塊分割成第1幾何集的規定數量之子區塊；在已讀出的幾何資訊與規定的幾何資訊為不相等的情況下，將區塊分割成與第1幾何集不同的其他幾何集之規定數量的子區塊；並以編碼處理來對子區塊進行編碼，其中該編碼處理是包括轉換處理及/或預測處理的。
Description
發明領域
本揭示是有關於一種編碼裝置、解碼裝置、編碼方法及解碼方法。
發明背景
一種被稱為HEVC(高效率視訊編碼，High-Efficiency Video Coding)的影像編碼標準規格，已藉由JCT-VC(視訊編碼聯合工作小組，Joint Collaborative Team on Video Coding)而被標準化。
先前技術文獻
非專利文獻
非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(高效率視訊編碼，High Efficiency Video Coding)
發明概要
發明欲解決之課題
在像這樣的編碼及解碼技術中，所要求的是更進一步的壓縮效率之提升及處理負荷之減輕。
於此，本揭示提供一種可以實現更進一步的壓縮效率之提升及處理負荷之減輕的編碼裝置、解碼裝置、編碼方法或解碼方法。
用以解決課題之手段
本揭示之一態樣的編碼裝置，是對圖像的區塊進行編碼的編碼裝置，具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，讀出區塊的幾何資訊；判定已讀出的前述幾何資訊是否與規定的幾何資訊相等，在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
再者，這些的全面或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式及記錄媒體之任意的組合來實現。
發明效果
本揭示可以提供一種可以實現更進一步的壓縮效率之提升及處理負荷之減輕的編碼裝置、解碼裝置、編碼方法或解碼方法。
用以實施發明之形態
(成為本揭示之基礎的知識見解)
在以往的圖像及影像之編碼及解碼方法中，是將圖像分割成區塊，且在區塊層級中進行編碼處理及解碼處理。在近年的影像標準規格中，除了常規的8x8或16x16之尺寸以外也可以用各種的區塊尺寸來進行編碼處理及解碼處理。例如，在圖像的編碼處理及解碼處理中，可以使用4x4至256x256的尺寸範圍。
為了表示4x4至256x256的區塊尺寸之範圍，分割模式(例如，四元樹分割模式及二元樹分割模式)及分割旗標(例如，分裂旗標(split flag))等之區塊分割資訊是相對於區塊來決定，並予以訊號化。此訊號化的管理負擔(overhead)是隨著分割深度增加而增加。並且，當管理負擔增加時，會使整體的影像壓縮效率降低。
於是，在本揭示中，是提供一種可以減少區塊分割資訊的編碼量，以使壓縮效率提升的編碼裝置及解碼裝置。
以下，參照圖式來具體說明實施形態。
再者，以下說明的實施形態都是顯示全面性的或具體的例子之實施形態。在以下實施形態中所示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等，都只是一個例子，並非用來限定請求範圍的主旨。又，以下的實施形態的構成要素之中，針對沒有記載在表示最上位概念之獨立請求項中的構成要素，是作為任意之構成要素來說明。
(實施形態1)
首先，說明實施形態1的概要，來作為可適用後述之本揭示的各態樣中說明的處理及/或構成的編碼裝置及解碼裝置之一例。但是，實施形態1只不過是可適用本揭示的各態樣中說明的處理及/或構成之編碼裝置及解碼裝置的一例，本揭示的各態樣中說明的處理及/或構成，亦可在與實施形態1不同的編碼裝置及解碼裝置中實施。
在相對於實施形態1而適用本揭示的各態樣中所說明的處理及/或構成的情況下，亦可進行例如以下的任一項。
(1)對於實施形態1的編碼裝置或解碼裝置，可將構成該編碼裝置或解碼裝置的複數個構成要素當中，與本揭示的各態樣中所說明的構成要素相對應的構成要素，替換為本揭示的各態樣中所說明的構成要素。
(2)對於實施形態1的編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要素當中一部分的構成要素，先施加了功能或實施的處理之追加、替換、刪除等任意的變更後，再將與本揭示的各態樣中所說明的構成要素相對應的構成要素，替換為本揭示的各態樣中所說明的構成要素。
(3)對於實施形態1的編碼裝置或解碼裝置所實施的方法，針對處理的追加、及/或該方法所包含的複數個處理當中的一部分之處理先施加了替換、刪除等任意的變更後，再將與本揭示的各態樣中說明的處理相對應的處理，替換為本揭示的各態樣中所說明的處理。
(4)可將構成實施形態1的編碼裝置或解碼裝置之複數個構成要素當中的一部分之構成要素，與下述構成要素組合而實施：本揭示的各態樣中所說明的構成要素、具備有本揭示的各態樣中所說明的構成要素所具備的功能之一部分的構成要素、或者實施本揭示的各態樣中所說明的構成要素所實施的處理之一部分的構成要素。
(5)可將具備構成實施形態1的編碼裝置或解碼裝置之複數個構成要素當中的一部分之構成要素所具備的功能之一部分的構成要素、或者實施構成實施形態1的編碼裝置或解碼裝置之複數個構成要素當中的一部分之構成要素所實施的處理之一部分的構成要素，與下述構成要素組合而實施：本揭示的各態樣中所說明的構成要素、具備本揭示的各態樣中所說明的構成要素所具備的功能之一部分的構成要素、或實施本揭示的各態樣中所說明的構成要素所實施的處理之一部分的構成要素。
(6)對於實施形態1的編碼裝置或解碼裝置所實施的方法，可將在該方法所包含的複數個處理當中，與本揭示的各態樣中所說明的處理相對應的處理，替換為本揭示的各態樣中所說明的處理。
(7)可將實施形態1的編碼裝置或解碼裝置所實施的方法所包含的複數個處理當中之一部分的處理，與本揭示的各態樣中所說明的處理組合而實施。
再者，在本揭示的各態樣中所說明的處理及/或構成的實施之方式，並不限定於上述的例子。例如，也可以在以和實施形態1中揭示的動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置不同之目的來利用的裝置中予以實施，也可以單獨地來實施各態樣中所說明的處理及/或構成。又，也可以將不同的態樣中說明的處理及/或構成組合而實施。
[編碼裝置之概要]
首先，說明實施形態1之編碼裝置的概要。圖1是顯示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位對動態圖像/圖像進行編碼的動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100是以區塊單位對圖像進行編碼的裝置，並具備分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、區塊記憶體118、迴路濾波部120、框記憶體122、框內預測部124、框間預測部126、及預測控制部128。
編碼裝置100可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、框內預測部124、框間預測部126及預測控制部128而發揮功能。又，編碼裝置100也可以作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、框內預測部124、框間預測部126及預測控制部128的1個以上之專用的電子電路來實現。
以下，針對編碼裝置100所包含的各構成要素來進行說明。
[分割部]
分割部102是將包含在輸入動態圖像的各圖片分割成複數個區塊，且將各區塊輸出至減法部104。例如，分割部102首先將圖片分割成固定尺寸(例如128x128)的區塊。此固定尺寸的區塊有時被稱為編碼樹單元(CTU)。並且，分割部102會根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，而將各個固定尺寸的區塊分割成可變尺寸(例如64x64以下)的區塊。此可變尺寸的區塊有時被稱為編碼單元(CU)、預測單元(PU)或者轉換單元(TU)。再者，在本實施形態中，亦可不需要區別CU、PU及TU，而使圖片內的一部分或全部的區塊成為CU、PU、TU的處理單位。
圖2是顯示實施形態1之區塊分割的一例之圖。在圖2中，實線是表示藉由四元樹區塊分割的區塊交界，而虛線是表示藉由二元樹區塊分割的區塊交界。
在此，區塊10是128x128像素的正方形區塊(128x128區塊)。此128x128區塊10首先被分割成4個正方形的64x64區塊(四元樹區塊分割)。
左上的64x64區塊會進一步地被垂直分割成2個矩形的32x64區塊，左邊的32x64區塊進一步被垂直分割成2個矩形的16x64區塊(二元樹區塊分割)。其結果是左上的64x64區塊被分割成2個的16x64區塊11、12、以及32x64區塊13。
右上的64x64區塊被水平分割成2個矩形的64x32區塊14、15(二元樹區塊分割)。
左下的64x64區塊被分割成4個正方形的32x32區塊(四元樹區塊分割)。4個32x32區塊當中，左上的區塊及右下的區塊進一步被分割。左上的32x32區塊被垂直分割成2個矩形的16x32區塊，且右邊的16x32區塊進一步地被水平分割成2個16x16區塊(二元樹區塊分割)。右下的32x32區塊被水平分割成2個32x16區塊(二元樹區塊分割)。其結果，可將左下的64x64區塊分割成：16x32區塊16、2個16x16區塊17、18、2個32x32區塊19、20、與2個32x16區塊21、22。
右下的64x64區塊23未被分割。
如以上，在圖2中，區塊10是根據遞迴的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11至23。像這樣的分割有時被稱為QTBT(四元樹加二元樹區塊結構(quad-tree plus binary tree))分割。
再者，在圖2中，雖然1個區塊是被分割成4個或2個區塊(四元樹或二元樹區塊分割)，但分割並不限定於此。例如，1個區塊亦可被分割成3個區塊(三元樹區塊分割)。包含像這樣的三元樹區塊分割在內的分割，有時被稱為MBT(多型樹(multi type tree))分割。
[減法部]
減法部104是以由分割部102所分割的區塊單位來從原訊號(原樣本)中減去預測訊號(預測樣本)。也就是說，減法部104會算出編碼對象區塊(以下，稱為當前區塊)的預測誤差(也可稱為殘差)。而且，減法部104會將算出的預測誤差輸出至轉換部106。
原訊號是編碼裝置100的輸入訊號，且是表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。下文中，有時也會將表示圖像的訊號稱為樣本。
[轉換部]
轉換部106會將空間區域的預測誤差轉換成頻率區域的轉換係數，並將轉換係數輸出至量化部108。具體來說，轉換部106會例如對空間區域的預測誤差進行預定之離散餘弦轉換(DCT)或離散正弦轉換(DST)。
再者，轉換部106亦可從複數個轉換類型之中適應地選擇轉換類型，且使用與所選擇的轉換類型相對應之轉換基底函數(transform basis function)，來將預測誤差轉換成轉換係數。像這樣的轉換有時被稱為EMT(外顯性多重核心轉換(explicit multiple core transform))或者AMT(適應性多重轉換(adaptive multiple transform))。
複數個轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I、及DST-VII。圖3是顯示對應於各轉換類型的轉換基底函數之表格。在圖3中N是表示輸入像素的數量。從這些複數個轉換類型之中的轉換類型之選擇，例如也可取決於預測的種類(框內預測(intra-prediction)及框間預測(inter-prediction))，亦可取決於框內預測模式。
像這樣的顯示是否適用EMT或AMT的資訊(例如被稱為AMT旗標(AMT flag))及顯示所選擇的轉換類型的資訊，是在CU層級被訊號化。另，這些資訊的訊號化並不需限定於CU層級，也可為其他層級(例如，序列層級(sequence level)、圖片層級(picture level)、切片層級(slice level)、方塊層級(tile level)或者CTU層級)。
又，轉換部106也可以將轉換係數(轉換結果)再轉換。像這樣的再轉換有時被稱為AST(適應性二次轉換(adaptive secondary transform))或者NSST(非可分離式二次轉換(non-separable secondary transform))。例如，轉換部106會按對應於框內預測誤差的轉換係數之區塊所含的每個子區塊(例如4x4子區塊)進行再轉換。顯示是否適用NSST的資訊以及與NSST所使用的轉換矩陣相關的資訊，是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他層級(例如，序列層級、圖片層級、切片層級、方塊層級或者CTU層級)。
在此，可分離(Separable)的轉換是指以相當於輸入的維度之數來按各個方向分離並進行複數次轉換的方式，非可分離式的轉換是指當輸入為多維時將2個以上的維度匯總而視為一維，且匯總來進行轉換的方式。
例如，以非可分離(Non-Separable)之轉換的一例來說，在輸入為4x4的區塊之情況下，將其視為具有16個要素的一個排列，而對該排列以16x16的轉換矩陣來進行轉換處理之類的轉換。
又，同樣地，於將4x4的輸入區塊視為具有16個要素的一種排列之後，對該排列進行複數次吉文斯旋轉(Givens rotation)之類的轉換(超立方吉文斯轉換，Hypercube Givens Transform)也是非可分離的轉換的例子。
[量化部]
量化部108是對從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以規定的掃描順序掃描當前區塊的轉換係數，且根據與所掃描的轉換係數相對應之量化參數(QP)來對該轉換係數進行量化。並且，量化部108會將當前區塊之已量化的轉換係數(以下，稱為量化係數)輸出到熵編碼部110及反量化部112。
規定的順序是用於轉換係數的量化/反量化之順序。例如，規定的掃描順序是以頻率的遞升順序(從低頻到高頻的順序)或遞降順序(從高頻到低頻的順序)來定義。
所謂量化參數是定義量化步距(量化寬度)的參數。例如，量化參數的值增加的話，量化步距也會增加。也就是說，量化參數的值增加的話，量化誤差會増大。
[熵編碼部]
熵編碼部110是藉由量化部108對輸入的量化係數進行可變長度編碼，來產生編碼訊號(編碼位元流(bit stream))。具體來說，熵編碼部110是例如將量化係數二值化，而對二值訊號進行算術編碼。
[反量化部]
反量化部112是對來自量化部108的輸入即量化係數進行反量化。具體來說，反量化部112是以規定的掃描順序對當前區塊的量化係數進行反量化。並且，反量化部112會將當前區塊之已反量化的轉換係數輸出到反轉換部114。
[反轉換部]
反轉換部114是對來自反量化部112的輸入即轉換係數進行反轉換，藉此將預測誤差予以復原。具體來說，反轉換部114是對轉換係數進行與由轉換部106所進行的轉換相對應之反轉換，藉此將當前區塊的預測誤差予以復原。並且，反轉換部114會將已復原的預測誤差輸出至加法部116。
再者，由於已復原的預測誤差會因量化而失去資訊，因此和減法部104算出的預測誤差並不一致。亦即，已復原的預測誤差中含有量化誤差。
[加法部]
加法部116會對來自反轉換部114的輸入即預測誤差、及來自預測控制部128的輸入即預測樣本進行加法運算，藉此再構成當前區塊。而且，加法部116會將再構成的區塊輸出到區塊記憶體118及迴路濾波部120。有時也將再構成區塊稱為局部解碼區塊(local decoding block)。
[區塊記憶體]
區塊記憶體118是用於儲存是編碼對象圖片(以下，稱為當前圖片)內的區塊之記憶部，其中該區塊是在框內預測中所參考的區塊。具體來說，區塊記憶體118是儲存從加法部116所輸出的再構成區塊。
[迴路濾波部]
迴路濾波部120會對藉由加法部116再構成的區塊施行迴路濾波，且將已進行濾波的再構成區塊輸出到框記憶體122。迴路濾波器是指在編碼迴路內使用的濾波器(內嵌式迴圈濾波器(In-loop filter))，例如包括去區塊濾波器(Deblocking Filter，DF)、取樣自適應偏移(Sample Adaptive Offset，SAO)、及自適應迴路濾波器(Adaptive Loop Filter，ALF)等。
在ALF中，可適用去除編碼失真用的最小平方誤差濾波器，例如可適用按當前區塊內的2x2子區塊的每一個，根據局部的梯度(gradient)的方向及活動性(activity)來從複數個濾波器之中選擇的1個濾波器。
具體來說，首先，可將子區塊(例如2x2子區塊)分類成複數個類別(class)(例如15個或25個類別)。子區塊的分類是根據梯度的方向及活動性來進行。例如，可利用梯度的方向值D(例如0至2或0至4)與梯度的活動值A(例如0至4)來算出分類值C(例如C=5D＋A)。而且，根據分類值C，來將子區塊分類成複數個類別(例如15個或25個類別)。
梯度的方向值D，例如可藉比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活動值A，例如將複數個方向的梯度作加法運算，並對加法結果進行量化，藉此予以導出。
根據這種分類的結果，即可從複數個濾波器之中決定子區塊用的濾波器。
以ALF中所用的濾波器之形狀來說，例如可利用圓對稱形狀。圖4A至圖4C是顯示於ALF所用的濾波器之形狀的數例之圖。圖4A是顯示5x5菱形(diamond)形狀濾波器，圖4B是顯示7x7菱形形狀濾波器，圖4C是顯示9x9菱形形狀濾波器。顯示濾波器的形狀之資訊，是在圖片層級被訊號化。再者，顯示濾波器的形狀之資訊的訊號化並不需要限定於圖片層級，亦可為其他層級(例如，序列層級、切片層級、方塊層級、CTU層級或者CU層級)。
ALF的開啟/關閉(on/off)是在例如圖片層級或者CU層級決定的。例如，針對亮度是在CU層級來決定是否適用ALF，而針對色差則是在圖片層級來決定是否適用ALF。顯示ALF的開啟/關閉之資訊，可在圖片層級或CU層級被訊號化。再者，顯示ALF的開啟/關閉之資訊的訊號化並不需要限定於圖片層級或CU層級，亦可為其他的層級(例如，序列層級、切片層級、方塊層級或者CTU層級)。
可選擇的複數個濾波器(例如到15個或者25個為止的濾波器)之係數集合(set)，是在圖片層級被訊號化。再者，係數集合的訊號化並不需要限定於圖片層級，也可以是其他層級(例如序列層級、切片層級、方塊層級、CTU層級、CU層級或者子區塊層級)。
[框記憶體]
框記憶體122是用以儲存被用在框間預測的參照圖片之記憶部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體122是儲存已藉由迴路濾波部120濾波的再構成區塊。
[框內預測部]
框內預測部124是參考已保存於區塊記憶體118的當前圖片內之區塊來進行當前區塊的框內預測(也稱為畫面內預測)，藉此產生預測訊號(框內預測訊號)。具體來說，框內預測部124是參考與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此產生框內預測訊號，並將框內預測訊號輸出至預測控制部128。
例如，框內預測部124會利用事先規定的複數個框內預測模式之中的1個來進行框內預測。複數個框內預測模式包含1個以上之非方向性預測模式、以及複數個方向性預測模式。
1個以上的非方向性預測模式包含例如H.265/HEVC(高效率視訊編碼(High-Efficiency Video Coding))規格(非專利文獻1)所規定的平面(Planar)預測模式及DC預測模式。
複數個方向性預測模式，例如包含以H.265/HEVC規格所規定的33個方向之預測模式。再者，複數個方向性預測模式，除了33個方向以外，進而亦可包含32個方向的預測模式(合計65個的方向性預測模式)。圖5A是顯示框內預測中的67個框內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭是表示以H.265/HEVC規格所規定的33個方向，虛線箭頭是表示追加的32個方向。
再者，在色差區塊的框內預測中，亦可參考亮度區塊。也就是說，也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。像這樣的框內預測有時被稱為CCLM(交叉成分線性模型，cross-component linear model)預測。參考如此亮度區塊的色差區塊之框內預測模式(例如被稱為CCLM模式)，也可以作為色差區塊的1個框內預測模式來加入。
框內預測部124亦可根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。像這樣的伴隨補正的框內預測有時被稱為PDPC(位置相依之框內預測組合，position dependent intra prediction combination)。顯示有無PDPC的適用之資訊(例如被稱為PDPC旗標)，例如在CU層級被訊號化。再者，此資訊的訊號化並不需要限定於CU層級，也可以是其他層級(例如序列層級、圖片層級、切片層級、方塊層級或者CTU層級)。
[框間預測部]
框間預測部126會參考保存在框記憶體122的參照圖片且與當前圖片不同的參照圖片，來進行當前區塊的框間預測(也稱為畫面間預測)，以此產生預測訊號(框間預測訊號)。框間預測是以當前區塊或當前區塊內的子區塊(例如4x4區塊)之單位來進行。例如，框間預測部126是針對當前區塊或子區塊而在參照圖片內進行運動搜尋(移動評估(motion estimation))。而且，框間預測部126是利用以運動搜尋所得到的運動資訊(例如移動向量)來進行運動補償，藉此產生當前區塊或子區塊的框間預測訊號。而且，框間預測部126會將所產生的框間預測訊號輸出至預測控制部128。
使用於運動補償的運動資訊會被訊號化。在移動向量的訊號化中，亦可使用預測移動向量(motion vector predictor)。也就是說，亦可將移動向量與預測移動向量之間的差量予以訊號化。
再者，不只是由運動搜尋得到的當前區塊之運動資訊，亦可連鄰接區塊的運動資訊也利用，來產生框間預測訊號。具體來說，藉由將根據由運動搜尋得到的運動資訊之預測訊號、以及根據鄰接區塊的運動資訊之預測訊號作加權相加，而以當前區塊內的子區塊單位來產生框間預測訊號亦可。像這樣的框間預測(運動補償)有時被稱為OBMC(重疊區塊運動補償，overlapped block motion compensation)。
在像這樣的OBMC模式中，顯示OBMC用的子區塊之尺寸的資訊(例如被稱為OBMC區塊尺寸)，是在序列層級被訊號化。又，顯示是否適用OBMC模式的資訊(例如被稱為OBMC旗標)，是在CU層級被訊號化。再者，這些資訊的訊號化之層級並不需要限定於序列層級及CU層級，亦可為其他層級(例如圖片層級、切片層級、方塊層級、CTU層級或者子區塊層級)。
針對OBMC模式來更具體地說明。圖5B及圖5C是用於說明藉由OBMC處理進行的預測圖像補正處理之概要的流程圖及概念圖。
首先，利用分配於編碼對象區塊的移動向量(MV)，來取得藉由一般的運動補償形成的預測圖像(Pred)。
接著，將編碼完成的左鄰接區塊之移動向量(MV_L)適用於編碼對象區塊來取得預測圖像(Pred_L)，且對前述預測圖像與Pred_L作加權並重疊，以此進行預測圖像的第1次補正。
同樣地，將編碼完成的上鄰接區塊之移動向量(MV_U)適用於編碼對象區塊來取得預測圖像(Pred_U)，且對已進行前述第1次補正之預測圖像與Pred_U作加權並重疊，以此進行預測圖像的第2次補正，並將其設為最終的預測圖像。
再者，在此雖然說明了利用了左鄰接區塊及上鄰接區塊的2階段的補正的方法，但也可以設為利用右鄰接區塊或下鄰接區塊來進行比2階段更多次數的補正之構成。
再者，進行重疊的區域也可不是區塊整體的像素區域，而只是區塊交界附近的一部分之區域。
再者，在此雖然針對來自1張參照圖片的預測圖像補正處理作了說明，但從複數張參照圖片來補正預測圖像的情況也是相同的，在取得已從各個參照圖片補正的預測圖像後，進一步將所得到的預測圖像重疊，以此設為最終的預測圖像。
再者，前述處理對象區塊可以是預測區塊單位，也可以是將預測區塊進一步地分割而成的子區塊單位。
以判斷是否適用OBMC處理的方法來說，例如有利用OBMC旗標(obmc_flag)的方法，其中該OBMC旗標是顯示是否適用OBMC處理之訊號。以具體的一例來說，在編碼裝置中，判定編碼對象區塊是否屬於運動複雜的區域，在屬於運動複雜的區域之情況下，是設定數值1來作為OBMC旗標(obmc_flag)，且適用OBMC處理來進行編碼，在不屬於運動複雜的區域之情況下，是設定數值0來作為OBMC旗標(obmc_flag)，且在不適用OBMC處理的情形下進行編碼。另一方面，在解碼裝置中，是對已描述於串流(stream)中的OBMC旗標(obmc_flag)進行解碼，以此因應於該數值來切換是否適用OBMC處理，而進行解碼。
再者，運動資訊也可以不被進行訊號化，而是在解碼裝置側予以導出。例如，也可使用以H.265/HEVC規格所規定的合併模式(merge mode)。又例如，亦可在解碼裝置側進行運動搜尋，藉此來導出運動資訊。在此情況下，可在不使用當前區塊的像素值的情形下進行運動搜尋。
在此，針對在解碼裝置側進行運動搜尋的模式進行說明。在此解碼裝置側進行運動搜尋的模式有時被稱為PMMVD(型樣匹配移動向量導出，pattern matched motion vector derivation)模式、或者FRUC(畫面更新率提升轉換，frame rate up-conversion)模式。
在圖5D中顯示FRUC處理的一例。首先，參考空間上或時間上與當前區塊相鄰之編碼完成區塊的移動向量，而產生各自具有預測移動向量的複數個候補之清單(也可與合併清單共通)。其次，從登錄於候補清單的複數個候補MV之中選擇最佳候補MV。例如，算出候補清單所含的各候補之評估值，並根據評估值來選擇1個候補。
而且，根據所選擇的候補之移動向量，來導出當前區塊用的移動向量。具體來說，例如，將所選擇的候補之移動向量(最佳候補MV)原樣導出來作為當前區塊用的移動向量。又例如，也可在與所選擇的候補之移動向量相對應的參照圖片內的位置之周邊區域中進行型樣匹配，藉此來導出當前區塊用的移動向量。也就是說，也可以對最佳候補MV的周邊之區域以同樣的方法來進行搜尋，在出現了使評估值成為更好的數值之MV的情況下，將最佳候補MV更新為前述MV，將其作為當前區塊的最終之MV。再者，也可設為不實施該處理的構成。
以子區塊單位來進行處理的情況下，也可以設為完全相同的處理。
再者，評估值是藉以與移動向量相對應的參照圖片內之區域、及規定的區域之間的型樣匹配，求出再構成圖像的差量值，藉此而算出的。再者，除了差量值之外，利用其以外的資訊來算出評估值亦可。
以型樣匹配來說，可使用第1型樣匹配或第2型樣匹配。第1型樣匹配及第2型樣匹配分別有時會被稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
在第1型樣匹配中，是沿著當前區塊的運動軌跡(motion trajectory)的2個區塊之間進行型樣匹配，其中該等2個區塊為不同的2個參照圖片內的2個區塊。從而，在第1型樣匹配中，對於上述之候補的評估值的算出用之規定的區域，是使用沿著當前區塊的運動軌跡之其他參照圖片內的區域。
圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之一例的圖。如圖6所示，在第1型樣匹配中，是在不同的2個參照圖片(Ref0、Ref1)內的2個區塊的配對中，搜尋最匹配的配對，藉此導出2個移動向量(MV0、MV1)，其中不同的2個參照圖片(Ref0、Ref1)為沿著當前區塊(Cur block)的運動軌跡之2個區塊。具體來說，是相對於當前區塊，導出2種再構成圖像之差量，並利用所得到的差量值來算出評估值，其中2種再構成圖像是以候補MV所指定的第1編碼完成參照圖片(Ref0)內的指定位置中之再構成圖像、以及以對稱MV所指定的第2編碼完成參照圖片(Ref1)內的指定位置中之再構成圖像，其中對稱MV為以顯示時間間隔對前述候補MV進行定標(scaling)的MV。在複數個候補MV中，就選擇成為評估值最佳的數值之候補MV，作為最終MV，即可。
在連續的運動軌跡的假設之下，指出2個參照區塊的移動向量(MV0、MV1)會相對於當前圖片(Cur Pic)與2個參照圖片(Ref0、Ref1)之間的時間上之距離(TD0、TD1)而成比例。例如，當前圖片在時間上位於2個參照圖片之間，且從當前圖片到2個參照圖片的時間上之距離為相等的情況下，在第1型樣匹配中，會導出鏡像對稱的雙向之移動向量。
在第2型樣匹配中，是在當前圖片內的模板(在當前圖片內與當前區塊相鄰的區塊(例如上及/或左鄰接區塊))與參照圖片內的區塊之間進行型樣匹配。從而，在第2型樣匹配中，對於上述之候補的評估值的算出用之規定的區域，是使用鄰接當前圖片內的當前區塊的區塊。
圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之一例的圖。如圖7所示，在第2型樣匹配中，在參照圖片(Ref0)內搜尋與在當前圖片(Cur Pic)內相鄰於當前區塊(Cur block)的區塊最匹配的區塊，藉此導出當前區塊的移動向量。具體來說，相對於當前區塊，導出左鄰接及上鄰接的雙方或其中任一方的編碼完成區域之再構成圖像、及以候補MV所指定的編碼完成參照圖片(Ref0)內之同等位置中的再構成圖像之差量，並利用所得到的差量值來算出評估值，而在複數個候補MV中選擇評估值成為最佳數值之候補MV，作為最佳候補MV，即可。
如此之顯示是否適用FRUC模式的資訊(例如被稱為FRUC旗標)，是在CU層級被訊號化。又，在適用FRUC模式的情況下(例如FRUC旗標為真的情況下)，可將顯示型樣匹配的方法(第1型樣匹配或第2型樣匹配)之資訊(例如可稱為FRUC模式旗標)在CU層級訊號化。再者，這些資訊的訊號化並不需要限定於CU層級，亦可為其他層級(例如，序列層級、圖片層級、切片層級、方塊層級、CTU層級或者子區塊層級)。
在此，針對根據假設了等速直線運動的模型來導出移動向量的模式進行說明。有時將此模式稱為BIO(雙向光流，bi-directional optical flow)模式。
圖8是用於說明假設了等速直線運動的模型之圖。在圖8中，(vx，vy)是表示速度向量，τ0、τ1各自表示當前圖片(Cur Pic)與2個參照圖片(Ref0，Ref1)之間的時間上之距離。(MVx0，MVy0)是表示對應於參照圖片Ref0的移動向量，(MVx1，MVy1)是表示對應於參照圖片Ref1的移動向量。
此時在速度向量(vx，vy)的等速直線運動的假設之下，是將(MVx0，MVy0)及(MVx1，MVy1)各自表示為(vxτ0，vyτ0)及(-vxτ1，-vyτ1)，而使以下的光流等式(1)成立。
[數學式1]
在此，I(k)是表示運動補償後的參照圖像k(k=0，1)之亮度值。此光流等式是表示下述的(i)、(ii)、及(iii)之和等於零：(i)亮度值的時間微分、(ii)水平方向的速度及參照圖像的空間梯度之水平成分的積、及(iii)垂直方向的速度及參照圖像的空間梯度之垂直成分的積。根據此光流等式與赫米內插法公式(Hermite interpolation)的組合，可將從合併清單等得到的區塊單位之移動向量以像素單位進行補正。
再者，與根據已假設等速直線運動的模型之移動向量的導出不同之方法，也可在解碼裝置側導出移動向量。例如，亦可根據複數個鄰接區塊的移動向量而以子區塊單位來導出移動向量。
在此，針對根據複數個鄰接區塊的移動向量而以子區塊單位來導出移動向量的模式進行說明。此模式有時被稱為仿射運動補償預測(affine motion compensation prediction)模式 。
圖9A是用於說明根據複數個鄰接區塊的移動向量之子區塊單位的移動向量之導出的圖。在圖9A中，當前區塊包含16個4x4子區塊。在此，是根據鄰接區塊的移動向量來導出當前區塊的左上角控制點之移動向量v0，且根據鄰接子區塊的移動向量來導出當前區塊的右上角控制點之移動向量v1。而且，可利用2個移動向量v0及v1，並藉由以下的數學式(2)，來導出當前區塊內的各子區塊之移動向量(vx，vy)。
【數學式2】
在此，x及y各自表示子區塊的水平位置及垂直位置，且w是表示預定的加權係數。
在如此仿射運動補償預測模式中，左上及右上角控制點的移動向量之導出方法也可以包含幾個不同的模式。顯示如此仿射運動補償預測模式的資訊(可稱為例如仿射旗標)，是在CU層級被訊號化。再者，顯示此仿射運動補償預測模式的資訊之訊號化並不需要限定於CU層級，也可以是其他層級(例如序列層級、圖片層級、切片層級、方塊層級、CTU層級或者子區塊層級)。
[預測控制部]
預測控制部128會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至減法部104及加法部116。
在此，說明藉由合併模式來導出編碼對象圖片的移動向量之例子。圖9B是用於說明藉由合併模式進行的移動向量導出處理之概要的圖。
首先，產生登錄有預測MV的候補之預測MV清單。以預測MV的候補來說，包括有：空間鄰接預測MV，編碼對象區塊之在空間上位於周邊的複數個編碼完成區塊所具有的MV；時間鄰接預測MV，將編碼完成參照圖片中的編碼對象區塊的位置投影而成之附近的區塊所具有的MV；結合預測MV，組合空間鄰接預測MV及時間鄰接預測MV的MV值而產生的MV；以及零預測MV，其值為零的MV等。
接著，從已登錄於預測MV清單的複數個預測MV之中選擇1個預測MV，以此來決定作為編碼對象區塊的MV。
進而，在可變長度編碼部中，是將merge_idx描述於流(stream)中並予以編碼，其中該merge_idx是顯示選擇了哪一個預測MV的訊號。
再者，在圖9B中所說明的登錄於預測MV清單的預測MV只是一個例子，亦可形成與圖中的個數為不同的個數、不包含圖中的預測MV之一部分的種類之構成、或為追加圖中的預測MV的種類以外之預測MV的構成。
再者，亦可利用合併模式而導出的編碼對象區塊的MV，進行後述之DMVR處理，藉此來決定最終的MV。
在此，針對利用DMVR處理來決定MV的例子進行說明。
圖9C是用於說明DMVR處理的概要之概念圖。
首先，將已設定於處理對象區塊的最適合MVP作為候補MV，且依照前述候補MV，從L0方向的處理完成圖片即第1參照圖片、及L1方向的處理完成圖片即第2參照圖片中分別取得參照像素，且取各參照像素的平均，以此來產生模板。
接著，利用前述模板，分別搜尋第1參照圖片及第2參照圖片的候補MV之周邊區域，將成本成為最小的MV決定為最終的MV。再者，成本值是利用模板的各像素值及搜尋區域的各像素值之差量值及MV值等來算出的。
再者，在編碼裝置及解碼裝置中，在此說明的處理之概要在基本上是共通的。
再者，即使不是在此說明的處理本身，只要是可以搜尋候補MV的周邊來導出最終的MV之處理，利用其他處理亦可。
在此，針對利用LIC處理來產生預測圖像的模式進行說明。
圖9D是用於說明利用了藉由LIC處理進行的亮度補正處理之預測圖像產生方法的概要之圖。
首先，導出MV，該MV是用以從編碼完成圖片即參照圖片中取得對應於編碼對象區塊的參照圖像。
接著，對於編碼對象區塊，利用左鄰接及上鄰接的編碼完成周邊參照區域的亮度像素值、及以MV所指定的參照圖片內的同等位置中之亮度像素值，提取出顯示在參照圖片與編碼對象圖片中亮度值如何變化的資訊，並算出亮度補正參數。
對以MV所指定的參照圖片內之參照圖像，利用前述亮度補正參數來進行亮度補正處理，藉此產生相對於編碼對象區塊的預測圖像。
再者，圖9D中的前述周邊參照區域之形狀只是一個例子，也可以利用該形狀以外的形狀。
又，在此雖然針對從1張參照圖片中產生預測圖像的處理作了說明，但從複數張參照圖片中產生預測圖像的情況也是相同的，且是在以同樣的方法對從各個參照圖片所取得的參照圖像進行亮度補正處理後，產生預測圖像。
以判斷是否適用LIC處理的方法來說，例如有利用LIC旗標(lic_flag)的方法，其中該LIC旗標是顯示是否適用LIC處理的訊號。以具體的一例來說，在編碼裝置中，判定編碼對象區塊是否屬於已發生亮度變化的區域，在屬於已發生亮度變化的區域之情況下，是設定數值1來作為LIC旗標(lic_flag)，並適用LIC處理來進行編碼，在不屬於亮度變化已發生的區域之情況下，是設定數值0來作為LIC旗標(lic_flag)，並且在不適用LIC處理的情形下進行編碼。另一方面，在解碼裝置中，是將已描述於串流(stream)的LIC旗標(lic_flag)進行解碼，藉此因應於該數值來切換是否適用LIC處理而進行解碼。
以判斷是否適用LIC處理的其他方法來說，例如也有依照在周邊區塊是否適用LIC處理來進行判定的方法。以具體的一例來說，是在編碼對象區塊為合併模式的情況下，判定合併模式處理中的MV的導出之時所選擇的周邊之編碼完成區塊是否已適用LIC處理並編碼，且因應於其結果來切換是否適用LIC處理並進行編碼。再者，在此例的情況下，解碼中的處理也是完全同樣。
[解碼裝置的概要]
其次，針對可對從上述的編碼裝置100所輸出的編碼訊號(編碼位元流)進行解碼之解碼裝置的概要進行說明。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位對動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200具備熵解碼部202、反量化部204、反轉換部206、加法部208、區塊記憶體210、迴路濾波部212、框記憶體214、框內預測部216、框間預測部218、及預測控制部220。
解碼裝置200可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、框內預測部216、框間預測部218、及預測控制部220而發揮功能。又，解碼裝置200也可以是作為對應於熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、框內預測部216、框間預測部218、及預測控制部220的1個以上之專用的電子電路來實現。
以下，針對解碼裝置200所包含的各構成要素來進行說明。
[熵解碼部]
熵解碼部202是對編碼位元流進行熵解碼。具體來說，熵解碼部202是例如從編碼位元流對二值訊號進行算術解碼。而且，熵解碼部202會對二值訊號進行多值化(debinarize)。藉此，熵解碼部202以區塊單位將量化係數輸出至反量化部204。
[反量化部]
反量化部204是對來自熵解碼部202的輸入即解碼對象區塊(以下，稱為當前區塊)的量化係數進行反量化。具體來說，反量化部204是針對當前區塊的量化係數的每一個，根據對應於該量化係數的量化參數，來對該量化係數進行反量化。並且，反量化部204將當前區塊之已進行反量化的量化係數(也就是轉換係數)輸出至反轉換部206。
[反轉換部]
反轉換部206是藉由對來自反量化部204的輸入即轉換係數進行反轉換，以復原預測誤差。
在顯示例如已從編碼位元流中解讀出的資訊為適用EMT或AMT之情形的情況下(例如AMT旗標為真)，反轉換部206會根據顯示已解讀的轉換類型之資訊，來對當前區塊的轉換係數進行反轉換。
又例如，在已從編碼位元流中解讀出的資訊顯示適用NSST的情況下，反轉換部206對轉換係數適用反再轉換。
[加法部]
加法部208會對來自反轉換部206的輸入即預測誤差、及來自預測控制部220的輸入即預測樣本進行加法運算，藉此再構成當前區塊。而且，加法部208會將再構成的區塊輸出到區塊記憶體210及迴路濾波部212。
[區塊記憶體]
區塊記憶體210是用以保存解碼對象圖片(以下，稱為當前圖片)內的區塊之記憶部，該解碼對象圖片內的區塊為在框內預測中所參照的區塊。具體來說，區塊記憶體210會儲存從加法部208所輸出的再構成區塊。
[迴路濾波部]
迴路濾波部212會對藉由加法部208再構成的區塊施行迴路濾波，且將已進行濾波的再構成區塊輸出到框記憶體214及顯示裝置等。
當顯示從編碼位元流中解讀出的ALF之開啟/關閉的資訊顯示的是ALF之開啟的情況下，可根據局部的梯度之方向及活動性而從複數個濾波器之中選擇1個濾波器，且將所選擇的濾波器適用於再構成區塊。
[框記憶體]
框記憶體214是用於儲存框間預測所用的參照圖片之記憶部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體214會保存已藉由迴路濾波部212而被濾波的再構成區塊。
[框內預測部]
框內預測部216是根據已從編碼位元流中解讀出的框內預測模式，並參考已儲存於區塊記憶體210的當前圖片內之區塊來進行框內預測，以此產生預測訊號(框內預測訊號)。具體來說，框內預測部216是參考與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，以此產生框內預測訊號，並將框內預測訊號輸出至預測控制部220。
再者，在色差區塊的框內預測中選擇了參考亮度區塊的框內預測模式之情況下，框內預測部216也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。
又，當已從編碼位元流中解讀出的資訊顯示的是PDPC的適用之情況下，框內預測部216會根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。
[框間預測部]
框間預測部218是參考已儲存於框記憶體214的參照圖片，來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4x4區塊)之單位來進行。例如，框間預測部218會利用從編碼位元流中解讀出的運動資訊(例如移動向量)來進行運動補償，以此產生當前區塊或子區塊的框間預測訊號，並將框間預測訊號輸出至預測控制部220。
再者，在從編碼位元流中解讀出的資訊顯示適用OBMC模式的情況下，框間預測部218使用的不只有藉由運動搜尋所得到的當前區塊之運動資訊，還有鄰接區塊的運動資訊，而產生框間預測訊號。
又，顯示從編碼位元流中解讀出的資訊適用FRUC模式的情況下，框間預測部218會依照從編碼流中解讀出的型樣匹配之方法(雙向匹配或模板匹配)來進行運動搜尋，藉此導出運動資訊。並且，框間預測部218會利用已導出的運動資訊來進行運動補償。
又，在適用BIO模式的情況下，框間預測部218會根據假設了等速直線運動的模型來導出移動向量。又，在從編碼位元流中解讀出的資訊顯示適用仿射運動補償預測模式的情況下，框間預測部218會根據複數個鄰接區塊的移動向量，以子區塊單位來導出移動向量。
[預測控制部]
預測控制部220選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至加法部208。
(實施形態2)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將參數寫入位元流中；判定已寫入的前述參數是否與規定值相等；在寫入的前述參數與前述規定值相等的情況下，對區塊分割資訊進行預測；利用所預測的前述區塊分割資訊，將區塊分割成複數個子區塊；在寫入的前述參數與前述規定值不相等的情況下，則不利用所預測的前述區塊分割資訊，而將區塊分割成複數個子區塊；並以編碼處理而對前述複數個子區塊中所含的子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，當參數與規定值為相等的情況下，即可以對區塊分割資訊進行預測。藉由利用此已預測的區塊分割資訊來分割區塊，可以減少區塊分割資訊的編碼量，並使壓縮效率提升。
例如，在本實施形態之編碼裝置中，預測前述區塊分割資訊的處理亦可包含利用編碼完成區塊的區塊資訊，來產生區塊分割資訊的處理。
藉此，即可以利用編碼完成區塊的區塊資訊來預測區塊分割資訊，可使區塊分割資訊的預測精度提升，減少編碼量。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器及記憶體，前述處理器是利用前述記憶體，從位元流中解析參數；判定已解析的前述參數是否與規定值相等；在已解析的前述參數與前述規定值相等的情況下，對區塊分割資訊進行預測；利用所預測的前述區塊分割資訊，將區塊分割成複數個子區塊；在已寫入的前述參數與前述規定值不相等的情況下，則不利用所預測的前述區塊分割資訊，而將區塊分割成複數個子區塊；並以解碼處理來對前述複數個子區塊中所含的子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
藉此，當參數與規定值為相等的情況下，即可以預測區塊分割資訊。藉由利用此預測的區塊分割資訊來分割區塊，可以減少區塊分割資訊的編碼量，並使壓縮效率提升。
例如，在本實施形態之解碼裝置中，預測前述區塊分割資訊的處理，亦可包含有利用解碼完成區塊的區塊資訊來產生區塊分割資訊的處理。
藉此，即可以利用解碼完成區塊的區塊資訊來預測區塊分割資訊，且可以使區塊分割資訊的預測精度提升，並減少編碼量。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖11及圖12，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。又，如分別顯示在圖35及圖36，依照實施形態來說明對影像進行編碼的裝置及進行解碼的裝置。
[編碼處理]
圖11是顯示實施形態2之影像編碼處理的一例。
以最初的步驟S1001來說，是將參數寫入位元流中。圖37是顯示壓縮影像位元流中的上述參數之可寫入的位置。已寫入的參數是包含1個以上的參數，該參數是用於識別區塊分割資訊的預測是否為有效。例如，1個以上的參數可包含顯示區塊分割資訊的預測是否為有效的旗標。
其次，在步驟S1002中，判定已寫入的參數是否與規定值相等。
已寫入的參數與規定值相等(S1002的Y(是))時，在步驟S1003中區塊分割資訊會被預測，之後，在步驟S1004中，利用預測區塊分割資訊，區塊會被分割成複數個子區塊。例如，預測區塊分割資訊被作為初始區塊分割資訊來使用。並且，可將初始區塊分割資訊更新為最終區塊分割資訊。
最終區塊分割資訊是以在框內及框間預測處理中，相對於其他可使用的區塊分割資訊，使資料率失真(rate distortion)成本變得最小的方式而決定。將預測區塊分割資訊與最終區塊分割資訊的差量資訊寫入位元流中，以此即可在解碼器(decoder)中，根據預測區塊分割資訊來產生對應的最終區塊分割資訊。藉由取代最終區塊分割資訊來對差量資訊進行編碼，可以減少在最終區塊分割資訊的訊號化上所需要的位元。
以分割方法來說，例如可為如圖41之b1)及b2)所示的二元樹分割、或者如圖41之q1)及q2)所示的四元樹分割、或者如圖41之m1)及m2)所示的多元樹切割/分割、或者如圖41之n1)所示的非正方形/非長方形的分割。以子區塊的幾何資訊(形狀及/或大小)來說，像如圖41之b2)所示的非對稱的二元樹分割、如圖41之q2)所示的非對稱的四元樹分割、如圖41之m1)所示的大小不同的多元樹切割、或者如圖41之n1)所示的非正方形/非長方形的分割，能有各種的幾何資訊。
在此，區塊分割資訊可以依照編碼完成區塊的區塊資訊(例如，區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度等)來予以預測。區塊是利用區塊分割資訊而被分割成複數個子區塊。如圖38所示，若所利用的區塊分割資訊不同，區塊分割的結果即複數個子區塊的高度、寬度、或形狀也會不同。
以當前區塊的預測區塊分區構造來說，可以照樣地使用編碼完成區塊的區塊分區構造。
也可以組合2個以上的編碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。
對於編碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之編碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊的話，就選擇已利用框間預測而被編碼之1個以上的編碼完成區塊。
也可以修正編碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。
預測區塊分割資訊亦可按照每個編碼完成區塊的框內預測方向之資訊而不同。例如，為了預測要將當前區塊縱向分割或者橫向分割成更小的區塊，也可使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，為了當前區塊，所以可預測包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，為了當前區塊，所以可預測包含橫向分割的區塊分割資訊。
區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，如圖38所示，區塊分區構造是以視覺方式提示區塊內之全部的子區塊的幾何資訊。
區塊分割資訊亦可依照編碼完成區塊的框內/框間預測模式來予以預測。例如，在編碼完成區塊的預測模式為框內預測模式的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的預測模式為框間預測模式的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的移動向量來予以預測。例如，在編碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在編碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的量化參數來予以預測。例如，在編碼完成區塊的量化參數之值比規定值更小的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的量化參數之值為規定值以上的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的參照圖片資訊來予以預測。例如，在編碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個編碼完成區塊的複數個參照圖片為彼此類似的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個編碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的分割深度來予以預測。例如，在編碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之編碼完成區塊的分割資訊來予以預測。例如，當前區塊用的區塊分割資訊(包含分裂資訊)或者當前區塊的分裂資訊，可從與當前框不同的編碼完成框之編碼完成區塊(例如，同位區塊(collocated block)、緊接在前的編碼完成區塊(last encoded block)、或者要以移動向量界定的編碼完成區塊等)之中予以預測。
在已寫入的參數與規定值不相等的情況下(S1002的否(N))，在步驟S1005中，不利用預測區塊分割資訊，而將區塊分割成複數個子區塊。以分割方法來說，例如可為如圖41之b1)及b2)所示的二元樹分割、或者如圖41之q1)及q2)所示的四元樹分割、或者如圖41之m1)及m2)所示的多元樹切割/分割、或者如圖41之n1)所示的非正方形/非長方形的分割。以子區塊的幾何資訊(形狀及/或大小)來說，像如圖41之b2)所示的非對稱的二元樹分割、如圖41之q2)所示的非對稱的四元樹分割、圖41之m1)所示的大小不同的多元樹切割、或者如圖41之n1)所示的非正方形/非長方形的分割，能有各式各樣的幾何資訊。
在步驟S1006中，是以編碼處理而將複數個子區塊中所含的子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
圖35是顯示實施形態的影像/圖像編碼裝置的構造之方塊圖。
影像編碼裝置25000是按每個區塊對輸入影像/圖像位元流進行編碼，並產生編碼輸出位元流的裝置，如圖35所示，包含轉換部25001、量化部25002、反量化部25003、反轉換部25004、區塊記憶體25005、框記憶體25006、框內預測部25007、框間預測部25008、熵編碼部25009、及區塊分割資訊決定部25010。
輸入影像是被輸入至加法器，且將加法運算後之值輸出到轉換部25001。轉換部25001是根據藉由區塊分割資訊決定部25010所導出的區塊分割資訊，將加法運算後的值轉換成頻率係數，且將所得到的頻率係數輸出至量化部25002。量化部25002是對所輸入的頻率係數進行量化，且將所得到的量化值輸出至反量化部25003及熵編碼部25009。
反量化部25003是對從量化部25002輸出的量化值進行反量化，且將頻率係數輸出至反轉換部25004。反轉換部25004是根據藉由區塊分割資訊決定部25010所導出的區塊分割資訊，對頻率係數進行反頻率轉換，藉此轉換成位元流的樣本值，且將所得到的樣本值輸出到加法器。
加法器是將從反轉換部25004輸出的位元流之樣本值與從框內預測部25007/框間預測部25008輸出的影像/圖像之預測值作加法運算，且為了今後的預測，而將所得到的加法運算後之值輸出至區塊記憶體25005或框記憶體25006。
區塊分割資訊決定部25010是從區塊記憶體25005或框記憶體25006中收集區塊資訊，藉此導出區塊分割資訊及有關於區塊分割資訊的參數。若利用在此導出的區塊分割資訊，區塊就被分割成複數個子區塊。
框內預測部25007/框間預測部25008是根據藉由區塊分割資訊決定部25010所導出的區塊分割資訊，來檢索儲存於區塊記憶體25005的重建影像/圖像或在框記憶體25006中的重建影像/圖像，且例如為了預測而對與輸入影像/圖像最類似的影像/圖像區域進行推定。
熵編碼部25009是對從量化部25002所輸出的量化值進行編碼，且對來自區塊分割資訊決定部25010的參數進行編碼，並輸出位元流。
[解碼處理]
圖12是顯示實施形態2之影像解碼處理之一例。
以最初的步驟S2001來說，可從位元流中解析參數。圖37是顯示壓縮影像位元流中的上述參數之可解析的位置。已解析的參數包含用於識別區塊分割資訊的預測是否為有效之1個以上的參數。此1個以上的參數，例如若包含旗標，就能顯示區塊分割資訊的預測是否為有效。
其次，在步驟S2002中，判定已解析的參數是否與規定值相等。
在已解析的參數與規定值相等的情況下(S2002的是(Y))，在步驟S2003中，對區塊分割資訊進行預測，之後，在步驟S2004中，利用預測區塊分割資訊，將區塊分割成複數個子區塊。預測區塊分割資訊，例如可作為初始區塊分割資訊使用。並且，初始區塊分割資訊是依照為從位元流中解析的差量資訊，且是預測區塊分割資訊與最終區塊分割資訊的差量資訊，而被更新成最終區塊分割資訊。以分割方法來說，例如可為如圖41之b1)及b2)所示的二元樹分割、或者如圖41之q1)及q2)所示的四元樹分割、或者如圖41之m1)及m2)所示的多元樹切割/分割、或者如圖41之n1)所示的非正方形/非長方形的分割。以子區塊的幾何資訊(形狀及/或大小)來說，像如圖41之b2)所示的非對稱的二元樹分割、如圖41之q2)所示的非對稱的四元樹分割、如圖41之m1)所示的大小不同的多元樹切割、或者如圖41之n1)所示的非正方形/非長方形的分割，可有各種的幾何資訊。
在此，區塊分割資訊可以依照解碼完成區塊的區塊資訊(例如，區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度等)來予以預測。區塊是利用區塊分割資訊而被分割成複數個子區塊。如圖38所示，若所利用的區塊分割資訊不同，區塊分割的結果即複數個子區塊的高度、寬度、或形狀也會不同。
對於當前區塊的預測區塊分區構造，可以照樣地使用解碼完成區塊的區塊分區構造。
也可以組合2個以上的解碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。對於解碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之解碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇利用框間預測而被解碼之1個以上的解碼完成區塊。
也可以修正解碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。
預測區塊分割資訊亦可按照每個解碼完成區塊的框內預測方向之資訊而不同。例如，為了預測要將當前區塊縱向分割或者橫向分割成更小的區塊，也可使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，為了當前區塊，就能預測包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，為了當前區塊，就能預測包含橫向分割的區塊分割資訊。
區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
區塊分割資訊亦可依照解碼完成區塊的框內/框間預測模式來予以預測。例如，在解碼完成區塊的預測模式為框內預測模式的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的預測模式為框間預測模式的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的移動向量來予以預測。例如，在解碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在解碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的量化參數來予以預測。例如，在解碼完成區塊的量化參數之值比規定值更小的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的量化參數之值為規定值以上的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的參照圖片資訊來予以預測。例如，在解碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個解碼完成區塊的複數個參照圖片為彼此類似的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個解碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的分割深度來予以預測。例如，在解碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之解碼完成區塊的分割資訊來予以預測。例如，用於當前區塊的區塊分割資訊(包含分裂資訊)或當前區塊的分裂資訊，從與當前框不同的解碼完成框之解碼完成區塊(例如，同位區塊(collocated block)、最後的解碼完成區塊(last decoded block)、或者以移動向量界定的解碼完成區塊等)之中來予以預測。
在已寫入的參數與規定值不相等的情況下(S2002的否(N))，在步驟S2005中，不利用預測區塊分割資訊，而將區塊分割成複數個子區塊。以分割方法來說，例如可為如圖41之b1)及b2)所示的二元樹分割、或者如圖41之q1)及q2)所示的四元樹分割、或者如圖41之m1)及m2)所示的多元樹切割/分割、或者如圖41之n1)所示的非正方形/非長方形的分割。以子區塊的幾何資訊(形狀及/或大小)來說，像如圖41之b2)所示的非對稱的二元樹分割、如圖41之q2)所示的非對稱的四元樹分割、如圖41之m1)所示的大小不同的多元樹切割、或者如圖41之n1)所示的非正方形/非長方形的分割，可有各種的幾何資訊。
在步驟S2006中，是以解碼處理將複數個子區塊中所含的子區塊進行解碼。在此，在該解碼處理包括反轉換處理及/或預測處理。反轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
圖36是顯示實施形態的影像/圖像解碼裝置的構造之方塊圖。
如圖36所示，影像解碼裝置26000是按每個區塊對編碼輸入位元流進行解碼，並輸出影像/圖像的裝置，並包含熵解碼部26001、反量化部26002、反轉換部26003、區塊記憶體26004、框記憶體26005、框內預測部26006、框間預測部26007、及區塊分割資訊決定部26008。
編碼輸入位元流是被輸入到熵解碼部26001。於將編碼輸入位元流輸入到熵解碼部26001後，熵解碼部26001是對編碼輸入位元流進行解碼，且將參數輸出到區塊分割資訊決定部26008，並將解碼值輸出到反量化部26002。
反量化部26002是對解碼值進行反量化，且將頻率係數輸出至反轉換部26003。反轉換部26003是根據藉由區塊分割資訊決定部26008所導出的區塊分割資訊，對頻率係數進行反頻率轉換，藉此轉換成樣本值，且將得到的樣本值輸出到加法器。
加法器是對所得到的樣本值及從框內預測部26006/框間預測部26007所輸出的影像/圖像之預測值作加法運算，且將得到的加法運算後的值輸出至顯示器，並且為了今後的預測，而輸出至區塊記憶體26004或框記憶體26005。
區塊分割資訊決定部26008是從區塊記憶體26004或框記憶體26005中收集區塊資訊，以此利用來自熵解碼部26001的解碼參數來導出區塊分割資訊。若利用在此導出的區塊分割資訊，區塊就被分割成複數個子區塊。
進而，框內預測部26006/框間預測部26007是根據從區塊分割資訊決定部26008導出的區塊分割資訊，檢索已儲存於區塊記憶體26004的影像/圖像或框記憶體26005中的重建影像/圖像，且為了預測而例如對與解碼完成區塊的影像/圖像最類似的影像/圖像區域進行推定。
(實施形態3)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將參數寫入位元流中；利用已寫入的前述參數，從複數個編碼完成區塊中選擇至少1個編碼完成區塊；從所選擇的前述至少1個編碼完成區塊中讀出區塊資訊；利用所讀出的前述區塊資訊，將當前區塊分割成複數個子區塊；並以編碼處理而對前述複數個子區塊中所含的子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以利用參數，適應地選擇用於當前區塊的分割之編碼完成區塊。利用像這樣選擇的編碼完成區塊之區塊資訊來將區塊分割成複數個子區塊，藉此可減少區塊分割資訊的編碼量，提升壓縮效率。
例如，在本實施形態之編碼裝置中，前述當前區塊及前述複數個編碼完成區塊為彼此不同的區塊，前述複數個編碼完成區塊當中的至少1個，亦可包含在與前述當前區塊相同的框中、或者包含在與前述當前區塊的框不同的其他框中。
藉此，可以從彼此不同的複數個編碼完成區塊之中選擇用於區塊分割的編碼完成區塊，而變得可利用更適合於區塊分割的區塊資訊來分割當前區塊。其結果，可減少區塊分割資訊的編碼量，而提升壓縮效率。
例如，在本實施形態之編碼裝置中，所讀出的前述區塊資訊，亦可包含有關於區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度的資訊當中的至少1個。
藉此，可以利用適當的資訊來作為區塊資訊，且可以利用更適合於區塊分割的區塊資訊來分割當前區塊。其結果，可減少區塊分割資訊的編碼量，而提升壓縮效率。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器及記憶體，前述處理器是利用前述記憶體，從位元流中解析出參數；判定已解析的前述參數是否與規定值相等；在已解析的前述參數與前述規定值相等的情況下，對區塊分割資訊進行預測；利用所預測的前述區塊分割資訊，將區塊分割成複數個子區塊；在已寫入的前述參數與前述規定值不相等的情況下，則不利用所預測的前述區塊分割資訊，而將區塊分割成複數個子區塊；並以解碼處理來對前述複數個子區塊中所含的子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
藉此，即可利用參數，適應地選擇用於當前區塊的分割之解碼完成區塊。利用像這樣選擇出的解碼完成區塊之區塊資訊來將區塊分割成複數個子區塊，藉此可減少區塊分割資訊的編碼量，提升壓縮效率。
例如，在本實施形態之解碼裝置中，前述當前區塊及前述解碼完成區塊為彼此不同的區塊，前述解碼完成區塊當中的至少1個，亦可包含在與前述當前區塊相同的框中、或者包含在與前述當前區塊的框不同的其他框中。
藉此，可以從彼此不同的複數個解碼完成區塊之中選擇用於區塊分割的解碼完成區塊，而變得可利用更適合於區塊分割的區塊資訊來分割當前區塊。其結果，可以減少區塊分割資訊的編碼量，且使壓縮效率提升。
例如，在本實施形態之解碼裝置中，所讀出的前述區塊資訊，亦可包含有關於區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度的資訊當中的至少1個。
藉此，可以利用適當的資訊來作為區塊資訊，且可以利用更適合於區塊分割的區塊資訊來分割當前區塊。其結果，可以減少區塊分割資訊的編碼量，且使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖13及圖14，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖13是顯示實施形態3之影像編碼處理的一例。
以最初的步驟S3001來說，是將參數寫入位元流中。圖37是顯示壓縮影像位元流中的上述參數之可寫入的位置。已寫入的參數包含1個以上的參數，該1個以上的參數是用於從規定的候補清單中選擇1個以上的編碼完成區塊或區塊資訊之參數。
其次，在步驟S3002中，利用已寫入的參數，從複數個編碼完成區塊中選擇至少1個編碼完成區塊。在此，至少1個編碼完成區塊，可為與當前區塊為相同的框所包含的區塊(例如，當前區塊的鄰接區塊)、或者與包含當前區塊的框不同的其他框所含的區塊(例如，當前區塊的同位區塊、或利用當前區塊的移動向量而取得其位置的運動補償區塊、或與當前框不同的最新之編碼完成框中所包含的最後之編碼完成區塊)。
在步驟S3003中，是從已選擇的編碼完成區塊中讀出區塊資訊。
並且，在步驟S3004中，利用已讀出的區塊資訊而將當前區塊分割成複數個子區塊。圖38是顯示利用已讀出的區塊資訊而將當前區塊分割成複數個子區塊的例子。
為了將區塊分割成子區塊，而導出該區塊的區塊分割資訊。在此，區塊分割資訊是依照編碼完成區塊的區塊資訊(例如，區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度等)來予以導出。區塊是利用區塊分割資訊而被分割成複數個子區塊。如圖38所示，若所利用的區塊分割資訊不同，區塊分割的結果即複數個子區塊的高度、寬度、或形狀也會不同。
對於當前區塊的區塊分區構造，可以照樣地使用所選擇的編碼完成區塊之區塊分區構造。
也可以組合所選擇之2個以上的編碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，導出新的區塊分區構造，來作為當前區塊的區塊分區構造。
也可以修正所選擇之編碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，導出新的區塊分區構造，來作為當前區塊的區塊分區構造。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。
區塊分割資訊亦可按照每個所選擇之編碼完成區塊的框內預測方向之資訊而不同。例如，為了決定將當前區塊縱向分割或者橫向分割成更小的區塊，也可使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向時，為了當前區塊，可導出包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向時，為了當前區塊，可導出包含橫向分割的區塊分割資訊。
區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
區塊分割資訊亦可依照所選擇之編碼完成區塊的框內/框間預測模式來予以導出。例如，在所選擇之編碼完成區塊的預測模式為框內預測模式的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在所選擇之編碼完成區塊的預測模式為框間預測模式的情況下，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照所選擇之編碼完成區塊的移動向量而予以導出。例如，在所選擇之編碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在所選擇之編碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照所選擇之編碼完成區塊的量化參數而予以導出。例如，在所選擇之編碼完成區塊的量化參數之值比規定值更小的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在所選擇之編碼完成區塊的量化參數之值為規定值以上的情況下，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照所選擇之編碼完成區塊的參照圖片資訊來予以導出。例如，在所選擇之編碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者所選擇之複數個編碼完成區塊的複數個參照圖片為彼此類似的情況下，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在所選擇之編碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者所選擇之複數個編碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照所選擇之編碼完成區塊的分割深度來予以導出。例如，在所選擇之編碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在所選擇之編碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之編碼完成區塊的分割資訊來予以導出。例如，當前區塊用的區塊分割資訊(包含分裂資訊)或者當前區塊的分裂資訊可從與當前框不同的編碼完成框之編碼完成區塊(例如，同位區塊(collocated block)、緊接在前的編碼完成區塊(last encoded block)、或者以移動向量界定的編碼完成區塊)的區塊資訊中導出。
在步驟S3005中，是以編碼處理而將複數個子區塊中所含的子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖14是顯示實施形態3之影像解碼處理之一例。
以最初的步驟S4001來說，是從位元流中解析出參數。圖37是顯示壓縮影像位元流中的上述參數之可解析的位置。已解析的參數包含1個以上的參數，該1個以上的參數是用於從規定的候補清單中選擇1個以上的解碼完成區塊或區塊資訊之參數。
其次，在步驟S4002中，利用已解析的參數，從複數個解碼完成區塊中選擇至少1個解碼完成區塊。在此，至少1個解碼完成區塊，是在與當前區塊相同的框中所包含的區塊(例如，當前區塊的鄰接區塊)、或者在與包含當前區塊的框不同的其他框中所包含的區塊(例如，當前區塊的同位區塊、或利用當前區塊的移動向量而取得其位置的運動補償區塊、或與當前框不同的最新之編碼完成框中所包含的最後之編碼完成區塊)。
在步驟S4003中，從已選擇的解碼完成區塊中讀出區塊資訊。
並且，在步驟S4004中，利用已讀出的區塊資訊而將當前區塊分割成複數個子區塊。圖38是顯示利用已讀出的區塊資訊而將當前區塊分割成複數個子區塊的例子。
為了將區塊分割成子區塊，可導出該區塊的區塊分割資訊。在此，可將區塊分割資訊依照解碼完成區塊的區塊資訊(例如，區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度等)來導出。區塊是利用區塊分割資訊而被分割成複數個子區塊。如圖38所示，若所利用的區塊分割資訊不同，區塊分割的結果即複數個子區塊的高度、寬度、或形狀也會不同。
對於當前區塊的區塊分區構造，可以照樣地使用所選擇的解碼完成區塊之區塊分區構造。
也可以組合所選擇之2個以上的解碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的區塊分區構造。
也可以修正所選擇之解碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的區塊分區構造。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。
區塊分割資訊亦可按照每個所選擇之解碼完成區塊的框內預測方向之資訊而不同。例如，亦可為了決定將當前區塊縱向分割或橫向分割成更小的區塊，而使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或者接近於縱向方向時，為了當前區塊，所以可導出包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向時，為了當前區塊，所以可導出包含橫向分割的區塊分割資訊。
區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
也可以依照所選擇之解碼完成區塊的框內/框間預測模式來導出區塊分割資訊。例如，在所選擇之解碼完成區塊的預測模式為框內預測模式的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在所選擇之解碼完成區塊的預測模式為框間預測模式的情況下，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照所選擇之解碼完成區塊的移動向量來導出區塊分割資訊。例如，在所選擇之解碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在所選擇之解碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
也可以依照所選擇之解碼完成區塊的量化參數來導出區塊分割資訊。例如，在所選擇之解碼完成區塊的量化參數之值比規定值更小的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在所選擇之解碼完成區塊的量化參數之值為規定值以上的情況下，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
也可以依照所選擇之解碼完成區塊的參照圖片資訊來導出區塊分割資訊。例如，在解碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個解碼完成區塊的複數個參照圖片為彼此類似的情況下，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個解碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照所選擇之解碼完成區塊的分割深度來導出區塊分割資訊。例如，在所選擇之解碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以導出將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在所選擇之解碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以導出將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照與當前框不同的框之解碼完成區塊的分割資訊來預測區塊分割資訊。例如，當前區塊用的區塊分割資訊(包含分裂資訊)或當前區塊的分裂資訊可從與當前框不同的解碼完成框之解碼完成區塊(例如，同位區塊(collocated block)、緊接在前的解碼完成區塊(last decoded block)、或者以移動向量界定的解碼完成區塊)的區塊資訊中導出。
在步驟S4005中，是以解碼處理將包含於複數個子區塊中的子區塊解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理，按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像解碼裝置的構造，與實施形態2的圖36是同樣的，因此省略圖示及說明。
(實施形態4)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，對區塊分割資訊進行初始化，若已初始化的前述區塊分割資訊被使用時，區塊被分割成第1幾何集(Geometry Set)的複數個子區塊；將參數寫入位元流中；利用已寫入的前述參數，將已初始化的前述區塊分割資訊修正為修正區塊分割資訊，若前述修正區塊分割資訊被使用時，區塊被分割成與前述第1幾何集不同的幾何集之複數個子區塊；利用前述修正區塊分割資訊，修正複數個子區塊的幾何資訊；並以編碼處理而對前述複數個子區塊中所含的子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以利用參數，將已初始化的區塊分割資訊適應地修正為修正區塊分割資訊。可以利用此修正區塊分割資訊，來修正複數個子區塊的幾何資訊。其結果，可減少區塊分割資訊的編碼量，提升壓縮效率。
例如，在本實施形態之編碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，可以利用區塊的形狀及/或尺寸來作為幾何資訊。
例如，在本實施形態之編碼裝置中，將前述區塊分割資訊進行初始化的處理，亦可包含從規定區塊分割資訊清單中選擇區塊分割資訊的處理。
藉此，從規定的清單中選擇區塊分割資訊，藉此可將區塊分割資訊進行初始化。從而，只要將在清單內識別區塊分割資訊的資訊包含在區塊分割資訊中即可，可減少區塊分割資訊的編碼量，提升壓縮效率。
例如，在本實施形態之編碼裝置中，對前述區塊分割資訊進行初始化的處理，亦可包含利用有關於幾何資訊的規定之參數來產生區塊分割資訊的處理。
藉此，可以藉由利用參數來產生區塊分割資訊，而將區塊分割資訊進行初始化。
例如，在本實施形態之編碼裝置中，亦可在前述區塊分割資訊的初始化中，根據當前區塊的圖片類型及量化參數的至少其中一種來決定分割深度。
藉此，可以在區塊分割資訊的初始化中，根據當前區塊的圖片類型及/或量化參數，來決定分割深度。從而，可以根據位元流內的現有之資訊來決定分割深度，且可以減少區塊分割資訊的編碼量。進而，利用當前區塊的圖片類型及/或量化參數，以此對當前區塊以適當的分割深度將區塊分割資訊進行初始化，可使壓縮效率提升。
例如，在本實施形態之編碼裝置中，已寫入的前述參數亦可包含已初始化的前述區塊分割資訊所顯示的分割深度與前述修正區塊分割資訊所顯示的分割深度之差量。
藉此，即可以利用參數來修正區塊的分割深度，而可以利用更適合於編碼的子區塊。其結果，可以使壓縮效率提升。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，對區塊分割資訊進行初始化，若已初始化的前述區塊分割資訊被使用時，區塊被分割成第1幾何集(Geometry Set)的複數個子區塊；從位元流中解析參數；利用已解析的前述參數，將已初始化的前述區塊分割資訊修正為修正區塊分割資訊，若前述修正區塊分割資訊被使用時，區塊被分割成與前述第1幾何集不同的幾何集之複數個子區塊；利用前述修正區塊分割資訊，修正複數個子區塊的幾何資訊；並以解碼處理而對前述複數個子區塊中所含的子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
藉此，即可以利用參數，將已初始化的區塊分割資訊適應地修正為修正區塊分割資訊。利用此修正區塊分割資訊，可修正複數個子區塊的幾何資訊。其結果，可減少區塊分割資訊的編碼量，提升壓縮效率提升。
例如，在本實施形態之解碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，可以利用區塊的形狀及/或尺寸來作為幾何資訊。
例如，在本實施形態之解碼裝置中，將前述區塊分割資訊進行初始化的處理，亦可包含從規定區塊分割資訊清單中選擇區塊分割資訊的處理。
藉此，可以藉由從規定的清單中選擇區塊分割資訊，而將區塊分割資訊進行初始化。從而，只要將在清單內識別區塊分割資訊的資訊包含在區塊分割資訊中即可，而可以減少區塊分割資訊的編碼量，並使壓縮效率提升。
例如，在本實施形態之解碼裝置中，將前述區塊分割資訊進行初始化的處理，亦可包含利用有關於幾何資訊的規定之參數來產生區塊分割資訊的處理。
藉此，可以藉由利用參數來產生區塊分割資訊，而將區塊分割資訊進行初始化。
例如，在本實施形態之解碼裝置中，亦可在前述區塊分割資訊的初始化中，根據當前區塊的圖片類型及量化參數的至少其中一種來決定分割深度。
藉此，可以在區塊分割資訊的初始化中，根據當前區塊的圖片類型及/或量化參數，來決定分割深度。從而，可以根據位元流內的現有之資訊來決定分割深度，且可以減少區塊分割資訊的編碼量。此外，可以藉由利用當前區塊的圖片類型及/或量化參數，而對當前區塊以適當的分割深度將區塊分割資訊進行初始化，可使壓縮效率提升。
例如，在本實施形態之解碼裝置中，已解析的前述參數亦可包含已初始化的前述區塊分割資訊所顯示的分割深度與前述修正區塊分割資訊所顯示的分割深度之差量。
藉此，即可以利用參數來修正區塊的分割深度，而可以利用更適合於編碼的子區塊。其結果，可以使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
如分別顯示在圖15及圖16，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖15是顯示實施形態4之影像編碼處理的一例。
以最初的步驟S5001來說，將區塊分割資訊進行初始化。若利用此初始化的區塊分割資訊(以下，稱為初始區塊分割資訊)，即可將區塊分割成第1幾何集的複數個子區塊。如圖38所示，若所利用的區塊分割資訊不同，區塊分割的結果即複數個子區塊的高度、寬度、或形狀也會不同。
對於當前區塊的初始區塊分區構造，可以照樣地使用編碼完成區塊的區塊分區構造。
也可以組合2個以上的編碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的初始區塊分區構造。對於編碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之編碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇利用框間預測而被編碼之1個以上之編碼完成區塊。
也可以修正編碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，導出新的區塊分區構造，來作為當前區塊的初始區塊分區構造。
初始區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，初始區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。
初始區塊分割資訊亦可按照每個編碼完成區塊的框內預測方向之資訊而不同。例如，為了決定將當前區塊縱向分割或橫向分割成更小的區塊，也可使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向時，可將用於當前區塊的區塊分割資訊進行初始化，使其成為包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向時，可將用於當前區塊的區塊分割資訊進行初始化，使其成為包含橫向分割的區塊分割資訊。
初始區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，初始區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
可以因應於編碼完成區塊的框內/框間預測模式來對區塊分割資訊進行初始化。例如，在編碼完成區塊的預測模式為框內預測模式的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的預測模式為框間預測模式的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的移動向量來對區塊分割資訊進行初始化。例如，在編碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在編碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的量化參數來將區塊分割資訊進行初始化。例如，在編碼完成區塊的量化參數之值比規定值更小的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的量化參數之值為規定值以上的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的參照圖片資訊來將區塊分割資訊進行初始化。例如，在編碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個編碼完成區塊的複數個參照圖片為彼此類似的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個編碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可因應於編碼完成區塊的分割深度來將區塊分割資訊進行初始化。例如，在編碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之編碼完成區塊的分割資訊來進行初始化。例如，當前區塊用的區塊分割資訊(包含分裂(split)資訊)或當前區塊的分裂(split)資訊可從與當前框不同的編碼完成框之編碼完成區塊(例如，同位區塊(collocated block)、緊接在前的編碼完成區塊(last encoded block)、或以移動向量界定的編碼完成區塊等)中進行初始化。
其次，在步驟S5002中，是將參數寫入位元流中。圖37是顯示壓縮影像位元流中的上述參數之可寫入的位置。
在步驟S5003中，利用已寫入的參數來將初始區塊分割資訊修正為修正區塊分割資訊。利用此修正區塊分割資訊，即可將區塊分割成與第1幾何集不同的幾何集之複數個子區塊。已寫入的參數，包含用於將初始區塊分割資訊修正為修正區塊分割資訊的1個以上之參數。
例如，在已寫入的參數中，可包含將區塊分割成複數個子區塊的分割旗標。如圖42A所示，當利用此參數時，會使四元樹(QT)分割旗標的值變化，而可修正初始區塊分區構造。
以另外的例子來說，在已寫入的參數中可包含合併旗標(merge flags)，該合併旗標是根據規定的掃描順序(光柵掃描(Raster scan)或Z掃描等)，而將較小的區塊以階層式方式結合並藉此形成較大的區塊之旗標。如圖42B所示，當利用此參數時，會將複數個區塊結合並成為較大的區塊，而可修正初始區塊分區構造。在圖43中顯示將較小的區塊彼此以階層式方式結合，以形成較大的區塊之例子。
以另外的例子來說，可在已寫入的參數中包含分割有效旗標(split enable flags)，該分割有效旗標是根據規定的掃描順序(光柵掃描(Raster scan)或Z掃描等)，而將較大的區塊以階層式方式分割並藉此形成較小的區塊之旗標。
如圖42C所示，當利用此參數時，會將區塊分割成較小的區塊，而可修正初始區塊分區構造。
以另外的例子來說，可在已寫入的參數中包含初始區塊分割資訊所顯示的分割深度與修正區塊分割資訊所顯示的分割深度之差量。當利用此參數時，即可修正區塊的分割深度。
也可做到將區塊的分割及較小的區塊彼此之結合等不同的分割方法組合，以構成最終的區塊分區構造。在位元流的標頭中可包含顯示是否使用合併有效旗標(merge enable flag)或分割有效旗標(split enable flag)之1個以上的切換參數或旗標的控制參數。
利用初始區塊分割資訊或修正區塊分割資訊，即可得到藉由各種分割方法形成的各種區塊分區構造。以分割方法來說，例如可為如圖41之b1)及b2)所示的二元樹分割、或者如圖41之q1)及q2)所示的四元樹分割、或者如圖41之m1)及m2)所示的多元樹切割/分割、或者如圖41之n1)所示的非正方形/非長方形的分割。以子區塊的幾何資訊(形狀及/或大小)來說，像如圖41之b2)所示的非對稱的二元樹分割、如圖41之q2)所示的非對稱的四元樹分割、如圖41之m1)所示的大小不同的多元樹切割、或者如圖41之n1)所示的非正方形/非長方形的分割，可有各種的幾何資訊。
已寫入的參數也可以顯示例如不需要修正的情形。若不需要修正，即可以省略步驟S5003及步驟S5004。據此，在進行到步驟S5005之前，是成為利用初始區塊分割資訊來將區塊分割成複數個子區塊的情形。並且，在步驟S5005中，以編碼處理來對已利用修正區塊分割資訊而分割的複數個子區塊中所含的子區塊進行編碼之作法，可替換成下述作法：以編碼處理來對已利用初始區塊分割資訊而分割的複數個子區塊中所含的子區塊進行編碼。
在步驟S5004中，是利用修正區塊分割資訊來修正複數個子區塊的幾何資訊。
在步驟S5005中，是以編碼處理來將該複數個子區塊中所含的子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖16是顯示實施形態4之影像解碼處理之一例。
以最初的步驟S6001來說，是將區塊分割資訊進行初始化。若該初始區塊分割資訊被使用時，區塊被分割成第1幾何集的複數個子區塊。如圖38所示，若所利用的區塊分割資訊不同時，區塊分割的結果即複數個子區塊的高度、寬度、或者形狀也會不同。
對於當前區塊的初始區塊分區構造，可以照樣地使用解碼完成區塊的區塊分區構造。
也可以組合2個以上的解碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的初始區塊分區構造。對於解碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之解碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇利用框間預測而被解碼之1個以上的解碼完成區塊。
也可以修正解碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的初始區塊分區構造。
初始區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，初始區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。
初始區塊分割資訊亦可按照每個解碼完成區塊的框內預測方向之資訊而不同。例如，亦可為了決定將當前區塊縱向分割或橫向分割成更小的區塊，而使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，可以將用於當前區塊的區塊分割資訊進行初始化，使其成為包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，可以將用於當前區塊的區塊分割資訊進行初始化，使其成為包含橫向分割的區塊分割資訊。
初始區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，初始區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
可以因應解碼完成區塊的框內/框間預測模式，而將區塊分割資訊進行初始化。例如，在解碼完成區塊的預測模式為框內預測模式的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的預測模式為框間預測模式的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的移動向量而進行初始化。例如，在解碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在解碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的量化參數而進行初始化。例如，在解碼完成區塊的量化參數之值比規定值更小的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的量化參數之值為規定值以上的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的參照圖片資訊而進行初始化。例如，在解碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個解碼完成區塊的複數個參照圖片為彼此類似的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個解碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可因應解碼完成區塊的分割深度而進行初始化。例如，在解碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之解碼完成區塊的分割資訊而進行初始化。例如，用於當前區塊的區塊分割資訊(包含分裂(split)資訊)或當前區塊的分裂資訊可以從與當前框不同的解碼完成框之解碼完成區塊(例如，同位區塊(collocated block)、最後的解碼完成區塊(last decoded block)、或者以移動向量界定的解碼完成區塊等)中進行初始化。
其次，在步驟S6002中，從位元流中解析出參數。圖37是顯示壓縮影像位元流中的上述參數之可解析的位置。
在步驟S6003中，利用已解析的參數來將初始區塊分割資訊修正為修正區塊分割資訊。利用此修正區塊分割資訊，即可將區塊分割成與第1幾何集不同的幾何集之複數個子區塊。已解析的參數，包含用於將初始區塊分割資訊修正為修正區塊分割資訊的1個以上之參數。
例如，在已解析的參數中，可包含有將區塊分割成複數個子區塊的分割旗標。如圖42A所示，當利用此參數時，會使四元樹(QT)分割旗標的值變化，而可修正初始區塊分區構造。
以另一例來說，在已解析的參數中可包含合併旗標(merge flags)，該合併旗標是根據規定的掃描順序(光柵掃描(Raster scan)或Z掃描等)，而將較小的區塊以階層式方式結合並形成較大的區塊之旗標。如圖42B所示，當利用此參數時，會將複數個區塊結合並成為較大的區塊，而可修正初始區塊分區構造。在圖43中顯示將較小的區塊彼此以階層式方式結合，以形成較大的區塊之例子。
以另一例來說，可在已解析的參數中包含分割有效旗標(split enable flags)，該分割有效旗標是根據規定的掃描順序(光柵掃描(Raster scan)或Z掃描等)，而將較大的區塊以階層式方式分割並藉此形成較小的區塊之旗標。如圖42C所示，當利用此參數時，會將區塊分割成較小的區塊，而可修正初始區塊分區構造。
以另外的例子來說，可在已解析的參數中包含初始區塊分割資訊所顯示的分割深度、與修正區塊分割資訊所顯示的分割深度之差量。當利用此參數時，即可修正區塊的分割深度。
也可做到將區塊的分割及較小的區塊彼此之結合等不同的分割方法組合，以構成最終的區塊分區構造。在位元流的標頭中可包含顯示是否使用合併有效旗標(merge enable flag)或分割有效旗標(split enable flag)之1個以上的切換參數或旗標的控制參數。
利用初始區塊分割資訊或修正區塊分割資訊，即可得到藉由各種分割方法形成的各種區塊分區構造。以分割方法來說，例如可為圖41之b1)及b2)所示的二元樹分割、或者如圖41之q1)及q2)所示的四元樹分割、或者如圖41之m1)及m2)所示的多元樹切割/分割、或者如圖41之n1)所示的非正方形/非長方形的分割。以子區塊的幾何資訊(形狀及/或大小)來說，像如圖41之b2)所示的非對稱的二元樹分割、如圖41之q2)所示的非對稱的四元樹分割、如圖41之m1)所示的大小不同的多元樹切割、或者如圖41之n1)所示的非正方形/非長方形的分割，可有各種的幾何資訊。
已解析的參數也可以顯示例如不需要修正的情形。若不需要修正，即可以省略步驟S6003及步驟S6004。因此，在進行到步驟S6005之前，是利用初始區塊分割資訊來分割成複數個子區塊。並且，在步驟S6005中，雖然是以解碼處理對包含於已利用修正區塊分割資訊分割而成的複數個子區塊中的子區塊進行解碼之作法，但可替換成下述作法：以解碼處理對包含於已利用初始區塊分割資訊分割而成的複數個子區塊中的子區塊進行解碼。
在步驟S6004中，是利用修正區塊分割資訊來修正複數個子區塊的幾何資訊。
在步驟S6005中，是以解碼處理對包含於該複數個子區塊中的子區塊進行解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像解碼裝置的構造，與實施形態2的圖36是同樣的，因此省略圖示及說明。
再者，在本實施形態中，也可以利用預設(default)區塊分割資訊來作為初始區塊分割資訊。所謂預設區塊分割資訊是指預定的區塊分割資訊。例如，預設區塊分割資訊亦可為已事先定義成標準規格的區塊分割資訊。又例如，預設區塊分割資訊亦可為已寫入於比區塊更上位的標頭之區塊分割資訊。再者，在利用預設區塊分割資訊的情況下，在步驟S5001及步驟S6001中，是進行預設區塊分割資訊的取得，來取代區塊分割資訊的初始化。
再者，在本實施形態中，雖然對於區塊分割資訊之初始化，是說明了根據編碼完成區塊或解碼完成區塊的區塊資訊之初始化的例子，但並不限於此。例如，在區塊分割資訊的初始化中，亦可根據當前區塊的圖片類型(I、P、或B圖片)及量化參數的至少其中一種來決定分割深度。
具體來說，亦可為例如當前區塊的圖片類型為I圖片時，即將區塊分割資訊進行初始化，使其成為以比較深的分割深度來分割區塊的區塊分割資訊。又例如，當前區塊的圖片類型為P圖片或B圖片時，區塊分割資訊也可被進行初始化，使其成為以比較淺的分割深度來分割區塊的區塊分割資訊。
又例如，初始區塊分割資訊中的分割深度也可根據當前區塊的量化參數來決定。具體來說，在當前區塊的量化參數之值比規定值更小的情況下，區塊分割資訊也可被進行初始化，使其成為以比較深的分割深度來分割區塊的區塊分割資訊。又，例如，在當前區塊的量化參數之值為規定值以上的情況下，區塊分割資訊也可被進行初始化，使其成為以比較淺的分割深度來分割區塊的其他區塊分割資訊。
(實施形態5)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將參數寫入位元流；將區塊分割成複數個子區塊；利用已寫入的前述參數，結合前述複數個子區塊中所含的至少2個子區塊，來形成結合區塊；並以編碼處理來對前述結合區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以利用參數，來結合至少2個子區塊。從而，可以參數來修正當前區塊的分割，可利用更適合於編碼的子區塊。其結果，可使壓縮效率提升。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，從位元流中解析出參數，並將區塊分割成複數個子區塊，且利用已解析的前述參數，結合包含於前述複數個子區塊中的至少2個子區塊來形成結合區塊，並以包含反轉換處理及/或預測處理的解碼處理來對前述結合區塊進行解碼。
藉此，即可以利用參數來結合至少2個子區塊。從而，可以藉由參數來修正當前區塊的分割，而可以利用更適合於解碼的子區塊。其結果，可以使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
如分別顯示在圖17及圖18，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖17是顯示實施形態5之影像編碼處理的一例。
以最初的步驟S7001來說，是將參數寫入位元流中。圖37是顯示壓縮影像位元流中的上述參數之可寫入的位置。
其次，在步驟S7002中，利用初始區塊分割資訊將區塊分割成複數個子區塊。如圖38所示，若所利用的區塊分割資訊不同，區塊分割的結果即複數個子區塊的高度、寬度、或形狀也會不同。
對於當前區塊的初始區塊分區構造，可以照樣地使用編碼完成區塊的區塊分區構造。又，對於當前區塊的初始區塊分區構造，也可以使用預設區塊分區構造。
也可以組合2個以上的編碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的初始區塊分區構造。對於編碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之編碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇利用框間預測而被編碼之1個以上之編碼完成區塊。
也可以修正編碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的初始區塊分區構造。
初始區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，初始區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。
初始區塊分割資訊亦可按照每個編碼完成區塊的框內預測方向之資訊而不同。例如，亦可為了決定將當前區塊縱向分割或橫向分割成更小的區塊，而使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，可以將用於當前區塊的區塊分割資訊進行初始化，使其成為包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，可以將用於當前區塊的區塊分割資訊進行初始化，使其成為包含橫向分割的區塊分割資訊。
初始區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，初始區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
可以因應於編碼完成區塊的框內/框間預測模式來將區塊分割資訊進行初始化。例如，在編碼完成區塊的預測模式為框內預測模式的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的預測模式為框間預測模式的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的移動向量來將區塊分割資訊進行初始化。例如，在編碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在編碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的量化參數來將區塊分割資訊初始化。例如，在編碼完成區塊的量化參數之值比規定值更小的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的量化參數之值為規定值以上的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的參照圖片資訊來將區塊分割資訊進行初始化。例如，在編碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個編碼完成區塊的複數個參照圖片為彼此類似的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個編碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可因應於編碼完成區塊的分割深度來將區塊分割資訊進行初始化。例如，在編碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之編碼完成區塊的分割資訊來進行初始化。例如，用於當前區塊的區塊分割資訊(包含分裂(split)資訊)或當前區塊的分裂資訊可從與當前框不同的編碼完成框之編碼完成區塊(例如，同位區塊(collocated block)、緊接在前的編碼完成區塊(last encoded block)、或以移動向量界定的編碼完成區塊等)中予以初始化。
在步驟S7003中，利用已寫入的參數，結合複數個子區塊中所包含的2個以上之子區塊，而形成結合區塊(merged block)。例如，在已寫入的參數中可包含合併旗標(merge flags)，該合併旗標是根據規定的掃描順序(光柵掃描(Raster scan)或Z掃描等)，而將較小的區塊以階層式方式結合並藉此形成較大的區塊之旗標。
如圖42B所示，當利用此參數時，會將複數個區塊結合並成為較大的區塊，而可修正初始區塊分區構造。在圖43中顯示將較小的區塊彼此以階層式方式結合，以形成較大的區塊之例子。
用以導出區塊分區構造時的分割方法，在步驟S7003中的結合處理之前後不同亦可。以分割方法來說，例如可為如圖41之b1)及b2)所示的二元樹分割、或者如圖41之q1)及q2)所示的四元樹分割、或者如圖41之m1)及m2)所示的多元樹切割/分割、或者如圖41之n1)所示的非正方形/非長方形的分割。以子區塊的幾何資訊(形狀及/或大小)來說，像如圖41之b2)所示的非對稱的二元樹分割、如圖41之q2)所示的非對稱的四元樹分割、如圖41之m1)所示的大小不同的多元樹切割、或圖41之n1)所示的非正方形/非長方形的分割，可有各種的幾何資訊。
已寫入的參數也可以顯示例如結合不是必要的情形。若結合不是必要時，即可以省略步驟S7003。因此，在進行到步驟S7004之前，是成為利用初始區塊分割資訊來將區塊分割成複數個子區塊的情形。並且，在步驟S7004中，是取代結合區塊而將子區塊以編碼處理來進行編碼。
在步驟S7004中，是以編碼處理對結合區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖18是顯示實施形態5之影像解碼處理之一例。
以最初的步驟S8001來說，是從位元流中解析出參數。圖37是顯示壓縮影像位元流中的上述參數之可解析的位置。
其次，在步驟S8002中，利用初始區塊分割資訊將區塊分割成複數個子區塊。如圖38所示，若所利用的區塊分割資訊不同，區塊分割的結果即複數個子區塊的高度、寬度、或形狀也會不同。
對於當前區塊的初始區塊分區構造，可以照樣地使用解碼完成區塊的區塊分區構造。
也可以組合2個以上的解碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的初始區塊分區構造。對於解碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之解碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇利用框間預測而被解碼之1個以上的解碼完成區塊。
也可以修正解碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的初始區塊分區構造。
初始區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，初始區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。
初始區塊分割資訊亦可按照每個解碼完成區塊的框內預測方向之資訊而不同。例如，亦可為了決定將當前區塊縱向分割或橫向分割成更小的區塊，而使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，可以將用於當前區塊的區塊分割資訊進行初始化，使其成為包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，可以將用於當前區塊的區塊分割資訊進行初始化，使其成為包含橫向分割的區塊分割資訊。
初始區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，初始區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
可以因應於解碼完成區塊的框內/框間預測模式來將區塊分割資訊進行初始化。例如，在解碼完成區塊的預測模式為框內預測模式的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的預測模式為框間預測模式的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照解碼完成區塊的移動向量來將區塊分割資訊進行初始化。例如，在解碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在解碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照解碼完成區塊的量化參數來將區塊分割資訊進行初始化。例如，在解碼完成區塊的量化參數之值比規定值更小的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的量化參數之值為規定值以上的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照解碼完成區塊的參照圖片資訊來將初始化區塊分割資訊進行初始化。例如，在解碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個解碼完成區塊的複數個參照圖片為彼此類似的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個解碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可因應於解碼完成區塊的分割深度來將區塊分割資訊進行初始化。例如，在解碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以將區塊分割資訊進行初始化，使其成為將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之解碼完成區塊的分割資訊來進行初始化。例如，用於當前區塊的區塊分割資訊(包含分裂(split)資訊)或當前區塊的分裂(split)資訊可以從與當前框不同的解碼完成框之解碼完成區塊(例如，同位區塊(collocated block)、最後的解碼完成區塊(last decoded block)、或以移動向量界定的解碼完成區塊等)中進行初始化。
在步驟S8003中，利用已解析的參數，結合複數個子區塊中所包含的2個以上之子區塊，而形成結合區塊(merged block)。例如，在已解析的參數中可包含合併旗標(merge flags)，該合併旗標是根據規定的掃描順序(光柵掃描(Raster scan)或Z掃描等)，而將較小的區塊以階層式方式結合並藉此形成較大的區塊之旗標。如圖42B所示，當利用此參數時，會將複數個區塊結合並成為較大的區塊，而可修正初始區塊分區構造。在圖43中顯示將較小的區塊彼此以階層式方式結合，以形成較大的區塊之例子。
用以導出區塊分區構造時的分割方法，在步驟S8003中的結合處理之前後不同亦可。以分割方法來說，例如可為如圖41之b1)及b2)所示的二元樹分割、或者如圖41之q1)及q2)所示的四元樹分割、或者如圖41之m1)及m2)所示的多元樹切割/分割、或者如圖41之n1)所示的非正方形/非長方形的分割。以子區塊的幾何資訊(形狀及/或大小)來說，像如圖41之b2)所示的非對稱的二元樹分割、如圖41之q2)所示的非對稱的四元樹分割、如圖41之m1)所示的大小不同的多元樹切割、或圖41之n1)所示的非正方形/非長方形的分割，可有各種的幾何資訊。
已解析的參數也可以顯示例如不需要結合的情形。若不需要結合，則可以省略步驟S8003。因此，在進行到步驟S8004之前，是成為利用初始區塊分割資訊來將區塊分割成複數個子區塊的情形。並且，在步驟S8004中，是取代結合區塊而將子區塊以解碼處理來進行解碼。
在步驟S8004中，是以解碼處理對結合區塊進行解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像解碼裝置的構造，與實施形態2的圖36是同樣的，因此省略圖示及說明。
(實施形態6)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，讀出區塊的幾何資訊，且判定已讀出的前述幾何資訊是否與規定的幾何資訊相等，在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊，在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊，並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以根據區塊的幾何資訊來分割該區塊。從而，可以減少區塊分割資訊的編碼量，且可以使壓縮效率提升。再者，區塊的幾何資訊之利用，可以對更適合於編碼的子區塊作出貢獻，且也可以對壓縮效率的提升作出貢獻。
例如，在本實施形態之編碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
例如，在本實施形態之編碼裝置中，前述子區塊的高度及寬度之至少一種亦可為2的乘冪。
藉此，可以將區塊分割成子區塊的高度及寬度之至少一種成為2的乘冪。從而，可以得到適合於編碼的尺寸之子區塊，且可以使壓縮效率提升。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，讀出區塊的幾何資訊，且判定已讀出的前述幾何資訊是否與規定的幾何資訊相等，在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊，在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊，並以包含反轉換處理及/或預測處理的解碼處理來對子區塊進行解碼。
藉此，即可以根據區塊的幾何資訊來分割該區塊。從而，可以減少區塊分割資訊的編碼量，且可以使壓縮效率提升。再者，區塊的幾何資訊之利用，可以對更適合於編碼的子區塊作出貢獻，且也可以對壓縮效率的提升作出貢獻。
例如，在本實施形態之解碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
例如，在本實施形態之解碼裝置中，前述子區塊的高度及寬度之至少一種亦可為2的乘冪。
藉此，可以將區塊分割成子區塊的高度及寬度之至少一種成為2的乘冪。從而，可以利用適合於編碼的尺寸之子區塊，且可以使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖19及圖20，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖19是顯示實施形態6之影像編碼處理的一例。
以最初的步驟S9001來說，是讀出區塊的幾何資訊。在此，幾何資訊是至少顯示區塊的形狀、高度、或者寬度。如圖44所示，若所利用的幾何資訊不同，區塊分割的結果即複數個子區塊的形狀、區塊高度、或者區塊寬度也會不同。
其次，在步驟S9002中，判定已讀出的幾何資訊是否與規定的幾何資訊相等。
在已讀出的幾何資訊與規定的幾何資訊為相等的情況下(S9002的是(Y))，在步驟S9003中，將區塊分割成第1幾何集的規定數量之子區塊。在已讀出的幾何資訊與規定的幾何資訊為不相等的情況下(S9002的否(N))，在步驟S9004中，將區塊分割成與第1幾何集不同的另外的幾何集之規定數量的子區塊。
例如，如圖45A之(a1)所示，在將子區塊的規定數量設定為2的情況下，若區塊寬度為2的乘冪(例如32)，即可以將區塊以1：3或3：1的比例縱向分割成2個子區塊。另一方面，如圖45A之(a2)所示，若寬度不是2的乘冪(例如24)，則可以將區塊以1：2或2：1的比例縱向分割成2個子區塊。同樣地，因應於區塊的區塊高度是否為2的乘冪，可以將區塊橫向分割成2個子區塊。
以另外的例子來說，如圖45C之(c1)所示，在將子區塊的規定數量設定為2的情況下，若區塊寬度(例如8)比區塊高度(例如32)更小，就可將區塊橫向分割成相等大小的2個子區塊。另一方面，如圖45C之(c2)所示，若寬度(例如32)比區塊高度(例如8)更大，就能將區塊縱向分割成相等大小的2個子區塊。
在將子區塊的規定數量設定為4的情況下，例如，如圖45B之(b1)所示，若區塊的區塊寬度為2的乘冪(例如32)，則可以將區塊分割成4個子區塊，且該4個子區塊是使最大的子區塊之寬度成為最小的子區塊之寬度的3倍。另一方面，如圖45B之(b2)所示，若區塊的區塊寬度不是2的乘冪(例如24)，則可以將區塊分割成4個子區塊，且該4個子區塊是使最大的子區塊之寬度成為最小的子區塊之寬度的2倍。
以另外的例子來說，如圖45D之(d1)所示，在將子區塊的規定數量設定為4的情況下，若區塊的區塊寬度(例如32)與該區塊的區塊高度(例如32)相同，則可以將該區塊在縱橫兩方向上均等分割。如圖45D之(d2)所示，若區塊的區塊寬度(例如32)是該區塊的區塊高度(例如8)的4倍，則可以將區塊在縱向上均等分割。同樣地，若區塊的區塊高度(例如32)是該區塊的區塊寬度(例如8)的4倍，則可以將區塊在橫向上均等分割。
如圖45A至圖45D所示，在本實施形態中，是使子區塊的高度及寬度之至少一種成為2的乘冪。再者，子區塊的高度及/或寬度也可以不限定於2的乘冪。
在步驟S9005中，是以編碼處理對子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖20是顯示實施形態6之影像解碼處理之一例。
以最初的步驟S10001來說，是讀出區塊的幾何資訊。在此，幾何是至少顯示區塊的形狀、高度、或者寬度。如圖44所示，若所利用的幾何資訊不同，區塊分割的結果即複數個子區塊的形狀、區塊高度、或區塊寬度也會不同。
其次，在步驟S10002中，判定已讀出的幾何資訊是否與規定的幾何資訊為相等。
在已讀出的幾何資訊與規定的幾何資訊相等的情況下(S10002的是(Y))，在步驟S10003中，將區塊分割成由第1幾何集所構成的規定數量之子區塊。在已讀出的幾何資訊與規定的幾何資訊不相等的情況下(S10002的否(N))，在步驟S10004中，將區塊分割成由與第1幾何集不同的另外的幾何集所構成的規定數量之子區塊。
例如，如圖45A之(a1)所示，在將子區塊的規定數量設定為2的情況下，若區塊寬度為2的乘冪(例如32)，即可以將區塊以1：3或3：1的比例縱向分割成2個子區塊。另一方面，如圖45A之(a2)所示，若寬度不是2的乘冪(例如24)，則可以將區塊以1：2或2：1的比例縱向分割成2個子區塊。同樣地，因應於區塊的區塊高度是否為2的乘冪，可以將區塊橫向分割成2個子區塊。
以另外的例子來說，如圖45C之(c1)所示，在將子區塊的規定數量設定為2的情況下，若區塊寬度(例如8)比區塊高度(例如32)更小，則可以將區塊橫向分割成相等大小的2個子區塊。另一方面，如圖45C之(c2)所示，若寬度(例如32)比區塊高度(例如8)更大，則可以將區塊縱向分割成相等大小的2個子區塊。
例如，如圖45B之(b1)所示，在將子區塊的規定數量設定為4的情況下，若區塊的區塊寬度為2的乘冪(例如32)，則可以將區塊分割成4個子區塊，且該4個子區塊是使最大的子區塊之寬度成為最小的子區塊之寬度的3倍。另一方面，如圖45B之(b2)所示，若區塊的區塊寬度不是2的乘冪(例如24)，則可以將區塊分割成4個子區塊，且該4個子區塊是使最大的子區塊之寬度成為最小的子區塊之寬度的2倍。
例如，如圖45D之(d1)所示，在將子區塊的規定數量設定為4的情況下，若區塊的區塊寬度(例如32)與該區塊的區塊高度(例如32)相同，則可以將該區塊在縱橫兩方向上均等分割。如圖45D之(d2)所示，若區塊的區塊寬度(例如32)是該區塊的區塊高度(例如8)的4倍，則可以將區塊在縱向上均等分割。同樣地，若區塊的區塊高度(例如32)是該區塊的區塊寬度(例如8)的4倍，則可以將區塊在橫向上均等分割。
如圖45A至圖45D所示，在本實施形態中，是使子區塊的高度及寬度之至少一種成為2的乘冪。再者，子區塊的高度及/或寬度也可以不限定於2的乘冪。
在步驟S10005中，是以解碼處理對子區塊進行解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像解碼裝置的構造，與實施形態2的圖36是同樣的，因此省略圖示及說明。
(實施形態7)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將參數寫入位元流中，且判定已寫入的前述參數是否與規定值相等，在已寫入的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊，在已寫入的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊，並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以依據參數與規定值是否相等，而切換分割後的規定數量之子區塊的幾何集。
例如，在本實施形態之編碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
例如，在本實施形態之編碼裝置中，前述子區塊的高度及寬度之至少一種亦可為2的乘冪。
藉此，可以將區塊分割成子區塊的高度及寬度之至少一種成為2的乘冪。從而，可以得到適合於編碼的尺寸之子區塊，且可以使壓縮效率提升。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，從位元流中解析出參數，且判定已解析的前述參數是否與規定值相等，在已解析的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊，在已解析的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊，並以包含反轉換處理及/或預測處理的解碼處理來對子區塊進行解碼。
藉此，即可以依據參數與規定值是否相等，而切換分割後的規定數量之子區塊的幾何集。
例如，在本實施形態之解碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
例如，在本實施形態之解碼裝置中，前述子區塊的高度及寬度之至少一種亦可為2的乘冪。
藉此，可以將區塊分割成子區塊的高度及寬度之至少一種成為2的乘冪。從而，可以利用適合於編碼的尺寸之子區塊，且可以使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖21及圖22，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖21是顯示實施形態7之影像編碼處理的一例。
以最初的步驟S11001來說，是將參數寫入位元流中。圖37是顯示壓縮影像位元流中的上述參數之可寫入的位置。
其次，在步驟S11002中，判定已寫入的參數是否與規定值相等。
在已寫入的參數與規定值為相等的情況下(S11002的是(Y))，在步驟S11003中，將區塊分割成第1幾何集的規定數量之子區塊。在已寫入的參數與規定值為不相等的情況下(S11002的否(N))，在步驟S11004中，將區塊分割成與第1幾何集不同的另外的幾何集之規定數量的子區塊。
已寫入的參數可以顯示分割模式(例如，四元樹/二元樹/多元樹分割、縱向/橫向分割、對稱/非對稱分割、及子區塊的區塊寬度/區塊高度的比例)。
例如，對於24x32區塊，如圖46A之(a1)所示，已寫入的參數可以顯示下述情形：分割為二元樹分割、分割為縱向分割、及2個子區塊的區塊寬度之比例為1：2。在此情況下，24x32區塊是被分割成8x32子區塊與16x32子區塊。
以另外的例子來說，對於24x32區塊，如圖46A之(a2)所示，已寫入的參數可以顯示下述情形：分割為二元樹分割、分割為縱向分割、及2個子區塊的區塊寬度之比例為2：1。在此情況下，24x32區塊是被分割成16x32子區塊與8x32子區塊。
例如，對於24x24區塊，如圖46B之(b1)所示，已寫入的參數可以顯示下述情形：分割為四元樹分割、左上的子區塊為最大的子區塊、及最大的子區塊與最小的子區塊之區塊寬度的比例為2：1。在此情況下，24x24區塊是被分割成16x16子區塊、8x16子區塊、16x8子區塊、及8x8子區塊。
以另外的例子來說，對於24x24區塊，如圖46B之(b2)所示，已寫入的參數可以顯示下述情形：分割為四元樹分割、右下的子區塊為最大的子區塊、及最大的子區塊與最小的子區塊之區塊寬度的比例為2：1。在此情況下，24x24區塊是被分割成8x8子區塊、16x8子區塊、8x16子區塊、及16x16子區塊。
例如，對於32x32區塊，如圖46C之(c1)所示，已寫入的參數可以顯示下述情形：分割為三元樹分割、分割為縱向分割、及子區塊的區塊寬度之比例為1：1：2。在此情況下，32x32區塊是被分割成2個8x32子區塊與16x32子區塊。
以另外的例子來說，對於32x32區塊，如圖46C之(c2)所示，已寫入的參數可以顯示下述情形：分割為三元樹分割、分割為縱向分割、及子區塊的區塊寬度之比例為2：1：1。在此情況下，32x32區塊是被分割成16x32子區塊與2個8x16子區塊。
例如，對於32x32區塊，如圖46D之(d1)所示，已寫入的參數可以顯示下述情形：分割為四元樹分割、及在分割中包含縱橫兩方向之方向。在此情況下，32x32區塊是被分割成4個16x16子區塊。
以另外的例子來說，對於32x32區塊，如圖46D之(d2)所示，已寫入的參數可以顯示下述情形：分割為四元樹分割、及在分割中僅包含有縱向方向。在此情況下，32x32區塊是被分割成4個8x32子區塊。
如圖46A至圖46D所示，在本實施形態中，是使子區塊的高度及寬度之至少一種成為2的乘冪。再者，子區塊的高度及/或寬度亦可不限定為2的乘冪。
在步驟S11005中，是以編碼處理來對子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖22是顯示實施形態7之影像解碼處理之一例。
以最初的步驟S12001來說，是從位元流中解析參數。圖37是顯示壓縮影像位元流中的上述參數之可解析的位置。
其次，在步驟S12002中，判定已解析的參數是否與規定值相等。
在已解析的參數與規定值為相等的情況下(S12002的是(Y))，在步驟S12003中，將區塊分割成第1幾何集的規定數量之子區塊。在已解析的幾何資訊與規定值為不相等的情況下(S12002的否(N))，在步驟S12004中，將區塊分割成與第1幾何集不同的另外的幾何集之規定數量的子區塊。
已解析的參數可以顯示分割模式(例如，四元樹/二元樹/多元樹分割、縱向/橫向分割、對稱/非對稱分割、及子區塊的區塊寬度/區塊高的比例)。
例如，對於24x32區塊，如圖46A之(a1)所示，已解析的參數可以顯示下述情形：分割為二元樹分割、分割為縱向分割、及2個子區塊的區塊寬度之比例為1：2。在此情況下，24x32區塊是被分割成8x32子區塊與16x32子區塊。
以另外的例子來說，對於24x32區塊，如圖46A之(a2)所示，已解析的參數可以顯示下述情形：分割為二元樹分割、分割為縱向分割、及2個子區塊的區塊寬度之比例為2：1。在此情況下，24x32區塊是被分割成16x32子區塊與8x32子區塊。
例如，對於24x24區塊，如圖46B之(b1)所示，已解析的參數可以顯示下述情形：分割為四元樹分割、左上的子區塊為最大的子區塊、及最大的子區塊與最小的子區塊之區塊寬度的比例為2：1。在此情況下，24x24區塊是被分割成16x16子區塊、8x16子區塊、16x8子區塊、及8x8子區塊。
以另外的例子來說，對於24x24區塊，如圖46B之(b2)所示，已解析的參數可以顯示下述情形：分割為四元樹分割、右下的子區塊為最大的子區塊、及最大的子區塊與最小的子區塊之區塊寬度的比例為2：1。在此情況下，24x24區塊是被分割成8x8子區塊、16x8子區塊、8x16子區塊、及16x16子區塊。
例如，對於32x32區塊，如圖46C之(c1)所示，已解析的參數可以顯示下述情形：分割為三元樹分割、分割為縱向分割、及子區塊的區塊寬度之比例為1：1：2。在此情況下，32x32區塊是被分割成2個8x32子區塊與16x32子區塊。
以另外的例子來說，對於32x32區塊，如圖46C之(c2)所示，已解析的參數可以顯示下述情形：分割為三元樹分割、分割為縱向分割、及子區塊的區塊寬度之比例為2：1：1。在此情況下，32x32區塊是被分割成16x32子區塊與2個8x16子區塊。
例如，對於32x32區塊，如圖46D之(d1)所示，已解析的參數可以顯示下述情形：分割為四元樹分割、及在分割中包含縱橫兩方向之方向。在此情況下，32x32區塊是被分割成4個16x16子區塊。
以另外的例子來說，對於32x32區塊，如圖46D之(d2)所示，已解析的參數可以顯示下述情形：分割為四元樹分割、及在分割中僅包含有縱向方向。在此情況下，32x32區塊是被分割成4個8x32子區塊。
如圖46A至圖46D所示，在本實施形態中，是使子區塊的高度及寬度之至少一種成為2的乘冪。再者，子區塊的高度及/或寬度亦可不限定為2的乘冪。
在步驟S12005中，是以解碼處理對子區塊進行解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖36是同樣的，因此省略圖示及說明。
(實施形態8)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，讀出區塊的幾何資訊，且判定已讀出的前述幾何資訊是否與規定的幾何資訊相等，在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1數量的子區塊，在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與前述第1數量不相等的數量之子區塊，並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以將區塊分割成根據該區塊的幾何資訊之數量的子區塊。從而，可以減少區塊分割資訊的編碼量，且可以使壓縮效率提升。此外，可以使子區塊的數量依區塊的幾何資訊而定。其結果，可以更有效地分割區塊，且可以使壓縮效率提升。
例如，在本實施形態之編碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
例如，在本實施形態之編碼裝置中，前述子區塊的高度及寬度之至少一種亦可為2的乘冪。
藉此，可以將區塊分割成子區塊的高度及寬度之至少一種成為2的乘冪。從而，可以得到適合於編碼的尺寸之子區塊，且可以使壓縮效率提升。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，讀出區塊的幾何資訊，且判定已讀出的前述幾何資訊是否與規定的幾何資訊相等，在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1數量的子區塊，在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與前述第1數量不相等的數量之子區塊，並以包含反轉換處理及/或預測處理的解碼處理來對子區塊進行解碼。
藉此，即可以將區塊分割成根據該區塊的幾何資訊之數量的子區塊。從而，可以減少區塊分割資訊的編碼量，且可以使壓縮效率提升。此外，可以使子區塊的數量依區塊的幾何資訊而定。其結果，可以更有效地分割區塊，且可以使壓縮效率提升。
例如，在本實施形態之解碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
例如，在本實施形態之解碼裝置中，前述子區塊的高度及寬度之至少一種亦可為2的乘冪。
藉此，可以將區塊分割成子區塊的高度及寬度之至少一種成為2的乘冪。從而，可以利用適合於編碼的尺寸之子區塊，且可以使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖23及圖24地，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖23是顯示實施形態8之影像編碼處理的一例。
以最初的步驟S13001來說，是讀出區塊的幾何資訊。在此，幾何資訊是至少顯示區塊的形狀、高度、或寬度。如圖44所示，若所利用的幾何資訊不同，區塊分割的結果即複數個子區塊的形狀、區塊高度、或區塊寬度也會不同。
其次，在步驟S13002中，判定已讀出的幾何資訊是否與規定的幾何資訊為相等。
在已讀出的幾何資訊與規定的幾何資訊為相等的情況下(S13002的是(Y))，在步驟S13003中，將區塊分割成第1數量的子區塊。在已讀出的幾何資訊與規定的幾何資訊為不相等的情況下(S13002的否(N))，在步驟S13004中，將區塊分割成與第1數量不相等的數量之子區塊。
例如，如圖47A之(a1)所示，若區塊的區塊寬度為2的乘冪，即可以將區塊(例如，32x32)縱向分割成相同大小的4個子區塊(例如，8x32)。另一方面，如圖47A之(a2)所示，若區塊的區塊寬度不是2的乘冪，則可以將區塊(例如，24x32)縱向分割成相同大小的3個子區塊(例如，8x32)。
以另外的例子來說，如圖47B之(b1)所示，若區塊的區塊寬度及區塊高度之雙方皆為2的乘冪，且區塊寬度是區塊高度的2倍，則可以將區塊(例如，64x32)均等分割成相等大小的8個子區塊(例如，16x16)。另一方面，如圖47B之(b2)所示，若區塊的區塊寬度及區塊高度之雙方皆為2的乘冪，且區塊寬度與區塊高度相同，則可以將區塊(例如，32x32)均等分割成相等大小的4個子區塊(例如，16x16)。
如圖47A至圖47B所示，在本實施形態中，是使子區塊的高度及寬度之至少一種成為2的乘冪。再者，子區塊的高度及/或寬度亦可不限定為2的乘冪。
在步驟S13005中，是以編碼處理對子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖24是顯示實施形態8之影像解碼處理之一例。
以最初的步驟S14001來說，是讀出區塊的幾何資訊。在此，幾何資訊是至少顯示區塊的形狀、高度、或者寬度。如圖44所示，若所利用的幾何資訊不同，區塊分割的結果即複數個子區塊的形狀、區塊高度、或者區塊寬度也會不同。
其次，在步驟S14002中，判定已讀出的幾何資訊是否與規定的幾何資訊相等。
在已讀出的幾何資訊與規定的幾何資訊為相等的情況下(S14002的是(Y))，在步驟S14003中，將區塊分割成第1數量的子區塊。在已讀出的幾何資訊與規定的幾何資訊為不相等的情況下(S14002的否(N))，在步驟S14004中，將區塊分割成與第1數量不相等的數量之子區塊。
例如，如圖47A之(a1)所示，若區塊的區塊寬度為2的乘冪，即可以將區塊(例如，32x32)縱向分割成相同大小的4個子區塊(例如，8x32)。另一方面，如圖47A之(a2)所示，若區塊的區塊寬度不是2的乘冪，則可以將區塊(例如，24x32)縱向分割成相同大小的3個子區塊(例如，8x32)。
以另外的例子來說，如圖47B之(b1)所示，若區塊的區塊寬度及區塊高度之雙方皆為2的乘冪，且區塊寬度是區塊高度的2倍，則可以將區塊(例如，64x32)均等分割成相等大小的8個子區塊(例如，16x16)。另一方面，如圖47B之(b2)所示，若區塊的區塊寬度及區塊高度之雙方皆為2的乘冪，且區塊寬度與區塊高度相同，則可以將區塊(例如，32x32)均等分割成相等大小的4個子區塊(例如，16x16)。
如圖47A至圖47B所示，在本實施形態中，是使子區塊的高度及寬度之至少一種成為2的乘冪。再者，子區塊的高度及/或寬度亦可不限定為2的乘冪。
在步驟S14005中，是以解碼處理對子區塊進行解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖36是同樣的，因此省略圖示及說明。
(實施形態9)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將參數寫入位元流中，且判定已寫入的前述參數是否與規定值相等，在已寫入的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1數量的子區塊，且前述第1數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大，在已寫入的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與前述第1數量不相等的第2數量之子區塊，且前述第2數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大，並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以依據參數與規定值是否相等，而切換分割後的子區塊之數量。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，從位元流中解析出參數，且判定已解析的前述參數是否與規定值相等，在已解析的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1數量的子區塊，且前述第1數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大，在已解析的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與前述第1數量不相等的第2數量之子區塊，且前述第2數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大，並以包含反轉換處理及/或預測處理的解碼處理來對子區塊進行解碼。
藉此，即可以依據參數與規定值是否相等，而切換分割後的子區塊之數量。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖25及圖26，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖25是顯示實施形態9之影像編碼處理的一例。
以最初的步驟S15001來說，是將參數寫入位元流中。圖37是顯示壓縮影像位元流中的上述參數之可寫入的位置。
其次，在步驟S15002中，判定已寫入的參數是否與規定值相等。
在已寫入的參數與規定值為相等的情況下(S15002的是(Y))，在步驟S15003中，將區塊分割成第1數量的子區塊。在此，第1數量是：若區塊的分割處理為縱向或橫向之單方向的分割處理，則比2更大；若區塊的分割處理並非是縱向或橫向之單方向的分割處理，則比3更大。在已寫入的參數與規定值為不相等的情況下(S15002的否(N))，在步驟S15004中，將區塊分割成與第1數量不相等的第2數量之子區塊。在此，第2數量是：若區塊的分割處理為縱向或橫向之單方向的分割處理，則比2更大；若區塊的分割處理並非縱向或橫向之單方向的分割處理，則比3更大。
例如，對於32x32區塊，如圖48A之(a1)所示，已寫入的參數可以顯示下述情形：分割為四元樹分割、及在分割中僅包含縱向方向。在此情況下，32x32區塊是被分割成4個8x32子區塊。
以另外的例子來說，對於32x32區塊，如圖48A之(a2)所示，已寫入的參數可以顯示下述情形：分割為三元樹分割、分割為縱向分割、及子區塊的區塊寬度之比例為1：2：1。在此情況下，32x32區塊是被分割成8x32子區塊、16x32子區塊、及8x32子區塊。
對於32x32區塊，例如，如圖48B之(b1)所示，已寫入的參數可以顯示下述情形：分割為四元樹分割、及在分割中僅包含橫向方向。在此情況下，32x32區塊是被分割成4個32x8子區塊。
以另外的例子來說，對於32x32區塊，如圖48B之(b2)所示，已寫入的參數可以顯示下述情形：分割為三元樹分割、分割為橫向分割、及子區塊的區塊高度之比例為1：2：1。在此情況下，32x32區塊是被分割成32x8子區塊、32x16子區塊、及32x8子區塊。
對於32x32區塊，例如，如圖48C之(c1)所示，已寫入的參數可以顯示下述情形：分割為四元樹分割、及在分割中包含縱橫兩方向之方向。在此情況下，32x32區塊是被分割成4個16x16子區塊。
以另外的例子來說，對於32x32區塊，如圖48C之(c2)所示，已寫入的參數可以顯示下述情形：分割為多元樹分割、在分割中包含縱橫兩方向之方向、及子區塊的數量為16。在此情況下，32x32區塊是被分割成16個8x8子區塊。
在步驟S15005中，是以編碼處理來對子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖26是顯示實施形態9之影像解碼處理之一例。
以最初的步驟S16001來說，是從位元流中解析出參數。圖37是顯示壓縮影像位元流中的上述參數之可解析的位置。
其次，在步驟S16002中，判定已解析的參數是否與規定值相等。
在已解析的參數與規定值為相等的情況下(S16002的是(Y))，在步驟S16003中，將區塊分割成第1數量的子區塊。在此，第1數量是：若區塊的分割處理為縱向或橫向之單方向的分割處理，則比2更大；若區塊的分割處理並非是縱向或橫向之單方向的分割處理，則比3更大。在已解析的參數與規定值為不相等的情況下(S16002的否(N))，在步驟S16004中，將區塊分割成與第1數量不相等的第2數量之子區塊。在此，第2數量是：若區塊的分割處理為縱向或橫向之單方向的分割處理，則比2更大；若區塊的分割處理並非縱向或橫向之單方向的分割處理，則比3更大。
例如，對於32x32區塊，如圖48A之(a1)所示，已解析的參數可以顯示下述情形：分割為四元樹分割、及在分割中僅包含縱向方向。在此情況下，32x32區塊是被分割成4個8x32子區塊。
以另外的例子來說，對於32x32區塊，如圖48A之(a2)所示，已解析的參數可以顯示下述情形：分割為三元樹分割、分割為縱向分割、及子區塊的區塊寬度之比例為1：2：1。在此情況下，32x32區塊是被分割成8x32子區塊、16x32子區塊、及8x32子區塊。
例如，對於32x32區塊，如圖48B之(b1)所示，已解析的參數可以顯示下述情形：分割為四元樹分割、及在分割中僅包含橫向方向。在此情況下，32x32區塊是被分割成4個32x8子區塊。
以另外的例子來說，對於32x32區塊，如圖48B之(b2)所示，已解析的參數可以顯示下述情形：分割為三元樹分割、分割為橫向分割、及子區塊的區塊高度之比例為1：2：1。在此情況下，32x32區塊是被分割成32x8子區塊、32x16子區塊、及32x8子區塊。
例如，對於32x32區塊，如圖48C之(c1)所示，已解析的參數可以顯示下述情形：分割為四元樹分割、及在分割中包含縱橫兩方向之方向。在此情況下，32x32區塊是被分割成4個16x16子區塊。
以另外的例子來說，對於32x32區塊，如圖48C之(c2)所示，已解析的參數可以顯示下述情形：分割為多元樹分割、在分割中包含縱橫兩方向之方向、及子區塊的數量為16。在此情況下，32x32區塊是被分割成16個8x8子區塊。
在步驟S16005中，是以解碼處理對子區塊進行解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖36是同樣的，因此省略圖示及說明。
(實施形態10)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將分區候補選擇參數寫入位元流中，且利用已寫入的前述分區候補選擇參數，從規定的區塊分割資訊的大集合(set)中選擇區塊分割資訊的小集合，且將分區選擇參數寫入位元流中，並利用已寫入的前述分區選擇參數，而僅從已選擇的前述區塊分割資訊的小集合中來界定區塊分割資訊，而可在使用已界定的前述區塊分割資訊時，將區塊分割成幾何集的複數個子區塊，且在使用另外的區塊分割資訊時，將區塊分割成另外的幾何集的複數個子區塊，而利用已界定的前述區塊分割資訊，將區塊分割成複數個子區塊，並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以利用2個參數，從規定的區塊分割資訊的集合中分階段地選擇區塊分割資訊。從而，只要適當地將區塊分割資訊的小集合分類，即變得可做到有效的選擇。其結果，可以減少區塊分割資訊的編碼量，且使壓縮效率提升。
例如，在本實施形態之編碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，從位元流中解析出分區候補選擇參數，且利用已解析的前述分區候補選擇參數，從規定的區塊分割資訊的大集合(set)中選擇區塊分割資訊的小集合，且從位元流中解析出分區選擇參數，並利用已解析的前述分區選擇參數，而僅從已選擇的前述區塊分割資訊的小集合中來界定區塊分割資訊，而可在使用已界定的前述區塊分割資訊時，將區塊分割成幾何集的複數個子區塊，且在使用另外的區塊分割資訊時，將區塊分割成另外的幾何集的複數個子區塊，而利用已界定的前述區塊分割資訊，將區塊分割成複數個子區塊，並以包含反轉換處理及/或預測處理的解碼處理來對子區塊進行解碼。
藉此，即可以利用2個參數，從規定的區塊分割資訊的集合中分階段地選擇區塊分割資訊。從而，只要適當地將區塊分割資訊的小集合分類，即變得可做到有效的選擇。其結果，可以減少區塊分割資訊的編碼量，且使壓縮效率提升。
例如，在本實施形態之解碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖27及圖28，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖27是顯示實施形態10之影像編碼處理的一例。
以最初的步驟S17001來說，是將分區候補選擇參數寫入位元流中。圖37是顯示壓縮影像位元流中的分區候補選擇參數之可寫入的位置。
其次，在步驟S17002中，利用已寫入的分區候補選擇參數，從規定的區塊分割資訊的大集合中選擇區塊分割資訊的小集合。
已寫入的分區候補選擇參數可以為例如下述情形：包含用於從2個以上的區塊分割資訊集中選擇區塊分割資訊集的索引(index)。
區塊分割資訊可以按照每種所利用的分割方法(縱向分割、橫向分割、及四元樹分割等)而分類成不同的區塊分割資訊之群組(集合)。例如，如圖49A所示，有縱向分割群組(第1集合)、橫向分割群組(第2集合)、及四元樹分割群組(第3集合)等3個區塊分割資訊群組。縱向分割群組僅對應於縱向分割，橫向分割群組僅對應於橫向分割，四元樹分割群組僅對應於四元樹分割。若索引的值為0，可選擇縱向分割群組。若索引的值為1，可選擇橫向分割群組。若索引的值為2，可選擇四元樹分割群組。
編碼完成區塊的區塊分割資訊也可以按照每個圖像位置而分類成不同的區塊分割資訊群組。例如左上區塊、上區塊、及右上區塊的區塊分割資訊可以分類作為上區塊分割群組(第1集合)。左下區塊及左區塊的區塊分割資訊可以分類作為左區塊分割群組(第2集合)。同位區塊及運動補償參照區塊的區塊分割資訊可以分類作為時間區塊分割群組(第3集合)。若索引的值為0，可選擇上區塊分割群組。若索引的值為1，可選擇左區塊分割群組。若索引的值為2，可選擇時間區塊分割群組。
以另外的例子來說，如圖49B所示，已寫入的分區候補選擇參數可以為下述情形：包含用於從區塊分割資訊集中選擇1個以上的選擇區塊分割資訊之參數/索引。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。區塊分割資訊亦可為包含區塊內之全部的子區塊之規定區塊寬度及規定區塊高度的參數集。又，區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
在步驟S17003中，是將分區選擇參數寫入位元流中。圖37是顯示壓縮影像位元流中的分區選擇參數之可寫入的位置。
其次，在步驟S17004中，利用已寫入的分區選擇參數，而僅從所選擇的區塊分割資訊之集合中界定區塊分割資訊。在此，可在利用已界定的區塊分割資訊時，將區塊分割成幾何集的複數個子區塊，但若利用另外的區塊分割資訊時，區塊就會被分割成另外的幾何集的複數個子區塊。
已寫入的分區選擇參數可以為例如下述情形：包含用於從所選擇的區塊分割資訊的小集合中選擇1個區塊分割資訊的索引。
例如，如圖49A所示，在步驟S17002中，選擇縱向分割群組(第1集合)來作為區塊分割資訊的小集合。在縱向分割群組中，有因應於3個不同的區塊分割資訊之3個不同的區塊分區構造。若索引的值為0，可界定縱向分割群組的第1區塊分區構造。若索引的值為1，可界定縱向分割群組的第2區塊分區構造。若索引的值為2，可界定縱向分割群組的第3區塊分區構造。
在另外的例子中，是將左上區塊、上區塊、及右上區塊的區塊分割資訊分類為上區塊分割群組，該上區塊分割群組是作為區塊分割資訊的小集合而在步驟S17002中所選擇的群組。若索引的值為0，可界定左上區塊的區塊分區構造。若索引的值為1，可界定上區塊的區塊分區構造。若索引的值為2，可界定右上區塊的區塊分區構造。
以另外的例子來說，已寫入的分區選擇參數可以為下述情形：包含用於從初始區塊分割資訊中導出區塊分割資訊的複數個分割/合併旗標(split/merge flags)。
並且，在步驟S17005中，利用已界定的區塊分割資訊來將區塊分割成複數個子區塊。
在步驟S17006中，是以編碼處理來對子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖28是顯示實施形態10之影像解碼處理之一例。
以最初的步驟S18001來說，是從位元流中解析出分區候補選擇參數。圖37是顯示壓縮影像位元流中的分區候補選擇參數之可解析的位置。
其次，在步驟S18002中，利用已解析的分區候補選擇參數，從規定的區塊分割資訊的大集合中選擇區塊分割資訊的小集合。
已解析的分區候補選擇參數可以為例如下述情形：包含用於從2個以上的區塊分割資訊集之中選擇區塊分割資訊集的索引(index)。
區塊分割資訊可以按照每種所利用的分割方法(縱向分割、橫向分割、及四元樹分割等)而分類成不同的區塊分割資訊之群組(集合)。例如，如圖49A所示，有縱向分割群組(第1集合)、橫向分割群組(第2集合)、及四元樹分割群組(第3集合)等3個區塊分割資訊群組。縱向分割群組僅對應於縱向分割，橫向分割群組僅對應於橫向分割，四元樹分割群組僅對應於四元樹分割。若索引的值為0，可選擇縱向分割群組。若索引的值為1，可選擇橫向分割群組。若索引的值為2，可選擇四元樹分割群組。
解碼完成區塊的區塊分割資訊也可以按照每個圖像位置而分類成不同的區塊分割資訊群組。例如左上區塊、上區塊、及右上的區塊之區塊分割資訊可以分類作為上區塊分割群組(第1集合)。左下區塊及左區塊的區塊分割資訊可以分類作為左區塊分割群組(第2集合)。同位區塊及運動補償參照區塊的區塊分割資訊可以分類作為時間區塊分割群組(第3集合)。若索引的值為0，可選擇上區塊分割群組。若索引的值為1，可選擇左區塊分割群組。若索引的值為2，可選擇時間區塊分割群組。
以另外的例子來說，如圖49B所示，已解析的分區候補選擇參數可以為下述情形：包含用於從區塊分割資訊集之中選擇1個以上的選擇區塊分割資訊之參數/索引。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。區塊分割資訊亦可為包含區塊內之全部的子區塊之規定區塊寬度及規定區塊高度的參數集。又，區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
在步驟S18003中，是從位元流解析分區選擇參數。圖37是顯示壓縮影像位元流中的分區選擇參數之可解析的位置。
其次，在步驟S18004中，利用已解析的分區選擇參數，而僅從所選擇的區塊分割資訊的小集合中界定區塊分割資訊。在此，可在利用已界定的區塊分割資訊時，將區塊分割成幾何集的複數個子區塊，但在利用另外的區塊分割資訊時，將區塊分割成另外的幾何集的複數個子區塊。
已解析的分區選擇參數可以為例如下述情形：包含用於從所選擇的區塊分割資訊的小集合中選擇1個區塊分割資訊的索引(index)。
例如，如圖49A所示，在步驟S18002中，選擇縱向分割群組(第1集合)來作為區塊分割資訊的小集合。在縱向分割群組中，有因應於3個不同的區塊分割資訊之3個不同的區塊分區構造。若索引的值為0，可界定縱向分割群組的第1區塊分區構造。若索引的值為1，可界定縱向分割群組的第2區塊分區構造。若索引的值為2，可界定縱向分割群組的第3區塊分區構造。
在另外的例子中，是將左上區塊、上區塊、及右上區塊的區塊分割資訊分類為上區塊分割群組，該上區塊分割群組是作為區塊分割資訊的小集合而在步驟S18002中所選擇的群組。若索引的值為0，可界定左上區塊的區塊分區構造。若索引的值為1，可界定上區塊的區塊分區構造。若索引的值為2，可界定右上區塊的區塊分區構造。
以另外的例子來說，已解析的分區選擇參數可以為下述情形：包含用於從初始區塊分割資訊中導出區塊分割資訊的複數個分割/合併旗標(split/merge flags)。
並且，在步驟S18005中，利用已界定的區塊分割資訊來將區塊分割成複數個子區塊。
在步驟S18006中，是以解碼處理將子區塊解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖36是同樣的，因此省略圖示及說明。
(實施形態11)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將參數寫入位元流中；從1個以上的編碼完成區塊中讀出區塊資訊；利用已讀出的前述區塊資訊，從規定的區塊分割資訊的大集合中選擇區塊分割資訊的小集合；利用已寫入的前述參數，僅從已選擇的前述區塊分割資訊的小集合中界定區塊分割資訊；；在使用已界定的前述區塊分割資訊時，將區塊分割成幾何集的複數個子區塊；在使用另外的區塊分割資訊時，將區塊分割成另外的幾何集的複數個子區塊；利用已界定的前述區塊分割資訊，將當前區塊分割成複數個子區塊；並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以藉由編碼完成區塊的區塊資訊，從規定的區塊分割資訊中限縮出可選擇的區塊分割資訊，且可以減少用於選擇區塊分割資訊的參數之編碼量。其結果，可以使壓縮效率提升。
例如，在本實施形態之編碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，對於幾何資訊，可以利用區塊的形狀及/或尺寸。
例如，在本實施形態之編碼裝置中，前述當前區塊及前述1個以上的編碼完成區塊為彼此不同的區塊，前述1個以上的編碼完成區塊當中的至少1個，亦可包含在與前述當前區塊相同的框中、或者包含在與前述當前區塊的框不同的其他框中。
藉此，可以從彼此不同的1個以上之編碼完成區塊中讀出區塊資訊，而可以選擇更適當的區塊分割資訊的小集合。其結果，可以減少區塊分割資訊的編碼量，且使壓縮效率提升。
例如，在本實施形態之編碼裝置中，所讀出的前述區塊資訊，亦可包含有關於區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度的資訊當中的至少1個。
藉此，即可以利用更適合於區塊分割資訊的小集合之選擇的資訊，來作為區塊資訊。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，從位元流中解析出參數；從1個以上的解碼完成區塊中讀出區塊資訊；利用已讀出的前述區塊資訊，從規定的區塊分割資訊的大集合中選擇區塊分割資訊的小集合；利用已解析的前述參數，僅從已選擇的前述區塊分割資訊的小集合中界定區塊分割資訊，在已界定的前述區塊分割資訊被利用時，區塊被分割成幾何集的複數個子區塊；在另外的區塊分割資訊被利用時，區塊被分割成另外的幾何集的複數個子區塊；利用已界定的前述區塊分割資訊，將當前區塊分割成複數個子區塊；並以解碼處理來對子區塊進行解碼，其中該解碼處理包含反轉換處理及/或預測處理的。
藉此，即可以藉由解碼完成區塊的區塊資訊，從規定的區塊分割資訊中限縮出可選擇的區塊分割資訊，且可以減少用於選擇區塊分割資訊的參數之編碼量。其結果，可以使壓縮效率提升。
例如，在本實施形態之解碼裝置中，幾何資訊亦可至少顯示區塊的形狀、高度、或者寬度。
藉此，作為幾何資訊，可以利用區塊的形狀及/或尺寸。
例如，在本實施形態之解碼裝置中，前述當前區塊及前述1個以上的解碼完成區塊為彼此不同的區塊，前述1個以上的解碼完成區塊當中的至少1個，亦可包含在與前述當前區塊相同的框中、或者包含在與前述當前區塊的框不同的其他框中。
藉此，可以從彼此不同的1個以上之解碼完成區塊中讀出區塊資訊，且可以選擇更適當的區塊分割資訊的小集合。其結果，可以減少區塊分割資訊的編碼量，且使壓縮效率提升。
例如，在本實施形態之解碼裝置中，所讀出的前述區塊資訊，亦可包含有關於區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度的資訊當中的至少1個。
藉此，對於區塊資訊，可利用更適合於區塊分割資訊的小集合之選擇的資訊。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
如分別顯示在圖29及圖30，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖29是顯示實施形態11之影像編碼處理的一例。
以最初的步驟S19001來說，是將參數寫入位元流中。圖37是顯示壓縮影像位元流中的參數之可寫入的位置。
其次，在步驟S19002中，從1個以上的編碼完成區塊中讀出區塊資訊(例如，位置、區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度)。
在步驟S19003中，利用已讀出的區塊資訊，從規定之區塊分割資訊的大集合中選擇區塊分割資訊的小集合。
例如，利用已讀出的區塊資訊，首先，可以導出預測區塊分割資訊。並且，可從規定之區塊分割資訊的大集合中，選擇具有與預測區塊分割資訊類似的區塊分區構造之區塊分割資訊，且追加到區塊分割資訊的小集合。在這些區塊分割資訊的選擇中，若顯示例如預測區塊分割資訊僅使用縱向分割的情形，可選擇僅有縱向分割的區塊分區構造(圖49A的第1集合)。在這些區塊分割資訊的選擇中，若顯示例如預測區塊分割資訊僅使用橫向分割的情形，可選擇僅有橫向分割的區塊分區構造(圖49A的第2集合)。以另外的例子來說，在這些區塊分割資訊的選擇中，如圖50所示，可選擇下述的區塊分區構造：具有與因應於預測區塊分割資訊的區塊分區構造相同/類似的幾何資訊之區塊分區構造。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
對於當前區塊的預測區塊分區構造，可以照樣地使用編碼完成區塊的區塊分區構造。
也可以組合2個以上的編碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。對於編碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之編碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇已利用框間預測而被編碼之1個以上的編碼完成區塊。
也可以修正編碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。
預測區塊分割資訊亦可按照每個編碼完成區塊的框內預測方向之資訊而不同。例如，亦可為了對將當前區塊縱向分割或橫向分割成更小的區塊進行預測，而使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，針對當前區塊，可以預測包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，針對當前區塊，可以預測包含橫向分割的區塊分割資訊。
亦可依照編碼完成區塊的框內/框間預測模式來預測區塊分割資訊。例如，在編碼完成區塊的預測模式為框內預測模式的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的預測模式為框間預測模式的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的移動向量來預測區塊分割資訊。例如，在編碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在編碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的量化參數來預測區塊分割資訊。例如，在編碼完成區塊的量化參數之值比規定值更小的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的量化參數之值為規定值以上的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
亦可依照編碼完成區塊的參照圖片資訊來預測區塊分割資訊。例如，在編碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個編碼完成區塊的複數個參照圖片為彼此類似的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個編碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的分割深度來予以預測。例如，在編碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之編碼完成區塊的分割資訊來予以預測。例如，用於當前區塊的區塊分割資訊(包含分裂資訊)或當前區塊的分裂資訊可從與當前框不同的編碼完成框之編碼完成區塊(例如，同位區塊(collocated block)、緊接在前的編碼完成區塊(last encoded block)、或以移動向量界定的編碼完成區塊等)中予以預測。
編碼完成區塊的區塊分割資訊也可以按照每個圖像位置而分類成不同的區塊分割資訊群組。例如左上區塊、上區塊、及右上區塊的區塊分割資訊可以分類作為上區塊分割群組(第1集合)。左下區塊及左區塊的區塊分割資訊可以分類作為左區塊分割群組(第2集合)。同位區塊及運動補償參照區塊的區塊分割資訊可以分類作為時間區塊分割群組(第3集合)。若索引的值為0，可選擇上區塊分割群組。若索引的值為1，可選擇左區塊分割群組。若索引的值為2，可選擇時間區塊分割群組。
其次，在步驟S19004中，利用已寫入的參數，而僅從已選擇的區塊分割資訊的小集合中界定區塊分割資訊。在此，在利用已界定的區塊分割資訊時，可將區塊分割成幾何集的複數個子區塊，但在利用另外的區塊分割資訊時，可將區塊分割成另外的幾何集的複數個子區塊。已寫入的參數可以為例如下述情形：包含用於從已選擇的區塊分割資訊的小集合中選擇1個區塊分割資訊的索引。
例如可將左上區塊、上區塊、及右上區塊的區塊分割資訊分類為上區塊分割群組，該上區塊分割群組是作為區塊分割資訊的小集合而在步驟S19003中所選擇的群組。若索引的值為0，可界定左上區塊的區塊分區構造。若索引的值為1，可界定上區塊的區塊分區構造。若索引的值為2，可界定右上區塊的區塊分區構造。
以另外的例子來說，已寫入的參數可以為下述情形：包含用於從初始區塊分割資訊中導出區塊分割資訊的複數個分割/合併旗標(split/merge flags)。
並且，在步驟S19005中，利用已界定的區塊分割資訊來將區塊分割成複數個子區塊。
在步驟S19006中，是以編碼處理將子區塊編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖30是顯示實施形態11之影像解碼處理之一例。
以最初的步驟S20001來說，是從位元流中解析出參數。圖37是顯示壓縮影像位元流中的參數之可解析的位置。
其次，在步驟S20002中，從1個以上的編碼完成區塊中讀出區塊資訊(例如，位置、區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度)。
在步驟S20003中，利用已讀出的區塊資訊，從規定之區塊分割資訊的大集合中選擇區塊分割資訊的小集合。
例如，利用已讀出的區塊資訊，首先，可以導出預測區塊分割資訊。並且，可從規定之區塊分割資訊的大集合中，選擇具有與預測區塊分割資訊類似的區塊分區構造之區塊分割資訊，且追加到區塊分割資訊的小集合。在這些區塊分割資訊的選擇中，若顯示例如預測區塊分割資訊僅使用縱向分割的情形，可選擇僅有縱向分割的區塊分區構造(圖49A的第1集合)。在這些區塊分割資訊的選擇中，若顯示例如預測區塊分割資訊僅使用橫向分割的情形，可選擇僅有橫向分割的區塊分區構造(圖49A的第2集合)。以另外的例子來說，在這些區塊分割資訊的選擇中，如圖50所示，可選擇下述的區塊分區構造：具有與因應於預測區塊分割資訊的區塊分區構造相同/類似的幾何資訊之區塊分區構造。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
對於當前區塊的預測區塊分區構造，可以照樣地使用解碼完成區塊的區塊分區構造。
也可以組合2個以上的解碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。對於解碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之解碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇利用框間預測而被解碼之1個以上的解碼完成區塊。
也可以修正解碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。
預測區塊分割資訊亦可按照每個解碼完成區塊的框內預測方向之資訊而不同。例如，亦可為了對將當前區塊縱向分割或橫向分割成更小的區塊進行預測，而使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，為了當前區塊，可以預測包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，為了當前區塊，可以預測包含橫向分割的區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的框內/框間預測模式來予以預測。例如，在解碼完成區塊的預測模式為框內預測模式的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的預測模式為框間預測模式的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的移動向量來予以預測。例如，在解碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在解碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的量化參數來予以預測。例如，在解碼完成區塊的量化參數之值比規定值更小的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的量化參數之值為規定值以上的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的參照圖片資訊來予以預測。例如，在解碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個解碼完成區塊的複數個參照圖片為彼此類似的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個解碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的分割深度來予以預測。例如，在解碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之解碼完成區塊的分割資訊來予以預測。例如，用於當前區塊的區塊分割資訊(包含分裂資訊)或者當前區塊的分裂資訊可以從與當前框不同的解碼完成框之解碼完成區塊(例如，同位區塊(collocated block)、最後的解碼完成區塊(last decoded block)、或以移動向量界定的解碼完成區塊等)中來予以預測。
解碼完成區塊的區塊分割資訊也可以按照每個圖像位置而分類成不同的區塊分割資訊群組。例如左上區塊、上區塊、及右上區塊的區塊分割資訊可以分類作為上區塊分割群組(第1集合)。左下區塊及左區塊的區塊分割資訊可以分類作為左區塊分割群組(第2集合)。同位區塊及運動補償參照區塊的區塊分割資訊可以分類作為時間區塊分割群組(第3集合)。若索引的值為0，可選擇上區塊分割群組。若索引的值為1，可選擇左區塊分割群組。若索引的值為2，可選擇時間區塊分割群組。
其次，在步驟S20004中，利用已解析的參數，而僅從已選擇的區塊分割資訊的小集合中界定區塊分割資訊。在此，在利用已界定的區塊分割資訊時，可將區塊分割成幾何集的複數個子區塊，但在利用另外的區塊分割資訊時，可將區塊分割成另外的幾何集的複數個子區塊。
已解析的分區選擇參數可以為例如下述情形：包含用於從所選擇的區塊分割資訊的小集合中選擇1個區塊分割資訊的索引(index)。
例如可將左上區塊、上區塊、及右上區塊的區塊分割資訊分類為上區塊分割群組，該上區塊分割群組是作為區塊分割資訊的小集合而在步驟S20003中所選擇的群組。若索引的值為0，可界定左上區塊的區塊分區構造。若索引的值為1，可界定上區塊的區塊分區構造。若索引的值為2，可界定右上區塊的區塊分區構造。
以另外的例子來說，已解析的分區選擇參數可以為下述情形：包含用於從初始區塊分割資訊中導出區塊分割資訊的複數個分割/合併旗標(split/merge flags)。
並且，在步驟S20005中，利用已界定的區塊分割資訊來將區塊分割成複數個子區塊。
在步驟S20006中，是以解碼處理將子區塊解碼。在此，在此解碼處理可包含反轉換處理及/或預測處理。反轉換處理，按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖36是同樣的，因此省略圖示及說明。
(實施形態12)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將清單修正參數寫入位元流中；利用已寫入的前述清單修正參數，將規定區塊分割資訊清單修正為修正區塊分割資訊清單，；將分區選擇參數寫入位元流中；利用已寫入的前述分區選擇參數，僅從前述修正區塊分割資訊清單中，選擇成為將區塊分割成複數個子區塊之情形的區塊分割資訊；利用已選擇的前述區塊分割資訊，將區塊分割成複數個子區塊；並以編碼處理來對前述複數個子區塊中所含的子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以利用位元流內的清單修正參數，來修正規定區塊分割資訊清單。從而，可以減少區塊分割資訊的編碼量，且可以使壓縮效率提升。
亦可為例如，在本實施形態之編碼裝置中，在前述規定區塊分割資訊清單的修正中，是將規定區塊分割資訊清單重新排序來產生修正區塊分割資訊，且清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將前述分區選擇參數編碼。
藉此，即可以利用位元流內的清單修正參數，來將規定區塊分割資訊清單重新排序。從而，變得容易將選擇的可能性較高的區塊分割資訊配置於清單的上位，而可以減少區塊分割資訊的編碼量。
例如，在本實施形態之編碼裝置中，在前述規定區塊分割資訊清單的修正中，亦可在前述規定區塊分割資訊清單中插入追加區塊分割資訊，來產生更長的區塊分割資訊清單。
藉此，即可以利用位元流內的清單修正參數，在規定區塊分割資訊清單中插入追加區塊分割資訊。從而，變得容易將適合於區塊分割的區塊分割資訊追加到清單中，而可以使壓縮效率提升。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，從位元流中解析清單修正參數；利用已解析的前述清單修正參數，將規定區塊分割資訊清單修正為修正區塊分割資訊清單；從位元流中解析分區選擇參數；利用已解析的前述分區選擇參數，僅從前述修正區塊分割資訊清單中，選擇成為將區塊分割成複數個子區塊之情形的區塊分割資訊；利用已選擇的前述區塊分割資訊，將區塊分割成複數個子區塊；並以包含反轉換處理及/或預測處理的解碼處理，對前述複數個子區塊中所含的子區塊進行解碼。
藉此，即可以利用位元流內的清單修正參數，來修正規定區塊分割資訊清單。從而，可以減少區塊分割資訊的編碼量，且可以使壓縮效率提升。
亦可為例如，在本實施形態之解碼裝置中，在前述規定區塊分割資訊清單的修正中，是將規定區塊分割資訊清單重新排序來產生修正區塊分割資訊，且清單順序較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將前述分區選擇參數編碼。
藉此，即可以利用位元流內的清單修正參數，來將規定區塊分割資訊清單重新排序。從而，變得容易將選擇的可能性較高的區塊分割資訊配置於清單的上位，而可以減少區塊分割資訊的編碼量。
例如，在本實施形態之解碼裝置中，在前述規定區塊分割資訊清單的修正中，亦可在前述規定區塊分割資訊清單中插入追加區塊分割資訊，來產生更長的區塊分割資訊清單。
藉此，即可以利用位元流內的清單修正參數，在規定區塊分割資訊清單中插入追加區塊分割資訊。從而，變得容易將適合於區塊分割的區塊分割資訊追加到清單中，而可以使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖31及圖32，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖31是顯示實施形態12之影像編碼處理的一例。
以最初的步驟S21001來說，是將清單修正參數寫入位元流中。圖37是顯示壓縮影像位元流中的參數之可寫入的位置。
其次，在步驟S21002中，利用已寫入的清單修正參數，將規定區塊分割資訊清單修正為修正區塊分割資訊清單。此修正亦可為例如將規定區塊分割資訊清單重新排序來產生修正區塊分割資訊清單的處理。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數編碼。藉由重新排序，如圖51所示，所選擇的區塊分割資訊之清單順序提前，而使分區選擇參數的編碼位元減少。
為了清單的重新排序，例如，就將清單分類為不同的區塊分割資訊群組(例如，縱向分割群組、橫向分割群組、四元樹分割群組、及包含所有區塊分割資訊的全分割群組)，即可。將這些區塊分割資訊群組重新排序，如圖52所示，以此清單就會被重新排序。在該例中，清單修正參數可以包含：顯示修正區塊分割資訊清單中的各區塊分割群組之順序的參數。
藉由利用當前區塊的幾何資訊，可以隱含地對各群組的區塊分割資訊施加限制。例如，可以設為僅能夠利用區塊寬度及區塊高度成為2的乘冪之分割。在這些區塊分割資訊的情況下，子區塊的寬度或子區塊的高度未成為2的乘冪之分割，在該群組中即不能被使用。
以另外的例子來說，修正也可以是下述處理：在規定區塊分割資訊清單中插入追加的區塊分割資訊，藉此製作更長的區塊分割資訊清單。若將利用可能性最高的區塊分割資訊插入到清單的開頭，分區選擇參數的編碼位元會變少。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數編碼。
以另外的例子來說，修正也可以是下述處理：從規定區塊分割資訊清單中刪除區塊分割資訊，藉此製作更短的區塊分割資訊清單。若將位於比利用可能性最高的區塊分割資訊更前面的利用可能性較低之區塊分割資訊刪除，分區選擇參數的編碼位元會變少。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數編碼。
重新排序處理、插入處理、及刪除處理亦可被組合(重新排序及插入、或重新排序及刪除、或插入及刪除、或重新排序、插入、及刪除等)。
藉由利用當前區塊的幾何資訊，可以隱含地對區塊分割資訊清單中的區塊分割資訊施加限制。例如，可以設為僅能夠利用區塊寬度及區塊高度成為2的乘冪之分割。在這些區塊分割資訊的情況下，子區塊的寬度或子區塊的高度未成為2的乘冪之分割，在該清單中即不能被使用。
清單修正參數也可以顯示例如不需要修正的情形。若不需要修正，則可以省略步驟S21002。因此，修正區塊分割資訊清單在進行到步驟S21003以前，都與規定區塊分割資訊清單相同。
在步驟S21003中，是將分區選擇參數寫入位元流中。圖37是顯示壓縮影像位元流中的參數之可寫入的位置。
其次，在步驟S21004中，利用已寫入的分區選擇參數，而僅從修正區塊分割資訊清單中選擇區塊分割資訊。可利用在此選擇的區塊分割資訊而將區塊分割成複數個子區塊。已寫入的分區選擇參數可以為例如下述情形：包含用於從規定區塊分割資訊清單中選擇1個區塊分割資訊的索引。以另外的例子來說，已寫入的分區選擇參數可以為下述情形：包含用於從初始區塊分割資訊中導出區塊分割資訊的複數個分割/合併旗標(split/merge flags)。
分區選擇參數的編碼位元及其意義，是因應於所選擇的區塊分割資訊而不同。例如，藉由所選擇的區塊分割資訊而僅產生橫向分割的情況下，可不需要顯示分割為橫向分割或縱向分割，而以僅意謂劃分區塊的方式，來意指如圖53所示地將區塊橫向分割的情形。另一方面，藉由所選擇的區塊分割資訊而僅產生縱向分割的情況下，可不需要顯示分割為橫向分割或縱向分割，而以僅意謂劃分區塊的方式，來意指將區塊縱向分割之情形。
在步驟S21005中，利用已選擇的區塊分割資訊來將區塊分割成複數個子區塊。已選擇的區塊分割資訊可以成為例如，為了將區塊分割成子區塊而使用之最終區塊分割資訊。以另外的例子來說，已選擇的區塊分割資訊亦可為預測區塊分割資訊或初始區塊分割資訊。根據預測區塊分割資訊或初始區塊分割資訊，可導出用於將區塊分割成子區塊的最終區塊分割資訊。
在步驟S21006中，是以編碼處理來將複數個子區塊中所含的子區塊編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖32是顯示實施形態12之影像解碼處理之一例。
以最初的步驟S22001來說，是從位元流中解析清單修正參數。圖37是顯示壓縮影像位元流中的參數之可解析的位置。
其次，在步驟S22002中，利用已解析的清單修正參數，將規定區塊分割資訊清單修正為修正區塊分割資訊清單。此修正亦可為例如將規定區塊分割資訊清單重新排序來產生修正區塊分割資訊清單的處理。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數解碼。藉由重新排序，如圖51所示，所選擇的區塊分割資訊之清單順序提前，而使分區選擇參數的解碼位元減少。
為了清單的重新排序，例如，就將清單分類為不同的區塊分割資訊群組(例如，縱向分割群組、橫向分割群組、四元樹分割群組、及包含所有區塊分割資訊的全分割群組)，即可。將這些區塊分割資訊群組重新排序，如圖52所示，以此清單就會重新排序。在此例子中，清單修正參數可以包含：顯示修正區塊分割資訊清單中的各區塊分割群組之順序的參數。
藉由利用當前區塊的幾何資訊，可以隱含地對各群組的區塊分割資訊施加限制。例如，可以設為僅能夠利用區塊寬度及區塊高度成為2的乘冪之分割。在這些區塊分割資訊的情況下，子區塊的寬度或子區塊的高度未成為2的乘冪之分割，在該群組中即不能被使用。
以另外的例子來說，修正也可以是下述處理：在規定區塊分割資訊清單中插入追加的區塊分割資訊，藉此製作更長的區塊分割資訊清單。若將利用可能性最高的區塊分割資訊插入到清單的開頭，分區選擇參數的解碼位元會變少。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數解碼。
以另外的例子來說，修正也可以是下述處理：從規定區塊分割資訊清單中刪除區塊分割資訊，藉此製作更短的區塊分割資訊清單。若將位於比利用可能性最高的區塊分割資訊更前面的利用可能性較低之區塊分割資訊刪除，分區選擇參數的解碼位元會變少。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數解碼。
重新排序處理、插入處理、及刪除處理亦可被組合(重新排序及插入、或重新排序及刪除、或插入及刪除、或重新排序、插入、及刪除等)。
藉由利用當前區塊的幾何資訊，可以隱含地對區塊分割資訊清單中的區塊分割資訊施加限制。例如，可以設為僅能夠利用區塊寬度及區塊高度成為2的乘冪之分割。在這些區塊分割資訊的情況下，子區塊的寬度或子區塊的高度未成為2的乘冪之分割，在該清單中即不能被使用。
清單修正參數也可以顯示例如不需要修正的情形。若不需要修正，則可以省略步驟S22002。因此，修正區塊分割資訊清單在進行到步驟S22003以前，都與規定區塊分割資訊清單相同。
在步驟S22003中，是從位元流中解析出分區選擇參數。圖37是顯示壓縮影像位元流中的參數之可解析的位置。
其次，在步驟S22004中，利用已解析的分區選擇參數，而僅從修正區塊分割資訊清單中選擇區塊分割資訊。可利用在此選擇的區塊分割資訊將區塊分割成複數個子區塊。已解析的分區選擇參數可以為例如下述情形：包含用於從規定區塊分割資訊清單中選擇1個區塊分割資訊的索引。以另外的例子來說，已解析的分區選擇參數可以為下述情形：包含用於從初始區塊分割資訊中導出區塊分割資訊的複數個分割/合併旗標(split/merge flags)。
分區選擇參數的解碼位元及其意義，是因應於所選擇的區塊分割資訊而不同。例如，藉由所選擇的區塊分割資訊而僅產生橫向分割的情況下，可不需要顯示分割為橫向分割或縱向分割，而以僅意謂劃分區塊的方式，來意指如圖53所示地將區塊橫向分割的情形。另一方面，藉由所選擇的區塊分割資訊而僅產生縱向分割的情況下，可不需要顯示分割為橫向分割或縱向分割，而以僅意謂劃分區塊的方式，來意指將區塊縱向分割之情形。
在步驟S22005中，利用已選擇的區塊分割資訊來將區塊分割成複數個子區塊。已選擇的區塊分割資訊可以成為例如，為了將區塊分割成子區塊而使用之最終區塊分割資訊。以另外的例子來說，已選擇的區塊分割資訊亦可為預測區塊分割資訊或初始區塊分割資訊。根據預測區塊分割資訊或初始區塊分割資訊，可導出用於將區塊分割成子區塊的最終區塊分割資訊。
在步驟S22006中，是以解碼處理將包含於複數個子區塊中的子區塊解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖36是同樣的，因此省略圖示及說明。
(實施形態13)
[概要]
本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，從1個以上的編碼完成區塊中讀出區塊資訊；利用已讀出的前述區塊資訊，將規定區塊分割資訊清單修正為修正區塊分割資訊清單；將分區選擇參數寫入位元流中；利用已寫入的前述分區選擇參數，僅從前述修正區塊分割資訊清單中，選擇成為將區塊分割成複數個子區塊之情形的區塊分割資訊；利用已選擇的前述區塊分割資訊，將當前區塊分割成複數個子區塊；並以編碼處理來對前述複數個子區塊中所含的子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
藉此，即可以利用從編碼完成區塊中讀出的區塊資訊，來修正規定區塊分割資訊清單。從而，可以減少區塊分割資訊的編碼量，且可以使壓縮效率提升。
亦可為例如，在本實施形態之編碼裝置中，在前述規定區塊分割資訊清單的修正中，是將規定區塊分割資訊清單重新排序來產生修正區塊分割資訊，且清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將前述分區選擇參數編碼。
藉此，即可以利用從編碼完成區塊中讀出的區塊資訊，來重新排序規定區塊分割資訊清單。從而，可以將選擇的可能性較高的區塊分割資訊配置於清單的上位，而可以減少區塊分割資訊的編碼量。
例如，在本實施形態之編碼裝置中，在前述規定區塊分割資訊清單的修正中，亦可在前述規定區塊分割資訊清單中插入追加區塊分割資訊，來產生更長的區塊分割資訊清單。
藉此，即可以利用從編碼完成區塊中讀出的區塊資訊，來將追加區塊分割資訊插入到規定區塊分割資訊清單中。從而，可以將適合於區塊分割的區塊分割資訊追加到清單中，且可以使壓縮效率提升。
例如，在本實施形態之編碼裝置中，前述當前區塊及前述1個以上的編碼完成區塊為彼此不同的區塊，前述1個以上的編碼完成區塊當中的至少1個，亦可包含在與前述當前區塊相同的框中、或者包含在與前述當前區塊的框不同的其他框中。
藉此，可以從彼此不同的1個以上之編碼完成區塊中讀出區塊資訊，且可以更適當地修正區塊分割資訊清單。其結果，可以使壓縮效率提升。
例如，在本實施形態之編碼裝置中，所讀出的前述區塊資訊，亦可包含有關於區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度的資訊當中的至少1個。
藉此，可以利用適當的資訊來作為區塊資訊，而變得可利用更適當的區塊資訊來修正區塊分割資訊清單。其結果，可以減少區塊分割資訊的編碼量，且使壓縮效率提升。
本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，從1個以上的解碼完成區塊中讀出區塊資訊；利用已讀出的前述區塊資訊，將規定區塊分割資訊清單修正為修正區塊分割資訊清單；從位元流中解析分區選擇參數；利用已解析的前述分區選擇參數，僅從前述修正區塊分割資訊清單中，選擇成為將區塊分割成複數個子區塊之情形的區塊分割資訊；利用已選擇的前述區塊分割資訊，將當前區塊分割成複數個子區塊；並以包含反轉換處理及/或預測處理的解碼處理，對包含於前述複數個子區塊中的子區塊進行解碼。
藉此，即可以利用從解碼完成區塊中讀出的區塊資訊，來修正規定區塊分割資訊清單。從而，可以減少區塊分割資訊的編碼量，且可以使壓縮效率提升。
亦可為例如，在本實施形態之解碼裝置中，在前述規定區塊分割資訊清單的修正中，是將規定區塊分割資訊清單重新排序來產生修正區塊分割資訊，且清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將前述分區選擇參數編碼。
藉此，即可以利用從解碼完成區塊中讀出的區塊資訊，來重新排序規定區塊分割資訊清單。從而，可以將選擇的可能性較高的區塊分割資訊配置於清單的上位，而可以減少區塊分割資訊的編碼量。
例如，在本實施形態之解碼裝置中，在前述規定區塊分割資訊清單的修正中，亦可在前述規定區塊分割資訊清單中插入追加區塊分割資訊，來產生更長的區塊分割資訊清單。
藉此，即可以利用從解碼完成區塊中讀出的區塊資訊，來將追加區塊分割資訊插入到規定區塊分割資訊清單中。從而，可以將適合於區塊分割的區塊分割資訊追加到清單中，且可以使壓縮效率提升。
例如，在本實施形態之解碼裝置中，前述當前區塊及前述1個以上的解碼完成區塊為彼此不同的區塊，前述1個以上的解碼完成區塊當中的至少1個，亦可包含在與前述當前區塊相同的框中、或者包含在與前述當前區塊的框不同的其他框中。
藉此，可以從彼此不同的1個以上之解碼完成區塊中讀出區塊資訊，且可以更適當地修正區塊分割資訊清單。其結果，可以使壓縮效率提升。
例如，在本實施形態之解碼裝置中，所讀出的前述區塊資訊，亦可包含有關於區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度的資訊當中的至少1個。
藉此，可以利用適當的資訊來作為區塊資訊，而變得可利用更適當的區塊資訊來修正區塊分割資訊清單。其結果，可以減少區塊分割資訊的編碼量，且使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
以下，如分別顯示在圖33及圖34，依照實施形態來說明對影像進行編碼的方法及進行解碼的方法。
[編碼處理]
圖33是顯示實施形態13之影像編碼處理的一例。
以最初的步驟S23001來說，可從1個以上的編碼完成區塊中讀出區塊資訊(例如，區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度)。
其次，在步驟S23002中，利用已讀出的區塊資訊，將規定區塊分割資訊清單修正為修正區塊分割資訊清單。此修正亦可為例如將規定區塊分割資訊清單重新排序來產生修正區塊分割資訊清單的處理。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數編碼。藉由重新排序，如圖51所示，所選擇的區塊分割資訊之清單順序提前，而使分區選擇參數的編碼位元減少。
為了清單的重新排序，例如，將清單分類為不同的區塊分割資訊群組(例如，縱向分割群組、橫向分割群組、四元樹分割群組、及包含所有區塊分割資訊的全分割群組)，即可。將這些區塊分割資訊群組重新排序，如圖52所示，以此清單就會被重新排序。在該例中，清單修正參數可以包含：顯示修正區塊分割資訊清單中的各區塊分割群組之順序的參數。
藉由利用當前區塊的幾何資訊，可以隱含地對各群組的區塊分割資訊施加限制。例如，可以設為僅能夠利用區塊寬度及區塊高度成為2的乘冪之分割。在這些區塊分割資訊的情況下，子區塊的寬度或子區塊的高度未成為2的乘冪之分割，在該群組中即不能被使用。
以另外的例子來說，修正也可以是下述處理：在規定區塊分割資訊清單中插入追加的區塊分割資訊，藉此製作更長的區塊分割資訊清單。若將利用可能性最高的區塊分割資訊插入到清單的開頭，分區選擇參數的編碼位元會變少。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數編碼。
以另外的例子來說，修正也可以是下述處理：從規定區塊分割資訊清單中刪除區塊分割資訊，藉此製作更短的區塊分割資訊清單。若將位於比利用可能性最高的區塊分割資訊更前面的利用可能性較低之區塊分割資訊刪除，分區選擇參數的編碼位元會變少。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數編碼。
重新排序處理、插入處理、及刪除處理亦可被組合(重新排序及插入、或重新排序及刪除、或插入及刪除、或重新排序、插入、及刪除等)。
藉由利用當前區塊的幾何資訊，可以隱含地對區塊分割資訊清單中的區塊分割資訊施加限制。例如，可以設為僅能夠利用區塊寬度及區塊高度成為2的乘冪之分割。在這些區塊分割資訊的情況下，子區塊的寬度或子區塊的高度未成為2的乘冪之分割，在該清單中即不能被使用。
為了修正規定區塊分割資訊清單而利用已讀出的區塊資訊，首先，導出預測區塊分割資訊即可。例如，在規定區塊分割資訊清單中，使具有與預測區塊分割資訊相同/類似的區塊分區構造之區塊分割資訊，移動到清單的前方。若在預測區塊分區構造中只包含橫向分割，可例如，使圖52(重新排序前)所示之群組1如圖52(重新排序後)所示地移動到清單的開頭。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
對於當前區塊的預測區塊分區構造，可以照樣地使用編碼完成區塊的區塊分區構造。
也可以組合2個以上的編碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。對於編碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之編碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇利用框間預測而被編碼之1個以上之編碼完成區塊。
也可以修正編碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。
預測區塊分割資訊亦可按照每個編碼完成區塊的框內預測方向之資訊而不同。例如，亦可為了對將當前區塊縱向分割或橫向分割成更小的區塊進行預測，而使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，針對當前區塊，可以預測包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，針對當前區塊，可以預測包含橫向分割的區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的框內/框間預測模式來予以預測。例如，在編碼完成區塊的預測模式為框內預測模式的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的預測模式為框間預測模式的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的移動向量來予以預測。例如，在編碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在編碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的量化參數來予以預測。例如，在編碼完成區塊的量化參數之值比規定值更小的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在編碼完成區塊的量化參數之值為規定值以上的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的參照圖片資訊來予以預測。例如，在編碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個編碼完成區塊的複數個參照圖片彼此類似的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個編碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照編碼完成區塊的分割深度來予以預測。例如，在編碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在編碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之編碼完成區塊的分割資訊來予以預測。例如，為了對用於當前區塊的區塊分割資訊(包含分裂資訊)或者當前區塊的分裂資訊進行算術編碼而使用的上下文可以從與當前框不同的編碼完成框之編碼完成區塊(例如，同位區塊(collocated block)、緊接在前的編碼完成區塊(last decoded block)、或以移動向量界定的編碼完成區塊等)中予以預測。
在步驟S23003中，是將分區選擇參數寫入位元流中。圖37是顯示壓縮影像位元流中的分區選擇參數之可寫入的位置。
其次，在步驟S23004中，利用已寫入的分區選擇參數，而僅從修正區塊分割資訊清單中選擇區塊分割資訊。若利用在此選擇的區塊分割資訊，可將區塊分割成複數個子區塊。已寫入的分區選擇參數可以為例如下述情形：包含用於從規定區塊分割資訊清單中選擇1個區塊分割資訊的索引。以另外的例子來說，已寫入的分區選擇參數可以為下述情形：包含用於從初始區塊分割資訊中導出區塊分割資訊的複數個分割/合併旗標(split/merge flags)。
分區選擇參數的編碼位元及其意義，是因應於所選擇的區塊分割資訊而不同。例如，藉由所選擇的區塊分割資訊而僅產生橫向分割的情況下，可不需要顯示分割為橫向分割或縱向分割，而以僅意謂劃分區塊的方式，來意指如圖53所示地將區塊橫向分割的情形。另一方面，藉由所選擇的區塊分割資訊而僅產生縱向分割的情況下，可不需要顯示分割為橫向分割或縱向分割，而以僅意謂劃分區塊的方式，來意指將區塊縱向分割之情形。
在步驟S23005中，利用已選擇的區塊分割資訊來將區塊分割成複數個子區塊。
在步驟S23006中，是以編碼處理來將複數個子區塊中所含的子區塊進行編碼。在此，在該編碼處理包括轉換處理及/或預測處理。轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[編碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖35是同樣的，因此省略圖示及說明。
[解碼處理]
圖34是顯示實施形態13之影像解碼處理之一例。
以最初的步驟S24001來說，可從1個以上的解碼完成區塊中讀出區塊資訊(例如，區塊分區構造、框內預測模式或框間預測模式、框內預測方向、移動向量、參照圖片、量化參數、及分割深度)。
其次，在步驟S24002中，利用已讀出的區塊資訊，將規定區塊分割資訊清單修正為修正區塊分割資訊清單。此修正亦可為例如將規定區塊分割資訊清單重新排序來產生修正區塊分割資訊清單的處理。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數解碼。藉由重新排序，如圖51所示，所選擇的區塊分割資訊之清單順序提前，而使分區選擇參數的解碼位元減少。
為了清單的重新排序，例如，就將清單分類為不同的區塊分割資訊群組(例如，縱向分割群組、橫向分割群組、四元樹分割群組、及包含所有區塊分割資訊的全分割群組)，即可。將這些區塊分割資訊群組重新排序，如圖52所示，以此清單就會被重新排序。在此例子中，清單修正參數可以包含：顯示修正區塊分割資訊清單中的各區塊分割群組之順序的參數。
藉由利用當前區塊的幾何資訊，可以隱含地對各群組的區塊分割資訊施加限制。例如，可以設為僅能夠利用區塊寬度及區塊高度成為2的乘冪之分割。在這些區塊分割資訊的情況下，子區塊的寬度或子區塊的高度未成為2的乘冪之分割，在該群組中即不能被使用。
以另外的例子來說，修正也可以是下述處理：在規定區塊分割資訊清單中插入追加的分割資訊，藉此製作更長的區塊分割資訊清單。若將利用可能性最高的區塊分割資訊插入到清單的開頭，分區選擇參數的解碼位元會變少。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數解碼。
以另外的例子來說，修正也可以是下述處理：從規定區塊分割資訊清單中刪除分割資訊，藉此製作更短的區塊分割資訊清單。若將位於比利用可能性最高的區塊分割資訊更前面的利用可能性較低之區塊分割資訊刪除，分區選擇參數的解碼位元會變少。在此，是清單順序為較前面的區塊分割資訊，以比清單順序為較後面的區塊分割資訊更少的位元，來將分區選擇參數解碼。
重新排序處理、插入處理、及刪除處理亦可被組合(重新排序及插入、或重新排序及刪除、或插入及刪除、或重新排序、插入、及刪除等)。
藉由利用當前區塊的幾何資訊，可以隱含地對區塊分割資訊清單中的區塊分割資訊施加限制。例如，可以設為僅能夠利用區塊寬度及區塊高度成為2的乘冪之分割。在這些區塊分割資訊的情況下，子區塊的寬度或子區塊的高度未成為2的乘冪之分割，在該清單中即不能被使用。
為了修正規定區塊分割資訊清單而利用已讀出的區塊資訊，首先，導出預測區塊分割資訊即可。例如，在規定區塊分割資訊清單中，使具有與預測區塊分割資訊相同/類似的區塊分區構造之區塊分割資訊，移動到清單的前方。若在預測區塊分區構造中只包含橫向分割，可例如，使圖52(重新排序前)所示之群組1如圖52(重新排序後)所示地移動到清單的開頭。
區塊分割資訊亦可為顯示將區塊橫向分割或縱向分割的參數集。又，區塊分割資訊亦可為包含區塊內之全部的子區塊的規定區塊寬度及規定區塊高度的參數集。區塊分割資訊亦可為包含索引(index)的參數集，其中該索引是用於從規定的區塊分區構造候補清單中選擇1個分割構造候補的索引。此時，可如圖38所示，區塊分區構造以視覺方式提示區塊內之全部的子區塊的幾何資訊。
對於當前區塊的預測區塊分區構造，可以照樣地使用解碼完成區塊的區塊分區構造。
也可以組合2個以上的解碼完成區塊之區塊分區構造(例如，如圖39所示，上半部分是利用上區塊的區塊分區構造，剩下的一半部分是利用左區塊的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。對於解碼完成區塊的選擇方法，以一例來說，有選擇與當前區塊相同的框內/框間預測模式之解碼完成區塊的方法。具體來說，若當前區塊為框間預測區塊，就選擇利用框間預測而被解碼之1個以上的解碼完成區塊。
也可以修正解碼完成區塊的區塊分區構造(例如，如圖40所示，使用分割深度較淺的區塊分區構造)，而導出新的區塊分區構造，作為當前區塊的預測區塊分區構造。
預測區塊分割資訊亦可按照每個解碼完成區塊的框內預測方向之資訊而不同。例如，亦可為了對將當前區塊縱向分割或橫向分割成更小的區塊進行預測，而使用特定的鄰接區塊位置中的框內預測方向之資訊。例如，若判定為上鄰接區塊的框內預測方向之資訊為縱向方向或接近於縱向方向，針對當前區塊，可以預測包含縱向分割的區塊分割資訊。同樣地，若判定為左鄰接區塊的框內預測方向之資訊為橫向方向或接近於橫向方向，針對當前區塊，可以預測包含橫向分割的區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的框內/框間預測模式來予以預測。例如，在解碼完成區塊的預測模式為框內預測模式的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的預測模式為框間預測模式的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的移動向量來予以預測。例如，在解碼完成區塊的移動向量與當前區塊的移動向量之差量比規定閾值更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。另一方面，在解碼完成區塊的移動向量與當前區塊的移動向量之差量為規定閾值以下的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的量化參數來予以預測。例如，在解碼完成區塊的量化參數之值比規定值更小的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。又例如，在解碼完成區塊的量化參數之值為規定值以上的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的參照圖片資訊來予以預測。例如，在解碼完成區塊的參照圖片與當前圖片在時間上接近的情況下、或者複數個解碼完成區塊的複數個參照圖片為彼此類似的情況下，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的參照圖片與當前圖片在時間上並不接近的情況下、或者複數個解碼完成區塊的複數個參照圖片彼此並不類似的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照解碼完成區塊的分割深度來予以預測。例如，在解碼完成區塊的分割深度比規定值(例如為4)更大的情況下，可以預測將區塊分割成比較小的區塊尺寸之複數個子區塊的規定區塊分割資訊。在解碼完成區塊的分割深度為規定值以下的情況下(例如分割深度等於2的情況下)，可以預測將區塊分割成比較大的區塊尺寸之複數個子區塊的其他規定區塊分割資訊。
區塊分割資訊亦可依照與當前框不同的框之解碼完成區塊的分割資訊來予以預測。例如，為了對用於當前區塊的區塊分割資訊(包含分裂資訊)或當前區塊的分裂資訊進行算術解碼而使用的上下文可以從與當前框不同的解碼完成框之解碼完成區塊(例如，同位區塊(collocated block)、最後的解碼完成區塊(last decoded block)、或以移動向量界定的解碼完成區塊等)中予以預測。
在步驟S24003中，是從位元流中解析出分區選擇參數。圖37是顯示壓縮影像位元流中的分區選擇參數之可解析的位置。
其次，在步驟S24004中，利用已解析的分區選擇參數，而僅從修正區塊分割資訊清單中選擇區塊分割資訊。利用在此選擇的區塊分割資訊來將區塊分割成複數個子區塊。已解析的分區選擇參數可以為例如下述情形：包含用於從規定區塊分割資訊清單中選擇1個區塊分割資訊的索引。以另外的例子來說，已解析的分區選擇參數可以為下述情形：包含用於從初始區塊分割資訊中導出區塊分割資訊的複數個分割/合併旗標(split/merge flags)。
分區選擇參數的解碼位元及其意義，是因應於所選擇的區塊分割資訊而不同。例如，藉由所選擇的區塊分割資訊而僅產生橫向分割的情況下，可不需要顯示分割為橫向分割或縱向分割，而以僅意謂劃分區塊的方式，來意指如圖53所示地將區塊橫向分割的情形。另一方面，藉由所選擇的區塊分割資訊而僅產生縱向分割的情況下，可不需要顯示分割為橫向分割或縱向分割，而以僅意謂劃分區塊的方式，來意指將區塊縱向分割之情形。
在步驟S24005中，利用已選擇的區塊分割資訊來將區塊分割成複數個子區塊。
在步驟S24006中，是以解碼處理將包含於複數個子區塊中的子區塊解碼。在此，在此解碼處理中可包含反轉換處理及/或預測處理。反轉換處理，就按每個與子區塊的大小相同程度的區塊來進行，即可。
[解碼裝置]
由於本實施形態中的影像/圖像編碼裝置的構造與實施形態2之圖36是同樣的，因此省略圖示及說明。
(實施形態14)
在上述各實施形態中，雖然區塊及/或子區塊的幾何資訊並沒有特別被限制，但是亦可限制區塊及/或子區塊的幾何資訊。例如，亦可將區塊及子區塊的區塊寬度及區塊高度分別限定為2的乘冪。尤其是，在包含3個以上的奇數之子節點的多元樹分割中，亦可將子區塊的區塊寬度及區塊高度分別限定為2的乘冪。在此情況下，子區塊的區塊寬度及區塊高度未成為2的乘冪之區塊分割資訊，不會被利用在區塊的分割中。
也就是說，本實施形態之編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將區塊分割成複數個子區塊，並以編碼處理來對前述複數個子區塊中所含的子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理，前述區塊的分割是包含3個以上的奇數之子節點的多元樹分割，且前述複數個子區塊的寬度及高度分別為2的乘冪。
藉此，即使在藉由包含3個以上的奇數之子節點的多元樹分割來分割區塊的情況下，仍可以將區塊分割成使複數個子區塊的寬度及高度分別成為2的乘冪。從而，可以得到適合於編碼的尺寸之子區塊，且可以使壓縮效率提升。
又，本實施形態之解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備有處理器、及連接於前述處理器的記憶體，前述處理器是利用前述記憶體，將區塊分割成複數個子區塊，並以包含反轉換處理及/或預測處理的解碼處理，對包含於前述複數個子區塊中的子區塊進行解碼，前述區塊的分割是包含3個以上的奇數之子節點的多元樹分割，且前述複數個子區塊的寬度及高度分別為2的乘冪。
藉此，即使在藉由包含3個以上的奇數之子節點的多元樹分割來分割區塊的情況下，仍可以將區塊分割成使複數個子區塊的寬度及高度分別成為2的乘冪。從而，可以得到適合於解碼的尺寸之子區塊，且可以使壓縮效率提升。
再者，這些總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式、及記錄媒體之任意的組合來實現。
(實施形態15)
在以上之各實施形態中，功能方塊的每一個通常可藉由MPU及記憶體等來實現。又，藉由功能方塊的每一個所進行之處理，通常是藉由使處理器等之程式執行部將已記錄於ROM等之記錄媒體的軟體(程式)讀出並執行來實現。可將該軟體藉由下載等來發布，亦可記錄於半導體記憶體等之記錄媒體來發布。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。
又，在各實施形態中所說明的處理，可以藉由利用單一的裝置(系統)而集中處理來實現、或者藉由利用複數個裝置而分散處理來實現亦可。又，執行上述程式的處理器可為單個，亦可為複數個。亦即，可進行集中處理、或者進行分散處理亦可。
本揭示的態樣不受以上之實施例所限定，可進行各種的變更，且該等變更亦包含在本揭示的態樣之範圍內。
更進一步地，在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例及利用其之系統。該系統之特徵在於具有利用圖像編碼方法之圖像編碼裝置、利用圖像解碼方法之圖像解碼裝置、及具備兩者之圖像編碼解碼裝置。針對系統中的其他構成，可以視情況適當地變更。
[使用例]
圖54是顯示實現內容發送服務(content delivery service)的內容供給系統ex100之整體構成的圖。將通訊服務的提供區分割成所期望的大小，且在各格區(cell)內分別設置有固定無線電台即基地台ex106、ex107、ex108、ex109、ex110。
在此內容供給系統ex100中，乃透過網際網路服務提供者ex102或通訊網ex104、及基地台ex106至ex110，將電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器連接到網際網路ex101。該內容供給系統ex100亦可形成為組合並連接上述之任一要素。亦可在不透過作為固定無線電台之基地台ex106至ex110的情況下，將各機器透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器(streaming server)ex103，是透過網際網路ex101等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器相連接。又，串流伺服器ex103是透過衛星ex116而與飛機ex117內之熱點(hot spot)內的終端機等連接。
再者，取代基地台ex106至ex110，而使用無線存取點或熱點等亦可。又，串流伺服器ex103可在不透過網際網路ex101或網際網路服務提供者ex102的情形下直接與通訊網ex104連接，亦可在不透過衛星ex116的情形下直接與飛機ex117連接。
相機ex113是數位相機等之可進行靜態圖攝影、及動態圖攝影之機器。又，智慧型手機ex115可為對應於一般稱作2G、3G、3.9G、4G、還有今後將被稱為5G的移動通訊系統之方式的智慧型電話機、便攜電話機、或者PHS(Personal Handyphone System(個人手持電話系統))等。
家電ex118可為冰箱、或包含於家庭用燃料電池汽電共生系統(cogeneration system)之機器等。
在內容供給系統ex100中，是藉由使具有攝影功能之終端機通過基地台ex106等來連接到串流伺服器ex103，而使實況(live)即時傳遞等變得可行。在實況即時傳遞中，終端機(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內的終端機等)，會對於使用者利用該終端機所攝影之靜態圖或動態圖內容進行上述實施形態所說明的編碼處理，並將藉由編碼而得到的影像資料、及將對應於影像的聲音進行編碼而得的聲音資料進行多工化，來將所獲得的資料傳送至串流伺服器ex103。亦即，各終端機是作為本揭示的一個態樣之圖像編碼裝置而發揮功能。
另一方面，串流伺服器ex103會對針對有要求之客戶端所傳送之內容資料進行串流發送。客戶端是指可將已經過上述編碼處理之資料解碼的電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端機等。已接收到所發送之資料的各機器會將所接收到之資料解碼處理並播放。亦即，各機器是作為本揭示的一個態樣之圖像解碼裝置而發揮功能。
[分散處理]
又，串流伺服器ex103可為複數個伺服器或複數台電腦，亦可為將資料分散並處理或記錄以進行發送者。例如，串流伺服器ex103可藉由CDN(內容傳遞網路，Contents Delivery Network)來實現，亦可藉由分散於世界中的多數個邊緣伺服器(edge server)與於邊緣伺服器之間進行連接的網路來實現內容發送。在CDN上，會因應於客戶來動態地分配在物理上相近之邊緣伺服器。並且，可以藉由將內容快取(cache)及發送至該邊緣伺服器來減少延遲。又，由於可以在發生某種錯誤時或因流量之增加等而改變通訊狀態時，以複數個邊緣伺服器將處理分散、或將發送主體切換為其他的邊緣伺服器，來繞過已發生障礙的網路部分並持續發送，因此可以實現高速且穩定的發送。
又，不僅是發送本身的分散處理，亦可在各終端機進行已攝影的資料之編碼處理，且也可在伺服器側進行，亦可互相分擔來進行。以一例來說，一般在編碼處理中，會進行2次處理循環。在第1次的迴路中可檢測在框或場景單位下之圖像的複雜度或編碼量。又，在第2次的迴路中可進行維持畫質並提升編碼效率的處理。例如，可以藉由使終端機進行第1次的編碼處理，且使接收內容之伺服器側進行第2次的編碼處理，而減少在各終端機之處理負荷並且使其提升內容的質與效率。此時，只要有以近乎即時的方式來進行接收並解碼的要求，也可以將終端機已進行的第一次之編碼完成資料以其他終端機來接收並播放，因此也可做到更靈活的即時發送。
以其他的例子來說，相機ex113等是由圖像中進行特徵量提取，並將與特徵量相關之資料作為元資料(meta data)來壓縮並傳送至伺服器。伺服器會進行例如從特徵量判斷目標(object)之重要性並切換量化精度等的因應圖像之意義的壓縮。特徵量資料對於在伺服器之再度的壓縮時的移動向量預測之精度及效率提升特別有效。又，亦可在終端機進行VLC(可變長度編碼)等之簡易的編碼，並在伺服器進行CABAC(上下文參考之適應性二值算術編碼方式)等處理負荷較大的編碼。
此外，以其他的例子來說，在運動場、購物商場、或工廠等中，會有藉由複數個終端機拍攝幾乎相同的場景之複數個影像資料存在的情況。此時，可利用已進行攝影之複數個終端機、與因應需要而沒有進行攝影之其他終端機及伺服器，以例如GOP(圖片群組，Group of Picture)單位、圖片單位、或已將圖片分割而成之圖塊(tile)單位等來各自分配編碼處理並進行分散處理。藉此，可以減少延遲，而更加能夠實現即時性(real-time)。
又，由於複數個影像資料幾乎為相同的場景，因此亦可在伺服器進行管理及/或指示，以將在各終端機所攝影之影像資料互相配合參考。或者，亦可使伺服器接收來自各終端機之編碼完成資料，並在複數個資料間變更參照關係、或者補正或更換圖片本身並重新編碼。藉此，可以產生已提高一個個資料之質與效率的串流。
又，伺服器亦可在進行變更影像資料之編碼方式的轉碼(transcode)後再發送影像資料。例如，伺服器亦可將MPEG類之編碼方式轉換為VP類，亦可將H.264轉換為H.265。
如此，編碼處理即可藉由終端機或1個以上的伺服器來進行。因此，以下雖然使用「伺服器」或「終端機」等之記載來作為進行處理之主體，但亦可在終端機進行在伺服器進行之處理的一部分或全部，且亦可在伺服器進行在終端機進行之處理的一部分或全部。又，有關於這些，針對解碼處理也是同樣的。
[3D、多角度]
近年來，將以彼此幾乎同步的複數台相機ex113及/或智慧型手機ex115等之終端機所攝影到的不同場景、或者將從不同的角度去攝影相同的場景之圖像或影像加以整合並利用的作法也在逐漸增加中。各終端機所攝影到之影像會根據另外取得的終端機間之相對的位置關係、或者包含於影像之特徵點為一致的區域等而被整合。
伺服器不僅對二維的動態圖像進行編碼，亦可根據動態圖像的場景解析等而自動地、或者在使用者所指定的時刻中，對靜態圖進行編碼並傳送至接收終端機。更進一步地，伺服器在可以取得攝影終端機間之相對位置關係的情況下，不僅是二維動態圖像，還可以根據相同場景從不同的角度所攝影之影像，來產生該場景之三維形狀。再者，伺服器亦可將藉由點雲(point cloud)而產生之三維的資料另外編碼，亦可根據使用三維資料來辨識或追蹤人物或目標的結果，而從複數個終端機所攝影的影像中選擇、或再構成並產生傳送至接收終端機的影像。
如此進行，使用者可以任意選擇對應於各攝影終端機之各影像來享受場景，也可以享受從利用複數個圖像或影像再構成之三維資料中切出任意視點而成的影像之內容。此外，與影像同樣地，聲音也可從複數個不同的角度進行收音，且伺服器亦可配合影像將來自特定之角度或空間的聲音與影像進行多工化並傳送。
又，近年來，Virtual Reality(虛擬實境，VR)及Augmented Reality(擴增虛擬實境，AR)等將現實世界與虛擬世界建立對應之內容也逐漸普及。在VR圖像的情形下，伺服器亦可分別製作右眼用及左眼用之視點圖像，並藉由Multi-View Coding(多視圖編碼，MVC)等在各視點影像間進行容許參照之編碼，亦可不互相參照而作為不同的串流來進行編碼。在不同的串流之解碼時，可使其互相同步來播放，以因應使用者之視點來重現虛擬的三維空間。
在AR圖像的情形下，伺服器會根據三維之位置或使用者之視點的移動將虛擬空間上之虛擬物體資訊重疊於現實空間之相機資訊。解碼裝置亦可藉由取得或保持虛擬物體資訊及三維資料，並因應使用者之視點的移動而產生二維圖像並順暢地連結，以製作重疊資料。或者，亦可為解碼裝置除了虛擬物體資訊之委託之外還將使用者的視點之移動也傳送至伺服器，且伺服器配合從保持於伺服器之三維資料中所接收到的視點的移動來製作重疊資料，並將重疊資料編碼且發送至解碼裝置。再者，亦可為重疊資料除了RGB以外還具有顯示穿透度的α值，伺服器將從三維資料所製作出之目標以外的部分之α值設定為0等，並在該部分為穿透狀態下進行編碼。或者，伺服器亦可如色度鍵(chroma key)的形式將規定之值的RGB值設定為背景，而產生目標以外之部分是形成為背景色之資料。
同樣地，被發送之資料的解碼處理可在客戶端之各終端機進行，亦可在伺服器側進行，亦可互相分擔而進行。以一例來說，亦可使某個終端機暫時將接收要求傳送至伺服器，並在其他終端機接收因應該要求之內容且進行解碼處理，再將解碼完成之訊號傳送至具有顯示器的裝置。藉由不依靠可通訊之終端機本身的性能而將處理分散並選擇適當之內容之作法，可以播放畫質良好的資料。又，以其他之例子來說，亦可以用TV等接收大尺寸之圖像資料，並將圖片分割後之圖塊等一部分的區域解碼並顯示於鑑賞者之個人終端機。藉此，可以將整體圖片共有化，並且可以就近確認自己負責的領域或想要更詳細地確認之區域。
又，今後可預想到下述情形：不論屋內外，在近距離、中距離、或長距離之無線通訊為可複數使用的狀況下，利用MPEG-DASH等之發送系統規格，一邊對連接中的通訊切換適當的資料一邊無縫地接收內容。藉此，使用者不僅對本身之終端機，連設置於屋內外之顯示器等的解碼裝置或顯示裝置都可自由地選擇並且即時切換。又，可以做到根據本身的位置資訊等，一邊切換要進行解碼之終端機及要進行顯示之終端機並一邊進行解碼。藉此，變得也可在往目的地之移動中，一邊在已埋入有可顯示之元件的鄰近之建築物的牆面或地面的一部分顯示地圖資訊，一邊移動。又，令編碼資料快取到可以在短時間內從接收終端機進行存取之伺服器、或者複製到內容傳遞伺服器(content delivery server)中的邊緣伺服器等之根據在網路上對編碼資料的存取容易性，來切換接收資料之位元率(bit-rate)的作法也是可做到的。
[可調式編碼]
關於內容之切換，將利用圖55所示之應用在上述各實施形態中所示之動態圖像編碼方法來進行壓縮編碼之可調整的串流，來進行說明。雖然伺服器具有複數個內容相同而質卻不同的串流來作為個別的串流也無妨，但亦可為將以如圖示地分層來進行編碼之作法而實現的時間上/空間上可調整之串流的特徵活用，以切換內容的構成。亦即，藉由使解碼側因應性能這種內在要因與通訊頻帶之狀態等的外在要因來決定要解碼至哪一層，解碼側即可以自由地切換低解析度之內容與高解析度之內容來解碼。例如，當想在回家後以網際網路TV等機器收看於移動中以智慧型手機ex115收看之影像的後續時，該機器只要將相同的串流解碼至不同的層即可，因此可以減輕伺服器側的負擔。
此外，如上述地，除了實現按每層將圖片都編碼，且在基本層之上位存在增強層(enhancement layer)之具可調整性(scalability)的構成以外，亦可使增強層包含根據圖像之統計資訊等的元資訊，且使解碼側根據元資訊對基本層之圖片進行超解析，藉此來產生已高畫質化之內容。所謂超解析可以是相同解析度中的SN比之提升、以及解析度之擴大之任一種。元資訊包含：用於界定超解析處理中使用之線形或非線形的濾波係數之資訊、或者界定超解析處理中使用之濾波處理、機械學習或最小平方運算中的參數值的資訊等。
或者，亦可為因應圖像內之目標等的含義而將圖片分割為圖塊等，且使解碼側選擇解碼之圖塊，藉此僅將一部分之區域解碼的構成。又，藉由將目標之屬性(人物、車、球等)與影像內之位置(同一圖像中的座標位置等)作為元資訊加以保存，解碼側即可以根據元資訊來界定所期望之目標的位置，並決定包含該目標之圖塊。例如，如圖56所示，元資訊可使用HEVC中的SEI訊息等與像素資料為不同之資料保存構造而被保存。此元資訊是表示例如主目標之位置、尺寸、或色彩等。
又，以串流、序列或隨機存取單位等，由複數個圖片構成之單位來保存元資訊亦可。藉此，解碼側可以取得特定人物出現在影像內之時刻等，且與圖片單位之資訊對照，藉此可以界定目標存在之圖片、以及目標在圖片內的位置。
[網頁之最佳化]
圖57是顯示電腦ex111等中的網頁的顯示畫面例之圖。圖58是顯示智慧型手機ex115等中的網頁的顯示畫面例之圖。如圖57及圖58所示，當網頁包含複數個屬於對圖像內容之鏈接即鏈接圖像時，其外觀會依閱覽之元件而不同。在畫面上可看到複數個鏈接圖像的情況下，直至使用者明確地選擇鏈接圖像、或者鏈接圖像接近畫面之中央附近或鏈接圖像之整體進入畫面內為止，顯示裝置(解碼裝置)都是顯示具有各內容之靜態圖或框內編碼畫面(Intra Picture，I-Picture)作為鏈接圖像、或者以複數個靜態圖或框內編碼畫面(I-Picture)等顯示gif動畫之形式的影像、或者僅接收基本層來將影像解碼及顯示。
在已由使用者選擇出鏈接圖像的情況下，顯示裝置會將基本層設為最優先來解碼。再者，只要有在構成網頁之HTML中顯示可調整之內容之情形的資訊，亦可使顯示裝置解碼至增強層。又，為了擔保即時性，在選擇之前或通訊頻帶非常吃緊的情況下，顯示裝置可以藉由僅解碼及顯示前向參照(forward reference)之圖片(框內編碼畫面(I-Picture)、預測畫面(Predictive Picture，P-Picture)、僅前向參照之雙向預估編碼畫面(Bidirectionally Predictive Picture，B-Picture))，來減低開頭圖片之解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始之間的延遲)。又，顯示裝置亦可特意無視圖片之參照關係而將所有的雙向預估編碼畫面(B-Picture)及預測畫面(P-Picture)設成前向參照來粗略地解碼，並隨著時間經過使接收之圖片增加來進行正常的解碼。
[自動行駛]
又，在為了汽車之自動行駛或行駛支援而傳送接收二維或三維之地圖資訊等的靜態圖或影像資料的情況下，接收終端機亦可除了屬於1個以上之層的圖像資料之外，也將天候或施工之資訊等也都接收作為元資訊，並對應於這些來解碼。再者，元資訊也可以屬於層，亦可單純與圖像資料進行多工化。
此時，由於包含接收終端機之車、無人機(drone)或飛機等會移動，因此藉由接收終端機在接收要求時會傳送該接收終端機之位置資訊之作法，即可一邊切換基地台ex106至ex110，一邊實現無縫的接收及解碼。又，接收終端機會因應於使用者之選擇、使用者之狀況、或通訊頻帶的狀態，而變得可動態地切換要將元資訊接收到何種程度、或要將地圖資訊更新至何種程度。
如以上地進行，在內容供給系統ex100中，客戶端可即時地接收使用者所傳送之已編碼的資訊，並將其進行解碼、播放。
[個人內容之發送]
又，在內容供給系統ex100中，不僅是來自影像發送業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容的單播(unicast)、或多播(multicast)發送也是可做到的。又，這種個人的內容被認為今後也會持續增加下去。為了將個人內容作成更優良之內容，伺服器亦可在進行編輯處理之後進行編碼處理。這可藉由例如以下之構成來實現。
伺服器會在攝影時即時或累積進行並於攝影後，從原圖或編碼完成資料中進行攝影錯誤、場景搜尋、意義解析、及目標檢測等之辨識處理。而且，伺服器會根據辨識結果以手動或自動方式進行下述編輯：補正失焦或手震等、刪除亮度較其他圖片低或未聚焦之場景等重要性低的場景、強調目標之邊緣、使色調變化等之編輯。伺服器會根據編輯結果來將編輯後之資料編碼。又，當攝影時刻太長時會導致收視率下降的情況也是眾所皆知的，伺服器會根據圖像處理結果而以自動的方式如上述地不僅對重要性低之場景還有動態較少的場景等進行剪輯，以使其因應攝影時間成為特定之時間範圍內的內容。或者，伺服器亦可根據場景之意義解析的結果來產生摘錄並進行編碼。
再者，在個人內容中，也有照原樣的話會有造成侵害著作權、著作人格權、或肖像權等之內容攝入的案例，也有當共享的範圍超過所欲之範圍等對個人來說不方便的情況。據此，例如，伺服器將畫面周邊部之人的臉、或房子之中等特意變更為未聚焦之圖像並編碼亦可。又，伺服器亦可辨識是否有與事先登錄之人物不同的人物的臉照在編碼對象圖像內，並在有照出的情況下，進行將臉的部分打上馬賽克等之處理。或者，作為編碼之前處理或後處理，而從著作權等之觀點來讓使用者於圖像中指定想要加工之人物或背景區域後，令伺服器進行將所指定之區域替換為另外的影像、或者使焦點模糊等之處理的作法也是可行的。如果是人物，可以在動態圖像中一邊追蹤人物一邊替換臉之部分的影像。
又，由於資料量較小之個人內容的視聽對即時性的要求較強，因此，雖然也會取決於頻帶寬，但解碼裝置首先會最優先地接收基本層再進行解碼及播放。解碼裝置亦可在這段期間內接收增強層，且於迴路播放之情形等播放2次以上的情形下，將增強層也包含在內來播放高畫質的影像。只要是像這樣可進行可調整之編碼的串流，就可以提供一種雖然在未選擇時或初次看到的階段是粗略的動態圖，但串流會逐漸智能化(smart)而使圖像變好的體驗。除了可調式編碼以外，即使以第1次播放之粗略的串流、與參照第1次之動態圖而編碼之第2次的串流作為1個串流來構成也可以提供同樣的體驗。
[其他之使用例]
又，這些編碼或解碼處理一般是在各終端機所具有之LSIex500中處理。LSIex500可為單晶片(one chip)，亦可為由複數個晶片形成之構成。再者，亦可將動態圖像編碼或解碼用之軟體安裝到可以電腦ex111等讀取之某種記錄媒體(CD-ROM、軟式磁碟(flexible disk)、或硬碟等)，並使用該軟體來進行編碼或解碼處理。此外，在智慧型手機ex115為附有相機的情況下，亦可傳送以該相機取得之動態圖資料。此時的動態圖資料是以智慧型手機ex115所具有的LSIex500來編碼處理而成之資料。
再者，LSIex500亦可為將應用軟體下載並啟動(activate)之構成。此時，終端機首先會判定該終端機是否對應於內容之編碼方式、或者是否具有特定服務之執行能力。在終端機沒有對應於內容之編碼方式時、或者不具有特定服務之執行能力的情況下，終端機會下載編碼解碼器或應用軟體，然後，取得及播放內容。
又，不限於透過網際網路ex101之內容供給系統ex100，在數位播放用系統中也可以安裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一個。由於是利用衛星等來將已使影像與聲音被多工化之多工資料乘載於播放用之電波來進行傳送接收，因此會有相對於內容供給系統ex100之容易形成單播的構成更適合多播的差別，但有關於編碼處理及解碼處理仍可為同樣之應用。
[硬體構成]
圖59是顯示智慧型手機ex115之圖。又，圖60是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115具備：用於在與基地台ex110之間傳送接收電波的天線ex450、可拍攝影像及靜態圖之相機部ex465、顯示已將以相機部ex465所拍攝到之影像以及以天線ex450所接收到之影像等解碼之資料的顯示部ex458。智慧型手機ex115更具備：觸控面板等之操作部ex466、用於輸出聲音或音響之揚聲器等即聲音輸出部ex457、用於輸入聲音之麥克風等即聲音輸入部ex456、可保存所攝影之影像或靜態圖、錄音之聲音、接收之影像或靜態圖、郵件等之已編碼的資料、或已解碼之資料的記憶體部ex467、及作為與SIMex468之間的介面部即插槽部ex464，該SIMex468是用於界定使用者，且以網路為首進行對各種資料的存取之認證。再者，取代記憶體部ex467而使用外接記憶體亦可。
又，統合地控制顯示部ex458及操作部ex466等之主控制部ex460是透過匯流排ex470而與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467相連接。
電源電路部ex461在藉由使用者之操作而將電源鍵設成開啟狀態時，會藉由從電池組(battery pack)對各部供給電力而將智慧型手機ex115起動為可動作之狀態。
智慧型手機ex115會根據具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等之處理。通話時，是以聲音訊號處理部ex454將以聲音輸入部ex456所收音之聲音訊號轉換為數位聲音訊號，並以調變/解調部ex452對其進行展頻處理，接著以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，透過天線ex450傳送。又，將接收資料放大且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行解展頻處理，接著以聲音訊號處理部ex454轉換為類比聲音訊號後，由聲音輸出部ex457將其輸出。資料通訊模式時，是藉由本體部之操作部ex466等的操作而透過操作輸入控制部ex462將正文(text)、靜態圖、或影像資料送出至主控制部ex460，而同樣地進行傳送接收處理。在資料通訊模式時傳送影像、靜態圖、或影像與聲音的情形下，影像訊號處理部ex455是藉由上述各實施形態中所示的動態圖像編碼方法，將保存於記憶體部ex467之影像訊號或從相機部ex465輸入之影像訊號壓縮編碼，並將已編碼之影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454是在以相機部ex465拍攝影像或靜態圖等中將以聲音輸入部ex456所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex453。多工/分離部ex453是以規定之方式對編碼完成影像資料與編碼完成聲音資料進行多工化，並以調變/解調部(調變/解調電路部)ex452、及傳送/接收部ex451施行調變處理及轉換處理並透過天線ex450來傳送。
在已接收附加於電子郵件或網路聊天之影像、或鏈接至網頁等之影像的情形下，為了對已透過天線ex450接收之多工資料進行解碼，多工/分離部ex453是藉由分離多工資料，而將多工資料分成影像資料之位元流與聲音資料之位元流，再透過同步匯流排ex470將已編碼之影像資料供給至影像訊號處理部ex455，並且將已編碼之聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455是藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，並透過顯示器控制部ex459而由顯示部ex458顯示被鏈接之動態圖像檔案中所含的影像或靜態圖。又，聲音訊號處理部ex454是將聲音訊號解碼，並由聲音輸出部ex457輸出聲音。再者，由於即時串流(real time streaming)已普及，因此依據使用者的狀況，也可能在社會上不適合發出聲音的場所發生聲音的播放。因此，對於初始值，較理想的構成是，在不使聲音訊號播放的情形下僅播放影像資料之構成。僅在使用者進行點選影像資料等操作的情形下才將聲音同步播放亦可。
又，在此雖然以智慧型手機ex115為例進行了說明，但可作為終端機而被考慮的有下述3種組裝形式：除了具有編碼器及解碼器兩者之傳送接收型終端機以外，還有僅具有編碼器之傳送終端機、以及僅具有解碼器之接收終端機。此外，在數位播送用系統中，雖然是設成接收或傳送已在影像資料中將聲音資料等多工化之多工資料來進行說明，但在多工資料中，除了聲音資料以外亦可將與影像有關聯之文字資料等多工化，且可接收或傳送影像資料本身而非多工資料。
再者，雖然是設為使包含CPU之主控制部ex460控制編碼或解碼處理並進行了說明，但終端機具備GPU的情況也很多。因此，也可以是藉由在CPU與GPU已共通的記憶體、或將位址管理成可以共通地使用的記憶體，來活用GPU之性能而將較寬廣區域一併處理的構成。藉此可以縮短編碼時間，確保即時性，而可以實現低延遲。特別是對運動搜尋、解塊濾波方法(deblock filter)、SAO(取樣自適應偏移，Sample Adaptive Offset)、及轉換、量化之處理，當在不利用CPU的情形下，利用GPU並以圖片等單位來一併進行時，是有效率的。
産業上之可利用性
本發明可以使用在所有的多媒體資料之編碼/解碼，尤其是，可以使用在利用區塊編碼(Block coding)構造的圖像及影像之編碼/解碼。
由上述討論，將可理解，本發明可以多種實施態樣形式體現，包含但不限於下列：
項1：一種編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備：
處理器；及
連接於前述處理器的記憶體，
前述處理器是利用前述記憶體，
讀出區塊的幾何資訊；
判定已讀出的前述幾何資訊是否與規定的幾何資訊相等；
在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；
在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；
並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
項2：一種編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備：
處理器；及
連接於前述處理器的記憶體，
前述處理器是利用前述記憶體，
將參數寫入位元流中；
判定已寫入的前述參數是否與規定值相等；
在已寫入的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；
在已寫入的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；
並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
項3：一種編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備：
處理器；及
連接於前述處理器的記憶體，
前述處理器是利用前述記憶體，
讀出區塊的幾何資訊；
判定已讀出的前述幾何資訊是否與規定的幾何資訊相等，
在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1數量的子區塊；
在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與前述第1數量不相等的數量之子區塊；
並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
項4：如項1至3中任一項之編碼裝置，其中，幾何資訊是至少顯示區塊的形狀、高度、或者寬度。
項5：如項4之編碼裝置，其中，前述子區塊的高度及寬度之至少其中一種為2的乘冪。
項6：一種編碼裝置，是對圖像的區塊進行編碼的編碼裝置，並具備：
處理器；及
連接於前述處理器的記憶體，前述處理器是利用前述記憶體，
將參數寫入位元流中；
判定已寫入的前述參數是否與規定值相等；
在已寫入的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1數量的子區塊，且前述第1數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大；
在已寫入的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與前述第1數量不相等的第2數量之子區塊，且前述第2數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大；
並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
項7：一種解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備：
處理器；及
連接於前述處理器的記憶體，
前述處理器是利用前述記憶體，
讀出區塊的幾何資訊；
判定已讀出的前述幾何資訊是否與規定的幾何資訊相等；
在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；
在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；
並以解碼處理來對子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
項8：一種解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備：
處理器；及
連接於前述處理器的記憶體，
前述處理器是利用前述記憶體，
從位元流中解析參數；
判定已解析的前述參數是否與規定值相等；
在已解析的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；
在已解析的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；
並以解碼處理來對子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
項9：一種解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備：
處理器；及
連接於前述處理器的記憶體，
前述處理器是利用前述記憶體，
讀出區塊的幾何資訊；
判定已讀出的前述幾何資訊是否與規定的幾何資訊相等；
在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1數量的子區塊；
在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與前述第1數量不相等的數量之子區塊；
並以解碼處理來對子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
項10：如項7至9中任一項之解碼裝置，其中，幾何資訊是至少顯示區塊的形狀、高度、或者寬度。
項11：如項10之解碼裝置，其中，前述子區塊的高度及寬度之至少其中一種為2的乘冪。
項12：一種解碼裝置，是對圖像的區塊進行解碼的解碼裝置，並具備：
處理器；及
連接於前述處理器的記憶體，
前述處理器是利用前述記憶體，
從位元流中解析參數；
判定已解析的前述參數是否與規定值相等；
在已解析的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1數量的子區塊，且前述第1數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大；
在已解析的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與前述第1數量不相等的第2數量之子區塊，且前述第2數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大；
並以解碼處理來對子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
項13：一種編碼方法，是對圖像的區塊進行編碼，
該編碼方法是讀出區塊的幾何資訊；
判定已讀出的前述幾何資訊是否與規定的幾何資訊相等；
在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；
在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；
並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
項14：一種編碼方法，是對圖像的區塊進行編碼，
該編碼方法是將參數寫入位元流中；
判定已寫入的前述參數是否與規定值相等；
在已寫入的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；
在已寫入的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；
並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
項15：一種編碼方法，是對圖像的區塊進行編碼，
該編碼方法是讀出區塊的幾何資訊；
判定已讀出的前述幾何資訊是否與規定的幾何資訊相等；
在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1數量的子區塊；
在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與前述第1數量不相等的數量之子區塊；
並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
項16：一種編碼方法，是對圖像的區塊進行編碼，
該編碼方法是將參數寫入位元流中；
判定已寫入的前述參數是否與規定值相等；
在已寫入的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1數量的子區塊，且前述第1數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大；
在已寫入的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與前述第1數量不相等的第2數量之子區塊，且前述第2數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大；
並以編碼處理來對子區塊進行編碼，其中該編碼處理包括轉換處理及/或預測處理。
項17：一種解碼方法，是對圖像的區塊進行解碼：
該解碼方法是讀出區塊的幾何資訊；
判定已讀出的前述幾何資訊是否與規定的幾何資訊相等；
在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；
在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；
並以解碼處理來對子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
項18：一種解碼方法，是對圖像的區塊進行解碼，
該解碼方法是從位元流中解析出參數；
判定已解析的前述參數是否與規定值相等；
在已解析的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1幾何集的規定數量之子區塊；
在已解析的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與第1幾何集不同的其他幾何集之前述規定數量的子區塊；
並以解碼處理來對子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
項19：一種解碼方法，是對圖像的區塊進行解碼，
該解碼方法是讀出區塊的幾何資訊；
判定已讀出的前述幾何資訊是否與規定的幾何資訊相等；
在已讀出的前述幾何資訊與前述規定的幾何資訊為相等的情況下，將前述區塊分割成第1數量的子區塊；
在已讀出的前述幾何資訊與前述規定的幾何資訊為不相等的情況下，將前述區塊分割成與前述第1數量不相等的數量之子區塊；
並以解碼處理來對子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
項20：一種解碼方法，是對圖像的區塊進行解碼，
該解碼方法是從位元流中解析出參數：
判定已解析的前述參數是否與規定值相等；
在已解析的前述參數與前述規定值為相等的情況下，將前述區塊分割成第1數量的子區塊，且前述第1數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大；
在已解析的前述參數與前述規定值為不相等的情況下，將前述區塊分割成與前述第1數量不相等的第2數量之子區塊，且前述第2數量在前述區塊的分割為縱向或橫向之單一方向的情況下是比2更大，在前述區塊的分割並非縱向或橫向之單一方向的情況下是比3更大；
並以解碼處理來對子區塊進行解碼，其中該解碼處理包括反轉換處理及/或預測處理。
10至23:區塊
100:編碼裝置
102:分割部
104:減法部
106,25001:轉換部
108,25002:量化部
110,25009:熵編碼部
112,204,25003,26002:反量化部
114,206,25004,26003:反轉換部
116,208:加法部
118,210,25005,26004:區塊記憶體
120,212:迴路濾波部
122,214,25006,26005:框記憶體
124,216,25007,26006:框內預測部
126,218,25008,26007:框間預測部
128,220:預測控制部
200:解碼裝置
202,26001:熵解碼部
25000:影像編碼裝置
25010,26008:區塊分割資訊決定部
26000:影像解碼裝置
Cur block:當前區塊
Cur Pic:當前圖片
ex100:內容供給系統
ex101:網際網路
ex102:網際網路服務提供者
ex103:串流伺服器
ex104:通訊網
ex106,ex107,ex108,ex109,ex110:基地台
ex111:電腦
ex112:遊戲機
ex113:相機
ex114:家電
ex115:智慧型手機
ex116:衛星
ex117:飛機
ex450:天線
ex451:傳送/接收部
ex452:調變/解調部(調變/解調電路部)
ex453:多工/分離部
ex454:聲音訊號處理部
ex455:影像訊號處理部
ex456:聲音輸入部
ex457:聲音輸出部
ex458:顯示部
ex459:顯示器控制部
ex460:主控制部
ex461:電源電路部
ex462:操作輸入控制部
ex463:相機介面部
ex464:插槽部
ex465:相機部
ex466:操作部
ex467:記憶體部
ex468:SIM
ex470:匯流排
MV,MV_L,MV_U,MV0,MV1,MVx0,MVy0,MVx1,MVy1,v0,v1:移動向量
Pred,Pred_L,Pred_U:預測圖像
Ref0,Ref1:參照圖片
S1001至S1006,S2001至S2006,S3001至S3005,S4001至S4005,S5001至S5005,S6001至S6005,S7001至S7004,S8001至S8004,S9001至S9005,S10001至S10005,S11001至S11005,S12001至S12005,S13001至S13005,S14001至S14005,S15001至S15005,S16001至S16005,S17001至S17006,S18001至S18006,S19001至S19006,S20001至S20006,S21001至S21006,S22001至S22006,S23001至S23006,S24001至S24006:步驟
TD0,TD1:距離
圖1是顯示實施形態1之編碼裝置的功能構成之方塊圖。
圖2是顯示實施形態1中的區塊分割的一例之圖。
圖3是顯示對應於各轉換類型的轉換基底函數之表格。
圖4A是顯示在ALF中所用的濾波器之形狀的一例之圖。
圖4B是顯示在ALF中所用的濾波器之形狀的另一例之圖。
圖4C是顯示在ALF中所用的濾波器之形狀的另一例之圖。
圖5A是顯示框內預測中的67個框內預測模式之圖。
圖5B是用於說明藉由OBMC處理進行的預測圖像補正處理之概要的流程圖。
圖5C是用於說明藉由OBMC處理進行的預測圖像補正處理之概要的概念圖。
圖5D是顯示FRUC之一例的圖。
圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。
圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。
圖8是用於說明假設了等速直線運動的模型之圖。
圖9A是用於說明根據複數個鄰接區塊的移動向量之子區塊單位的移動向量的導出之圖。
圖9B是用於說明藉由合併模式進行的移動向量導出處理之概要的圖。
圖9C是用於說明DMVR處理的概要之概念圖。
圖9D是用於說明利用了藉由LIC處理進行的亮度補正處理之預測圖像產生方法的概要之圖。
圖10是顯示實施形態1之解碼裝置的功能構成之方塊圖。
圖11是顯示實施形態2的影像編碼處理之一例的流程圖。
圖12是顯示實施形態2的影像解碼處理之一例的流程圖。
圖13是顯示實施形態3的影像編碼處理之一例的流程圖。
圖14是顯示實施形態3的影像解碼處理之一例的流程圖。
圖15是顯示實施形態4的影像編碼處理之一例的流程圖。
圖16是顯示實施形態4的影像解碼處理之一例的流程圖。
圖17是顯示實施形態5的影像編碼處理之一例的流程圖。
圖18是顯示實施形態5的影像解碼處理之一例的流程圖。
圖19是顯示實施形態6的影像編碼處理之一例的流程圖。
圖20是顯示實施形態6的影像解碼處理之一例的流程圖。
圖21是顯示實施形態7的影像編碼處理之一例的流程圖。
圖22是顯示實施形態7的影像解碼處理之一例的流程圖。
圖23是顯示實施形態8的影像編碼處理之一例的流程圖。
圖24是顯示實施形態8的影像解碼處理之一例的流程圖。
圖25是顯示實施形態9的影像編碼處理之一例的流程圖。
圖26是顯示實施形態9的影像解碼處理之一例的流程圖。
圖27是顯示實施形態10的影像編碼處理之一例的流程圖。
圖28是顯示實施形態10的影像解碼處理之一例的流程圖。
圖29是顯示實施形態11的影像編碼處理之一例的流程圖。
圖30是顯示實施形態11的影像解碼處理之一例的流程圖。
圖31是顯示實施形態12的影像編碼處理之一例的流程圖。
圖32是顯示實施形態12的影像解碼處理之一例的流程圖。
圖33是顯示實施形態13的影像編碼處理之一例的流程圖。
圖34是顯示實施形態13的影像解碼處理之一例的流程圖。
圖35是顯示實施形態的影像/圖像編碼裝置的構造之方塊圖。
圖36是顯示實施形態的影像/圖像解碼裝置的構造之方塊圖。
圖37是顯示壓縮影像位元流中的參數之可能的位置之圖。
圖38是顯示依區塊分割資訊而不同的區塊分割之結果的圖。
圖39是顯示區塊分區構造的組合之一例的圖。
圖40是顯示區塊分區構造的修正之一例的圖。
圖41是顯示分割方法及區塊分區構造的例子之圖。
圖42A是顯示初始區塊分區構造的修正例之圖。
圖42B是顯示初始區塊分區構造的修正例之圖。
圖42C是顯示初始區塊分區構造的修正例之圖。
圖43是顯示初始區塊分區構造的修正例之圖。
圖44是顯示依幾何資訊而不同的區塊分割的結果之圖。
圖45A是顯示根據區塊的幾何資訊之到幾何資訊的子區塊之區塊分割的例子之圖。
圖45B是顯示根據區塊的幾何資訊之到幾何資訊的子區塊之區塊分割的例子之圖。
圖45C是顯示根據區塊的幾何資訊之到幾何資訊的子區塊之區塊分割的例子之圖。
圖45D是顯示根據區塊的幾何資訊之到幾何資訊的子區塊之區塊分割的例子之圖。
圖46A是顯示根據參數之到幾何資訊的子區塊之區塊分割的例子之圖。
圖46B是顯示根據參數之到幾何資訊的子區塊之區塊分割的例子之圖。
圖46C是顯示根據參數之到幾何資訊的子區塊之區塊分割的例子之圖。
圖46D是顯示根據參數之到幾何資訊的子區塊之區塊分割的例子之圖。
圖47A是顯示根據區塊的幾何資訊之到數量的子區塊之區塊分割的例子之圖。
圖47B是顯示根據區塊的幾何資訊之到數量的子區塊之區塊分割的例子之圖。
圖48A是顯示根據參數之到數量的子區塊之區塊分割的例子之圖。
圖48B是顯示根據參數之到數量的子區塊之區塊分割的例子之圖。
圖48C是顯示根據參數之到數量的子區塊之區塊分割的例子之圖。
圖49A是顯示來自區塊分割資訊的集合(set)之區塊分割資訊的選擇之一例的圖。
圖49B是顯示來自區塊分割資訊的集合(set)之區塊分割資訊的選擇之一例的圖。
圖50是顯示根據預測區塊分區構造之區塊分區構造的選擇的例子之圖。
圖51是顯示區塊分割資訊的清單之重新排序的例子之圖。
圖52是顯示區塊分割資訊的清單之重新排序的例子之圖。
圖53是顯示分區選擇參數的編碼位元及其意義之圖。
圖54是實現內容發送服務的內容供給系統之整體構成圖。
圖55是顯示可調式編碼時之編碼構造的一例之圖。
圖56是顯示可調式編碼時之編碼構造的一例之圖。
圖57是顯示網頁的顯示畫面例之圖。
圖58是顯示網頁的顯示畫面例之圖。
圖59是顯示智慧型手機的一例之圖。
圖60是顯示智慧型手機的構成例之方塊圖。
S9001至S9005:步驟
Claims (1)
- 一種非暫時性記憶媒體，其保存位元流並且可由電腦讀取， 前述位元流包含要藉由前述電腦分割成複數個子區塊的區塊， 前述電腦進行以下處理： 在圖片的區塊的幾何資訊滿足第1條件時，將前述圖片的前述區塊分割成具有第1幾何集的子區塊， 在前述區塊的前述幾何資訊不滿足前述第1條件時，將前述圖片的前述區塊分割成具有與前述第1幾何集不同之第2幾何集的子區塊， 對前述區塊的前述子區塊進行解碼， 前述第1條件是區塊尺寸條件， 在前述區塊的尺寸滿足前述區塊尺寸條件時，使用四元樹分割以外的分割來將前述區塊分割成子區塊， 在前述區塊的尺寸不滿足前述區塊尺寸條件時，使用四元樹分割來將前述區塊分割成子區塊，且四元樹分割包含沿著垂直方向的分割與沿著水平方向的分割， 在前述區塊的尺寸等於預定尺寸時，滿足前述區塊尺寸條件。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662424782P | 2016-11-21 | 2016-11-21 | |
| US62/424,782 | 2016-11-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202310621A true TW202310621A (zh) | 2023-03-01 |
Family
ID=62145621
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111140010A TW202310621A (zh) | 2016-11-21 | 2017-11-20 | 非暫時性記憶媒體 |
| TW106140147A TWI781966B (zh) | 2016-11-21 | 2017-11-20 | 圖像編碼裝置、圖像解碼裝置、圖像編碼方法及圖像解碼方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106140147A TWI781966B (zh) | 2016-11-21 | 2017-11-20 | 圖像編碼裝置、圖像解碼裝置、圖像編碼方法及圖像解碼方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US11399176B2 (zh) |
| EP (2) | EP3968637A1 (zh) |
| JP (1) | JPWO2018092869A1 (zh) |
| KR (3) | KR102592616B1 (zh) |
| CN (5) | CN116347077A (zh) |
| TW (2) | TW202310621A (zh) |
| WO (1) | WO2018092869A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11284076B2 (en) * | 2017-03-22 | 2022-03-22 | Electronics And Telecommunications Research Institute | Block form-based prediction method and device |
| WO2019234613A1 (en) * | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Partition tree with partition into 3 sub-blocks by horizontal and vertical splits |
| CN111050184A (zh) * | 2018-10-15 | 2020-04-21 | 华为技术有限公司 | 图像块的划分方法和装置 |
| CN111083491A (zh) | 2018-10-22 | 2020-04-28 | 北京字节跳动网络技术有限公司 | 细化运动矢量的利用 |
| WO2020084476A1 (en) * | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Sub-block based prediction |
| CN111127304B (zh) | 2018-10-31 | 2024-02-20 | 微软技术许可有限责任公司 | 跨域图像转换 |
| CN112997489B (zh) * | 2018-11-06 | 2024-02-06 | 北京字节跳动网络技术有限公司 | 具有几何分割的帧间预测的边信息信令 |
| WO2020098643A1 (en) | 2018-11-12 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Simplification of combined inter-intra prediction |
| EP3861742A4 (en) | 2018-11-20 | 2022-04-13 | Beijing Bytedance Network Technology Co., Ltd. | DIFFERENCE CALCULATION BASED ON SPATIAL POSITION |
| CN113170171B (zh) | 2018-11-20 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 组合帧间帧内预测模式的预测细化 |
| CN113170166B (zh) | 2018-12-30 | 2023-06-09 | 北京字节跳动网络技术有限公司 | 具有几何分割的帧间预测在视频处理中有条件的应用 |
| US11445203B2 (en) * | 2019-01-04 | 2022-09-13 | Qualcomm Incorporated | Sub-partition intra prediction in video coding |
| EP3937488A3 (en) | 2019-01-09 | 2022-04-13 | Beijing Dajia Internet Information Technology Co., Ltd. | System and method for improving combined inter and intra prediction |
| WO2020156574A1 (en) * | 2019-02-03 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Signaling for video block partition mode |
| WO2020177756A1 (en) | 2019-03-06 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Size dependent inter coding |
| US11206417B2 (en) * | 2019-05-30 | 2021-12-21 | Tencent America LLC | Method and apparatus for video coding |
| WO2021061400A1 (en) * | 2019-09-23 | 2021-04-01 | Alibaba Group Holding Limited | Methods and apparatuses for prediction refinement with optical flow in reference picture resampling |
| CN111031319B (zh) * | 2019-12-13 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种局部光照补偿预测方法、终端设备及计算机存储介质 |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6633611B2 (en) | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
| JP3284932B2 (ja) | 1997-08-05 | 2002-05-27 | 松下電器産業株式会社 | 画像処理装置 |
| JP4572480B2 (ja) * | 2001-04-06 | 2010-11-04 | ソニー株式会社 | 情報処理装置 |
| KR100695142B1 (ko) | 2004-03-08 | 2007-03-14 | 삼성전자주식회사 | 적응적 ２의 ｎ 제곱 진트리 생성방법 및 이를 이용한 3차원 체적 데이터 부호화/복호화 방법 및 장치 |
| KR101517768B1 (ko) | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR20100095992A (ko) | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
| US20120207221A1 (en) | 2009-10-16 | 2012-08-16 | Tomoko Aono | Video coding device and video decoding device |
| KR101853811B1 (ko) | 2010-01-15 | 2018-05-03 | 삼성전자주식회사 | 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 부호화 방법 및 장치, 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 복호화 방법 및 장치 |
| KR101540899B1 (ko) * | 2010-04-09 | 2015-07-30 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치 |
| KR101447796B1 (ko) | 2010-04-13 | 2014-10-07 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 평면 간 예측 |
| WO2011127961A1 (en) | 2010-04-13 | 2011-10-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. | Adaptive image filtering method and apparatus |
| JP2012080213A (ja) * | 2010-09-30 | 2012-04-19 | Mitsubishi Electric Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
| US9055305B2 (en) | 2011-01-09 | 2015-06-09 | Mediatek Inc. | Apparatus and method of sample adaptive offset for video coding |
| KR101712156B1 (ko) | 2010-12-06 | 2017-03-06 | 에스케이 텔레콤주식회사 | 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치 |
| BR122019025405B8 (pt) | 2011-01-13 | 2023-05-02 | Canon Kk | Aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, método de decodificação de imagem e meio de armazenamento |
| US20120182388A1 (en) | 2011-01-18 | 2012-07-19 | Samsung Electronics Co., Ltd. | Apparatus and method for processing depth image |
| JP5616984B2 (ja) * | 2011-01-26 | 2014-10-29 | 株式会社日立製作所 | 画像復号化装置 |
| WO2012120822A1 (en) | 2011-03-09 | 2012-09-13 | Canon Kabushiki Kaisha | Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor |
| JPWO2013001794A1 (ja) * | 2011-06-27 | 2015-02-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法、及び画像符号化装置 |
| EP2749029A4 (en) | 2011-08-25 | 2015-01-21 | Panasonic Ip Corp America | METHOD AND DEVICES FOR CODING, EXTRACTION AND DECODING VIDEO CONTENT BY MEANS OF A TILE CODING SCHEME |
| CN102957907B (zh) | 2011-08-31 | 2016-06-29 | 华为技术有限公司 | 一种变换块位置信息的获取方法和模块 |
| CN102970526B (zh) * | 2011-08-31 | 2016-12-14 | 华为技术有限公司 | 一种获得变换块尺寸的方法和模块 |
| US9787982B2 (en) * | 2011-09-12 | 2017-10-10 | Qualcomm Incorporated | Non-square transform units and prediction units in video coding |
| US20130136180A1 (en) | 2011-11-29 | 2013-05-30 | Futurewei Technologies, Inc. | Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding |
| WO2013091513A1 (en) | 2011-12-22 | 2013-06-27 | Mediatek Inc. | Method and apparatus of texture image compression in 3d video coding |
| US20130163664A1 (en) * | 2011-12-22 | 2013-06-27 | Qualcomm Incorporated | Unified partition mode table for intra-mode coding |
| JP2013229674A (ja) | 2012-04-24 | 2013-11-07 | Sharp Corp | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム |
| CN104380737B (zh) | 2012-06-22 | 2018-10-26 | 夏普株式会社 | 算术解码装置 |
| PL4002850T3 (pl) * | 2012-08-09 | 2023-05-08 | Sun Patent Trust | Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów, oraz urządzenie do kodowania/dekodowania obrazów |
| US9544612B2 (en) | 2012-10-04 | 2017-01-10 | Intel Corporation | Prediction parameter inheritance for 3D video coding |
| WO2014120368A1 (en) | 2013-01-30 | 2014-08-07 | Intel Corporation | Content adaptive entropy coding for next generation video |
| JP6473078B2 (ja) | 2013-04-05 | 2019-02-20 | シャープ株式会社 | 画像復号装置 |
| KR102216128B1 (ko) * | 2013-07-24 | 2021-02-16 | 삼성전자주식회사 | 움직임 벡터 결정 방법 및 그 장치 |
| EP3089452A4 (en) * | 2013-12-26 | 2017-10-25 | Samsung Electronics Co., Ltd. | Inter-layer video decoding method for performing subblock-based prediction and apparatus therefor, and inter-layer video encoding method for performing subblock-based prediction and apparatus therefor |
| WO2016148438A2 (ko) | 2015-03-13 | 2016-09-22 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 이를 위한 장치 |
| US11233998B2 (en) | 2015-05-29 | 2022-01-25 | Qualcomm Incorporated | Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design |
| JP2017090965A (ja) | 2015-11-02 | 2017-05-25 | 株式会社東芝 | 群衆分類装置、その方法、及び、そのプログラム |
| US10212444B2 (en) * | 2016-01-15 | 2019-02-19 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
| US11223852B2 (en) | 2016-03-21 | 2022-01-11 | Qualcomm Incorporated | Coding video data using a two-level multi-type-tree framework |
| BR112018069135B1 (pt) | 2016-05-10 | 2023-12-26 | Samsung Electronics Co., Ltd | Método de decodificação de imagem para decodificar uma imagem, aparelho de decodificação de imagens para decodificar uma imagem, método de codificação de imagem para codificar uma imagem, e aparelho de codificação de imagens para codificar uma imagem |
| US10880548B2 (en) * | 2016-06-01 | 2020-12-29 | Samsung Electronics Co., Ltd. | Methods and apparatuses for encoding and decoding video according to coding order |
| US10609423B2 (en) * | 2016-09-07 | 2020-03-31 | Qualcomm Incorporated | Tree-type coding for video coding |
| US20180109812A1 (en) | 2016-10-14 | 2018-04-19 | Media Tek Inc. | Block partitioning using tree structures |
| KR20230033027A (ko) * | 2016-11-01 | 2023-03-07 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
| JPWO2018092868A1 (ja) | 2016-11-21 | 2019-10-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 符号化装置、復号装置、符号化方法及び復号方法 |
-
2017
- 2017-11-17 WO PCT/JP2017/041422 patent/WO2018092869A1/ja active Application Filing
- 2017-11-17 EP EP21192846.0A patent/EP3968637A1/en active Pending
- 2017-11-17 EP EP17872674.1A patent/EP3544300B1/en active Active
- 2017-11-17 CN CN202310460266.3A patent/CN116347077A/zh active Pending
- 2017-11-17 JP JP2018551694A patent/JPWO2018092869A1/ja active Pending
- 2017-11-17 CN CN202310457281.2A patent/CN116320416A/zh active Pending
- 2017-11-17 CN CN202310456705.3A patent/CN116320415A/zh active Pending
- 2017-11-17 KR KR1020227043694A patent/KR102592616B1/ko active IP Right Grant
- 2017-11-17 CN CN201780071858.9A patent/CN109997359B/zh active Active
- 2017-11-17 KR KR1020197013979A patent/KR20190086453A/ko not_active Application Discontinuation
- 2017-11-17 KR KR1020237035542A patent/KR20230149868A/ko active Application Filing
- 2017-11-17 CN CN202310453174.2A patent/CN116248878A/zh active Pending
- 2017-11-20 TW TW111140010A patent/TW202310621A/zh unknown
- 2017-11-20 TW TW106140147A patent/TWI781966B/zh active
-
2019
- 2019-05-20 US US16/417,517 patent/US11399176B2/en active Active
-
2022
- 2022-06-06 US US17/833,540 patent/US11889078B2/en active Active
-
2023
- 2023-12-06 US US18/531,574 patent/US20240114136A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116347077A (zh) | 2023-06-27 |
| CN109997359B (zh) | 2023-05-09 |
| US20240114136A1 (en) | 2024-04-04 |
| CN116248878A (zh) | 2023-06-09 |
| US11889078B2 (en) | 2024-01-30 |
| US20220303534A1 (en) | 2022-09-22 |
| EP3968637A1 (en) | 2022-03-16 |
| TWI781966B (zh) | 2022-11-01 |
| KR20190086453A (ko) | 2019-07-22 |
| EP3544300B1 (en) | 2021-10-13 |
| US20190273922A1 (en) | 2019-09-05 |
| EP3544300A4 (en) | 2019-09-25 |
| KR102592616B1 (ko) | 2023-10-23 |
| WO2018092869A1 (ja) | 2018-05-24 |
| CN116320415A (zh) | 2023-06-23 |
| JPWO2018092869A1 (ja) | 2019-10-17 |
| EP3544300A1 (en) | 2019-09-25 |
| US11399176B2 (en) | 2022-07-26 |
| CN116320416A (zh) | 2023-06-23 |
| CN109997359A (zh) | 2019-07-09 |
| KR20230003609A (ko) | 2023-01-06 |
| KR20230149868A (ko) | 2023-10-27 |
| TW201834452A (zh) | 2018-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI781966B (zh) | 圖像編碼裝置、圖像解碼裝置、圖像編碼方法及圖像解碼方法 | |
| TWI784883B (zh) | 非暫時性記憶媒體 | |
| JP7086240B2 (ja) | 画像復号装置及び復号方法 | |
| WO2018092868A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
| JP6994868B2 (ja) | 符号化装置、復号装置、符号化方法、および復号方法 | |
| KR102608008B1 (ko) | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 | |
| KR102577599B1 (ko) | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 | |
| JP2021536191A (ja) | ビデオコーディング用システムおよび方法 | |
| KR20240005981A (ko) | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 | |
| TWI783129B (zh) | 編碼裝置、解碼裝置、編碼方法及解碼方法 | |
| JP6798066B2 (ja) | 符号化装置、復号装置、符号化方法、復号方法及びピクチャ圧縮プログラム | |
| KR20220097532A (ko) | 부호화 장치, 복호 장치, 부호화 방법, 및 복호 방법 및 기록 매체 |