TW201336318A

TW201336318A - 影像編碼裝置、影像編碼方法及影像編碼程式、以及影像解碼裝置、影像解碼方法及影像解碼程式

Info

Publication number: TW201336318A
Application number: TW102102169A
Authority: TW
Inventors: Hiroya Nakamura; Shigeru Fukushima
Original assignee: Jvc Kenwood Corp
Priority date: 2012-01-18
Filing date: 2013-01-18
Publication date: 2013-09-01

Abstract

以區塊單位將含有亮度訊號與色差訊號的影像訊號進行編碼的影像編碼裝置中，正交轉換．量化部(107)，係將亮度訊號之編碼區塊及色差訊號之編碼區塊分別設成具有所定形狀的一個以上之轉換區塊，將亮度訊號之轉換區塊與色差訊號之轉換區塊進行正交轉換。第3編碼位元列生成部(114)，係將已被正交轉換的亮度訊號之轉換區塊與色差訊號之轉換區塊進行編碼，以生成編碼位元列。

Description

影像編碼裝置、影像編碼方法及影像編碼程式、以及影像解碼裝置、影像解碼方法及影像解碼程式

本發明係有關於影像編碼及解碼技術，尤其是有關於利用了正交轉換的影像編碼及解碼技術。

動態影像的壓縮編碼方式的具有代表性者，係有MPEG-4 AVC/H.264規格。在MPEG-4 AVC/H.264中，是以將圖像分割成複數矩形區塊而成的巨集區塊單位，來進行編碼。巨集區塊的尺寸係不受影像尺寸所限制，在亮度訊號上係規定為16×16像素。此外，雖然巨集區塊中也包含有色差訊號，但巨集區塊中所含之色差訊號的尺寸，係隨著所被編碼之影像的色差格式而不同，當色差格式是4：2：0時，則在色差訊號上是8×8像素，當色差格式是4：2：2時，則在色差訊號上是8×16像素，當色差格式是4：4：4時，則在色差訊號上是16×16像素。

色差格式係為，將1個亮度資訊與2個色差資訊這3個訊號的取樣化而成之像素數的比率，以X：Y：Z來表示。MPEG-4 AVC/H.264中，作為編碼及解碼之對象的影像的色差格式係有4：2：0、4：2：2、4：4：4、單色。

圖3係說明影像的各色差格式的圖。×係表示影像在圖像平面上的亮度訊號的像素位置，○係表示色差訊號的像素位置。

圖3(a)所示的4：2：0係為，相對於亮度訊號，色差訊號是在水平、垂直兩方向上以2分之1的密度被取樣化而成的色差格式。此外，4：2：0有時候會是以圖3(e)所示之位置來將色差訊號做取樣化。

圖3(b)所示的4：2：2係為，相對於亮度訊號，色差訊號是在水平方向上以2分之1的密度、在垂直方向上以同樣密度被取樣化而成的色差格式。

圖3(c)所示的4：4：4，係亮度訊號、色差訊號皆是以同樣密度被取樣化而成的色差格式。

圖3(d)所示的單色係沒有色差訊號，僅由亮度訊號所構成的色差格式。

此外，亮度訊號與色差訊號係為了共用運動補償等之編碼資訊因而是成組地被編碼及解碼，但在4：4：4的情況下，還準備有將1個亮度訊號與2個色差訊號獨立視為3個單色而加以編碼及解碼的機制。

在AVC/H.264方式中，會採用根據編碼/解碼對象圖像內已經編碼．解碼的區塊來進行預測的手法。該手法稱作畫面內預測。又，還會採用，將已經編碼．解碼的圖像當作參照圖像，預測從參照圖像起算之動態的此種運動補償。藉由該運動補償來預測運動的手法，稱作畫面間預測。

在AVC/H.264編碼方式中，是從編碼對象之影像訊號減去已被畫面內預測或畫面間預測而成的預測訊號，生成殘差訊號，將殘差訊號進行正交轉換及量化，以削減編碼量。在亮度訊號中係隨應於影像訊號之空間方向的頻率特性而可選擇4×4像素單位的正交轉換與8×8像素單位的正交轉換之任一者。於色差訊號中係使用4×4像素單位的正交轉換。

[先前技術文獻]

[非專利文獻]

[非專利文獻1]ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding

將影像訊號進行編碼之際，將亮度訊號與色差訊號進行正交轉換，但此時，由於只從4×4像素單位的正交轉換與8×8像素單位的正交轉換中選擇一者，因此處理效率會變差。

本發明係有鑑於此種狀況而研發，其目的在於提供一種，藉由相應於影像訊號(尤其是影像訊號的空間方向之頻率特性)與色差格式的亮度訊號與色差訊號之正交轉換，而可將影像訊號高效率編碼的影像編碼技術及對應於其的影像解碼技術。

為了解決上記課題，本發明的某個態樣的影像編碼裝置，係以區塊單位將含有亮度訊號與色差訊號的影像訊號進行編碼的影像編碼裝置，其特徵為，具備：正交轉換部(107)，係將亮度訊號之編碼區塊及色差訊號之編碼區塊分別設成具有所定形狀的一個以上之轉換區塊，將亮度訊號之轉換區塊與色差訊號之轉換區塊進行正交轉換；和編碼列生成部(114)，係將前記已被正交轉換的亮度訊號之轉換區塊與色差訊號之轉換區塊進行編碼，以生成編碼位元列。

本發明的另一態樣，係亦為影像編碼裝置。該裝置係以區塊單位將含有亮度訊號與色差訊號的影像訊號進行編碼的影像編碼裝置，其特徵為，具備：編碼方法決定部(105)，係隨應於表示分割方法的資訊，來決定色差訊號之編碼區塊的分割模態，該表示分割方法的資訊係表示，在進行分割成用以將編碼區塊進行正交轉換所需之轉換區塊之際的分割方法；和正交轉換部(107)，係將亮度訊號之轉換區塊與色差訊號之轉換區塊進行正交轉換；和編碼列生成部(114)，係將正交轉換後的亮度訊號之轉換區塊與色差訊號之轉換區塊進行編碼，以生成編碼位元列。

表示分割成用以將編碼區塊進行正交轉換所需之轉換區塊之際的分割方法的資訊係可為，分割成用以將編碼區塊進行正交轉換所需之轉換區塊之際的分割形狀，尤其是縱橫之分割比率。

本發明的另一其他態樣，係為影像編碼方法。該方法係以區塊單位將含有亮度訊號與色差訊號的影像訊號進行編碼的影像編碼方法，其特徵為，具備：正交轉換步驟，係將亮度訊號之編碼區塊及色差訊號之編碼區塊分別設成具有所定形狀的一個以上之轉換區塊，將亮度訊號之轉換區塊與色差訊號之轉換區塊進行正交轉換；和編碼列生成步驟，係將前記已被正交轉換的亮度訊號之轉換區塊與色差訊號之轉換區塊進行編碼，以生成編碼位元列。

本發明的某個態樣的影像解碼裝置，係以區塊單位將含有亮度訊號與色差訊號的影像訊號進行解碼的影像解碼裝置，其特徵為，具備：逆正交轉換部(208)，係將亮度訊號之編碼區塊及色差訊號之編碼區塊分別設成具有所定形狀的一個以上之轉換區塊，將亮度訊號之轉換區塊與色差訊號之轉換區塊進行逆正交轉換；和解碼影像訊號重疊部(209)，係對將前記已被逆正交轉換的亮度訊號之轉換區塊與色差訊號之轉換區塊進行解碼所得之殘差訊號，重疊預測訊號而生成解碼影像。

本發明的另一態樣，係亦為影像解碼裝置。該裝置係以區塊單位將含有亮度訊號與色差訊號的影像訊號進行解碼的影像解碼裝置，其特徵為，具備：逆正交轉換部(208)，係隨應於表示分割方法的資訊，來決定色差訊號之編碼區塊的分割模態，並將亮度訊號之轉換區塊與色差訊號之轉換區塊，進行逆正交轉換，該表示分割方法的資訊係表示，在進行分割成用以將編碼區塊進行正交轉換所需之轉換區塊之際的分割方法；和解碼影像訊號重疊部(209)，係對將逆正交轉換後的亮度訊號之轉換區塊與色差訊號之轉換區塊進行解碼所得之殘差訊號，重疊預測訊號而生成解碼影像。

本發明的另一其他態樣，係為影像解碼方法。該方法係以區塊單位將含有亮度訊號與色差訊號的影像訊號進行解碼的影像解碼方法，其特徵為，具備：逆正交轉換步驟，係將亮度訊號之編碼區塊及色差訊號之編碼區塊分別設成具有所定形狀的一個以上之轉換區塊，將亮度訊號之轉換區塊與色差訊號之轉換區塊進行逆正交轉換；和解碼影像訊號重疊步驟，係對將前記已被逆正交轉換的亮度訊號之轉換區塊與色差訊號之轉換區塊進行解碼所得之殘差訊號，重疊預測訊號而生成解碼影像。

此外，即使將以上構成要素之任意組合、本發明之表現，在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者，對本發明的態樣而言皆為有效。

若依據本發明，則可將影像訊號高效率地進行編碼。

101‧‧‧色差格式設定部

102‧‧‧影像記憶體

103‧‧‧畫面內預測部

104‧‧‧畫面間預測部

105‧‧‧編碼方法決定部

106‧‧‧殘差訊號生成部

107‧‧‧正交轉換．量化部

108‧‧‧逆量化．逆正交轉換部

109‧‧‧解碼影像訊號重疊部

110‧‧‧編碼資訊儲存記憶體

111‧‧‧解碼影像記憶體

112‧‧‧第1編碼位元列生成部

113‧‧‧第2編碼位元列生成部

114‧‧‧第3編碼位元列生成部

115‧‧‧編碼位元列多工化部

201‧‧‧編碼位元列分離部

202‧‧‧第1編碼位元列解碼部

203‧‧‧第2編碼位元列解碼部

204‧‧‧第3編碼位元列解碼部

205‧‧‧色差格式管理部

206‧‧‧畫面內預測部

207‧‧‧畫面間預測部

208‧‧‧逆量化．逆正交轉換部

209‧‧‧解碼影像訊號重疊部

210‧‧‧編碼資訊儲存記憶體

211‧‧‧解碼影像記憶體

212‧‧‧開關

213‧‧‧開關

[圖1]實施形態的影像編碼裝置之構成的區塊圖。

[圖2]實施形態的影像解碼裝置之構成的區塊圖。

[圖3]影像之色差格式的說明圖。

[圖4]AVC/H.264方式的畫面內預測模式之切換單位的說明圖。

[圖5]AVC/H.264方式的畫面間預測之單位的說明圖。

[圖6]本實施例所規定之樹區塊、及編碼區塊的說明圖。

[圖7]本實施例所規定之分割模式的說明圖。

[圖8]本實施例所規定之畫面內預測模式之值與預測方向的說明圖。

[圖9]本實施例所規定之區塊位置的說明用之一例的圖。

[圖10]本實施例所規定之將序列全體的編碼之相關資訊予以編碼的作為標頭的序列參數組，使用其來將色差格式資訊予以編碼之際，語法定義之一例的說明圖。

[圖11]本實施例所規定之轉換區塊之形狀的說明圖。

[圖12]本實施例所規定之亮度訊號之編碼區塊往轉換區塊之分割方法的說明圖。

[圖13]本實施例所規定之亮度訊號之編碼區塊往轉換區塊之分割方法的說明圖。

[圖14]本實施例所規定之亮度訊號之編碼區塊往轉換區塊之分割方法的說明圖。

[圖15]本實施例所規定之色差格式為4：2：0時的色差訊號之編碼區塊的往轉換區塊之分割方法的說明圖。

[圖16]本實施例所規定之色差格式為4：2：2時的色差訊號之編碼區塊的往轉換區塊之分割方法的說明圖。

[圖17]本實施例所規定之色差格式為4：2：2時的色差訊號之編碼區塊的往轉換區塊之分割方法的說明圖。

在本實施形態中，係關於動態影像的編碼，尤其是以將圖像分割成任意尺寸、形狀之矩形而成的區塊單位，在編碼時是根據已經編碼及解碼、在解碼時是根據已經解碼(以下稱作已解碼)之周圍區塊的像素值來進行預測的畫面內預測、及根據已解碼之圖像來進行運動補償的畫面間預測，使用畫面內預測及畫面間預測來削減編碼量。

首先定義本實施形態中所使用的技術、及技術用語。

(色差格式)

實施形態所說明的編碼及解碼之對象的影像的色差格式，係為在AVC/H.264方式中也是被視為對象的單色、4：2：0、4：2：2、4：4：4，將亮度訊號與色差訊號成組地進行編碼及解碼。但是，關於色差訊號的說明，在單色時則省略說明。此外，關於以4：4：4而將亮度訊號與色差訊號獨立編碼的方法，在本實施例中係視為單色。

(關於樹區塊、編碼區塊)

在實施形態中，如圖6所示，將圖像內均等分割成任意之同一尺寸的正方之矩形單位。將此單位定義為樹區塊，是用來在圖像內將編碼/解碼對象區塊(編碼處理時係為編碼對象區塊、解碼處理時係為解碼對象區塊。以下若無特別聲明則都是如此意思)加以特定所需之位址管理的基本單位。單色除外的樹區塊，係由1個亮度訊號與2個色差訊號所構成。樹區塊的尺寸係隨應於圖像尺寸或圖像內的紋理，而可自由設定成2的次方數的尺寸。樹區塊係會隨著圖像內的紋理，為了使編碼處理最佳化，而可因應需要而將樹區塊內的亮度訊號及色差訊號遞迴地4分割(縱橫各2分割)，變成小尺寸的區塊。將此區塊分別定義為編碼區塊，是進行編碼及解碼之際的處理的基本單位。單色除外的編碼區塊，也是由1個亮度訊號與2個色差訊號所構成。編碼區塊的最大尺寸係和樹區塊的尺寸相同。編碼區塊的最小尺寸之編碼區塊稱作最小編碼區塊，可自由設定成2的次方數的尺寸。

於圖6中，編碼區塊A係不將樹區塊做分割，而當作1個編碼區塊。編碼區塊B係為將樹區塊做4分割而成的編碼區塊。編碼區塊C係為將樹區塊做4分割而成的區塊再做4分割而成的編碼區塊。編碼區塊D係為將樹區塊做4分割而成的區塊再遞迴地二度做4分割而成的編碼區塊，是最小尺寸的編碼區塊。

於實施形態的說明中，是以色差格式為4： 2：0的方式，將樹區塊的尺寸設定成亮度訊號為64×64像素、色差訊號為32×32像素，將最小編碼區塊的尺寸設定成亮度訊號為8×8像素、色差訊號為4×4像素。在圖6中，編碼區塊A的尺寸係在亮度訊號為64×64像素、色差訊號為32×32像素，編碼區塊B的尺寸係在亮度訊號為32×32像素、色差訊號為16×16像素，編碼區塊C的尺寸係在亮度訊號為16×16像素、色差訊號為8×8像素，編碼區塊D的尺寸係在亮度訊號為8×8像素、色差訊號為4×4像素。此外，當色差格式是4：4：4時，各編碼區塊的亮度訊號與色差訊號的尺寸係相等。當色差格式是4：2：2時，編碼區塊A的尺寸係在色差訊號為32×64像素，編碼區塊B的尺寸係在色差訊號為16×32像素，編碼區塊C的尺寸係在色差訊號為8×16像素，最小編碼區塊亦即編碼區塊D的尺寸係在色差訊號為4×8像素。

(關於預測模式)

以編碼區塊單位，切換著根據編碼/解碼對象圖像內的已編碼/解碼(在編碼處理時係用於將已編碼之訊號進行解碼後的圖像、預測區塊、影像訊號等，在解碼處理時係用於已解碼之圖像、預測區塊、影像訊號等。以下，只要沒有特別聲明，就照該意義來使用)的周圍之影像訊號來進行預測的畫面內預測(MODE_INTRA)、及根據已編碼/解碼的圖像之影像訊號來進行預測的畫面間預測(MODE_INTER)。將用來識別該畫面內預測(MODE_INTRA)與畫面間預測(MODE_INTER)的模式，定義成預測模式(PredMode)。預測模式(PredMode)係具有畫面內預測(MODE_INTRA)、或畫面間預測(MODE_INTER)之值，可選擇而編碼。

(關於分割模式、預測區塊、預測單元)

將圖像內分割成區塊來進行畫面內預測(MODE_INTRA)及畫面間預測(MODE_INTER)時，為了使畫面內預測及畫面間預測之方法的切換單位更小，會因應需要而將編碼區塊進行分割然後進行預測。將用來識別該編碼區塊之亮度訊號與色差訊號的分割方法的模式，定義成分割模式(PartMode)。然後，還因應需要而將該已被分割之區塊，定義成預測區塊。如圖7所示，隨著編碼區塊的亮度訊號的分割方法，定義8種分割模式(PartMode)。

將圖7(a)所示未將編碼區塊之亮度訊號做分割而視為1個預測區塊的分割模式(PartMode)，定義為2N×2N分割(PART_2Nx2N)。將圖7(b)、(c)、(d)所示未將編碼區塊之亮度訊號分割成上下並排之2個預測區塊的分割模式(PartMode)，分別定義為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)。但是，2N×N分割(PART_2NxN)係為上下以1：1之比率做分割的分割模式，2N×nU分割(PART_2NxnU)係為上下以1：3之比率做分割的分割模式，2N×nD分割(PART_2NxnD)係為上下以3：1之比率做分割的分割模式。將圖7(e)、(f)、(g)所示未將編碼區塊之亮度訊號分割成左右並排之2個預測區塊的分割模式(PartMode)，分別定義為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)。但是，N×2N分割(PART_Nx2N)係為左右以1：1之比率做分割的分割模式，nL×2N分割(PART_nLx2N)係為左右以1：3之比率做分割的分割模式，nR×2N分割(PART_nRx2N)係為左右以3：1之比率做分割的分割模式。將圖7(h)所示的編碼區塊的亮度訊號做上下左右4分割，而將變成4個預測區塊的分割模式(PartMode)，分別定義為N×N分割(PART_NxN)。

此外，各分割模式(PartMode)皆分別是以和亮度訊號之縱橫分割比率同樣地，分割色差訊號。

於編碼區塊內部，為了特定各預測區塊，而將從0開始的號碼，以編碼順序，對存在於編碼區塊內部的預測區塊進行分配。將該號碼定義為分割索引PartIdx。圖7的編碼區塊的各預測區塊之中所記述的數字，係表示該預測區塊的分割索引PartIdx。在圖7(b)、(c)、(d)所示的2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)中，令上方的預測區塊的分割索引PartIdx為0，令下方的預測區塊的分割索引PartIdx為1。在圖7(e)、(f)、(g)所示的N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)中，令左方的預測區塊的分割索引PartIdx為0，令右方的預測區塊的分割索引PartIdx為1。在圖7(h)所示的N×N分割(PART_NxN)中，令左上方的預測區塊的分割索引PartIdx為0，令右上方的預測區塊的分割索引PartIdx為1，令左下方的預測區塊的分割索引PartIdx為2，令右下方的預測區塊的分割索引PartIdx為3。

在預測模式(PredMode)為畫面間預測 (MODE_INTER)時，分割模式(PartMode)係定義2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及nR×2N分割(PART_nRx2N)。僅最小編碼區塊的編碼區塊D，分割模式(PartMode)係除了2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及nR×2N分割(PART_nRx2N)之外還可定義N×N分割(PART_NxN)。此外，最小編碼區塊以外不定義N×N分割(PART_NxN)的理由是，在最小編碼區塊以外，無法將編碼區塊做4分割而表現更小的編碼區塊。

在預測模式(PredMode)為畫面內預測 (MODE_INTRA)時，除了最小編碼區塊亦即編碼區塊 D(本實施例係亮度訊號為8×8像素)以外，分割模式(PartMode)係僅定義2N×2N分割(PART_2Nx2N)，僅最小編碼區塊的編碼區塊D，分割模式(PartMode)係定義2N×2N分割(PART_2Nx2N)還有N×N分割(PART_NxN)。此外，最小編碼區塊以外不定義N×N分割(PART_NxN)的理由是，在最小編碼區塊以外，無法將編碼區塊做4分割而表現更小的編碼區塊。

(關於畫面內預測、畫面內預測模式)

在畫面內預測中係根據相同圖像內的周圍之已解碼的區塊的像素之值，來預測處理對象區塊的像素之值。本實施例的編碼裝置及解碼裝置中，從34種畫面內預測模式中進行選擇，進行畫面內預測。圖8係本實施例所規定之畫面內預測模式之值與預測方向的說明圖。實線的箭頭所指示的方向係為畫面內預測的預測方向，亦即畫面內預測時所參照的方向，參照相鄰之區塊的箭頭指示方向的已解碼之像素，進行箭頭起點之像素的畫面內預測。號碼係代表畫面內預測模式的值。畫面內預測模式(intraPredMode)，係根據上方之已解碼區塊在垂直方向上進行預測的垂直預測(畫面內預測模式intraPredMode=0)，根據左方之已解碼區塊在水平方向上進行預測的水平預測(畫面內預測模式intraPredMode=1)，根據周圍之已解碼區塊算出平均值以進行預測的平均值預測(畫面內預測模式intraPredMode=2)，根據周圍之已解碼區塊以斜向 45度之角度進行預測的平均值預測(intraPredMode=3)以外，還定義了根據周圍之已解碼區塊而在以各種角度傾斜之方向上進行預測的30種角度預測(畫面內預測模式intraPredMode=4...33)。

畫面內預測模式，係分別準備亮度訊號、色差訊號，將亮度訊號用的畫面內預測模式定義為畫面內亮度預測模式，將色差訊號用的畫面內預測模式定義為畫面內色差預測模式。畫面內亮度預測模式的編碼、及解碼時，係利用與周邊區塊之畫面內亮度預測模式的相關性，在編碼側上若判斷為可根據周邊區塊之畫面內亮度預測模式來進行預測時，就將進行參照之區塊加以特定的資訊予以傳輸，若判斷為與其根據周邊區塊之畫面內亮度預測模式來進行預測，不如對畫面內亮度預測模式設定別的值較佳時，才將畫面內亮度預測模式之值予以編碼、或解碼，是採用如此機制。藉由根據周邊區塊之畫面內亮度預測模式來預測編碼．解碼對象區塊的畫面內亮度預測模式，就可削減所傳輸的編碼量。另一方面，畫面內色差預測模式的編碼、及解碼時，係利用與色差訊號之預測區塊相同位置的亮度訊號的預測區塊的畫面內亮度預測模式的相關性，在編碼側上若判斷為可根據畫面內亮度預測模式來進行預測時，就根據畫面內亮度預測模式之值來預測畫面內色差預測模式之值，若判斷為與其根據畫面內亮度預測模式來進行預測，不如對畫面內色差預測模式設定獨自的值較佳時，則將畫面內色差預測模式之值予以編碼、或解碼，是採用如此機制。藉由根據畫面內亮度預測模式來預測畫面內色差預測模式，就可削減所傳輸的編碼量。

(轉換區塊)

和先前同樣地，在本實施形態中也是使用DCT(離散餘弦轉換)、DST(離散正弦轉換)等，將離散訊號轉換成頻率領域的正交轉換和其逆轉換，以謀求編碼量之削減。編碼區塊係可隨應於圖像內的紋理，為了使編碼處理最佳化，因應需要而可將編碼區塊內的亮度訊號、及色差訊號，依照後述的規則進行分割，然後以較小的區塊單位，來進行轉換、或逆轉換。因應需要而將已被分割之作為正交轉換或逆正交轉換之對象的區塊，定義成轉換區塊。

(樹區塊、編碼區塊、預測區塊、轉換區塊之位置)

本實施形態的樹區塊、編碼區塊、預測區塊、轉換區塊為首的各區塊之位置，係令亮度訊號的圖像之最左上之亮度訊號的像素位置為原點(0,0)，將各個區塊領域中所包含之最左上的亮度訊號之像素位置，以(x,y)的二維座標來表示。座標軸的方向係水平方向朝右的方向、垂直方向朝下的方向分別令為正的方向，單位係為亮度訊號的1像素單位。亮度訊號與色差訊號上影像尺寸(像素數)是相同的色差格式是4：4：4時不用說，亮度訊號與色差訊號上影像尺寸(像素數)是不同的色差格式是4：2：0、4： 2：2的情況下，也將色差訊號的各區塊之位置以該區塊之領域中所包含之亮度訊號的像素之座標來表示，單位係為亮度訊號的1像素。藉由如此設計，不但可以特定色差訊號的各區塊之位置，只需藉由比較座標之值，亮度訊號的區塊與色差訊號的區塊之位置關係也很明確。圖9係色差格式是4：2：0時，本實施例所規定之區塊位置的說明用之一例圖。圖9的×係表示影像在圖像平面上的亮度訊號的像素位置，○係表示色差訊號的像素。圖9的虛線之四角形係為8×8像素的亮度訊號的區塊E，同時也是4×4像素的色差訊號的區塊F。▲係虛線所示之8×8像素的亮度訊號的區塊E的最左上方的亮度訊號的像素之位置。因此，▲係為虛線所示之8×8像素的亮度訊號的區塊E之位置，將▲所示之像素的亮度訊號的座標，當作以虛線所示之8×8像素的亮度訊號的區塊E的座標。同樣地，▲係也是虛線所示之4×4像素的色差訊號的區塊F之領域中所含之最左上方的亮度訊號的像素之位置。因此，▲係也是虛線所示之4×4像素的色差訊號的區塊F之位置，將▲所示之像素的亮度f訊號的座標，當作以虛線所示之4×4像素的色差訊號的區塊F的座標。在實施形態中，係不論色差格式之種類或區塊的形狀、大小，只有當所定義之亮度訊號的區塊的座標與色差訊號的區塊的座標的x成分與y成分之值皆相同時，這些區塊係定義為相同位置。

圖1係實施形態所述之影像編碼裝置之構成的區塊。實施形態的影像編碼裝置，係具備：色差格式設定部101、影像記憶體102、畫面內預測部103、畫面間預測部104、編碼方法決定部105、殘差訊號生成部106、正交轉換．量化部107、逆量化．逆正交轉換部108、解碼影像訊號重疊部109、解碼影像記憶體111、第1編碼位元列生成部112、第2編碼位元列生成部113、第3編碼位元列生成部114、編碼位元列多工化部115。

在色差格式設定部101中，係設定編碼對象之影像訊號的色差格式。可根據被供給至色差格式設定部101的編碼影像訊號來判斷色差格式然後設定色差格式，亦可從外部來做設定。僅亮度訊號被設定成4：2：0、4：2：2、或4：4：4的色差格式之資訊，係被供給至第1編碼位元列生成部112，同時，被供給至第2編碼位元列生成部113，基於色差格式來進行編碼處理。此外，雖未圖示，但在圖1的影像記憶體102、畫面內預測部103、畫面間預測部104、編碼方法決定部105、殘差訊號生成部106、正交轉換．量化部107、逆量化．逆正交轉換部108、解碼影像訊號重疊部109、第3編碼位元列生成部114中也是基於該所被設定的色差格式來進行編碼處理，在編碼資訊儲存記憶體110、解碼影像記憶體111中，係基於該已被設定之色差格式來管理。

在影像記憶體102中，係將按照時間順序所供給的編碼對象之影像訊號，予以暫時儲存。被儲存在影像記憶體102中的編碼對象之影像訊號，係被排序成編碼順序，以相應於設定之複數組合而被分割成各個編碼區塊單位，然後，被分割成各個預測區塊單位，供給至畫面內預測部103、畫面間預測部104、殘差訊號生成部106。

畫面內預測部103係以複數編碼區塊單位中的各個分割模式(PartMode)所相應的預測區塊單位，根據解碼影像記憶體111中所儲存的已解碼之影像訊號，針對編碼對象之預測區塊的亮度訊號、色差訊號，分別進行相應於複數畫面內亮度預測模式、及畫面內色差預測模式的各個畫面內預測，獲得畫面內預測訊號。此外，畫面內色差預測模式係只會選擇，相應於色差格式而從畫面內亮度預測模式所預測出來的值、或是，代表性的畫面內預測模式亦即0(水平方向)、1(垂直方向)、2(平均值)、3(傾斜45度)。

從以預測區塊單位所供給之編碼對象之訊號，每一像素地減算預測區塊單位的畫面內預測訊號，獲得預測殘差訊號。使用該預測殘差訊號來算出用來評估編碼量與失真量所需的評價值，以預測區塊單位，從複數畫面內預測模式之中，根據最佳編碼量、及失真量之觀點來選擇最佳之模式，作為該當預測區塊的畫面內預測之候補，將已被選擇之畫面內預測模式所對應的畫面內預測資訊、畫面內預測訊號、及畫面內預測之評價值，供給至編碼方法決定部105。

畫面間預測部104係以複數編碼區塊單位中的各個分割模式(PartMode)所相應的單位，亦即預測區塊單位，根據解碼影像記憶體111中所儲存的已解碼之影像訊號來進行複數畫面間預測模式(L0預測、L1預測、雙預測)及相應於參照影像的各個畫面間預測，獲得畫面間預測訊號。此時，進行運動向量探索，隨應於所探索到的運動向量來進行畫面間預測。此外，在雙預測的情況下，是將2個畫面間預測訊號做每一像素地平均、或是加算權重，以進行雙預測的畫面間預測。從以預測區塊單位所供給之編碼對象之訊號，每一像素地減算預測區塊單位的畫面間預測訊號，獲得預測殘差訊號。使用該預測殘差訊號來算出用來評估編碼量與失真量所需的評價值，以預測區塊單位，從複數畫面間預測模式之中，根據最佳編碼量、及失真量之觀點來選擇最佳之模式，作為該當預測區塊的畫面間預測之候補，將已被選擇之畫面間預測模式所對應的畫面間預測資訊、畫面間預測訊號、及畫面間預測之評價值，供給至編碼方法決定部105。

編碼方法決定部105係基於複數編碼區塊單位中的各個預測區塊所分別被選擇之畫面內預測資訊所對應的畫面內預測評價值及畫面間預測資訊所對應的畫面間預測評價值，而決定最佳的編碼區塊之分割方法、預測模式(PredMode)、分割模式(PartMode)，將含有符合決定之畫面內預測資訊、或畫面間預測資訊的編碼資訊，供給至第2編碼位元列生成部113，並且儲存在編碼資訊儲存記憶體110中，將符合所決定之已被畫面內預測或畫面間預測而成的預測訊號，供給至殘差訊號生成部106、及解碼影像訊號重疊部109。

殘差訊號生成部106，係從進行編碼的影像訊號，每一像素地減去已被畫面內預測或畫面間預測而成的預測訊號而生成殘差訊號，供給至正交轉換．量化部107。

正交轉換．量化部107，係對所被供給之殘差訊號而隨著量化參數進行DCT或DST等轉換成頻率領域的正交轉換及量化而生成已被正交轉換、量化過的殘差訊號，供給至第3編碼位元列生成部114、及逆量化．逆正交轉換部108。

第1編碼位元列生成部112，係依照語法要素之意義、定義導出方法的語意規則，而算出序列、圖像、及切片單位之編碼資訊的相關之語法要素之值，將所算出的各語法要素之值，依照語法規則而進行可變長度編碼、算術編碼等之熵編碼，生成第1編碼位元列，將已被編碼之第1編碼位元列，供給至編碼位元列多工化部115。色差格式的相關之語法要素之值，也是由第1編碼位元列生成部112所算出。根據從色差格式設定部101所供給之色差格式資訊，算出色差格式的相關之語法要素。圖10係本實施例所規定之將序列全體的編碼之相關資訊予以編碼的作為標頭的序列參數組，使用其來將色差格式資訊予以編碼之際，語法定義之一例。語法要素chroma_format_idc係表示色差格式之種類。語法要素chroma_format_idc之意義係為，值為0係表示單色，1係表示4：2：0，2係表示4：2：2，3係表示4： 4：4。又，語法要素separate_colour_plane_flag之意義係表示亮度訊號與色差訊號是否個別被編碼，若separate_colour_plane_flag之值為0，則表示是對亮度訊號建立對應有2個色差訊號而被編碼。語法要素chroma_format_idc之值為1時，係表示亮度訊號與2個色差訊號是被個別地編碼。只有當語法要素chroma_format_idc之值為3，亦即色差格式是4：4：4時，chroma_format_idc之值才可設定成0或1，在除此以外的色差格式中，語法要素separate_colour_plane_flag之值總是被設定成0，而被編碼。

第2編碼位元列生成部113，係依照語法要素之意義、定義導出方法的語意規則，而算出編碼區塊單位的編碼資訊，還有每一預測區塊被編碼方法決定部105所決定之編碼資訊之相關的語法要素之值。具體而言，除了算出編碼區塊的分割方法、預測模式(PredMode)、分割模式(PartMode)等之編碼區塊單位的編碼資訊，還算出預測區塊單位之編碼資訊的相關之語法要素之值。若預測模式(PredMode)是畫面內預測，則算出含有畫面內亮度預測模式、及畫面內色差預測模式的畫面內預測模式的相關之語法要素之值，若預測模式(PredMode)是畫面間預測，則算出畫面間預測模式、用來特定參照影像之資訊、運動向量等之畫面間預測資訊的相關之語法要素之值。將已被算出的各語法要素之值，依照語法規則而進行可變長度編碼、算術編碼等之熵編碼，生成第2編碼位元列，將已被編碼之第2編碼位元列，供給至編碼位元列多工化部115。

第3編碼位元列生成部114，係將已被正交轉換及量化過的殘差訊號，依照規定之語法規則來進行可變長度編碼、算術編碼等的熵編碼，生成第3編碼位元列，將第3編碼位元列，供給至編碼位元列多工化部115。

在編碼位元列多工化部115中，將第1編碼位元列與第2編碼位元列、及第3編碼位元列，依照規定之語法規則而進行多工化，生成位元串流，將已被多工化之位元串流，予以輸出。

逆量化．逆正交轉換部108，係將從正交轉換．量化部107所供給之已被正交轉換、量化過的殘差訊號，進行逆量化及逆正交轉換而算出殘差訊號，供給至解碼影像訊號重疊部109。解碼影像訊號重疊部109，係隨著編碼方法決定部105所做的決定而將已被畫面內預測或畫面間預測而成的預測訊號與已被逆量化．逆正交轉換部108進行逆量化及逆正交轉換後的殘差訊號加以重疊而生成解碼影像，儲存在解碼影像記憶體111中。此外，也可對解碼影像實施用來減少編碼所致區塊失真等的濾波處理，然後儲存在解碼影像記憶體111中。

圖2係圖1之影像編碼裝置所對應之實施形態所述之影像解碼裝置之構成的區塊。實施形態的影像解碼裝置，係具備：編碼位元列分離部201、第1編碼位元列解碼部202、第2編碼位元列解碼部203、第3編碼位元列解碼部204、色差格式管理部205、畫面內預測部 206、畫面間預測部207、逆量化．逆正交轉換部208、解碼影像訊號重疊部209、編碼資訊儲存記憶體210、解碼影像記憶體211、及開關212、213。

被供給至編碼位元列分離部201的位元串流係依照規定之語法規則而進行分離，表示序列、圖像、及切片單位之編碼資訊的第1編碼位元列會被供給至第1編碼位元列解碼部202，含有編碼區塊單位之編碼資訊的第2編碼位元列會被供給至第2編碼位元列解碼部203，含有已被正交轉換及量化之殘差訊號的第3編碼位元列會被供給至第3編碼位元列解碼部204。

第1編碼位元列解碼部202係依照語法規則，將所被供給之第1編碼位元列進行熵解碼，獲得序列、圖像、及切片單位之編碼資訊的相關之語法要素之各值。依照語法要素之意義、定義導出方法的語意規則，而根據已被解碼之序列、圖像、及切片單位之編碼資訊的相關之語法要素之值，算出序列、圖像、及切片單位的編碼資訊。第1編碼位元列解碼部202係對應於編碼側之第1編碼位元列生成部112的編碼位元列解碼部，具有從含有已被第1編碼位元列生成部112所編碼之序列、圖像、及切片單位之編碼資訊的編碼位元列，還原出各個編碼資訊的機能。已被第1編碼位元列生成部112所編碼之色差格式資訊，係根據在第1編碼位元列解碼部202中將第2編碼位元列進行熵解碼所得之色差格式資訊的相關之語法要素之值，而算出。依照圖10所示的語法規則、及語意規則，而根據語法要素chroma_format_idc之值來特定色差格式之種類，語法要素chroma_format_idc之值為0係表示單色，1係表示4：2：0，2係表示4：2：2，3係表示4：4：4。然後，語法要素chroma_format_idc之值為3時，係將語法要素separate_colour_plane_flag予以解碼，判定亮度訊號與色差訊號是否被個別地編碼。已被算出之色差格式資訊，係被供給至色差格式管理部205。

色差格式管理部205，係將已被供給之色差格式資訊，加以管理。已被供給之色差格式資訊，係被供給至第2編碼位元列解碼部203，根據色差格式資訊來進行編碼區塊、及預測區塊之編碼資訊的算出處理。此外，雖然圖中未明示，但第3編碼位元列解碼部204、圖2的畫面內預測部206、畫面間預測部207、逆量化．逆正交轉換部208、在解碼影像訊號重疊部209中也會根據該色差格式資訊來進行解碼處理，在編碼資訊儲存記憶體210、解碼影像記憶體211中係根據該色差格式資訊來進行管理。

第2編碼位元列解碼部203係依照語法規則，將所被供給之第1編碼位元列進行熵解碼，獲得編碼區塊、及預測區塊單位之編碼資訊的相關之語法要素之各值。依照語法要素之意義、定義導出方法的語意規則，而根據所被供給之編碼區塊單位、及預測區塊單位之編碼資訊的相關之語法要素之值，算出編碼區塊單位、及預測區塊單位之編碼資訊。第2編碼位元列解碼部203係對應於編碼側之第2編碼位元列生成部113的編碼資訊算出部，具有從含有已被第2編碼位元列生成部113所編碼之編碼區塊、及預測區塊單位之編碼資訊的第2編碼位元列，還原出各個編碼資訊的機能。具體而言，從將第2編碼位元列依照規定之語法規則進行解碼而得的各語法要素，除了可獲得編碼區塊的分割方法、預測模式(PredMode)、分割模式(PartMode)以外，若預測模式(PredMode)是畫面內預測，則還會獲得含有畫面內亮度預測模式、及畫面內色差預測模式的畫面內預測模式。另一方面，預測模式(PredMode)是畫面間預測時，會獲得畫面間預測模式、用來特定參照影像之資訊、運動向量等之畫面間預測資訊。若預測模式(PredMode)是畫面內預測，則透過開關212，將含有畫面內亮度預測模式、及畫面內色差預測模式的畫面內預測模式，供給至畫面內預測部206，若預測模式(PredMode)是畫面間預測，則透過開關212，將畫面間預測模式、用來特定參照影像之資訊、運動向量等之畫面間預測資訊，供給至畫面間預測部207。

第3編碼位元列解碼部204係將所被供給之編碼位元列予以解碼而算出已被正交轉換．量化之殘差訊號，將已被正交轉換．量化之殘差訊號，供給至逆量化．逆正交轉換部208。

畫面內預測部206係隨應於所被供給之含有畫面內亮度預測模式、及畫面內色差預測模式的畫面內預測模式，根據解碼影像記憶體211中所儲存的已解碼之周邊區塊，藉由畫面內預測而生成預測影像訊號，透過開關213，將預測影像訊號供給至解碼影像訊號重疊部209。又，在本實施形態中，係在根據畫面內亮度預測模式之值來預測畫面內色差預測模式之值之際，隨應於色差格式，畫面內色差預測模式的導出方法有所不同。此時，係使用會隨應於色差格式而不同之方法所導出的畫面內預測模式，來進行畫面內預測。

畫面間預測部207係使用所被供給之畫面間預測模式、用來特定參照圖像之資訊、運動向量等之畫面間預測資訊，根據解碼影像記憶體211中所儲存的已解碼之參照圖像，藉由使用了運動補償的畫面間預測而生成預測影像訊號，透過開關213，將預測影像訊號供給至解碼影像訊號重疊部209。此外，在雙預測的情況下，係對L0預測、L1預測的2個運動補償預測影像訊號，適應性地乘算權重係數，生成最終的預測影像訊號。

逆量化．逆正交轉換部208，係對第3編碼位元列解碼部204所解碼之已被正交轉換．量化之殘差訊號，進行逆正交轉換及逆量化，獲得已被逆正交轉換.逆量化之殘差訊號。

解碼影像訊號重疊部209，係將已被畫面內預測部206、或畫面間預測部207所預測出來的預測影像訊號、和已被逆量化．逆正交轉換部208進行逆正交轉換，逆量化之殘差訊號加以重疊，以將解碼影像訊號予以解碼，儲存至解碼影像記憶體211。在儲存至解碼影像記憶體211之際，係也可對解碼影像實施用來減少編碼所致區塊失真等的濾波處理，然後儲存在解碼影像記憶體211中。解碼影像記憶體211中所儲存的解碼影像訊號，係按照輸出順序而被輸出。

接著詳細說明實施形態之重點的編碼區塊往轉換區塊之分割。

於本實施形態中，如圖11所示，定義了3種類的轉換區塊之形狀。圖11(a)所示的寬度和高度相等的正方形的轉換區塊，係藉由使用於編碼對象之訊號的水平方向與垂直方向的相關性是等價的情形，就可促使編碼效率提升。圖11(b)所示的寬度對高度之比率為4比1的橫長之長方形的轉換區塊，係藉由使用在水平方向之相關性高、垂直方向之相關性低的情形，就可促使編碼效率提升。圖11(c)所示的寬度對高度之比率為1比4的縱長之長方形的轉換區塊，係藉由使用在垂直方向之相關性高、水平方向之相關性低的情形，就可促使編碼效率提升。

轉換區塊的一邊之尺寸係設為2的次方數。然後，在本實施形態中係定義了轉換區塊的最小尺寸與最大尺寸。首先說明本實施例中的正交轉換的最小尺寸。在影像編碼中，係利用低頻成分的畫質劣化較為醒目，高頻成分的畫質劣化較不醒目的此一性質，將高頻成分進行較低頻成分為粗糙的量化，藉此以削減編碼量。可是，由於2×2轉換係難以充分地劃分頻率成分，因此編碼量的削減效果很低。又，畫面內預測、轉換、量化的各個處理單位若太小，則對應之處理單位的數目會增大，因此處理會變得複雜。於是，在本實施例中，係將正交轉換的一方向之最小尺寸設成4像素，將轉換區塊的最小尺寸設成4×4像素。接下來，說明本實施例中的正交轉換之最大尺寸。若將正交轉換的最大尺寸設成較大則實裝至硬體之際的電路規模會變大。於是，在本實施例中，係將正交轉換的一方向之最大尺寸設成32像素，將轉換區塊的最大尺寸設成32×32像素。編碼對象之訊號的相關性較高時係以較大的尺寸進行正交轉換，編碼對象之訊號的相關性較低時係以較小的尺寸進行正交轉換，藉此就可促使編碼效率提升。

此外，以序列單位、圖像單位、或切片單位，設定表示轉換區塊的最小尺寸(或最大尺寸)的語法要素，及表示轉換區塊之最小尺寸與最大尺寸之差分的語法要素，以編碼側的第1編碼位元列生成部112進行編碼，以解碼側的第1編碼位元列解碼部202在解碼側進行解碼，藉此而判別轉換區塊的最小尺寸與最大尺寸。例如，表示轉換區塊之最小尺寸的語法要素之值為0時係表示正交轉換的最小單位是4像素，值為1時係表示正交轉換的最小單位是8像素，值為2時係表示正交轉換的最小單位是16像素，值為3時係表示正交轉換的最小單位是32像素。又，表示轉換區塊之最小尺寸與最大尺寸之差分的語法要素之值為0時係表示最小尺寸與最大尺寸相等，值為1時係視為最小尺寸與最大尺寸相差1階段(例如，最小尺寸是4像素時則最大尺寸係為8像素，最小尺寸是8像素時則最大尺寸係為16像素)，值為2時係視為最小尺寸與最大尺寸相差2階段(例如，最小尺寸是4像素時則最大尺寸係為16像素，最小尺寸是8像素時則最大尺寸係為32像素)，值為3時係視為最小尺寸與最大尺寸相差3階段(例如，最小尺寸是4像素時則最大尺寸係為32像素)。

在本實施形態中，由於是將最小尺寸設成4×4像素、最大尺寸設成32×32像素，因此圖11(a)中所示的正方形的轉換區塊的尺寸係採用32×32像素、16×16像素、8×8像素、及4×4像素。又，至於圖11(b)所示的橫長之長方形的轉換區塊、及圖11(c)所示的縱長之長方形的轉換區塊，係短邊的尺寸是設成與轉換區塊之最小尺寸相同或較大，長邊的尺寸是設成與轉換區塊之最大尺寸相同或較小。在本實施形態中，由於是將最小尺寸設成4×4像素、最大尺寸設成32×32像素，因此橫長之長方形的轉換區塊的最小尺寸係為16×4像素、最大尺寸係為32×8像素。又，縱長之長方形的轉換區塊的最小尺寸係為4×16像素、最大尺寸係為8×32像素。藉由規定如上，只需要將表示轉換區塊的最小尺寸(或最大尺寸)的語法要素，及表示轉換區塊之最小尺寸與最大尺寸之差分的語法要素這2個資訊予以編碼及解碼，就可設定圖11(a)所示的正方形之轉換區塊、圖11(b)所示的橫長之長方形的轉換區塊、及圖11(c)所示的縱長之長方形的轉換區塊的各種形狀的轉換區塊的最小尺寸與最大尺寸，因此可削減用來將轉換區塊的最小尺寸與最大尺寸予以編碼所需的編碼量。

於是，在本實施形態中，隨應於編碼區塊內的訊號之空間方向的相關性，而定義了表示以編碼區塊單位將編碼區塊分割成轉換區塊之方法的變數TransformSpritDirection。變數TransformSpritDirection之值為0係表示以橫長之長方形的轉換區塊單位進行正交轉換所需的分割方法，變數TransformSpritDirection之值為1係表示以縱長之長方形的轉換區塊單位進行正交轉換所需的分割方法，變數TransformSpritDirection之值為2係表示以寬度與高度相等之正方形的轉換區塊單位進行正交轉換所需的分割方法。

變數TransformSpritDirection係可對每一編碼區塊定義表示變數TransformSpritDirection的語法要素並且編碼至位元串流內以明示性地設定，亦可不編碼在位元串流內而是藉由在編碼側、解碼側雙方中進行導出而默認性地設定。明示性設定的方法時，在編碼側係決定適合之變數TransformSpritDirection之值然後加以編碼，在解碼側係將表示變數TransformSpritDirection的語法要素予以解碼而取得變數TransformSpritDirection之值。在默認性設定的方法時，係隨應於分割模式(PartMode)而默認性地設定。分割模式(PartMode)係為圖7(b)、(c)、(d)所示的2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)之際，係由於對水平方向有高相關性的可能性較高，因此將變數TransformSpritDirection設定成0。分割模式(PartMode)係為圖7(e)、(f)、(g)所示的N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)之際，係由於對垂直方向有高相關性的可能性較高，因此將變數TransformSpritDirection設定成1。分割模式(PartMode)係為圖7(a)所示的2N×2N分割(PART_2Nx2N)、圖7(h)所示的N×N分割(PART_NxN)之際，係將變數TransformSpritDirection設定成2。

在本實施形態中，係隨應於表示隨著空間方向之相關性而將編碼區塊分割成轉換區塊之方法的變數TransformSpritDirection，來將編碼區塊內的亮度訊號、及色差訊號，分別分割成轉換區塊。亮度訊號、及色差訊號係可隨應於變數TransformSpritDirection與後述的旗標split_transform_flag之值，而將已被分割之區塊再次遞迴地分割，變成更小尺寸的轉換區塊。關於相應於變數TransformSpritDirection的編碼區塊往轉換區塊之遞迴性分割方法，係使用圖12、圖13、圖14來詳細說明。

圖12係變數TransformSpritDirection之值為2 之際的亮度訊號之編碼區塊往轉換區塊之分割方法的說明圖。變數TransformSpritDirection之值為2之際，係將編碼區塊因應需要而遞迴地在上下左右做4分割。是否將編碼區塊進行4分割係在編碼側上對每一編碼區塊做決定然後對表示分割與否的旗標split_transform_flag設定一值，以第2編碼位元列生成部113進行編碼，在解碼側上係以第2編碼位元列解碼部203將該旗標split_transform_flag予以解碼然後判斷是否將編碼區塊做4分割。若不分割時則旗標split_transform_flag之值係為0，亮度訊號之編碼區塊係直接當作轉換區塊。若分割時則旗標split_transform_flag之值係為1，編碼區塊係被上下左右地四分割。針對被上下左右四分割的各個區塊，是否還要將該區塊進行4分割係在編碼側上對已被分割好的每一區塊做決定然後對表示分割與否的旗標split_transform_flag設定一值而進行編碼，在解碼側上係將該旗標split_transform_flag予以解碼然後判斷是否將各個區塊做4分割。若不分割時則旗標split_transform_flag之值係為0，該區塊就成為轉換區塊。若分割時則旗標split_transform_flag之值係為1，區塊係再次被上下左右四分割。但是，分割後之區塊若小於最小尺寸(本實施形態中係為4×4像素)時，則不再分割。此時，旗標split_transform_flag係不被編碼至位元串流中，編碼側解碼側雙方都設定成0。

圖13係變數TransformSpritDirection之值為 0之際的亮度訊號之編碼區塊往轉換區塊之分割方法的說明圖。變數TransformSpritDirection之值為0之際，首先係將編碼區塊分割成左右方向排列的4個橫長之長方形的區塊。針對被左右四分割的各個區塊，是否還要將該區塊進行上下左右4分割係在編碼側上對已被分割好的每一區塊做決定然後對表示分割與否的旗標 split_transform_flag設定一值然後以第2編碼位元列生成部113進行編碼，在解碼側上係以第2編碼位元列解碼部203將該旗標split_transform_flag予以解碼然後判斷是否將區塊進行上下左右4分割。若不分割時則旗標split_transform_flag之值係為0，該區塊就成為轉換區塊。若分割時則旗標split_transform_flag之值係為1，區塊係再次被上下左右四分割。但是，分割後之區塊若小於最小尺寸(本實施形態中係區塊之任一較小邊的尺寸是4像素)時，則不再分割。旗標split_transform_flag係不被編碼至位元串流中，編碼側解碼側雙方都設定成0。

圖14係變數TransformSpritDirection之值為 1之際的亮度訊號之編碼區塊往轉換區塊之分割方法的說明圖。變數TransformSpritDirection之值為1之際，首先係將編碼區塊分割成上下方向排列的4個縱長之長方形的區塊。針對被上下四分割的各個區塊，是否還要將該區塊進行上下左右4分割係在編碼側上對已被分割好的每一區塊做決定然後對表示分割與否的旗標split_transform_flag設定一值然後以第2編碼位元列生成部113進行編碼，在解碼側上係以第2編碼位元列解碼部203將該旗標split_transform_flag予以解碼然後判斷是否將區塊進行上下左右4分割。若不分割時則旗標split_transform_flag之值係為0，該區塊就成為轉換區塊。若分割時則旗標split_transform_flag之值係為1，區塊係再次被上下左右四分割。但是，分割後之區塊若小於最小尺寸(本實施形態中係區塊之任一較小邊的尺寸是4像素)時，則不再分割。旗標split_transform_flag係不被編碼至位元串流中，編碼側解碼側雙方都設定成0。

此外，當編碼區塊是大於所被設定之轉換區塊之最大尺寸時，則先將編碼區塊遞迴地上下左右4分割直到到達最大尺寸為止，然後隨應於變數TransformSpritDirection之值來進行使用圖12、圖13、圖14所說明之處理。

接著，說明色差訊號往轉換區塊之分割方法。在色差訊號中也是隨應於變數TransformSpritDirection，而將編碼區塊予以分割。但是，像是亮度訊號，並不是使用旗標split_transform_flag來適應性地切換是否進行分割，而是隨應於變數TransformSpritDirection來決定分割方法。色差訊號相較於亮度訊號其空間方向之相關性係為較高，因此即使不適應性切換分割與否就決定分割方法，編碼效率也幾乎不會降低，因此可以謀求實裝的簡略化。又，在編碼側上將轉換區塊之分割進行決定之際，就不需要將亮度與色差一起考慮來決定是否分割，可削減處理量。此外，亦可設計成，在色差訊號中也是和亮度訊號同樣地使用變數TransformSpritDirection及旗標split_transform_flag，來將編碼區塊進行分割。關於相應於變數TransformSpritDirection的色差訊號之編碼區塊往轉換區塊之分割方法，係使用圖15、圖16、圖17來詳細說明。

首先，說明色差格式是4：2：0的情形。圖 15係色差格式為4：2：0時的色差訊號之編碼區塊的往轉換區塊之分割方法的說明圖。圖15(a)係變數TransformSpritDirection之值為2之際的色差訊號之編碼區塊往轉換區塊之分割方法的說明圖。色差格式為4：2：0且變數TransformSpritDirection之值為2之際，係不將色差訊號之編碼區塊進行分割，將色差訊號之編碼區塊直接視為轉換區塊。亦可為，分割模式(PartMode)為N×N分割(PART_NxN)之際，係將色差訊號之編碼區塊做上下左右四分割，當作色差訊號的正方形之轉換區塊。又，若採用旗標split_transform_flag，則當其值為1時，進行將色差訊號之編碼區塊做上下左右四分割，視為色差訊號的正方形之轉換區塊的處理。但是，分割後之區塊若小於所被設定之轉換區塊的最小尺寸(本實施形態中係為4×4像素)時，則不分割。

圖15(b)係變數TransformSpritDirection之值為 0之際的色差訊號之編碼區塊往轉換區塊之分割方法的說明圖。色差格式為4：2：0且變數TransformSpritDirection之值為0之際，係將色差訊號之編碼區塊分割成上下方向排列之4個寬度對高度之比率為4比1的橫長之長方形的區塊。但是，分割後之區塊若小於所被設定之轉換區塊之最小尺寸(本實施形態中係區塊之任一較小邊的尺寸是4像素)時，則不分割。

圖15(c)係變數TransformSpritDirection之值為 1之際的色差訊號之編碼區塊往轉換區塊之分割方法的說明圖。色差格式為4：2：0且變數TransformSpritDirection之值為1之際，係將色差訊號之編碼區塊分割成左右方向排列之4個寬度對高度之比率為1比4的縱長之長方形的區塊，當作轉換區塊。但是，分割後之區塊若小於所被設定之轉換區塊之最小尺寸(本實施形態中係區塊之任一較小邊的尺寸是4像素)時，則不分割。

接著，說明色差格式是4：2：2的情形。圖 16係色差格式為4：2：2時的色差訊號之編碼區塊的分割方法的說明圖。圖16(a)係變數TransformSpritDirection之值為2之際的色差訊號之編碼區塊的分割方法的說明圖。色差格式為4：2：2且變數TransformSpritDirection之值為2之際，係將色差訊號之編碼區塊分割成上下排列之2個正方形的區塊，當作轉換區塊。藉由分割成正方形的轉換區塊，就可以用與亮度訊號或色差格式是4：2：0時的色差訊號中所使用之轉換區塊相同形狀、尺寸的轉換區塊單位，來進行正交轉換。亦可為，分割模式(PartMode)為N×N分割(PART_NxN)之際，係將色差訊號之編碼區塊做上下左右四分割而得之色差訊號的寬度對高度之比率為1比2的縱長之長方形的區塊再予以分割成上下排列之2個正方形的區塊，當作轉換區塊。又，亦可為，若採用旗標split_transform_flag，則當其值為1時，係將色差訊號之編碼區塊做上下左右四分割而得之色差訊號的寬度對高度之比率為1比2的縱長之長方形的區塊再予以分割成上下排列之2個正方形的區塊，當作轉換區塊。但是，分割後之區塊若小於所被設定之轉換區塊之最小尺寸(本實施形態中係區塊之任一較小邊的尺寸是4像素)時，則不分割。此外，亦可如圖17(a)所示，不分割而準備寬度對高度之比率是1比2的縱長之長方形的轉換區塊單位的正交轉換處理，將色差訊號之編碼區塊直接視為轉換區塊。又，亦可為，分割模式(PartMode)為N×N分割(PART_NxN)之際，係將色差訊號之編碼區塊做上下左右四分割，視為色差訊號的寬度對高度之比率為1比2的縱長之長方形的轉換區塊。又，若採用旗標split_transform_flag，則當其值為1時，進行將色差訊號之編碼區塊做上下左右四分割，視為色差訊號的寬度對高度之比率為1比2的縱長之長方形之轉換區塊的處理。但是，分割後之區塊若小於所被設定之轉換區塊之最小尺寸(本實施形態中係區塊之任一較小邊的尺寸是4像素)時，則不分割。

圖16(b)係變數TransformSpritDirection之值為0之際的色差訊號之編碼區塊的分割方法的說明圖。色差格式為4：2：2且變數TransformSpritDirection之值為0之際，也是將色差訊號之編碼區塊分割成上下排列之2個正方形的區塊，當作轉換區塊。藉由分割成正方形的轉換區塊，就可以用與亮度訊號或色差格式是4：2：0時的色差訊號中所使用之轉換區塊相同形狀、尺寸的轉換區塊單位，來進行正交轉換。此外，在色差格式為4：2：2時，係以正方形的轉換區塊單位，進行正交轉換，藉此，當水平方向之相關性比垂直方向還高時，就可促使編碼效率提升。這是因為，色差格式為4：2：2時，相對於亮度訊號，色差訊號係在水平方向上以1/2而被取樣化(取樣)。此外，亦可如圖17(b)所示，準備寬度對高度之比率是2比1的橫長之長方形的轉換區塊單位的正交轉換處理，將色差訊號之編碼區塊分割成上下方向排列之4個橫長之長方形的區塊，當作轉換區塊。若採用旗標split_transform_flag，則當其值為1時，進行該處理。但是，圖16(b)、圖17(b)都是分割後之區塊若小於所被設定之轉換區塊之最小尺寸(本實施形態中係區塊之任一較小邊的尺寸是4像素)時，則不分割。

圖16(c)係變數TransformSpritDirection之值為1之際的色差訊號之編碼區塊的分割方法的說明圖。色差格式為4：2：2且變數TransformSpritDirection之值為1之際，係將色差訊號之編碼區塊分割成左右排列之2個寬度對高度之比率為1比4的縱長之長方形的區塊，當作轉換區塊。藉由分割成寬度對高度之比率為1比4的縱長之長方形的轉換區塊，就可以用與亮度訊號或色差格式是4：2：0時的色差訊號中所使用之轉換區塊相同形狀、尺寸的轉換區塊單位，來進行正交轉換。此外，以縱長之長方形的轉換區塊單位，進行正交轉換，藉此，當垂直方向之相關性比水平方向還高時，就可促使編碼效率提升。此外，亦可如圖17(c)所示，準備寬度對高度之比率是1比8的縱長之長方形的轉換區塊單位的正交轉換處理，將色差訊號之編碼區塊分割成左右方向排列之4個縱長之長方形的區塊，當作轉換區塊。若採用旗標split_transform_flag，則當其值為1時，進行該處理。但是，圖16(c)、圖17(c)都是分割後之區塊若小於所被設定之轉換區塊之最小尺寸(本實施形態中係區塊之任一較小邊的尺寸是4像素)時，則不分割。

此外，當編碼區塊是大於所被設定之轉換區塊之最大尺寸時，則先將編碼區塊遞迴地上下左右4分割直到到達最大尺寸為止，然後隨應於變數TransformSpritDirection之值及色差格式來進行使用圖15、圖16、圖17所說明之處理。又，於上述的實施形態中係說明了，藉由變數TransformSpritDirection來切換3種類之分割方法。另一方面，亦可只使用這3種分割方法的其中1者來進行處理。例如，亦可只用TransformSpritDirection之值為2的分割方法來實現。此時，不將變數TransformSpritDirection進行編碼及解碼，而是進行前記TransformSpritDirection之值為2的處理。

以上說明的編碼區塊往轉換區塊之分割處理，係在編碼側上，以圖1之編碼方法決定部105來決定編碼方法的過程中，會被實施。在解碼側中係在圖2的逆量化．逆正交轉換部208中被實施。在編碼側中係以編碼方法決定部105來決定編碼區塊往轉換區塊之分割方法，以相應於該決定之分割方法而將編碼區塊分割成轉換區塊，導出各轉換區塊的形狀、尺寸、位置，在正交轉換．量化部107中以轉換區塊單位進行正交轉換及量化，在逆量化．逆正交轉換部108中進行逆量化及逆正交轉換。另一方面，在解碼側係在逆量化．逆正交轉換部208中藉由編碼區塊往轉換區塊之分割處理而導出各轉換區塊的形狀、尺寸、位置，以所被導出之轉換區塊單位來進行逆量化及逆正交轉換。

以上所述的實施形態的影像編碼裝置所輸出的動態影像的編碼串流，係為了可隨著實施形態中所使用之編碼方法來進行解碼，而具有特定的資料格式，對應於影像編碼裝置的影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。

影像編碼裝置與影像解碼裝置之間為了收授編碼串流，而使用有線或無線網路的情況下，可將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將影像編碼裝置所輸出之編碼串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至影像解碼裝置的影像收訊裝置。

影像送訊裝置，係含有：將影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。影像收訊裝置，係含有：將已被封包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給影像解碼裝置的封包處理部。

以上的關於編碼及解碼之處理，係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。

以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範圍，而能被當業者所理解。

[產業上利用之可能性]

本發明係可利用於，利用正交轉換的影像編碼及解碼技術。