JPWO2019077751A1 - 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム - Google Patents

Abstract

動画像符号化装置は、符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックを四分木構造に従って４分割するか、あるいはピクチャ端ブロックに含まれる符号化対象ピクチャの端部と直交する方向に２分割して、ピクチャ端ブロックを複数のサブブロックに分割する分割パターン判定部と、各サブブロックについて、符号化済みの他のピクチャあるいは符号化対象ピクチャの符号化済みの領域を参照して予測ブロックを生成する予測ブロック生成部と、各サブブロックについて、そのサブブロックと対応する予測ブロックの対応画素間の予測誤差を算出し、予測誤差を符号化する符号化部と、ピクチャ端ブロックについて４分割されたか２分割されたかを表す分割情報を、符号化された動画像データに付加する付加部とを有する。

Description

本発明は、例えば、動画像データを符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム、ならびに、符号化された動画像データを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化標準として、Advanced Video Coding（MPEG-4 AVC|ITU-T H.264）及びHigh Efficiency Video Coding（HEVC|ITU-T H.265）が策定されている（例えば、非特許文献１を参照）。

このような符号化標準では、符号化対象のピクチャはブロックごとに分割される。そして符号化対象となるブロックごとに、既に符号化された他のピクチャまたは符号化対象ピクチャの符号化済みの領域から予測ブロックが生成され、符号化対象となるブロックと予測ブロック間の差分を符号化することで冗長性が削減される。

例えば、HEVCでは、動画像データに含まれる各ピクチャは複数の段階で分割される。そこで先ず、HEVCにおける、ピクチャの分割について説明する。

図１は、HEVCによる、ピクチャの分割の一例を示す図である。図１に示されるように、ピクチャ１００は、符号化処理の単位であるCoding Tree Unit(CTU)(あるは、Largest Coding Unit(LCU)とも呼ばれる)単位で分割される。各CTU１０１は、ラスタスキャン順に符号化される。CTU１０１のサイズは、64x64〜16x16画素の中から選択できる。

CTU１０１は、さらに、四分木構造で複数のCoding Unit（CU）１０２に分割される。一つのCTU１０１内の各CU１０２は、Zスキャン順に符号化される。CU１０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU１０２は、符号化モードであるイントラ予測符号化方式とインター予測符号化方式を選択する単位となる。なお、イントラ予測符号化方式は、符号化対象ピクチャの符号化済みの領域を参照して予測ブロックを生成する符号化方式である。また、インター予測符号化方式は、既に符号化された他のピクチャを復号して得られる参照ピクチャ（局所復号ピクチャとも呼ばれる）を参照して予測ブロックを生成する符号化方式である。

CU１０２は、Prediction Unit（PU）１０３単位またはTransform Unit（TU）１０４単位で個別に処理される。PU１０３は、符号化モードに応じた予測が行われる、予測ブロックの生成単位となる。例えば、PU１０３は、イントラ予測符号化方式では、予測ブロックの生成の際に参照される画素及び予測ブロックの生成方法を規定する予測モードが適用される単位となる。一方、インター予測符号化方式では、PU１０３は、動き補償を行う単位となる。PU１０３のサイズは、例えば、インター予測符号化方式が適用される場合、2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2N（Nは、CUサイズ/2）の中から選択可能である。一方、TU１０４は、直交変換の単位であり、TUごとに直交変換される。TU１０４のサイズは、4x4画素〜32x32画素の中から選択される。TU１０４は、四分木構造で分割され、Zスキャン順に処理される。

なお、CTUは、ピクチャを分割して得られるブロックの一例である。またCUは、ブロックの他の一例である。さらに、CUは、ブロックを分割して得られるサブブロックの一例でもある。

HEVCでは、CUが正方形となるようにCTUは分割される。しかし、ピクチャの水平方向のサイズまたは垂直方向のサイズが、CTUの水平方向または垂直方向のサイズの整数倍でない場合、右端または下端のCTUでは、そのCTU内にピクチャ端が含まれることになる。この場合、ピクチャ外の情報が含まれないようにそのCTUを符号化するためには、CU間の境界とピクチャ端とが一致するように、すなわち、何れかのCU内にピクチャ端が含まれないように、そのCTUは分割されることが好ましい。しかし、何れかのCU内にピクチャ端が含まれないようにCTUを分割するためには、CUのサイズを小さくして、CTU内に含まれるCUの数を増やすことが求められることがある。このような場合、CTUの符号化データに含まれるシンタックスの情報が増加して符号化効率が低下することがある。

一方、より符号化効率を向上するために、CTUが四分木構造で複数のサブブロックに分割された後、個々のサブブロックを二分木構造でさらに分割することで個々のCUを決定することが提案されている（例えば、非特許文献２を参照）。この場合、CUは、長方形となることがある。

しかし、上記のように二分木構造が適用される場合でも、既に正方形状に分割されたサブブロック同士が連結されることは無いので、ピクチャ端を含むCTUについては、CUのサイズが大きくなるように、CTUを分割できないことがある。

また、マクロブロックサイズ未満のサイズとなるエッジブロックを判別する技術が提案されている。この技術では、エッジブロックと判別された非正方領域のサイズ、またはエッジブロックを水平方向と垂直方向の何れか一方の方向に分割して得られる複数の非正方領域のサイズのうち、符号化効率が高い方のサイズが検出される（例えば、特許文献１を参照）。

特開２０１１−２２３３０３号公報

ITU-T Recommendation H.265 | ISO/IEC 23008-2 "High Efficiency Video Coding"、2013年4月 J.An他、 "Block partitioning structure for next generation video coding"、ITU-T SG16 Doc. COM16-C966、2015年9月

しかしながら、動画像符号化装置は、エッジブロックを非正方領域として符号化する場合でも、エッジブロックの分割パターンを表すシンタックスを符号化動画像データに含めることになる。そのため、非正方領域であるエッジブロックの分割パターンの種類が増えるほど、符号量が増加し、その結果として、符号化効率が低下する。

一つの側面では、本発明は、ピクチャ端が符号化処理の単位となるブロック内に含まれる場合でも、符号化効率を向上できる動画像符号化装置を提供することを目的とする。

一つの実施形態によれば、動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックを四分木構造に従って４分割するか、あるいはピクチャ端ブロックに含まれる符号化対象ピクチャの端部と直交する方向に２分割することで、何れのサブブロックにも符号化対象ピクチャの端部が含まれないように、ピクチャ端ブロックを複数のサブブロックに分割する分割パターン判定部と、複数のサブブロックのそれぞれについて、符号化済みの他のピクチャあるいは符号化対象ピクチャの符号化済みの領域を参照して予測ブロックを生成する予測ブロック生成部と、複数のサブブロックのそれぞれについて、そのサブブロックと対応する予測ブロックの対応画素間の予測誤差を算出し、予測誤差を符号化する符号化部と、ピクチャ端ブロックについて４分割されたか２分割されたかを表す分割情報を、符号化された動画像データに付加する付加部とを有する。

また他の実施形態によれば、符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号装置が提供される。この動画像復号装置は、復号対象ピクチャを分割して得られる複数のブロックのうち、復号対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックが四分木構造に従って４分割されたか、あるいは２分割されたかを表す、符号化された動画像データに含まれる分割情報を参照して、ピクチャ端ブロックを四分木構造に従って４分割するか、あるいはピクチャ端ブロックに含まれる復号対象ピクチャの端部と直交する方向に２分割することで、何れのサブブロックにも復号対象ピクチャの端部が含まれないように、ピクチャ端ブロックを複数のサブブロックに分割する分割パターン判定部と、複数のサブブロックのそれぞれについて、復号済みの他のピクチャあるいは復号対象ピクチャの復号済みの領域を参照して予測ブロックを生成する予測ブロック生成部と、複数のサブブロックのそれぞれについて、符号化された動画像データに含まれる、そのサブブロックと対応する予測ブロックの対応画素間の予測誤差に、予測ブロックの対応画素の値を加算することでピクチャ端ブロックを復号する復号部とを有する。

一つの側面では、本明細書に開示された動画像符号化装置は、ピクチャ端が符号化処理の単位となるブロック内に含まれる場合でも、符号化効率を向上できる。

図１は、HEVCによる、ピクチャの分割の一例を示す図である。 図２は、ピクチャ端を含むCTUの分割の一例を示す図である。 図３は、一つの実施形態に係る動画像符号化装置の概略構成図である。 図４は、ピクチャの下端を含むCTUの分割の一例を示す図である。 図５は、ピクチャの右端を含むCTUの分割の一例を示す図である。 図６は、ピクチャの下端と右端の両方を含むCTUの分割の一例を示す図である。 図７は、符号化モード判定部による、分割パターン及び符号化モード判定処理の動作フローチャートである。 図８は、動画像符号化処理の動作フローチャートである。 図９は、動画像復号装置の概略構成図である。 図１０は、分割パターン判定部による、分割パターン判定処理の動作フローチャートである。 図１１は、動画像復号処理の動作フローチャートである。 図１２は、実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、動画像符号化装置について説明する。
最初に、ピクチャ端を含むCTUの分割について説明する。

図２は、ピクチャ端を含むCTUの分割の一例を示す図である。この例では、ピクチャ２００の水平方向サイズ及び垂直方向サイズの何れも、CTUサイズの整数倍でないため、ピクチャ２００の右端及び下端のそれぞれは、右端または下端のCTU内に含まれる。このうち、ピクチャ２００の下端を含むCTU２０１に着目すると、分割パターン２１０に示されるように、CTU２０１は、何れのCU２０２にもピクチャ端２２０が含まれないように分割される。その際、四分木構造を用いて、ピクチャ端２２０とCU２０２同士の境界とが一致するようCTU２０１を分割するために、CTU２０１の1/4のサイズのCU２０２が用いられることとなる。その結果として、この例では、CTU２０１は、６個のCU２０２で分割されることになる。また、四分木構造を用いてCTU２０１を分割した後に、二分木構造を用いてさららに各CU２０２を分割するとしても、より多くのCUを用いてCTU２０１が分割されることになる。

一方、ピクチャ端が含まれるCTU２０１を、最初から二分木構造を適用して分割する場合には、分割パターン２１１に示されるような、正方形でないCU２０３を用いてCTU２０１を分割することが可能となる。しかし、四分木構造を適用してCTUを複数のサブブロックに分割してから個々のサブブロックに二分木構造を適用する従来技術では、CTU２０１は、先ず、正方形状のサブブロックに分割される。そのため、CTU２０１を、分割パターン２１１のように分割することは許可されない。

そこで、本実施形態では、動画像符号化装置は、ピクチャの右端及び下端の何れか一方が含まれるブロックを、四分木構造のサブブロック（正方形）と二分木構造のサブブロック（長方形）のうち、符号化コストが低い方のサブブロックを用いて分割する。そしてこの動画像符号化装置は、ピクチャ端を含むブロックについて、四分木構造が適用されたか二分木構造が適用されたかを表すシンタックスを符号化動画像データに付加する。

また、図２に示されるように、ピクチャの下端が含まれるブロックに二分木構造を適用してそのブロックを複数のサブブロックに分割する場合、サブブロックの数を少なくするためには、そのブロックをピクチャ端と直交する方向に沿って分割することが好ましい。すなわち、ピクチャの下端が含まれるブロックは、サブブロック間の境界線がピクチャ端と平行となるように分割されることが好ましい。したがって、ピクチャの下端が含まれるブロックは、サブブロック間の境界線が水平となるように、垂直方向に沿って分割されることが好ましい。同様に、ピクチャの右端が含まれるブロックに二分木構造を適用する場合、そのブロックは、サブブロック間の境界線が垂直となるように、水平方向に沿って分割されることが好ましい。そのため、動画像符号化装置は、二分木構造が適用されるブロックについての分割方向は符号化動画像データに含めなくてよい。また、動画像符号化装置は、ピクチャの下端と右端の両方を含むブロックについては、四分木構造を適用して分割する。

なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。

また本実施形態では、動画像符号化装置は、HEVCのように、ピクチャをCTU単位で分割して、CTU単位で符号化するものとする。しかし、動画像符号化装置は、ピクチャを複数のブロックに分割してブロックごとに符号化する他の符号化標準に準拠して動画像データを符号化してもよい。

図３は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、動き探索部１１と、符号化モード判定部１２と、予測ブロック生成部１３と、予測符号化部１４と、復号部１５と、記憶部１６と、エントロピー符号化部１７とを有する。

動画像符号化装置１は、符号化対象のピクチャについて、各CTUをラスタスキャン順に符号化する。そこで、以下では、動画像符号化装置１の各部について、一つのCTUに対する処理を例として説明する。

動き探索部１１は、符号化対象CTUを含む符号化対象ピクチャがインター予測符号化方式が適用可能なPピクチャまたはBピクチャである場合、符号化対象CTUについて適用可能なPUごとに動きベクトルを算出する。なお、輝度成分は、第１の成分の一例である。また、符号化対象ピクチャの種別は、例えば、制御部（図示せず）が符号化対象の動画像データに適用するGroup Of Pictures(GOP)の構造及び符号化対象ピクチャのGOP内での位置に基づいて決定される。

動き探索部１１は、符号化対象CTUの着目するPUについて、少なくとも一つの局所復号ピクチャのそれぞれについての参照可能な領域に対してブロックマッチングを行って、着目するPUと最も一致する参照ブロックを特定する。そして動き探索部１１は、着目するPUと参照ブロック間の移動量を表すベクトルを動きベクトルとして算出する。なお、動き探索部１１は、符号化対象ピクチャが双方向予測符号化モードを適用可能なBピクチャである場合、L0予測とL1予測の両方について動きベクトルを算出する。動き探索部１１は、各PUの動きベクトル及びその動きベクトルで参照される局所復号ピクチャを表す情報を、記憶部１６に記憶するとともに、符号化モード判定部１２へ通知する。

符号化モード判定部１２は、分割パターン判定部の一例であり、符号化対象CTUを分割するCU、PU及びTUの分割パターン及びCUごとに適用される符号化モードを決定する。符号化モード判定部１２は、例えば、図示しない制御部から取得した、符号化対象CTUが含まれる符号化対象のピクチャのタイプを示す情報に基づいて、そのCTUに適用可能な符号化モードを決定する。そして符号化モード判定部１２は、適用可能な符号化モードの中から、実際に適用する符号化モードを選択する。符号化対象のピクチャのタイプがイントラ予測符号化方式のみが適用可能なIピクチャであれば、符号化モード判定部１２は、適用される符号化モードとしてイントラ予測符号化方式を選択する。また、符号化対象のピクチャのタイプが、PピクチャまたはBピクチャであれば、符号化モード判定部１２は、例えば、適用される符号化モードとして、インター予測符号化方式及びイントラ予測符号化方式の何れかを選択する。

符号化モード判定部１２は、適用可能な符号化モードについての符号化対象CTUの符号化されたデータ量の評価値である符号化コストをCU単位でそれぞれ算出する。例えば、符号化モード判定部１２は、インター予測符号化方式については、CTUを分割するCU分割パターン、PU分割パターン及び動きベクトルの予測ベクトルの生成方法を規定するベクトルモードの組み合わせごとに符号化コストを算出する。なお、符号化モード判定部１２は、ベクトルモードとして、例えば、Adaptive Motion Vector Prediction(AMVP)モード、及び、Mergeモードの何れかを利用できる。

また、イントラ予測符号化方式については、符号化モード判定部１２は、CTUを分割するCU分割パターン、PU分割パターン及びピクチャ内での参照方向を規定する予測モードの組み合わせごとに符号化コストを算出する。

符号化モード判定部１２は、符号化コストを算出するために、例えば、着目するPUについて、次式に従って、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは着目するPUに含まれる画素の値であり、PredPixelは着目するブロックに対応する、符号化コストの算出対象となる符号化モードに従って生成された予測ブロックに含まれる画素の値である。

そして符号化モード判定部１２は、例えば、次式に従って、着目するCUについての符号化コストCostを算出する。
Cost=ΣSAD + λ*B
ここで、ΣSADは、着目するCUに含まれる各PUについて算出されたSADの総和である。またBは、動きベクトル、予測モードを表すフラグなど、予測誤差以外の項目についての符号量の推定値である。そしてλはラグランジュの未定乗数である。

なお、符号化モード判定部１２は、SADの代わりに、着目するPUと予測ブロックとの差分画像をアダマール変換した後の各画素のアダマール係数の絶対値和SATDを算出してもよい。

符号化モード判定部１２は、符号化対象CTUについて、例えば、取り得るCUサイズの中でサイズが大きい方から順に着目するCUを設定する。そして符号化モード判定部１２は、着目するCUについて、イントラ予測符号化方式に関してそのCU内のPU分割パターンごとにコストが最小となる予測モードを選択する。また、符号化モード判定部１２は、着目するCUについて、インター予測符号化方式に関してそのCU内のPU分割パターンごとにコストが最小となるベクトルモードを選択する。さらに、符号化モード判定部１２は、同サイズのCUごとに、イントラ予測符号化方式とインター予測符号化方式のうちで、符号化コストが小さい方を、そのCUについて適用する符号化モードとして選択する。

さらに、符号化モード判定部１２は、着目するCUにピクチャ端が含まれない場合、着目するCUを四分木構造に従って４分割したCUのそれぞれを、次に着目するCUとして、同様の処理を実行して、最小符号化コストを算出する。そして符号化モード判定部１２は、分割したCUのそれぞれについて算出された、最小符号化コストの総和が、着目するCUについての最小符号化コストよりも小さければ、着目するCUを四分木構造に従って４分割する。符号化モード判定部１２は、各CUが分割されなくなるまで、上記の処理を繰り返すことで、符号化対象CTUに適用されるCU分割パターン及びPU分割パターンを決定する。

また、着目するCTUまたはCU（以下、着目するブロックと呼ぶ）がピクチャの右端及び下端の両方を含む場合、符号化モード判定部１２は、着目するブロックを四分木構造に従って４分割する。これは、着目するブロック内にピクチャの右端と下端の両方が含まれる場合、ピクチャの右端と下端の両方が何れのCUにも含まれないようにするためには、着目するブロックを水平方向と垂直方向の両方について分割することが求められるためである。

さらに、着目するブロックがピクチャの右端を含み、かつ、ピクチャの下端を含まない場合、符号化モード判定部１２は、着目するブロックを四分木構造に従って４個のサブブロックに分割する。さらに、符号化モード判定部１２は、着目するブロックを二分木構造に従って水平方向に２個のサブブロックに分割する。同様に、着目するブロックがピクチャの下端を含み、かつ、ピクチャの右端を含まない場合、符号化モード判定部１２は、着目するブロックを四分木構造に従って４個のサブブロックに分割し、かつ、着目するブロックを垂直方向に２個のサブブロックに分割する。

なお、着目するブロックを分割して得られた何れかのサブブロックに、ピクチャ端が含まれる場合、符号化モード判定部１２は、上記のように、ピクチャ端を含むサブブロックをさらに４分割または２分割する。符号化モード判定部１２は、何れのサブブロックにもピクチャ端が含まれなくなるまで、上記の処理を繰り返す。

ただし、符号化モード判定部１２は、一旦二分木構造が適用され、かつ、水平方向に沿って分割されたブロックについては、そのブロックを分割して得られる各サブブロックのうち、ピクチャ端を含むものについても、二分木構造に従って、かつ、水平方向に沿って分割する。同様に、符号化モード判定部１２は、一旦二分木構造が適用され、かつ、垂直方向に沿って分割されたブロックのうち、ピクチャ端を含むものについては、そのブロックを分割して得られる各サブブロックについても、二分木構造に従って、かつ、垂直方向に沿って分割する。

符号化モード判定部１２は、得られたサブブロックの組み合わせごとに、上記と同様の処理を行って符号化コストを算出する。そして符号化モード判定部１２は、符号化コストが最小となるサブブロックの組み合わせを選択し、選択した組み合わせに含まれる個々のサブブロックをそれぞれ一つのCUとすればよい。

図４は、ピクチャの下端を含むCTUの分割の一例を示す図である。図４に示される例では、CTU４００に、ピクチャの下端４０１が含まれている。そのため、符号化モード判定部１２は、CTU４００に四分木構造を適用して、４個の正方形のCU４１０−１〜４１０−４に分割するか、二分木構造を適用して、垂直方向に２個のCU４２０−１、４２０−２に分割する。そして符号化モード判定部１２は、CU４１０−１及びCU４１０−２については、ピクチャの下端４０１が含まれないので、四分木構造に従ってさらに４分割してもよい。符号化モード判定部１２は、CU４１０−１及びCU４１０−２を４分割するか否かを、符号化コストに基づいて決定すればよい。また、符号化モード判定部１２は、CU４１０−３及びCU４１０−４については、ピクチャの下端４０１が含まれるので、四分木構造に従って４分割するか、あるいは、二分木構造に従って垂直方向に２分割する。

符号化モード判定部１２は、ピクチャの下端４０１が含まれないCU４２０−１についても、二分木構造に従ってさらに垂直方向に２分割してもよい。符号化モード判定部１２は、CU４２０−１を２分割するか否かは、符号化コストに基づいて決定すればよい。また、符号化モード判定部１２は、ピクチャの下端４０１が含まれるCU４２０−２については、二分木構造に従ってさらに垂直方向に、CU４２１−１とCU４２１−２とに２分割する。

最終的に、全てのCUにピクチャの下端４０１が含まれなくなったときのCUの組み合わせのそれぞれについて、CUごとに算出される符号化コストの合計が算出され、その合計が最小となるCUの組み合わせに従って、CTU４００は分割される。例えば、CU４２０−１とCU４２１−１の組み合わせについての符号化コストの合計が最小となる場合、CTU４０１は、CU４２０−１とCU４２１−１とに分割される。そして符号化モード判定部１２は、CTUまたはCUを分割する度に、そのCTUまたはCUに対して四分木構造と二分木構造の何れが適用されたかを表すシンタックスを生成し、そのシンタックスをエントロピー符号化部１７へ通知する。なお、四分木構造と二分木構造の何れが適用されたかを表すシンタックスは、分割情報の一例である。ただし、二分木構造を適用して得られたCUについては、そのCUがさらに分割される場合でも、四分木構造は適用されないので、四分木構造と二分木構造の何れが適用されたかを表すシンタックスは生成されなくてよい。

図５は、ピクチャの右端を含むCTUの分割の一例を示す図である。図５に示される例では、CTU５００に、ピクチャの右端５０１が含まれている。そのため、符号化モード判定部１２は、CTU５００に四分木構造を適用して、４個の正方形のCU５１０−１〜５１０−４に分割するか、二分木構造を適用して、水平方向に２個のCU５２０−１、５２０−２に分割する。そして符号化モード判定部１２は、CU５１０−１及びCU５１０−３については、ピクチャの右端５０１が含まれないので、四分木構造に従ってさらに４分割してもよい。符号化モード判定部１２は、CU５１０−１及びCU５１０−３を４分割するか否かを、符号化コストに基づいて決定すればよい。また、符号化モード判定部１２は、CU５１０−２及びCU５１０−４については、ピクチャの右端５０１が含まれるので、四分木構造に従って４分割するか、あるいは、二分木構造に従って水平方向に２分割する。また、符号化モード判定部１２は、ピクチャの右端５０１が含まれるCU５２０−２については、二分木構造に従ってさらに水平方向に、CU５２１−１とCU５２１−２とに２分割する。

最終的に、全てのCUにピクチャの右端５０１が含まれなくなったときのCUの組み合わせのそれぞれについて、CUごとに算出される符号化コストの合計が算出され、その合計が最小となるCUの組み合わせに従って、CTU５００は分割される。

図６は、ピクチャの下端と右端の両方を含むCTUの分割の一例を示す図である。図６に示される例では、CTU６００に、ピクチャの右端６０１とピクチャの下端６０２とが含まれている。そのため、符号化モード判定部１２は、CTU６００に四分木構造を適用して、４個の正方形のCU６１０−１〜６１０−４に分割する。そして符号化モード判定部１２は、CU６１０−１については、ピクチャの右端６０１及びピクチャの下端６０２の両方が含まれないので、四分木構造に従ってさらに４分割してもよい。符号化モード判定部１２は、CU６１０−１を４分割するか否かは、符号化コストに基づいて決定すればよい。また、符号化モード判定部１２は、CU６１０−３については、ピクチャの下端６０２が含まれるので、ピクチャの下端６０２がCU内に含まれなくなるまで、図４に示されるCTU４００と同様に、四分木構造または二分木構造に従って分割を繰り返せばよい。なお、CU６１０−２及びCU６１０−４にはピクチャが含まれないので、CU６１０−２及びCU６１０−４は無視される。

さらに、符号化モード判定部１２は、上記のようにして決定したCU分割パターンに従ったCUごとに、TU分割パターンを決定する。その際、符号化モード判定部１２は、適用可能なTU分割パターンごとに、次式に従ってRDコストCostを算出する。

ここで、org(i)は、着目するCUに含まれる画素の値であり、ldec(i)は、着目するTU分割パターンを用いてそのCUを符号化し、さらに復号して得られる復号画素の値を表す。またbitは、そのCUを着目するTU分割パターンを用いて符号化したときの符号量を表す。（１）式の右辺の第一項は、符号化歪みを表し、右辺の第二項は符号量を表す。そのため、RDコストが最小となるTU分割パターンでは、符号化歪みと符号量が最適なバランスとなっている。
そこで、符号化モード判定部１２は、RDコストCostが最小となるTU分割パターンを選択する。

符号化モード判定部１２は、符号化対象CTUについて選択したCU及びPUの分割パターン及び符号化モードの組み合わせを予測ブロック生成部１３に通知し、TU分割パターンを予測符号化部１４へ通知する。また符号化モード判定部１２は、符号化対象CTUについて選択したCU、PU及びTUの分割パターン及び符号化モードの組み合わせを記憶部１６に保存する。なお、CTUを個々のCUに分割する分割パターンを表す情報は、例えば、CTUを再帰的に分割して得られる個々のサブブロックについて、分割されたか否かを表す情報を含む。さらに、符号化モード判定部１２は、ピクチャ端を含むCTUと、そのCTUを再帰的に分割して得られる個々のサブブロックのうち、ピクチャ端を含むサブブロックについて、４分木構造が適用されたか二分木構造が適用されたかを表すシンタックスを生成する。そして符号化モード判定部１２は、そのシンタックスをエントロピー符号化部１７へわたす。

図７は、符号化モード判定部１２による、分割パターン及び符号化モード判定処理の動作フローチャートである。
符号化モード判定部１２は、着目するブロックにピクチャの端部が含まれるか否か判定する（ステップＳ１０１）。なお、一番最初の着目するブロックは、符号化対象CTUである。

着目するブロックにピクチャの端部が含まれない場合（ステップＳ１０１−Ｎｏ）、符号化モード判定部１２は、符号化コストが最小化されるように、着目するブロックを分割する（ステップＳ１０２）。なお、着目するブロックを分割しない方が符号化コストが小さい場合、着目するブロックはそれ以上分割されなくてもよい。一方、着目するブロックにピクチャの端部が含まれる場合（ステップＳ１０１−Ｙｅｓ）、符号化モード判定部１２は、着目するブロックにピクチャの右端と下端の両方が含まれるか否か判定する（ステップＳ１０３）。

着目するブロックにピクチャの右端と下端の両方が含まれる場合（ステップＳ１０３−Ｙｅｓ）、符号化モード判定部１２は、着目するブロックを四分木構造に従って４分割する（ステップＳ１０４）。一方、着目するブロックに含まれるピクチャ端がピクチャの右端または下端の何れか一方である場合（ステップＳ１０３−Ｎｏ）、符号化モード判定部１２は、着目するブロックを含むブロックは２分割されたか否か判定する（ステップＳ１０５）。

着目するブロックを含むブロックが２分割されている場合（ステップＳ１０５−Ｙｅｓ）、符号化モード判定部１２は、着目するブロックも２個のサブブロックに分割する（ステップＳ１０６）。その際、符号化モード判定部１２は、着目するブロックを含むブロックについての分割方向と同じ方向に沿って、着目するブロックも分割すればよい。

一方、着目するブロックを含むブロックが２分割されていない場合（ステップＳ１０５−Ｎｏ）、符号化モード判定部１２は、着目するブロックを４分割して正方形の４個のサブブロックを生成する。さらに、符号化モード判定部１２は、着目するブロックをピクチャ端と直交する方向に沿って２分割して長方形の２個のサブブロックを生成する（ステップＳ１０７）。

ステップＳ１０２、Ｓ１０４、Ｓ１０６またはＳ１０７の後、符号化モード判定部１２は、ピクチャ端を含むサブブロックがあるか否か判定する（ステップＳ１０８）。何れかのサブブロックにピクチャ端が含まれる場合（ステップＳ１０８−Ｙｅｓ）、符号化モード判定部１２は、各サブブロックをそれぞれ着目するブロックに設定する（ステップＳ１０９）。そして符号化モード判定部１２は、着目するブロックごとに、ステップＳ１０１以降の処理を実行する。

一方、何れのサブブロックにもピクチャ端が含まれない場合（ステップＳ１０８−Ｎｏ）、符号化モード判定部１２は、得られたブロックの組み合わせの中から、符号化コストが最小化となる組み合わせを選択する。そして符号化モード判定部１２は、選択した組み合わせに従って、CU、PU及びTUのそれぞれの分割パターン、適用される符号化モードを決定する（ステップＳ１１０）。そして符号化モード判定部１２は、分割パターン及び符号化モード判定処理を終了する。

予測ブロック生成部１３は、符号化対象CTUについて選択されたCU及びPUの分割パターン及び符号化モードの組み合わせに従ってPUごとに予測ブロックを生成する。

例えば、着目するPUがイントラ予測符号化される場合、予測ブロック生成部１３は、そのPUについて選択された予測モードに従って参照される、そのPUの周囲の局所復号ブロック内の画素の値に基づいて予測ブロックを生成する。一方、予測ブロック生成部１３は、着目するPUがインター予測符号化される場合、記憶部１６から読み出した、そのPUについて参照される局所復号ピクチャを、そのPUについて算出された動きベクトルに基づいて動き補償することで予測ブロックを生成する。

予測ブロック生成部１３は、生成された予測ブロックを予測符号化部１４及び復号部１５へ渡す。

予測符号化部１４は、符号化対象CTUを予測符号化する。

予測符号化部１４は、符号化対象CTU内の各画素について、予測ブロックの対応画素との差分演算を実行する。そして予測符号化部１４は、符号化対象CTU内の各TUについて、その差分演算により得られたTU内の各画素に対応する差分値を、そのTUの各画素の予測誤差信号とする。

さらに、予測符号化部１４は、インター予測符号化される各PUについて、符号化モード判定部１２により適用されると判定されたベクトルモードに従ってそのPUの予測ベクトルの候補のリストを作成する。そして予測符号化部１４は、そのPUの動きベクトルと各予測ベクトルの候補間の予測誤差信号を算出する。予測符号化部１４は、インター予測符号化される各PUについて、各予測ベクトルの候補について算出された予測誤差信号に基づいて、各予測ベクトルの候補の中から予測ベクトルを決定する。そして予測符号化部１４は、各PUの動きベクトルについて、予測ベクトルの候補のリスト中で予測ベクトルを特定する情報、及び、動きベクトルと予測ベクトル間の予測誤差信号などをエントロピー符号化部１７へわたす。

また、予測符号化部１４は、符号化対象CTU内の各TUについて、そのTUの予測誤差信号を直交変換することで予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す直交変換係数を求める。例えば、予測符号化部１４は、予測誤差信号に対して、直交変換処理として離散コサイン変換(Discrete Cosine Transform, DCT)を実行することにより、直交変換係数として、DCT係数の組を得る。

そして予測符号化部１４は、符号化対象CTUにおいて、TUごとの直交変換係数を、量子化幅を指定するqp値などを含む量子化パラメータに従って量子化することにより、量子化された直交変換係数を算出する。なお、以下では、量子化された直交変換係数を、単に量子化係数と呼ぶことがある。
予測符号化部１４は、量子化された直交変換係数を復号部１５及びエントロピー符号化部１７へ出力する。

復号部１５は、符号化対象CTU内の各TUの量子化係数から、そのTUよりも後のCUなどを符号化するために参照される局所復号ブロックを生成し、その局所復号ブロックを記憶部１６に記憶する。

復号部１５は、各TUの量子化された量子化係数を逆量子化することで、量子化前の直交変換係数を復元する。例えば、復号部１５は、TUごとに、復元された直交変換係数に対して逆直交変換を行う。例えば、予測符号化部１４が直交変換としてDCTを用いている場合、復号部１５は、逆直交変換として逆DCT処理を実行する。これにより、復号部１５は、TUごとに、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号を復元する。

復号部１５は、TUごとに、そのTUの予測ブロックの各画素値に、復元された予測誤差信号を加算することで、局所復号ブロックを生成する。
復号部１５は、局所復号ブロックを生成する度に、その局所復号ブロックを記憶部１６に記憶させる。

さらに、復号部１５は、１枚のピクチャ分の局所復号ブロックを各CTUの符号化順序に従って結合することで得られる局所復号ピクチャを記憶部１６に書き込む。

記憶部１６は、復号部１５から受け取った局所復号ブロックを一時的に記憶する。記憶部１６は、動き探索部１１、符号化モード判定部１２及び予測ブロック生成部１３に、局所復号ピクチャまたは局所復号ブロックを供給する。なお、記憶部１６は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の局所復号ピクチャを記憶し、局所復号ピクチャの枚数がその所定枚数を超えると、符号化順序が古い局所復号ピクチャから順に破棄する。
さらに、記憶部１６は、インター予測符号化された局所復号ブロックのそれぞれについての動きベクトルを記憶する。さらにまた、記憶部１６は、各CTUについて選択したCU、PU及びTUの分割パターン及び符号化モードの組み合わせを記憶する。

エントロピー符号化部１７は、付加部の一例であり、符号化対象CTUの各TUの量子化係数及び各種シンタックスなどをエントロピー符号化する。またエントロピー符号化部１７は、インター予測符号化される各PUについて、予測ベクトルの候補のリスト中で予測ベクトルを特定する情報などもエントロピー符号化する。なお、シンタックスには、ピクチャ端を含むCTUについて、そのCTU及びそのCTUを再帰的に分割して得られ、かつ、ピクチャ端を含むサブブロックごとに、四分木構造と二分木構造のうちの適用された方を表すシンタックスが含まれる。

本実施形態では、エントロピー符号化部１７は、エントロピー符号化方式として、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いる。そしてエントロピー符号化部１７は、エントロピー符号化により得られたビットストリームを出力する。

エントロピー符号化部１７により出力された各CTUのビットストリームは所定の順序で結合され、HEVCで規定されるヘッダ情報などを付加することで、符号化された動画像データを含む符号化ビットストリームが得られる。動画像符号化装置１は、その符号化ビットストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶装置（図示せず）に記憶するか、あるいはその符号化ビットストリームを他の機器へ出力する。

図８は、動画像符号化装置１により実行される、動画像符号化処理の動作フローチャートである。動画像符号化装置１は、CTUごとに以下に示される動作フローチャートに従って動画像符号化処理を実行する。

動き探索部１１は、符号化対象CTU内のインター予測符号化方式を適用可能な各PUについて動きベクトルを算出する（ステップＳ２０１）。そして動き探索部１１は、各PUの動きベクトルを符号化モード判定部１２へ通知する。なお、符号化対象CTUが含まれる符号化対象ピクチャがBピクチャである場合には、L0方向及びL1方向のそれぞれについて動きベクトルを算出する。また、符号化対象ピクチャがIピクチャである場合には、ステップＳ２０１の処理は省略されてもよい。

符号化モード判定部１２は、符号化対象CTUについて、符号化コストが最小化されるように、CU、PU及びTUのそれぞれの分割パターン、適用される符号化モードを決定する（ステップＳ２０２）。そして符号化モード判定部１２は、CU及びPUの分割パターン、適用される符号化モードを予測ブロック生成部１３に通知するとともに、TU分割パターンを予測符号化部１４に通知する。また、符号化モード判定部１２は、CU、PU及びTUのそれぞれの分割パターン及び適用される符号化モードを記憶部１６に記憶する。

予測ブロック生成部１３は、決定されたCU及びPUの分割パターン、適用される符号化モードに応じて予測ブロックを生成する（ステップＳ２０３）。そして予測ブロック生成部１３は、生成した予測ブロックを予測符号化部１４及び復号部１５へわたす。

予測符号化部１４は、符号化対象CTUと予測ブロックの対応画素間の予測誤差信号を算出する（ステップＳ２０４）。そして予測符号化部１４は、各画素の予測誤差信号をTUごとに直交変換することで、TUごとに直交変換係数を算出する（ステップＳ２０５）。さらに、予測符号化部１４は、符号化対象CTUの各TUの直交変換係数を量子化して量子化係数を算出する（ステップＳ２０６）。そして予測符号化部１４は、各TUの量子化係数を復号部１５及びエントロピー符号化部１７へ出力する。

復号部１５は、符号化対象CTUの各TUについての量子化係数から予測誤差信号を復元し、復元した予測誤差信号と対応する予測ブロックとに基づいてそのCTUに対応する局所復号ブロックを生成する（ステップＳ２０７）。そして復号部１５は、局所復号ブロックを記憶部１６に記憶する。

エントロピー符号化部１７は、量子化係数及び各種シンタックスなどをエントロピー符号化する（ステップＳ２０８）。各種シンタックスには、ピクチャ端を含むCTUまたはCUについて、四分木構造及び二分木構造の何れが適用されたかを表すシンタックスも含まれる。エントロピー符号化部１７は、得られた符号化ビットストリームを出力する。そして動画像符号化装置１は、一つのCTUに対する動画像符号化処理を終了する。

以上に説明してきたように、この動画像符号化装置は、ピクチャの右端及び下端の何れか一方を含むブロックを、四分木構造及びピクチャ端と直交する方向の二分木構造のうち、符号化コストが小さい方に従って分割する。そのため、この動画像符号化装置は、ピクチャ端を含むブロックに最初から二分木構造を適用することもできるので、ピクチャ端を含むブロックが過度に細かく分割されることを防止できる。さらに、この動画像符号化装置は、ピクチャ端を含むブロックについて、四分木構造と二分木構造のうちの適用された方を表すシンタックスを符号化された動画像データに付加する。一方、二分木構造が適用されたブロックについて、分割方向を表すシンタックスは符号化された動画像データに付加されなくてよい。そのため、この動画像符号化装置は、符号化動画像データに含まれる、ピクチャ端を含むブロックの分割パターンを表す情報の符号量を削減できる。したがって、この動画像符号化装置は、ピクチャ端がブロック内に含まれる場合でも、符号化効率を向上できる。

図９は、上記の実施形態による動画像符号化装置により符号化された動画像データを復号する動画像復号装置の概略構成図である。動画像復号装置２は、エントロピー復号部２１と、分割パターン判定部２２と、予測ブロック生成部２３と、復号部２４と、記憶部２５とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像復号装置２が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像復号装置２に実装されてもよい。さらに、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

動画像復号装置２は、符号化された動画像データを含む符号化ビットストリームを、例えば、通信ネットワーク及び動画像復号装置２を通信ネットワークに接続するためのインターフェース回路を介して取得する。そして動画像復号装置２は、その符号化ビットストリームを、図示しないバッファメモリに記憶させる。動画像復号装置２は、符号化されたデータを、CTU単位でバッファメモリから読み出し、そのCTU単位のデータをエントロピー復号部２１へ入力する。

エントロピー復号部２１は、CTU単位で符号化されているデータをエントロピー復号する。そしてエントロピー復号部２１は、CTU内の各TUの量子化係数を復号する。またエントロピー復号部２１は、インター予測符号化されている各CUについて、そのCUに含まれる各PUについて動きベクトルを特定する情報（例えば、適用されるベクトルモード及び動きベクトルの予測ベクトルを表す情報など）をエントロピー復号する。さらに、エントロピー復号部２１は、イントラ予測符号化されている各CUについて、そのCUに含まれる各PUについての予測モードをエントロピー復号する。さらに、エントロピー復号部２１は、適用された分割パターン及び符号化モードを含む、各種シンタックスをエントロピー復号する。そしてエントロピー復号部２１は、CU、PU及びTUの分割パターンを表すシンタックスを分割パターン判定部２２及び予測ブロック生成部２３へわたす。さらに、エントロピー復号部２１は、ピクチャ端を含むCTUと、そのCTUを再帰的に分割して得られ、かつ、ピクチャ端を含むサブブロックのそれぞれについて、四分木構造及び二分木構造の何れが適用されたかを表すシンタックスを分割パターン判定部２２へわたす。またエントロピー復号部２１は、その他の各種シンタックスなどを予測ブロック生成部２３へわたす。さらに、エントロピー復号部２１は、量子化係数を復号部２４へ渡す。

分割パターン判定部２２は、復号対象CTUについて、CUごとに分割する。その際、分割パターン判定部２２は、復号対象CTUにピクチャ端が含まれない場合、エントロピー復号部２１により復号された、復号対象CTUについての分割パターンを表すシンタックスを参照して、復号対象CTUをCUごとに分割すればよい。

一方、分割パターン判定部２２は、復号対象CTUがピクチャの右端及び下端のうちの何れか一方を含む場合、四分木構造と二分木構造の何れが適用されたかを表すシンタックスを参照して、復号対象CTUを４分割または２分割する。すなわち、復号対象CTUについて四分木構造が適用されている場合、分割パターン判定部２２は、復号対象CTUを４分割する。一方、復号対象CTUについて二分木構造が適用されている場合、分割パターン判定部２２は、復号対象CTUを２分割する。その際、分割パターン判定部２２は、復号対象CTUに含まれるピクチャ端と直交する方向に沿って復号対象CTUを２分割すればよい。すなわち、復号対象CTUにピクチャの右端が含まれていれば、分割パターン判定部２２は、復号対象CTUを水平方向に沿って２分割する。一方、復号対象CTUにピクチャの下端が含まれていれば、分割パターン判定部２２は、復号対象CTUを垂直方向に沿って２分割する。

また、分割パターン判定部２２は、復号対象CTUがピクチャの右端及び下端の両方を含む場合、復号対象CTUを４分割する。

分割パターン判定部２２は、復号対象CTUを分割して得られる個々のサブブロックについて、復号対象CTUに対する処理と同様の処理を行えばよい。そして分割パターン判定部２２は、個々のサブブロックについて、ピクチャ端を含まず、かつ、復号されたシンタックスにより、それ以上分割されないことが示されている場合、その個々のサブブロックを、それぞれ、一つのCUとする。

図１０は、分割パターン判定部２２による、分割パターン判定処理の動作フローチャートである。
分割パターン判定部２２は、着目するブロックにピクチャの端部が含まれるか否か判定する（ステップＳ３０１）。なお、一番最初の着目するブロックは、復号対象CTUである。

着目するブロックにピクチャの端部が含まれる場合（ステップＳ３０１−Ｙｅｓ）、分割パターン判定部２２は、着目するブロックにピクチャの右端と下端の両方が含まれるか否か判定する（ステップＳ３０２）。

着目するブロックにピクチャの右端と下端の両方が含まれる場合（ステップＳ３０２−Ｙｅｓ）、分割パターン判定部２２は、着目するブロックを四分木構造に従って４分割する（ステップＳ３０３）。一方、着目するブロックに含まれるピクチャ端がピクチャの右端または下端の何れか一方である場合（ステップＳ３０２−Ｎｏ）、分割パターン判定部２２は、着目するブロックを含むブロックは２分割されたか否か判定する（ステップＳ３０４）。

着目するブロックを含むブロックが２分割されている場合（ステップＳ３０４−Ｙｅｓ）、分割パターン判定部２２は、着目するブロックも２個のサブブロックに分割する（ステップＳ３０５）。その際、分割パターン判定部２２は、着目するブロックを含むブロックについての分割方向と同じ方向に沿って、着目するブロックも分割すればよい。

一方、着目するブロックを含むブロックが２分割されていない場合（ステップＳ３０４−Ｎｏ）、分割パターン判定部２２は、四分木構造と二分木構造のうち、シンタックスで示された方の構造に従って着目するブロックを分割する（ステップＳ３０６）。

ステップＳ３０３、Ｓ３０５またはＳ３０６の後、分割パターン判定部２２は、着目するブロックを分割して得られた個々のサブブロックをそれぞれ着目するブロックに設定する（ステップＳ３０７）。そして符号化モード判定部１２は、着目するブロックごとに、ステップＳ３０１以降の処理を実行する。

一方、ステップＳ３０１において、着目するブロックにピクチャの端部が含まれない場合（ステップＳ３０１−Ｎｏ）、分割パターン判定部２２は、シンタックスで示された分割パターンに従って着目するブロックを各CUに分割する（ステップＳ３０８）。そして分割パターン判定部２２は、ピクチャ端を含むブロックが無くなると、分割パターン判定処理を終了する。

分割パターン判定部２２は、復号対象CTUに含まれる各CUを表す情報を予測ブロック生成部２３へ通知する。

予測ブロック生成部２３は、復号対象CTUに含まれるCUごとに、適用された符号化モード及びPUの分割パターンに従って、復号済みのピクチャまたは復号対象ピクチャの復号済みの領域を参照してそのCUに含まれる各PUの予測ブロックを生成する。その際、予測ブロック生成部２３は、適用されたベクトルモードを表す情報、及び、動きベクトルの予測誤差信号などから動きベクトルも復号する。

予測ブロック生成部２３は、動画像符号化装置１の予測ブロック生成部１３と同様に、復号対象CTUの各PUについて、そのPUに適用される符号化モードに従って予測ブロックを生成する。すなわち、予測ブロック生成部２３は、エントロピー復号された符号化モードに従って、復号済みの参照ピクチャまたは復号対象ピクチャにおいて参照される領域を特定し、特定した領域に基づいて、PU単位で予測ブロックを生成する。その際、復号対象となるPUがインター予測符号化されている場合には、予測ブロック生成部２３は、そのPUについて復号した動きベクトルを用いて、復号済みの参照ピクチャにおいて参照される領域を特定すればよい。また、復号対象となるPUがイントラ予測符号化されている場合には、予測ブロック生成部２３は、復号された予測モードに従って、復号対象ピクチャにおいて参照される領域を特定すればよい。

予測ブロック生成部２３は、生成した予測ブロックを復号部２４へ出力する。

復号部２４は、エントロピー復号部２１から受け取った各TUの量子化係数に、復号されたヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、各TUの直交変換係数が復元される。その後、復号部２４は、TUごとに、直交変換係数を逆直交変換処理する。逆量子化処理及び逆直交変換処理を各TUの量子化係数に対して実行することにより、CTU全体の各画素の予測誤差信号が再生される。

復号部２４は、各PUの予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、各PUを復号できる。そして復号部２４は、復号された各PUを、符号化順序に従って結合することにより、CTUを復号する。復号部２４は、復号されたCTUを記憶部２５に記憶させる。また、復号部２４は、復号されたCTUを、符号化順序に従って結合することでピクチャ全体を復号する。復号部２４は、復号されたピクチャを記憶部２５に記憶するとともに、復号されたピクチャをバッファメモリに記憶する。バッファメモリに記憶されている復号された各ピクチャは、制御部（図示せず）により表示順序に従って、表示装置（図示せず）へ出力される。

記憶部２５は、復号部２４から受け取った、復号されたCTU及び復号されたピクチャを一時的に記憶する。そして記憶部２５は、予測ブロック生成部２３に、CTUを参照領域として、あるいはピクチャを参照ピクチャとして供給する。なお、記憶部２５は、予め定められた所定枚数分のピクチャを記憶し、記憶されているデータ量がその所定枚数に相当する量を超えると、符号化順序が古いピクチャから順に破棄する。

図１１は、動画像復号装置２により実行される、動画像復号処理の動作フローチャートである。動画像復号装置２は、復号対象となるCTUごとに図１１に示される動画像復号処理を実行する。
エントロピー復号部２１は、CTU単位で符号化されているデータをエントロピー復号する。これにより、エントロピー復号部２１は、復号対象CTUの各TUの量子化係数、及び、各種シンタックスなどを復号する（ステップＳ４０１）。

分割パターン判定部２２は、復号対象CTUに含まれる個々のCUを特定する（ステップＳ４０２）。その際、分割パターン判定部２２は、図１０に示されるフローチャートに従って、個々のCUを特定すればよい。

予測ブロック生成部２３は、復号対象CTUの各CUについて、そのCUに含まれるPUごとに、適用された符号化モードを参照して予測ブロックを生成する（ステップＳ４０３）。

復号部２４は、エントロピー復号部２１から受け取った量子化係数に、符号化ビットストリームに含まれるヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。そして、復号部２４は、直交変換信号をTU単位で逆直交変換処理することにより復号対象CTUの各画素の予測誤差信号を再生する。その後、復号部２４は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、復号対象CTUを再生する（ステップＳ４０４）。復号部２４は、再生したCTUを記憶部２５に記憶する。そして動画像復号装置２は、復号対象CTUについての動画像復号処理を終了する。

以上に説明してきたように、この動画像復号装置は、上記の実施形態による動画像符号化装置により、ピクチャ端を含むブロックに二分木構造が適用されていても、符号化された動画像データを復号できる。

なお、変形例によれば、動画像符号化装置１の符号化モード判定部１２は、二分木構造に従って２分割される個々のブロックについて、分割方向を表すシンタックスも生成してもよい。そしてエントロピー符号化部１７は、二分木構造に従って２分割される個々のブロックについて、分割方向を表すシンタックスを符号化された動画像データに付加してよい。これにより、二分木構造に従って２分割されるブロックについて、分割方向が明示的に動画像復号装置２に伝達される。したがって、動画像復号装置２の分割パターン判定部２２は、二分木構造が適用されたことを示すシンタックスが付加されたブロックを、エントロピー復号部２１により復号された、分割方向を表すシンタックスを参照して、その分割方向に沿って２分割すればよい。

また他の変形例によれば、CU単位で予測ブロックが生成されてもよい。あるいは、CU単位で直交変換が行われてもよい。この場合、動画像符号化装置１の符号化モード判定部１２は、PUの分割パターン、あるいは、TUの分割パターンについてはもとめなくてよい。

あるいは、CUについてはピクチャ端が含まれるか否かの判断は行われなくてもよい。この場合、動画像符号化装置１の符号化モード判定部１２は、ピクチャ端を含むPUについて、上記の実施形態におけるCUと同様に分割パターンを決定してもよい。同様に、符号化モード判定部１２は、ピクチャ端を含むTUについて、上記の実施形態におけるCUと同様に分割パターンを決定してもよい。この場合、動画像復号装置２の分割パターン判定部２２も、復号対象CTUをPUごと、あるいは、TUごとに分割する際に、上記の実施形態と同様に、分割パターンを特定すればよい。

また他の変形例によれば、ピクチャ端を含まないCTUについても、二分木構造に従って再帰的に２分割されてもよい。この場合には、動画像符号化装置１の符号化モード判定部１２は、着目するCTUあるいは、着目するCTUを分割して得られる個々のサブブロックについて、四分木構造に従って４分割した場合と、二分木構造に従って２分割した場合とで、符号化コストを算出すればよい。そして符号化モード判定部１２は、符号化コストが最小化されるように、四分木構造が適用されるか、あるいは、二分木構造が適用されるかを決定すればよい。またこの場合、符号化モード判定部１２は、着目するCTUあるいは、着目するCTUを再帰的に分割して得られる個々のサブブロックについて、四分木構造と二分木構造のうちの適用された構造を表すシンタックスを生成する。さらに、符号化モード判定部１２は、二分木構造が適用されたCTUあるいはサブブロックについて分割方向を表すシンタックスを生成する。そして動画像符号化装置１のエントロピー符号化部１７は、適用された構造を表すシンタックス及び分割方向を表すシンタックスを符号化された動画像データに含める。また、動画像復号装置２の分割パターン判定部２２は、適用された構造を表すシンタックス及び分割方向を表すシンタックスを参照して、復号対象CTUのCUの分割パターンを判定すればよい。

図１２は、上記の実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。

コンピュータ１００は、ユーザインターフェース１０１と、通信インターフェース１０２と、メモリ１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース１０１、通信インターフェース１０２、メモリ１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース１０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、あるいは、復号する動画像データを選択する操作信号をプロセッサ１０５へ出力する。なお、符号化する動画像データ、あるいは、復号する動画像データは、プロセッサ１０５上で動作するアプリケーションプログラムによって決定されてもよい。

通信インターフェース１０２は、例えば、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。また、通信インターフェース１０２は、通信ネットワークに接続された他の機器から、復号対象となる、符号化された動画像データを含むビットストリームを取得し、そのビットストリームをプロセッサ１０５へ渡してもよい。

メモリ１０３は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そしてメモリ１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、または、動画像復号処理を実行するためのコンピュータプログラムを記憶する。さらに、メモリ１０３は、動画像符号化処理または動画像復号処理の途中または結果として生成されるデータを記憶する。

記憶媒体アクセス装置１０４は、記憶部の他の一例であり、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムまたは動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。

プロセッサ１０５は、例えば、Central Processing Unit(CPU)、Graphics Processing Unit(GPU)及び数値演算プロセッサの少なくとも何れかを含む。そしてプロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、動画像データを符号化する。そしてプロセッサ１０５は、符号化された動画像データをメモリ１０３に保存し、または通信インターフェース１０２を介して他の機器へ出力する。あるいは、プロセッサ１０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。そしてプロセッサ１０５は、復号されたピクチャをユーザインターフェース１０１の表示装置に表示させる。

なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、動画像復号装置２の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 動画像符号化装置
１１ 動き探索部
１２ 符号化モード判定部
１３ 予測ブロック生成部
１４ 予測符号化部
１５ 復号部
１６ 記憶部
１７ エントロピー符号化部
２ 動画像復号装置
２１ エントロピー復号部
２２ 分割パターン判定部
２３ 予測ブロック生成部
２４ 復号部
２５ 記憶部
１００ コンピュータ
１０１ ユーザインターフェース
１０２ 通信インターフェース
１０３ メモリ
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

CU１０２は、Prediction Unit（PU）１０３単位またはTransform Unit（TU）１０４単位で個別に処理される。PU１０３は、符号化モードに応じた予測が行われる、予測ブロックの生成単位となる。例えば、PU１０３は、イントラ予測符号化方式では、予測ブロックの生成の際に参照される画素及び予測ブロックの生成方法を規定する予測モードが適用される単位となる。一方、インター予測符号化方式では、PU１０３は、動き補償を行う単位となる。PU１０３のサイズは、例えば、インター予測符号化方式が適用される場合、2Nx2N, NxN, 2NxN, Nx2N, 2NxnU, 2NxnD, nRx2N, nLx2N（Nは、CUサイズ/2）の中から選択可能である。一方、TU１０４は、直交変換の単位であり、TUごとに直交変換される。TU１０４のサイズは、4x4画素〜32x32画素の中から選択される。TU１０４は、四分木構造で分割され、Zスキャン順に処理される。

符号化モード判定部１２は、適用可能な符号化モードについての符号化対象CTUの符号化されたデータ量の評価値である符号化コストをCU単位でそれぞれ算出する。例えば、符号化モード判定部１２は、インター予測符号化方式については、CTUを分割するCU分割パターン、PU分割パターン及び動きベクトルの予測ベクトルの生成方法を規定するベクトルモードの組み合わせごとに符号化コストを算出する。なお、符号化モード判定部１２は、ベクトルモードとして、例えば、Advanced Motion Vector Prediction(AMVP)モード、及び、Mergeモードの何れかを利用できる。

最終的に、全てのCUにピクチャの下端４０１が含まれなくなったときのCUの組み合わせのそれぞれについて、CUごとに算出される符号化コストの合計が算出され、その合計が最小となるCUの組み合わせに従って、CTU４００は分割される。例えば、CU４２０−１とCU４２１−１の組み合わせについての符号化コストの合計が最小となる場合、CTU４００は、CU４２０−１とCU４２１−１とに分割される。そして符号化モード判定部１２は、CTUまたはCUを分割する度に、そのCTUまたはCUに対して四分木構造と二分木構造の何れが適用されたかを表すシンタックスを生成し、そのシンタックスをエントロピー符号化部１７へ通知する。なお、四分木構造と二分木構造の何れが適用されたかを表すシンタックスは、分割情報の一例である。ただし、二分木構造を適用して得られたCUについては、そのCUがさらに分割される場合でも、四分木構造は適用されないので、四分木構造と二分木構造の何れが適用されたかを表すシンタックスは生成されなくてよい。

ステップＳ３０３、Ｓ３０５またはＳ３０６の後、分割パターン判定部２２は、着目するブロックを分割して得られた個々のサブブロックをそれぞれ着目するブロックに設定する（ステップＳ３０７）。そして分割パターン判定部２２は、着目するブロックごとに、ステップＳ３０１以降の処理を実行する。

コンピュータ７００は、ユーザインターフェース７０１と、通信インターフェース７０２と、メモリ７０３と、記憶媒体アクセス装置７０４と、プロセッサ７０５とを有する。プロセッサ７０５は、ユーザインターフェース７０１、通信インターフェース７０２、メモリ７０３及び記憶媒体アクセス装置７０４と、例えば、バスを介して接続される。

ユーザインターフェース７０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース７０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース７０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、あるいは、復号する動画像データを選択する操作信号をプロセッサ７０５へ出力する。なお、符号化する動画像データ、あるいは、復号する動画像データは、プロセッサ７０５上で動作するアプリケーションプログラムによって決定されてもよい。

通信インターフェース７０２は、例えば、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース７０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ７０５へ渡す。また通信インターフェース７０２は、プロセッサ７０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。また、通信インターフェース７０２は、通信ネットワークに接続された他の機器から、復号対象となる、符号化された動画像データを含むビットストリームを取得し、そのビットストリームをプロセッサ７０５へ渡してもよい。

メモリ７０３は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そしてメモリ７０３は、プロセッサ７０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、または、動画像復号処理を実行するためのコンピュータプログラムを記憶する。さらに、メモリ７０３は、動画像符号化処理または動画像復号処理の途中または結果として生成されるデータを記憶する。

記憶媒体アクセス装置７０４は、記憶部の他の一例であり、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体７０６にアクセスする装置である。記憶媒体アクセス装置７０４は、例えば、記憶媒体７０６に記憶されたプロセッサ７０５上で実行される、動画像符号化処理用のコンピュータプログラムまたは動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ７０５に渡す。

プロセッサ７０５は、例えば、Central Processing Unit(CPU)、Graphics Processing Unit(GPU)及び数値演算プロセッサの少なくとも何れかを含む。そしてプロセッサ７０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、動画像データを符号化する。そしてプロセッサ７０５は、符号化された動画像データをメモリ７０３に保存し、または通信インターフェース７０２を介して他の機器へ出力する。あるいは、プロセッサ７０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。そしてプロセッサ７０５は、復号されたピクチャをユーザインターフェース７０１の表示装置に表示させる。

１ 動画像符号化装置
１１ 動き探索部
１２ 符号化モード判定部
１３ 予測ブロック生成部
１４ 予測符号化部
１５ 復号部
１６ 記憶部
１７ エントロピー符号化部
２ 動画像復号装置
２１ エントロピー復号部
２２ 分割パターン判定部
２３ 予測ブロック生成部
２４ 復号部
２５ 記憶部
７００ コンピュータ
７０１ ユーザインターフェース
７０２ 通信インターフェース
７０３ メモリ
７０４ 記憶媒体アクセス装置
７０５ プロセッサ
７０６ 記憶媒体

Claims (10)

1. 動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置であって、
   前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックを四分木構造に従って４分割するか、あるいは当該ピクチャ端ブロックに含まれる前記端部と直交する方向に２分割することで、何れのサブブロックにも前記符号化対象ピクチャの端部が含まれないように、前記ピクチャ端ブロックを複数のサブブロックに分割する分割パターン判定部と、
   前記複数のサブブロックのそれぞれについて、符号化済みの他のピクチャあるいは前記符号化対象ピクチャの符号化済みの領域を参照して予測ブロックを生成する予測ブロック生成部と、
   前記複数のサブブロックのそれぞれについて、当該サブブロックと対応する前記予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する符号化部と、
   前記ピクチャ端ブロックについて４分割されたか２分割されたかを表す分割情報を、符号化された前記動画像データに付加する付加部と、
   を有する動画像符号化装置。
2. 前記分割パターン判定部は、前記ピクチャ端ブロックを分割して得られる前記複数のサブブロックのうちの第１のサブブロックに、前記符号化対象ピクチャの水平方向の端部または垂直方向の端部が含まれる場合、当該第１のサブブロックをさらに四分木構造に従って４分割するか、あるいは当該第１のサブブロックに含まれる前記端部と直交する方向に２分割し、
   前記付加部は、前記第１のサブブロックについて４分割されたか２分割されたかを表す情報を、符号化された前記動画像データに付加する、請求項１に記載の動画像符号化装置。
3. 前記分割パターン判定部は、前記第１のサブブロックが２分割されて得られる第２のサブブロックに、前記符号化対象ピクチャの水平方向の端部または垂直方向の端部が含まれる場合、当該第２のサブブロックを、前記第１のサブブロックが分割された方向と同じ方向に沿ってさらに２分割する、請求項２に記載の動画像符号化装置。
4. 前記付加部は、前記ピクチャ端ブロックが２分割された場合、前記ピクチャ端ブロックが分割された方向を表す情報を符号化された前記動画像データに付加する、請求項１〜３の何れか一項に記載の動画像符号化装置。
5. 符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号装置であって、
   前記復号対象ピクチャを分割して得られる複数のブロックのうち、前記復号対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックが四分木構造に従って４分割されたか、あるいは２分割されたかを表す、前記符号化された動画像データに含まれる分割情報を参照して、前記ピクチャ端ブロックを四分木構造に従って４分割するか、あるいは当該ピクチャ端ブロックに含まれる前記端部と直交する方向に２分割することで、何れのサブブロックにも前記復号対象ピクチャの端部が含まれないように、前記ピクチャ端ブロックを複数のサブブロックに分割する分割パターン判定部と、
   前記複数のサブブロックのそれぞれについて、復号済みの他のピクチャあるいは前記復号対象ピクチャの復号済みの領域を参照して予測ブロックを生成する予測ブロック生成部と、
   前記複数のサブブロックのそれぞれについて、前記符号化された動画像データに含まれる、当該サブブロックと対応する前記予測ブロックの対応画素間の予測誤差に、前記予測ブロックの対応画素の値を加算することで前記ピクチャ端ブロックを復号する復号部と、
   を有する動画像復号装置。
6. 前記分割パターン判定部は、前記ピクチャ端ブロックが２分割され、かつ、前記ピクチャ端ブロックを分割して得られる前記複数のサブブロックのうちの第１のサブブロックに、前記復号対象ピクチャの水平方向の端部または垂直方向の端部が含まれる場合、当該第１のサブブロックに含まれる前記端部と直交する方向に沿って当該第１のサブブロックをさらに２分割する、請求項５に記載の動画像復号装置。
7. 動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化方法であって、
   前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックを四分木構造に従って４分割するか、あるいは当該ピクチャ端ブロックに含まれる前記端部と直交する方向に２分割することで、何れのサブブロックにも前記符号化対象ピクチャの端部が含まれないように、前記ピクチャ端ブロックを複数のサブブロックに分割し、
   前記複数のサブブロックのそれぞれについて、符号化済みの他のピクチャあるいは前記符号化対象ピクチャの符号化済みの領域を参照して予測ブロックを生成し、
   前記複数のサブブロックのそれぞれについて、当該サブブロックと対応する前記予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化し、
   前記ピクチャ端ブロックについて４分割されたか２分割されたかを表す情報を、符号化された前記動画像データに付加する、
   ことを含む動画像符号化方法。
8. 符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
   前記復号対象ピクチャを分割して得られる複数のブロックのうち、前記復号対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックが四分木構造に従って４分割されたか、あるいは２分割されたかを表す、前記符号化された動画像データに含まれる分割情報を参照して、前記ピクチャ端ブロックを四分木構造に従って４分割するか、あるいは当該ピクチャ端ブロックに含まれる前記端部と直交する方向に２分割することで、何れのサブブロックにも前記復号対象ピクチャの端部が含まれないように、前記ピクチャ端ブロックを複数のサブブロックに分割し、
   前記複数のサブブロックのそれぞれについて、復号済みの他のピクチャあるいは前記復号対象ピクチャの復号済みの領域を参照して予測ブロックを生成し、
   前記複数のサブブロックのそれぞれについて、前記符号化された動画像データに含まれる、当該サブブロックと対応する前記予測ブロックの対応画素間の予測誤差に、前記予測ブロックの対応画素の値を加算することで前記ピクチャ端ブロックを復号する、
   ことを含む動画像復号方法。
9. 動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化用コンピュータプログラムであって、
   前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックを四分木構造に従って４分割するか、あるいは当該ピクチャ端ブロックに含まれる前記端部と直交する方向に２分割することで、何れのサブブロックにも前記符号化対象ピクチャの端部が含まれないように、前記ピクチャ端ブロックを複数のサブブロックに分割し、
   前記複数のサブブロックのそれぞれについて、符号化済みの他のピクチャあるいは前記符号化対象ピクチャの符号化済みの領域を参照して予測ブロックを生成し、
   前記複数のサブブロックのそれぞれについて、当該サブブロックと対応する前記予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化し、
   前記ピクチャ端ブロックについて４分割されたか２分割されたかを表す情報を、符号化された前記動画像データに付加する、
   ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
10. 符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号用コンピュータプログラムであって、
    前記復号対象ピクチャを分割して得られる複数のブロックのうち、前記復号対象ピクチャの水平方向の端部及び垂直方向の端部の何れか一方を含むピクチャ端ブロックが四分木構造に従って４分割されたか、あるいは２分割されたかを表す、前記符号化された動画像データに含まれる分割情報を参照して、前記ピクチャ端ブロックを四分木構造に従って４分割するか、あるいは当該ピクチャ端ブロックに含まれる前記端部と直交する方向に２分割することで、何れのサブブロックにも前記復号対象ピクチャの端部が含まれないように、前記ピクチャ端ブロックを複数のサブブロックに分割し、
    前記複数のサブブロックのそれぞれについて、復号済みの他のピクチャあるいは前記復号対象ピクチャの復号済みの領域を参照して予測ブロックを生成し、
    前記複数のサブブロックのそれぞれについて、前記符号化された動画像データに含まれる、当該サブブロックと対応する前記予測ブロックの対応画素間の予測誤差に、前記予測ブロックの対応画素の値を加算することで前記ピクチャ端ブロックを復号する、
    ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。

Images