JP6807987B2 - 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 - Google Patents

Description

この発明は、動画像を高効率で符号化を行う画像符号化装置と、高効率で符号化されている動画像を復号する動画像復号装置と、この動画像復号装置により復号される動画像符号化データと、この動画像符号化データに対応するビットストリームを記録した記録媒体とに関するものである。

例えば、国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）の符号化方式における輝度のイントラ予測モードでは、複数の予測モードの中からブロック単位に１つの予測モードを選択することができる（例えば、非特許文献１を参照）。
図１４は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
輝度のブロックサイズが４×４画素の場合には、９つのイントラ予測モード（モード０，モード１，・・・，モード８）が規定されている。

図１４において、白丸が符号化対象のブロック内の画素である。黒丸は予測に用いる画素であり、符号化済みの隣接ブロック内の画素である。
モード２は平均値予測であり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測するモードである。モード２外のモードは方向性予測である。
特に、モード０は垂直方向予測であり、上のブロックの隣接画素を垂直方向に繰り返すことで予測画像を生成する。例えば、縦縞模様のときにはモード０が選択される。
モード１は水平方向予測であり、左のブロックの隣接画素を水平方向に繰り返すことで、予測画像を生成する。
また、モード３からモード８は、上又は左のブロックの隣接画素を用いて、所定の方向（図中、矢印で示す方向）に補間画素を生成して予測画像を生成する。

イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、ブロックサイズが８×８画素の場合には、４×４画素の場合と同様に、９つのイントラ予測モードが規定されている。
これに対し、ブロックサイズが１６×１６画素の場合には、平均値予測、垂直方向予測及び水平方向予測に加えて、平面予測と呼ばれる４つのイントラ予測モードが規定されている。
平面予測は、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。

ブロックサイズが４×４画素又は８×８画素の場合の方向性予測モードは、モードによって予め定められた方向（例えば、４５度）で予測値を生成するため、ブロック内のオブジェクトの境界（エッジ）の方向が、予測モードが示す方向と一致すれば、予測効率が高くなって符号量を削減することができるが、エッジの方向が、予測モードが示す方向と一致しない場合、予測効率が低下する。
これに対して、選択可能な方向性予測のモード数を増やせば、エッジの方向と予測モードが示す方向が一致する確率が高まるため、予測効率が高くなることが想定される。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の動画像符号化装置は以上のように構成されているので、選択可能な方向性予測のモード数を増やせば、エッジの方向と予測モードが示す方向が一致する確率が高まり、予測効率を高くすることができる。しかし、選択可能な方向性予測のモード数を増やしても、類似している予測画像の選択肢が増加するため、選択可能な方向性予測のモード数を増やすことに伴う演算量の増加に見合う程度の符号化効率の改善がみられず、符号化効率の改善への寄与が限定的である課題があった。

この発明は上記のような課題を解決するためになされたもので、少ない演算量や符号量で方向性予測のモード数増加による符号化効率の改善度合を高めることができる画像符号化装置を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている動画像符号化データと、かかる動画像符号化データから正確に動画像を復号することができる動画像復号装置と、かかる動画像符号化データに対応するビットストリームを記録した記録媒体とを得ることを目的とする。

この発明に係る画像符号化装置は、符号化処理の処理単位となる最大サイズの符号化ブロックを階層的に分割して得られる符号化ブロックの各々に適用する符号化モードを選択する符号化制御部と、符号化モードに基づいてイントラ予測モードが選択された場合、符号化ブロックのパーティションにイントラ予測を行うことによりイントラ予測画像を生成するイントラ予測部と、符号化モードに基づいてインター予測モードが選択された場合、符号化ブロックのパーティションに動き補償予測処理を実施することでインター予測画像を生成する動き補償予測部と、入力画像とイントラ予測画像またはインター予測画像との差分画像を、予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換して差分画像の圧縮データを生成する変換部と、符号化ブロックの符号化モードと、予測差分符号化パラメータと、符号化ブロックのパーティションにイントラ予測を行うことで予測画像を生成するために用いられるイントラ予測パラメータと、圧縮データと、を可変長符号化して符号化データを生成する可変長符号化部と、を備え、可変長符号化部は、パーティションに用いられるイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化し、イントラ予測を行うパーティションの上または左に隣接するパーティションが複数存在する場合、パーティションの左上から遠ざかる方向に向かって最初のパーティションがそれぞれ上および左に隣接するパーティションとして選択され、パーティションに用いられるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じであれば、可変長符号化部は、上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定するイントラマージディレクションを可変長符号化し、パーティションに用いられるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じでなければ、可変長符号化部は、パーティションに用いられるイントラ予測パラメータを可変長符号化するようにしたものである。

この発明によれば、パーティションにおけるイントラ予測パラメータが上または左の隣接パーティションにおけるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化するとともに、イントラ予測パラメータが同じであれば、上および左のいずれの隣接パーティションと同じであるかを特定するイントラマージディレクションを可変長符号化するように構成したので、少ない演算量や符号量で方向性予測のモード数増加による符号化効率の改善度合を高めることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロックＢ^ｎに属する各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合において、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 パーティションＰ_ｉ ^ｎと上位パーティションＰ_ｉ ^ｎ−１の関係を示す説明図である。 符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを示す説明図である。 符号化ブロックＢ^ｎに属する各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 パーティションの符号化データを示す説明図である。 隣接パーティションを示す説明図である。 輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。

ブロック分割部２は入力画像（カレントピクチャ）を示す映像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている符号化ブロックに隣接している符号化済みの画素、または、その符号化ブロックの上位階層の符号化ブロックに隣接している符号化済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。

減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。

逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。

加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。

図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。

図１０はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図１０において、可変長復号部２１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部２５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ２２に出力する処理を実施する。なお、可変長復号部２１は可変長復号手段を構成している。

切替スイッチ２２は可変長復号部２１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部２１から出力されたインター予測パラメータを動き補償部２４に出力する処理を実施する。

イントラ予測部２３はイントラ予測用メモリ２７により格納されている符号化ブロックに隣接している復号済みの画素、または、その符号化ブロックの上位階層の符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ２２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
動き補償部２４は動き補償予測フレームメモリ２９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ２２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ２２、イントラ予測部２３及び動き補償部２４から予測画像生成手段が構成されている。

逆量子化・逆変換部２５は可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部２６は差分画像生成手段を構成している。

加算部２６は逆量子化・逆変換部２５から出力された復号予測差分信号とイントラ予測部２３又は動き補償部２４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部２６は復号画像生成手段を構成している。
イントラ予測用メモリ２７はイントラ予測部２３により次回のイントラ予測処理で用いられる画像として、加算部２６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部２８は加算部２６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ２９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ２９は動き補償部２４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部２８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。

図１０では、動画像復号装置の構成要素である可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータなどで構成される場合、可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１１はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。

この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。

時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分差信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。

この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。

符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。

また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。

ブロック分割部２は、入力画像を示す映像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図３は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図３の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ^０であり、輝度成分で（Ｌ^０，Ｍ^０）のサイズを有している。
また、図３の例では、最大サイズの符号化ブロックＢ^０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢ^ｎを得ている。

深さｎにおいては、符号化ブロックＢ^ｎはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは同じであってもよいし異なっていてもよいが、図３の例ではＬ^ｎ＝Ｍ^ｎのケースを示している。
以降、符号化ブロックＢ^ｎのサイズは、符号化ブロックＢ^ｎの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。

ブロック分割部２では、４分木分割を行うため、常に（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）である。
以降、第ｎ階層の符号化ブロックＢ^ｎで選択しうる符号化モードをｍ（Ｂ^ｎ）と表記する。

複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、各色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂ^ｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢ^ｎに対して最も符号化効率がよい符号化モードを選択する。

符号化ブロックＢ^ｎは、図３に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢ^ｎに属するパーティションをＰ_ｉ ^ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図８は符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを示す説明図である。
符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割がどのようになされているかは符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
パーティションＰ_ｉ ^ｎは、すべて符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、パーティションＰ_ｉ ^ｎ毎に、個別の予測パラメータを選択することができる。

符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図４に示すようなブロック分割状態を生成して、符号化ブロックＢ^ｎを特定する。
図４（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図４（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示している。
図４（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロックＢ^ｎ）を示している。

切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、切替スイッチ３から符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを受けると（ステップＳＴ４）、具体的な処理内容は後述するが、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐ_ｉ ^ｎはパーティションを示し、（Ｐ_ｉ ^ｎ）はパーティションＰ_ｉ ^ｎの予測画像を示すものとする。

イントラ予測画像（Ｐ_ｉ ^ｎ）の生成に用いられるイントラ予測パラメータは、動画像復号装置側でも、全く同じイントラ予測画像（Ｐ_ｉ ^ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは選択できるイントラ予測方向数を多くするよう構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。

動き補償予測部５は、切替スイッチ３から符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐ_ｉ ^ｎ）を生成する。
インター予測画像（Ｐ_ｉ ^ｎ）の生成に用いられるインター予測パラメータは、動画像復号装置側でも、全く同じインター予測画像（Ｐ_ｉ ^ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。

減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐ_ｉ ^ｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎから、その予測画像（Ｐ_ｉ ^ｎ）を減算することで、その差分画像を示す予測差分信号ｅ_ｉ ^ｎを生成する（ステップＳＴ７）。
変換・量子化部７は、減算部６が予測差分信号ｅ_ｉ ^ｎを生成すると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その予測差分信号ｅ_ｉ ^ｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅ_ｉ ^ｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐ_ｉ ^ｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。

ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。

ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。

次に、イントラ予測部４の処理内容を具体的に説明する。
図５は符号化ブロックＢ^ｎに属する各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図５では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

ここでは、イントラ予測部４が、パーティションＰ_ｉ ^ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
パーティションＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図６はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合において、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図６では、パーティションＰ_ｉ ^ｎに隣接する符号化済みの上パーティションの画素（（２×ｌ_ｉ ^ｎ＋１）個の画素）と、左パーティションの画素（（２×ｍ_ｉ ^ｎ）個の画素）を予測に用いる画素としているが、予測に用いる画素は、図６に示す画素より多くても少なくてもよい。
また、図６では、隣接する１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。

イントラ予測部４は、パーティションＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）の場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_ｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰ_ｉ ^ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。

ただし、ｋは正のスカラ値

参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図６の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。

イントラ予測部４は、同様の手順で、パーティションＰ_ｉ ^ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐ_ｉ ^ｎ）を出力する。イントラ予測画像（Ｐ_ｉ ^ｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
パーティションＰ_ｉ ^ｎ内の輝度信号に対するイントラ予測画像（Ｐ_ｉ ^ｎ）は、上記のように生成されるが、図７に示すように、パーティションＰ_ｊ ^ｎ−１（ｊ： パーティションＰ_ｉ ^ｎの第ｎ−１階層における上位パーティションのパーティション番号）内の輝度信号については、同様にして、イントラ予測画像（Ｐ_ｊ ^ｎ−１）が生成される。

ここで、図６に示すように、パーティションＰ_ｉ ^ｎ内の輝度信号に対するイントラ予測画像（Ｐ_ｉ ^ｎ）として、パーティションＰ_ｉ ^ｎに隣接する参照画素の隣接画素から生成されるものに加え、上位パーティションＰ_ｊ ^ｎ−１に対するイントラ予測画像（Ｐ_ｊ ^ｎ−１）のうち、パーティションＰ_ｉ ^ｎに該当する部分のみを切り出したものもイントラ予測画像（Ｐ_ｉ ^ｎ）の候補として選択できるように構成する。
即ち、図９に示すように、イントラ予測モードとして、平均値予測も含めて９方向のイントラ予測モードを備える場合、上位パーティションが存在すれば、さらに９つの予測モードが追加される。

イントラ予測では、画面内の未知の領域を既知の領域から予測する手段であるが、画像信号は、空間方向については局所的な変化が大きいため、異なる性質の予測画像の中から選択することによって予測効率を向上させることができる。
従って、上記のように構成して、イントラ予測モードの方向数を増やす場合、イントラ予測モードを増やす場合と比べて、生成される予測画像の相互類似度が低下し、バリエーションに富んだ予測画像の中から選択することができるため、イントラ予測モード数を増加させることによる符号化効率改善の度合いを増加させることが可能である。
また、本発明の手法では、上位パーティションの予測画像の一部分を切り取ることによって、下位パーティションの予測画像を生成することができるため、予測方向を増加させることによって予測モードを増加させる場合と比べて、演算量を削減できるという効果もある。

パーティションＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。

可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。

次に、図１０の動画像符号化装置の処理内容を説明する。
可変長復号部２１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図１１のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部２１は、フレームサイズを復号すると、図１の動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。

例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１の動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。

可変長復号部２１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部２１は、その符号化モードに含まれている符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰ_ｉ ^ｎに係る符号化データを特定する（ステップＳＴ２３）。
可変長復号部２１は、各パーティションＰ_ｉ ^ｎに係る符号化データから圧縮データ、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部２５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ２２に出力する（ステップＳＴ２４）。

例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。

切替スイッチ２２は、可変長復号部２１から出力された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの符号化モードがイントラ符号化モードである場合、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部２１から出力されたインター予測パラメータを動き補償部２４に出力する。

イントラ予測部２３は、切替スイッチ２２からイントラ予測パラメータを受けると（ステップＳＴ２５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ２６）。
即ち、イントラ予測部２３は、イントラ予測用メモリ２７により格納されているパーティションＰ_ｉ ^ｎに隣接している復号済みの画素、または、そのパーティションＰ_ｉ ^ｎの上位階層のパーティションＰ_ｊ ^ｎ−１に隣接している復号済みの画素を用いて、そのイントラ予測パラメータに基づくパーティションＰ_ｉ ^ｎに対するフレーム内予測処理を実施することで予測画像（Ｐ_ｉ ^ｎ）を生成する。

動き補償部２４は、切替スイッチ２２からインター予測パラメータを受けると（ステップＳＴ２５）、図１の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ２７）。
即ち、動き補償部２４は、動き補償予測フレームメモリ２９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐ_ｉ ^ｎ）を生成する。

逆量子化・逆変換部２５は、可変長復号部２１から予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部２６に出力する（ステップＳＴ２８）。

加算部２６は、逆量子化・逆変換部２５から出力された復号予測差分信号と、イントラ予測部２３又は動き補償部２４により生成された予測画像（Ｐ_ｉ ^ｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部２８に出力する（ステップＳＴ２９）。
また、イントラ予測用メモリ２７には、イントラ予測に用いるために、当該復号画像が格納される。

ループフィルタ部２８は、加算部２６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ２９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ３０）。
なお、ループフィルタ部２８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ２３〜ＳＴ２９の処理は、全ての符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ３１）。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４が、符号化制御部１により選択された符号化モードがイントラ予測モードである場合、ブロック分割部２により分割されたパーティションＰ_ｉ ^ｎに隣接している画素、または、そのパーティションＰ_ｉ ^ｎの上位階層のパーティションＰ_ｊ ^ｎ−１に隣接している画素を用いるフレーム内予測処理を実施することで予測画像（Ｐ_ｉ ^ｎ）を生成するように構成したので、少ない演算量で符号化効率の改善度合を高めることができる効果を奏する。

また、この実施の形態１によれば、動画像復号装置のイントラ予測部２３が、可変長復号部２１により可変長復号された符号化モードがイントラ予測モードである場合、イントラ予測用メモリ２７により格納されているパーティションＰ_ｉ ^ｎに隣接している復号済みの画素、または、そのパーティションＰ_ｉ ^ｎの上位階層のパーティションＰ_ｊ ^ｎ−１に隣接している復号済みの画素を用いるフレーム内予測処理を実施することで予測画像（Ｐ_ｉ ^ｎ）を生成するように構成したので、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる効果を奏する。

実施の形態２．
上記実施の形態１では、動画像符号化装置の可変長符号化部１３が、符号化対象のパーティションにおけるイントラ予測パラメータを可変長符号化するものを示したが、符号化対象のパーティションにおけるイントラ予測パラメータが、そのパーティションと隣接しているパーティションにおけるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化するとともに、そのイントラ予測パラメータが同じであれば、その隣接しているパーティションを特定するイントラマージディレクションを可変長符号化し、そのイントラ予測パラメータが同じでなければ、符号化対象のパーティションにおけるイントラ予測パラメータを可変長符号化するようにしてもよい。

また、上記実施の形態１では、動画像復号装置の可変長復号部２１が、復号対象のパーティションに係る符号化データから、当該パーティションにおけるイントラ予測パラメータを可変長復号するものを示したが、復号対象のパーティションに係る符号化データから、当該パーティションと隣接パーティションにおけるイントラ予測パラメータが同じであるか否かを示すイントラマージフラグを可変長復号するとともに、そのイントラマージフラグが、当該パーティションと隣接パーティションにおけるイントラ予測パラメータが同じである旨を示す場合、その符号化データから隣接パーティションを特定するイントラマージディレクションを可変長復号し、そのイントラマージフラグが、当該パーティションと隣接パーティションにおけるイントラ予測パラメータが同じでない旨を示す場合、その符号化データから当該パーティションにおけるイントラ予測パラメータを可変長復号するようにしてもよい。

動画像符号化装置及び動画像復号装置において、イントラ予測パラメータの符号化及び復号以外の部分は、上記実施の形態１と同様であるため、この実施の形態２では、イントラ予測パラメータの符号化及び復号についてのみ説明する。

この実施の形態２における動画像符号化装置の可変長符号化部１３は、図１２（Ａ）に示すように、符号化対象（処理対象）のパーティションＰ_ｉ ^ｎにおけるイントラ予測パラメータを可変長符号化する際、そのイントラ予測パラメータが、パーティションＰ_ｉ ^ｎと隣接しているパーティションのイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化する。
また、可変長符号化部１３は、そのイントラマージフラグが、同じイントラ予測パラメータである旨を示す場合、隣接しているパーティションの中で、どのパーティションのイントラ予測パラメータと同じであるかを示すイントラマージディレクションを可変長符号化する。
一方、そのイントラマージフラグが、同じイントラ予測パラメータでない旨を示す場合、図１２（Ｂ）に示すように、符号化対象のパーティションＰ_ｉ ^ｎにおけるイントラ予測パラメータを可変長符号化する（この場合、上記実施の形態１と同様の符号化となる）。

例えば、図１３（Ａ）に示すように、隣接パーティションとして、左側のパーティションと、上側のパーティションが候補に挙げられる場合、イントラマージディレクションとしては、左側のパーティションと同じであるか、上側のパーティションと同じであるかを示すフラグとなる。
図１３（Ｂ）に示すように、隣接パーティションとして、左側のパーティションと、左上側のパーティションと、上側のパーティションとを候補に挙げて、３つの候補の中のどれと同じであるかを示すフラグとして構成することもできる。
当然ながら、対象となる隣接パーティション同士のイントラ予測パラメータが全て同じである場合には、イントラマージディレクションを符号化する必要がない。そのため、このような場合には、図１２（Ｄ）に示すように、イントラマージディレクションを符号化しないように構成してもよい。
また、上側又は左側に隣接するパーティションが複数ある場合には、例えば、左上方向から遠ざかる方向にパーティションをスキャンし、イントラ予測モードで符号化されている最初のパーティションをそれぞれ上側又は左側の隣接パーティションとするように構成することができる。

また、隣接パーティションにおいて、選択可能なイントラ予測方向数ＮｕｍＮと、符号化対象のパーティションにおいて、選択可能なイントラ予測方向数ＮｕｍＣが等しくない場合には、次のように構成することができる。
即ち、ＮｕｍＮ＜ＮｕｍＣの場合、符号化対象のパーティションＰ_ｉ ^ｎの複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトルを隣接パーティションにおける選択可能なイントラ予測方向の１つと対応させることにより、イントラ予測パラメータが一致しているか否かを判断する。
この場合、図１２（Ｃ）に示すように、イントラ予測パラメータが一致していると判断された場合には、さらに、対応させた複数のイントラ予測方向のうち、いずれが符号化対象のパーティションＰ_ｉ ^ｎで選択されたかを示すイントラ予測方向残差パラメータを符号化する。

一方、ＮｕｍＮ＞ＮｕｍＣの場合、隣接パーティションの複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトルを符号化対象のパーティションＰ_ｉ ^ｎにおける選択可能なイントラ予測方向の１つと対応させることにより、イントラ予測パラメータが一致しているか否かを判断する。
この場合には、イントラ予測方向残差パラメータを符号化する必要がない。
イントラ予測モードは、符号化対象画像のテクスチャに依存した方向性を持つと考えられるため、局所的には類似の予測モードが出やすい。従って、イントラマージフラグとイントラマージディレクションを用いて、イントラ予測パラメータを符号化することにより、より少ない情報量でイントラ予測パラメータを符号化することができる。

この実施の形態２における動画像復号装置の可変長復号部２１は、図１２（Ａ）に示すように、復号対象（処理対象）のパーティションＰ_ｉ ^ｎにおけるイントラ予測パラメータを可変長復号する際、そのイントラ予測パラメータが、パーティションＰ_ｉ ^ｎと隣接しているパーティションのイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長復号する。
また、可変長復号部２１は、そのイントラマージフラグが、同じイントラ予測パラメータである旨を示す場合、隣接しているパーティションの中で、どのパーティションのイントラ予測パラメータと同じであるかを示すイントラマージディレクションを可変長復号する。
一方、そのイントラマージフラグが、同じイントラ予測パラメータでない旨を示す場合、図１２（Ｂ）に示すように、復号対象のパーティションＰ_ｉ ^ｎにおけるイントラ予測パラメータを可変長復号する（この場合、上記実施の形態１と同様の復号となる）。

例えば、図１３（Ａ）に示すように、隣接パーティションとして、左側のパーティションと、上側のパーティションが候補に挙げられる場合、イントラマージディレクションとしては、左側のパーティションと同じであるか、上側のパーティションと同じであるかを示すフラグとなる。
あるいは、図１３（Ｂ）に示すように、隣接パーティションとして、左側のパーティションと、左上側のパーティションと、上側のパーティションとが候補に挙げられる場合、３つの候補の中のどれと同じであるかを示すフラグとなる。
当然ながら、対象となる隣接パーティション同士のイントラ予測パラメータが全て同じである場合には、イントラマージディレクションを復号する必要がない。そのため、このような場合には、図１２（Ｄ）に示すように、イントラマージディレクションを復号しないようにしてもよい。
また、上側又は左側に隣接するパーティションが複数ある場合には、例えば、左上方向から遠ざかる方向にパーティションをスキャンし、イントラ予測モードで符号化されている最初のパーティションをそれぞれ上側又は左側の隣接パーティションとするようにしてもよい。

また、隣接パーティションにおいて、選択可能なイントラ予測方向数ＮｕｍＮと、復号対象のパーティションにおいて、選択可能なイントラ予測方向数ＮｕｍＣが等しくない場合には、次のように構成することができる。
即ち、ＮｕｍＮ＜ＮｕｍＣの場合、復号対象のパーティションＰ_ｉ ^ｎの複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトルを隣接パーティションにおける選択可能なイントラ予測方向の１つと対応させることにより、イントラ予測パラメータが一致しているか否かを判断する。
この場合、図１２（Ｃ）に示すように、イントラ予測パラメータが一致していると判断された場合には、さらに、対応させた複数のイントラ予測方向のうち、いずれが復号対象のパーティションＰ_ｉ ^ｎで選択されたかを示すイントラ予測方向残差パラメータを符号化する。

一方、ＮｕｍＮ＞ＮｕｍＣの場合、隣接パーティションの複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトルを復号対象のパーティションＰ_ｉ ^ｎにおける選択可能なイントラ予測方向の１つと対応させることにより、イントラ予測パラメータが一致しているか否かを判断する。
この場合には、イントラ予測方向残差パラメータを復号する必要がない。
このように構成すれば、この実施の形態２の動画像符号化装置で符号化されたイントラ予測パラメータを好適に復号することができる。
当然、本実施の形態２による可変長符号化・復号手段は、当該処理対象パーティションやその隣接するパーティションが本実施の形態１で説明した上位階層のイントラ予測画像の一部を切り出す予測モードでない場合にも適用することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部（予測画像生成手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 可変長復号部（可変長復号手段）、２２ 切替スイッチ（予測画像生成手段）、２３ イントラ予測部（予測画像生成手段）、２４ 動き補償部（予測画像生成手段）、２５ 逆量子化・逆変換部（差分画像生成手段）、２６ 加算部（復号画像生成手段）、２７ イントラ予測用メモリ、２８ ループフィルタ部、２９ 動き補償予測フレームメモリ。

Claims (4)

1. 符号化処理の処理単位となる最大サイズの符号化ブロックを階層的に分割して得られる符号化ブロックの各々に適用する符号化モードを選択する符号化制御部と、
   前記符号化モードに基づいてイントラ予測モードが選択された場合、前記符号化ブロックのパーティションにイントラ予測を行うことによりイントラ予測画像を生成するイントラ予測部と、
   前記符号化モードに基づいてインター予測モードが選択された場合、前記符号化ブロックのパーティションに動き補償予測処理を実施することでインター予測画像を生成する動き補償予測部と、
   入力画像と前記イントラ予測画像または前記インター予測画像との差分画像を、予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換して前記差分画像の圧縮データを生成する変換部と、
   前記符号化ブロックの符号化モードと、前記予測差分符号化パラメータと、前記符号化ブロックのパーティションにイントラ予測を行うことで予測画像を生成するために用いられるイントラ予測パラメータと、前記圧縮データと、を可変長符号化して符号化データを生成する可変長符号化部と、を備え、
   前記可変長符号化部は、前記パーティションに用いられるイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化し、
   イントラ予測を行う前記パーティションの上または左に隣接するパーティションが複数存在する場合、前記パーティションの左上から遠ざかる方向に向かって最初のパーティションがそれぞれ上および左に隣接するパーティションとして選択され、
   前記パーティションに用いられるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じであれば、前記可変長符号化部は、前記上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定するイントラマージディレクションを可変長符号化し、
   前記パーティションに用いられるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じでなければ、前記可変長符号化部は、前記パーティションに用いられるイントラ予測パラメータを可変長符号化することを特徴とする画像符号化装置。
2. 上限の階層数に至るまで分割された符号化ブロックの符号化データを可変長復号して前記符号化ブロックの各々の符号化モード、予測差分符号化パラメータ、及び圧縮データを取得する可変長復号部と、
   前記符号化モードに基づいてイントラ予測モードが選択された場合、前記符号化ブロックのパーティションにイントラ予測を行うことによりイントラ予測画像を生成するイントラ予測部と、
   前記符号化モードに基づいてインター予測モードが選択された場合、前記符号化ブロックのパーティションに動き補償予測処理を実施することでインター予測画像を生成する動き補償部と、
   前記圧縮データを前記予測差分符号化パラメータに含まれている変換ブロックサイズ単位で逆変換し復号予測差分信号を出力する逆変換部と、
   前記圧縮データを復号して得られる前記復号予測差分信号と前記イントラ予測部により生成された前記イントラ予測画像または前記動き補償部により生成された前記インター予測画像とを加算して復号画像を生成する復号画像生成手段と、を備え、
   イントラ予測を行う前記符号化ブロックのパーティションの上または左に隣接するパーティションが複数存在する場合、前記符号化ブロックのパーティションの左上から遠ざかる方向に向かって最初のパーティションをそれぞれ上および左に隣接するパーティションとし、
   前記可変長復号部は、前記パーティションのイントラ予測パラメータが、前記符号化ブロックのパーティションの上または左に隣接するパーティションのイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを復号し、
   前記パーティションのイントラ予測パラメータが、上または左に隣接するパーティションのイントラ予測パラメータと同じであれば、前記可変長復号部は、上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定するイントラマージディレクションを復号し、
   前記パーティションにおけるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションにおけるイントラ予測パラメータと同じでなければ、前記可変長復号部は、前記パーティションのイントラ予測パラメータを復号することを特徴とする動画像復号装置。
3. 上限の階層数に至るまで分割された複数の符号化ブロックの各々の符号化モードを含む符号化データから構成される動画像符号化データであって、
   前記動画像符号化データは、前記複数の符号化ブロックの符号化データと、前記符号化ブロックの最大サイズ及び前記階層数が多重化され、
   前記符号化データは、前記符号化ブロックの前記符号化モードを備え、前記符号化ブロックのパーティションに係る符号化データを含み、
   前記符号化データは、
   前記符号化ブロックのパーティションにイントラ予測を行う際に用いたイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションにイントラ予測を行う際に用いたイントラ予測パラメータと同じであるか否かを示すイントラマージフラグと、
   前記イントラマージフラグが、前記パーティションにイントラ予測を行う際に用いられたイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと同じであることを示す場合に、上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定するイントラマージディレクションと、
   前記イントラマージフラグが、前記パーティションにイントラ予測を行う際に用いられたイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと同じでないことを示す場合に、当該パーティションのイントラ予測パラメータと、
   前記符号化モードが示す予測処理を実施して得られる予測画像と原画像との差分から生成される圧縮データと、
   前記圧縮データを逆量子化するための量子化パラメータと、変換ブロックサイズとを含む予測差分符号化パラメータとを備え、
   前記動画像符号化データを復号する動画像復号装置が、
   前記量子化パラメータを用いて前記圧縮データを逆量子化し、前記変換ブロックサイズ単位で逆変換処理することで復号予測差分信号を生成し、
   処理対象の符号化ブロックの符号化モードがイントラ予測である場合、前記符号化ブロックにおけるパーティションのイントラマージフラグを復号し、
   前記動画像復号装置が、当該イントラマージフラグに基づいて、処理対象のパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと、当該パーティションの上または左に隣接するパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと同じであることを特定した場合、前記動画像復号装置が、前記イントラマージディレクションを復号し、
   前記処理対象のパーティションの上または左に隣接するパーティションが複数存在する場合、左上から遠ざかる方向に向かって最初のパーティションをそれぞれ上および左に隣接するパーティションとし、
   前記動画像復号装置が、前記イントラマージディレクションに基づいて、上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定し、当該特定されたイントラ予測パラメータを用いて前記符号化モードが示す予測処理を実施することにより予測画像を生成し、
   前記動画像復号装置が、当該イントラマージフラグに基づいて、前記処理対象のパーティションにおけるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションにおけるイントラ予測パラメータと同じでないことを特定した場合、前記動画像復号装置が、前記パーティションのイントラ予測パラメータを復号し、当該復号されたイントラ予測パラメータを用いて前記符号化モードが示す予測処理を実施することにより予測画像を生成し、
   前記動画像復号装置が、前記復号予測差分信号と、前記生成された予測画像とを加算して復号画像を生成する処理に用いられることを特徴とする動画像符号化データ。
4. 上限の階層数に至るまで階層的に分割された符号化ブロックの符号化モードを含む符号化データを含むビットストリームを記録したコンピューター読み取り可能な記録媒体であって、
   前記記録媒体に記録されたビットストリームは、前記符号化ブロックの符号化データと、前記符号化ブロックの最大サイズ及び前記階層数が多重化され、
   前記符号化データは、前記符号化ブロックの前記符号化モードを備え、前記符号化ブロックのパーティションに係る符号化データを含み、
   前記符号化データは、
   前記符号化ブロックのパーティションのイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションのイントラ予測パラメータと同じであるか否かを示すイントラマージフラグと、
   前記イントラマージフラグが、前記パーティションのイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションのイントラ予測パラメータと同じであることを示す場合に、前記パーティションのイントラ予測パラメータが上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定し、隣接するパーティションのイントラ予測パラメータと同じイントラ予測パラメータの前記パーティションに対するイントラマージディレクションと、
   前記イントラマージフラグが、前記パーティションのイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションのイントラ予測パラメータと同じでないことを示す場合に用いられ、隣接するパーティションのイントラ予測パラメータと異なるイントラ予測パラメータの前記パーティションに対するイントラ予測パラメータと、
   前記符号化モードが示す予測処理を実施して得られる予測画像と原画像との差分から生成される圧縮データと、
   前記圧縮データを逆量子化するための量子化パラメータと、変換ブロックサイズとを含む予測差分符号化パラメータと、を備え、
   前記記録媒体に記録されたビットストリームを復号する動画像復号装置が、
   前記量子化パラメータを用いて前記圧縮データを逆量子化し、前記変換ブロックサイズ単位で逆変換処理することで復号予測差分信号を生成し、
   処理対象のパーティションを含む符号化ブロックの符号化モードがイントラ予測である場合、前記符号化ブロックにおける前記処理対象のパーティションのイントラマージフラグを復号し、
   前記動画像復号装置が、当該イントラマージフラグに基づいて、処理対象のパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと、当該処理対象のパーティションの上または左に隣接する隣接パーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと同じであることを特定した場合、前記動画像復号装置が、前記イントラマージディレクションを復号し、
   前記処理対象のパーティションの上または左に隣接するパーティションが複数存在する場合、左上から遠ざかる方向に向かって最初のパーティションをそれぞれ上および左に隣接するパーティションとし、
   前記動画像復号装置が、前記イントラマージディレクションに基づいて、上および左のいずれに隣接している隣接パーティションのイントラ予測パラメータと同じであるかを特定し、当該特定されたイントラ予測パラメータを用いて前記符号化モードが示す予測処理を実施することにより予測画像を生成し、
   前記動画像復号装置が、当該イントラマージフラグに基づいて、前記処理対象のパーティションにおけるイントラ予測パラメータが当該処理対象のパーティションの上または左に隣接する隣接パーティションにおけるイントラ予測パラメータと同じでないことを特定した場合、前記動画像復号装置が、前記処理対象のパーティションのイントラ予測パラメータを復号し、当該復号されたイントラ予測パラメータを用いて前記符号化モードが示す予測処理を実施することにより予測画像を生成し、
   前記動画像復号装置が、前記復号予測差分信号と、前記生成された予測画像とを加算して復号画像を生成する処理に用いられる
   ことを特徴とする記録媒体。

Images