JPWO2012176381A1 - 画像復号装置及び画像復号方法 - Google Patents

Abstract

フレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、フレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。

Description

この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック（符号化ブロック）に分割し、その符号化ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。

例えば、国際標準方式であるＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている（例えば、非特許文献１を参照）。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から１つの予測モードを選択することができる。
図１４は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
図１４では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが４×４画素の場合には、モード０からモード８の９つのイントラ予測モードが規定されている。

図１４において、モード２は平均値予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード２以外のモードは方向性予測を行うモードである。モード０は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード０が選択される。
モード１は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード１が選択される。
モード３からモード８は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向（矢印が示す方向）に補間画素を生成して予測画像を生成するものである。

ここで、イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素と同様に、９つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、１６×１６画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Ｐｌａｎｅ予測と呼ばれる４つのイントラ予測モードが規定されている。
Ｐｌａｎｅ予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。

なお、方向性予測モードは、予め定められている方向（予測方向）にブロックの隣接画素又は隣接画素から生成された補間画素を繰り返すことで予測値を生成するものであるため、図１５に示すような予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致し、なおかつ、予測方向に沿ってブロック内の信号値が一定である場合には、予測効率が高くなって符号量を削減することができる。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の動画像符号化装置は以上のように構成されているので、予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致し、なおかつ、その予測方向に沿って予測対象ブロック内の信号値が一定であれば、方向性予測を用いることで高精度に予測することができる。しかし、予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致していても、図１６に示すように、その予測方向に沿って信号値が変化している場合には、予測誤差が大きくなってしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。

この発明に係る動画像符号化装置は、イントラ予測手段が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するようにしたものである。

この発明によれば、イントラ予測手段が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を示す説明図である。 符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標を示す説明図である。 垂直方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する左の予測ブロックの隣接画素の一例を示す説明図である。 垂直方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。 水平方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する上の予測ブロックの隣接画素の一例を示す説明図である。 水平方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。 輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。 水平方向予測によって高精度に予測された予測画像の一例を示す説明図である。 水平方向予測によって予測を行った際に大きな予測誤差が発生する一例を示す説明図である。 符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１は入力画像を符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
なお、ブロック分割部１はブロック分割手段を構成している。

符号化制御部２は予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する処理を実施する。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部２は符号化制御手段を構成している。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部４は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部４及びイントラ予測用メモリ１０からイントラ予測手段が構成されている。

動き補償予測部５は切換スイッチ３から出力された符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。

減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、又は、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部７に出力する処理を実施する。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、減算部６及び変換・量子化部７から量子化手段が構成されている。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、又は、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタリング処理後の局所復号画像を格納する記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。
なお、可変長符号化部１３は可変長符号化手段を構成している。

図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。
なお、可変長復号部３１は可変長復号手段を構成している。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
なお、逆量子化・逆変換部３２は逆量子化手段を構成している。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。

イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）に対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部３４は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部３４及びイントラ予測用メモリ３７からイントラ予測手段が構成されている。

動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロックに対して、予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、又は、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。

イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタリング処理後の復号画像を格納する記録媒体である。

図３の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。

また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
ブロック分割部１は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図６に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢ^ｎに属する予測ブロックをＰ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にＰ₀ ⁰とＰ₁ ⁰の一例を示す。
符号化ブロックＢ^ｎの予測ブロック分割がどのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂ^ｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を減算して、その減算結果である予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、ループフィルタ部１１に映像信号を入力するように図１の動画像符号化装置を変更する必要がる。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了するとステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。

次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図７では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

イントラ予測部４は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度信号における予測ブロックＰ_ｉ ^ｎのイントラ予測信号を生成するイントラ処理について説明する。

予測ブロックＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図８はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰ_ｉ ^ｎの上の符号化済みの画素（２×ｌ_ｉ ^ｎ＋１）個と、左の符号化済みの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰ_ｉ ^ｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、下記の式（１）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。

このように、従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測の予測値である予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１）に対して、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素（図１０の太枠で囲った画素）の垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）に比例する値（垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。

なお、上記の１／ｔは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｔ＝２^ｘ＋１とすれば、図１１に示すように、スケーリング値が左端の列から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式（１）の予測処理を行う予測ブロックＰ_ｉ ^ｎのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは式（１）は適用せずに従来の垂直方向予測の予測値（予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１））とし、１６×１６画素より小さいブロックのみで式（１）を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、下記の式（２）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。

このように、従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の水平方向予測の予測値である予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ）に対して、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素（図１２の太枠で囲った画素）の水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）に比例する値（水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。

なお、上記の１／ｕは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｕ＝２^ｙ＋１とすれば、図１３に示すように、スケーリング値が上端の行から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式（２）の予測処理を行う予測ブロックＰ_ｉ ^ｎのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは式（２）は適用せずに従来の水平方向予測の予測値（予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ））とし、１６×１６画素より小さいブロックのみで式（２）を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の平均値を予測ブロックＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（垂直方向予測）、１（水平方向予測）、２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する。
図９に示すように、予測ブロックＰ_ｉ ^ｎの左上画素を原点として、予測ブロックＰ_ｉ ^ｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

ただし、ｋは負のスカラ値である。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。

予測ブロックＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の予測手法であってもよい。
例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ（イントラ予測モード）を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。

なお、垂直方向予測で用いるスケーリング値である１／ｔと、水平方向予測で用いるスケーリング値である１／ｕは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

また、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータｔ、水平方向予測で用いるスケーリング値のパラメータｕ、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグの内、いずれか１つでも可変長符号化されてビットストリームに多重化されている場合、図１の動画像符号化装置で符号化された単位（シーケンス単位、あるいは、ピクチャ単位）に復号する。

可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
さらに、可変長復号部３１は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。
即ち、イントラ予測部３４は、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、上記の式（１）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。
また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、上記の式（２）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。
ただし、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズが制限されている場合は、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックＰ_ｉ ^ｎでは従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算して復号画像を算出し、ループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３８は、全ての復号ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ部３８によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、１ピクチャ分の復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。

また、この実施の形態１によれば、動画像復号装置のイントラ予測部３４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。

この実施の形態１によれば、イントラ予測部４，３４により水平方向予測処理が実施される際に用いられるスケーリング値である１／ｕについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部４，３４により垂直方向予測処理が実施される際に用いられるスケーリング値である１／ｔについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。

なお、この実施の形態１では、イントラ予測部４，３４により水平方向予測処理が実施される際の予測ブロック内の第Ｎ行（予測ブロックの上端からＮ番目の行）のスケーリング値が１／２^Ｎ＋１（＝１／２，１／４，１／８，１／１６，・・・）であり、イントラ予測部４，３４により垂直方向予測処理が実施される際の予測ブロック内の第Ｍ列（予測ブロックの左端からＭ番目の列）のスケーリング値が１／２^Ｍ＋１（＝１／２，１／４，１／８，１／１６，・・・）である例を示したが、これは一例に過ぎず、イントラ予測部４，３４により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部４，３４により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。

実施の形態２．
上記実施の形態１では、イントラ予測部４，３４が、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に予測ブロック内の列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するものを示したが、低演算な処理を実現するために、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
また、同様の理由で、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に予測ブロック内の行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。

以下、イントラ予測部４，３４の処理内容を具体的に説明する。
イントラ予測部４，３４は、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合、下記の式（４）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、Ｂは０以上の整数であり、式（４）の上式を適用するｘ＜Ｂの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Ｂの値を小さくするほど、低演算な処理を実現することが可能であり、Ｂ＝０の場合、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み（復号済み）画素の輝度値Ｓ（ｘ，−１）のみを用いる従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測と一致する。
Ｂの値は、予測ブロックＰ_ｉ ^ｎのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックＰ_ｉ ^ｎのブロックサイズが所定サイズより小さい場合に限り、Ｂ≧１に設定し、予測ブロックＰ_ｉ ^ｎのブロックサイズが所定サイズ以上であれば、Ｂ＝０とする。
例えば、所定サイズが１６×１６画素であれば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは、Ｂ＝０となるため、従来の垂直方向予測と同じなり、演算処理の増加を抑制することができる。即ち、Ｂ＝０のブロックサイズでは、ｘ＜Ｂかｘ≧Ｂかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の垂直方向予測を行うようにすることで、従来の垂直方向予測処理からの演算処理の増加は一切発生しない。
一方、４×４画素や８×８画素等の１６×１６画素より小さいブロックサイズの予測ブロックＰ_ｉ ^ｎでは、Ｂ≧１となるため、従来の垂直方向予測よりも予測性能を向上させることができる。

例えば、４×４画素のブロックサイズの予測ブロックＰ_ｉ ^ｎにおいて、Ｂ＝１である場合、予測ブロックＰ_ｉ ^ｎ内の１番左の列については、式（４）の上式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックＰ_ｉ ^ｎ内の左端から２番目〜４番目の列については、式（４）の下式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値は加算されない。
このようにＢの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。

なお、実際の装置としては、上記の式（４）のとおり、ｘ＜Ｂの位置の画素と、ｘ≧Ｂの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックＰ_ｉ ^ｎ内の全ての画素に対して、従来の垂直方向予測の予測値である予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み（復号済み）画素の輝度値Ｓ（ｘ，−１）をコピーした後に、ｘ＜Ｂの位置の画素のみＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。

また、イントラ予測部４，３４は、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合、下記の式（５）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、Ｃは０以上の整数であり、式（５）の上式を適用するｘ＜Ｃの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Ｃの値を小さくするほど、低演算な処理を実現することが可能であり、Ｃ＝０の場合、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み（復号済み）画素の輝度値Ｓ（−１，ｙ）のみを用いる従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の水平方向予測と一致する。
Ｃの値は、予測ブロックＰ_ｉ ^ｎのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックＰ_ｉ ^ｎのブロックサイズが所定サイズより小さい場合に限り、Ｃ≧１に設定し、予測ブロックＰ_ｉ ^ｎのブロックサイズが所定サイズ以上であれば、Ｃ＝０とする。
例えは、所定サイズが１６×１６画素であれば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは、Ｃ＝０となるため、従来の水平方向予測と同じなり、演算処理の増加を抑制することができる。即ち、Ｃ＝０のブロックサイズでは、ｙ＜Ｃかｙ≧Ｃかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の水平方向予測を行うようにすることで、従来の水平方向予測処理からの演算処理の増加は一切発生しない。
一方、４×４画素や８×８画素等の１６×１６画素より小さいブロックサイズの予測ブロックＰ_ｉ ^ｎでは、Ｃ≧１となるため、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を大幅に抑えることができる。

例えば、４×４画素のブロックサイズの予測ブロックＰ_ｉ ^ｎにおいて、Ｃ＝１である場合、予測ブロックＰ_ｉ ^ｎ内の１番上の行については、式（５）の上式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックＰ_ｉ ^ｎ内の上端から２番目〜４番目の行については、式（５）の下式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値は加算されない。
このようにＣの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。

なお、実際の装置としては、上記の式（５）のとおり、ｙ＜Ｃの位置の画素と、ｙ≧Ｃの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックＰ_ｉ ^ｎ内の全ての画素に対して、従来の水平方向予測の予測値である予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み（復号済み）画素の輝度値Ｓ（−１，ｙ）をコピーした後に、ｙ＜Ｃの位置の画素のみＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。

なお、垂直方向予測で用いるスケーリング値である１／ｔやＢ（予測ブロックの上に隣接している画素の輝度値に対して、符号化ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算する予測ブロック内の列を示すブロック内情報）と、水平方向予測で用いるスケーリング値である１／ｕやＣ（予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算する予測ブロック内の行を示すブロック内情報）は、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕ，Ｂ，Ｃを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕ，Ｂ，Ｃを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕ，Ｂ，Ｃを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕ，Ｂ，Ｃを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

また、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

以上で明らかなように、この実施の形態２によれば、イントラ予測部４，３４は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、水平方向予測の予測効率を改善することができる効果を奏する。
また、イントラ予測部４，３４は、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、垂直方向予測の予測効率を改善することができる効果を奏する。

実施の形態３．
この実施の形態３における動画像符号化装置の構成図は、上記実施の形態１で示した図１と同様であり、この実施の形態３における動画像復号装置の構成図は、上記実施の形態１で示した図３と同様である。

次に動作について説明する。
この実施の形態３では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態３では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態３では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。

また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
ブロック分割部１は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図６に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢ^ｎに属する予測ブロックをＰ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にＰ₀ ⁰とＰ₁ ⁰の一例を示す。
符号化ブロックＢ^ｎの予測ブロック分割がどのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂ^ｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を減算して、その減算結果である予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、ループフィルタ部１１に映像信号を入力するように図１の動画像符号化装置を変更する必要がる。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了するとステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。

次に、イントラ予測部４の処理内容を詳細に説明する。
図１７は符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。ただし、Ｎ_Ｉはイントラ予測モード数を表している。
図１７では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図１７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

イントラ予測部４は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度信号における予測ブロックＰ_ｉ ^ｎのイントラ予測信号を生成するイントラ処理について説明する。

予測ブロックＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図８はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰ_ｉ ^ｎの上の符号化済みの画素（２×ｌ_ｉ ^ｎ＋１）個と、左の符号化済みの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰ_ｉ ^ｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素を用いて、予測ブロックＰ_ｉ ^ｎ内の予測対象画素と上記隣接画素との距離に応じて内挿した値を予測値として予測画像を生成する。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（垂直方向予測）の場合には、下記の式（１）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。

このように、従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測の予測値である予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１）に対して、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素（図１０の太枠で囲った画素）の垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）に比例する値（垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。

なお、上記の１／ｔは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｔ＝２^ｘ＋１とすれば、図１１に示すように、スケーリング値が左端の列から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰｉｎの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、ｔ＝２^ｘ＋１の場合、式（１）を下記に示すようにビットシフトによる式で表現することができる。

式（１ａ）において、“＞＞ａ”は、右にａビットだけ算術シフトする演算を示している。
式（１）の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、Ｓ（−１，ｙ）−Ｓ（−１，−１）は負値も取り得るため、実装環境（コンパイラ）等によっては“＞＞”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式（１）と異なってしまう場合がある。
そこで、実装環境に依存しないｔ＝２^ｘ＋１の場合の式（１）の近似式としては、下記の式（１ｂ）が挙げられる。

式（１ｂ）では、輝度値輝度値Ｓ（−１，ｙ）、Ｓ（−１，−１）をそれぞれ先に（ｘ＋１）ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。

また、式（１）の予測処理を行う予測ブロックＰ_ｉ ^ｎのブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは、式（１）を適用せずに、従来の垂直方向予測の予測値（予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１））とし、１６×１６画素より小さいブロックのみで式（１）を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（水平方向予測）の場合には、下記の式（２）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。

このように、従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の水平方向予測の予測値である予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ）に対して、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素（図１２の太枠で囲った画素）の水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）に比例する値（水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。

なお、上記の１／ｕは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｕ＝２^ｙ＋１とすれば、図１３に示すように、スケーリング値が上端の行から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰｉｎの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、ｕ＝２^ｙ＋１の場合、式（２）を下記に示すようにビットシフトによる式で表現することができる。

式（２ａ）において、“＞＞ａ”は、右にａビットだけ算術シフトする演算を示している。
式（２）の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、Ｓ（ｘ，−１）−Ｓ（−１，−１）は負値も取り得るため、実装環境（コンパイラ）等によっては“＞＞”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式（２）と異なってしまう場合がある。
そこで、実装環境に依存しないｕ＝２^ｙ＋１の場合の式（２）の近似式としては、下記の式（２ｂ）が挙げられる。

式（２ｂ）では、輝度値輝度値Ｓ（ｘ，−１）、Ｓ（−１，−１）をそれぞれ先に（ｙ＋１）ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。

また、式（２）の予測処理を行う予測ブロックＰ_ｉ ^ｎのブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは、式（２）を適用せずに、従来の水平方向予測の予測値（予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ））とし、１６×１６画素より小さいブロックのみで式（２）を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が３（平均値（ＤＣ）予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の平均値を予測ブロックＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）、１（垂直方向予測）、２（水平方向予測）、３（平均値（ＤＣ）予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する。
図９に示すように、予測ブロックＰ_ｉ ^ｎの左上画素を原点として、予測ブロックＰ_ｉ ^ｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

ただし、ｋは負のスカラ値である。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。

予測ブロックＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の予測手法であってもよい。
例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ（イントラ予測モード）を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。

なお、垂直方向予測で用いるスケーリング値である１／ｔと、水平方向予測で用いるスケーリング値である１／ｕは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

また、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータｔ、水平方向予測で用いるスケーリング値のパラメータｕ、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグの内、いずれか１つでも可変長符号化されてビットストリームに多重化されている場合、図１の動画像符号化装置で符号化された単位（シーケンス単位、あるいは、ピクチャ単位）に復号する。

可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。

さらに、可変長復号部３１は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。
即ち、イントラ予測部３４は、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、上記の式（１）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。
また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、上記の式（２）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。
ただし、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズが制限されている場合は、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックＰ_ｉ ^ｎでは従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算して復号画像を算出し、ループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３８は、全ての復号ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ部３８によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、１ピクチャ分の復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態３によれば、動画像符号化装置のイントラ予測部４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。

また、この実施の形態３によれば、動画像復号装置のイントラ予測部３４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。

この実施の形態３によれば、イントラ予測部４，３４により水平方向予測処理が実施される際に用いられるスケーリング値である１／ｕについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部４，３４により垂直方向予測処理が実施される際に用いられるスケーリング値である１／ｔについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。

なお、この実施の形態３では、イントラ予測部４，３４により水平方向予測処理が実施される際の予測ブロック内の第Ｎ行（予測ブロックの上端からＮ番目の行）のスケーリング値が１／２^Ｎ＋１（＝１／２，１／４，１／８，１／１６，・・・）であり、イントラ予測部４，３４により垂直方向予測処理が実施される際の予測ブロック内の第Ｍ列（予測ブロックの左端からＭ番目の列）のスケーリング値が１／２^Ｍ＋１（＝１／２，１／４，１／８，１／１６，・・・）である例を示したが、これは一例に過ぎず、イントラ予測部４，３４により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部４，３４により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明は、動画像を高効率で符号化を行う必要がある動画像符号化装置に適しており、また、高効率で符号化されている動画像を復号する必要がある動画像復号装置に適している。

１ ブロック分割部（ブロック分割手段）、２ 符号化制御部（符号化制御手段）、３ 切換スイッチ、４ イントラ予測部（イントラ予測手段）、５ 動き補償予測部（動き補償予測手段）、６ 減算部（量子化手段）、７ 変換・量子化部（量子化手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ（イントラ予測手段）、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ（動き補償予測手段）、１３ 可変長符号化部（可変長符号化手段）、３１ 可変長復号部（可変長復号手段）、３２ 逆量子化・逆変換部（逆量子化手段）、３３ 切換スイッチ、３４ イントラ予測部（イントラ予測手段）、３５ 動き補償部（動き補償予測手段）、３６ 加算部、３７ イントラ予測用メモリ（イントラ予測手段）、３８ ループフィルタ部、３９ 動き補償予測フレームメモリ（動き補償予測手段）。

この発明は、高効率で符号化されている動画像を復号する画像復号装置及び画像復号方法に関するものである。

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック（符号化ブロック）に分割し、その符号化ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。

例えば、国際標準方式であるＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている（例えば、非特許文献１を参照）。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から１つの予測モードを選択することができる。
図１４は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
図１４では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが４×４画素の場合には、モード０からモード８の９つのイントラ予測モードが規定されている。

図１４において、モード２は平均値予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード２以外のモードは方向性予測を行うモードである。モード０は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード０が選択される。
モード１は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード１が選択される。
モード３からモード８は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向（矢印が示す方向）に補間画素を生成して予測画像を生成するものである。

ここで、イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素と同様に、９つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、１６×１６画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Ｐｌａｎｅ予測と呼ばれる４つのイントラ予測モードが規定されている。
Ｐｌａｎｅ予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。

なお、方向性予測モードは、予め定められている方向（予測方向）にブロックの隣接画素又は隣接画素から生成された補間画素を繰り返すことで予測値を生成するものであるため、図１５に示すような予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致し、なおかつ、予測方向に沿ってブロック内の信号値が一定である場合には、予測効率が高くなって符号量を削減することができる。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の画像符号化装置は以上のように構成されているので、予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致し、なおかつ、その予測方向に沿って予測対象ブロック内の信号値が一定であれば、方向性予測を用いることで高精度に予測することができる。しかし、予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致していても、図１６に示すように、その予測方向に沿って信号値が変化している場合には、予測誤差が大きくなってしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる画像復号装置及び画像復号方法を得ることを目的とする。

この発明に係る画像復号装置は、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロックの予測処理の単位となるブロック毎にフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測パラメータが水平方向予測処理を示す場合、ブロックの左に隣接している画素の輝度値に対して、ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値とするようにしたものである。

この発明によれば、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロックの予測処理の単位となるブロック毎にフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測パラメータが水平方向予測処理を示す場合、ブロックの左に隣接している画素の輝度値に対して、ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値とするように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を示す説明図である。 符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標を示す説明図である。 垂直方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する左の予測ブロックの隣接画素の一例を示す説明図である。 垂直方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。 水平方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する上の予測ブロックの隣接画素の一例を示す説明図である。 水平方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。 輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。 水平方向予測によって高精度に予測された予測画像の一例を示す説明図である。 水平方向予測によって予測を行った際に大きな予測誤差が発生する一例を示す説明図である。 符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１は入力画像を符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
なお、ブロック分割部１はブロック分割手段を構成している。

符号化制御部２は予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する処理を実施する。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部２は符号化制御手段を構成している。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部４は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部４及びイントラ予測用メモリ１０からイントラ予測手段が構成されている。

動き補償予測部５は切換スイッチ３から出力された符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。

減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、又は、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部７に出力する処理を実施する。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、減算部６及び変換・量子化部７から量子化手段が構成されている。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、又は、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタリング処理後の局所復号画像を格納する記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。
なお、可変長符号化部１３は可変長符号化手段を構成している。

図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。
なお、可変長復号部３１は可変長復号手段を構成している。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
なお、逆量子化・逆変換部３２は逆量子化手段を構成している。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。

イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）に対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部３４は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部３４及びイントラ予測用メモリ３７からイントラ予測手段が構成されている。

動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロックに対して、予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、又は、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。

イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタリング処理後の復号画像を格納する記録媒体である。

図３の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。

また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
ブロック分割部１は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図６に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢ^ｎに属する予測ブロックをＰ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にＰ₀ ⁰とＰ₁ ⁰の一例を示す。
符号化ブロックＢ^ｎの予測ブロック分割がどのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂ^ｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を減算して、その減算結果である予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、ループフィルタ部１１に映像信号を入力するように図１の動画像符号化装置を変更する必要がる。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了するとステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。

次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図７では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

イントラ予測部４は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度信号における予測ブロックＰ_ｉ ^ｎのイントラ予測信号を生成するイントラ処理について説明する。

予測ブロックＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図８はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰ_ｉ ^ｎの上の符号化済みの画素（２×ｌ_ｉ ^ｎ＋１）個と、左の符号化済みの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰ_ｉ ^ｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、下記の式（１）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。

このように、従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測の予測値である予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１）に対して、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素（図１０の太枠で囲った画素）の垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）に比例する値（垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。

なお、上記の１／ｔは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｔ＝２^ｘ＋１とすれば、図１１に示すように、スケーリング値が左端の列から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式（１）の予測処理を行う予測ブロックＰ_ｉ ^ｎのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは式（１）は適用せずに従来の垂直方向予測の予測値（予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１））とし、１６×１６画素より小さいブロックのみで式（１）を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、下記の式（２）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。

このように、従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の水平方向予測の予測値である予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ）に対して、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素（図１２の太枠で囲った画素）の水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）に比例する値（水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。

なお、上記の１／ｕは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｕ＝２^ｙ＋１とすれば、図１３に示すように、スケーリング値が上端の行から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式（２）の予測処理を行う予測ブロックＰ_ｉ ^ｎのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは式（２）は適用せずに従来の水平方向予測の予測値（予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ））とし、１６×１６画素より小さいブロックのみで式（２）を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の平均値を予測ブロックＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（垂直方向予測）、１（水平方向予測）、２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する。
図９に示すように、予測ブロックＰ_ｉ ^ｎの左上画素を原点として、予測ブロックＰ_ｉ ^ｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

ただし、ｋは負のスカラ値である。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。

予測ブロックＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の予測手法であってもよい。
例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ（イントラ予測モード）を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。

なお、垂直方向予測で用いるスケーリング値である１／ｔと、水平方向予測で用いるスケーリング値である１／ｕは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

また、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータｔ、水平方向予測で用いるスケーリング値のパラメータｕ、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグの内、いずれか１つでも可変長符号化されてビットストリームに多重化されている場合、図１の動画像符号化装置で符号化された単位（シーケンス単位、あるいは、ピクチャ単位）に復号する。

可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
さらに、可変長復号部３１は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。
即ち、イントラ予測部３４は、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、上記の式（１）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。
また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、上記の式（２）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。
ただし、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズが制限されている場合は、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックＰ_ｉ ^ｎでは従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算して復号画像を算出し、ループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３８は、全ての復号ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ部３８によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、１ピクチャ分の復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。

また、この実施の形態１によれば、動画像復号装置のイントラ予測部３４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。

この実施の形態１によれば、イントラ予測部４，３４により水平方向予測処理が実施される際に用いられるスケーリング値である１／ｕについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部４，３４により垂直方向予測処理が実施される際に用いられるスケーリング値である１／ｔについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。

なお、この実施の形態１では、イントラ予測部４，３４により水平方向予測処理が実施される際の予測ブロック内の第Ｎ行（予測ブロックの上端からＮ番目の行）のスケーリング値が１／２^Ｎ＋１（＝１／２，１／４，１／８，１／１６，・・・）であり、イントラ予測部４，３４により垂直方向予測処理が実施される際の予測ブロック内の第Ｍ列（予測ブロックの左端からＭ番目の列）のスケーリング値が１／２^Ｍ＋１（＝１／２，１／４，１／８，１／１６，・・・）である例を示したが、これは一例に過ぎず、イントラ予測部４，３４により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部４，３４により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。

実施の形態２．
上記実施の形態１では、イントラ予測部４，３４が、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に予測ブロック内の列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するものを示したが、低演算な処理を実現するために、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
また、同様の理由で、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に予測ブロック内の行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。

以下、イントラ予測部４，３４の処理内容を具体的に説明する。
イントラ予測部４，３４は、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合、下記の式（４）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、Ｂは０以上の整数であり、式（４）の上式を適用するｘ＜Ｂの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Ｂの値を小さくするほど、低演算な処理を実現することが可能であり、Ｂ＝０の場合、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み（復号済み）画素の輝度値Ｓ（ｘ，−１）のみを用いる従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測と一致する。
Ｂの値は、予測ブロックＰ_ｉ ^ｎのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックＰ_ｉ ^ｎのブロックサイズが所定サイズより小さい場合に限り、Ｂ≧１に設定し、予測ブロックＰ_ｉ ^ｎのブロックサイズが所定サイズ以上であれば、Ｂ＝０とする。
例えば、所定サイズが１６×１６画素であれば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは、Ｂ＝０となるため、従来の垂直方向予測と同じなり、演算処理の増加を抑制することができる。即ち、Ｂ＝０のブロックサイズでは、ｘ＜Ｂかｘ≧Ｂかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の垂直方向予測を行うようにすることで、従来の垂直方向予測処理からの演算処理の増加は一切発生しない。
一方、４×４画素や８×８画素等の１６×１６画素より小さいブロックサイズの予測ブロックＰ_ｉ ^ｎでは、Ｂ≧１となるため、従来の垂直方向予測よりも予測性能を向上させることができる。

例えば、４×４画素のブロックサイズの予測ブロックＰ_ｉ ^ｎにおいて、Ｂ＝１である場合、予測ブロックＰ_ｉ ^ｎ内の１番左の列については、式（４）の上式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックＰ_ｉ ^ｎ内の左端から２番目〜４番目の列については、式（４）の下式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値は加算されない。
このようにＢの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。

なお、実際の装置としては、上記の式（４）のとおり、ｘ＜Ｂの位置の画素と、ｘ≧Ｂの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックＰ_ｉ ^ｎ内の全ての画素に対して、従来の垂直方向予測の予測値である予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み（復号済み）画素の輝度値Ｓ（ｘ，−１）をコピーした後に、ｘ＜Ｂの位置の画素のみＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。

また、イントラ予測部４，３４は、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合、下記の式（５）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、Ｃは０以上の整数であり、式（５）の上式を適用するｘ＜Ｃの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Ｃの値を小さくするほど、低演算な処理を実現することが可能であり、Ｃ＝０の場合、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み（復号済み）画素の輝度値Ｓ（−１，ｙ）のみを用いる従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の水平方向予測と一致する。
Ｃの値は、予測ブロックＰ_ｉ ^ｎのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックＰ_ｉ ^ｎのブロックサイズが所定サイズより小さい場合に限り、Ｃ≧１に設定し、予測ブロックＰ_ｉ ^ｎのブロックサイズが所定サイズ以上であれば、Ｃ＝０とする。
例えは、所定サイズが１６×１６画素であれば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは、Ｃ＝０となるため、従来の水平方向予測と同じなり、演算処理の増加を抑制することができる。即ち、Ｃ＝０のブロックサイズでは、ｙ＜Ｃかｙ≧Ｃかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の水平方向予測を行うようにすることで、従来の水平方向予測処理からの演算処理の増加は一切発生しない。
一方、４×４画素や８×８画素等の１６×１６画素より小さいブロックサイズの予測ブロックＰ_ｉ ^ｎでは、Ｃ≧１となるため、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を大幅に抑えることができる。

例えば、４×４画素のブロックサイズの予測ブロックＰ_ｉ ^ｎにおいて、Ｃ＝１である場合、予測ブロックＰ_ｉ ^ｎ内の１番上の行については、式（５）の上式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックＰ_ｉ ^ｎ内の上端から２番目〜４番目の行については、式（５）の下式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値は加算されない。
このようにＣの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。

なお、実際の装置としては、上記の式（５）のとおり、ｙ＜Ｃの位置の画素と、ｙ≧Ｃの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックＰ_ｉ ^ｎ内の全ての画素に対して、従来の水平方向予測の予測値である予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み（復号済み）画素の輝度値Ｓ（−１，ｙ）をコピーした後に、ｙ＜Ｃの位置の画素のみＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。

なお、垂直方向予測で用いるスケーリング値である１／ｔやＢ（予測ブロックの上に隣接している画素の輝度値に対して、符号化ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算する予測ブロック内の列を示すブロック内情報）と、水平方向予測で用いるスケーリング値である１／ｕやＣ（予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算する予測ブロック内の行を示すブロック内情報）は、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕ，Ｂ，Ｃを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕ，Ｂ，Ｃを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕ，Ｂ，Ｃを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕ，Ｂ，Ｃを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

また、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

以上で明らかなように、この実施の形態２によれば、イントラ予測部４，３４は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、水平方向予測の予測効率を改善することができる効果を奏する。
また、イントラ予測部４，３４は、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、垂直方向予測の予測効率を改善することができる効果を奏する。

実施の形態３．
この実施の形態３における動画像符号化装置の構成図は、上記実施の形態１で示した図１と同様であり、この実施の形態３における動画像復号装置の構成図は、上記実施の形態１で示した図３と同様である。

次に動作について説明する。
この実施の形態３では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態３では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態３では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。

また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
ブロック分割部１は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図６に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢ^ｎに属する予測ブロックをＰ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にＰ₀ ⁰とＰ₁ ⁰の一例を示す。
符号化ブロックＢ^ｎの予測ブロック分割がどのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂ^ｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を減算して、その減算結果である予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、ループフィルタ部１１に映像信号を入力するように図１の動画像符号化装置を変更する必要がる。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了するとステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。

次に、イントラ予測部４の処理内容を詳細に説明する。
図１７は符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。ただし、Ｎ_Ｉはイントラ予測モード数を表している。
図１７では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図１７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

イントラ予測部４は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度信号における予測ブロックＰ_ｉ ^ｎのイントラ予測信号を生成するイントラ処理について説明する。

予測ブロックＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図８はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰ_ｉ ^ｎの上の符号化済みの画素（２×ｌ_ｉ ^ｎ＋１）個と、左の符号化済みの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰ_ｉ ^ｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素を用いて、予測ブロックＰ_ｉ ^ｎ内の予測対象画素と上記隣接画素との距離に応じて内挿した値を予測値として予測画像を生成する。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（垂直方向予測）の場合には、下記の式（１）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。

このように、従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測の予測値である予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１）に対して、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素（図１０の太枠で囲った画素）の垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）に比例する値（垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。

なお、上記の１／ｔは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｔ＝２^ｘ＋１とすれば、図１１に示すように、スケーリング値が左端の列から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰｉｎの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、ｔ＝２^ｘ＋１の場合、式（１）を下記に示すようにビットシフトによる式で表現することができる。

式（１ａ）において、“＞＞ａ”は、右にａビットだけ算術シフトする演算を示している。
式（１）の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、Ｓ（−１，ｙ）−Ｓ（−１，−１）は負値も取り得るため、実装環境（コンパイラ）等によっては“＞＞”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式（１）と異なってしまう場合がある。
そこで、実装環境に依存しないｔ＝２^ｘ＋１の場合の式（１）の近似式としては、下記の式（１ｂ）が挙げられる。

式（１ｂ）では、輝度値輝度値Ｓ（−１，ｙ）、Ｓ（−１，−１）をそれぞれ先に（ｘ＋１）ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。

また、式（１）の予測処理を行う予測ブロックＰ_ｉ ^ｎのブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは、式（１）を適用せずに、従来の垂直方向予測の予測値（予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１））とし、１６×１６画素より小さいブロックのみで式（１）を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（水平方向予測）の場合には、下記の式（２）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。

このように、従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の水平方向予測の予測値である予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ）に対して、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素（図１２の太枠で囲った画素）の水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）に比例する値（水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。

なお、上記の１／ｕは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｕ＝２^ｙ＋１とすれば、図１３に示すように、スケーリング値が上端の行から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰｉｎの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、ｕ＝２^ｙ＋１の場合、式（２）を下記に示すようにビットシフトによる式で表現することができる。

式（２ａ）において、“＞＞ａ”は、右にａビットだけ算術シフトする演算を示している。
式（２）の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、Ｓ（ｘ，−１）−Ｓ（−１，−１）は負値も取り得るため、実装環境（コンパイラ）等によっては“＞＞”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式（２）と異なってしまう場合がある。
そこで、実装環境に依存しないｕ＝２^ｙ＋１の場合の式（２）の近似式としては、下記の式（２ｂ）が挙げられる。

式（２ｂ）では、輝度値輝度値Ｓ（ｘ，−１）、Ｓ（−１，−１）をそれぞれ先に（ｙ＋１）ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。

また、式（２）の予測処理を行う予測ブロックＰ_ｉ ^ｎのブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰ_ｉ ^ｎでは、式（２）を適用せずに、従来の水平方向予測の予測値（予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ））とし、１６×１６画素より小さいブロックのみで式（２）を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が３（平均値（ＤＣ）予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の平均値を予測ブロックＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）、１（垂直方向予測）、２（水平方向予測）、３（平均値（ＤＣ）予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する。
図９に示すように、予測ブロックＰ_ｉ ^ｎの左上画素を原点として、予測ブロックＰ_ｉ ^ｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

ただし、ｋは負のスカラ値である。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。

予測ブロックＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の予測手法であってもよい。
例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ（イントラ予測モード）を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。

なお、垂直方向予測で用いるスケーリング値である１／ｔと、水平方向予測で用いるスケーリング値である１／ｕは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

また、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。

次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータｔ、水平方向予測で用いるスケーリング値のパラメータｕ、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグの内、いずれか１つでも可変長符号化されてビットストリームに多重化されている場合、図１の動画像符号化装置で符号化された単位（シーケンス単位、あるいは、ピクチャ単位）に復号する。

可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。

さらに、可変長復号部３１は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。
即ち、イントラ予測部３４は、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、上記の式（１）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。
また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、上記の式（２）から予測ブロックＰ_ｉ ^ｎ内の画素の予測値を算出して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。
ただし、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズが制限されている場合は、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックＰ_ｉ ^ｎでは従来（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、又は、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算して復号画像を算出し、ループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３８は、全ての復号ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ部３８によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、１ピクチャ分の復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態３によれば、動画像符号化装置のイントラ予測部４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。

また、この実施の形態３によれば、動画像復号装置のイントラ予測部３４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。

この実施の形態３によれば、イントラ予測部４，３４により水平方向予測処理が実施される際に用いられるスケーリング値である１／ｕについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部４，３４により垂直方向予測処理が実施される際に用いられるスケーリング値である１／ｔについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。

なお、この実施の形態３では、イントラ予測部４，３４により水平方向予測処理が実施される際の予測ブロック内の第Ｎ行（予測ブロックの上端からＮ番目の行）のスケーリング値が１／２^Ｎ＋１（＝１／２，１／４，１／８，１／１６，・・・）であり、イントラ予測部４，３４により垂直方向予測処理が実施される際の予測ブロック内の第Ｍ列（予測ブロックの左端からＭ番目の列）のスケーリング値が１／２^Ｍ＋１（＝１／２，１／４，１／８，１／１６，・・・）である例を示したが、これは一例に過ぎず、イントラ予測部４，３４により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部４，３４により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ ブロック分割部（ブロック分割手段）、２ 符号化制御部（符号化制御手段）、３ 切換スイッチ、４ イントラ予測部（イントラ予測手段）、５ 動き補償予測部（動き補償予測手段）、６ 減算部（量子化手段）、７ 変換・量子化部（量子化手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ（イントラ予測手段）、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ（動き補償予測手段）、１３ 可変長符号化部（可変長符号化手段）、３１ 可変長復号部（可変長復号手段）、３２ 逆量子化・逆変換部（逆量子化手段）、３３ 切換スイッチ、３４ イントラ予測部（イントラ予測手段）、３５ 動き補償部（動き補償予測手段）、３６ 加算部、３７ イントラ予測用メモリ（イントラ予測手段）、３８ ループフィルタ部、３９ 動き補償予測フレームメモリ（動き補償予測手段）。

Claims (20)

1. 符号化ブロックに対応する符号化モードとして、イントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
   上記イントラ予測手段は、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
   上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像符号化装置。
2. 符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備えていることを特徴とする請求項１記載の動画像符号化装置。
3. ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
   差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックとイントラ予測手段又は上記動き補償予測手段により生成された予測画像との差分画像を生成することを特徴とする請求項２記載の動画像符号化装置。
4. 符号化制御手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを当該符号化ブロックの予測ブロック毎に決定し、
   画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化して量子化後の変換係数を上記差分画像の圧縮データとして出力し、
   可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータと、量子化パラメータ及び変換ブロックサイズとを可変長符号化して、上記圧縮データ、上記符号化モード、上記イントラ予測パラメータ又は上記インター予測パラメータ、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されたビットストリームを生成することを特徴とする請求項３記載の動画像符号化装置。
5. イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に上記予測ブロックの行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定し、
   上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に上記予測ブロックの列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする請求項１記載の動画像符号化装置。
6. イントラ予測手段により水平方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの上に隣接している画素からの距離が遠い行に係るスケーリング値ほど小さな値に設定され、上記イントラ予測手段により垂直方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの左に隣接している画素からの距離が遠い列に係るスケーリング値ほど小さな値に設定されていることを特徴とする請求項５記載の動画像符号化装置。
7. イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロック内の上端から所定の行数内の行については、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの行については、上記予測ブロックの左に隣接している画素の輝度値を上記予測画像の予測値に決定し、
   上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロック内の左端から所定の列数内の列については、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの列については、上記予測ブロックの上に隣接している画素の輝度値を上記予測画像の予測値に決定することを特徴とする請求項１記載の動画像符号化装置。
8. 可変長符号化手段は、上記予測ブロックの行毎に設定されているスケーリング値及び上記予測ブロックの列毎に設定されているスケーリング値を可変長符号化して、上記スケーリング値、圧縮データ及び符号化モードの符号化データが多重化されたビットストリームを生成することを特徴とする請求項５記載の動画像符号化装置。
9. 可変長符号化手段は、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の行を特定するブロック内情報、又は、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の列を特定するブロック内情報を可変長符号化し、上記ブロック内情報、圧縮データ及び符号化モードの符号化データが多重化されたビットストリームを生成することを特徴とする請求項７記載の動画像符号化装置。
10. 可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
    上記イントラ予測手段は、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像復号装置。
11. ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記イントラ予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備えていることを特徴とする請求項１０記載の動画像復号装置。
12. 可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
    復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項１１記載の動画像復号装置。
13. 可変長復号手段は、ビットストリームに多重化された符号化データから各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ又はインター予測パラメータ、量子化パラメータ及び変換ブロックサイズを可変長復号し、
    差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項１２記載の動画像復号装置。
14. イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に上記予測ブロックの行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に上記予測ブロックの列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする請求項１０記載の動画像復号装置。
15. イントラ予測手段により水平方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定され、上記イントラ予測手段により垂直方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されていることを特徴とする請求項１４記載の動画像復号装置。
16. イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロック内の上端から所定の行数内の行については、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの行については、上記予測ブロックの左に隣接している画素の輝度値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロック内の左端から所定の列数内の列については、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの列については、上記予測ブロックの上に隣接している画素の輝度値を上記予測画像の予測値に決定することを特徴とする請求項１０記載の動画像復号装置。
17. 可変長復号手段は、ビットストリームに多重化された符号化データから符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する際、上記予測ブロックの行毎に設定されているスケーリング値及び上記予測ブロックの列毎に設定されているスケーリング値を可変長復号することを特徴とする請求項１４記載の動画像復号装置。
18. 可変長復号手段は、ビットストリームに多重化された符号化データから符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する際、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の行を特定するブロック内情報、又は、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の列を特定するブロック内情報を可変長復号することを特徴とする請求項１６記載の動画像復号装置。
19. イントラ予測手段が、符号化ブロックに対応する符号化モードとして、イントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
    上記イントラ予測処理ステップでは、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像符号化方法。
20. イントラ予測手段が、可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
    上記イントラ予測処理ステップでは、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像復号方法。

Images