JPWO2010067668A1 - 画像符号化装置及び画像復号装置 - Google Patents

Abstract

サイド情報の増加を抑えつつ、複数の分割モードの中から画像の特性に適合した分割モードを選択可能にする。画像符号化装置１は、入力画像を複数のマクロブロックに分割し、マクロブロック単位で符号化処理を行う。画像符号化装置１は、マクロブロック毎に予測画像の生成方法を示す予測モードを判定する予測モード判定部１４８と、予測モード判定部１４８により判定された予測モードに応じて、マクロブロック毎にサブマクロブロックへの分割方法を示す分割モードを決定する分割モード決定部１４９と、分割モード決定部１４９により決定された分割モードに基づいてマクロブロックをサブマクロブロックに分割するＳＭＢ分割部１４０と、予測モード判定部１４８により判定された予測モードに基づいて、マクロブロックの予測画像を生成する予測部１４１とを備え、サブマクロブロック単位で入力画像と予測画像の差分を周波数変換する。

Description

本発明は、画像符号化装置及び画像復号装置に関し、より詳細には、画像を符号化して符号化データを生成する画像符号化装置と、伝送・蓄積された符号化データから画像を復号する画像復号装置に関する。

一般的な画像符号化においては、符号化対象である入力画像を、マクロブロック（以下、ＭＢ）と呼ばれる所定の処理単位に分割し、ＭＢ毎に符号化処理を行って、符号化データを生成する。画像復号においては、復号対象である符号化データから、ＭＢに相当する符号化データであるＭＢ符号化データを抽出して順に復号し、得られるＭＢ復号画像を集めて復号画像を生成する。

ＭＢの処理順としては、一般的に図１８に示すように、画像を一定サイズの正方形のＭＢ（１６画素×１６画素など）に分割し、画像内で左上から右下に走査するラスタスキャン順でＭＢの処理が行われる。

ＭＢは、ＭＢ内の入力画像（ＭＢ画像）の性質に応じて、さらに小さい処理単位であるサブマクロブロック（以下、ＳＭＢ）に分割される。そして、ＳＭＢ毎に、ＳＭＢ内の入力画像（ＳＭＢ画像）を推定する予測画像が生成され、ＳＭＢ画像と予測画像の差分である予測残差が離散コサイン変換（ＤＣＴ）に代表される周波数変換で変換された後に符号化される。

ここで、非特許文献１の記載に準拠する動画像符号化装置において、画像符号化処理（以下、従来技術）の際に、ＭＢ毎にＳＭＢ分割の方法（分割モード）および予測画像の生成方法（予測モード）を切り替えることができる。以下、従来技術における分割モードおよび予測モードについて説明する。

従来技術では１６×１６画素のＭＢが用いられる。また、ＭＢ走査としてラスタスキャン順が一般に用いられる。なお、以降の説明では、説明を簡単にするため、特に断らない限り１６×１６画素のＭＢおよびＭＢ走査順としてラスタスキャン順とする。

ＭＢは、適用される分割モードに応じてＩ１６、Ｉ８、Ｉ４の３つのＭＢタイプに分類される。図１９に各ＭＢタイプで適用される分割モードを示す。図１９（Ａ）はＩ１６タイプの例、図１９（Ｂ）はＩ８タイプの例、図１９（Ｃ）はＩ４タイプの例を示す。まず、Ｉ１６タイプでは分割は行われない。すなわち、ＭＢとＳＭＢが一致する。Ｉ８タイプでは、ＭＢは８×８画素から成る４個のＳＭＢに分割される。Ｉ４タイプでは、ＭＢは４×４画素から成る１６個のＳＭＢに分割される。

また、ＳＭＢで適用可能な予測モードはＭＢタイプによって異なる。図１９に各ＭＢタイプで適用可能な予測モードの種類を示す。Ｉ１６タイプでは、平均値モード・０度・９０度・平面モードの４モードが適用可能である。Ｉ８タイプおよびＩ４タイプでは、平均値モード・０度・９０度・４５度・２２．５度・６７．５度・−２２．５度・１１２．５度・１３５度の９モードが適用可能である。なお、ここでＸ度は右方向を０度として時計回りの方向を正方向とした場合の角度である。そして、Ｘ度の予測モードでは、その角度の示す方向の画像の空間相関を利用して予測画像を生成する。

従来技術では、ＭＢ画像の性質に合わせて上記の多様な分割モードや予測モードを選択することができる。それにより、予測残差の絶対値を減少させるとともに、周波数変換により予測残差のエネルギーを一部の変換係数に集中させることができるため、少ない符号量で入力画像を符号化できる。

ここで、上記の「予測残差のエネルギー」とは、物理量として、画素毎の予測残差値の２乗和に相当する。また、この「予測残差のエネルギー」を一部の変換係数に集中させることで、予測残差の符号量が減少する理由は以下の通りである。

（１） 画像符号化では、変換係数を量子化した変換係数レベルが可変長符号化される。
（２） ブロック内の変換係数レベルを可変長符号化する際に、ゼロの値を持つ変換係数レベルが多いほど、可変長符号化後の符号化データの符号量が少なくなる。
（３）上記（２）の根拠として、可変長符号化において、ゼロの値を持つ変換係数レベルを複数個まとめて、短いビット列で表現する方式を用いられることが挙げられる。
（４）「予測残差のエネルギー」を一部の変換係数に集中させることで、残りの多数の変換係数の有するエネルギーは相対的に小さくなる。
（５）エネルギーの小さい変換係数は、変化係数の絶対値の値が小さいので、量子化によって対応する変換係数レベルがゼロになる可能性が高くなる。
（６）すなわち、上記（４）と（５）より、「予測残差のエネルギー」を一部の変換係数に集中させることで、より多くの変換係数で変換係数レベルがゼロになる可能性が高くなることがわかる。
（７）従って、上記（２）と（６）より、「予測残差のエネルギー」を一部の変換係数に集中させることで、可変長符号化後の符号化データの符号量は少なくなる可能性が高くなることがわかる。
（８）一つのブロックで見た場合、符号量は少なくなる可能性が高くなるという結論になるが、画像は多数のブロックから構成されるため、画像全体として、符号量が減少することになる。

ITU-T Recommendation H.264(11/07) URL http://www.itu.int/rec/T-REC-H.264-200711-S/en

しかしながら、従来技術においては、分割モードが規定の３種類のみであるため、ＭＢ画像の性質にあった分割モードが必ずしも選択できないという問題がある。以下、この問題についてさらに詳しく説明する。

予測残差はＳＭＢの単位で周波数変換されるが、その際に周波数変換の結果、予測残差のエネルギーを可能な限り少数の周波数係数に集中させることが、より少ない符号量で予測残差を符号化するためには好ましい。一般に、広い範囲で空間相関を持つ信号に対しては、広い単位で周波数変換することで少数の周波数係数にエネルギーを集中させることができる。逆に、狭い範囲でしか空間相関を持たない信号に対して広い単位で周波数変換すると、多数の周波数係数にエネルギーが分散する。したがって、変換対象の信号の空間相関に応じて、変換ブロックサイズを選択することが好ましい。そのような点を考慮して、従来技術においては、複数の異なる単位の周波数変換を備えている。

しかし、従来技術の周波数変換の単位は、１６×１６画素、８×８画素、４×４画素であり、例えば、１６×４画素や４×１６画素といった単位は備えられていない。予測残差の空間相関が、横方向に大きく、縦方向に小さい場合には１６×４画素単位の周波数変換が有効である。また同様に、予測残差の空間相関が、縦方向に大きく、横方向に小さい場合には４×１６画素単位の周波数変換が有効である。従来技術においては、そのような単位の周波数変換を適用できないため、特定の空間相関特性を持つ予測残差を周波数変換した際に十分少ない周波数係数へエネルギーが集中しないという問題が生じる。

上記問題の解決策として、ＭＢに対して適用可能な分割モード数を増やす方法が考えられる。しかし、分割モードはＭＢ毎にサイド情報として符号化する必要があり、適用可能な分割モード数を増やした場合、いずれの分割モードを適用するかを示すサイド情報の符号量が増加してしまうという、新たな問題が生じる。

本発明は、このような状況に鑑みてなされたもので、サイド情報を増加させず、多数の分割モードの中から入力画像の局所的特性に適した分割モードを選択することで、従来よりも少ない符号量で入力画像を符号化することを可能とする画像符号化装置を提供すること、を目的とする。
また、画像符号化装置で符号化された符号化データを復号することができる画像復号装置を提供すること、を目的とする。

上記課題を解決するために、第１の技術手段は、入力画像を複数のマクロブロックに分割し、マクロブロック単位で符号化処理を行う画像符号化装置であって、マクロブロック毎に予測画像の生成方法を示す予測モードを判定する予測モード判定部と、該予測モード判定部により判定された予測モードに応じて、マクロブロック毎にサブマクロブロックへの分割方法を示す分割モードを決定する分割モード決定部と、該分割モード決定部により決定された分割モードに基づいてマクロブロックをサブマクロブロックに分割するＳＭＢ分割部と、前記予測モード判定部により判定された予測モードに基づいて、マクロブロックの予測画像を生成する予測部とを備え、サブマクロブロック単位で前記入力画像と前記予測画像の差分を周波数変換することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記予測部は、マクロブロックの予測画像を、サブマクロブロック単位で生成することを特徴としたものである。

第３の技術手段は、第１または第２の技術手段において、各予測モードに対して適切な分割モードを関連付けたＳＭＢ分割ルールを生成するＳＭＢ分割ルール生成部を備え、前記分割モード決定部は、前記予測モード判定部により判定された予測モードに応じた分割モードを、前記ＳＭＢ分割ルールに従って決定することを特徴としたものである。

第４の技術手段は、第３の技術手段において、前記ＳＭＢ分割ルールを符号化することを特徴としたものである。

第５の技術手段は、第４の技術手段において、前記ＳＭＢ分割ルールをスライス単位で符号化することを特徴としたものである。

第６の技術手段は、第３〜第５のいずれか１の技術手段において、前記入力画像をマクロブロック単位で符号化するＶＬＣ部をさらに備え、前記ＳＭＢ分割ルールは、各予測モードに対応する有効分割モードリストを含み、前記有効分割モードリストは、対応する予測モードに対して有効な分割モードを少なくとも１個以上要素として含み、前記分割モード決定部は、マクロブロックの予測画像の生成に用いられる予測モードに対応する前記有効分割モードリストを前記ＳＭＢ分割ルールから抽出し、前記有効分割モードリストに要素として含まれる分割モードの中から当該マクロブロックにおける分割モードを選択し、前記ＶＬＣ部は、前記分割モード決定部により選択された分割モードを示す情報を符号化することを特徴としたものである。

第７の技術手段は、第３〜第６のいずれか１の技術手段において、マクロブロックの複雑度を示すＭＢクラスを計算するＭＢクラス決定部を備え、前記分割モード決定部は、前記予測モード判定部により判定された予測モードに応じた分割モードを、前記ＳＭＢ分割ルール及び前記ＭＢクラスに従って決定することを特徴としたものである。

第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記分割モードは、横長矩形型のサブマクロブロックを含むよう分割することを指定する横長矩形分割モードと、縦長矩形型のサブマクロブロックを含むよう分割することを指定する縦長矩形分割モードとを含むことを特徴としたものである。

第９の技術手段は、マクロブロック単位で符号化されている符号化データを復号して復号画像を生成する画像復号装置であって、前記符号化データから変換係数レベルと予測モードを抽出して可変長復号するＶＬＤ部と、該ＶＬＤ部により抽出された変換係数レベルを逆量子化して変換係数を復元する逆量子化部と、該逆量子化部により復元された変換係数を逆周波数変換して予測残差を復元するＩＤＣＴ部と、前記ＶＬＤ部により抽出された予測モードに基づいてサブマクロブロックに対応する予測画像を生成する予測部とを備え、サブマクロブロック単位で前記予測画像に前記予測残差を加算して得られる局所復号画像を、前記予測モードに応じて決定される分割モードに基づいて、複数個結合することでマクロブロック単位の復号画像を生成することを特徴としたものである。

本発明の画像符号化装置によれば、多数の分割モード候補の中から、特定の予測モードを適用した際の予測残差の性質に適した分割モードでＭＢをＳＭＢに分割して周波数変換を行うことで、入力画像を従来技術よりも少ない符号量で符号化することができる。
また、本発明の画像復号装置によれば、画像符号化装置で符号化された符号化データを復号することができる。

本発明の一実施形態に係る画像符号化装置の構成例を示すブロック図である。 図１に示す画像符号化装置の動作例を説明するためのフロー図である。 ＭＢ符号化部の構成例を示すブロック図である。 本発明において適用可能な分割モードを示す図である。 ＭＢ符号化部の動作例について説明するためのフロー図である。 ＳＭＢ分割ルール生成部の構成例を示すブロック図である。 ＳＭＢ分割ルール生成部の動作例を説明するためのフロー図である。 本発明の一実施形態に係る画像復号装置の構成例を示すブロック図である。 図８に示す画像復号装置の動作例を説明するためのフロー図である。 ＭＢ復号部の構成例を示すブロック図である。 ＭＢ復号部の動作例を説明するためのフロー図である。 ＭＢ符号化部の他の構成例を示すブロック図である。 ＭＢ符号化部の他の動作例を説明するためのフロー図である。 ＳＭＢ分割ルール生成部の他の構成例を示すブロック図である。 ＳＭＢ分割ルール生成部の他の動作例を説明するためのフロー図である。 ＭＢ復号部の他の構成例を示すブロック図である。 ＭＢ復号部の他の動作例を説明するためのフロー図である。 画像をマクロブロック単位で処理する際の処理順序を説明するための図である。 従来技術において各ＭＢタイプで適用可能な分割モードと予測モードを示す図である。

（実施形態１：ＳＭＢ分割ルールを利用した方法）
以下、本発明による画像符号化装置及び画像復号装置の一実施形態について添付図面に基づいて説明する。
＜エンコーダの構成例＞
まず、本実施形態における画像符号化装置について説明する。
図１は、本発明の一実施形態に係る画像符号化装置の構成例を示すブロック図である。図中、１は画像符号化装置で、該画像符号化装置１は、ＳＭＢ分割ルール生成部１２０、ＭＢ分割部１２１、ＭＢ符号化部１２２、及び符号化データ多重化部１２３を備える。

ＳＭＢ分割ルール生成部１２０は、入力画像１００に基づいて、ＳＭＢ分割ルール１０２を生成して出力する。ＳＭＢ分割ルールには、特定の予測モードが選択された場合に何れの分割モードを適用するべきかが示されており、詳細は後述する。
ＭＢ分割部１２１は、入力画像１００を分割し、得られたＭＢ画像１０１をラスタスキャン順で順次出力する。
ＭＢ符号化部１２２は、ＳＭＢ分割ルール生成部１２０から入力されるＳＭＢ分割ルール１０２に基づいて、ＭＢ分割部１２１から順次入力されるＭＢ画像１０１を符号化し、各ＭＢの符号化結果をＭＢ符号化データ１０３として順次出力する。
符号化データ多重化部１２３は、ＳＭＢ分割ルール生成部１２０から入力されるＳＭＢ分割ルール１０２と、ＭＢ符号化部１２２から順次入力されるＭＢ符号化データ１０３とを多重化し、これを符号化データ１０４として出力する。

＜エンコーダの動作例＞
図２は、図１に示す画像符号化装置１の動作例を説明するためのフロー図である。
まず、画像符号化装置１は、外部から入力画像１００が入力されると、この入力画像１００をＳＭＢ分割ルール生成部１２０及びＭＢ分割部１２１にそれぞれ供給する（ステップＳ１）。

次に、ＳＭＢ分割ルール生成部１２０は、ステップＳ１で供給された入力画像１００に基づいて、ＳＭＢ分割ルール１０２を生成（決定）し、このＳＭＢ分割ルール１０２をＭＢ符号化部１２２及び符号化データ多重化部１２３に出力する（ステップＳ２）。
ＭＢ分割部１２１は、ステップＳ１で供給された入力画像１００をＭＢ画像１０１に分割し、ＭＢ符号化部１２２に順次出力する。続いて、識別子ＭＢ＿ｉｄ（ＭＢ＿ｉｄ＝０，…，Ｎｍｂ−１）によって識別される計Ｎｍｂ個のＭＢ画像それぞれに対して、ステップＳ４の処理を実行する（ステップＳ３）。

次に、ＭＢ符号化部１２２は、ステップＳ２で入力されたＳＭＢ分割ルール１０２と、ステップＳ３で入力されたＭＢ画像１０１とに基づいて、ＭＢ符号化データ１０３を生成し、このＭＢ符号化データ１０３を符号化データ多重化部１２３に出力する（ステップＳ４）。
そして、符号化データ多重化部１２３は、ステップＳ２で入力されたＳＭＢ分割ルール１０２と、ステップＳ４で入力された計Ｎｍｂ個のＭＢ符号化データ１０３とを多重化して符号化データ１０４を生成し、これを外部に出力する（ステップＳ５）。

上記手順により、画像符号化装置１は、入力画像１００を符号化して符号化データ１０４を生成し、外部に出力することができる。

＜ＭＢ符号化部１２２の構成例＞
次に、画像符号化装置１が備えるＭＢ符号化部１２２の詳細構成について説明する。
図３は、ＭＢ符号化部１２２の構成例を示すブロック図である。図中、ＭＢ符号化部１２２は、ＳＭＢ分割部１４０、予測部１４１、ＤＣＴ部１４２、量子化部１４３、ＶＬＣ（Variable Length Coding）部１４４、逆量子化部１４５、ＩＤＣＴ部１４６、局所復号画像メモリ１４７、予測モード判定部１４８、及び分割モード決定部１４９により構成される。

画像符号化装置１は、主たる構成要素として、マクロブロック毎に予測画像の生成方法を示す予測モードを判定する予測モード判定部１４８と、予測モード判定部１４８により判定された予測モードに応じて、マクロブロック毎にサブマクロブロックへの分割方法を示す分割モードを決定する分割モード決定部１４９と、分割モード決定部１４９により決定された分割モードに基づいてマクロブロックをサブマクロブロックに分割するＳＭＢ分割部１４０と、予測モード判定部１４８により判定された予測モードに基づいて、マクロブロックの予測画像を生成する予測部１４１とを備え、サブマクロブロック単位で入力画像と予測画像の差分を周波数変換する。以下、画像符号化装置１が備える各構成要素について詳細に説明する。

＜予測モード判定部１４８の説明＞
予測モード判定部１４８は、入力されるＭＢ画像１０１に基づいて、画像符号化装置１で用いられる予測モードであるＤＣ、Ｈｏｒ、Ｖｅｒｔの３予測モードのうち、現ＭＢ内のＳＭＢ画像の予測に適する予測モード１１０を選択して出力する。なお、各予測モードによる予測画像生成処理については後述するが、ＤＣの場合、ＳＭＢ周辺の局所復号画像の平均画素値に基づく予測画像を生成する。また、Ｈｏｒの場合、水平方向予測モードであるため、ＳＭＢ左辺に隣接する局所復号画像に基づいて予測画像を生成する。また、Ｖｅｒｔの場合、鉛直方向予測モードであるため、ＳＭＢ上辺に隣接する局所復号画像に基づいて予測画像を生成する。

予測モード判定部１４８による予測モードの選択方法は次の通りである。まず、ＭＢ画像１０１の水平エッジ強度ＥＨおよび垂直エッジ強度ＥＶを次式により計算する。

なお、Ｂ（ｉ，ｊ）はＭＢ画像の左上の画素を基準として（ｉ，ｊ）の位置する画素の画素値に相当する。ただし、（ｉ，ｊ）がＭＢ外の画素を示すとき、すなわちｉ＜０または１６≦ｉまたはｊ＜０または１６≦ｊの場合、Ｂ（ｉ，ｊ）の値は、（ｉ，ｊ）で示される画素に最も近いＭＢ内の画素の画素値とする。

次に、所定の閾値ＴＨＥ（例えば、ＴＨＥ＝１０００）とＥＨおよびＥＶを比較して予測モードを決定する。ＥＨ≧ＴＨＥかつＥＶ＜ＴＨＥの場合、予測モードをＨｏｒとする。それ以外の場合で、ＥＨ＜ＴＨＥかつＥＶ≧ＴＨＥの場合、予測モードをＶｅｒｔとする。それ以外の場合、予測モードをＤＣとする。

このように選択することで、ＭＢ画像１０１に水平方向のエッジが存在する場合のように、ＭＢ画像１０１の水平方向の画素間相関が高く、垂直方向の画素間相関が低い場合にはＨｏｒが予測モードとして選択される。同様に、ＭＢ画像１０１に垂直エッジが存在する場合のように、ＭＢ画像１０１の垂直方向の画素間相関が高く、水平方向の画素間相関が低い場合にはＶｅｒｔが予測モードとして選択される。そして、複雑な領域であり水平／垂直両方向の画素間相関が低い場合、または平坦な領域であり水平／垂直両方向の画素間相関が高い場合にはＤＣが予測モードとして選択される。

＜分割モード決定部１４９の説明＞
分割モード決定部１４９は、入力されるＳＭＢ分割ルール１０２で規定されている予測モードと分割モードの対応関係に基づいて、予測モード判定部１４８から入力される予測モード１１０に対応する分割モード１１１を出力する。

ここで、画像符号化装置１は、図４に示す５種類の分割モード（１６×１６分割、８×８分割、４×４分割、４×１６分割、１６×４分割）を用いる。図４（Ａ）に示す１６×１６分割ではＭＢを分割しない。すなわちＭＢとＳＭＢが一致し、ＳＭＢは１６×１６画素で構成される。また、図４（Ｂ）に示す８×８分割では、ＭＢを４個の８×８画素で構成されるＳＭＢに分割する。また、図４（Ｃ）に示す４×４分割では、ＭＢを１６個の４×４画素で構成されるＳＭＢに分割する。また、図４（Ｄ）に示す４×１６分割では、ＭＢを４個の４×１６画素で構成される縦長矩形のＳＭＢに分割する。また、図４（Ｅ）に示す１６×４分割では、ＭＢを４個の１６×４画素で構成される横長矩形のＳＭＢに分割する。

ＳＭＢ分割ルール１０２では、３種類の予測モード（ＤＣ、Ｈｏｒ、Ｖｅｒｔ）に対し、それぞれ上記５種類の分割モードのいずれかが関連付けられている。そのため、分割モード決定部１４９では、予測モード１１０に応じて出力する分割モード１１１を決定することができる。

ＳＭＢ分割ルール１０２の一例として、比較的平坦な領域が多い画像では、（ＤＣ、Ｈｏｒ、Ｖｅｒｔ）の各予測モードに対して、（１６×１６分割、４×１６分割、１６×４分割）の各分割モードがそれぞれ関連付けられる。また、別の例として、比較的複雑な領域が多い画像では、（ＤＣ、Ｈｏｒ、Ｖｅｒｔ）の各予測モードに対して、（８×８分割、４×４分割、４×４分割）の各分割モードがそれぞれ関連付けられる。

＜ＳＭＢ分割部１４０の説明＞
ＳＭＢ分割部１４０は、分割モード決定部１４９から入力される分割モード１１１に基づいて、順次入力されるＭＢ画像１０１を分割し、これをＳＭＢ画像１０５として所定の順序（例えば、ＭＢ内におけるＳＭＢ左上画素の位置が、ラスタスキャン順で先に来る順序）で出力する。

＜予測部１４１の説明＞
予測部１４１は、予測モード判定部１４８から入力される予測モード１１０に基づいて、ＳＭＢ分割部１４０から入力されるＳＭＢ画像１０５を近似する予測画像１０６を生成して出力する。例えば、入力されるＳＭＢ画像１０５のサイズがＷｓ×Ｈｓ画素、ＳＭＢ画像１０５の左上画素の入力画像１００内での位置を（ｘｃｓ、ｙｃｓ）とした場合、特定の予測モードＰＭにおいて生成される予測画像１０６の各画素値Ｐ（ｉ，ｊ）は次式により定められる。

ここで、Ｉｄ（ｘ、ｙ）は局所復号画像メモリ１４７に記録されている局所復号画像の画素値である。

＜ＤＣＴ部１４２の説明＞
ＤＣＴ部１４２は、入力される予測残差１０７（Ｗｓ×Ｈｓ画素）に対して、２次元離散コサイン変換を施し、この変換結果を変換係数（Ｗｓ×Ｈｓ個）として出力する。

＜量子化部１４３の説明＞
量子化部１４３は、ＤＣＴ部１４２から入力される変換係数を所定の量子化ステップで量子化し、変換係数レベル１０８（Ｗｓ×Ｈｓ個）を導出して出力する。

＜ＶＬＣ部１４４の説明＞
ＶＬＣ部１４４は、量子化部１４３から入力された変換係数レベル１０８と、予測モード判定部１４８から入力された予測モード１１０とをそれぞれ可変長符号化および多重化し、これをＭＢ符号化データ１０３として出力する。

＜逆量子化部１４５の説明＞
逆量子化部１４５は、量子化部１４３から入力された変換係数レベル１０８（Ｗｓ×Ｈｓ個）に対して、逆量子化を施し、これを周波数変換係数（Ｗｓ×Ｈｓ個）として復元して出力する。

＜ＩＤＣＴ部１４６の説明＞
ＩＤＣＴ部１４６は、逆量子化部１４５から入力された周波数変換係数（Ｗｓ×Ｈｓ個）に対して、２次元逆離散コサイン変換を施し、予測残差（Ｗｓ×Ｈｓ画素）を再構築して出力する。

＜局所復号画像メモリ１４７の説明＞
局所復号画像メモリ１４７には、ＳＭＢ単位で生成された局所復号画像１０９が順次記録される。したがって、現ＭＢ内にあるＳＭＢが処理されている段階では、現ＭＢよりもラスタスキャン順で前に位置するＭＢに対応する局所復号画像と、現ＭＢ内で当該ＳＭＢよりも前に処理されたＳＭＢに対応する局所復号画像とが局所復号画像メモリ１４７に記録されている。

＜ＭＢ符号化部１２２の動作例＞
図５は、ＭＢ符号化部１２２の動作例について説明するためのフロー図である。なお、以下のフローは、前述の図２に示した画像符号化装置１の動作例におけるステップＳ４の処理を詳細に説明したものである。

まず、予測モード判定部１４８は、図１に示したＭＢ分割部１２１から入力されたＭＢ画像１０１に基づいて予測モード１１０を導出し、これを予測部１４１，分割モード決定部１４９，及びＶＬＣ部１４４に出力する（ステップＳ１１）。

次に、分割モード決定部１４９は、ステップＳ１１にて予測モード判定部１４８から入力された予測モード１１０と、図１に示したＳＭＢ分割ルール生成部１２０から入力されたＳＭＢ分割ルール１０２とに基づいて、分割モード１１１を決定し、これをＳＭＢ分割部１４０に出力する（ステップＳ１２）。

次に、ＳＭＢ分割部１４０は、図１に示したＭＢ分割部１２１から入力されたＭＢ画像１０１を、ステップＳ１２にて入力された分割モード１１１に基づいてＮｓｍｂ個のＳＭＢ画像に分割する。そして、分割の結果得られる、識別子ＳＭＢ＿ｉｄ（ＳＭＢ＿ｉｄ＝０，…，Ｎｓｍｂ−１）によって識別される計Ｎｓｍｂ個のＳＭＢ画像１０５を、予測部１４１およびＤＣＴ部１４２に順次出力する。そして、各ＳＭＢ画像１０５に対して、ステップＳ１４〜ステップＳ１７の各処理が順次実行される（ステップＳ１３）。

予測部１４１は、ステップＳ１１にて予測モード判定部１４８から入力された予測モード１１０と、局所復号画像メモリ１４７に記録されている局所復号画像とに基づいて、予測画像１０６を生成して出力する（ステップＳ１４）。

次に、ステップＳ１３で出力されたＳＭＢ画像１０５と、ステップＳ１４で出力された予測画像１０６との差分である予測残差１０７がＤＣＴ部１４２に入力される。このＤＣＴ部１４２が周波数変換（ＤＣＴ）により予測残差１０７を変換係数に変換した後に、量子化部１４３により量子化され、これが変換係数レベル１０８としてＶＬＣ部１４４および逆量子化部１４５に出力される（ステップＳ１５）。

次に、ステップＳ１５で出力された変換係数レベル１０８は、逆量子化部１４５により逆量子化され、変換係数として復元された後、ＩＤＣＴ部１４６により逆周波数変換され、予測残差１０７として復元されて出力される（ステップＳ１６）。

次に、ステップＳ１６で出力された予測残差１０７は、ステップＳ１４で出力された予測画像１０６と加算されて、局所復号画像１０９として局所復号画像メモリ１４７に記録される（ステップＳ１７）。

最後に、ＶＬＣ部１４４は、ステップＳ１１にて予測モード判定部１４８から入力された予測モード１１０と、ステップＳ１５にて量子化部１４３から入力された各ＳＭＢの変換係数レベル１０８とをそれぞれ可変長符号化し、これらをＭＢ符号化データ１０３として図１に示す符号化データ多重化部１２３に出力する（ステップＳ１８）。

上記の手順により、ＭＢ符号化部１２２は、入力されたＭＢ画像１０１を符号化し、ＭＢ符号化データ１０３を生成することができる。その際、ＭＢ画像１０１の特性に合った予測モードが選択されるとともに、別途入力されるＳＭＢ分割ルール１０２に基づいて当該予測モードに適する分割モードが選択される。このため、予測モードと独立に分割モードを決定する場合に比べて、少ない符号量でＭＢ画像を符号化することができる。

＜ＳＭＢ分割ルール生成部１２０の構成例＞
次に、画像符号化装置１が備えるＳＭＢ分割ルール生成部１２０の詳細構成について説明する。
図６は、ＳＭＢ分割ルール生成部１２０の構成例を示すブロック図である。図中、ＳＭＢ分割ルール生成部１２０は、モード制御部１６０、入力画像メモリ１６１、予測／分割評価部１６２、評価情報記録メモリ１６３、及びＳＭＢ分割ルール決定部１６４より構成される。なお、ＭＢ分割部１２１は、図１に示したＭＢ分割部１２１と同じものとする。

ＳＭＢ分割ルール生成部１２０は、予測モード及び分割モードの組み合わせの適切さを示すモード評価値を算出し、算出したモード評価値に基づいて、各予測モードに対して適切な分割モードを関連付けたＳＭＢ分割ルールを生成する。そして、分割モード決定部１４９は、予測モード判定部１４８により判定された予測モードに応じた分割モードを、ＳＭＢ分割ルールに従って決定する。以下、ＳＭＢ分割ルール生成部１２０が備える各構成要素について詳細に説明する。

＜モード制御部１６０の説明＞
モード制御部１６０は、ＭＢ画像１０１の入力に応じて起動し、予測モード１１０と分割モード１１１とにより可能な全ての組み合わせを、任意の順番で出力する。例えば、３種類の予測モード（ＤＣ、Ｈｏｒ、Ｖｅｒｔ）と５種類の分割モード（１６×１６分割、８×８分割、４×４分割、１６×４分割、４×１６分割）に対しては、計１５種類の組み合わせが出力される。

＜入力画像メモリ１６１の説明＞
入力画像メモリ１６１には、入力画像１００が記録される。

＜予測／分割評価部１６２の説明＞
予測／分割評価部１６２は、ＭＢ分割部１２１から入力されるＭＢ画像１０１と、モード制御部１６０から入力される予測モード１１０，分割モード１１１とに基づいて、特定の予測モードと分割モードの組み合わせの適切さを示すモード評価値１１２を計算し、これを出力する。なお、モード評価値１１２は、予測モード１１０および分割モード１１１と関連付けられた上で出力される。

具体的には、モード評価値１１２は次の手順で計算される。なお、予測／分割評価部１６２に入力される予測モードと分割モードをそれぞれＰＭ、ＤＭと呼称する。まず始めに、予測モードＰＭに基づいて、入力画像メモリ１６１に記録されている入力画像１００から予測画像が計算される。予測画像Ｐ’（１６×１６画素）の各画素Ｐ’（ｉ，ｊ）は次式により計算される。

ここで、Ｉｃ（ｘ、ｙ）は入力画像１００における位置（ｘ、ｙ）の画素の画素値を示す。また、（ｘｃ、ｙｃ）は処理対象のＭＢの左上に位置する画素の入力画像１００上での位置を表す。上式により、ＰＭ＝ＤＣの場合はＭＢ周囲の画素の平均値に基づく予測画像が生成される。また、ＰＭ＝ＨｏｒやＰＭ＝Ｖｅｒｔの場合は、それぞれ横方向または縦方向の画素値の空間相関を利用した予測画像が生成される。

次に、ＭＢ画像１０１と予測画像Ｐ’の差分である予測残差Ｄ’（１６×１６画素）を計算する。Ｄ’の各画素値Ｄ’（ｉ，ｊ）を次式により計算する。

次に、予測残差Ｄ’を分割モード１１１に基づいてＳＭＢ単位に分割して、ＳＭＢ単位毎にＤＣＴを実行して変換係数Ｃ’を得る。各ＳＭＢに対応する、変換係数Ｃ’の各係数値Ｃ’（ｕ、ｖ）は次式により計算される。

ここで、（Ｏｘ、Ｏｙ）は、処理対象ＳＭＢの左上画素の処理対象ＭＢの左上画素からの変位を画素単位で表す。また、ＷｓはＳＭＢの幅、ＨｓはＳＭＢの高さを画素単位で表す。

次に、各ＳＭＢの変換係数Ｃ’において、何個の変換係数に予測残差のエネルギーの大部分が集中しているかを表すエネルギー分散度ＥＣｓ（ＳＭＢ＿ｉｄ）を計算する。エネルギー分散度ＥＣｓ（ＳＭＢ＿ｉｄ）には、次式を満たす最小の整数値Ｋの値が設定される。

ここで、Ｃ’（ｋ）は変換係数Ｃ’を値の大きい順に並べた際のｋ＋１番目の係数値を表す。また、Ｒｅはエネルギー分散度を計算するためのパラメータであり、例えば、Ｒｅ＝０．９５を用いる。また、Ｅｓは予測残差のエネルギーを表し、予測残差内の画素値の自乗和として計算できる。上式によると、ＥＣｓの値は、例えばＲｅ＝０．９５の場合、予測残差のエネルギーの９５％が、何個の変換係数に集中しているかを表す。したがって、ＥＣｓの値が小さいほど、ＳＭＢ内の予測残差のエネルギーが少数の変換係数に集中していると言える。

最後に、処理対象ＭＢにおける予測モードＰＭに対する分割モードＤＭの適切さを表す量であるモード評価値１１２（ＥＣｍ）が、ＭＢ内のＳＭＢにおけるエネルギー分散度の和として次式により導出される。

上式によると、モード評価値１１２は、処理対象ＭＢにおいて予測モードＰＭと分割モードＤＭを用いた場合の変換係数のエネルギー分散の程度を表すため、モード評価値が小さいほど予測モードＰＭと分割モードＤＭの組み合わせが好ましいといえる。

＜評価情報記録メモリ１６３の説明＞
評価情報記録メモリ１６３には、予測モード１１０および分割モード１１１と関連付けられたモード評価値１１２が順次記録される。

＜ＳＭＢ分割ルール決定部１６４の説明＞
ＳＭＢ分割ルール決定部１６４は、評価情報記録メモリ１６３に記録されているモード評価値１１２を参照し、これに基づいてＳＭＢ分割ルール１０２を作成して出力する。

ＳＭＢ分割ルール１０２は、適用可能な全ての予測モードそれぞれに対して、有効な分割モードが関連付けられる。特定の予測モードＰＭに対する最適な分割モードＤＭは次の手順で決定される。

まず、評価情報記録メモリ１６３に記録されているモード評価値１１２に基づいて予測モードＰＭに対する各分割モードＤＭの評価値を計算する。例えば、予測モードＰＭに対する分割モードＤＭの評価値は、評価情報記録メモリ１６３から予測モードＰＭおよび分割モードＤＭに関連付けられたモード評価値１１２を取得して、得られた複数のモード評価値１１２の平均値を予測モードＰＭに対する分割モードＤＭの評価値とする。

次に、予測モードＰＭに対してモード評価値ＥＣｍが最小となるような分割モードを選択して、予測モードＰＭに対する最適な分割モードとする。モード評価値ＥＣｍは周波数変換後の各変換係数へのエネルギーの散らばり度合を示す指標であるため、上記の手順で予測モードＰＭに対する分割モードＤＭを選択することで、変換係数へのエネルギーの散らばり度合が小さい分割モードを選択することができる。言い換えると、周波数変換後により少数の変換係数へエネルギーが集中するような分割モードを選択することができる。

＜ＳＭＢ分割ルール生成部１２０の動作例＞
図７は、ＳＭＢ分割ルール生成部１２０の動作例を説明するためのフロー図である。なお、以下のフローは、前述の図２に示した画像符号化装置１の動作例におけるステップＳ２の処理を詳細に説明したものである。

まず、外部からの入力画像１００がＭＢ分割部１２１に入力されると共に、入力画像メモリ１６１に記録される（ステップＳ２１）。
ＭＢ分割部１２１は、外部からの入力画像１００をＭＢ画像１０１に分割する。分割の結果得られた、識別子ＭＢ＿ｉｄ（ＭＢ＿ｉｄ＝０，…，Ｎｍｂ−１）によって識別される計Ｎｍｂ個のＭＢ画像は、ＳＭＢ分割部１４０（図３）およびモード制御部１６０（図６）に順次出力される。続いて、各ＭＢ画像に対して、ステップＳ２３〜ステップＳ２４の処理が実行される（ステップＳ２２）。

モード制御部１６０は、予測モード１１０と分割モード１１１の対を生成して、これらを予測／分割評価部１６２に順次出力する。続いて、各予測モード１１０と分割モード１１１の対に対して、ステップＳ２４の処理が実行される（ステップＳ２３）。

予測／分割評価部１６２は、ステップＳ２３にてモード制御部１６０から入力される予測モード１１０と分割モード１１１の対に対するモード評価値１１２を計算し、このモード評価値１１２を評価情報記録メモリ１６３に出力して記録する（ステップＳ２４）。

ＳＭＢ分割ルール決定部１６４は、ステップＳ２４にて評価情報記録メモリ１６３に記録された各モード評価値１１２に基づいて、１つのＳＭＢ分割ルール１０２を決定し、これを図１に示したＭＢ符号化部１２２と符号化データ多重化部１２３に出力する（ステップＳ２５）。

なお、ステップＳ２２からステップＳ２４の処理において、各予測モードと分散モードの組み合わせ毎にＮｍｂ個のモード評価値１１２が評価情報記録メモリ１６３に記録される。このため、ステップＳ２５ではＮｍｂ個のモード評価値１１２の平均値を、ある予測モードに対して何れの分割モードを選択するかの選択基準として用いるようにしている。

以上の手順により、ＳＭＢ分割ルール生成部１２０は、外部からの入力画像１００に基づいてＳＭＢ分割ルール１０２を決定して出力する。その際、各予測モードに対して、入力画像を構成するＳＭＢにおいてＤＣＴを予測残差に適用する場合に、エネルギー集中性が最も高くなるようなブロックサイズを提供するＳＭＢ分割モードが関連付けられる。

このように、ＳＭＢ分割ルール生成部１２０で生成されるＳＭＢ分割ルール１０２に基づいて分割モードを決定する画像符号化装置１では、予測残差を周波数変換した際にエネルギー集中度が高くなるＳＭＢ分割モードが、予測モードに基づいて選択される。そのため、周波数変換された予測残差を可変長符号化するのに要する符号量が減少する。また、その際に、ＳＭＢ分割モードは予測モード１１０に応じて決まるため、いずれの分割モード１１１を適用するかを示すサイド情報は不要であるため、サイド情報の増加に伴う符号量増加も生じない。

（他の実施形態）
なお、上記の画像符号化装置１に関する説明では、ＳＭＢ分割ルール１０２において、全ての予測モードに対して、それぞれ有効な分割モードが１つ関連付けられているものとした。しかし、必ずしも全ての予測モードに対する有効な分割モードをＳＭＢ分割ルール１０２中に含める必要はなく、特定の予測モードに対しては、適切であると推定される分割モードをＳＭＢ分割ルール１０２に依存せずに常に用いることもできる。

例えば、予測モードがＨｏｒの場合には、入力画像の横方向の相関を利用して予測画像を生成する。そのため、ＳＭＢ画像と予測画像の差分である予測残差では、横方向の相関が除去され、結果として縦方向の相関が残っている場合が多い。そのため、横方向の相関が低く縦方向の相関の高い画像に対して有効な、縦長形状のＳＭＢを生じるような分割モードを用いることが有効である。それゆえ、Ｈｏｒ予測モードに対し、ＳＭＢ分割ルール生成部１２０で決定される分割モードの代わりに、縦長形状のＳＭＢへの分割を行う分割モードを採用した場合でも、少数の変換係数へエネルギーが集中する。その場合には、ＳＭＢ分割ルール生成処理の処理量を削減することができ、またＳＭＢ分割ルール１０２の符号量を低減することができる。

同様に、予測モードがＶｅｒｔの場合には、入力画像の縦方向の相関を利用して予測画像を生成するため、横長形状のＳＭＢへの分割を行う分割モードを用いることが好ましい。

さらにいえば、予測モードが画像の特定方向の相関を利用して予測画像を生成する場合、その方向と垂直な方向に長い形状のＳＭＢへの分割を行う分割モードを用いることが好ましいといえる。

また、上記の場合とは逆に、特定の予測モードに対して有効だと推定される分割モードが複数存在する場合に、予測モードに２個以上の分割モードを優先順位付きで関連付けたＳＭＢ分割ルールを用いることもできる。以下、そのような場合における、（１）ＳＭＢ分割ルールの決定方法、（２）ＳＭＢ分割ルールの可変長符号化方法、（３）ＳＭＢ分割ルールに基づいたＭＢ毎の分割モードの決定方法、（４）ＭＢ毎の分割モードの符号化方法について前述の図３，６を参照しながら説明する。

（１）ＳＭＢ分割ルールの決定方法 図６において、特定の予測モードに対して２個以上の分割モードが関連付けられている場合のＳＭＢ分割ルール１０２ｂは、上記の画像符号化装置１の構成要素であるＳＭＢ分割ルール決定部１６４（図６）を、以下に説明するＳＭＢ分割ルール決定部１６４ｂに置き換えることで導出できる。

ＳＭＢ分割ルール決定部１６４ｂは、評価情報記録メモリ１６３に記録されているモード評価値１１２を参照し、これに基づいてＳＭＢ分割ルール１０２ｂを作成して出力する。特定の予測モードＰＭに対して有効な分割モードを優先順位付きで並べた、有効分割モードリスト｛ＤＭ１、ＤＭ２、・・・、ＤＭｎ｝は次の手順で決定される。

まず、評価情報記録メモリ１６３に記録されているモード評価値１１２に基づいて予測モードＰＭに対する各分割モードの評価値を計算する。評価値は、前述のＳＭＢ分割ルール決定部１６４の動作で説明した手順で計算できる。

次に、各予測モードＰＭに対する有効分割モードリストを決定する。各予測モードＰＭに対し、モード評価値ＥＣｍが最小となるような分割モードを選択して、その分割モードを有効分割モードリストの先頭要素ＤＭ１に設定し、そのモード評価値ＥＣｍの最小値をＥＣｍ１とする。さらに、モード評価値ＥＣｍと前記ＥＣｍ１との差分が所定の閾値（例えば２）以下となるような分割モードを選択し、モード評価値が小さい順に、有効分割モードリストに追加し、順にＤＭ２、ＤＭ３、・・・、ＤＭｎとする。

上記の手順で導出した、各予測モードＰＭに対する有効分割モードリストには、周波数変換後の変換係数へのエネルギーの散らばり度合が最も小さい分割モード（ＤＭ１）と、分割モードＤＭ１の利用時に較べて、前記エネルギーの散らばり度合が十分に小さい分割モード（ＤＭ２、ＤＭ３、・・・、ＤＭｎ）が含まれる。なお、上記の手順により導出された有効分割モードリストには、少なくとも１個の分割モードが含まれる。
ＳＭＢ分割ルール１０２ｂは、各予測モードＰＭと、対応する有効分割モードリストの組として定義される。

（２）ＳＭＢ分割ルールの可変長符号化方法
ＳＭＢ分割ルール１０２ｂは、符号化データ多重化部１２３で多重化されて符号化データに組みこまれるが、その際に可変長符号化することが好ましい。具体的には、所定の予測モード順（例えばＶｅｒｔ，Ｈｏｒ，ＤＣの順）で有効分割モードリストを符号化する。その際、各有効分割モードリストとして、リストの要素数、および、リストの先頭から順に並べた各要素に対応する分割モードを示す所定の識別子を可変長符号化することが好ましい。

（３）ＳＭＢ分割ルールに基づいたＭＢ毎の分割モードの決定方法
図３において、分割モード決定部１４９を置き換えた分割モード決定部１４９ｂによる分割モードの決定手順は次の通りである。なお、分割モード決定部１４９ｂには、ＳＭＢ分割ルール１０２ｂと予測モード１１０に加え、ＭＢ画像１０１も入力されている必要がある。分割モード決定部１４９ｂでは、まずＳＭＢ分割ルール１０２ｂから、予測モード１１０に対応する有効分割モードリストを抽出する。次に、抽出した有効分割モードリストに含まれる各分割モードに対して、モード評価値ＥＣｍを、予測／分割評価部１６２（図６）の動作説明に記載した方法で計算する。そして、モード評価値ＥＣｍが最小となる分割モードを処理対象ＭＢで用いる分割モードに決定する。

（４）ＭＢ毎の分割ルールの可変長符号化方法
前述の分割モード決定部１４９ｂでは、有効分割モードリスト内の候補から、分割モードを選択するために、ＭＢ画像１０１を利用している。しかし、復号時にはＭＢ画像１０１が利用できないため、ＭＢで有効分割リストに含まれる何れの分割モードが選択されたかを符号化する必要が生じる。そのため、選択された分割モードが有効分割リストにおける何番目の要素であるかをＭＢ毎に符号化する。なお、抽出された有効分割リストの要素数が１の場合には、何れの分割モードが選択されたかは自明であるため、選択された分割モードの情報を符号化しないことが好ましい。ＭＢ毎に選択された分割モードを示す情報１１３は、分割モード決定部１４９ｂからＶＬＣ部１４４に入力されて、ＶＬＣ部１４４で可変長符号化される。

上記の手順によると、特定の予測モードに対して有効性の高い２個以上の分割モードを関連付け、それらの分割モードの中からＭＢ画像の特性に合った分割モードを選択することができる。それにより、画像内で特定の予測モードを用いた場合の予測残差の特性がばらつく場合でも、変換係数のエネルギーを少数の変換係数に集中できる分割モードを選択することができる。

なお、上記画像符号化装置１に入力される入力画像１００は、符号化対象の画像自体であっても構わないし、前記符号化対象の画像を複数の領域に分割して得られるスライスと呼ばれる分割画像であっても構わない。

スライスを入力画像１００として処理を行った場合、ＳＭＢ分割ルールはスライス単位で符号化されることになる。その場合、画像の局所的な特性に合わせて各予測モードに対して最適な分割モードを選択することができるため、符号量を削減することができる。

ここで、本発明では、１つの入力画像に対して、少なくとも１つ以上のＳＭＢ分割ルールを生成、符号化できるようにしている。このため、画像を部分画像（スライス）に分割して、部分画像毎に異なるＳＭＢ分割ルールを用いることも可能となる。

ここで、上記の画像符号化装置１において、分割モードを特定するために必要な符号量について補足しておく。例えば、３種類の予測モードに対しそれぞれ、５種類の分割モードのいずれを用いるかを表現する場合、ＳＭＢ分割ルールを用いる場合、その符号量は、（予測モードの数）×（分割モードの選択に必要なビット数）≦３×３ビット＝９ビットとなるため、９ビットあれば十分である。一方、ＭＢ毎にサイド情報を送る場合、ＭＢ（１６×１６）毎に３ビット送る必要があるため、ＱＣＩＦ（１７６×１４４）のような小さい画像でも２９７ビット、ＨＤ（１９２０×１０８０）のような大きい画像では、２４，３００ビットもの符号量が必要となる。

また、上記の画像符号化装置１に関する説明では、符号化に利用する分割モードを５種類（１６×１６分割、８×８分割、４×４分割、１６×４分割、４×１６分割）としたが、他の分割モードの組を利用しても構わない。例えば、上記５種類の分割モードに１６×１分割と１×１６分割を加えた７種類の分割モードを利用してもよい。１６×１分割は、予測残差の画素間相関が、水平方向には高いが、垂直方向には極端に低い場合に有効である。また、１×１６分割は、予測残差の画素間相関が、垂直方向には高いが、水平方向には極端に低い場合に有効である。そのため、１６×１分割と１×１６分割を加えた７種類の分割モードを利用することで、より予測残差の特性に合った分割モードが選択できる。

＜予測画像生成の単位＞
なお、上記の画像符号化装置１においては、予測部１４１における予測画像１０６の生成とＤＣＴ部１４２における周波数変換がともにＳＭＢ単位で実行されるものとして説明したが、予測画像をＳＭＢとは異なるＭＢ以下の大きさの単位で生成することもできる。例えば、予測画像をＭＢ単位で生成し、ＭＢ画像（１６×１６画素）と予測画像（１６×１６画素）の差分として得られる予測残差（１６×１６画素）を、分割モードに基づいてＳＭＢ単位の予測残差に分割してＤＣＴ部１４２より周波数変換してもよい。予測画像の精度（予測画像と入力画像が近似している度合）は若干低下するが、予測画像生成処理が簡略されて処理が容易になるというメリットが得られる。

＜デコーダの構成例＞
次に、前述の画像符号化装置１で符号化された符号化データを復号して画像を再生する画像復号装置２について説明する。
図８は、本発明の一実施形態に係る画像復号装置２の構成例を示すブロック図である。画像復号装置２は、符号化データ分解部２２０、ＭＢ復号部２２１、及びＭＢ結合部２２２より構成される。

符号化データ分解部２２０は、入力される符号化データ１０４から、ＳＭＢ分割ルール１０２および複数のＭＢ符号化データ１０３を抽出し、これらをＭＢ復号部２２１に出力する。
ＭＢ復号部２２１は、符号化データ分解部２２０から入力されるＳＭＢ分割ルール１０２およびＭＢ符号化データ１０３に基づいて、ＭＢ復号画像２００を生成し、これを出力する。このＭＢ復号部２２１の処理の詳細については後述するものとする。
ＭＢ結合部２２２は、ＭＢ復号部２２１から順次入力されるＭＢ復号画像２００を用いて復号画像２０１を構成し、これを出力する。

＜デコーダの動作例＞
続いて、画像復号装置２の動作例について図９に示すフロー図を参照しながら説明する。
図９において、外部から画像復号装置２に符号化データ１０４が入力され、符号化データ１０４は符号化データ分解部２２０に供給される（ステップＳ３１）。
符号化データ分解部２２０は、ステップＳ３１で入力された符号化データ１０４から、ＳＭＢ分割ルール１０２を抽出してＭＢ復号部２２１に出力する。続いて、入力画像に含まれる各ＭＢに対応するＭＢ符号化データ１０３を抽出して、ＭＢ復号部２２１に順次出力する。そして、識別子ＭＢ＿ｉｄ（ＭＢ＿ｉｄ＝０，…，Ｎｍｂ−１）によって識別される計Ｎｍｂ個のＭＢ符号化データ各々に対し、ステップＳ３３の処理を実行する（ステップＳ３２）。

ＭＢ復号部２２１は、ステップＳ３２にて符号化データ分解部２２０から入力されたＳＭＢ分割ルール１０２及びＭＢ符号化データ１０３に基づいて、ＭＢ復号画像２００を生成し、これをＭＢ結合部２２２に出力する（ステップＳ３３）。
ＭＢ結合部２２２は、ステップＳ３３で順次入力されたＭＢ復号画像２００に基づいて、復号画像２０１を構成して、これを外部に出力する（ステップＳ３４）。

＜ＭＢ復号部２２１の構成例＞
次に、画像復号装置２が備えるＭＢ復号部２２１の詳細構成について説明する。
図１０は、ＭＢ復号部２２１の構成例を示すブロック図である。ＭＢ復号部２２１は、予測部１４１、逆量子化部１４５、ＩＤＣＴ部１４６、局所復号画像メモリ１４７、分割モード決定部１４９、ＳＭＢ結合部２４１、ＶＬＤ部２４４より構成される。なお、ＳＭＢ結合部２４１、ＶＬＤ（Variable Length Decoding）部２４４、変換係数レベル分割部２４５以外の構成要素は、前述の図３に示したＭＢ符号化部１２２内の対応する各構成要素と同一の機能を有するため、同一の符号を付与して説明を省略する。

画像復号装置２は、主たる構成要素として、符号化データから変換係数レベルと予測モードを抽出して可変長復号するＶＬＤ部２４４と、ＶＬＤ部２４４により抽出された変換係数レベルを逆量子化して変換係数を復元する逆量子化部１４５と、逆量子化部１４５により復元された変換係数を逆周波数変換して予測残差を復元するＩＤＣＴ部１４６と、ＶＬＤ部２４４により抽出された予測モードに基づいてサブマクロブロックに対応する予測画像を生成する予測部１４１と、サブマクロブロック単位で予測画像に予測残差を加算して得られる局所復号画像を、予測モードに応じて決定される分割モードに基づいて、複数個結合することでマクロブロック単位の復号画像を生成するＳＭＢ結合部２４１とを備える。

ＶＬＤ部２４４は、入力されるＭＢ符号化データ１０３から、予測モード１１０および変換係数レベルを抽出し、予測モード１１０を予測部１４１及び分割モード決定部１４９に出力し、変換係数レベルを変換係数レベル分割部２４５に出力する。
変換係数レベル分割部２４５は、分割モード決定部１４９から入力される分割モード１１１に基づいて、ＶＬＤ部２４４から入力される変換係数レベルをＳＭＢ単位の変換係数レベル１０８に分割し、これを順次出力する。
ＳＭＢ結合部２４１は、分割モード決定部１４９から入力される分割モード１１１に基づいて、局所復号画像メモリ１４７から予測部１４１を介して順次入力される局所復号画像１０９を結合して、ＭＢ復号画像２００として出力する。

＜ＭＢ復号部２２１の動作例＞
続いて、ＭＢ復号部２２１の動作例について図１１に示すフロー図を参照しながら説明する。なお、以下で説明する動作は、前述の画像復号装置２の動作におけるステップＳ３３（図９）の処理を詳細に説明したものである。

まず、図８に示した符号化データ分解部２２０からＭＢ復号部２２１にＭＢ符号化データ１０３が入力され、ＶＬＤ部２４４に供給される。ＶＬＤ部２４４は、変換係数レベルおよび予測モード１１０をＭＢ符号化データ１０３より復号し、予測モード１１０を予測部１４１および分割モード決定部１４９に出力する。また、変換係数レベルを変換係数レベル分割部２４５に出力する（ステップＳ４１）。

分割モード決定部１４９は、ステップＳ４１にてＶＬＤ部２４４から入力された予測モード１１０と、図８に示した符号化データ分解部２２０から入力されたＳＭＢ分割ルール１０２とに基づいて、分割モード１１１を決定し、この分割モード１１１を変換係数レベル分割部２４５およびＳＭＢ結合部２４１に出力する（ステップＳ４２）。

変換係数レベル分割部２４５は、ステップＳ４２にて分割モード決定部１４９から入力された分割モード１１１に基づいて、ステップＳ４１にてＶＬＤ部２４４から入力された変換係数レベルをＳＭＢ単位の変換係数レベル１０８に分割して、逆量子化部１４５に順次出力する。そして、識別子ＳＭＢ＿ｉｄ（ＳＭＢ＿ｉｄ＝０，…，Ｎｓｍｂ−１）によって識別される計Ｎｓｍｂ個のＳＭＢに対応する変換係数レベル各々に対し、ステップＳ４４〜Ｓ４６の処理が実行される（ステップＳ４３）。

ステップＳ４３にて逆量子化部１４５に入力された変換係数レベル１０８に対して逆量子化が適用されて、変換係数レベル１０８が変換係数としてＩＤＣＴ部１４６に出力される。続いて、ＩＤＣＴ部１４６は、逆量子化部１４５から入力された変換係数に対して逆離散コサイン変換を適用し、変換係数から生成した予測残差を出力する（ステップＳ４４）。

予測部１４１は、ステップＳ４１にてＶＬＤ部２４４から入力された予測モード１１０に基づいて、局所復号画像メモリ１４７に記録されている局所復号画像を利用して予測画像１０６を生成して、これを出力する（ステップＳ４５）。

次に、ステップＳ４４でＩＤＣＴ部１４６から出力された予測残差を、ステップＳ４５で予測部１４１から出力された予測画像１０６に加えた画像が、局所復号画像１０９として局所復号画像メモリ１４７に記録されるとともに、ＳＭＢ結合部２４１に出力される（ステップＳ４６）。

ＳＭＢ結合部２４１は、ステップＳ４２で分割モード決定部１４９から入力された分割モード１１１に基づいて、ステップＳ４６にて順次入力される局所復号画像１０９を結合し、ＭＢ復号画像２００として、図８に示したＭＢ結合部２２２に出力する（ステップＳ４７）。

以上の手順により、ＭＢ復号部２２１は、符号化データ分解部２２０から入力されるＳＭＢ分割ルール１０２に基づいて、符号化データ分解部２２０から順次入力されるＭＢ符号化データ１０３を復号して、対応するＭＢ復号画像を順次出力することができる。

上述のとおり、画像復号装置２によれば、画像符号化装置１で生成された符号化データから復号画像を生成することができる。

（実施形態２：ＭＢクラスに応じたＳＭＢ分割ルールを利用する方法）
次に、本発明による画像符号化装置および画像復号装置の別の実施形態について図１２〜図１７を用いて説明する。本実施形態において説明する画像符号化装置は、ＭＢクラスと呼ぶＭＢ画像の特性を表す情報に基づいて、特定の予測モードに対応する分割モードを決定するという特徴を有する。

＜エンコーダの構成・動作＞
前述の図１において、画像符号化装置１を画像符号化装置３に置き換えたものとして説明し、画像符号化装置３の各構成要素については図１の括弧内に図示する。画像符号化装置３は、ＭＢ符号化部１２２をＭＢ符号化部３２２に、ＳＭＢ分割ルール生成部１２０をＳＭＢ分割ルール生成部３２０に、符号化データ多重化部１２３を符号化データ多重化部３２３にそれぞれ置き換えた構成を持つものとする。

ＳＭＢ分割ルール生成部３２０は、入力画像１００に基づいて、ＳＭＢ分割ルール１０２ａを生成し、このＳＭＢ分割ルール１０２ａをＭＢ符号化部３２２及び符号化データ多重化部３２３に出力する。ＳＭＢ分割ルール１０２ａには、任意のＭＢクラスに分類されるＭＢにおいて特定の予測モードが選択された場合に何れの分割モードを適用すべきかの情報が示されている。このＳＭＢ分割ルール生成部３２０の詳細およびＳＭＢルール１０２ａの生成方法の詳細は後述する。

ＭＢ符号化部３２２は、ＳＭＢ分割ルール生成部３２０から入力されるＳＭＢ分割ルール１０２ａに基づいて、ＭＢ分割部１２１から順次入力されるＭＢ画像１０１を符号化し、各ＭＢ画像１０１の符号化結果をＭＢ符号化データ１０３ａとして符号化データ多重化部３２３に順次出力する。ＭＢ符号化データ１０３ａは、ＭＢ画像が分類されるＭＢクラスを示す情報を含む点が、画像符号化装置１におけるＭＢ符号化データ１０３と異なる。

符号化データ多重化部３２３は、ＳＭＢ分割ルール生成部３２０から入力されるＳＭＢ分割ルール１０２ａと、ＭＢ符号化部３２２から順次入力されるＭＢ符号化データ１０３ａとを多重化して、これを符号化データ１０４ａとして出力する。

画像符号化装置３の概略動作については、前述の画像符号化装置１におけるステップＳ１〜Ｓ５（図２）で示した動作例と同様であるため、ここでの説明は省略する。

＜ＭＢ符号化部３２２の構成例＞
次に、画像符号化装置３が備えるＭＢ符号化部３２２の詳細構成について説明する。
図１２は、ＭＢ符号化部３２２の構成例を示すブロック図である。ＭＢ符号化部３２２は、ＳＭＢ分割部１４０、予測部１４１、ＤＣＴ部１４２、量子化部１４３、ＶＬＣ部３４４、逆量子化部１４５、ＩＤＣＴ部１４６、局所復号画像メモリ１４７、予測モード判定部１４８、分割モード決定部３４９、ＭＢクラス決定部３５０により構成される。上記構成要素の内、ＶＬＣ部３４４、分割モード決定部３４９、ＭＢクラス決定部３５０以外の各構成要素は、前述のＭＢ符号化部１２２（図３）の各構成要素と同一の機能を有するため、同一の符号を付与してその説明を省略する。

＜ＭＢクラス決定部３５０の説明＞
ＭＢクラス決定部３５０は、ＭＢ分割部１２１から入力されるＭＢ画像１０１の特性に基づいて、ＭＢ画像を所定のカテゴリに分類し、この分類結果をＭＢクラス３０１として分割モード決定部３４９及びＶＬＣ部３４４に出力する。なお、所定のカテゴリとしては、画像符号化装置３では（複雑、平坦）の２つのＭＢクラスが定義される。これら２つのＭＢクラスは、ＭＢ画像１０１の画像が平坦か否かを表し、分類は以下の手順で実行される。

まず、ＭＢ画像１０１の複雑度Ａｍが次式により計算される。

次に、複雑度Ａｍと所定の閾値ＴＨａとが比較され、複雑度Ａｍが閾値ＴＨａより大きければ、ＭＢ画像１０１は「複雑」なＭＢクラスであると判定される。逆に、複雑度Ａｍが閾値ＴＨａ以下ならば、ＭＢ画像１０１は「平坦」なＭＢクラスであると判定される。なお、例えば、画素値の範囲が０〜２５５の場合、閾値ＴＨａとしてＴＨａ＝５を用いることができる。

＜分割モード決定部３４９の説明＞
分割モード決定部３４９は、ＳＭＢ分割ルール生成部３２０から入力されるＳＭＢ分割ルール１０２ａで規定されているＭＢクラスと予測モードと分割モードの対応関係に基づいて、ＭＢクラス決定部３５０から入力されるＭＢクラス３０１と予測モード判定部１４８から入力される予測モード１１０とに対応する分割モード１１１をＳＭＢ分割部１４０に出力する。

画像符号化装置３では、（複雑、平坦）の２種類のＭＢクラスの他に、前述の画像符号化装置１と同様に、３種類の予測モード（ＤＣ、Ｈｏｒ、Ｖｅｒｔ）、および図４に示した５種類の分割モード（１６×１６分割、８×８分割、４×４分割、１６×４分割、４×１６分割）が用いられる。

ＳＭＢ分割ルール１０２ａでは、ＭＢクラス毎に、３種類の予測モードそれぞれに対し、上記５種類の分割モードのいずれかが関連付けられて記録されている。そのため、分割モード決定部３４９では、ＭＢクラス決定部３５０から入力されるＭＢクラス３０１において、予測モード判定部１４８から入力される予測モード１１０と関連付けられている分割モード１１１をＳＭＢ分割ルール１０２ａから読み出すことができる。

ＳＭＢ分割ルール１０２ａの一例として、「平坦」なＭＢクラスにおいて、（ＤＣ、Ｈｏｒ、Ｖｅｒｔ）の各予測モードに対して、（１６×１６分割、４×１６分割、１６×４分割）の各分割モードがそれぞれ関連付けられ、また、「複雑」なＭＢクラスにおいて、（ＤＣ、Ｈｏｒ、Ｖｅｒｔ）の各予測モードに対して、（８×８分割、４×４分割、４×４分割）の各分割モードがそれぞれ関連付けられている例が挙げられる。

＜ＶＬＣ部３４４の説明＞
ＶＬＣ部３４４は、量子化部１４３から入力された変換係数レベル１０８と、予測モード判定部１４８から入力された予測モード１１０と、ＭＢクラス決定部３５０から入力されたＭＢクラス３０１とをそれぞれ可変長符号化および多重化し、これをＭＢ符号化データ１０３ａとして符号化データ多重化部３２３に出力する。

＜ＭＢ符号化部３２２の動作例＞
続いて、ＭＢ符号化部３２２の動作例について図１３に示すフロー図を参照しながら説明する。
まず、予測モード判定部１４８は、外部から入力されたＭＢ画像１０１に基づいて予測モード１１０を導出して、これを予測部１４１、分割モード決定部３４９、及びＶＬＣ部３４４に出力する（ステップＳ５１）。
次に、ＭＢクラス決定部３５０は、外部から入力されたＭＢ画像１０１に基づいてＭＢクラス３０１を導出して、これを分割モード決定部３４９およびＶＬＣ部３４４に出力する（ステップＳ５２）。

分割モード決定部３４９は、ステップＳ５１にて予測モード判定部１４８から入力された予測モード１１０と、ステップＳ５２にてＭＢクラス決定部３５０から入力されたＭＢクラス３０１と、外部より入力されたＳＭＢ分割ルール１０２ａとに基づいて分割モード１１１を決定し、この分割モード１１１をＳＭＢ分割部１４０に出力する（ステップＳ５３）。

ＳＭＢ分割部１４０は、外部から入力されたＭＢ画像１０１を、ステップＳ５２にて分割モード決定部３４９から入力された分割モード１１１に基づいてＮｓｍｂ個のＳＭＢ画像に分割する。そして、分割の結果得られる、識別子ＳＭＢ＿ｉｄ（ＳＭＢ＿ｉｄ＝０，…，Ｎｓｍｂ−１）によって識別される計Ｎｓｍｂ個のＳＭＢ画像１０５を、予測部１４１およびＤＣＴ部１４２に順次出力する。そして、各ＳＭＢ画像１０５に対してステップＳ５５〜Ｓ５８の各処理が順次実行される（ステップＳ５４）。

予測部１４１は、ステップＳ５１にて予測モード判定部１４８から入力された予測モード１１０に基づいて、局所復号画像メモリ１４７に記録されている局所復号画像を利用して予測画像１０６を生成して出力する（ステップＳ５５）。

そして、ステップＳ５４でＳＭＢ分割部１４０から出力されたＳＭＢ画像１０５と、ステップＳ５５で出力された予測画像１０６の差分である予測残差１０７がＤＣＴ部１４２に入力される。そして、ＤＣＴ部１４２において周波数変換により予測残差１０７が変換係数に変換された後、量子化部１４３において量子化され、変換係数レベル１０８としてＶＬＣ部３４４および逆量子化部１４５に出力される（ステップＳ５６）。

そして、ステップＳ５６で出力された変換係数レベル１０８は、逆量子化部１４５において逆量子化されて変換係数として復元された後、ＩＤＣＴ部１４６において逆周波数変換により予測残差１０７として復元されて出力される（ステップＳ５７）。

次に、ステップＳ５７で出力された予測残差１０７は、ステップＳ５５で予測部１４１から出力された予測画像１０６に加算されて、局所復号画像１０９として局所復号画像メモリ１４７に記録される（ステップＳ５８）。

ＶＬＣ部３４４は、ステップＳ５１にて予測モード判定部１４８から入力された予測モード１１０と、ステップＳ５２にてＭＢクラス決定部３５０から入力されたＭＢクラス３０１と、ステップＳ５６にて量子化部１４３から入力された各ＳＭＢの変換係数レベル１０８とをそれぞれ可変長符号化して、ＭＢ符号化データ１０３ａとして外部に出力する（ステップＳ５９）。

上記の手順により、ＭＢ符号化部３２２では、入力されたＭＢ画像１０１を符号化して、ＭＢ符号化データ１０３ａを生成することができる。その際、ＭＢ画像１０１の特性に合った予測モードが選択されるとともに、ＭＢ画像１０１の特性を表すＭＢクラスが導出される。そして、別途入力されるＳＭＢ分割ルール１０２ａに基づいて、ＭＢクラスの示す特性を持つＭＢ画像に対して、選択された予測モードに適する分割モードが決定される。

ＭＢクラスが異なる場合には、同じ予測モードを用いた場合でも、予測残差の性質が異なる。そのため、特定の予測モードに対して最適な分割モードは、ＭＢクラスに応じて異なる。したがって、ＭＢクラスに応じて、各予測モードに対して関連付ける分割モードを変えることで、より適した分割モードが選択できるようになる。それにより、予測残差のエネルギーをより少数の変換係数に集中させることができる。

＜ＳＭＢ分割ルール生成部３２０の構成例＞
次に、画像符号化装置３が備えるＳＭＢ分割ルール生成部３２０の詳細構成について説明する。
図１４は、ＳＭＢ分割ルール生成部３２０の構成例を示すブロック図である。ＳＭＢ分割ルール生成部３２０は、モード制御部１６０、入力画像メモリ１６１、予測／分割評価部３６２、評価情報記録メモリ３６３、及びＳＭＢ分割ルール決定部３６４より構成される。なお、ＭＢ分割部１２１は図１に示したものと同じであり、ＭＢクラス決定部３５０は図１２に示したものと同じである。予測／分割評価部３６２、評価情報記録メモリ３６３、及びＳＭＢ分割ルール決定部３６４以外の各構成要素については、前述のＳＭＢ分割ルール生成部１２０（図６）またはＭＢ符号化部３２２（図１２）内の対応する構成要素と同一の機能を有するため、同一の符号を付与してその説明を省略する。

＜予測／分割評価部３６２の説明＞
予測／分割評価部３６２は、ＭＢ分割部１２１から入力されるＭＢ画像１０１と、モード制御部１６０から入力される予測モード１１０，分割モード１１１とに基づいて、予測モード１１０に対する分割モード１１１の適切さを示すモード評価値１１２を計算する。モード評価値の定義および導出手順は、前述（図６）の予測／分割評価部１６２と同じであるため、ここでの説明は省略する。モード評価値１１２は、予測モード１１０，分割モード１１１，および別途入力されるＭＢクラス３０１に関連付けられた上で出力される。

＜評価情報記録メモリ３６３の説明＞
評価情報記録メモリ３６３には、予測／分割評価部３６３から入力される、予測モード１１０，分割モード１１１，及びＭＢクラス３０１が関連付けられたモード評価値１１２を順次記録される。

＜ＳＭＢ分割ルール決定部３６４の説明＞
ＳＭＢ分割ルール決定部３６４は、評価情報記録メモリ３６３に記録されているモード評価値１１２を参照して、ＳＭＢ分割ルール１０２ａを作成して出力する。
ＳＭＢ分割ルール１０２ａには、ＭＢクラス毎に、適用可能な全ての予測モードそれぞれに対して有効な分割モードが対応付けられている。このＳＭＢ分割ルール１０２ａは、次の手順で作成される。

まず、ＳＭＢ分割ルール決定部３６４は、評価情報記録メモリ３６３に記録されているモード評価値１１２に基づいて、特定のＭＢクラスにおける、予測モードＰＭに対する各分割モードの評価値を計算する。例えば、ＭＢクラスＭＣにおける予測モードＰＭに対する分割モードＤＭの評価値として、評価情報記録メモリ３６３からＭＢクラスＭＣ，予測モードＰＭ，及び分割モードＤＭに関連付けられたモード評価値１１２を全て取得して、得られた複数のモード評価値の平均値を評価値とする。これにより、ＭＢクラスと予測モードと分割モードの任意の組み合わせに対する組み合わせ評価値が得られる。

次に、ＭＢクラス毎に予測モードＰＭに対して、上記組み合わせ評価値が最小となるような分割モードを選択して、予測モードＰＭに対して適する分割モードとする。これにより、ＭＢクラス毎に、予測モードそれぞれに対して適する分割モードが選択される。

＜ＳＭＢ分割ルール生成部３２０の動作例＞
続いて、ＳＭＢ分割ルール生成部３２０の動作例について図１５に示すフロー図を参照しながら説明する。
まず、ＳＭＢ分割ルール生成部３２０は、外部から入力された入力画像１００を入力画像メモリ１６１に記録する（ステップＳ６１）。
ＭＢ分割部１２１は、外部から入力された入力画像１００をＭＢ画像１０１に分割する。そして、分割の結果得られた、識別子ＭＢ＿ｉｄ（ＭＢ＿ｉｄ＝０，・・・，Ｎｍｂ−１）によって識別される計Ｎｍｂ個のＭＢ画像を、ＳＭＢ分割部１４０（図１２），予測／分割評価部３６２，モード制御部１６０，及びＭＢクラス決定部３５０に順次出力する。そして、各ＭＢ画像に対して、ステップＳ６３〜Ｓ６５の処理が実行される（ステップＳ６２）。

ＭＢクラス決定部３５０は、ステップＳ６２にてＭＢ分割部１２１から入力されたＭＢ画像１０１に基づいて、ＭＢクラス３０１を導出して、予測／分割評価部３６２に出力する（ステップＳ６３）。

モード制御部１６０は、予測モード１１０と分割モード１１１の対（モードペア）を生成して、予測／分割評価部３６２に順次出力する。続いて、各予測モード１１０と分割モード１１１の対に対して、ステップＳ６５の処理が実行される（ステップＳ６４）。

予測／分割評価部３６２は、ステップＳ６２にてＭＢ分割部１２１から入力されるＭＢ画像、ステップＳ６３にてＭＢクラス決定部３５０から入力されるＭＢクラス３０１、および、ステップＳ６４にてモード制御部１６０から入力される予測モード１１０，分割モード１１１の対に対するモード評価値１１２を計算して、評価情報記録メモリ３６３に記録する（ステップＳ６５）。

ＳＭＢ分割ルール決定部３６４は、ステップＳ６５にて評価情報記録メモリ３６３に記録された各モード評価値１１２に基づいて、１つのＳＭＢ分割ルール１０２ａを生成して、外部に出力する（ステップＳ６６）。

以上の手順により、ＳＭＢ分割ルール生成部３２０では、外部から入力される入力画像１００に基づいてＳＭＢ分割ルール１０２ａが決定されて出力される。その際、ＭＢクラスで表わされる特性を有するＭＢ画像において、ＳＭＢの予測残差にＤＣＴを適用する際に、予測残差のエネルギーが少数の変換係数に集中するような分割モードが各予測モードに対して関連付けられる。

＜デコーダの構成・動作＞
次に、前述の画像符号化装置３で符号化された符号化データ１０３ａを復号して画像を再生する画像復号装置について説明する。
前述の図８において、画像復号装置２を画像復号装置４に置き換えたものとして説明し、画像復号装置４の各構成要素については図８の括弧内に図示する。画像復号装置４は、符号化データ分解部２２０を符号化データ分解部４２０に、ＭＢ復号部２２１をＭＢ復号部４２１にそれぞれ置き換えた構成を持つものとする。

符号化データ分解部４２０は、入力される符号化データ１０４ａから、ＳＭＢ分割ルール１０２ａおよび複数のＭＢ符号化データ１０３ａを抽出し、これらをＭＢ復号部４２１に出力する。
ＭＢ復号部４２１は、符号化データ分解部４２０から入力されるＳＭＢ分割ルール１０２ａ及びＭＢ符号化データ１０３ａに基づいて、ＭＢ復号画像２００を生成し、これをＭＢ結合部２２２に出力する。このＭＢ復号部４２１の処理の詳細については後述する。

なお、画像復号装置４の動作例については、前述の画像復号装置２におけるステップＳ３１〜Ｓ３４（図９）で示した動作例と同じであるため、ここでの説明は省略する。

＜ＭＢ復号部４２１の構成例＞
次に、画像復号装置４が備えるＭＢ復号部４２１の詳細構成について説明する。
図１６は、ＭＢ復号部４２１の構成例を示すブロック図である。ＭＢ復号部４２１は、予測部１４１、逆量子化部１４５、ＩＤＣＴ部１４６、局所復号画像メモリ１４７、分割モード決定部３４９、ＳＭＢ結合部２４１、及びＶＬＤ部４４４より構成される。なお、ＶＬＤ部４４４以外の構成要素は、図１０のＭＢ復号部２２１及び図１２のＭＢ符号化部３２２内の対応する各構成要素と同一の機能を有するため、同一の符号を付与して説明を省略する。

ＶＬＤ部４４４は、入力されるＭＢ符号化データ１０３ａから、予測モード１１０，ＭＢクラス３０１，及び変換係数レベルを抽出して出力する。

＜ＭＢ復号部４２１の動作例＞
続いて、ＭＢ復号部４２１の動作例について図１７に示すフロー図を参照しながら説明する。
まず、外部からＭＢ符号化データ１０３ａが入力され、ＶＬＤ部４４４に供給され、ＶＬＤ部４４４は、変換係数レベル，予測モード１１０，及びＭＢクラス３０１をＭＢ符号化データ１０３ａより復号して、予測モード１１０を予測部１４１および分割モード決定部３４９に、ＭＢクラス３０１を分割モード決定部３４９に、変換係数レベルを変換係数レベル分割部２４５にそれぞれ出力する（ステップＳ７１）。

分割モード決定部３４９は、ステップＳ７１にてＶＬＤ部４４４から入力された予測モード１１０及びＭＢクラス３０１と、外部から入力されたＳＭＢ分割ルール１０２ａとに基づいて、分割モード１１１を決定して、変換係数レベル分割部２４５およびＳＭＢ結合部２４１に出力する（ステップＳ７２）。

変換係数レベル分割部２４５は、ステップＳ７２にて分割モード決定部３４９から入力された分割モード１１１に基づいて、ステップＳ７１にてＶＬＤ部４４４から入力された変換係数レベルをＳＭＢ単位の変換係数レベル１０８に分割し、逆量子化部１４５に順次出力する。そして、識別子ＳＭＢ＿ｉｄ（ＳＭＢ＿ｉｄ＝０，…，Ｎｓｍｂ−１）によって識別される計Ｎｓｍｂ個のＳＭＢに対応する変換係数レベル各々に対して、ステップＳ７４〜Ｓ７６の処理が実行される（ステップＳ７３）。

次に、ステップＳ７３にて逆量子化部１４５に入力された変換係数レベル１０８に対して逆量子化が適用され、この変換係数レベル１０８が変換係数としてＩＤＣＴ部１４６に出力される。続いて、ＩＤＣＴ部１４６は、入力された変換係数に対して逆離散コサイン変換を適用し、これにより生成された予測残差を出力する（ステップＳ７４）。

予測部１４１は、ステップＳ７１にてＶＬＤ部４４４から入力された予測モード１１０に基づいて、局所復号画像メモリ１４７に記録されている局所復号画像を利用して予測画像１０６を生成して、これを出力する（ステップＳ７５）。

そして、ステップＳ７４でＩＤＣＴ部１４６から出力された予測残差を、ステップＳ７５で予測部１４１から出力された予測画像１０６に加えた画像が、局所復号画像１０９として、局所復号画像メモリ１４７に記録されるとともに、ＳＭＢ結合部２４１に出力される（ステップＳ７６）。

ＳＭＢ結合部２４１は、ステップＳ７２で分割モード決定部３４９から入力された分割モード１１１に基づいて、ステップＳ７６にて順次入力される局所復号画像１０９を結合して、ＭＢ復号画像２００として外部に出力する（ステップＳ７７）。

以上の手順により、ＭＢ復号部４２１では、入力されるＳＭＢ分割ルール１０２ａに基づいて、順次入力されるＭＢ符号化データ１０３ａを復号して、対応するＭＢ復号画像を順次出力することができる。

上述のとおり、画像復号装置４によれば、画像符号化装置３で生成された符号化データから復号画像を生成することができる。

１，３…画像符号化装置、２，４…画像復号装置、１００…入力画像、１０１…ＭＢ画像、１０２，１０２ａ…ＳＭＢ分割ルール、１０３，１０３ａ…ＭＢ符号化データ、１０４，１０４ａ…符号化データ、１０５…ＳＭＢ画像、１０６…予測画像、１０７…予測残差、１０８…変換係数レベル、１０９…局所復号画像、１１０…予測モード、１１１…分割モード、１１２…モード評価値、１１３…分割モードを示す情報、１２０，３２０…ＳＭＢ分割ルール生成部、１２１…ＭＢ分割部、１２２，３２２…ＭＢ符号化部、１２３，３２３…符号化データ多重化部、１４０…ＳＭＢ分割部、１４１…予測部、１４２…ＤＣＴ部、１４３…量子化部、１４４，３４４…ＶＬＣ部、１４５…逆量子化部、１４６…ＩＤＣＴ部、１４７…局所復号画像メモリ、１４８…予測モード判定部、１４９，３４９…分割モード決定部、１６０…モード制御部、１６１…入力画像メモリ、１６２，３６２…予測／分割評価部、１６３，３６３…評価情報記録メモリ、１６４，３６４…ＳＭＢ分割ルール決定部、２００…ＭＢ復号画像、２０１…復号画像、２２０，４２０…符号化データ分解部、２２１，４２１…ＭＢ復号部、２２２…ＭＢ結合部、２４１…ＳＭＢ結合部、２４４，４４４…ＶＬＤ部、２４５…変換係数レベル分割部、３０１…ＭＢクラス、３５０…ＭＢクラス決定部。

上記課題を解決するために、第１の技術手段は、入力画像を複数のマクロブロックに分割し、マクロブロック単位で符号化処理を行う画像符号化装置であって、予測画像の生成方法を示す予測モードを判定する予測モード判定部と、該予測モード判定部により判定された予測モードに応じて、サブマクロブロックへの分割方法を示す分割モードを決定する分割モード決定部とを備えることを特徴としたものである。
第２の技術手段は、第１の技術手段において、前記分割モードに基づいて、マクロブロックをサブマクロブロックに分割するＳＭＢ分割部と、前記予測モードに基づいて、マクロブロックの予測画像を生成する予測部とを備え、前記予測モード判定部は、マクロブック毎に予測モードを判定し、前記分割モード決定部は、マクロブック毎に分割モードを決定することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記予測部は、マクロブロックの予測画像を、サブマクロブロック単位で生成することを特徴としたものである。

第４の技術手段は、第１〜第３のいずれか１の技術手段において、各予測モードに対して適切な分割モードを関連付けたＳＭＢ分割ルールを生成するＳＭＢ分割ルール生成部を備え、前記分割モード決定部は、前記予測モード判定部により判定された予測モードに応じた分割モードを、前記ＳＭＢ分割ルールに従って決定することを特徴としたものである。

第５の技術手段は、第４の技術手段において、前記ＳＭＢ分割ルールを符号化することを特徴としたものである。

第６の技術手段は、第５の技術手段において、前記ＳＭＢ分割ルールをスライス単位で符号化することを特徴としたものである。

第７の技術手段は、第４〜第６のいずれか１の技術手段において、前記入力画像をマクロブロック単位で符号化するＶＬＣ部をさらに備え、前記ＳＭＢ分割ルールは、各予測モードに対応する有効分割モードリストを含み、前記有効分割モードリストは、対応する予測モードに対して有効な分割モードを少なくとも１個以上要素として含み、前記分割モード決定部は、マクロブロックの予測画像の生成に用いられる予測モードに対応する前記有効分割モードリストを前記ＳＭＢ分割ルールから抽出し、前記有効分割モードリストに要素として含まれる分割モードの中から当該マクロブロックにおける分割モードを選択し、前記ＶＬＣ部は、前記分割モード決定部により選択された分割モードを示す情報を符号化することを特徴としたものである。

第８の技術手段は、第４〜第７のいずれか１の技術手段において、マクロブロックの複雑度を示すＭＢクラスを計算するＭＢクラス決定部を備え、前記分割モード決定部は、前記予測モード判定部により判定された予測モードに応じた分割モードを、前記ＳＭＢ分割ルール及び前記ＭＢクラスに従って決定することを特徴としたものである。

第９の技術手段は、第１〜第８のいずれか１の技術手段において、前記分割モードは、横長矩形型のサブマクロブロックを含むよう分割することを指定する横長矩形分割モードと、縦長矩形型のサブマクロブロックを含むよう分割することを指定する縦長矩形分割モードとを含むことを特徴としたものである。

第１０の技術手段は、マクロブロック単位で符号化されている符号化データを復号して復号画像を生成する画像復号装置であって、前記符号化データから予測モードを抽出して可変長復号するＶＬＤ部と、前記予測モードに基づいて予測画像を生成する予測部と、前記予測モードに応じて、サブマクロブックへの分割方法を示す分割モードを決定する分割モード決定部とを備えることを特徴としたものである。

Claims (9)

1. 入力画像を複数のマクロブロックに分割し、マクロブロック単位で符号化処理を行う画像符号化装置であって、
   マクロブロック毎に予測画像の生成方法を示す予測モードを判定する予測モード判定部と、
   該予測モード判定部により判定された予測モードに応じて、マクロブロック毎にサブマクロブロックへの分割方法を示す分割モードを決定する分割モード決定部と、
   該分割モード決定部により決定された分割モードに基づいてマクロブロックをサブマクロブロックに分割するＳＭＢ分割部と、
   前記予測モード判定部により判定された予測モードに基づいて、マクロブロックの予測画像を生成する予測部とを備え、
   サブマクロブロック単位で前記入力画像と前記予測画像の差分を周波数変換することを特徴とする画像符号化装置。
2. 前記予測部は、マクロブロックの予測画像を、サブマクロブロック単位で生成することを特徴とする請求項１に記載の画像符号化装置。
3. 各予測モードに対して適切な分割モードを関連付けたＳＭＢ分割ルールを生成するＳＭＢ分割ルール生成部を備え、
   前記分割モード決定部は、前記予測モード判定部により判定された予測モードに応じた分割モードを、前記ＳＭＢ分割ルールに従って決定することを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記ＳＭＢ分割ルールを符号化することを特徴とする請求項３に記載の画像符号化装置。
5. 前記ＳＭＢ分割ルールをスライス単位で符号化することを特徴とする請求項４に記載の画像符号化装置。
6. 前記入力画像をマクロブロック単位で符号化するＶＬＣ部をさらに備え、
   前記ＳＭＢ分割ルールは、各予測モードに対応する有効分割モードリストを含み、
   前記有効分割モードリストは、対応する予測モードに対して有効な分割モードを少なくとも１個以上要素として含み、
   前記分割モード決定部は、マクロブロックの予測画像の生成に用いられる予測モードに対応する前記有効分割モードリストを前記ＳＭＢ分割ルールから抽出し、前記有効分割モードリストに要素として含まれる分割モードの中から当該マクロブロックにおける分割モードを選択し、
   前記ＶＬＣ部は、前記分割モード決定部により選択された分割モードを示す情報を符号化することを特徴とする請求項３〜５のいずれか１項に記載の画像符号化装置。
7. マクロブロックの複雑度を示すＭＢクラスを計算するＭＢクラス決定部を備え、
   前記分割モード決定部は、前記予測モード判定部により判定された予測モードに応じた分割モードを、前記ＳＭＢ分割ルール及び前記ＭＢクラスに従って決定することを特徴とする請求項３〜６のいずれか１項に記載の画像符号化装置。
8. 前記分割モードは、横長矩形型のサブマクロブロックを含むよう分割することを指定する横長矩形分割モードと、縦長矩形型のサブマクロブロックを含むよう分割することを指定する縦長矩形分割モードとを含むことを特徴とする請求項１〜７のいずれか１項に記載の画像符号化装置。
9. マクロブロック単位で符号化されている符号化データを復号して復号画像を生成する画像復号装置であって、
   前記符号化データから変換係数レベルと予測モードを抽出して可変長復号するＶＬＤ部と、
   該ＶＬＤ部により抽出された変換係数レベルを逆量子化して変換係数を復元する逆量子化部と、
   該逆量子化部により復元された変換係数を逆周波数変換して予測残差を復元するＩＤＣＴ部と、
   前記ＶＬＤ部により抽出された予測モードに基づいてサブマクロブロックに対応する予測画像を生成する予測部とを備え、
   サブマクロブロック単位で前記予測画像に前記予測残差を加算して得られる局所復号画像を、前記予測モードに応じて決定される分割モードに基づいて、複数個結合することでマクロブロック単位の復号画像を生成することを特徴とする画像復号装置。

Images