JP6046840B2 - 映像予測単位についてのイントラ予測モード符号化方法及び装置、並びに映像予測単位についてのイントラ予測モード復号化方法及び装置 - Google Patents

Description

本発明は、映像の符号化及び復号化に係り、より詳しくは、輝度成分の映像予測単位に対して決定されたイントラ予測モードと、色差成分のイントラ予測モードとの相関関係に基づいて、色差成分のイントラ予測モードを効率的に符号化する映像予測単位についてのイントラ予測モード符号化方法及び装置、並びに映像予測単位についてのイントラ予測モード復号化方法及び装置に関する。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ(Advanced Video Coding)のような映像圧縮方式では、映像を符号化するために、一つのピクチャをマクロブロックに分ける。そして、インター予測及びイントラ予測で利用可能な全ての符号化モードで、それぞれのマクロブロックを符号化した後、マクロブロックの符号化に所要するビット率、及び元来のマクロブロックと、復号化されたマクロブロックとの歪曲程度によって、符号化モードを一つ選択して、マクロブロックを符号化する。

高解像度または高画質のビデオコンテンツを再生及び保存の可能なハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が高くなっている。既存のビデオコーデックによれば、ビデオは、所定のサイズのマクロブロックに基づいて、制限された予測モードによって符号化されている。

本発明の目的は、輝度映像成分予測単位に対して決定されたイントラ予測モードに基づいて、輝度映像成分予測単位と対応する色差映像成分予測単位のイントラ予測モードを効率的に符号化及び復号化する方法並びに装置を提供することにある。

本発明の実施形態によれば、輝度成分のイントラ予測モードが、色差成分のイントラ予測モードと同一であるか否かによって、色差成分の予測単位に適用されるイントラ予測モード候補グループを再構成して、色差成分の予測単位のイントラ予測モードを効率的に符号化及び復号化する。

本発明によれば、輝度映像成分の予測単位のイントラ予測モードと、色差映像成分の予測単位のイントラ予測モードとの重複性を除去し、輝度映像成分の予測単位のイントラ予測モードに基づいて、色差映像成分の予測単位のイントラ予測モードを効率的に表現することができる。また、本発明によれば、色差映像成分の予測単位のイントラ予測モードをシグナリングするのに利用されるビット数を減少させることができる。

本発明の一実施形態によるビデオ符号化装置を示すブロック図である。 本発明の一実施形態によるビデオ復号化装置を示すブロック図である。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示すブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示すブロック図である。 本発明の一実施形態による深度別の符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位と変換単位の関係を示す図面である。 本発明の一実施形態による深度別の符号化情報を示す図面である。 本発明の一実施形態による深度別の符号化単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による輝度成分及び色差成分の予測単位のフォーマットを示す図面である。 本発明の一実施形態による輝度成分及び色差成分の予測単位のフォーマットを示す図面である。 本発明の一実施形態による輝度成分及び色差成分の予測単位のフォーマットを示す図面である。 本発明の一実施形態による輝度成分予測単位のサイズによるイントラ予測モードの個数を示す図面である。 本発明の一実施形態による所定のサイズの輝度成分予測単位に適用可能なイントラ予測モードの一例を説明するための図面である。 図１６Ａのイントラ予測モードの方向を示す図面である。 図１６Ａに示した輝度成分予測単位についてのイントラ予測方法を示す図面である。 本発明の一実施形態による所定のサイズの輝度成分予測単位に適用可能なイントラ予測モードの他の例を説明するための図面である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードを説明するための参照図である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードを説明するための参照図である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードを説明するための参照図である。 本発明の一実施形態による双線形モードを説明するための参照図である。 本発明の一実施形態によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルと現在のピクセルの関係を説明するための図面である。 本発明の一実施形態によって、現在のピクセルの位置によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルの変化を説明するための図面である。 本発明の他の実施形態によって、イントラ予測モード方向を決定する方法を説明するための図面である。 本発明の他の実施形態によって、イントラ予測モード方向を決定する方法を説明するための図面である。 本発明のさらに他の実施形態によって、利用可能なイントラ予測モードの一例を説明するための参照図である。 本発明のさらに他の実施形態によるイントラ予測モードを説明するための参照図である。 本発明のさらに他の実施形態によるイントラ予測モードを説明するための参照図である。 本発明の一実施形態による映像のイントラ予測モード符号化装置を示すブロック図である。 本発明の一実施形態による映像のイントラ予測モード符号化方法を示すフローチャートである。 本発明の一実施形態による映像のイントラ予測モード符号化過程を具体的に示すフローチャートである。 本発明の一実施形態による映像のイントラ予測モード復号化装置を示すブロック図である。 本発明の一実施形態による映像のイントラ予測モード復号化方法を示すフローチャートである。 本発明の一実施形態による映像のイントラ予測モード復号化過程を具体的に示すフローチャートである。

本発明の一実施形態による映像のイントラ予測モード符号化方法は、複数個の第１イントラ予測モード候補グループを適用して、前記映像を構成する第１映像成分の予測単位のイントラ予測モードを決定するステップと、複数個の第２イントラ予測モード候補グループを適用して、前記第１映像成分の予測単位に対応する第２映像成分の予測単位のイントラ予測モードを決定するステップと、前記決定された第１映像成分の予測単位のイントラ予測モードが、前記第２イントラ予測モード候補グループに属した所定のイントラ予測モードのうち一つと同一である場合、前記決定された第１映像成分の予測単位のイントラ予測モードと重なる第２イントラ予測モード候補グループに属したイントラ予測モードの重複性を除去するために、前記第２イントラ予測モード候補グループを再構成するステップと、前記再構成された第２イントラ予測モード候補グループに基づいて、前記決定された第２映像成分の予測単位のイントラ予測モードを符号化するステップと、を含むことを特徴とする。

本発明の一実施形態による映像のイントラ予測モード符号化装置は、複数個の第１イントラ予測モード候補グループを適用して、前記映像を構成する第１映像成分の予測単位のイントラ予測モードを決定する第１イントラ予測モード決定部と、複数個の第２イントラ予測モード候補グループを適用して、前記第１映像成分の予測単位に対応する第２映像成分の予測単位のイントラ予測モードを決定する第２イントラ予測モード決定部と、前記決定された第１映像成分の予測単位のイントラ予測モードが、前記第２イントラ予測モード候補グループに属した所定のイントラ予測モードのうち一つと同一である場合、前記決定された第１映像成分の予測単位のイントラ予測モードと重なる第２イントラ予測モード候補グループに属したイントラ予測モードの重複性を除去するために、前記第２イントラ予測モード候補グループを再構成し、前記再構成された第２イントラ予測モード候補グループに基づいて、前記決定された第２映像成分の予測単位のイントラ予測モードを符号化するイントラ予測モード符号化部と、を備えることを特徴とする。

本発明の一実施形態による映像のイントラ予測モード復号化方法は、ビットストリームから、映像を構成する第１映像成分の予測単位のイントラ予測モード情報を獲得するステップと、前記第１映像成分の予測単位のイントラ予測モードが、前記第２映像成分の予測単位に利用可能な第２イントラ予測モード候補グループに属した所定のイントラ予測モードのうち一つと同一である場合、前記決定された第１映像成分の予測単位のイントラ予測モードと重なる第２イントラ予測モード候補グループに属したイントラ予測モードの重複性を除去するために、前記第２イントラ予測モード候補グループを再構成するステップと、前記再構成された第２イントラ予測モード候補グループに基づいて、前記第２映像成分の予測単位のイントラ予測モードを復号化するステップと、を含むことを特徴とする。

本発明の一実施形態による映像のイントラ予測モード復号化装置は、ビットストリームから、映像を構成する第１映像成分の予測単位のイントラ予測モード情報を獲得し、前記第１映像成分の予測単位のイントラ予測モードが、前記第２映像成分の予測単位に利用可能な第２イントラ予測モード候補グループに属した所定のイントラ予測モードのうち一つと同一であると判断された場合、前記決定された第１映像成分の予測単位のイントラ予測モードと重なる第２イントラ予測モード候補グループに属したイントラ予測モードの重複性を除去するために、前記第２イントラ予測モード候補グループを再構成し、前記再構成された第２イントラ予測モード候補グループに基づいて、前記第２映像成分の予測単位のイントラ予測モードを決定するイントラ予測モード獲得部と、前記ビットストリームから獲得された前記第１映像成分の予測単位のイントラ予測モードに基づいて、前記第１映像成分の予測単位についてのイントラ予測を行う第１イントラ予測実行部と、前記決定された第２映像成分の予測単位のイントラ予測モードに基づいて、前記第２映像成分の予測単位についてのイントラ予測を行う第２イントラ予測実行部と、を備えることを特徴とする。

以下、添付された図面を参照して、本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置を示すブロック図である。

一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０、及び出力部１３０を備える。

最大符号化単位分割部１１０は、映像の現在のピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在のピクチャを区画する。現在のピクチャが最大符号化単位よりも大きければ、現在のピクチャの映像データは、少なくとも一つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であって、横及び縦のサイズが８よりも大きい２の二乗である正方形のデータ単位である。映像データは、少なくとも一つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度によって特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を表し、深度が深くなるほど、深度別の符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別の符号化単位のサイズは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述したように、符号化単位の最大サイズによって、現在のピクチャの映像データを、最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割可能な総回数を制限する最大深度及び符号化単位の最大サイズは、予め設定されていてもよい。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、少なくとも一つの分割領域別に、最終の符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在のピクチャの最大符号化単位ごとに、深度別の符号化単位に映像データを符号化して、最小の符号化誤差が発生する深度を選択して、符号化深度として決定する。決定された符号化深度及び最大符号化単位別の映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって、深度別の符号化単位に基づいて符号化され、それぞれの深度別の符号化単位に基づいた符号化結果が比較される。深度別の符号化単位の符号化誤差の比較結果、符号化誤差の最も小さい深度が選択される。それぞれの最大符号化単位ごとに、少なくとも一つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、一つの最大符号化単位に含まれる同一な深度の符号化単位であるとしても、それぞれのデータについての符号化誤差を測定し、下位深度への分割如何が決定される。したがって、一つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別の符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。したがって、一つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

したがって、一実施形態による符号化単位決定部１２０は、現在の最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による‘ツリー構造による符号化単位’は、現在の最大符号化単位に含まれる全ての深度別の符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では深度によって階層的に決定され、他の領域では独立して決定される。同様に、現在の領域についての符号化深度は、他の領域についての符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係る指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を表す。例えば、最大符号化単位の深度が０であるとする時、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であれば、深度０、１、２、３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別の符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に、深度別の符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別の符号化単位に対して、予測符号化及び周波数変換を含む符号化が行われなければならない。以下、説明の便宜上、少なくとも一つの最大符号化単位のうち、現在の深度の符号化単位に基づいて、予測符号化及び周波数変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択可能である。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などのステップを経るが、全てのステップにわたって、同一なデータ単位が使われてもよく、ステップ別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位に基づいて、予測符号化が行われる。以下、予測符号化の基本となるそれ以上分割されない符号化単位を、‘予測単位’とする。予測単位が分割されたパーティションは、予測単位と、予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位とを含む。

例えば、サイズ２Ｎ×２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位となり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションだけでなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意の形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションのみに対して行われる。符号化単位以内の一つの予測単位ごとに、独立して符号化が行われて、符号化誤差の最も小さい予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位に基づいて、符号化単位の映像データの周波数変換を行う。

符号化単位の周波数変換のためには、符号化単位よりも小さいか、またはそれと同じサイズのデータ単位に基づいて、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位と、インターモードのためのデータ単位とを含む。

以下、周波数変換の基本となるデータ単位を、‘変換単位’とする。符号化単位と類似した方式によって、符号化単位内の変換単位も、再帰的にさらに小さいサイズの変換単位に分割されつつ、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割され、変換単位に達するまでの分割回数を表す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位の変換単位のサイズが２Ｎ×２Ｎであれば、変換深度は０、変換単位のサイズがＮ×Ｎであれば、変換深度は１、変換単位のサイズがＮ／２×Ｎ／２であれば、変換深度は２に設定される。すなわち、変換単位に対しても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別の符号化情報は、符号化深度だけでなく、予測関連情報及び周波数変換関連情報が必要である。したがって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別の予測モード、周波数変換のための変換単位のサイズなどを決定する。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別の符号化単位の符号化誤差を、ラグランジュ乗数に基づいた率−歪曲最適化技法を利用して測定する。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも一つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別の符号化モードに係る情報を、ビットストリームの形態で出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果である。

深度別の符号化モードに係る情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在の深度で符号化せず、下位深度の符号化単位で符号化するか否かを表す深度別の分割情報を利用して定義される。現在の符号化単位の現在の深度が符号化深度であれば、現在の符号化単位は、現在の深度の符号化単位で符号化されるので、現在の深度の分割情報は、それ以上下位深度に分割されないように定義される。逆に、現在の符号化単位の現在の深度が符号化深度でなければ、下位深度の符号化単位を利用した符号化を試みなければならないので、現在の深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在の深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して、符号化が行われる。現在の深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われて、同一な深度の符号化単位ごとに、再帰的に符号化が行われる。

一つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも一つの符号化モードに係る情報が決定されなければならないので、一つの最大符号化単位に対しては、少なくとも一つの符号化モードに係る情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画されて、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係る情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係る符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形のデータ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、深度別の符号化単位別の符号化情報と、予測単位別の符号化情報とに分けられる。深度別の符号化単位別の符号化情報は、予測モード情報及びパーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に係る情報、インターモードの参照映像インデックスに係る情報、動きベクトルに係る情報、イントラモードのクロマ成分に係る情報、イントラモードの補間方式に係る情報などを含む。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに係る情報、及び最大深度に係る情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な実施形態によれば、深度別の符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在の深度の符号化単位のサイズが２Ｎ×２Ｎであれば、下位深度の符号化単位のサイズは、Ｎ×Ｎである。また、２Ｎ×２Ｎサイズの現在の符号化単位は、Ｎ×Ｎサイズの下位深度の符号化単位を最大四つ含む。

したがって、一実施形態によるビデオ符号化装置１００は、現在のピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定して、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などにより符号化するので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

したがって、映像の解像度が高すぎるか、またはデータ量が多すぎる映像を既存のマクロブロック単位で符号化すれば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。したがって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節できるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置を示すブロック図である。

一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、及び映像データ復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種のプロセッシングのための符号化単位、深度、予測単位、変換単位、各種の符号化モードに係る情報などの各種の用語の定義は、図１及びビデオ符号化装置１００を参照して説明した通りである。

受信部２１０は、符号化されたビデオについてのビットストリームを受信して、パージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに、符号化された映像データを抽出して、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在のピクチャについてのヘッダから、現在のピクチャの符号化単位の最大サイズに係る情報を抽出する。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位についての符号化深度及び符号化モードに係る情報を抽出する。抽出された符号化深度及び符号化モードに係る情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化する。

最大符号化単位別の符号化深度及び符号化モードに係る情報は、一つ以上の符号化深度情報について設定され、符号化深度別の符号化モードに係る情報は、当該符号化単位のパーティションタイプ情報、予測モード情報、及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別の分割情報が抽出されることも可能である。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別の符号化深度及び符号化モードに係る情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別の深度別の符号化単位ごとに、反復的に符号化を行って、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係る情報である。したがって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して、映像を復元する。

一実施形態による符号化深度及び符号化モードに係る符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定のデータ単位別に、符号化深度及び符号化モードに係る情報を抽出する。所定のデータ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係る情報が記録されていれば、同一な符号化深度及び符号化モードに係る情報を有している所定のデータ単位は、同一な最大符号化単位に含まれるデータ単位として類推される。

映像データ復号化部２３０は、最大符号化単位別の符号化深度及び符号化モードに係る情報に基づいて、それぞれの最大符号化単位の映像データを復号化して、現在のピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード及び変換単位に基づいて、符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程と、周波数逆変換過程とを含む。

映像データ復号化部２３０は、符号化深度別の符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行う。

また、映像データ復号化部２３０は、最大符号化単位別の周波数逆変換のために、符号化深度別の符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行う。

映像データ復号化部２３０は、深度別の分割情報を利用して、現在の最大符号化単位の符号化深度を決定する。若し、分割情報が現在の深度でそれ以上分割されないことを表していれば、現在の深度が符号化深度である。したがって、映像データ復号化部２３０は、現在の最大符号化単位の映像データに対して、現在の深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して設定されている符号化情報を観察して、同一な分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部２３０によって、同一な符号化モードに復号化する一つのデータ単位であると見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位に係る情報を獲得して、現在のピクチャについての復号化に利用する。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像、またはデータ量が多すぎる映像であるとしても、符号化端から伝送された最適符号化モードに係る情報を利用して、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元する。

以下、図３ないし図１３を参照して、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式を詳細に説明する。

図３は、階層的な符号化単位の概念を示す図面である。

符号化単位の例は、符号化単位のサイズが幅×高さで表現され、サイズ６４×６４の符号化単位から３２×３２，１６×１６，８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４，６４×３２，３２×６４，３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２，３２×１６，１６×３２，１６×１６のパーティションに分割され、サイズ１６×１６の符号化単位は、サイズ１６×１６，１６×８，８×１６，８×８のパーティションに分割され、サイズ８×８の符号化単位は、サイズ８×８，８×４，４×８，４×４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２×２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に示した最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、ビデオデータ３３０よりも解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割して深度が二階層深くなって、長軸サイズが３２、１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割して深度が一階層深くなって、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割して深度が三階層深くなって、長軸サイズが３２、１６、８である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能力が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を示すブロック図である。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在のフレーム４０５のうち、イントラモードの符号化単位に対して、イントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在のフレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０及び周波数逆変換部４７０を通じて、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在の最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決定しなければならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を示すブロック図である。

ビットストリーム５０５から、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係る情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後のステップ別の作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０及び動き補償部５６０は、ツリー構造による符号化単位ごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位のサイズを決定しなければならない。

図６は、本発明の一実施形態による深度別の符号化単位及びパーティションを示す図面である。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像の特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定されてもよく、ユーザの要求に応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別の符号化単位のサイズが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別の符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別の符号化単位の予測符号化の基本となる予測単位及びパーティションが示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００で最大符号化単位であって、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２である深度１の符号化単位６２０、サイズ１６×１６である深度２の符号化単位６３０、サイズ８×８である深度３の符号化単位６４０、及びサイズ４×４である深度４の符号化単位６５０が存在する。サイズ４×４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位であれば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、及びサイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、及びサイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、及びサイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、及びサイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であり、かつ最下位深度の符号化単位であり、当該予測単位も、サイズ４×４のパーティション６５０のみに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一な範囲及びサイズのデータを含むための深度別の符号化単位の個数は、深度が深くなるほど増加する。例えば、深度１の符号化単位が一つ含まれるデータに対して、深度２の符号化単位は四つ必要である。したがって、同一なデータの符号化結果を深度別に比較するために、一つの深度１の符号化単位、及び四つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別の符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別の符号化単位の予測単位ごとに符号化を行って、当該深度で最小符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行って、深度別の代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位６１０のうち、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図７は、本発明の一実施形態による符号化単位と変換単位の関係を示す図面である。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位よりも小さいか、またはそれと同じサイズの符号化単位の映像を符号化または復号化する。符号化過程で周波数変換のための変換単位のサイズは、それぞれの符号化単位よりも大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在の符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を利用して、周波数変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２，１６×１６，８×８，４×４サイズの変換単位にそれぞれ周波数変換を行って符号化した後、原本との誤差が最も小さい変換単位が選択される。

図８は、本発明の一実施形態による深度別の符号化情報を示す図面である。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係る情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係る情報８００、予測モードに係る情報８１０、及び変換単位サイズに係る情報８２０を符号化して伝送する。

パーティションタイプに係る情報８００は、現在の符号化単位の予測符号化のためのデータ単位として、現在の符号化単位の予測単位が分割されたパーティションの形態に係る情報を表す。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうちいずれか一つのタイプに分割されて利用される。この場合、現在の符号化単位のパーティションタイプに係る情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうち一つを表すように設定される。

予測モードに係る情報８１０は、それぞれのパーティションの予測モードを表す。例えば、予測モードに係る情報８１０を通じて、パーティションタイプに係る情報８００が表すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズに係る情報８２０は、現在の符号化単位を、どの変換単位に基づいて、周波数変換を行うか否かを表す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、及び第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、それぞれの深度別の符号化単位ごとに、パーティションタイプに係る情報８００、予測モードに係る情報８１０、及び変換単位サイズに係る情報８２０を抽出して、復号化に利用可能である。

図９は、本発明の一実施形態による深度別の符号化単位を示す図面である。

深度の変化を表すために、分割情報が利用される。分割情報は、現在の深度の符号化単位が、下位深度の符号化単位に分割されるか否かを表す。

深度０及びサイズ２Ｎ＿０×２Ｎ＿０の符号化単位９００の予測符号化のための予測単位９１０は、サイズ２Ｎ＿０×２Ｎ＿０のパーティションタイプ９１２、サイズ２Ｎ＿０×Ｎ＿０のパーティションタイプ９１４、サイズＮ＿０×２Ｎ＿０のパーティションタイプ９１６、及びサイズＮ＿０×Ｎ＿０のパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述したように、パーティションタイプは、これらに限定されず、非対称的なパーティション、任意の形態のパーティション、幾何学的な形態のパーティションなどを含む。

パーティションタイプごとに、一つのサイズ２Ｎ＿０×２Ｎ＿０のパーティション、二つのサイズ２Ｎ＿０×Ｎ＿０のパーティション、二つのサイズＮ＿０×２Ｎ＿０のパーティション、及び四つのサイズＮ＿０×Ｎ＿０のパーティションごとに、反復的に予測符号化が行わなければならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０、サイズ２Ｎ＿０×Ｎ＿０、及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションのみに対して、予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して、反復的に符号化を行って、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、及びサイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を２に変更して分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して、反復的に符号化を行って、最小符号化誤差を検索する。

最大深度がｄである場合、深度別の分割情報は、深度がｄ−１になるまで設定され、分割情報は、深度がｄ−２になるまで設定される。すなわち、深度ｄ−２から分割されて（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、及びサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、一つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、二つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、二つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、及び四つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を通じた符号化が行われて、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在の最大符号化単位９００についての符号化深度が、深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報は設定されていない。

データ単位９９９は、現在の最大符号化単位についての‘最小単位’であると呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。かかる反復的な符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別の符号化誤差を比較して、最小符号化誤差が発生する深度を選択して、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードとして設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別の最小符号化誤差を比較して、誤差が最も小さい深度が選択されて、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係る情報として符号化されて伝送される。また、深度０から符号化深度に達するまで、符号化単位が分割されなければならないので、符号化深度の分割情報のみが‘０’に設定され、符号化深度を除いた深度別の分割情報は、‘１’に設定されなければならない。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００についての符号化深度及び予測単位に係る情報を抽出して、符号化単位９１２を復号化するのに利用する。一実施形態によるビデオ復号化装置２００は、深度別の分割情報を利用して、分割情報が‘０’である深度を符号化深度として把握し、当該深度についての符号化モードに係る情報を利用して復号化する。

図１０、図１１及び図１２は、本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別の符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別の符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別の符号化単位の変換単位である。

深度別の符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４の深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２の深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８の深度が３、符号化単位１０４０，１０４２，１０４４，１０４６の深度が４である。

予測単位１０６０のうち、一部のパーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎ×２Ｎのパーティションタイプであり、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別の符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位よりも小さいか、またはそれと同じである。

変換単位１０７０のうち、一部の符号化単位１０５２の映像データについては、符号化単位に比べて小さいサイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、当該予測単位及びパーティションと比較すれば、異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一な符号化単位についてのイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別途のデータ単位に基づいて行う。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われて、最適符号化単位が決定されることによって、再帰的なツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係る分割情報、パーティションタイプ情報、予測モード情報、及び変換単位サイズ情報を含む。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定可能な一例を表す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在の符号化単位が下位深度の符号化単位に分割されるか否かを表す。現在の深度ｄの分割情報が０であれば、現在の符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード及び変換単位サイズ情報が定義される。分割情報によってさらに分割されなければならない場合には、分割された四つの下位深度の符号化単位ごとに独立して符号化が行わなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで表す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、及び非対称的な割合で分割された非対称的なパーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎを表す。非対称的なパーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的なパーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態である。

変換単位サイズは、イントラモードで二種類のサイズに、インターモードで二種類のサイズに設定される。すなわち、変換単位分割情報が０であれば、変換単位サイズが、現在の符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１であれば、現在の符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎ×２Ｎである現在の符号化単位についてのパーティションタイプが、対称的なパーティションタイプであれば、変換単位サイズは、Ｎ×Ｎ、非対称的なパーティションタイプであれば、変換単位サイズは、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一な符号化情報を保有している予測単位及び最小単位を一つ以上含む。

したがって、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一な符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、その場合、現在の符号化単位が、周辺データ単位を参照して予測する場合、現在の符号化単位に隣接する深度別の符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態として、現在の符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別の符号化単位の符号化情報を利用して、深度別の符号化単位内で、現在の符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されることも可能である。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち一つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称的なパーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち一つに設定されている場合、変換単位分割情報(TU size flag)が０であれば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であれば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称的なパーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定されている場合、変換単位分割情報(TU size flag)が０であれば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であれば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

以下、図４の本発明の一実施形態による映像符号化装置１００のイントラ予測部４１０、及び図５の映像復号化装置２００のイントラ予測部５５０で、予測単位に対して行われるイントラ予測について具体的に説明する。

図１４Ａないし図１４Ｃは、本発明の一実施形態による輝度成分及び色差成分の予測単位のフォーマットを示す図面である。

一フレームを構成する各符号化単位は、Ｙ、Ｃｂ及びＣｒからなる三つの成分を利用して表現される。Ｙは、輝度情報を有する輝度データであり、Ｃｂ及びＣｒは、色相情報を有する色差データである。

一般的に、人間の目は、色相情報よりは輝度情報にさらに敏感であるという事実に基づいて、色差データは、輝度データに比べて少量のデータで表現されることも可能である。図１４Ａを参照すれば、一つの符号化単位は、４：２：０フォーマットによる場合、Ｈ×Ｗ（Ｈ及びＷは、正の整数）輝度データＹ １４１０と、色差成分Ｃｂ，Ｃｒを１／４にサンプリングした二つの（Ｈ／２）×（Ｗ／２）サイズの色差データＣｂ，Ｃｒ １４２０，１４３０とから構成される。図１４Ｂを参照すれば、一つの符号化単位は、４：２：２フォーマットによる場合、Ｈ×Ｗ（Ｈ及びＷは、正の整数）輝度データＹ １４４０と、色差成分Ｃｂ，Ｃｒを水平方向に１／２サンプリングした二つのＨ×（Ｗ／２）サイズの色差データＣｂ，Ｃｒ １４５０，１４６０とから構成される。また、図１４Ｃを参照すれば、色差成分映像をより精密に表現するために、一つの符号化単位は、４：４：４フォーマットによる場合、色差成分についてのサンプリング過程なしに、輝度データＹ １４７０と色差データＣｂ，Ｃｒ １４８０，１４９０は、いずれもＨ×Ｗサイズの映像データから構成される。

以下の説明において、イントラ予測される輝度成分の予測単位及び色差成分の予測単位は、ＹＣｂＣｒ（またはＹＵＶ）色空間で定義される４：２：０、４：２：２及び４：４：４のカラーフォーマットの映像信号のうちいずれか一つであると仮定する。ただし、当業者ならば、本発明の実施形態が、輝度成分及び色差成分から構成された映像以外に、映像が複数個の異なる映像成分から構成された場合にも適用されることを理解できるであろう。

図１５は、本発明の一実施形態による輝度成分予測単位のサイズによるイントラ予測モードの個数を示す図面である。

本発明の一実施形態によれば、輝度成分予測単位のサイズによって、輝度成分予測単位に適用するイントラ予測モードの個数を多様に設定可能である。一例として、図１５を参照すれば、イントラ予測される輝度成分予測単位のサイズをＮ×Ｎであるとする時、２×２，４×４，８×８，１６×１６，３２×３２，６４×６４，１２８×１２８サイズの輝度成分予測単位それぞれに対して実際に行われるイントラ予測モードの個数は、それぞれ５，９，９，１７，３３，５，５（Example 2の場合）に設定される。このように、輝度成分予測単位のサイズによって、実際に行われるイントラ予測モードの個数を差別化する理由は、輝度成分予測単位のサイズによって、予測モード情報を符号化するためのオーバーヘッドが異なるためである。言い換えれば、小さいサイズの輝度成分予測単位の場合、全体の映像で占める部分が小さいにもかかわらず、かかる小さい輝度成分の符号化単位の予測モードなどの付加情報を伝送するためのオーバーヘッドが増加する。したがって、小さいサイズの輝度成分予測単位を、過度に多くの予測モードに符号化する場合、ビット量が増加して、圧縮効率が低下する。また、大きいサイズの輝度成分予測単位、例えば、６４×６４以上のサイズを有する輝度成分予測単位は、一般的に、映像の平坦な領域についての予測単位として選択される場合が多いので、かかる平坦な領域を符号化するのに多く選択される大きいサイズの予測単位を、過度に多くの予測モードに符号化することも、圧縮効率の側面で非効率的である。したがって、予測単位のサイズが、所定のサイズよりも大きすぎるか、または小さすぎる場合には、相対的に少ない個数のイントラ予測モードのみを適用する。かかる予測単位のサイズによって適用されるイントラ予測モードの個数は、図１５に限定されず、多様に設定可能である。図１５に示した各予測単位のサイズによって適用される予測モードの個数は、一実施形態に過ぎず、各予測単位のサイズによる予測モードの個数は変更可能である。

図１６Ａは、本発明の一実施形態による所定のサイズの輝度成分予測単位に適用可能なイントラ予測モードの一例を説明するための図面である。

図１５及び図１６Ａを参照すれば、一例として、４×４サイズを有する輝度成分予測単位のイントラ予測時に、垂直モード（モード０）、水平モード（モード１）、ＤＣ(Direct Current)モード（モード２）、対角線左側モード（モード３）、対角線右側モード（モード４）、垂直右側モード（モード５）、水平下側モード（モード６）、垂直左側モード（モード７）、及び水平上側モード（モード８）を利用できる。

図１６Ｂは、図１６Ａのイントラ予測モードの方向を示す図面である。図１６Ｂにおいて、矢印の端にある数字は、その方向に予測を行う場合に当該モード値を表す。ここで、モード２は、方向性のないＤＣ予測モードであって、図示していない。

図１６Ｃは、図１６Ａに示した輝度成分予測単位についてのイントラ予測方法を示す図面である。

図１６Ｃを参照すれば、輝度成分予測単位のサイズによって決定された利用可能なイントラ予測モードによって、現在の輝度成分予測単位の周辺ピクセルであるＡないしＭを利用して、予測値を生成する。例えば、図１６Ａのモード０、すなわち、垂直モードによって、４×４サイズの現在の予測単位についての予測値を獲得する動作を説明する。まず、４×４サイズの現在の予測単位の上側に隣接した画素ＡないしＤの画素値を、４×４現在の予測単位の画素値として予測する。すなわち、画素Ａの値を、４×４現在の予測単位の最初の列に含まれた四つの画素値として、画素Ｂの値を、４×４現在の予測単位の二列目に含まれた四つの画素値として、画素Ｃの値を、４×４現在の予測単位の三列目に含まれた四つの画素値として、画素Ｄの値を、４×４現在の符号化単位の四列目に含まれた四つの画素値として予測する。次いで、前記画素ＡないしＤを利用して予測された４×４現在の予測単位の予測値を、本来の４×４現在の予測単位に含まれた画素値から差し引き、誤差値を獲得し、獲得された誤差値が符号化される。

図１７は、本発明の一実施形態による所定のサイズの輝度成分予測単位に適用可能なイントラ予測モードの他の例を説明するための図面である。

図１５及び図１７を参照すれば、一例として、２×２サイズを有する符号化単位のイントラ予測時に、垂直モード、水平モード、ＤＣモード、プレーンモード、及び対角線右側モードの総５個のモードが存在する。

一方、本発明の一実施形態による輝度成分予測単位についてのイントラ予測モードとして、予測単位内のピクセルを中心に所定の勾配を有するラインを利用して、周辺参照ピクセルを決定し、決定された周辺参照ピクセルを利用するイントラ予測モードが含まれる。かかるラインの勾配は、（ｄｘ，ｄｙ）パラメータ（ｄｘ，ｄｙは、整数）を利用して設定される。一例として、３３個の予測モードを、それぞれモードＮ（Ｎは、０から３２までの整数）であると定義する時、モード０は垂直モード、モード１は水平モード、モード２はＤＣモード、モード３はプレーンモードに設定し、モード４ないしモード３１それぞれは、下記の表２に示したような（１，−１），（１，１），（１，２），（２，１），（１，−２），（２，１），（１，−２），（２，−１），（２，−１１），（５，−７），（１０，−７），（１１，３），（４，３），（１，１１），（１，−１），（１２，−３），（１，−１１），（１，−７），（３，−１０），（５，−６），（７，−６），（７，−４），（１１，１），（６，１），（８，３），（５，３），（５，７），（２，７），（５，−７），（４，−３）のうち一つの値で表現される（ｄｘ，ｄｙ）を利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有するラインを利用して、周辺参照ピクセルを決定し、決定された周辺参照ピクセルを予測に利用するイントラ予測モードとして定義する。

最後のモード３２は、図１９を利用して後述するように、双線形補間を利用する双線形モードに設定される。

図１８Ａないし図１８Ｃは、本発明の一実施形態による多様な方向性を有するイントラ予測モードを説明するための参照図である。

表２を参照して前述したように、本発明の一実施形態によるイントラ予測モードは、複数個の（ｄｘ，ｄｙ）パラメータを利用して決定されるｔａｎ^−１（ｄｙ／ｄｘ）の勾配を有するラインを利用して、周辺参照ピクセルを決定し、決定された周辺参照ピクセルを利用して予測を行う。

図１８Ａを参照すれば、現在の予測単位の内部の予測する現在のピクセルＰを中心に、表２に示したモード別の（ｄｘ，ｄｙ）の値によって決定されるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１８０上に位置した周辺ピクセルＡ，Ｂを、現在のピクセルＰの予測子として利用する。この時、予測子として利用される周辺ピクセルは、以前に符号化されて復元された、現在の予測単位の上側、左側、右上側及び左下側の以前の予測単位のピクセルであることが望ましい。また、延長線１８０が整数位置の周辺ピクセルでない整数位置の周辺ピクセル間を通過する場合、延長線１８０に近い周辺ピクセルのうち、現在のピクセルＰにさらに近い周辺ピクセルを予測子として利用するか、または延長線１８０に近い周辺ピクセルと、延長線１８０の交差点との間の距離を考慮した加重平均値を、現在のピクセルＰの予測子として利用する。

図１８Ｂ及び図１８Ｃは、図１８Ａの延長線１８０が整数位置の周辺ピクセルでない整数位置の周辺ピクセルの間を通過する場合、予測子を生成する過程を説明するための参照図である。

図１８Ｂを参照すれば、モード別の（ｄｘ，ｄｙ）の値によって決定されるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１８０が、整数位置の周辺ピクセルＡ １８１と、周辺ピクセルＢ １８２との間を通過する場合、延長線１８０に近い周辺ピクセルＡ １８１及び周辺ピクセルＢ １８２と、延長線１８０の交差点との間の距離を考慮した加重平均値を、現在のピクセルＰの予測子として利用する。例えば、ｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１８０の交差点と、周辺ピクセルＡ １８１との間の距離をｆ、交差点と、周辺ピクセルＢ １８２との間の距離をｇとすれば、現在のピクセルＰの予測子は、（Ａ＊ｇ＋Ｂ＊ｆ）／（ｆ＋ｇ）のように獲得される。ここで、ｆ及びｇは、整数で正規化された距離であることが望ましい。実際にソフトウェアやハードウェアで具現する時、現在のピクセルＰの予測子は、（ｇ＊Ａ＋ｆ＊Ｂ＋２）＞＞２のように、シフト演算を通じて具現される。図１８Ｂに示したように、延長線１８０が、整数位置の周辺ピクセルＡ １８１と、周辺ピクセルＢ １８２との間を４等分した地点のうち、周辺ピクセルＡ １８１に近い１／４位置を通過する場合、現在のピクセルＰの予測子は、（３＊Ａ＋Ｂ）／４のように獲得される。かかる演算は、（３＊Ａ＋Ｂ＋２）＞＞２のように、四捨五入過程を考慮したシフト演算を通じて具現される。

一方、モード別の（ｄｘ，ｄｙ）の値によって決定されるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１８０が、整数位置の周辺ピクセルＡ １８１と周辺ピクセルＢ １８２との間を通過する場合、周辺ピクセルＡ １８１と周辺ピクセルＢ １８２との区間を、所定の個数に分割し、各分割された領域別に、周辺ピクセルＡ １８１及び周辺ピクセルＢ １８２と交差点との間の距離を考慮した加重平均値を、予測値として利用する。例えば、図１８Ｃを参照すれば、周辺ピクセルＡ １８１と周辺ピクセルＢ １８２との区間を、５個の区間Ｐ１ないしＰ５に分離し、各区間別に、周辺ピクセルＡ １８１及び周辺ピクセルＢ １８２と交差点との間の距離を考慮した代表加重平均値を決定し、かかる代表加重平均値を、現在のピクセルＰの予測子として利用する。具体的に、延長線１８０が区間Ｐ１を通過する場合、現在のピクセルＰの予測子として、周辺ピクセルＡの値を決定する。延長線１８０が区間Ｐ２を通過する場合、区間Ｐ２の中間点と、周辺ピクセルＡ及び周辺ピクセルＢとの間の距離を考慮した加重平均値である（３＊Ａ＋１＊Ｂ＋２）＞＞２を、現在のピクセルＰの予測子として決定する。延長線１８０が区間Ｐ３を通過する場合、区間Ｐ３の中間点と、周辺ピクセルＡ及び周辺ピクセルＢとの間の距離を考慮した加重平均値である（２＊Ａ＋２＊Ｂ＋２）＞＞２を、現在のピクセルＰの予測子として決定する。延長線１８０が区間Ｐ４を通過する場合、区間Ｐ４の中間点と、周辺ピクセルＡ及び周辺ピクセルＢとの間の距離を考慮した加重平均値である（１＊Ａ＋３＊Ｂ＋２）＞＞２を、現在のピクセルＰの予測子として決定する。延長線１８０が区間Ｐ５を通過する場合、現在のピクセルＰの予測子として、周辺ピクセルＢの値を決定する。

また、図示したように、延長線１８０と出合う上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの二つの周辺ピクセルが存在する場合、上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの平均値を、現在のピクセルＰの予測子として利用するか、またはｄｘ＊ｄｙ値が正数である場合には、上側の周辺ピクセルＡを利用し、ｄｘ＊ｄｙ値が負数である場合には、左側の周辺ピクセルＢを利用する。

表２に示したような多様な方向性を有するイントラ予測モードは、符号化端と復号化端とで予め設定され、各予測単位ごとに設定されたイントラ予測モードのインデックスのみが伝送されることが望ましい。

図１９は、本発明の一実施形態による双線形モードを説明するための参照図である。図１９を参照すれば、双線形モードは、現在の予測単位の内部の予測する現在のピクセルＰを中心に、現在のピクセルＰ、その上下左右境界のピクセル値、及び現在のピクセルＰの上下左右境界までの距離を考慮した幾何平均値を計算して、その結果値を、現在のピクセルＰの予測子として利用するものである。すなわち、双線形モードでは、現在のピクセルＰの予測子として、現在のピクセルＰの上下左右境界に位置したピクセルＡ １６１、ピクセルＢ １６２、ピクセルＤ １６６及びピクセルＥ １６７、並びに現在のピクセルＰの上下左右境界までの距離の幾何平均値を利用する。この時、双線形モードも、イントラ予測モードのうち一つであるので、予測時の参照ピクセルとして、以前に符号化された後に復元された上側及び左側の周辺ピクセルを利用しなければならない。したがって、ピクセルＡ １６１及びピクセルＢ １６２として、現在の予測単位の内部の当該ピクセル値をそのまま利用するものではなく、上側及び左側の周辺ピクセルを利用して生成された仮想のピクセル値を利用する。具体的に、まず、下記の数式（１）のように、現在の予測単位に隣接した上側の最左側の周辺ピクセル（ＲｉｇｈｔＵｐＰｉｘｅｌ）１６４と、左側の最下側の周辺ピクセル（ＬｅｆｔＤｏｗｎＰｉｘｅｌ）１６５との平均値を計算することによって、現在の符号化単位の右側の最下端位置の仮想のピクセルＣ １６３を計算する。

次いで、現在のピクセルＰの左側境界までの距離Ｗ１と、右側境界までの距離Ｗ２とを考慮して、現在のピクセルＰを下端に延ばした時、最下側の境界線に位置する仮想のピクセルＡ １６１の値を、下記の数式（２）のように計算する。

同様に、現在のピクセルＰの上側境界までの距離ｈ１と、下側境界までの距離ｈ２とを考慮して、現在のピクセルＰを右側に延ばした時、最右側の境界線に位置する仮想のピクセルＢ １６２の値を、下記の数式（３）のように計算する。

数式（１）ないし（３）を利用して、現在のピクセルＰ １６０の下側境界線上の仮想のピクセルＡ １６１と、右側境界線上の仮想のピクセルＢ １６２との値が決定されれば、Ａ＋Ｂ＋Ｄ＋Ｅの平均値を利用して、現在のピクセルＰ １６０の予測子を決定する。具体的に、現在のピクセルＰ １６０の予測子として、前述したＡ＋Ｂ＋Ｄ＋Ｅの平均値を利用するか、または現在のピクセルＰ １６０と、仮想のピクセルＡ １６１、Ｂ １６２、Ｄ １６６、Ｅ １６７との間の距離を考慮した加重平均値を利用する。例えば、加重平均値を利用する場合、現在のピクセルＰの予測子は、｛（ｈ１＊Ａ＋ｈ２＊Ｄ）／（ｈ１＋ｈ２）＋（Ｗ１＊Ｂ＋Ｗ２＊Ｅ）／（Ｗ１＋Ｗ２）｝／２のように獲得される。かかる双線形予測過程は、現在の予測単位の内部の全てのピクセルに対して適用され、双線形予測モードによる現在の予測単位の予測値が生成される。

本発明の一実施形態によれば、予測単位のサイズによって多様に設定されたイントラ予測モードによって、予測符号化を行うことによって、映像の特性によって、より効率的な圧縮が可能である。

一方、図１８Ａないし図１８Ｃを参照して説明したように、延長線１８０に位置するか、または延長線１８０に近い周辺ピクセルを利用して、現在のピクセルＰの予測子を生成する場合、延長線１８０は、実際にｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有するが、かかる延長線１８０を利用した周辺ピクセルの決定のためには、（ｄｙ／ｄｘ）の除算が必要であるので、ハードウェアやソフトウェアで具現する時、小数点演算を含むので、演算量を増加させる要因となる。したがって、前述した表２に示したように、参照ピクセルとして利用される周辺ピクセルを選択するための予測方向を、ｄｘ，ｄｙパラメータを利用して設定する時、演算量を減少させるようにｄｘ，ｄｙを設定する必要がある。

図２０は、本発明の一実施形態によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルと現在のピクセルとの関係を説明するための図面である。図２０を参照すれば、（ｊ，ｉ）に位置した現在のピクセルをＰ ２０１０、現在のピクセルＰ ２０１０を通過するｔａｎ^−１（ｄｙ／ｄｘ）の方向性、すなわち、勾配を有する延長線上に位置した上側の周辺ピクセルをＡ ２０１１、左側の周辺ピクセルをＢ ２０１２と定義する。上側の周辺ピクセルの位置が座標平面上のｘ軸に該当し、左側の周辺ピクセルの位置が座標平面上のｙ軸に該当すると仮定する。また、現在のピクセルＰ ２０１０が含まれた予測単位のサイズは、ｎＳ×ｎＳ（ｎＳは、正の整数）であり、予測単位の各ピクセルの位置は、（０，０）から（ｎＳ−１，ｎＳ−１）のうち一つであり、ｘ軸上に位置した上側の周辺ピクセルの位置を（ｍ，−１）（ｍは、整数）、ｙ軸上に位置した左側の周辺ピクセルの位置を（−１，ｎ）（ｎは、整数）であると仮定する。現在のピクセルＰ ２０１０を通過する延長線と出合う上側の周辺ピクセルＡ ２０１１の位置は、（ｊ＋ｉ＊ｄｘ／ｄｙ，−１）であり、左側の周辺ピクセルＢ ２０１２の位置は、（−１，ｉ＋ｊ＊ｄｙ／ｄｘ）である。したがって、現在のピクセルＰ ２０１０の予測のために、上側の周辺ピクセルＡ ２０１１または左側の周辺ピクセルＢ ２０１２を決定するためには、ｄｘ／ｄｙまたはｄｙ／ｄｘのような除算が必要である。前述したように、かかる除算は、演算複雑度が高いので、ソフトウェアまたはハードウェアで具現する時、演算速度の低下をもたらす。したがって、本発明の他の実施形態では、周辺ピクセルを決定するための予測モードの方向性を表すｄｘ及びｄｙのうち少なくとも一つの値を、２の指数乗として決定する。すなわち、ｎ及びｍをそれぞれ整数とする時、ｄｘ及びｄｙは、それぞれ２＾ｎ及び２＾ｍである。

図２０を参照すれば、現在のピクセルＰ ２０１０の予測子として、左側の周辺ピクセルＢ ２０１２が利用され、ｄｘが２＾ｎの値を有する場合、左側の周辺ピクセルＢ ２０１２の位置である（−１，ｉ＋ｊ＊ｄｙ／ｄｘ）を決定するために必要なｊ＊ｄｙ／ｄｘ演算は、（ｉ＊ｄｙ）／（２＾ｎ）であり、かかる２の指数乗で除算を行う演算は、（ｉ＊ｄｙ）＞＞ｎのように、シフト演算を通じて具現されるので、演算量が減少する。

同様に、現在のピクセルＰ ２０１０の予測子として、上側の周辺ピクセルＡ ２０１１が利用され、ｄｙが２＾ｍの値を有する場合、上側の周辺ピクセルＡ ２０１１の位置である（ｊ＋ｉ＊ｄｘ／ｄｙ，−１）を決定するために必要なｉ＊ｄｘ／ｄｙ演算は、（ｉ＊ｄｘ）／（２＾ｍ）であり、かかる２の指数乗で除算を行う演算は、（ｉ＊ｄｘ）＞＞ｍのように、シフト演算を通じて具現される。

図２１は、本発明の一実施形態によって、現在のピクセルの位置によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルの変化を説明するための図面である。図２１を参照すれば、予測する現在のピクセルがＰ ２１１０またはＱ ２１２０のどの位置にあるかによって、イントラ予測モード方向によって参照される周辺ピクセルの位置が変更される。例えば、ピクセルＰ ２１１０の予測時、上側ピクセルＡが利用され、ピクセルＱ ２１２０の予測時、左側ピクセルＢが利用される。もし、予測方向を指す（ｄｘ，ｄｙ）のうち、ｙ軸方向のｄｙ成分のみが２＾ｍ形態の２の指数乗の値を有すれば、図２１で、上側ピクセルＡ ２１１１は、（ｊ＋（ｉ＊ｄｘ）＞＞ｍ，−１）のように、除算なしにシフト演算などによって決定されるが、左側ピクセルＢ ２１２１は、（−１，ａ＋ｂ＊２＾ｍ／ｄｘ）のように、除算が必要になる。したがって、現在のブロックの全てのピクセルに対して予測子を生成する時に除算を除くために、ｄｘ及びｄｙがいずれも２の指数乗の形態を有する。

図２２及び図２３は、本発明の他の実施形態によって、イントラ予測モード方向を決定する方法を説明するための図面である。

一般的に、映像やビデオ信号で表れる直線パターンは、垂直や水平方向である場合が多い。したがって、（ｄｘ，ｄｙ）のパラメータを利用して、多様な方向性を有するイントラ予測モードを定義する時、下記のようにｄｘ及びｄｙの値を定義することによって、映像のコーディング効率を向上させる。

具体的に、ｄｙが２＾ｍの値に固定された値を有する場合、ｄｘの絶対値は、垂直方向に近い予測方向間の間隔は狭く設定され、水平方向に近い予測方向であるほど、予測モード間の間隔が広くなるように設定される。例えば、図２２を参照すれば、ｄｙが２＾５、すなわち、３２の値を有する場合、ｄｘの値を、２，５，９，１３，１７，２１，２６，３２，−２，−５，−９，−１３，−１７，−２１，−２６，−３２のように設定することによって、垂直方向に近い予測方向間の間隔は、相対的に狭く設定され、水平方向に近い予測方向であるほど、予測モード間の間隔が相対的に広くなるように設定される。

同様に、ｄｘが２＾ｎの値に固定された値を有する場合、ｄｙの絶対値は、水平方向に近い予測方向間の間隔は狭く設定され、垂直方向に近い予測方向であるほど、予測モード間の間隔が広くなるように設定される。例えば、図２３を参照すれば、ｄｘが２＾５、すなわち、３２の値を有する場合、ｄｙの値を、２，５，９，１３，１７，２１，２６，３２，−２，−５，−９，−１３，−１７，−２１，−２６，−３２のように設定することによって、水平方向に近い予測方向間の間隔は狭く設定され、垂直方向に近い予測方向であるほど、予測モード間の間隔が広くなるように設定される。

また、ｄｘ及びｄｙのうちいずれか一つの値が固定された時、固定されていない残りの値は、予測モード別に増加するように設定される。例えば、ｄｙが固定された場合、ｄｘ間の間隔が所定の値ほど増加するように設定される。また、かかる増加幅は、水平方向と垂直方向との間の角度を所定の単位に区分し、区分された角度別に設定されることも可能である。例えば、ｄｙが固定された場合、ｄｘの値は、垂直軸との角度が１５°以内である区間では、ａという増加幅を有し、１５°と３０°との間では、ｂという増加幅を有し、３０°以上では、ｃという増加幅を有するように設定される。

一例として、（ｄｘ，ｄｙ）を利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有する予測モードは、下記の表３ないし表５に示した（ｄｘ，ｄｙ）パラメータを定義する。

前述したように、（ｄｘ，ｄｙ）パラメータを利用する各イントラ予測モードは、（ｊ，ｉ）に位置したピクセルの予測子として、左側の周辺ピクセル（−１，ｉ＋ｊ＊ｄｙ／ｄｘ）、または上側の周辺ピクセル（ｊ＋ｉ＊ｄｘ／ｄｙ，−１）を利用する。表３のように、ｄｘまたはｄｙの値のうち少なくとも一つが２の指数乗を有する場合、左側の周辺ピクセル（−１，ｉ＋ｊ＊ｄｙ／ｄｘ）、及び上側の周辺ピクセル（ｊ＋ｉ＊ｄｘ／ｄｙ，−１）の位置は、除算なしに乗算及びシフト演算のみによって獲得される。前述した表３による（ｄｘ，ｄｙ）の値のうち、ｄｘが３２である場合のように、ｄｘが２＾ｎの値を有する場合、ｄｘを利用した除算は、右側シフト演算に代替されるので、左側の周辺ピクセルの位置は、（ｉ＊ｄｙ）＞＞ｎの値に基づいて、除算なしに獲得される。同様に、表３による（ｄｘ，ｄｙ）の値のうち、ｄｙが３２である場合のように、ｄｙが２＾ｍの値を有する場合、ｄｙを利用した除算は、右側シフト演算に代替されるので、上側の周辺ピクセルの位置は、（ｉ＊ｄｘ）＞＞ｍの値に基づいて、除算なしに獲得される。

図２４は、本発明のさらに他の実施形態によって、利用可能なイントラ予測モードの一例を説明するための参照図である。図２４を参照すれば、現在のピクセルの予測子を獲得するために、現在のピクセルの水平方向の線形補間を通じて獲得された予測子Ｐ１と、垂直方向の線形補間を通じて獲得された予測子Ｐ２とを生成し、予測子Ｐ１，Ｐ２の平均値を、現在のピクセルの予測子として利用する。図２４のイントラ予測モードを、プラナーモードとして定義する。プラナーモードによれば、予測単位の最上側列に位置した同一予測単位のピクセルのうち、最右側に位置したピクセルＴ ２４４を、最右側列のピクセルにそのままコピーすることによって、最右側列のピクセルを生成する。そして、現在のピクセルと同一な行に位置した最左側列及び最右側列のピクセルを利用した水平方向の線形補間を通じて、予測子Ｐ１ ２４３を獲得する。図２４に示したように、現在のピクセルの水平方向の線形補間を通じた予測子Ｐ１ ２４３は、現在のピクセルと同一な行に位置した最左側列の同一予測単位内のピクセルＰＬ ２４２及びピクセルＴ ２４４をコピーすることによって生成された最右側列のピクセルＴの線形補間、例えば、平均値や距離を考慮した幾何平均値を利用して獲得される。

同様に、プラナーモードによれば、予測単位の最左側列に位置した同一予測単位のピクセルのうち、最下側に位置したピクセルＬ ２４８を、最下側列のピクセルにそのままコピーすることによって、最下側列のピクセルを生成する。そして、現在のピクセルと同一な列に位置した最上側行及び最下側行のピクセルを利用した垂直方向の線形補間を通じて、予測子Ｐ２ ２４６を獲得する。図２４に示したように、現在のピクセルの垂直方向の線形補間を通じた予測子Ｐ２ ２４６は、現在のピクセルと同一な列に位置した最上側行の同一予測単位内のピクセルＰＴ ２４５及びピクセルＬ ２４８をコピーすることによって生成された最下側行のピクセルＬの線形補間を通じて獲得される。最終的に、プラナーモードでは、水平方向の予測子Ｐ１ ２４３と、垂直方向の予測子Ｐ２ ２４６との平均値、すなわち、Ｐ１＋Ｐ２＞＞１を、現在のピクセルの最終の予測子として決定する。

図２５Ａ及び図２５Ｂは、本発明のさらに他の実施形態によるイントラ予測モードを説明するための参照図である。

対応する輝度ピクセルと色差ピクセルとの間には、所定の相関関係、例えば、線形的な相関関係を有する。図２５Ａ及び図２５Ｂを参照すれば、以前に復元された輝度ブロック２５２０の（ｘ，ｙ）位置でのピクセルを、Ｒｅｃ＿Ｌ′（ｘ，ｙ）とすれば、輝度信号と色差信号との線形関係を利用して、色差ブロック２５１０の（ｘ，ｙ）位置での予測値Ｐｒｅｄ＿ｃ（ｘ，ｙ）は、下記の数式（４）を利用して獲得する。

数式（４）において、ａは、加重値を表すパラメータ、ｂは、オフセットを表すパラメータである。ａ及びｂの値は、下記の数式（５）及び（６）のように、色差ブロック２５１０の周辺ピクセルＲｅｃ＿ｃ（ｉ）（ｉ＝０，…，２ｎＳ−１）２５１１，２５１２、及び輝度ブロック２５２０の周辺ピクセルＲｅｃ＿Ｌ′（ｉ）２５２１，２５２２を利用した演算過程を通じて獲得される。

数式（５）及び（６）において、Ｉは、色差ブロック２５１０または輝度ブロック２５２０の上側及び左側に隣接した周辺ピクセルの個数であって、図２５Ａ及び図２５Ｂに示したように、色差ブロック２５１０及び輝度ブロック２５２０のサイズがｎＳ×ｎＳである場合、Ｉは、２ｎＳである。図２５Ａ及び図２５Ｂでは、周辺ピクセルとして、上側及び左側に位置したピクセルを利用する場合を示しているが、若し、右側または下側に位置した周辺ピクセルが、現在のブロック以前に処理されて復元された場合ならば、右側または下側に位置した周辺ピクセルも、ａ及びｂの値を獲得するのに利用可能である。また、乗算や除算をシフト演算に代替するために、周辺ピクセルの個数Ｉは、２の指数乗であることが望ましい。一般的に、ブロックのサイズを定義するｎＳの値は、２の指数乗であるので、Ｉも、２の指数乗の値を有する。数式（５）及び（６）を利用して、ａまたはｂの値を獲得する時、演算複雑度を減少させるために、アップスケーリングまたは四捨五入を通じて変更されたａ′及びｂ′の値を、ａ及びｂの代わりに利用可能である。前述した図２５Ａ及び図２５Ｂは、一種の線形モデルイントラ予測モードとして定義され、予測単位のイントラ予測モードのうち一つとして利用される。

図１８ないし図２５Ｂを通じて説明したように、本発明の実施形態において利用可能なイントラ予測モードの個数は多様であり、必要に応じて、輝度成分の予測単位に適用されるイントラ予測モード、及び色差成分の予測単位に適用されるイントラ予測モードを選択的に適用する。例えば、輝度成分の予測単位に適用されるイントラ予測モード候補グループは、表３に示した３３個の（ｄｘ，ｄｙ）パラメータを利用した３３個のイントラ予測モード、ＤＣ予測モード、及び図２４のプラナーモードを含む総３５個のイントラ予測モードを含む。色差成分の予測単位に適用されるイントラ予測モード候補グループは、一般的に、輝度成分の予測単位に適用されるイントラ予測モード候補グループよりも少ない個数のイントラ予測モードを有するように設定される。例えば、色差成分のイントラ予測モード候補グループは、垂直モード、水平モード、ＤＣモード、４５°方向の対角線モード、及び先に処理されて決定された輝度成分のイントラ予測モードの総５個のイントラ予測モードのみを含む。しかし、輝度成分及び色差成分の予測単位にそれぞれ適用されるイントラ予測モードの個数及び種類は、前述した例に限定されるものではない。また、図１８ないし図２５Ｂを通じて説明したイントラ予測モード以外に、他の多様なイントラ予測モードが、輝度成分及び色差成分のイントラ予測のためのイントラ予測モード候補に含まれる。

以下、本発明の一実施形態による映像の予測単位についてのイントラ予測モード符号化過程について具体的に説明する。

図２６は、本発明の一実施形態による映像のイントラ予測モード符号化装置を示すブロック図であり、図２７は、本発明の一実施形態による映像のイントラ予測モード符号化方法を示すフローチャートである。本発明の一実施形態による映像のイントラ予測モード符号化装置２６００は、図４の映像符号化装置４００のイントラ予測部４１０として動作する。図２６において、イントラ予測モード符号化部２６３０は、イントラ予測部４１０の代わりに、図４のエントロピー符号化部４５０に含まれる。

図２６及び図２７を参照すれば、イントラ予測モード符号化装置２６００は、第１イントラ予測モード決定部２６１０、第２イントラ予測モード決定部２６２０、及びイントラ予測モード符号化部２６３０を備える。

ステップ２７１０において、第１イントラ予測モード決定部２６１０は、輝度成分の予測単位に適用可能なイントラ予測モードを適用して、複数個のイントラ予測モード候補グループのうち、最小コストを有するイントラ予測モードを、輝度成分の予測単位のイントラ予測モードとして決定する。例えば、輝度成分の予測単位に適用可能なイントラ予測モード候補グループが、（ｄｘ，ｄｙ）パラメータを利用した３３個のイントラ予測モード、ＤＣ予測モード及びプラナーモードを含む総３５個のイントラ予測モードを含む場合、第１イントラ予測モード決定部２６１０は、３５個のイントラ予測モードをそれぞれ適用して獲得された誤差値のコストを比較して、現在の輝度成分の予測単位に適用する最適のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａを決定する。

ステップ２７２０において、第２イントラ予測モード決定部２６２０は、色差成分の予測単位に適用可能なイントラ予測モードを適用して、複数個のイントラ予測モード候補グループのうち、最小コストを有するイントラ予測モードを、色差成分の予測単位のイントラ予測モードとして決定する。例えば、色差成分の予測単位に適用可能なイントラ予測モード候補グループが、プラナーモード、垂直モード、水平モード、ＤＣモード、及び４５°方向の対角線モードの総５個のイントラ予測モードを含む場合、第２イントラ予測モード決定部２６２０は、各イントラ予測モードを適用して獲得された誤差値のコストを比較して、現在の色差成分の予測単位に適用する最適のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａを決定する。

色差成分のイントラ予測モード候補グループに、先に処理されて決定された輝度成分のイントラ予測モードが含まれた場合、輝度成分のイントラ予測モードと重なる色差成分のイントラ予測モードが、色差成分のイントラ予測モード候補グループに存在するか否かによって、比較される色差成分のイントラ予測モードの個数は変更可能である。

また、色差成分の予測単位に適用されるイントラ予測モード候補グループは、プラナーモード、垂直モード、水平モード及びＤＣモードを基本的に含み、決定された輝度成分の予測単位のイントラ予測モードが、プラナーモード、垂直モード、水平モード及びＤＣモードのうち一つに該当する場合にのみ、輝度成分の予測単位のイントラ予測モードと重なるモードを、対角線モードに代替して、色差成分の予測単位に適用されるイントラ予測モード候補グループを決定することも可能である。かかる場合、第２イントラ予測モード決定部２６２０は、イントラ予測モード候補グループの各イントラ予測モードを適用して、最適のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａを決定する。

前述したように、色差成分の予測単位に適用されるイントラ予測モード候補グループは、輝度成分の予測単位に適用されていない特定のイントラ予測モードを別に含む。例えば、輝度成分のイントラ予測モード候補グループには含まれず、色差成分のイントラ予測モード候補グループのみが、ＬＭモードを含む。第２イントラ予測モード決定部２６２０は、ＬＭモードを含むイントラ予測モード候補グループ内の各イントラ予測モードを、色差成分の予測単位に適用して、最適のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａを決定する。

このように決定された輝度成分の予測単位及び色差成分の予測単位のイントラ予測モードは、復号化側にシグナリングされる必要がある。したがって、イントラ予測モード符号化部２６３０は、輝度成分の予測単位及び色差成分の予測単位に適用された最終のイントラ予測モードを符号化する。特に、本発明の一実施形態によれば、ステップ２７３０において、イントラ予測モード符号化部２６３０は、輝度成分の予測単位のイントラ予測モードが、色差成分のイントラ予測モード候補グループに属した所定のイントラ予測モードのうち一つと同一である場合、輝度成分の予測単位のイントラ予測モードと重なる色差成分の予測単位に適用されるイントラ予測モード候補グループに属したイントラ予測モードの重複性を除去するために、色差成分の予測単位についてのイントラ予測モード候補グループを再構成する。そして、ステップ２７４０において、イントラ予測モード符号化部２６４０は、再構成された色差成分の予測単位のイントラ予測モード候補グループに基づいて、第２イントラ予測モード決定部２６２０で決定された色差成分の予測単位についてのイントラ予測モードを符号化する。イントラ予測モード符号化部２６４０は、輝度成分の予測単位のイントラ予測モードを表すインデックス以外に、輝度成分の予測単位のイントラ予測モードと、色差成分の予測単位のイントラ予測モードとが同一であるか否か、輝度成分の予測単位のイントラ予測モードが、色差成分のイントラ予測モード候補グループに属した所定のイントラ予測モードのうち一つと同一であるか否かによって、色差成分のイントラ予測モード情報を差別化して符号化する。

具体的に、輝度成分の予測単位のイントラ予測モードと、色差成分の予測単位のイントラ予測モードとが同一である場合、イントラ予測モード符号化部２６４０は、色差成分の予測単位についてのイントラ予測モード情報として、色差成分の予測単位のイントラ予測モードが、輝度成分の予測単位のイントラ予測モードと同一であるか否かを表すフラグＤＭ ｆｌａｇのみを符号化する。例えば、決定された輝度成分の予測単位のイントラ予測モードと、色差成分の予測単位のイントラ予測モードとがいずれも水平モードＨである場合、イントラ予測モード符号化部２６４０は、イントラ予測モード情報として、輝度成分の予測単位のイントラ予測モードを表すインデックス及びフラグＤＭ ｆｌａｇを符号化する。

輝度成分の予測単位のイントラ予測モードと、色差成分の予測単位のイントラ予測モードとが同一でなく、かつ色差成分のイントラ予測モード候補グループに属した所定のイントラ予測モードのうち一つと同一である場合、すなわち、色差成分のイントラ予測モード候補グループが再構成された場合、イントラ予測モード符号化部２６４０は、再構成されたイントラ予測モード候補グループのうち、当該イントラ予測モードを表すインデックス及びフラグＤＭ ｆｌａｇを符号化する。

輝度成分の予測単位のイントラ予測モードと、色差成分の予測単位のイントラ予測モードとが同一でなく、かつ輝度成分の予測単位のイントラ予測モードが、色差成分のイントラ予測モード候補グループに属した所定のイントラ予測モードのうちいずれとも同一でない場合、イントラ予測モード符号化部２６４０は、最初に設定されたイントラ予測モード候補グループのうち、当該イントラ予測モードを表すインデックス及びフラグＤＭ ｆｌａｇを符号化する。

色差成分の予測単位に適用されるイントラ予測モード候補グループに、輝度成分の予測単位に適用されていない特定のイントラ予測モード、例えば、ＬＭモードを色差成分にのみ適用した場合、色差成分の予測単位についてのイントラ予測モード情報として、別途に現在の色差成分の予測単位のイントラ予測モードがＬＭモードであるか否かを表すフラグＬＭ ｆｌａｇが含まれる。色差成分の予測モードとして、ＬＭモードが含まれ、決定された色差成分の予測単位のイントラ予測モードがＬＭモードである場合、イントラ予測モード符号化部２６４０は、ＤＭ ｆｌａｇ及びＬＭ ｆｌａｇのみを符号化する。

輝度成分の予測単位のイントラ予測モードと、色差成分の予測単位のイントラ予測モードとが同一でなく、かつ色差成分の予測単位のイントラ予測モードがＬＭモードでない場合、イントラ予測モード符号化部２６４０は、ＤＭ ｆｌａｇ、ＬＭ ｆｌａｇ及び色差成分の予測単位のイントラ予測モードを表すインデックス情報を符号化する。この時、輝度成分の予測単位のイントラ予測モードが、色差成分のイントラ予測モード候補グループに属した所定のイントラ予測モードのうち一つと同一である場合、すなわち、色差成分のイントラ予測モード候補グループが再構成された場合、イントラ予測モード符号化部２６４０は、再構成されたイントラ予測モード候補グループのうち、当該イントラ予測モードを表すインデックス、ＬＭ ｆｌａｇ及びＤＭ ｆｌａｇを符号化する
以下、図２８を参照して、色差成分の予測単位についてのイントラ予測モード符号化過程を具体的に説明する。

図２８は、本発明の一実施形態による映像のイントラ予測モード符号化過程を具体的に示すフローチャートである。

図２６及び図２８を参照すれば、ステップ２８１０において、第１イントラ予測モード決定部２６１０及び第２イントラ予測モード決定部２６２０は、利用可能な複数個のイントラ予測モードを適用して、輝度成分の予測単位及び色差成分の予測単位それぞれについてのイントラ予測モードを決定する。前述した例のように、輝度成分の予測単位に適用可能なイントラ予測モード候補グループが、（ｄｘ，ｄｙ）パラメータを利用した３３個のイントラ予測モード、ＤＣ予測モード及びプラナーモードを含む総３５個のイントラ予測モードを含み、色差成分の予測単位に適用可能なイントラ予測モード候補グループが、プラナーモード、垂直モード、水平モード、ＤＣモード及び４５°方向の対角線モードの総５個のイントラ予測モードを含むと仮定する。前述したように、その他にも色差成分に適用されるイントラ予測モードは、先に処理されて決定された輝度成分のイントラ予測モード（Derived Mode、以下、“ＤＭモード”という）を含むこともできる。ＤＭモードは、ＩｎｔｒａＭｏｄｅ＿Ｌｕｍａと同一である。イントラ予測モード符号化部２６３０は、輝度成分の予測単位に利用可能な３５個のイントラ予測モードそれぞれに、所定のコードワードを割り当て、決定された輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａに対応するコードワードを符号化する。コードワードとして、Ｅｘｐ−Ｇｏｌｏｍｂ(Exponential Goloms)コードを利用する。

ステップ２８２０において、イントラ予測モード符号化部２６３０は、決定された輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、対応する色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａと同一であるか否かを判断する。輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、対応する色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａと同一である場合、ステップ２８３０において、イントラ予測モード符号化部２６３０は、色差成分の予測単位のイントラ予測モードとして、色差成分の予測単位のイントラ予測モードが、輝度成分の予測単位のイントラ予測モードと同一であるか否かを表すフラグＤＭ ｆｌａｇを０に設定する。フラグＤＭ ｆｌａｇが０である場合、輝度成分の予測単位のイントラ予測モードが、色差成分の予測モードと同一であることを意味し、フラグＤＭ ｆｌａｇが１である場合、輝度成分の予測単位のイントラ予測モードが、色差成分の予測単位のイントラ予測モードと異なることを意味する。フラグＤＭ ｆｌａｇの値は、逆に設定されてもよい。このように、フラグＤＭ ｆｌａｇが０である場合、すなわち、輝度成分の予測単位のイントラ予測モードが、色差成分の予測モードと同一である場合には、フラグＤＭ ｆｌａｇのみを符号化して、復号化側へ伝送すれば、復号化側では、０の値を有するフラグＤＭ ｆｌａｇを受信した場合、先に復号化された輝度成分の予測単位のイントラ予測モードから、対応する色差成分の予測単位のイントラ予測モードを決定する。例えば、輝度成分の予測単位及び色差成分の予測単位のイントラ予測モードが、いずれも水平モードである場合、イントラ予測モード符号化部２６３０は、輝度成分の予測単位のイントラ予測モード情報ＩｎｔｒａＭｏｄｅ＿Ｌｕｍａ及びフラグＤＭ ｆｌａｇのみを符号化する。

ステップ２８２０の判断結果、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、対応する色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａと同一でない場合、イントラ予測モード符号化部２６３０は、別途に色差成分の予測単位に適用されたイントラ予測モードを符号化しなければならない。ステップ２８４０において、イントラ予測モード符号化部２６３０は、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、色差成分の予測単位に利用されるイントラ予測モード候補グループのうち、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれるか否かを判断する。例えば、色差成分の予測単位に適用されるイントラ予測モード候補グループが、プラナーモード、垂直モード、水平モード、ＤＣモード及び４５°方向の対角線モードの総５個のイントラ予測モードを含む場合、イントラ予測モード符号化部２６３０は、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、当該５個のイントラ予測モードのうち一つに該当するかを判断する。他の例として、色差成分の予測単位に適用されるイントラ予測モード候補グループは、プラナーモード、垂直モード、水平モード及びＤＣモードを基本的に含み、輝度成分の予測単位のイントラ予測モードが、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓ、例えば、プラナーモード、垂直モード、水平モード及びＤＣモードのうち一つに該当する時のみ、輝度成分の予測単位のイントラ予測モードと重なるモードの代わりに、対角線モードを利用する場合、イントラ予測モード符号化部２６３０は、輝度成分の予測単位のイントラ予測モードが、プラナーモード、垂直モード、水平モード及びＤＣモードのうち一つに該当するかを判断する。

ステップ２８４０の判断結果、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれない場合、ステップ２８５０において、イントラ予測モード符号化部２６３０は、既定の色差成分に適用される第２イントラ予測モード候補グループを利用して、色差成分の予測単位のイントラ予測モードを符号化する。一例として、色差成分に適用される第２イントラ予測モード候補グループに含まれた各イントラ予測モードには、下記の表６のように、所定のインデックスが予め設定されている。

ステップ２８４０の判断結果、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれた場合、ステップ２８６０において、イントラ予測モード符号化部２６３０は、輝度成分の予測単位のイントラ予測モードと重なる色差成分の予測単位のイントラ予測モード候補グループに属したイントラ予測モードの重複性を除去するために、色差成分の予測単位に適用されるイントラ予測モード候補グループを再構成する。例えば、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａは、ＤＣモード、色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａは、水平モード、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓは、プラナーモード、垂直モード、水平モード及びＤＣモードである場合、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿ＬｕｍａであるＤＣモードは、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つに該当する。その場合、前述した表６において、ＤＣモードは、輝度成分の予測単位のイントラ予測モードから獲得されるので、別途のコードワードを割り当てることは不要である。したがって、本発明の一実施形態によれば、このように、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、色差成分の予測単位についての所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれた場合、輝度成分の予測単位のイントラ予測モードと重なり、かつ色差成分の予測単位についてのイントラ予測モード候補グループに属したイントラ予測モードを、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓを除いた他のイントラ予測モードに代替するか、または重なるイントラ予測モードは、ＤＭ ｆｌａｇを通じてシグナリングされるので、重なる色差成分のイントラ予測モードを除去することによって、第２イントラ予測モード候補グループを再構成し、再構成された第２イントラ予測モード候補グループに基づいて、各イントラ予測モードを表すインデックスを割り当てる。

具体的に、イントラ予測モード符号化部２６３０は、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つに該当する場合、色差成分のイントラ予測モード候補グループに含まれた予測モードを、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれない残りのイントラ予測モードに代替する。例えば、色差成分の予測単位に適用されるイントラ予測モード候補グループは、プラナーモード、垂直モード、水平モード及びＤＣモードを基本的に含み、決定された輝度成分の予測単位のイントラ予測モードが、プラナーモード、垂直モード、水平モード及びＤＣモードのうち一つに該当する場合、輝度成分の予測単位のイントラ予測モードと重なるモードは、対角線モードに代替される。色差成分の予測単位のイントラ予測モード候補グループのうち、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓ、すなわち、プラナーモード、垂直モード、水平モード及びＤＣモードの四つのみに対して、下記の表７のようにコードワードが割り当てられたと仮定する。

輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿ＬｕｍａであるＤＣモードが、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿ＭｏｄｅｓのうちＤＣモードと重なる場合、ＤＣモードは、対角線モードに代替されて、表７は、下記の表８のように再構成される。

また、イントラ予測モード符号化部２６３０は、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、色差成分の予測単位に適用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つに該当する場合、色差成分のイントラ予測モード候補グループで重なるイントラ予測モードを除去する。例えば、色差成分の予測単位に適用可能なイントラ予測モード候補グループが、プラナーモード、垂直モード、水平モード、ＤＣモード及び４５°方向の対角線モードの総５個のイントラ予測モードを含み、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが対角線モードである場合、色差成分のイントラ予測モード候補グループを表すインデックスは、表６で対角線モードを除いて、下記の表９のように再構成される。この時、色差成分のイントラ予測モード候補グループに含まれたイントラ予測モードの個数が減少したので、各イントラ予測モードを表すインデックスの値であるコードワードのビット数も減少する。

符号化モード予測部２６３０は、総ｎ（ｎは、整数）個の色差成分のイントラ予測モード候補グループのうち、（ｎ−１）個のイントラ予測モードのみに対して、コードワードを割り当て、輝度成分の予測単位のイントラ予測モードと重なるイントラ予測モードを、残りの一つのイントラ予測モードに代替することによって、重なるコードワードを除去して、イントラ予測モードの符号化に必要なビット数を減少させる。
また、符号化モード予測部２６３０は、既定の色差成分のイントラ予測モード候補グループのうち、輝度成分のイントラ予測モードと重なるイントラ予測モードに対しては、イントラ予測モード候補グループから除いて、別途のインデックシングを行わない。

イントラ予測モード符号化部２６３０は、色差成分のイントラ予測モード候補グループで利用可能なイントラ予測モードの個数を、ｎ（ｎは、正の整数）とする時、既定の（ｎ−１）個の所定のイントラ予測モードｃａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち、輝度成分のイントラ予測モードと重なる色差成分のイントラ予測モードを、残りの一つのイントラ予測モードに代替することによって、色差成分のイントラ予測モード候補グループを再構成する。

一方、本発明の他の実施形態によれば、ステップ２８６０の色差成分の予測単位についてのイントラ予測モード候補グループを再構成するステップは、輝度成分のイントラ予測モードと重なる色差成分のイントラ予測モードを除いて、残りのイントラ予測モードのみに対して、コードワードを割り当てることによって行われる。例えば、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａは、ＤＣモード、色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａは、水平モード、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓは、垂直モード、水平モード、ＤＣモード及びＤＭモードである場合、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿ＬｕｍａであるＤＣモードは、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つに該当する。この場合、前述した表６において、ＤＣモードは、輝度成分の予測単位のイントラ予測モードから獲得されるにもかかわらず、別途のコードワードを割り当てることは、重なった予測モードに別途のコードワードを割り当てることによって、予測モードの符号化に所要するビット数を増加させるだけであるので、ＤＣモードを除いた残りのイントラ予測モードのみに対して、コードワードを割り当てることが望ましい。すなわち、イントラ予測モード符号化部２６３０は、前述した表９のように、ＤＣモードを除いた残りの四つのイントラ予測モードのみに対して、コードワードを割り当てることによって、色差成分のイントラ予測モードを符号化する。

再び図２８を参照すれば、ステップ２８７０において、イントラ予測モード符号化部２６３０は、再構成された色差成分の予測単位のイントラ予測モード候補グループを利用して、色差成分のイントラ予測モードを符号化する。色差成分のイントラ予測モード候補グループが再構成された場合、イントラ予測モード符号化部２６３０は、色差成分の予測単位のイントラ予測モードに該当するコードワードを、色差成分の予測単位についてのイントラ予測モード情報として符号化する。

以下、本発明の一実施形態による映像の予測単位についてのイントラ予測モード復号化過程について具体的に説明する。

図２９は、本発明の一実施形態による映像のイントラ予測モード復号化装置を示すブロック図であり、図３０は、本発明の一実施形態による映像のイントラ予測モード復号化方法を示すフローチャートである。本発明の一実施形態による映像のイントラ予測モード復号化装置２９００は、図５の映像復号化装置５００のイントラ予測部５５０として動作する。図２９において、イントラ予測モード獲得部２９１０は、イントラ予測部５５０の代わりに、図５のパージング部５１０またはエントロピー復号化部５２０に含まれる。

図２９及び図３０を参照すれば、イントラ予測モード復号化装置２９００は、イントラ予測モード獲得部２９１０、第１イントラ予測実行部２９２０、及び第２イントラ予測実行部２９３０を備える。

ステップ３０１０において、イントラ予測モード獲得部２９１０は、ビットストリームから、映像を構成する輝度成分の予測単位のイントラ予測モード情報ＩｎｔｒａＭｏｄｅ＿Ｌｕｍａを獲得する。また、イントラ予測モード獲得部２９１０は、色差成分の予測単位のイントラ予測モード情報として、輝度成分の予測単位と対応する色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａが、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａと同一であるか否かを表すフラグＤＭ ｆｌａｇを獲得する。

ステップ３０２０において、イントラ予測モード獲得部２９１０は、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、色差成分の予測単位に利用可能なイントラ予測モード候補グループに属した所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つと同一であると判断された場合、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａと重なる色差成分のイントラ予測モード候補グループに属したイントラ予測モードの重複性を除去するために、色差成分のイントラ予測モード候補グループを再構成する。

ステップ３０３０において、イントラ予測モード獲得部２９１０は、ビットストリームから獲得された再構成された色差成分のイントラ予測モード候補グループに属したイントラ予測モードのうち一つを表すインデックスを利用して、色差成分の予測単位についてのイントラ予測モードを決定する。

イントラ予測モード獲得部２９１０で、輝度成分の予測単位及び色差成分の予測単位についてのイントラ予測モードが決定されれば、第１イントラ予測実行部２９２０は、輝度成分の予測単位についてのイントラ予測を行って、輝度成分の予測単位についての予測値を生成して出力し、第２イントラ予測実行部２９３０は、色差成分の予測単位についてのイントラ予測を行って、色差成分の予測単位についての予測値を生成して出力する。

図３１は、本発明の一実施形態による映像のイントラ予測モード復号化過程を具体的に示すフローチャートである。

図２９及び図３１を参照すれば、ステップ３１１０において、イントラ予測モード獲得部２９１０は、ビットストリームから、輝度成分の予測単位のイントラ予測モード、及び色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａが、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａと同一であるか否かを表すフラグＤＭを獲得する。

ステップ３１２０において、イントラ予測モード獲得部２９１０は、フラグＤＭに基づいて、色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａが、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａと同一であるか否かを判断する。

ステップ３１２０の判断結果、イントラ予測モード獲得部２９１０は、フラグＤＭの値が０である場合、すなわち、色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａが、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａと同一であると判断された場合、ステップ３１３０において、イントラ予測モード獲得部２９１０は、色差成分の予測単位のイントラ予測モードを、輝度成分の予測単位のイントラ予測モードと同一に設定する。このように、フラグＤＭが０である場合、すなわち、輝度成分の予測単位のイントラ予測モードが、色差成分の予測モードと同一である場合には、フラグＤＭのみを利用して、色差成分のイントラ予測モードを決定する。

ステップ３１２０の判断結果、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、対応する色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａと同一でない場合、イントラ予測モード獲得部２９１０は、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、色差成分の予測単位に利用可能なイントラ予測モード候補グループのうち、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれるか否かを判断する。例えば、色差成分の予測単位に適用可能なイントラ予測モード候補グループが、プラナーモード、垂直モード、水平モード、ＤＣモード及び４５°方向の対角線モードの総５個のイントラ予測モードを含む場合、イントラ予測モード獲得部２９１０は、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、当該５個のイントラ予測モードのうち一つに該当するか否かを判断する。他の例として、色差成分の予測単位に適用可能なイントラ予測モード候補グループは、プラナーモード、垂直モード、水平モード及びＤＣモードを基本的に含み、輝度成分の予測単位のイントラ予測モードが、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓ、例えば、プラナーモード、垂直モード、水平モード及びＤＣモードのうち一つに該当する時のみ、輝度成分の予測単位のイントラ予測モードと重なるモードの代わりに、対角線モードを利用する場合、イントラ予測モード獲得部２９１０は、輝度成分の予測単位のイントラ予測モードが、プラナーモード、垂直モード、水平モード及びＤＣモードのうち一つに該当するか否かを判断する。ステップ３１４０の判断結果、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれない場合、ステップ３１５０において、イントラ予測モード獲得部２９１０は、ビットストリームから、インデックスを読み出し、読み出されたインデックスが表す色差成分のイントラ予測モードを決定する。前述したように、色差成分に適用されるイントラ予測モードに対して、表６のように所定のコードワードが予め設定されており、イントラ予測モード獲得部２９１０は、当該コードワード、すなわち、インデックスの値を、ビットストリームから読み出して、現在の色差成分の予測単位のイントラ予測モードを決定する。

ステップ３１４０の判断結果、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれた場合、ステップ３１６０において、イントラ予測モード獲得部２９１０は、輝度成分の予測単位のイントラ予測モードと重なる色差成分の予測単位のイントラ予測モード候補グループに属したイントラ予測モードの重複性を除去するために、色差成分の予測単位に適用されるイントラ予測モード候補グループを再構成する。前述した例のように、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａは、ＤＣモード、色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａは、水平モード、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓは、垂直モード、水平モード、ＤＣモード及びＤＭモードである場合、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿ＬｕｍａであるＤＣモードは、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つに該当する。この場合、前述した表６において、ＤＣモードは、輝度成分の予測単位のイントラ予測モードから獲得されるので、別途のコードワードを割り当てることは不要である。したがって、イントラ予測モード獲得部２９１０は、このように、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、色差成分の予測単位についての所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれた場合、輝度成分の予測単位のイントラ予測モードと重なり、かつ色差成分の予測単位についてのイントラ予測モード候補グループに属したイントラ予測モードを、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓを除いた他のイントラ予測モードに代替するか、または重なる色差成分のイントラ予測モードを除去することによって、第２イントラ予測モード候補グループを再構成し、再構成された第２イントラ予測モード候補グループに基づいて、各イントラ予測モードを表すインデックスを決定する。具体的な色差成分の予測単位についてのイントラ予測モード候補グループの再構成過程は、前述した符号化側で行われる再構成過程と同様に行われる。

具体的に、イントラ予測モード獲得部２９１０は、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿ＬｕｍａであるＤＣモードが、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つに該当する場合、色差成分のイントラ予測モード候補グループに含まれた予測モードを、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓに含まれない残りのイントラ予測モードに代替する。例えば、色差成分の予測単位に適用されるイントラ予測モード候補グループは、プラナーモード、垂直モード、水平モード及びＤＣモードを基本的に含み、決定された輝度成分の予測単位のイントラ予測モードが、プラナーモード、垂直モード、水平モード及びＤＣモードのうち一つに該当する場合、輝度成分の予測単位のイントラ予測モードと重なるモードは、対角線モードに代替される。色差成分の予測単位のイントラ予測モード候補グループのうち、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓ、すなわち、垂直モード、水平モード、ＤＣモード及びＤＭモードの四つのみに対して、前述した表７のようにコードワードが割り当てられた場合、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿ＬｕｍａであるＤＣモードが、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち、ＤＣモードと重なる場合、ＤＣモードは、対角線モードに代替されて、前述した表８のように再構成される。イントラ予測モード獲得部２９１０は、かかる再構成された色差イントラ予測モード候補グループを利用して、ビットストリームに備えられた色差イントラ予測モードのインデックスが、どのイントラ予測モードを表すか決定する。

また、イントラ予測モード獲得部２９１０は、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが、色差成分の予測単位で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つに該当する場合、色差成分のイントラ予測モード候補グループで重なるイントラ予測モードを除去する。例えば、色差成分の予測単位に適用可能なイントラ予測モード候補グループが、プラナーモード、垂直モード、水平モード、ＤＣモード及び４５°方向の対角線モードの総５個のイントラ予測モードを含み、輝度成分の予測単位についてのイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａが対角線モードである場合、色差成分のイントラ予測モード候補グループを表すインデックスは、表６で対角線モードを除いて、前述した表９のように再構成される。イントラ予測モード獲得部２９１０は、かかる再構成された色差イントラ予測モード候補グループを利用して、ビットストリームに備えられた色差イントラ予測モードのインデックスが、どのイントラ予測モードを表すか決定する。イントラ予測モード獲得部２９１０は、総ｎ（ｎは、整数）個の色差成分のイントラ予測モード候補グループのうち、（ｎ−１）個のイントラ予測モードのみに対して、コードワードを割り当て、輝度成分の予測単位のイントラ予測モードと重なるイントラ予測モードを、残りの一つのイントラ予測モードに代替することによって、重なるコードワードを除去して、イントラ予測モードの復号化に必要なビット数を減少させる。前述した例のように、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿ＬｕｍａであるＤＣモードが、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち、ＤＣモードと重なる場合、ＤＣモードのコードワードを、対角線モードを表すコードワードとして利用する。このように、イントラ予測モード獲得部２９１０は、色差成分のイントラ予測モード候補グループで利用可能なイントラ予測モードの個数をｎ（ｎは、正の整数）とする時、既定の（ｎ−１）個の所定のイントラ予測モードｃａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち、輝度成分のイントラ予測モードと重なる色差成分のイントラ予測モードを、残りの一つのイントラ予測モードに代替することによって、色差成分のイントラ予測モード候補グループを再構成する。

一方、本発明の他の実施形態によれば、ステップ３１６０の色差成分の予測単位についてのイントラ予測モード候補グループを再構成するステップは、輝度成分のイントラ予測モードと重なる色差成分のイントラ予測モードを除いて、残りのイントラ予測モードのみに対して、コードワードを割り当てることによって行われる。例えば、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｌｕｍａは、ＤＣモード、色差成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿Ｃｈｒｏｍａは、水平モード、所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓは、垂直モード、水平モード、ＤＣモード及びＤＭモードである場合、輝度成分の予測単位のイントラ予測モードＩｎｔｒａＭｏｄｅ＿ＬｕｍａであるＤＣモードは、色差成分で利用可能な所定のイントラ予測モードＣａｎｄｉｄａｔｅ＿Ｍｏｄｅｓのうち一つに該当する。この場合、前述した表６において、ＤＣモードは、輝度成分の予測単位のイントラ予測モードから獲得されるので、ＤＣモードを除いた残りのイントラ予測モードのみに対して、コードワードを割り当てる。すなわち、イントラ予測モード獲得部２９１０は、前述した表８のように、ＤＣモードを除いた残りの四つのイントラ予測モードのみに対して、コードワードを割り当てることによって、色差成分のイントラ予測モード候補グループを再構成する。

再び図３１を参照すれば、ステップ３１７０において、イントラ予測モード獲得部２９１０は、ビットストリームから獲得されたインデックス、及び再構成された色差成分の予測単位のイントラ予測モード候補グループを利用して、色差成分のイントラ予測モードを復号化する。色差成分のイントラ予測モード候補グループが再構成された場合、インデックスは、エンコーダ側で同一な過程を通じて再構成された色差成分のイントラ予測モード候補グループのうち、現在の色差成分の予測単位に適用されたイントラ予測モードに係る情報（コードワード）を表し、イントラ予測モード獲得部２９１０は、エンコーダ側と同様に再構成された色差成分の予測単位のイントラ予測モード候補グループから、インデックスが表すイントラ予測モードを選択することによって、色差成分の予測単位のイントラ予測モードを決定する。

本発明は、また、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式によって、コンピュータで読み取り可能なコードに保存されて実行される。

以上、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態で具現可能であるということを理解できるであろう。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にある全ての相違点は、本発明に含まれたものと解釈されなければならない。

Claims (1)

1. 映像の復号化方法において、
   ビットストリームから獲得された輝度予測単位のイントラ予測モード情報に基づいて、前記輝度予測単位のイントラ予測モードを決定するステップと、
   前記ビットストリームから前記輝度予測単位に対応する色差予測単位のイントラ予測モード情報を獲得するステップと、
   前記輝度予測単位のイントラ予測モードと同じイントラ予測モードを含む前記色差予測単位のイントラ予測モード候補グループを獲得するステップと、
   前記色差予測単位のイントラ予測モード情報に基づいて、前記色差予測単位のイントラ予測モード候補グループに含まれたイントラ予測モードのうち前記色差予測単位のイントラ予測モードを決定するステップと、
   前記決定されたイントラ予測モードによって前記色差予測単位に対するイントラ予測を行うステップを含み、
   前記色差予測単位のイントラ予測モード情報は、前記色差予測単位のイントラ予測
   モード候補グループに含まれたイントラ予測モードのうち一つを指すインデックス情報であり、
   前記輝度予測単位のイントラ予測モードが前記色差予測単位のイントラ予測モード候補グループに含まれた所定のイントラ予測モードと同一である場合、前記輝度予測
   単位と同じイントラ予測モードを指していた前記インデックス情報は前記輝度予測単位のイントラ予測モードとは異なるイントラ予測モードを指し、
   前記所定のイントラ予測モードは、ＤＣモード、水平モード及び垂直モードのうち一つであることを特徴とする映像の復号化方法。

Images