JP6130556B2 - ビデオ復号化方法及びその装置 - Google Patents

Description

本発明は、イントラ予測を伴うビデオ符号化及び復号化に関する。

高解像度または高画質ビデオコンテンツを再生、保存できるハードウェアの開発及び普及によって、高解像度または高画質ビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が増大しつつある。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。

周波数変換を用いて、空間領域の映像データは周波数領域の係数に変換される。ビデオコーデックは、周波数変換の速い演算のために映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ変換を行ってブロック単位の周波数係数を符号化する。空間領域の映像データに比べて周波数領域の係数が圧縮しやすい形態を持つ。特に、ビデオコーデックのインター予測またはイントラ予測を通じて空間領域の映像画素値は予測誤差で表現されるので、予測誤差について周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に繰り返して発生するデータを小さなサイズのデータに置換することで、データ量を低減させている。

本発明が解決しようとする課題は、イントラ予測を伴ってイントラ予測モードを予測符号化するビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を提供することである。

本発明の一実施形態によるイントラ予測を通じるビデオ復号化方法は、受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に、前記ブロックのＭＰＭフラッグをパージングする段階と、前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定める段階と、前記ＭＰＭフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて前記所定数の複数の候補イントラ予測モードを定める段階と、前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測する段階と、前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行う段階と、を含む。

本発明の一実施形態によるビデオ符号化及び復号化は、候補イントラ予測モードを用いてイントラ予測モードを予測する場合に、常に一定数の候補イントラ予測モードを仮定するため、シンボルパージング過程で候補イントラ予測モードの数が変わる場合を考慮せずともＭＰＭフラッグ及び現在イントラモード情報をパージングできるので、パージング動作の複雑度が低くなる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 一実施形態によって、イントラ予測モードを予測するために参照される隣接予測単位を示す図面である。 ツリー構造による符号化単位に基づいたビデオコーディングで、イントラ予測モードを予測するために参照される予測単位を例示する図面である。 本発明の一実施形態によるビデオ符号化方法のフローチャートである。 本発明の一実施形態によるビデオ復号化方法のフローチャートである。 本発明の一実施形態によって、ツリー構造の符号化単位に基づいたビデオ符号化装置のブロック図である。 本発明の一実施形態によって、ツリー構造の符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図面である。 本発明の一実施形態による深度別符号化情報を示す図面である。 本発明の一実施形態による深度別符号化単位を示す図面である。 本発明の一実施形態による符号化単位の関係を示す図面である。 本発明の一実施形態による予測単位の関係を示す図面である。 本発明の一実施形態による変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。

本発明の一実施形態によるイントラ予測を通じるビデオ復号化方法は、受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に、前記ブロックのＭＰＭフラッグをパージングする段階と、前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定める段階と、前記ＭＰＭフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて前記所定数の複数の候補イントラ予測モードを定める段階と、前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測する段階と、前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行う段階と、を含む。

前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードに基づいて、前記複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める段階を含む。

前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードを用いて前記複数の候補イントラ予測モードを定める段階を含む。

前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、前記複数の候補イントラ予測モードのうち２つの候補イントラ予測モードを左側ブロック及び上端ブロックのイントラ予測モードと定める段階を含む。

前記パージング段階は、前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードを定めるために複数の候補イントラ予測モードが用いられると定められれば、前記ビットストリームから前記複数の候補イントラ予測モードのうち１つを示すインデックス情報をパージングする段階を含み、前記ブロックのイントラ予測モード予測段階は、前記複数の候補イントラ予測モードのうち、前記インデックス情報に基づいて選択された１つの候補イントラ予測モードを前記ブロックのイントラ予測モードと定める段階を含む。

前記パージング段階は、前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なると定められた場合、前記ビットストリームから前記ブロックの現在イントラモード情報をパージングする段階を含み、前記ブロックのイントラ予測モード予測段階は、前記パージングされたブロックの現在イントラモード情報から前記ブロックのイントラ予測モードと前記複数の候補イントラ予測モードとの関係を読み取り、前記読み取り結果に基づいて前記ブロックのイントラ予測モードを定める段階を含む。

本発明の一実施形態によるイントラ予測を通じるビデオ符号化方法は、ビデオのうち、ブロックのためのイントラ予測を通じて定められた前記ブロックのイントラ予測モードと、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとを比較する段階と、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すＭＰＭフラッグを符号化する段階と、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じモードがあれば、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、まはた同じであっても所定数の複数の候補イントラ予測モードを定める段階と、前記複数の候補イントラ予測モードに基づいて定められた前記ブロックの現在イントラモード情報を符号化する段階と、を含む。

前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードに基づいて、前記複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める段階を含む。

また、前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードを用いて前記複数の候補イントラ予測モードを定める段階を含む。

また、前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、前記複数の候補イントラ予測モードのうち、２つの候補イントラ予測モードを左側ブロック及び上端ブロックのイントラ予測モードと定める段階を含む。

また、前記ブロックの現在イントラモード情報を符号化する段階は、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがある場合、前記複数の候補イントラ予測モードのうち、前記ブロックのイントラ予測モードと相応する候補イントラ予測モードを示すインデックス情報を符号化する段階を含む。

また、前記ブロックの現在イントラモード情報を符号化する段階は、前記ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なる場合、前記ブロックのイントラ予測モードと前記候補イントラ予測モードとの関係を示す前記ブロックの現在イントラモード情報を定める段階と、前記ブロックの現在イントラモード情報を符号化する段階と、を含む。

本発明の一実施形態によるイントラ予測を通じるビデオ復号化装置は、受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に前記ブロックのＭＰＭフラッグをパージングし、前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードを定めるために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定めるパージング部と、前記ＭＰＭフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて、前記所定数の複数の候補イントラ予測モードを定め、前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測し、前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行うイントラ予測部と、を備える。

本発明の一実施形態によるビデオ符号化装置は、ビデオの符号化のためにブロックに対してイントラ予測を行うイントラ予測部と、前記ブロックのイントラ予測を通じて生成されたシンボルを符号化するシンボル符号化部と、を備え、前記シンボル符号化部は、前記ブロックのためのイントラ予測を通じて定められた前記ブロックのイントラ予測モードと、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとを比較し、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すＭＰＭフラッグを符号化し、前記シンボル符号化部は、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じモードがあれば、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、まはた同じであっても所定数の複数の候補イントラ予測モードを定め、前記複数の候補イントラ予測モードに基づいて定められた前記ブロックの現在イントラモード情報を符号化する。

本発明の一実施形態によるビデオ復号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が開示される。

以下、図１ないし図６を参照して、一実施形態によってイントラ予測モードの予測方式に基づいたビデオ符号化技法及びビデオ復号化技法が開示される。また、図７ないし図１９を参照して、一実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法で、イントラ予測モードの予測方式が用いられる実施形態が開示される。以下、‘映像’は、ビデオの静止画や動画、すなわち、ビデオそれ自体を示す。

先ず、図１ないし図６を参照して、一実施形態によって、イントラ予測モードの予測方式に基づいたビデオ符号化技法及びビデオ復号化技法が開示される。

図１は、本発明の一実施形態によるビデオ符号化装置１０のブロック図である。ビデオ符号化装置１０は、空間領域のビデオデータをイントラ予測／インター予測、変換、量子化、シンボル符号化を通じて符号化する。以下、ビデオ符号化装置１０がイントラ予測を行った結果で生成されたシンボルの符号化過程で発生する動作を詳述する。

一実施形態によるビデオ符号化装置１０は、イントラ予測部１２及びシンボル符号化部１４を備える。

一実施形態によるビデオ符号化装置１０は、ビデオの映像データを複数のデータ単位に分割し、データ単位別に符号化する。データ単位の形態は正方形または長方形であり、任意の幾何学的形態であってもよい。一定サイズのデータ単位に制限されるものではない。説明の便宜のために、以下でデータ単位の一種である‘ブロック’についてのビデオ符号化技法を詳述する。しかし、本発明の多様な実施形態によるビデオ符号化技法は、‘ブロック’についてのビデオ符号化技法のみに限定されると解釈されてはならず、多様なデータ単位に適用される。

一実施形態によるイントラ予測部１２は、ビデオのブロックについてイントラ予測を行う。イントラ予測部１２は、それぞれのブロックについてのイントラ予測のために、隣接情報のうち参照情報が位置する方向を示すイントラ予測モードを定める。イントラ予測部１２は、イントラ予測モードの種類によって現在ブロックについてイントラ予測を行う。

一実施形態によるイントラ予測技法によれば、隣接ブロックのイントラ予測モードを参照して現在ブロックのイントラ予測モード（以下、現在イントラ予測モード）を予測する。一実施形態によるシンボル符号化部１４は、現在イントラ予測モードの予測情報を符号化する。

現在イントラ予測モードの予測のためにシンボル符号化部１２は、現在ブロックのイントラ予測を通じて定められた現在イントラ予測モードと、現在ブロックに隣接している隣接ブロックのうち左側ブロック及び上端ブロックのイントラ予測モードとを比較する。

例えば、シンボル符号化部１４は、左側ブロック及び上端ブロックのイントラ予測モードのうち、現在ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すＭＰＭフラッグ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ ｆｌａｇ）を符号化する。

例えば、シンボル符号化部１４は、左側ブロック及び上端ブロックのイントラ予測モードのうち、現在イントラ予測モードと同じモードがあれば、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても所定数の複数の候補イントラ予測モードを定める。例えば、シンボル符号化部１４は、左側ブロック及び上端ブロックのイントラ予測モードのうち、現在イントラ予測モードと同じモードがあれば、現在イントラ予測モードのために常に３個の候補イントラ予測モードを仮定し、現在イントラモード情報を符号化する。他の例として、常に２個の候補イントラ予測モードを仮定して現在イントラモード情報が符号化されてもよい。シンボル符号化部１４は、複数の候補イントラ予測モードに基づいて現在ブロックの現在イントラモード情報を定め、現在イントラモード情報を符号化する。現在イントラモード情報は、候補イントラ予測モードのうち１つを示すインデックス情報または現在イントラモードを示すインデックス情報である。

シンボル符号化部１４は、左側ブロック及び上端ブロックのイントラ予測モードのうち現在イントラ予測モードと同じモードがある場合、左側イントラ予測モードと上端イントラ予測モードとが同じかどうかは全く考慮せずとも、現在イントラ予測モードを予測するために用いられる候補イントラ予測モードを２つ以上定める。例えば、現在イントラ予測モードを定めるために２個、３個、４個など複数の候補イントラ予測モードが用いられる。

また、候補イントラ予測モードの数が変わる場合を考慮せずとも、常に所定数の複数の候補イントラ予測モードを仮定したままシンボルが符号化されるため、イントラモードの符号化動作が単純になる。

一実施形態によるシンボル符号化部１４は、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、左側ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める。他の実施形態によるシンボル符号化部１４は、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、左側ブロックのイントラ予測モードを変形して複数の候補イントラ予測モードを定めてもよい。

一実施形態によるシンボル符号化部１４は、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、複数の候補イントラ予測モードのうち２つの候補イントラ予測モードを、それぞれ左側ブロック及び上端ブロックのイントラ予測モードと定める。

一実施形態によるシンボル符号化部１４は、複数の候補イントラ予測モードに基づいて、現在イントラ予測モードに相応する候補イントラ予測モードを示す情報を符号化する。

一実施形態によるシンボル符号化部１４は、左側ブロック及び上端ブロックのイントラ予測モードのうちブロックのイントラ予測モードと同じイントラ予測モードがある場合、複数の候補イントラ予測モードのうち現在イントラ予測モードと相応する候補イントラ予測モードを示すインデックス情報を符号化する。

一実施形態によるシンボル符号化部１４は、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なる場合、現在ブロックのイントラ予測モードを示す現在イントラ予測モード情報を符号化する。

他の実施形態によるシンボル符号化部１４は、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なる場合にも、複数の候補イントラ予測モードから現在イントラ予測モードを類推できるように、候補イントラ予測モードと現在イントラ予測モードとの関係を示す現在イントラモード情報を符号化してもよい。この場合には、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なる場合であっても、シンボル符号化部１４は、複数の候補イントラ予測モードを定め、複数の候補イントラ予測モードに基づいて現在イントラモード情報を符号化する。

したがって、シンボル符号化部１４は、現在ブロックのために符号化されたＭＰＭフラッグに続いて現在イントラモード情報を出力する。

また、シンボル符号化部１４は、複数の候補イントラ予測モードの数を示す情報を符号化することもできる。

一実施形態によるシンボル符号化部１４は、現在ブロックのイントラ予測結果で生成された残差データの量子化された変換係数を符号化することもできる。

したがって、一実施によるビデオ符号化装置１０は、ビデオのブロックについてのイントラ予測結果で生成されたシンボルを符号化して出力する。

一実施形態によるビデオ符号化装置１０は、イントラ予測部１２及びシンボル符号化部１４を総括的に制御する中央プロセッサ（図示せず）を備える。または、イントラ予測部１２及びシンボル符号化部１４がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が互いに有機的に作動することでビデオ符号化装置１０が全体的に作動することもできる。または、一実施形態によるビデオ符号化装置１０の外部プロセッサ（図示せず）の制御によって、イントラ予測部１２及びシンボル符号化部１４が制御されることもある。

一実施形態によるビデオ符号化装置１０は、イントラ予測部１２及びシンボル符号化部１４の入出力データが保存される１つ以上のデータ保存部（図示せず）を備える。ビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を担当するメモリ制御部（図示せず）を備えてもよい。

一実施形態によるビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連携して作動することで、変換を含むビデオ符号化動作を行う。一実施形態によるビデオ符号化装置１０の内部ビデオエンコーディングプロセッサは、別途のプロセッサだけではなく、ビデオ符号化装置１０または中央演算装置、グラフィック演算装置がビデオエンコードプロセッシングモジュールを備えることで基本的なビデオ符号化動作を具現する場合も含む。

図２は、本発明の一実施形態によるビデオ復号化装置２０のブロック図である。ビデオ復号化装置２０は、ビデオ符号化装置１０によって符号化されたビデオデータを、パージング、シンボル復号化、逆量子化、逆変換、イントラ予測／動き補償などを通じて復号化し、空間領域の原本ビデオデータに近いビデオデータを復元する。以下、ビデオ符号化装置２０が、ビットストリームからイントラ予測のためのシンボルをパージングし、パージングされたシンボルからイントラ予測モードを復元する過程を詳述する。

一実施形態によるビデオ復号化装置２０は、パージング部２２及びイントラ予測部２４を備える。

ビデオ復号化装置２０は、ビデオの符号化されたデータが収録されたビットストリームを受信する。パージング部２２は、ビットストリームからシンボルをパージングする。

一実施形態によるパージング部２０は、ビットストリームから、ビデオのブロックについてのイントラ予測結果で生成されたシンボルをパージングする。

パージング部２２は、受信したビットストリームからビデオのブロックのシンボルをパージングする間に、ブロックのＭＰＭフラッグをパージングする。

一実施形態によるパージング部２２は、パージングされた現在ブロックのＭＰＭフラッグに基づいて現在ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定める。

候補イントラ予測モードが用いられる場合、常に一定数の候補イントラ予測モードが仮定されるため、パージング部２２は、ＭＰＭフラッグをパージングした後で候補イントラ予測モードの数が変わる場合を考慮せずとも現在イントラモード情報をパージングする。

パージング部２２が現在ブロックのイントラ予測に係るシンボルをいずれもパージングした後、イントラ予測部２４は、パージングされたシンボルを用いて現在ブロックのイントラ予測モードなど、イントラ予測のためのデータを復元する。パージング部２２によってパージングされたデータから、現在ブロックのイントラ予測結果で生成された残差データの量子化された変換係数が復元されることもできる。

前記でＭＰＭフラッグに基づいて複数の候補イントラ予測モードが用いられると定められた場合、一実施形態によるイントラ予測部２４は、ブロックのシンボルをパージング完了した後でシンボルを用いて現在ブロックの現在イントラ予測モードを復元しつつ、現在ブロックのイントラ予測モードを予測するための所定数の複数の候補イントラ予測モードを定める。一例として、イントラ予測部２４は、常に３個の候補イントラ予測モードを用いて現在イントラ予測モードを予測する。他の例として、イントラ予測部２４は、常に２個の候補イントラ予測モードが用いられると仮定してもよい。

一実施形態によるイントラ予測部２４は、現在ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードを定める。

一実施形態によるイントラ予測部２４は、パージングされた現在ブロックのシンボルからイントラ予測モードを復元して読み取る。イントラ予測部２４は、イントラ予測モードを用いて現在ブロックのためのイントラ予測を行う。

ビデオ復号化装置２０は、ビットストリームから現在ブロックの残差データの量子化された変換係数がパージングされた場合、逆量子化及び逆変換過程を通じて、残差データの量子化された変換係数から空間領域の残差データを復元する。イントラ予測部２４は、イントラ予測モードを用いて現在ブロックの空間領域の残差データについてイントラ予測を行う。

一実施形態によるイントラ予測部２４は、現在ブロックの左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても、現在イントラ予測モードを予測するために複数の候補イントラ予測モードを定める。よって、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じかどうかを全く考慮せずとも、一実施形態によるイントラ予測部２４は複数の候補イントラ予測モードを定める。

左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、一実施形態によるイントラ予測部２４は、左側ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める。例えば、左側ブロックのイントラ予測モードが所定イントラ予測モードである場合、複数の後輩イントラ予測モードは、複数のデフォルトイントラ予測モードを含むように定められる。

さらに他の例として、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、イントラ予測部２４は、左側ブロックのイントラ予測モードを用いて複数の候補イントラ予測モードを定める。例えば、左側ブロックのイントラ予測モードが所定イントラ予測モードである場合、複数の候補イントラ予測モードは、左側ブロックのイントラ予測モードを借用するか、または変形した値を含むように定められる。

左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、一実施形態によるイントラ予測部２４は、複数の候補イントラ予測モードのうち２つの候補イントラ予測モードとして、左側ブロック及び上端ブロックのイントラ予測モードを採択する。

一実施形態によるパージング部２２は、ビットストリームから現在ブロックのシンボルをパージングする時、ＭＰＭフラッグに続いて現在イントラモード情報をパージングする。

一実施形態によるパージング部２２は、パージングされたＭＰＭフラッグに基づいて現在イントラ予測モードを定めるために、複数の候補イントラ予測モードが用いられると定められれば、現在イントラモード情報として、複数の候補イントラ予測モードのうち１つの候補イントラ予測モードを示すインデックス情報をパージングする。イントラ予測部２４は、複数の候補イントラ予測モードのうちインデックス情報に基づいて選択された１つの候補イントラ予測モードを、現在イントラ予測モードと定める。

一実施形態によるパージング部２２で、ＭＰＭフラッグに基づいて、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なると定められた場合、現在イントラモード情報として、現在ブロックのイントラ予測方向を正確に称するイントラ予測モードのインデックスをパージングすることもできる。したがって、イントラ予測部２４は、現在イントラモード情報から直接現在ブロックのイントラモードを定める。

他の例として、イントラ予測部２４は、現在ブロックの現在イントラモード情報及び複数の候補イントラ予測モードに基づいてブロックのイントラ予測モードを定めることもできる。例えば、現在イントラモード情報から、候補イントラ予測モードと現在イントラ予測モードとの関係が読み取られる。この場合、イントラ予測部２４は、現在イントラ予測モードが左側ブロック及び右側ブロックのイントラ予測モードと異なっても複数の候補イントラ予測モードを定め、現在イントラモード情報を用いて候補イントラ予測モードから現在イントラ予測モードを類推して定める。

一実施形態によるビデオ復号化装置２０は、パージング部２２及びイントラ予測部２４を総括的に制御する中央プロセッサ（図示せず）を備える。または、パージング部２２及びイントラ予測部２４がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が互いに有機的に作動することでビデオ復号化装置２０が全体的に作動することもある。または、一実施形態によるビデオ復号化装置２０の外部プロセッサ（図示せず）の制御によって、パージング部２２及びイントラ予測部２４が制御されることもある。

一実施形態によるビデオ復号化装置２０は、パージング部２２及びイントラ予測部２４の入出力データが保存される１つ以上のデータ保存部（図示せず）を備える。ビデオ復号化装置２０は、データ保存部（図示せず）のデータ入出力を担当するメモリ制御部（図示せず）を備えてもよい。

一実施形態によるビデオ復号化装置２０は、ビデオ復号化を通じてビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連携して作動することで、逆変換を含むビデオ復号化動作を行う。一実施形態によるビデオ復号化装置２０の内部ビデオデコーディングプロセッサは、別途のプロセッサだけではなく、ビデオ復号化装置２０または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを備えることで、基本的なビデオ復号化動作を具現する場合も含む。

図１及び図２を参照して前述されたビデオ符号化装置１０及びビデオ復号化装置２０によれば、ビットストリームからブロックのシンボルをパージングしてイントラ予測モードが復元される過程で、ＭＰＭフラッグ及び現在イントラモード情報を含んでブロックのシンボルをパージング完了した後、パージングされたシンボルのうち現在ブロックのＭＰＭフラッグ及び現在イントラモード情報に基づいて現在イントラ予測モードが復元される。よって、ビットストリームからブロックのシンボルをパージングする過程と、パージングされたシンボルからイントラ予測モードを復元する過程とが分離される。シンボルのパージング及び復元過程が分離されなければ、シンボルをパージングする途中でシンボルを復元し、再びシンボルをパージングしてブロックシンボルのパージング動作及び復元動作が繰り返されるため、デコーディングプロセスの効率性が低下する。したがって、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、シンボルのパージング過程中にイントラ予測モードのパージング過程と復元過程とを分離することでデコーディングプロセスの効率性を向上させる。

もし候補イントラ予測モードが複数であっても、場合によって数が異なれば、イントラ関連情報をパージングする時に候補イントラ予測モードの数による変数を考慮せねばならないため、パージング過程が複雑になる。しかし、一実施形態によるビデオ復号化装置２０は、候補イントラ予測モードを用いてイントラ予測モードを予測する場合に、常に一定数の候補イントラ予測モードを仮定するため、シンボルパージング過程で候補イントラ予測モードの数が変わる場合を考慮せずともＭＰＭフラッグ及び現在イントラモード情報をパージングできるので、パージング動作の複雑度が低くなる。

以下、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０で具現可能なイントラ予測モードの予測のための多様な実施形態を詳述する。

図３は、一実施形態によってイントラ予測モードを予測するために参照されるブロックを示す。

ブロックとして、予測単位（ＰＵ；Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）が例示される。予測単位は、ツリー構造による符号化単位に基づいたビデオ符号化方式で、各符号化単位の予測を行うためのデータ単位である。一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、固定サイズの予測単位に限定されず、多様なサイズの予測単位について予測を行う。ツリー構造による符号化単位に基づいたビデオ符号化方式及び予測単位については、図７ないし１９を参照して後述する。以下、予測単位のイントラ予測モードを予測するための多様な実施形態が説明されても、多様な種類のブロックについても前記実施形態が類似して適用される。

一実施形態によるビデオ符号化装置１０は、一実施形態によって現在予測単位３０のイントラ予測モードを予測するために、左側予測単位３２及び上端予測単位３３のイントラ予測モードのうち、現在予測単位３０の現在イントラ予測モードと同じモードがあるかどうかを判断する。判断結果によってＭＰＭフラッグが符号化される。

例えば、左側予測単位３２及び上端予測単位３３のイントラ予測モードが現在イントラ予測モードと異なれば、ＭＰＭフラッグが‘０’に符号化され、左側予測単位３２及び上端予測単位３３のイントラ予測モードのうち少なくともいずれか１つが現在イントラ予測モードと同じならば、ＭＰＭフラッグは‘１’に符号化される。

以下、説明の便宜のために、左側（上端）予測単位３２、３３のイントラ予測モードを、左側（上端）イントラ予測モードと称する。

左側／上端イントラ予測モードと現在イントラ予測モードとが互いに異なる場合には、現在イントラ予測モードを示す現在イントラモード情報が符号化される。

左側／上端イントラ予測モードのうち現在イントラ予測モードと同じモードがある場合、現在イントラ予測モードを予測するための２つ以上の互いに異なる候補イントラ予測モードが定められる。候補イントラ予測モードは、現在イントラ予測モードと予測される確率の高いモードが選定される。

一応、２つの候補イントラ予測モードは、左側イントラ予測モード及び上端イントラ予測モードと採択される。
＜ＭＰＭ決定式１＞
ＭＰＭ０＝ｍｉｎ（ｌｅｆｔＩｎｔｒａＭｏｄｅ，ａｂｏｖｅＩｎｆｔｒａＭｏｄｅ）；
ＭＰＭ１＝ｍａｘ（ｌｅｆｔＩｎｔｒａＭｏｄｅ，ａｂｏｖｅＩｎｆｔｒａＭｏｄｅ）；
ＭＰＭ決定式１で、ＭＰＭ０及びＭＰＭ１は、それぞれ第１順位、第２順位候補イントラ予測モードを示す。ｍｉｎ（Ａ，Ｂ）は、ＡとＢのうち小さな値を出力し、ｍａｘ（Ａ，Ｂ）は、残りの大きい値を出力する関数である。

ＭＰＭ決定式１で、ｌｅｆｔＩｎｔｒａＭｏｄｅ及びａｂｏｖｅＩｎｆｔｒａＭｏｄｅは、それぞれ左側イントラ予測モードのインデックス及び上端イントラ予測モードのインデックスを示す。発生確率が高いか、または優先的に採択されねばならないイントラ予測モードに小さなインデックスが割り当てられる。

すなわち、ＭＰＭ決定式１によれば、左側イントラ予測モードのインデックス及び上端イントラ予測モードのインデックスのうちインデックスの小さな順に第１順位、第２順位候補イントラ予測モードにマッピングされるので、左側イントラ予測モードのインデックス及び上端イントラ予測モードのうち相対的に発生確率が高いか、または優先的に採択されねばならない順に候補イントラ予測モードとして採択される。

ビデオ復号化装置２０の場合も類似している。ビットストリームからＭＰＭフラッグをパージングして、左側／上端イントラ予測モードと現在イントラ予測モードとが互いに異なる場合には、ビットストリームから現在イントラ予測モードを示す現在イントラモード情報をパージングし、左側／上端イントラ予測モードのうち現在イントラ予測モードと同じモードがある場合には、現在イントラ予測モードを予測するための２つ以上の互いに異なる候補イントラ予測モードを定める。

しかし、左側イントラ予測モードと上端イントラ予測モードとが互いに同じ場合には、左側イントラ予測モード及び上端イントラ予測モードが候補イントラ予測モードと採択されても、まだ複数の互いに異なる候補イントラ予測モードが定められていない。

以下、左側イントラ予測モードと上端イントラ予測モードのうち現在イントラ予測モードと同じモードがあり、左側イントラ予測モードと上端イントラ予測モードとが互いに同じ場合に、複数の互いに異なる候補イントラ予測モードを定めるための多様な実施形態が詳述される。

１．複数の候補イントラ予測モードは、互いに異なるデフォルトイントラ予測モードを含む。一実施形態によるデフォルトイントラ予測モードとして、確率的に発生可能性の高いイントラ予測モード、予測性能に優れたイントラ予測モード、左側イントラ予測モードに近似しているモードなどが採択される。発生可能性が高いか、または予測性能に優れた予測モードは、ＤＣ予測モード、プラナーモード（Ｐｌａｎａｒ ｍｏｄｅ）、垂直方向予測モード（Ｖｅｒｔｉｃａｌｍｏｄｅ）などを含む。

イントラ予測モードのうちプラナーモードによってイントラ予測が行われる場合、予測単位内のピクセルの輝度がグラデーション形態を持って、所定方向によって徐々に明るくなるか、または暗くなるように予測される。

例えば、左側イントラ予測モードがＤＣ予測モードまたはプラナーモードの場合に、３個の候補イントラ予測モードは、デフォルトイントラ予測モードとして、ＤＣ予測モード、プラナーモード、垂直方向予測モードで定められる。

２．複数の候補イントラ予測モードは、左側イントラ予測モード及びデフォルトイントラ予測モードを含む。
＜ＭＰＭ決定式２＞
ｉｆ（ｌｅｆｔＩｎｔｒａＭｏｄｅ＝＝ａｂｏｖｅＩｎｔｒａＭｏｄｅ＝＝ＤＣ）
ａｂｏｖｅＩｎｔｒａｍｏｄｅ＝Ｐｌａｎａｒｍｏｄｅ｛ｏｒ ０ ｉｆ ｎｏ ｐｌａｎａｒ ｍｏｄｅ｝
ｅｌｓｅ
ａｂｏｖｅＩｎｔｒａＭｏｄｅ＝ＤＣ
ＭＰＭ決定式２によって左側イントラ予測モード及び上端イントラ予測モードを定めた後、再びＭＰＭ決定式１によって候補イントラ予測モードが定められる。

ＭＰＭ決定式２によれば、先ず、左側イントラ予測モードと上端イントラ予測モードともＤＣイントラモードである場合には、上端イントラ予測モードがプラナーモード（または、インデックス０のイントラ予測モード）に変更される。この場合、ＭＰＭ決定式１によって候補イントラ予測モードは、左側イントラ予測モードであるＤＣ予測モードまたはプラナーモード（または、インデックス０のイントラ予測モード）を含む。

また、ＭＰＭ決定式２によれば、先ず、左側イントラ予測モードと上端イントラ予測モードのうち少なくとも１つがＤＣイントラモードではない場合に、上端イントラ予測モードがＤＣ予測モードに変更される。この場合、ＭＰＭ決定式１によって候補イントラ予測モードは、左側イントラ予測モードまたはＤＣモードを含む。

３．複数の候補イントラ予測モードが、左側イントラ予測モードを用いるか、または変形した値に定められる。

例えば、左側イントラ予測モードが所定方向のイントラ予測モードである場合に、候補イントラ予測モードは、左側イントラ予測モードを含み、また左側イントラ予測モードを示すインデックスから所定オフセットほど増加または減少したインデックスに対応するイントラ予測モードを含む。
＜ＭＰＭ決定式３＞
ＭＰＭ０＝ｌｅｆｔＩｎｔｒａＭｏｄｅ；
ＭＰＭ１＝ｌｅｆｔＩｎｔｒａＭｏｄｅ−ｎ；
ＭＰＭ２＝ｌｅｆｔＩｎｔｒａＭｏｄｅ＋ｎ；
ＭＰＭ決定式３によれば、第１順位候補イントラ予測モードは、左側イントラ予測モード、第２順位候補イントラ予測モードは、左側イントラ予測モードよりインデックスがｎほど小さなモード、第３順位候補イントラ予測モードは、左側イントラ予測モードよりインデックスがｎほど大きいモードが採択される。ｎは、１、２などの定数である。

４．左側イントラ予測モードの値とこれに対応する候補イントラ予測モードとの相関関係を示すルックアップテイブルを用いて複数の候補イントラ予測モードが定められる。すなわち、ルックアップテイブルに基づいて、現在左側イントラ予測モードにマッピングする複数の候補イントラ予測モードが選択されてもよい。前述した１．、２．、３．の例も、左側イントラ予測モードによって候補イントラ予測モードが定められるので、左側イントラ予測モードによるルックアップテイブルのマッピング方式と類似した結果が導出される。

５．候補イントラ予測モードのルックアップテイブルは、第１順位で左側イントラ予測モードを含み、第２順位からは統計的に発生頻度の最も高いイントラ予測モードを順次に含む。

６．以前に符号化（復号化）されたイントラ予測モードごとに発生頻度または統計的確率を定め、統計的確率の最も高いイントラ予測モードが候補イントラ予測モードと採択される。

７．左側予測単位及び上端予測単位を除いた隣接予測単位のうち左側、上端予測単位のイントラ予測モードと異なるイントラ予測モードが検出されれば、候補イントラ予測モードは、左側（上端）イントラ予測モード及び検出された隣接予測単位のイントラ予測モードを含む。

実施形態７．についての具体的な例は、以下の図４を参照して詳述する。

図４は、ツリー構造による符号化単位に基づいたビデオコーディングで、イントラ予測モードを予測するために参照される予測単位を例示する。

現在予測単位４０のイントラ予測モードを予測するために、左側予測単位４１及び上端予測単位４２が最優先的に参照される。現在予測単位４０の左側境界または上端境界に隣接する予測単位が複数ある場合には、現在予測単位４０内の左側上端サンプルに隣接する左側予測単位４１及び上端予測単位４２のイントラ予測モードが先ず参照される。

左側予測単位４１と上端予測単位４２のイントラ予測モードとが互いに同じ場合には、現在予測単位４０に隣接する隣接予測単位のうち、左側予測単位４１及び上端予測単位４２を除いた所定位置の隣接予測単位のイントラ予測モードが参照される。例えば、左側上端予測単位４５、右側上端予測単位４７及び左側下端予測単位４９のイントラ予測モードが参照されてもよい。左側上端予測単位４５、右側上端予測単位４７及び左側下端予測単位単位４９のうちいずれか１つのイントラ予測モードが、左側予測単位４１及び上端予測単位４２のイントラ予測モードと異なれば、候補イントラ予測モードとして採択される。

例えば、第１順位の候補イントラ予測モードは、左側予測単位４１及び上端予測単位４２のイントラ予測モードである。左側上端予測単位４５、右側上端予測単位４７及び左側下端予測単位単位４９のうち所定順序によって、左側予測単位４１及び上端予測単位４２のイントラ予測モードと異なるイントラ予測モードを持つかどうかを検出し、最初に検出されるイントラ予測モードが、第２順位の候補イントラ予測モードとして採択される。

さらに他の例として、左側予測単位４１及び上端予測単位４２のイントラ予測モードが同じ場合には、現在予測単位４０に隣接する隣接予測単位のうち左側予測単位４１及び上端予測単位４２を除いたすべての隣接予測単位４３、４４、４５、４７、４９から、所定順序によって順次に、左側予測単位４１及び上端予測単位４２のイントラ予測モードと異なるイントラ予測モードを持つかを検出し、最初に検出されるイントラ予測モードが第２順位候補イントラ予測モードとして採択される。

具体的な例として、右側上端予測単位４７のイントラ予測モードをはじめとして、左側予測単位４１及び上端予測単位４２のイントラ予測モードと異なるかどうかを比較し、現在予測単位４０の上端に位置している隣接予測単位４７、４４、４５に沿って順次に左に移動しつつ、左側予測単位４１及び上端予測単位４２のイントラ予測モードと異なるイントラ予測モードを持つ予測単位があるかどうかを検索する。最初に検出されるイントラ予測モードが、第２順位候補イントラ予測モードとして採択される。

左側上端予測単位４５まで検索した結果、左側予測単位４１及び上端予測単位４２のイントラ予測モードと異なるイントラ予測モードを持つ予測単位がなければ、左側下端予測単位単位４９から始まって現在予測単位４０の左側に位置している隣接予測単位に沿って順次に上方へ移動しつつ、左側予測単位４１及び上端予測単位４２のイントラ予測モードと異なるイントラ予測モードを持つ予測単位があるかどうかを検索する。最初に検出されるイントラ予測モードが、第２順位候補イントラ予測モードとして採択される。

前記実施形態で、右側上端予測単位４７から始めて上端に位置している隣接予測単位を検索した後、左側下端予測単位単位４９から始めて左側に位置している隣接予測単位を検索する実施形態が詳述されたが、このような順序は多様に変更される。

前記で、左側イントラ予測モードと上端イントラ予測モードのうち現在イントラ予測モードと同じモードがあり、左側イントラ予測モードと上端イントラ予測モードとが互いに同じ場合に、複数の互いに異なる候補イントラ予測モードを定めるための多様な実施形態が詳述された。

前述したところによって、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、左側イントラ予測モードと上端イントラ予測モードのうち現在イントラ予測モードと同じモードがあり、左側イントラ予測モードと上端イントラ予測モードとが互いに異なるか、または同じ場合に、常に互いに異なる複数の候補イントラ予測モードを用いて現在イントラ予測モードを予測する。

これによって、一実施形態によるビデオ符号化装置１０は、隣接する左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、候補イントラ予測モードの数が変わる場合を考慮して候補イントラ予測モードの数が異なる場合を示す情報を符号化する必要がなく、イントラ予測モードに関する情報として、ＭＰＭフラッグ及び現在イントラモード情報のみ符号化する。

したがって、一実施形態によるビデオ復号化装置２０は、現在ブロックのイントラ予測に関する情報をパージングする過程で、ＭＰＭフラッグ及び現在イントラモード情報さえパージングすればよいので、隣接する左側ブロック及び上端ブロックのイントラ予測モードが互いに同じかどうかを判断する必要がない。左側ブロック及び上端ブロックのイントラ予測モードが互いに同じかどうかを判断する必要がないので、左側ブロック及び上端ブロックのイントラ予測モードを復元する必要がなく、シンボルのパージングする途中でパージングされたシンボルからイントラ予測モードを復元し、再びシンボルをパージングする過程が省略されるため、イントラ予測モードのパージングプロセスを迅速に処理できる。これにより、イントラ予測モードのパージング及び復元を含むデコーディングプロセスの効率性が図れる。

また１つの候補イントラ予測モードのみを処理するためのイントラ予測モードの予測モードが省略されるので、デコーディングプロセスが全体的に簡単になる。

図５は、本発明の一実施形態によるビデオ符号化方法のフローチャートを示す。段階５１で、ビデオ中のブロックのうち現在ブロックのためのイントラ予測を通じて定められたイントラ予測モードと、現在ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとが比較される。

段階５３で、現在ブロックの左側ブロック及び上端ブロックのイントラ予測モードのうち、ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すＭＰＭフラッグが符号化される。

段階５５で、左側ブロック及び上端ブロックのイントラ予測モードのうち、現在ブロックのイントラ予測モードと同じモードがあれば、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、まはた同じであっても、所定数の複数の候補イントラ予測モードが定められる。

段階５７で、複数の候補イントラ予測モードに基づいて定められた現在ブロックの現在イントラモード情報が符号化される。

段階５５で、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じ場合には、左側ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードとしてデフォルトイントラ予測モードが定められる。

また、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じ場合に、左側ブロックのイントラ予測モードを用いて複数の候補イントラ予測モードが定められる。

また、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、複数の候補イントラ予測モードのうち２つの候補イントラ予測モードが、左側ブロック及び上端ブロックのイントラ予測モードと定められる。

段階５７で、左側ブロック及び上端ブロックのイントラ予測モードのうち現在ブロックのイントラ予測モードと同じイントラ予測モードがある場合には、複数の候補イントラ予測モードのうち、ブロックのイントラ予測モードと相応する候補イントラ予測モードを示すインデックス情報が符号化される。

また、段階５５で、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なる場合であっても、現在ブロックのイントラ予測モード及び複数の候補イントラ予測モードに基づいて現在ブロックの現在イントラ予測モードが定められ、これによって段階５７で、現在イントラ予測モードと候補イントラ予測モードとの関係を示す現在イントラモード情報が符号化される。

図６は、本発明の一実施形態によるビデオ復号化方法のフローチャートを示す。段階６１で、受信したビットストリームから符号化されたビデオのブロックのうち、現在ブロックのシンボルをパージングする間に現在ブロックのＭＰＭフラッグがパージングされる。

段階６３で、ＭＰＭフラッグに基づいて現在ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかが定められる。

段階６５で、ブロックシンボルのパージングが完了した後、パージングされたシンボルを用いて現在ブロックのイントラ予測モードが復元される。段階６３で、ＭＰＭフラッグに基づいて複数の候補イントラ予測モードが用いられると定められた場合には、段階６５は、現在ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて、現在ブロックのイントラ予測モードを予測するために所定数の複数の候補イントラ予測モードが定められる。定められた複数の候補イントラ予測モードを用いて現在ブロックのイントラ予測モードが予測される。

段階６７では、段階６５で予測されたイントラ予測モードを用いて現在ブロックのためのイントラ予測が行われる。

前記の段階６５で複数の候補イントラ予測モードが定められる時、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、左側ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードとしてデフォルトイントラ予測モードが定められる。

また、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、左側ブロックのイントラ予測モードを用いて複数の候補イントラ予測モードが定められる。

段階６５で、複数の候補イントラ予測モードが定められる時、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、複数の候補イントラ予測モードのうち２つの候補イントラ予測モードが、左側ブロック及び上端ブロックのイントラ予測モードと定められる。

段階６３で、ＭＰＭフラッグに基づいて現在ブロックのイントラ予測モードを定めるために複数の候補イントラ予測モードが用いられると定められれば、ビットストリームから複数の候補イントラ予測モードのうち１つを示すインデックス情報がパージングされる。この場合、段階６５では、複数の候補イントラ予測モードのうちインデックス情報に基づいて選択された１つの候補イントラ予測モードが、ブロックのイントラ予測モードとして定められる。

また、段階６３で、ＭＰＭフラッグに基づいて現在ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なると定められた場合、ビットストリームから現在ブロックの現在イントラモード情報がさらにパージングされる。この場合、段階６４では、パージングされた現在ブロックの現在イントラモード情報から、現在ブロックのイントラ予測モードと複数の候補イントラ予測モードとの関係が読み取られ、読み取り結果に基づいてブロックのイントラ予測モードが定められる。

一実施形態によるビデオ符号化装置１０及び他の実施形態によるビデオ復号化装置２０で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位についてのイントラ予測のための予測単位が用いられる場合があるということは、前述した通りである。以下、図７ないし図１９を参照して、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置が開示される。

図７は、本発明の一実施形態によってツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図である。

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を備える。以下、説明の便宜のために、一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、‘ビデオ符号化装置１００’と略称する。

最大符号化単位分割部１１０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であり、横及び縦サイズが２の自乗である正方形のデータ単位である。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と、最小符号化単位が最下位符号化単位と定義される。 最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは減少するので、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。

前述したように、符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の映像データが深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが予め設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化して、少なくとも１つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部１２０は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度と定める。定められた符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも１つの符号化深度が定められる。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であっても、それぞれのデータについての符号化誤差を測定して下位深度への分割如何が定められる。よって、１つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって定められる。よって、１つの最大符号化単位について符号化深度が１つ以上設定され、最大符号化単位のデータは、１つ以上の符号化深度の符号化単位によって区切られる。

したがって、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に定められ、他の領域については独立して定められる。同様に、現在領域についての符号化深度は、他の領域についての符号化深度と独立して定められる。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に関する指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が０であれば、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０、１、２、３、４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位について予測符号化及び変換を含む符号化が行われねばならない。以下で説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択する。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、すべての段階にかけて同じデータ単位が使われてもよく、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも１つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同じサイズのパーティションである。

例えば、サイズ２Ｎ×２Ｎ（但し、Ｎは正の定数）の符号化単位がこれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位となり、パーティションのサイズは２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。

予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも１つである。例えば、イントラモード及びインタモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションについて行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションについてのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差の最も小さな予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行う。符号化単位の変換のためには、符号化単位より小さいか、または同じサイズの変換単位に基づいて変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインタモードのための変換単位を含む。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区切られる。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割して変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位のサイズが２Ｎ×２Ｎならば、変換深度０、変換単位のサイズがＮ×Ｎならば、変換深度１、変換単位のサイズがＮ／２×Ｎ／２ならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく予測関連情報及び変換関連情報が必要である。よって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションで分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを定める。

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図７ないし１９を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤の率−歪曲最適化技法を用いて測定する。

出力部１３０は、符号化単位決定部１２０で定められた少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報をビットストリーム形態に出力する。

符号化された映像データは、映像の残差データの符号化結果である。

深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度で符号化せずに下位深度の符号化単位で符号化するかどうかを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるので、現在深度の分割情報はこれ以上下位深度に分割されないように定義される。逆に、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いる符号化を試みる必要があるので、現在深度の分割情報は下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が１つ以上存在するので、それぞれの下位深度の符号化単位ごとに繰り返して符号化が行われ、等しい深度の符号化単位ごとに再帰的符号化が行われる。

１つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも１つの符号化モードに関する情報が定められねばならないので、１つの最大符号化単位については少なくとも１つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは深度によって階層的に区切られ、位置別に符号化深度が異なる可能性があるため、データについて符号化深度及び符号化モードに関する情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも１つについて、該符号化深度及び符号化モードについての符号化情報が割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるすべての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、符号化単位別符号化情報と予測単位別符号化情報とに分類される。符号化単位別符号化情報は、予測モード情報、パーティション大きさ情報を含む。予測単位別に伝送される符号化情報は、インタモードの推定方向に関する情報、インタモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。

ピクチャー、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどに挿入される。

また現在ビデオについて許容される変換単位の最大サイズに関する情報及び変換単位の最小サイズに関する情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどを通じて出力される。出力部１３０は、図１ないし図６を参照して前述した予測に関する参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力する。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を最大４個含む。

したがって、ビデオ符号化装置１００は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定めてツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。

したがって、映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位で符号化すれば、ピクチャーあたりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が減少する傾向がある。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増加させつつ映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が増大する。

図７のビデオ符号化装置１００は、図１を参照して前述したビデオ符号化装置１０の動作を行う。

符号化単位決定部１２０は、ビデオ符号化装置１０のイントラ予測部１２の動作を行う。最大符号化単位ごとに、ツリー構造による符号化単位別に、イントラ予測のための予測単位を定め、予測単位ごとにイントラ予測を行う。

出力部１３０は、ビデオ符号化装置１０のシンボル符号化部１４の動作を行う。予測単位ごとにイントラ予測モードの予測のために、ＭＰＭフラッグを符号化する。現在予測単位のイントラ予測モードが左側／上端予測単位のイントラ予測モードのうち少なくとも１つと同じ場合には、左側イントラ予測モードと上端イントラ予測モードとが互いに同じが、または異なるかに関係なく、常に所定数の複数の候補イントラ予測モードを定め、候補イントラ予測モードに基づいて現在予測単位のための現在イントラモード情報を定めて符号化する。

出力部１３０は、候補イントラ予測モードの数を毎ピクチャーごとに定める。これと類似して、候補イントラ予測モードの数がスライスごとに、最大符号化単位ごとに、符号化単位ごとに、または予測単位ごとに定められてもよい。これに制限されずに所定データ単位ごとに候補イントラ予測モードの数が再び定められる。

出力部１３０は、候補イントラ予測モードの数を更新したデータ単位のレベルによって、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＰＳ（Ｓｌｉｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、最大符号化単位レベル、符号化単位レベル、予測単位レベルなど多様なデータ単位レベルのパラメータとして、候補イントラ予測モードの数を示す情報を符号化することもできる。但し、所定データ単位ごとに毎度候補イントラ予測モードの数が定められても、常に候補イントラ予測モードの数を示す情報が符号化されるものではない。

図８は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図である。

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を備える。以下、説明の便宜上、一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、‘ビデオ復号化装置２００’と略称する。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して前述した通りである。

受信部２１０は、符号化されたビデオについてのビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出して映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャーについてのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットから、現在ピクチャーの符号化単位の最大サイズに関する情報を抽出する。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位についての符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化可能にする。

最大符号化単位別符号化深度及び符号化モードに関する情報は、１つ以上の符号化深度情報について設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されてもよい。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別深度別符号化単位ごとに繰り返して符号化を行って、最小符号化誤差を発生させることで定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元する。

一実施形態による符号化深度及び符号化モードについての符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出する。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行う。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別にツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行う。逆変換を通じて、符号化単位の空間領域の画素値を復元する。

映像データ復号化部２３０は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度でこれ以上分割されないことを示すならば、現在深度が符号化深度である。よって、映像データ復号化部２３０は、現在最大符号化単位の映像データについて現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部２３０によって同じ符号化モードで復号化する１つのデータ単位と見なされる。このように定められた符号化単位ごとに符号化モードに関する情報を獲得して現在符号化単位の復号化が行われる。

また、図８のビデオ復号化装置２００は、図２を参照して前述したビデオ復号化装置２０の動作を行う。

受信部２１０は、ビデオ復号化装置２０のパージング部２２の動作を行う。映像データ及び符号化情報抽出部２２０と映像データ復号化部２３０とは、ビデオ復号化装置２０のイントラ予測部２４の動作を行う。

パージング部２２は、ツリー構造による符号化単位別に、イントラ予測のための予測単位が定められた場合、予測単位ごとにビットストリームから、イントラ予測モードの予測のためのＭＰＭフラッグをパージングする。左側イントラ予測モードと上端イントラ予測モードとが互いに同じか、または異なるかを判断せずとも、ビットストリームからＭＰＭフラッグに連続して現在イントラモード情報をパージングできる。映像データ及び符号化情報抽出部２２０は、ＭＰＭフラッグ及びイントラモード情報を含んでブロックのシンボルのパージングを完了した後、パージングされた情報から現在イントラ予測モードを復元する。所定数の複数の候補イントラ予測モードを用いて現在イントラ予測モードが予測されることもある。映像データ復号化部２３０は、復元された現在イントラ予測モード及び残差データを用いて現在予測単位についてのイントラ予測を行う。

映像データ及び符号化情報抽出部２２０は、候補イントラ予測モードの数を毎ピクチャーごとに再び定める。

パージング部２２は、ビットストリームのＰＰＳ、ＳＰＳ、最大符号化単位レベル、符号化単位レベル、予測単位レベルなどの多様なデータ単位レベルのパラメータから、所定数の候補イントラ予測モードの数を示す情報をパージングする場合があり得る。この場合、映像データ及び符号化情報抽出部２２０は、情報がパージングされたレベルに対応するデータ単位ごとに、パージングされた情報が示す数ほどの候補イントラ予測モードを定める。

但し、映像データ及び符号化情報抽出部２２０は、候補イントラ予測モードの数を示す情報がパージングされないとしても、スライスごとに、最大符号化単位ごとに、符号化単位ごとに、または予測単位などの所定データ単位ごとに候補イントラ予測モードの数を更新する。

結局、ビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーについての復号化に用いる。すなわち、最大符号化単位ごとに最適符号化単位で定められたツリー構造による符号化単位の、符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって効率的に映像データを復号化して復元する。

図９は、本発明の一実施形態による符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ６４×６４の符号化単位から３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションに分割され、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに分割され、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度は３に設定されている。ビデオデータ３３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度は１に設定されている。図９に示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけではなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズ６４の最大符号化単位から、２回分割しつつ深度が２階層深くなって長軸サイズ３２、１６の符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズ１６の符号化単位から、１回分割して深度が１階層深くなって長軸サイズ８の符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズ６４の最大符号化単位から、３回分割しつつ深度が３階層深くなって長軸サイズ３２、１６、８の符号化単位まで含む。深度が深くなるほど詳細情報の表現能が向上する。

図１０は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図である。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データの符号化に経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インタモードの現在フレーム４０５及び参照フレーム４９５を用いてインタ推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。

特に、イントラ予測部４１０は、ビデオ符号化装置１０のイントラ予測部１２の動作を行う。最大符号化単位ごとに、ツリー構造による符号化単位別にイントラ予測のための予測単位を定め、予測単位ごとにイントラ予測を行う。

現在予測単位と左側／上端予測単位とが同じ場合に、左側イントラ予測モードと上端イントラ予測モードとが互いに同じか、または異なる場合にいずれも複数の候補イントラ予測モードが定められるので、エントロピー符号化部４５０は、予測単位ごとにＭＰＭフラッグを符号化し、次いで、現在予測単位のための後輩イントラ予測モードに基づいて定められた現在イントラモード情報を符号化する。

図１１は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図である。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータに出力され、逆変換部５４０を経て空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に用いてインタモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて復元フレーム５９５に出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０はいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとにパーティション及び予測モードを定め、逆変換部５４０は、符号化単位ごとに変換単位のサイズを定めねばならない。

特に、パージング部５１０は、ツリー構造による符号化単位別に、イントラ予測のための予測単位が定められた場合、予測単位ごとにビットストリームから、イントラ予測モードの予測のためのＭＰＭフラッグをパージングする。左側イントラ予測モードと上端イントラ予測モードとが互いに同じか、または異なるかを判断せずとも、ビットストリームからＭＰＭフラッグに連続して現在イントラモード情報をパージングできる。エントロピー復号化部５２０は、ＭＰＭフラッグ及び現在イントラモード情報を含んでブロックのシンボルのパージングを完了した後、パージングされた情報から現在イントラ予測モードを復元する。イントラ予測部５５０は、復元された現在イントラ予測モード及び残差データを用いて現在予測単位についてのイントラ予測を行う。

図１２は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。
一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められてもく、ユーザのニーズに応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４の場合を図示している。この時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であって、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２の深度１の符号化単位６２０、サイズ１６×１６の深度２の符号化単位６３０、サイズ８×８の深度３の符号化単位６４０、サイズ４×４の深度４の符号化単位６５０が存在する。サイズ４×４の深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であって最下位深度の符号化単位であり、該予測単位もサイズ４×４のパーティション６５０のみで設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を定めるために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同一範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位１つが含むデータについて、深度２の符号化単位は４つ必要である。よって、同じデータの符号化結果を深度別に比べるために、１つの深度１の符号化単位及び４つの深度２の符号化単位を用いてそれぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行って、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプと選択される。

図１３は、本発明の一実施形態による符号化単位及び変換単位の関係を示す。

一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中に変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を用いて変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図１４は、本発明の一実施形態による深度別符号化情報を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を符号化して伝送する。

パーティションタイプに関する情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか１つのタイプに分割されて用いられる。この場合、現在符号化単位のパーティションタイプに関する情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち１つを示すように設定される。

予測モードに関する情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報８１０を通じて、パーティションタイプに関する情報８００の示すパーティションがイントラモード８１２、インタモード８１４及びスキップモード８１６のうち１つで予測符号化が行われるかどうかが設定される。

また、変換単位サイズに関する情報８２０は、現在符号化単位をいかなる変換単位に基づいて変換を行うかどうかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インタ変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち１つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を抽出して復号化に用いる。

図１５は、本発明の一実施形態による深度別符号化単位を示す。

深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを示す。

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２、９１４、９１６、９１８のみ例示されているが、前述したようにパーティションタイプはこれに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに繰り返して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインタモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションに予測符号化についてのみ行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち１つによる符号化誤差が最も小さければ、これ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割９２０し、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０について繰り返して符号化を行って最小符号化誤差を検索できる。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割９５０し、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０について繰り返して符号化を行って最小符号化誤差を検索できる。

最大深度がｄである場合、深度別符号化単位は深度ｄ−１の時まで設定され、分割情報は深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割９７０されて深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに繰り返して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）はこれ以上下位深度への分割過程を経ず、現在最大符号化単位９００についての符号化深度が深度ｄ−１と定められ、パーティションタイプは、Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）と定められる。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２について分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に対する‘最小単位’と称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。このような繰り返しの符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して最も小さな符号化誤差が発生する深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが、符号化深度の符号化モードと設定される。

このような形で深度０、１、…、ｄ−１、ｄのすべての深度別最小符号化誤差を比較して誤差の最も小さな深度が選択され、符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみ‘０’に設定され、符号化深度を除いた深度別分割情報は‘１’に設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００についての符号化深度及び予測単位に関する情報を抽出して符号化単位９１２の復号化に用いる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を用いて分割情報が‘０’である深度を符号化深度と把握し、該深度についての符号化モードに関する情報を用いて復号化に用いる。

図１６ないし図１８は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位について一実施形態によるビデオ符号化装置１００が定めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であれば、符号化単位１０１２、１０５４は深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は深度が４である。

予測単位１０６０のうち一部のパーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４、１０２２、１０５０、１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同じである。

変換単位１０７０のうち一部１０５２の映像データについては、符号化単位に比べて小さなサイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位についてのイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であっても、それぞれ別途のデータ単位に基づいて行う。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位についての分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下の表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定できる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームからツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるかどうかを示す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるので、符号化深度についてパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに独立して符号化が行われねばならない。

予測モードは、イントラモード、インタモード及びスキップモードのうち１つで示す。イントラモード及びインタモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、非対称的な割合で分割された非対称的パーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎを示す。非対称的パーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インタモードで２種のサイズに設定される。すなわち、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ２Ｎ×２Ｎの現在符号化単位についてのパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはＮ×Ｎ、非対称形パーティションタイプならば、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも１つについて割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を１つ以上含む。

したがって、隣接しているデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、この場合に現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接している深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。

さらに他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接している深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることで周辺符号化単位が参照されることもある。

図１９は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。

最大符号化単位１３００は、符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定される。

変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち１つに設定されている場合、変換単位分割情報が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定された場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図２１を参照して前述された変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、０または１の値を持つフラッグであるが、一実施形態による変換単位分割情報が１ビットのフラッグに限定されるものではなく、設定によって０、１、２、３…などに増加しつつ変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として用いられる。

この場合、一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に用いれば、実際に用いられた変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化する。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を用いてビデオ復号化に用いる。

例えば、（ａ）現在符号化単位がサイズ６４×６４であり、最大変換単位サイズは３２×３２ならば、（ａ−１）変換単位分割情報が０である時に変換単位のサイズが３２×３２、（ａ−２）変換単位分割情報が１である時に変換単位のサイズが１６×１６、（ａ−３）変換単位分割情報が２である時に変換単位のサイズが８×８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２×３２であり、最小変換単位サイズは３２×３２ならば、（ｂ−１）変換単位分割情報が０である時に変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２より小さくてはならないため、これ以上の変換単位分割情報が設定されられない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４×６４であり、最大変換単位分割情報が１ならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定されられない。

したがって、最大変換単位分割情報を‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ’、最小変換単位サイズを‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’、変換単位分割情報が０である場合の変換単位サイズを‘ＲｏｏｔＴｕＳｉｚｅ’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’は、下記の関係式（１）のように定義される。

ＣｕｒｒＭｉｎＴｕＳｉｚｅ
＝ｍａｘ（ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ，ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ））…（１）
現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’と比較して、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、システム上採択可能な最大変換単位サイズを示す。すなわち、関係式（１）によれば、‘ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）’は、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最小変換単位サイズであるので、これらのうと小さな値が、現在現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’である。

一実施形態による最大変換単位サイズＲｏｏｔＴｕＳｉｚｅは、予測モードによって変わってもよい。

例えば、現在予測モードがインタモードならば、ＲｏｏｔＴｕＳｉｚｅは下記の関係式（２）によって定められる。関係式（２）で‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最大変換単位サイズ、‘ＰＵＳｉｚｅ’は、現在予測単位サイズを示す。

ＲｏｏｔＴｕＳｉｚｅ＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰＵＳｉｚｅ）…（２）
すなわち、現在予測モードがインタモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。

現在パーティション単位の予測モードがイントラモードならば、‘ＲｏｏｔＴｕＳｉｚｅ’は下記の関係式（３）によって定められる。‘ＰａｒｔｉｔｉｏｎＳｉｚｅ’は、現在パーティション単位のサイズを示す。

ＲｏｏｔＴｕＳｉｚｅ＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰａｒｔｉｔｉｏｎＳｉｚｅ）…（３）
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定される。

但し、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ‘ＲｏｏｔＴｕＳｉｚｅ’は一実施形態であるだけであり、現在最大変換単位サイズを定める要因がこれに限定されるものではないということに留意せねばならない。

図７ないし図１９を参照して前述されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって最大符号化単位ごとに復号化が行われつつ空間領域の映像データが復元され、ピクチャー及びピクチャーシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、または記録媒体に保存されるか、またはネットワークを通じて伝送される。

一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は、本発明に含まれていると解釈されねばならない。

付記を記す。
（付記１） イントラ予測を通じるビデオ復号化方法において、
受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に、前記ブロックのＭＰＭフラッグをパージングする段階と、
前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定める段階と、
前記ＭＰＭフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて前記所定数の複数の候補イントラ予測モードを定める段階と、
前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測する段階と、
前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行う段階と、を含むことを特徴とするビデオ復号化方法。
（付記２） 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードに基づいて、前記複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める段階を含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記３） 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードを用いて前記複数の候補イントラ予測モードを定める段階を含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記４） 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、前記複数の候補イントラ予測モードのうち２つの候補イントラ予測モードを左側ブロック及び上端ブロックのイントラ予測モードと定める段階を含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記５） 前記パージング段階は、前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードを定めるために複数の候補イントラ予測モードが用いられると定められれば、前記ビットストリームから前記複数の候補イントラ予測モードのうち１つを示すインデックス情報をパージングする段階を含み、
前記ブロックのイントラ予測モード予測段階は、前記複数の候補イントラ予測モードのうち、前記インデックス情報に基づいて選択された１つの候補イントラ予測モードを前記ブロックのイントラ予測モードと定める段階を含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記６） 前記パージング段階は、前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なると定められた場合、前記ビットストリームから前記ブロックの現在イントラモード情報をパージングする段階を含み、
前記ブロックのイントラ予測モード予測段階は、前記パージングされたブロックの現在イントラモード情報から前記ブロックのイントラ予測モードと前記複数の候補イントラ予測モードとの関係を読み取り、前記読み取り結果に基づいて前記ブロックのイントラ予測モードを定める段階を含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記７） イントラ予測を通じるビデオ符号化方法において、
ビデオのうち、ブロックのためのイントラ予測を通じて定められた前記ブロックのイントラ予測モードと、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとを比較する段階と、
前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すＭＰＭフラッグを符号化する段階と、
前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じモードがあれば、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても所定数の複数の候補イントラ予測モードを定める段階と、
前記複数の候補イントラ予測モードに基づいて定められた前記ブロックの現在イントラモード情報を符号化する段階と、を含むことを特徴とするビデオ符号化方法。
（付記８） 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードに基づいて、前記複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める段階を含むことを特徴とする付記７に記載のビデオ符号化方法。
（付記９） 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードを用いて前記複数の候補イントラ予測モードを定める段階を含むことを特徴とする付記７に記載のビデオ符号化方法。
（付記１０） 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、前記複数の候補イントラ予測モードのうち、２つの候補イントラ予測モードを左側ブロック及び上端ブロックのイントラ予測モードと定める段階を含むことを特徴とする付記７に記載のビデオ符号化方法。
（付記１１） 前記ブロックの現在イントラモード情報を符号化する段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがある場合、前記複数の候補イントラ予測モードのうち、前記ブロックのイントラ予測モードと相応する候補イントラ予測モードを示すインデックス情報を符号化する段階を含むことを特徴とする付記７に記載のビデオ符号化方法。
（付記１２） 前記ブロックの現在イントラモード情報を符号化する段階は、
前記ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なる場合、前記ブロックのイントラ予測モードと前記候補イントラ予測モードとの関係を示す前記ブロックの現在イントラモード情報を定める段階と、
前記ブロックの現在イントラモード情報を符号化する段階と、を含むことを特徴とする付記７に記載のビデオ符号化方法。
（付記１３） イントラ予測を通じるビデオ復号化装置において、
受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に前記ブロックのＭＰＭフラッグをパージングし、前記ＭＰＭフラッグに基づいて前記ブロックのイントラ予測モードを定めるために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定めるパージング部と、
前記ＭＰＭフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて、前記所定数の複数の候補イントラ予測モードを定め、前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測し、前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行うイントラ予測部と、を備えることを特徴とするビデオ復号化装置。
（付記１４） ビデオ符号化装置において、
ビデオの符号化のためにブロックに対してイントラ予測を行うイントラ予測部と、
前記ブロックのイントラ予測を通じて生成されたシンボルを符号化するシンボル符号化部と、を備え、
前記シンボル符号化部は、前記ブロックのためのイントラ予測を通じて定められた前記ブロックのイントラ予測モードと、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとを比較し、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すＭＰＭフラッグを符号化し、
前記シンボル符号化部は、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じモードがあれば、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても所定数の複数の候補イントラ予測モードを定め、前記複数の候補イントラ予測モードに基づいて定められた前記ブロックの現在イントラモード情報を符号化することを特徴とするビデオ符号化装置。
（付記１５） 付記１及び７のうちいずれか一項に記載の方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Claims (3)

1. 左側ブロックのイントラ予測モードと上側ブロックのイントラ予測モードとに基づいて候補イントラ予測モードを決定する段階と、
   ビットストリームから前記候補イントラ予測モードのうち一つを指すモードインデックスを獲得する段階と、
   前記モードインデックスを用いて、現在ブロックのイントラ予測モードを決定する段階と、
   前記現在ブロックのイントラ予測モードを用いて、前記現在ブロックに対してイントラ予測を行う段階と、を含み、
   前記左側ブロックのイントラ予測モードと前記上側ブロックのイントラ予測モードが同一であり、前記左側ブロックのイントラ予測モードがＤＣモードである時、前記候補イントラ予測モードはプラナーモードを含むように決定されることを特徴とするビデオ復号化方法。
2. 前記左側ブロックのイントラ予測モードと前記上側ブロックのイントラ予測モードが同一であり、前記左側ブロックのイントラ予測モードが方向性モードである時、前記候補イントラ予測モードは、前記左側ブロックのイントラ予測モードのインデックスよりも１ほど小さいインデックスに対応するイントラ予測モード、または前記左側ブロックのイントラ予測モードのインデックスよりも１ほど大きいインデックスに対応するイントラ予測モードを含むように決定されることを特徴とする請求項１に記載のビデオ復号化方法。
3. 左側ブロックのイントラ予測モードと上側ブロックのイントラ予測モードとに基づいて候補イントラ予測モードを決定する候補イントラ予測モード決定部と、
   ビットストリームから前記候補イントラ予測モードのうち一つを示すモードインデックスを獲得し、
   前記モードインデックスを用いて、現在ブロックのイントラ予測モードを決定するイントラ予測モード決定部と、
   前記現在ブロックのイントラ予測モードを用いて、前記現在ブロックに対してイントラ予測を行うイントラ予測遂行部と、を含み、
   前記候補イントラ予測モード決定部は、前記左側ブロックのイントラ予測モードと前記上側ブロックのイントラ予測モードが同一であり、前記左側ブロックのイントラ予測モードがＤＣモードである時、前記候補イントラ予測モードがプラナーモードを含むように決定することを特徴とするビデオ復号化装置

Images