JP5890520B2 - 画像の輝度成分を用いて画像の色差成分を予測する方法及び予測装置 - Google Patents

Description

本発明は、映像のイントラ予測に係り、より詳細には、輝度信号と色差信号との相関関係を用いて、以前に復元された輝度信号から色差信号を予測する予測方法及び装置に関する。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ｃｏｄｉｎｇ）のような映像符号化方法では、映像を符号化するために所定サイズのブロックに分ける。次いで、インター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）またはイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）を用いてそれぞれのブロックを予測符号化する。

原本ブロックから、インター予測またはイントラ予測結果で生成された予測ブロックを引いて残差ブロックを生成し、生成された残差ブロックを離散コサイン変換、量子化及びエントロピー符号化してビットストリームを生成する。

また、従来技術によれば、１つのピクセルを輝度（ｌｕｍｉｎａｎｃｅ）成分及び色差（ｃｈｒｏｍａ）成分で表現し、輝度成分及び色差成分をそれぞれ符号化及び復号化する。

本発明が解決しようとする技術的課題は、輝度ブロックと色差ブロックとのカラーフォーマットによるサイズ差を考慮して、輝度ブロックをダウンサンプリングし、ダウンサンプリングされた輝度ブロックを用いて対応する色差ブロックを予測する方法及び装置を提供することである。

本発明の実施形態は、輝度信号をダウンサンプリングし、ダウンサンプリングされた輝度信号を用いて色差信号との相関関係を獲得し、以前に符号化されて復元された輝度信号から色差信号を予測する。

本発明の実施形態によれば、輝度信号と色差信号との相関関係を用いて予測効率を向上させる。

また、本発明によれば、除算演算なしに輝度信号と色差信号との線形関係を定義するためのパラメータを獲得することで、予測にかかる演算量を低減させる一方、演算速度を向上させる。

また、本発明によれば、データの正確度を維持しつつパラメータ獲得過程で発生するビットオーバフローを防止できる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図面である。 本発明の一実施形態による深度別符号化情報を示す図面である。 本発明の一実施形態による深度別符号化単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位、周波数変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位、周波数変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位、周波数変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位、変換単位の関係を示す図面である。 本発明の一実施形態によるイントラ予測装置の構成を示すブロック図である。 カラーフォーマットを示す参照図である。 カラーフォーマットを示す参照図である。 カラーフォーマットを示す参照図である。 カラーフォーマットによる輝度予測単位及び色差予測単位を示す参照図である。 カラーフォーマットによる輝度予測単位及び色差予測単位を示す参照図である。 本発明の実施形態によって、輝度ピクセルの位置によってダウンサンプリングを行う過程を説明するための図面である。 本発明の実施形態によって、輝度ピクセルの位置によってダウンサンプリングを行う過程を説明するための図面である。 本発明の実施形態によって、輝度ピクセルの位置によってダウンサンプリングを行う過程を説明するための図面である。 本発明の一実施形態による輝度信号と色差信号との相関関係を示すパラメータ獲得過程及び色差信号の予測過程を説明するための参照図である。 本発明の一実施形態による輝度信号と色差信号との相関関係を示すパラメータ獲得過程及び色差信号の予測過程を説明するための参照図である。 本発明の一実施形態によって推定値Ａ２’を獲得する過程を例示した図面である。 本発明の一実施形態によるルックアップテーブルの一例を示す参照図である。 本発明の一実施形態による色差成分映像の予測方法を示すフローチャートである。

本発明の一実施形態による輝度成分映像を用いた色差成分映像の予測方法は、カラーフォーマットによって対応する輝度予測単位及び色差予測単位のサイズを考慮して、以前に符号化された後で復元された輝度予測単位内部のピクセル及び前記輝度予測単位の周辺ピクセルをダウンサンプリングする段階と、前記ダウンサンプリングされた輝度予測単位の周辺ピクセル及び予測される色差予測単位の復元された周辺ピクセルに基づいて、前記輝度予測単位と前記色差予測単位との相関関係を示すパラメータを獲得する段階と、前記獲得されたパラメータを用いて前記ダウンサンプリングされた輝度予測単位から、対応する色差予測単位の予測値を獲得する段階と、を含み、前記ダウンサンプリングする段階は、前記輝度予測単位内部のピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第１位置または輝度ピクセルの第１フィルタリング方式を選択する段階と、前記輝度予測単位の上側周辺ピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第２位置または輝度ピクセルの第２フィルタリング方式を選択する段階と、前記輝度予測単位の左側周辺ピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第３位置または輝度ピクセルの第３フィルタリング方式を選択する段階と、を含むことを特徴とする。

本発明の一実施形態による輝度成分映像を用いた色差成分映像の予測装置は、カラーフォーマットによって対応する輝度予測単位及び色差予測単位のサイズを考慮して、以前に符号化された後で復元された輝度予測単位及び前記輝度予測単位の周辺ピクセルをダウンサンプリングするサンプリング部と、前記ダウンサンプリングされた輝度予測単位の周辺ピクセル及び予測される色差予測単位の復元された周辺ピクセルに基づいて、前記輝度予測単位と前記色差予測単位との相関関係を示すパラメータを獲得するパラメータ獲得部と、前記獲得されたパラメータを用いて前記ダウンサンプリングされた輝度予測単位から対応する色差予測単位の予測値を獲得する予測実行部と、を備え、前記サンプリング部は、前記輝度予測単位内部のピクセルに対してダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第１位置または輝度ピクセルの第１フィルタリング方式を選択し、前記輝度予測単位の上側周辺ピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第２位置または輝度ピクセルの第２フィルタリング方式を選択し、前記輝度予測単位の左側周辺ピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第３位置または輝度ピクセルの第３フィルタリング方式を選択することを特徴とする。

以下、添付した図面を参照して本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図である。一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を備える。

最大符号化単位分割部１１０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であり、横及び縦のサイズが８より大きい２の二乗である正方形のデータ単位である。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは減少するので、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。

前述したように符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが予め設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化して、少なくとも１つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部１２０は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化して最も小さな符号化誤差が発生する深度を選択し、符号化深度と定める。定められた符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも１つの符号化深度が定められる。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であっても、それぞれのデータについての符号化誤差を測定して下位深度への分割如何が定められる。よって、１つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって定められる。よって、１つの最大符号化単位について符号化深度が１つ以上設定され、最大符号化単位のデータは、１つ以上の符号化深度の符号化単位によって区切られる。

したがって、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に定められ、他の領域については独立して定められる。同様に、現在領域についての符号化深度は、他の領域についての符号化深度と独立して定められる。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係る指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が０ならば、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０、１、２、３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位について、予測符号化及び周波数変換を含む符号化が行われねばならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び周波数変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択できる。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、すべての段階にわたって同じデータ単位が使われてもよく、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択できる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも１つが分割されたデータ単位を含む。

例えば、サイズ２Ｎ×２Ｎ（但し、Ｎは、正の整数）の符号化単位がこれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位になり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも１つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションについて行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションについてのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われて、符号化誤差の最も小さな予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの周波数変換を行う。

符号化単位の周波数変換のためには、符号化単位より小さいか、または同じサイズのデータ単位に基づいて周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。

以下、周波数変換の基盤になるデータ単位は‘変換単位’と称する。符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区切られる。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割して変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位のサイズが２Ｎ×２Ｎならば、変換深度０、変換単位のサイズがＮ×Ｎならば、変換深度１、変換単位のサイズがＮ／２×Ｎ／２ならば、変換深度２に設定される。すなわち、変換単位についても変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく予測関連情報及び周波数変換関連情報が必要である。よって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位のサイズなどを定める。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤の率−歪曲最適化技法（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）を用いて測定できる。

出力部１３０は、符号化単位決定部１２０で定められた少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報を、ビットストリーム形態に出力する。

符号化された映像データは、映像の残差データの符号化結果である。

深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度に符号化せずに下位深度の符号化単位で符号化するかどうかを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるので、現在深度の分割情報はこれ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いた符号化を試みる必要があるので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が１つ以上存在するので、それぞれの下位深度の符号化単位ごとに繰り返して符号化が行われ、同じ深度の符号化単位ごとに再帰的な符号化が行われる。

１つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも１つの符号化モードに関する情報が定められらねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なる可能性があるので、データについて符号化深度及び符号化モードに関する情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも１つについて、該符号化深度及び符号化モードについての符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれるすべての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティション大きさ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に関する情報、インターモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。また、ピクチャー、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を最大４個含む。

したがって、一実施形態によるビデオ符号化装置１００は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定めて、ツリー構造による符号化単位を構成できる。また、それぞれの最大符号化単位ごとに多様な予測モード、周波数変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。

したがって、映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位で符号化すれば、ピクチャー当たりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなってデータ圧縮効率が低下する傾向がある。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図である。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して前述した通りである。

受信部２０５は、符号化されたビデオについてのビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出して、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャーについてのヘッダから現在ピクチャーの符号化単位の最大サイズに関する情報を抽出する。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位についての符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、映像データ復号化部２３０をして最大符号化単位ごとに映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードに関する情報は、１つ以上の符号化深度情報について設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されてもよい。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別深度別符号化単位ごとに繰り返して符号化を行って最小符号化誤差を発生させると定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元できる。

一実施形態による符号化深度及び符号化モードについての符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられるので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出できる。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含む。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行う。

また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって周波数逆変換を行う。

映像データ復号化部２３０は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度でこれ以上分割されないことを示すならば、現在深度が符号化深度である。よって、映像データ復号化部２３０は、現在最大符号化単位の映像データについて現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察して、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部２３０によって同じ符号化モードで復号化する１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーについての復号化に用いる。すなわち、最大符号化単位ごとに最適符号化単位と定められたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって効率的に映像データを復号化して復元できる。

以下、図３ないし図１３を参照して、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式が詳述される。

図３は、階層的符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ６４×６４の符号化単位から、３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２ｘ１６、１６×３２、１６×１６のパーティションに、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図３に示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけではなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ３３０に比べて解像度の高いビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズ６４の最大符号化単位から、２回分割して深度が２階層深くなって長軸サイズ３２、１６の符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズ１６の符号化単位から、１回分割して深度が一階層深くなって長軸サイズ８の符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズ６４の最大符号化単位から、３回分割して深度が３階層深くなって長軸サイズ３２、１６、８の符号化単位まで含む。深度が深くなるほど詳細情報の表現能が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データの符号化に経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を用いてインター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、周波数変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータとして出力され、周波数逆変換部５４０を経て空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に用いてインターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて復元フレーム５９５に出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれにパーティション及び予測モードを定め、周波数逆変換部５４０は、符号化単位ごとに変換単位のサイズを定めねばならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められてもよく、ユーザの要求に応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４の場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２の深度１の符号化単位６２０、サイズ１６×１６の深度２の符号化単位６３０、サイズ８×８の深度３の符号化単位６４０、サイズ４×４の深度４の符号化単位６５０が存在する。サイズ４×４の深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別で横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位はサイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位かつ最下位深度の符号化単位であり、該予測単位もサイズ４×４のパーティション６５０のみに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を定めるために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同一範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位１つが含むデータについて、深度２の符号化単位は４つ必要である。よって、同じデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を用いてそれぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行って、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプと選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を示す。

一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中に周波数変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４×６４サイズの時、３２×３２サイズの変換単位７２０を用いて周波数変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差の最も少ない変換単位が選択される。

図８は、本発明の一実施形態によって深度別符号化情報を示す。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を符号化して伝送する。

パーティションタイプに関する情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか１つのタイプに分割されて用いられる。この場合、現在符号化単位のパーティションタイプに関する情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち１つを示すように設定される。

予測モードに関する情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報８１０を通じて、パーティションタイプに関する情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち１つで予測符号化が行われるかどうかが設定される。

また、変換単位サイズに関する情報８２０は、現在符号化単位をいかなる変換単位に基づいて周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インタ変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち１つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を抽出して復号化に用いる。

図９は、本発明の一実施形態による深度別符号化単位を示す。

深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを示す。

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２、９１４、９１６、９１８のみ例示されているが、前述したように、パーティションタイプはこれに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに繰り返して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。サイズ２Ｎ＿０×２Ｎ＿０のパーティションについてのみ、スキップモードで予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち１つによる符号化誤差が最も小さければ、これ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割９２０し、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０について繰り返して符号化を行って最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割９５０し、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０について繰り返して符号化を行って最小符号化誤差を検索する。

最大深度がｄの場合、深度別分割情報は、深度ｄ−１まで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割９７０されて深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに繰り返して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、これ以上下位深度への分割過程を経ず、現在最大符号化単位９００についての符号化深度が深度ｄ−１と定められ、パーティションタイプはＮ＿（ｄ−１）×Ｎ＿（ｄ−１）と定められる。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２について分割情報は設定されない。

データ単位９９９は、現在最大符号化単位についての‘最小単位’と称する。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。このような繰り返し的な符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して最も小さな符号化誤差が発生する深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが符号化深度の符号化モードと設定される。

このような形で深度０、１、…、ｄ−１、ｄのすべての深度別最小符号化誤差を比較して誤差の最も小さな深度が選択され、符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみ‘０’に設定され、符号化深度を除いた深度別分割情報は‘１’に設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００についての符号化深度及び予測単位に関する情報を抽出して、符号化単位９１２の復号化に用いる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を用いて分割情報が‘０’の深度を符号化深度と把握し、該深度についての符号化モードに関する情報を用いて復号化に用いる。

図１０ないし図１２はそれぞれ、本発明の一実施形態による符号化単位、予測単位、周波数変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位について一実施形態によるビデオ符号化装置１００が定めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０ならば、符号化単位１０１２、１０５４は、深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は、深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は、深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は、深度が４である。

予測単位１０６０のうち一部のパーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４、１０２２、１０５０、１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。

変換単位１０７０のうち一部１０５２の映像データについては、符号化単位に比べて小さなサイズのデータ単位で周波数変換または周波数逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位についてのイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であっても、それぞれ別途のデータ単位に基づいて行う。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位についての分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下の表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定できる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームからツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるかどうかを示す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるので、符号化深度についてパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち１つで示す。イントラモード及びインターモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、非対称的な割合で分割された非対称的パーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎとを示す。非対称的パーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。すなわち、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ２Ｎ×２Ｎである現在符号化単位についてのパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはＮ×Ｎ、非対称形パーティションタイプならば、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも１つについて割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を１つ以上含む。

したがって、隣接しているデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、この場合、現在符号化単位が周辺データ単位を参照して予測符号化が行われる場合、現在符号化単位に隣接している深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。

さらに他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接している深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接しているデータが検索されることで周辺符号化単位が参照されてもよい。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。

最大符号化単位１３００は、符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。こののうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち１つに設定されている場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定された場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

以下、図４の本発明の一実施形態による符号化装置４００及び図５の復号化装置５００で行われる予測過程について具体的に説明する。本発明の一実施形態による輝度成分予測単位から色差成分予測単位を予測する過程は、図４のイントラ予測部４１０及び図５のイントラ予測部５５０で新たなイントラ予測モードとして行われる。輝度成分予測単位から色差成分予測単位を予測するイントラ予測モードは、Ｉｎｔｒａ＿ＦｒｏｍＬｕｍａモードと称される。

一般的にカラービデオ信号は、カラーを表現するために各ピクセルごとに少なくとも３つの色成分を必要とする。カラー空間は、カラービデオ信号の各サンプルを、赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ）の相対的な割合を示す３つのピクセル値を通じて示すＲＧＢカラー空間、人間の視覚システム（Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ：ＨＶＳ）が輝度にさらに敏感であるということを考慮して、カラービデオ信号で輝度と色差成分とを分離して表現するＹＣｂＣｒカラー空間及びＹＵＶカラー空間などの多様な種類が存在する。一般的なビデオ符号化／復号化方法は、ビデオ信号をこのような複数の色成分に分けて符号化及び復号化を行う。このような複数の色成分を含むビデオ信号で同じピクセルを表現する複数の色成分の間には一定の相関関係が存在する確率が高い。例えば、対応する同一ブロックのピクセルの輝度（Ｙ）成分の値と、色差（Ｃｂ，Ｃｒ）の値とは、互いに類似したパターンを持つ。

したがって、本発明の一実施形態による予測装置は、現在色差予測単位の処理以前に符号化された後で復元された周辺輝度ピクセル及び復元された周辺色差ピクセルを用いて、輝度信号と色差信号との線形的な相関関係を示すパラメータを獲得し、獲得されたパラメータを用いて以前に復元された輝度予測単位から、現在色差予測単位の予測値を生成する。本発明の一実施形態によれば、カラーフォーマットによって輝度予測単位と色差予測単位とのサイズ差を考慮して、輝度予測単位内部のピクセル、上側に隣接しているピクセル及び左側に隣接しているピクセルそれぞれについて互いに異なるダウンサンプリング方式を適用し、色差ピクセルに対応する輝度ピクセルをサンプリングする。また、本発明の一実施形態によれば、輝度信号と色差信号との線形的相関関係を示すパラメータを、ハードウェア的に負担になる除算演算を防止し、シフト、乗算、足し算、引き算演算及びルックアップテーブルアクセスのみを用いて効率的に獲得する方式が提供される。また、本発明の一実施形態によれば、パラメータを獲得する演算過程で必要な値をルックアップテーブル方式で予め保存し、ルックアップテーブルを参照してパラメータを獲得する演算過程を行うことで演算量を低減させる方式が提供される。以下の説明で、輝度成分のピクセルから対応する色差成分のピクセルを予測する過程を中心として説明するが、本発明の思想はこのようなＹＣｂＣｒカラー空間に限定されず、ＲＧＢなどの他のカラー空間にも適用できるということを、当業者ならば、理解できるであろう。

図１４は、本発明の一実施形態によるイントラ予測装置の構成を示すブロック図である。図１４を参照すれば、本発明の一実施形態によるイントラ予測装置１４００は、サンプリング部１４１０、パラメータ獲得部１４２０及び予測実行部１４３０を備える。

サンプリング部１４１０は、輝度予測単位のサイズが対応する色差予測単位のサイズより大きい場合、復元された輝度予測単位のピクセル及び周辺ピクセルをダウンサンプリングして、輝度予測単位のサイズと色差予測単位のサイズとが同じくなるように輝度信号をダウンサンプリングする。具体的な輝度信号のダウンサンプリング過程については、後述する。以下の説明で、輝度成分のピクセルは輝度ピクセルと、色差成分のピクセルは色差ピクセルと記載する。

パラメータ獲得部１４２０は、色差予測単位の復元された周辺ピクセル及び色差予測単位と対応する輝度予測単位の復元された周辺ピクセルに基づいて、色差予測単位と輝度予測単位との相関関係を示すパラメータを獲得する。特に、パラメータ獲得部１４１０は、後述されるルックアップテーブルのサイズ及びパラメータ獲得のための演算過程で発生するオーバフローを防止するために、ビット深度を変更するスケーリング過程を行う。具体的なパラメータ獲得部１４１０の動作は、後述する。

予測実行部１４３０は、獲得されたパラメータを用いて復元された輝度ピクセルから対応する色差ピクセルを予測する。

図１５Ａないし図１５Ｃは、複数の色成分を含む色フォーマットを示す参照図であり、図１６Ａ及び図１６Ｂは、カラーフォーマットによる輝度予測単位及び色差予測ダンウィウル示す参照図である。

図１５Ａないし図１５Ｃの４：２：０色フォーマット、４：２：２色フォーマット及び４：４：４色フォーマットにおいて各数字は、水平方向への相対的なサンプリング割合を示す。例えば、４：４：４色フォーマットでは、４つの輝度（Ｙ）ピクセル１５３０に対して４つのＣｂピクセル及び４つのＣｒピクセルが存在する。図１６Ａを参照すれば、４：４：４色フォーマットでは、Ｙ輝度予測単位のサイズを２Ｎ×２Ｍ（Ｎ、Ｍは、整数）とする時、Ｙ輝度予測単位と対応するＣｂ、Ｃｒ色差予測単位も２Ｎ×２Ｍのサイズを持つ。４：２：２色フォーマットでは、色差成分Ｃｂ、Ｃｒは垂直方向には輝度成分Ｙと同じ解像度を持つが、水平方向には輝度成分の１／２解像度を持つ。すなわち、４：２：２色フォーマットでは、水平方向に４つの輝度ピクセル１５１０ごとに２つのＣｂピクセル及び２つのＣｒピクセルが存在する。また、４：２：０色フォーマットでは、色差成分Ｃｂ、Ｃｒは、輝度成分Ｙに比べて水平及び垂直に１／２解像度を持つ。すなわち、色差成分Ｃｂ、Ｃｒは、輝度成分Ｙのピクセル数に比べて１／４のピクセルを持つようになり、図１６Ｂに示されたように、４：２：０フォーマットで２Ｎ×２Ｍのサイズを持つ輝度予測単位Ｙに比べて、対応する色差予測単位Ｃｂ、Ｃｒは、水平及び垂直方向に１／２ほど小さなＮ×Ｍのサイズを持つ。

したがって、サンプリング部１４１０は、４：２：２色フォーマットまたは４：２：０色フォーマットのように輝度予測単位が色差予測単位に比べて大きい場合、復元された輝度予測単位及び輝度予測単位の周辺ピクセルをダウンサンプリングして、輝度信号と色差信号とを１：１にマッチングさせる。

特に、本発明の一実施形態によるサンプリング部１４１０は、輝度予測単位の内部に位置しているピクセル、輝度予測単位の上側に隣接している周辺ピクセル、前記輝度予測単位の左側に隣接している周辺ピクセルそれぞれについて、独立的なダウンサンプリング方式を適用してダウンサンプリングを行う。ダウンサンプリング方式には、所定サイズの輝度ピクセルグループ、例えば、２×２輝度ピクセルグループから１つのピクセルを選択する方式、所定輝度ピクセルグループ内の輝度ピクセルに対して、フィルタリング方向（水平、垂直）、フィルタタップ数及びフィルタ係数を独立して定め、かつフィルタリングを行って、１つのフィルタリングされた輝度ピクセルを、ダウンサンプリングされたピクセルと選択する方式がある。このように、サンプリング部１４１０は、所定サイズの輝度ピクセルグループから選択された所定方向のラインに位置している複数の隣接している輝度ピクセルの平均値（２タップフィルタ）を用いたダウンサンプリング方式、所定サイズの輝度ピクセルグループから選択された所定方向に位置している複数の隣接している輝度ピクセルの加重平均値（ｎタップフィルタ）を用いたダウンサンプリング方式、所定サイズの輝度ピクセルグループから所定位置の輝度ピクセルを選択するダウンサンプリング方式のような多様な方式のダウンサンプリング方式を適用して、色差ピクセルと１：１にマッチングされるように輝度ピクセルをダウンサンプリングする。一例として、サンプリング部１４１０は、輝度予測単位内部のピクセルに対して、ダウンサンプリングのために所定輝度ピクセルグループから選択される輝度ピクセルの第１位置または輝度ピクセルの第１フィルタリング方式を選択し、輝度予測単位の上側周辺ピクセルに対して、ダウンサンプリングのために所定輝度ピクセルグループから選択される輝度ピクセルの第２位置または輝度ピクセルの第２フィルタリング方式を選択し、輝度予測単位の左側周辺ピクセルに対して、ダウンサンプリングのために所定輝度ピクセルグループから選択される輝度ピクセルの第３位置または輝度ピクセルの第３フィルタリング方式を選択する。ここで、輝度予測単位の内部のピクセルに対して、ダウンサンプリングのために用いられる第１位置及び第１フィルタリング方式、輝度予測単位の上側周辺ピクセルに対して、ダウンサンプリングのために用いられる第２位置及び第２フィルタリング方式、及び輝度予測単位の左側周辺ピクセルに対して、ダウンサンプリングのために用いられる第３位置及び第３フィルタリング方式は、互いに独立して定められたものであり、同一または互いに異なる。そして、サンプリング部１４１０は、輝度予測単位の内部ピクセル、上側周辺ピクセル及び左側周辺ピクセルに対して、独立して定められたフィルタリング方式を適用してダウンサンプリングを行う。

以下、本発明の実施形態によって輝度ピクセルをダウンサンプリングする多様な方式について説明する。

図１６Ａは、本発明の一実施形態によって輝度信号をダウンサンプリングする過程を説明するための参照図である。図１６Ａを参照すれば、サンプリング部１４１０は、４個の輝度ピクセルＰ_ＬＭ（２ｘ，２ｙ）、Ｐ_ＬＭ（２ｘ＋１，２ｙ）、Ｐ_ＬＭ（２ｘ，２ｙ−１）、Ｐ（２ｘ＋１，２ｙ−１）を含む輝度ピクセルグループ１６１０を、１つの輝度ピクセルにダウンサンプリングできる。具体的に、サンプリング部１４１０は、輝度ピクセルグループ１６１０内の左下側に位置している輝度ピクセルＰ_ＬＭ（２ｘ，２ｙ）と、輝度ピクセルＰ_ＬＭ（２ｘ，２ｙ）の左右に隣接している輝度ピクセル輝度ピクセルＰ_ＬＭ（２ｘ−１，２ｙ）及び輝度ピクセルＰ_ＬＭ（２ｘ＋１，２ｙ）の３個の輝度ピクセルを用いた加重平均値を計算して、（ｘ，ｙ）（ｘ，ｙは、整数）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルを獲得する。一例として、（ｘ，ｙ）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルｐ_ｒ’（ｘ，ｙ）は、次の数式；ｐ_ｒ’（ｘ，ｙ）＝（Ｐ_ＬＭ（２ｘ−１，２ｙ）＋２＊Ｐ_ＬＭ（２ｘ，２ｙ）＋Ｐ_ＬＭ（２ｘ＋１，２ｙ）＋２）＞＞２によって獲得される。

類似して、サンプリング部１４１０は、４個の輝度ピクセルＰ_ＬＭ（２ｘ＋２，２ｙ）、Ｐ_ＬＭ（２ｘ＋３，２ｙ）、Ｐ_ＬＭ（２ｘ＋２，２ｙ−１）、Ｐ（２ｘ＋３，２ｙ−１）を含む輝度ピクセルグループ１６２０を、１つの輝度ピクセルにダウンサンプリングできる。具体的に、サンプリング部１４１０は、輝度ピクセルグループ１６２０内の左下側に位置している輝度ピクセルＰ_ＬＭ（２ｘ＋２，２ｙ）と、輝度ピクセルＰ_ＬＭ（２ｘ＋２，２ｙ）の左右に隣接している輝度ピクセル輝度ピクセルＰ_ＬＭ（２ｘ＋１，２ｙ）及び輝度ピクセルＰ_ＬＭ（２ｘ＋３，２ｙ）の３個の輝度ピクセルを用いた加重平均値を計算して、（ｘ，ｙ）（ｘ，ｙは、整数）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルを獲得する。一例として、（ｘ＋１，ｙ）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルｐ_ｒ’（ｘ＋１，ｙ）は次の数式；ｐ_ｒ’（ｘ＋１，ｙ）＝（Ｐ_ＬＭ（２ｘ＋１，２ｙ）＋２＊Ｐ_ＬＭ（２ｘ＋２，２ｙ）＋Ｐ_ＬＭ（２ｘ＋３，２ｙ）＋２）＞＞２によって獲得される。

前記例では、サンプリング部１４１０が、中心輝度ピクセルに２の加重値、中心輝度ピクセルの左右に位置している輝度ピクセルに１の加重値を設定して加重平均値を計算し、ダウンサンプリングを行ったが、このような加重値は変更され、また加重平均値の計算に用いられる中心輝度ピクセルの周辺ピクセルの位置及び数は変更される。

図１６Ｂは、本発明の他の実施形態によって輝度信号をダウンサンプリングする過程を説明するための参照図である。図１６Ｂを参照すれば、サンプリング部１４１０は、４個の輝度ピクセルＰ_ＬＭ（２ｘ，２ｙ）、Ｐ_ＬＭ（２ｘ＋１，２ｙ）、Ｐ_ＬＭ（２ｘ，２ｙ−１）、Ｐ（２ｘ＋１，２ｙ−１）から選択された所定方向のラインに位置している輝度ピクセルの平均値を用いるか、または所定位置の輝度ピクセルを選択することで、（ｘ，ｙ）（ｘ，ｙは、整数）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルｐ_ｒ’（ｘ，ｙ）を獲得する。

具体的に、サンプリング部１４１０は、４個の輝度ピクセルＰ_ＬＭ（２ｘ，２ｙ）、Ｐ_ＬＭ（２ｘ＋１，２ｙ）、Ｐ_ＬＭ（２ｘ，２ｙ−１）、Ｐ（２ｘ＋１，２ｙ−１）のうち所定位置の１つの輝度ピクセルを選択してダウンサンプリングされた輝度ピクセルｐ_ｒ’（ｘ，ｙ）を獲得する。また、サンプリング部１４１０は、水平方向に隣接しているＰ_ＬＭ（２ｘ，２ｙ）及びＰ_ＬＭ（２ｘ＋１，２ｙ）の平均値またはＰ_ＬＭ（２ｘ，２ｙ−１）及びＰ（２ｘ＋１，２ｙ−１）の平均値を、ダウンサンプリングされた輝度ピクセルｐ_ｒ’（ｘ，ｙ）と定める。また、サンプリング部１４１０は、垂直方向に隣接しているＰ_ＬＭ（２ｘ，２ｙ）及びＰ_ＬＭ（２ｘ，２ｙ−１）の平均値またはＰ_ＬＭ（２ｘ＋１，２ｙ）及びＰ（２ｘ＋１，２ｙ−１）の平均値を、ダウンサンプリングされた輝度ピクセルｐ_ｒ’（ｘ，ｙ）と定める。

サンプリング部１４１０は、このように多様なダウンサンプリング方式を輝度ピクセルの位置によって差別的に適用して、輝度ピクセルが色差ピクセルと１：１にマッチングされるようにダウンサンプリングを行う。

図１７Ａないし図１７Ｃは、本発明の実施形態によって、輝度ピクセルの位置によってダウンサンプリングを行う過程を説明するための図面である。

図１７Ａを参照すれば、輝度予測単位１７１０のサイズを２ｎＳ×２ｎＳ（ｎＳは、正の整数）、色差予測単位１７２０のサイズをｎＳ×ｎＳとすれば、サンプリング部１４１０は、輝度予測単位１７１０及びその周辺ピクセルに対するダウンサンプリングを行ってダウンサンプリングされた輝度予測単位及びその周辺ピクセルを、色差予測単位１７２０及びその周辺ピクセルとマッチングさせる。

具体的に、輝度予測単位１７１０の内部に位置している輝度ピクセルをＲｅｃＬ（ｘ，ｙ）（ｘ，ｙ＝０、…、２ｎＳ−１）、前記輝度予測単位１７１０の上側に位置している輝度ピクセルをＲｅｃＬ（ｘ，−１）（ｘ＝０、…、２ｎＳ−１）、前記輝度予測単位１７１０の左側に位置しているピクセルをＲｅｃＬ（−１，ｙ）（ｙ＝０、…、２ｎＳ−１）、（ｘ，ｙ）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルをＲｅｃＬ’（ｘ，ｙ）とする時、サンプリング部１４１０は、輝度予測単位１７１０の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝（ＲｅｃＬ（２ｘ，−２）＋ＲｅｃＬ（２ｘ，−１））＞＞１によって、色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得する。一例として、サンプリング部１４１０は、輝度予測単位１７１０の上側に位置している輝度ピクセルグループ１７１のうち（２ｘ，−２）及び（２ｘ，−１）に位置している輝度ピクセルの平均値を用いて、ダウンサンプリングを行う。

また、サンプリング部１４１０は、輝度予測単位１７１０の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−２，２ｙ）＋ＲｅｃＬ（−２，２ｙ＋１））＞＞１によって、色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得する。

また、サンプリング部１４１０は、輝度予測単位１７１０の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得する。

図１７Ｂを参照すれば、他の実施形態によるサンプリング部１４１０は、輝度予測単位１７３０の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝ＲｅｃＬ（２ｘ，−１）によって、色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得する。一例として、サンプリング部１４１０は、輝度予測単位１７３０の上側に位置している輝度ピクセルグループ１７３１のうち（２ｘ，−１）に位置している輝度ピクセルを選択することで、ダウンサンプリングを行う。

また、サンプリング部１４１０は、輝度予測単位１７３０の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−１，２ｙ）＋ＲｅｃＬ（−１，２ｙ＋１））＞＞１によって、色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得する。一例として、サンプリング部１４１０は、輝度予測単位１７３０の左側に位置している輝度ピクセルグループ１７３２に含まれたＲｅｃＬ（−１，２ｙ）及びＲｅｃＬ（−１，２ｙ＋１）の平均値を用いて、ダウンサンプリングを行う。

また、サンプリング部１４１０は、輝度予測単位１７３０の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得する。

図１７Ｃを参照すれば、また他の実施形態によるサンプリング部１４１０は、輝度予測単位１７４０の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝ＲｅｃＬ（２ｘ，−１）によって、色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得する。一例として、サンプリング部１４１０は、輝度予測単位１７４０の上側に位置している輝度ピクセルグループ１７４１に含まれた（２ｘ，−１）に位置している輝度ピクセルを選択することで、ダウンサンプリングを行う。

また、サンプリング部１４１０は、輝度予測単位１７４２の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−２，２ｙ）＋ＲｅｃＬ（−２，２ｙ＋１））＞＞１によって、色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得する。一例として、サンプリング部１４１０は、輝度予測単位１７４０の左側に位置している輝度ピクセルグループ１７４２に含まれたＲｅｃＬ（−２，２ｙ）及びＲｅｃＬ（−２，２ｙ＋１）の平均値を用いて、ダウンサンプリングを行う。

また、サンプリング部１４１０は、輝度予測単位１７４０の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得する。

さらに他の実施形態によるサンプリング部１４１０は、輝度予測単位の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝（ＲｅｃＬ（２ｘ−１，−１）＋２＊ＲｅｃＬ（２ｘ，−１）＋ＲｅｃＬ（２ｘ＋１，−１）＋２）＞＞２によって、前記色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得する。前述した図１６Ａのように、サンプリング部１４１０は、輝度予測単位の上側に隣接している輝度ピクセルに対して、中心輝度ピクセルに２の加重値、中心輝度ピクセルの左右に位置している輝度ピクセルに１の加重値を設定して加重平均値を計算することで、ダウンサンプリングを行う。

また、サンプリング部１４１０は、輝度予測単位の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−１，２ｙ）＋ＲｅｃＬ（−１，２ｙ＋１））＞＞１によって、色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得し、輝度予測単位の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得する。

このように、本発明の実施形態によるサンプリング部１４１０は、輝度ピクセルの位置によって多様なダウンサンプリング方式を適用して色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルを獲得する。

前述したサンプリング部１４１０は、４：２：２または４：２：０カラーフォーマットの場合にのみダウンサンプリングを行い、４：４：４カラーフォーマットの場合に輝度ピクセルと色差ピクセルとが１：１にマッチングされるので、ダウンサンプリング過程をスキップできる。

４：４：４色フォーマットの場合には、Ｕ及びＶ信号がＹ成分の信号に比べて相対的に非常に狭い帯域を持つため、ダウンサンプリングフィルタの代りに、予測効率を向上させるために低域通過フィルタが、復元された輝度信号にさらに行われる。

以下、ダウンサンプリングを通じて色差信号と１：１にマッチングされた輝度信号を用いて色差信号を予測する過程を説明する。以下で輝度信号は、色差信号と１：１にマッチングされるようにダウンサンプリングされた輝度信号であると仮定する。

図１８Ａ及び図１８Ｂは、本発明の一実施形態による輝度信号と色差信号との相関関係を示すパラメータ獲得過程及び色差信号の予測過程を説明するための参照図である。

対応する輝度ピクセルと色差ピクセルとの間には、所定の相関関係、例えば、線形的な相関関係を持つ。図１８Ａ及び図１８Ｂを参照すれば、以前に復元された輝度予測単位１８２０の（ｘ，ｙ）位置でのピクセルをＲｅｃ＿Ｌ’（ｘ，ｙ）とすれば、予測実行部１４３０は、次の数式（１）のような輝度信号と色差信号との線形関係を用いて、色差予測単位１８１０の（ｘ，ｙ）位置での予測値Ｐｒｅｄ＿ｃ（ｘ，ｙ）を獲得する。

数式（１）でａは、加重値（ｗｅｉｇｈｔ）を示すパラメータ、ｂは、オフセット（ｏｆｆｓｅｔ）を示すパラメータである。ａ及びｂの値は、次の数式（２）及び（５）のように、色差予測単位１８１０の周辺ピクセルＲｅｃ＿ｃ（ｉ）（ｉ＝０、…、２ｎＳ−１）１８１１、１８１２、及び輝度予測単位１８２１の周辺ピクセルＲｅｃ＿Ｌ’（ｉ）１８２１、１８２２を用いた演算過程を通じて獲得される。

数式（２）及び（３）で、Ｉは、色差予測単位１８１０または輝度予測単位１８２０の上側及び左側に隣接している周辺ピクセルの数であり、図１８Ａ及び図１８Ｂに示されたように、色差予測単位１８１０及び輝度予測単位１８２０のサイズがｎＳ×ｎＳの場合、Ｉは２ｎＳである。図１８Ａ及び図１８Ｂでは、周辺ピクセルとして、上側及び左側に位置しているピクセルを用いる場合を示したが、もし右側または下側に位置している周辺ピクセルが現在予測単位以前に処理されて復元された場合ならば、右側または下側に位置している周辺ピクセルも、ａ及びｂの値の獲得に用いられる。また、乗算や除算演算をシフト演算に取り替えるために、周辺ピクセルの数Iは、２の指数乗（ｐｏｗｅｒ ｏｆ ２）であることが望ましい。一般的に、予測単位のサイズを定義するｎＳの値は２の指数乗であるので、Iも、２の指数乗の値を持つ。

一方、数式（２）を用いて、ａの値を高いデータ正確度で計算するためには、浮動小数点演算（ｆｌｏａｔ ｐｏｉｎｔ ｏｐｅｒａｔｉｏｎ）が用いられる。しかし、ａの値が浮動小数点の値を持つとすれば、数式（２）の演算は浮動小数点の除算を含むようになって、演算の複雑度が増加する。よって、本発明の実施形態によるパラメータ獲得部１４２０は、オーバフローを防止する一方、演算を簡略化するために、数式（２）及び（３）を変更した整数演算アルゴリズムによってスケーリングされたパラメータａ’及びｂ’を計算する。

具体的に、数式（２）によるａの値の代りに浮動小数点演算を回避するために、次の数式（４）のように、ａの値をｎ_ａビットほどアップスケイルリング及び四捨五入した整数値ａ’を定義する。

数式（４）によって、浮動小数点数字（ｎｕｍｂｅｒ）であるａの値は、レフト演算（＜＜）を通じてアップスケイルリング及び四捨五入（ｒｏｕｎｄｉｎｇ）されて、整数値ａ’に変更される。ｎ_ａビットは、データ正確度及び計算の複雑度を考慮して設定される。一例として、ｎ_ａ値は１３である。また、数式（３）による浮動小数点ｂの値も、数式（４）のａ’の値を用いて変更され、四捨五入された整数値ｂ’に表現される。このような整数値ａ’及びｂ’を用いる場合、数式（１）は、次の数式（５）のように変更される。

一方、数式（４）に基づいてａ’を計算するためには、Ａ１／Ａ２の計算が必要である。Ａ１及びＡ２の代りに、Ａ１及びＡ２の所定数の上位ビットを除いた残りのビットを０に変更することで生成された推定値（ａｐｐｒｏｘｉｍａｔｅ ｖａｌｕｅ）Ａ１’及びＡ２’が用いられる。具体的に、Ａ１の上位ｎ_Ａ１個のビットを除いた残りのビットを０に変更して生成された推定値Ａ１’、及びＡ２の上位ｎ_Ａ２個のビットを除いた残りのビットを０に変更して生成された推定値Ａ２’は、それぞれ次の数式（６）及び（７）の通りである。

数式（６）で［.］演算は、フロア（ｆｌｏｏｒ）演算、すなわち、［］内の値より小さな最大定所値を選択する演算を示し、ｒ_Ａ１＝ｍａｘ（ｂｄｅｐｔｈ（Ａ１）−ｎ_Ａ１、０）．ｒ_Ａ２＝ｍａｘ（ｂｄｅｐｔｈ（Ａ２）−ｎ_Ａ２，０）である。ｂｄｅｐｔｈ（Ａ１）及びｂｄｅｐｔｈ（Ａ２）は、それぞれＡ１及びＡ２のビット深度を示す。またｎ_Ａ１は、オーバフローを防止し、乗算時に発生するビット数を考慮して設定され、一例として、ｎ_Ａ１は、１５である。また、ｎ_Ａ２は、後述されるルックアップテーブルのサイズに関し、一例として、６４個の変数に基づいたルックアップテーブルの場合、ｎ_Ａ２は、６である。

図１９は、本発明の一実施形態によって推定値Ａ２’を獲得する過程を例示したものである。

図示されたように、Ａ２のビット深度（ｂｉｔ ｄｅｐｔｈ）を２７、全体ビット深度を３２と仮定する。ｎ_Ａ２＝６とすれば、ｒ_Ａ２＝ｍａｘ（２７−６，０）＝２１であり、［Ａ２＞＞２１］の演算を通じてＡ２の上位６個のビットである‘１０１０１１’ １９１０が抽出される。［Ａ２＞＞２１］の値に再び２^ｒＡ２、すなわち、２^２１を掛ければ、上位６個のビットを除いた残りの２１個のビットは０の値を持つようになって、推定値Ａ２’が獲得される。

前述した数式（６）及び（７）を数式（４）に適用すれば、次の数式（８）の通りである。

数式（８）で、ｎ_{ｔａｂｌｅ}は、データ正確度及び演算複雑度を考慮して定められ、一例として、ｎ_{ｔａｂｌｅ}は、１５の値に設定される。

数式（８）で、

値は、除算演算を含む。除算演算を防止するために、除算演算の代りに

の結果値を所定のルックアップテーブル形態に保存し、ルックアップテーブルを参照することで数式（８）によってａ’値を獲得する。このようにルックアップテーブルを用いる場合、数式（８）に基づいたａ’の計算時に除算演算を行わず、乗算及びシフト演算のみでａ’の値を獲得する。

図２０は、本発明の一実施形態によるルックアップテーブルの一例を示す参照図である。

ｎ_Ａ２＝６と仮定すれば、

が持つことができる場合の数は、Ａ２の上位６個ビットが持つことができる場合の数と同一である。すなわち、２＾（ｎ_Ａ２）＝２＾６で総６４個のエレメントを持つルックアップテーブルを用いて

が定められる。よって、パラメータ獲得部１４２０は、図２０に示されたようなＡ２の上位６個のビットが持つことができる６４個の変数に対応する

値を保存したルックアップテーブルを用いて、

値を獲得する。

が獲得されれば、数式（８）に基づいてパラメータ獲得部１４２０は、乗算及びシフト演算のみを用いてａ’の値を計算できる。

また、パラメータ獲得部１４２０は、獲得されたａ’を用いて次の数式（９）のようにｂ’の値を計算できる。

数式（９）に基づいたｂ’の計算は、Iが２の指数乗（ｐｏｗｅｒ ｏｆ ２）である場合に除算演算なしに行われる。もし、周辺ピクセルとして、図１８Ａ及び図１８Ｂに示された周辺ピクセル以外に左上側や右上側の周辺ピクセルを用いて、Iの値が２の指数乗ではない場合には、（１／I）の値をルックアップテーブル形態に保存し、数式（９）の分子にルックアップテーブルによる（１／I）の値を掛けることで、ｂ’の値が獲得される。

数式（８）に基づいたａ’の値は、数式（５）による除算演算を所定ビット内で行わせるためにクリッピングされる。例えば、数式（５）による除算演算を１６ビットで行う場合、ａ’の値は［−２^−１５、２^１５−１］の範囲内でクリッピングされる。ｎ_ａが１３の場合、実際ａの値は［−４、４］の範囲内に制限され、エラーの増幅が防止される。

一方、パラメータ獲得部１４２０は、数式（８）に基づいてａ’を計算する時に四捨五入エラー（ｒｏｕｎｄｉｎｇ ｅｒｒｏｒ）を低減させるために、ｎ_ａの値は整数の代りに、Ａ１及びＡ２の値によって適応的に定められる。一例として、ｎ_ａの値は、次の数式（１０）のように定められる。

数式（１０）を数式（８）に代入すれば、次の数式（１１）を得られる。

ａ’の値を所定ビットに維持するためには、ａ’のビット深度を調整せねばならない場合がある。例えば、ａ’のビット深度を（ａ＿ｂｉｔｓ）ビットに維持するために、ａ’のビット深度を調整するための変数ｂｉｔＡｄｊｕｓｔを、次の数式；ｂｉｔＡｄｊｕｓｔ＝ｍａｘ（０，ｂｄｅｐｔｈ（ａｂｓ（ａ’））−（ａ＿ｂｉｔｓ−１））の通りであるとすれば、パラメータ獲得部１４２０は、ａ’＝ａ’＞＞ｂｉｔＡｄｊｕｓｔを通じてａ’のビット深度を低減させる。ａ’の値が８ビットより小さく表現されるように維持するために、ａ＿ｂｉｔｓの典型的な値は７または８である。数式（１１）のｎ_ａ値の代りに、次の数式（１２）のようなｎ_ａ値を数式（５）に適用して、ａ’の値を所定ビット内に維持しつつａ’の四捨五入誤差を低減させる。

このように、本発明の一実施形態によるパラメータ獲得部１４２０は、数式（８）または（９）によって、輝度信号と色差信号との相関関係を定義するためのパラメータａ’及びｂ’の値を獲得する。ａ’及びｂ’の値が獲得されれば、予測実行部１４３０は、数式（５）に基づいて復元された輝度ピクセルから対応する色差ピクセルの予測値を生成する。

一方、前述した数式（２）は、次の数式（１３）のように表現され得る。

数式（１３）で、ＣＬ、Ｃ、Ｌ、ＬＬは、それぞれ次の数式（１４）の通りである。

数式（１３）によるａの計算時にオーバフローを防止するために、パラメータ獲得部１４２０は、ＣＬ、Ｃ、Ｌ、ＬＬの値のビット数を低減させるデスケーリングを行う。

一例として、Ｒｅｃ＿Ｌ’（ｉ）及びＲｅｃ＿ｃ（ｉ）のようなサンプルのビット数をｎ_ｓと定義すれば、Ａ１及びＡ２の最大ビットｂｉｔｓ_ｍａｘは、次の数式（１５）の通りである。

最大ビットｂｉｔｓ_ｍａｘを所定のＡ（Ａは、整数）ビットに維持するためには、Ａビットを超過するビット数ほどビット深度を低減させねばならない。例えば、Ａ＝３２とすれば、ビット調節パラメータ（ｂｉｔＡｄｊｕｓｔ_Ａ）は、次の数式（１６）のように定義される。

数式（１６）を適用して、パラメータ獲得部１４２０は、Ａ１及びＡ２の値を次の数式（１７）のようにスケーリングする。

もし、Iが２の指数乗（ｐｏｗｅｒ ｏｆ ２）の値を持つら、次の数式（１８）のようなビット調節パラメータｂｉｔＡｄｊｕｓｔ２_Ａが新たに定義される。

数式（１８）のビット調節パラメータｂｉｔＡｄｊｕｓｔ２_Ａを用いて、パラメータ獲得部１４２０は、Ａ１及びＡ２を計算する以前にＣＬ、Ｃ、ＬＬ、Ｌ、Ｉを次の数式（１９）のようにデスケーリングできる。

このように、本発明の他の実施形態によるパラメータ獲得部１４２０は、Ａ１及びＡ２が持つことができる値の範囲を考慮して、オーバフローが発生しないように、Ａ１及びＡ２の計算に用いられるＣＬ、Ｃ、ＬＬ、Ｌ、Ｉの値を数式（１９）のようにデスケーリングして、ビット深度を低減させる。

一方、本発明のさらに他の実施形態によるパラメータ獲得部１４２０は、色差予測単位１８１０及び輝度予測単位１８２０のサイズを定義するｎＳ値及びＲｅｃ＿Ｃ（ｉ）のビット深度ＢｉｔＤｅｐｔｈ_Ｃに基づいて、次の数式（２０）に定義されるパラメータｋ３を獲得する。

パラメータ獲得部１４２０は、Ａ１及びＡ２の計算時にオーバフローを防止するために、ＣＬ、Ｃ、ＬＬ、Ｌの値をそれぞれ次の数式（２１）のようにデスケーリングする。

また、パラメータ獲得部１４２０は、ｋ３及びｎＳ値に基づいて次の数式（２２）で定義されるパラメータｋ２を獲得する。

また、パラメータ獲得部１４２０は、前述した数式（２１）によってデスケーリングされたＣＬ、Ｃ、ＬＬ、Ｌの値及び数式（２１）によるｋ２の値を用いて、次の数式（２３）のようにＡ１及びＡ２を獲得する。

パラメータ獲得部１４２０は、Ａ１及びＡ２が所定範囲のビット内で表現されるように、次の数式（２４）のように獲得されたＡ１及びＡ２の値をダウンスケーリングしたＡ１’及びＡ２’の値を生成できる。

このようにＡ１’及びＡ２’の値が獲得されれば、パラメータ獲得部１４２０は、次のアルゴリズムによって輝度信号と色差信号の線形相関関係を示す加重値ａ及びオフセットｂの値を獲得する。

｛
ｋ１＝Ｍａｘ（０、ｌｏｇ_２（ａｂｓ（Ａ２））−５）−Ｍａｘ（０、ｌｏｇ_２（ａｂｓ（Ａ１））−１４）＋２；
ａ＝Ａ２’＜１？０：Ｃｌｉｐ３（−２^１５、２^１５−１、Ａ１’＊ｌｍＤｉｖ＋ （１＜＜（ｋ１−１））＞＞ｋ１；
ａ＝ａ＞＞Ｍａｘ（０、ｌｏｇ_２（ａｂｓ（ａ））−６）；
ｋ＝１３−Ｍａｘ（０、ｌｏｇ_２（ａｂｓ（ａ））−６）；
ｂ＝（Ｌ−（（ａ＊Ｃ）＞＞ｋ１）＋（１＜＜（ｋ２−１）））＞＞ｋ２；
｝
前記アルゴリズムで、すべての整数は、加重値ａの値を７ビットデータで表現するように定められる。ｌｍＤｉｖは、数式（２３）のＡ２’によって定められる所定の値を示す。

前述したアルゴリズムに基づいてａ、ｂの値が定められれば、本発明のさらに他の実施形態による予測実行部１４３０は、次の数式（２５）によって復元された輝度信号Ｒｅｃ＿Ｌ’（ｘ，ｙ）に対応する色差信号の予測値Ｐｒｅｄ＿Ｃ（ｘ，ｙ）を獲得する。

ｋは、１３であることが望ましい。予測実行部１４３０は、色差信号のビット深度を考慮して色差信号が持つことができる値の範囲内にＰｒｅｄ＿Ｃ（ｘ，ｙ）が存在するように、数式（２５）による色差信号の予測値Ｐｒｅｄ＿Ｃ（ｘ，ｙ）を、次の数式（２６）のようにクリッピングできる。

図２１は、本発明の一実施形態による色差成分映像の予測方法を示すフローチャートである。図２１を参照すれば、段階２１１０で、サンプリング部１４１０は、カラーフォーマットによって対応する輝度予測単位及び色差予測単位のサイズを考慮して、以前に符号化された後で復元された輝度予測単位及び前記輝度予測単位の周辺ピクセルをダウンサンプリングする。前述したように、サンプリング部１４１０は、輝度予測単位の内部に位置しているピクセル、輝度予測単位の上側に隣接している周辺ピクセル、前記輝度予測単位の左側に隣接している周辺ピクセルそれぞれについて、所定サイズの輝度ピクセルグループから選択された、所定方向のラインに位置している複数の隣接している輝度ピクセルの平均値を用いたダウンサンプリング方式、所定サイズの輝度ピクセルグループから選択された、所定方向に位置している複数の隣接している輝度ピクセルの加重平均値を用いたダウンサンプリング方式、所定サイズの輝度ピクセルグループから所定位置の輝度ピクセルを選択するダウンサンプリング方式のような多様な方式のダウンサンプリング方式を適用して、色差ピクセルと１：１にマッチングされるように輝度ピクセルをダウンサンプリングする。

段階２１２０で、パラメータ獲得部１４２０は、ダウンサンプリングされた輝度予測単位の周辺ピクセル及び予測される色差予測単位の復元された周辺ピクセルに基づいて、輝度予測単位と色差予測単位との相関関係を示すパラメータを獲得する。前述したように、パラメータ獲得部１４２０は、色差予測単位の復元された周辺ピクセル及び輝度予測単位の復元された周辺ピクセルを用いて、数式（２）及び（３）のように加重値ａ及びオフセットｂを計算する。特に、パラメータ獲得部１４２０は、データ正確度及び演算過程で発生するオーバフローを防止するために、ａ及びｂのビット深度を変更する。また、パラメータ獲得部１４２０は、ａ及びｂの計算過程に用いられる変数をスケーリングするか、または近似値に取り替えることで、除算演算を除いた乗算、引き算及びシフト演算のみを用いてａ及びｂの値を獲得する。

段階２１３０で、予測実行部１４３０は、獲得されたパラメータを用いてダウンサンプリングされた輝度予測単位から、対応する色差予測単位の予測値を獲得する。前述したように、予測実行部１４３０は、数式（１）に基づいて復元された輝度信号から、対応する色差信号を予測する。また、予測実行部１４３０は、数式（７）のように浮動小数点を用いた演算の代りに整数演算を行うために、ａ及びｂの値をアップスケイルリングして予測を行ってもよい。

本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードに保存されて実行される。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は、本発明に含まれていると解釈されねばならない。

Claims (13)

1. 輝度成分映像を用いた色差成分映像の予測方法において、
   カラーフォーマットによって対応する輝度予測単位及び色差予測単位のサイズを考慮して、以前に符号化された後で復元された輝度予測単位内部のピクセル及び前記輝度予測単位の周辺ピクセルをダウンサンプリングする段階と、
   前記ダウンサンプリングされた輝度予測単位の周辺ピクセル及び予測される色差予測単位の復元された周辺ピクセルに基づいて、前記輝度予測単位と前記色差予測単位との相関関係を示すパラメータを獲得する段階と、
   前記獲得されたパラメータを用いて前記ダウンサンプリングされた輝度予測単位から、対応する色差予測単位の予測値を獲得する段階と、を含み、
   前記ダウンサンプリングする段階は、
   前記輝度予測単位内部のピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第１位置または輝度ピクセルの第１フィルタリング方式を選択する段階と、
   前記輝度予測単位の上側周辺ピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第２位置または輝度ピクセルの第２フィルタリング方式を選択する段階と、
   前記輝度予測単位の左側周辺ピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第３位置または輝度ピクセルの第３フィルタリング方式を選択する段階と、を含み、
   前記輝度予測単位の内部のピクセルに対して、ダウンサンプリングのために用いられる第１位置及び第１フィルタリング方式、前記輝度予測単位の上側周辺ピクセルに対して、ダウンサンプリングのために用いられる第２位置及び第２フィルタリング方式、及び前記輝度予測単位の左側周辺ピクセルに対して、ダウンサンプリングのために用いられる第３位置及び第３フィルタリング方式を互いに独立して定めることを特徴とする色差成分映像の予測方法。
2. 前記ダウンサンプリングのために所定輝度ピクセルグループから選択される輝度ピクセルの第１位置、第２位置及び第３位置は、それぞれ２×２輝度ピクセルグループ内の輝度ピクセルから独立して選択された輝度ピクセルの相対的位置を示し、
   前記輝度ピクセルの第１フィルタリング方式、第２フィルタリング方式及び第３フィルタリング方式それぞれは、フィルタリング方向、フィルタタップ数及びフィルタ係数を独立して選択するフィルタリング方式であることを特徴とする請求項１に記載の色差成分映像の予測方法。
3. 前記輝度予測単位のサイズを２ｎＳ×２ｎＳ（ｎＳは、正の整数）、前記輝度予測単位に対応する色差予測単位のサイズをｎＳ×ｎＳ、前記輝度予測単位の内部に位置しているピクセルをＲｅｃＬ（ｘ，ｙ）（ｘ，ｙ＝０、…２ｎＳ−１）、前記輝度予測単位の上側に位置しているピクセルをＲｅｃＬ（ｘ，−１）（ｘ＝０、…、２ｎＳ−１）、前記輝度予測単位の左側に位置しているピクセルをＲｅｃＬ（−１，ｙ）（ｙ＝０、…、２ｎＳ−１）、（ｘ，ｙ）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルをＲｅｃＬ’（ｘ，ｙ）とする時、
   前記輝度予測単位の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝（ＲｅｃＬ（２ｘ−１，−１）＋２＊ＲｅｃＬ（２ｘ，−１）＋ＲｅｃＬ（２ｘ＋１，−１）＋２）＞＞２によって、前記色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得し、
   前記輝度予測単位の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−１，２ｙ）＋ＲｅｃＬ（−１，２ｙ＋１））＞＞１によって、前記色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得し、
   前記輝度予測単位の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、前記色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得することを特徴とする請求項１に記載の色差成分映像の予測方法。
4. 前記輝度予測単位のサイズを２ｎＳ×２ｎＳ（ｎＳは、正の整数）、前記輝度予測単位に対応する色差予測単位のサイズをｎＳ×ｎＳ、前記輝度予測単位の内部に位置しているピクセルをＲｅｃＬ（ｘ，ｙ）（ｘ，ｙ＝０、…２ｎＳ−１）、前記輝度予測単位の上側に位置しているピクセルをＲｅｃＬ（ｘ，−１）（ｘ＝０、…、２ｎＳ−１）、前記輝度予測単位の左側に位置しているピクセルをＲｅｃＬ（−１，ｙ）（ｙ＝０、…、２ｎＳ−１）、（ｘ，ｙ）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルをＲｅｃＬ’（ｘ，ｙ）とする時、
   前記輝度予測単位の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝ＲｅｃＬ（２ｘ，−１）によって、前記色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得し、
   前記輝度予測単位の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−１，２ｙ）＋ＲｅｃＬ（−１，２ｙ＋１））＞＞１によって、前記色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得し、
   前記輝度予測単位の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、前記色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得することを特徴とする請求項１に記載の色差成分映像の予測方法。
5. 前記輝度予測単位のサイズを２ｎＳ×２ｎＳ（ｎＳは、正の整数）、前記輝度予測単位に対応する色差予測単位のサイズをｎＳ×ｎＳ、前記輝度予測単位の内部に位置しているピクセルをＲｅｃＬ（ｘ，ｙ）（ｘ，ｙ＝０、…２ｎＳ−１）、前記輝度予測単位の上側に位置しているピクセルをＲｅｃＬ（ｘ，−１）（ｘ＝０、…、２ｎＳ−１）、前記輝度予測単位の左側に位置しているピクセルをＲｅｃＬ（−１，ｙ）（ｙ＝０、…、２ｎＳ−１）、（ｘ，ｙ）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルをＲｅｃＬ’（ｘ，ｙ）とする時、
   前記輝度予測単位の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝ＲｅｃＬ（２ｘ，−１）によって、前記色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得し、
   前記輝度予測単位の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−２，２ｙ）＋ＲｅｃＬ（−２，２ｙ＋１））＞＞１によって、前記色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得し、
   前記輝度予測単位の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、前記色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得することを特徴とする請求項１に記載の色差成分映像の予測方法。
6. 前記輝度予測単位のサイズを２ｎＳ×２ｎＳ（ｎＳは、正の整数）、前記輝度予測単位に対応する色差予測単位のサイズをｎＳ×ｎＳ、前記輝度予測単位の内部に位置しているピクセルをＲｅｃＬ（ｘ，ｙ）（ｘ，ｙ＝０、…２ｎＳ−１）、前記輝度予測単位の上側に位置しているピクセルをＲｅｃＬ（ｘ，−１）（ｘ＝０、…、２ｎＳ−１）、前記輝度予測単位の左側に位置しているピクセルをＲｅｃＬ（−１，ｙ）（ｙ＝０、…、２ｎＳ−１）、（ｘ，ｙ）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルをＲｅｃＬ’（ｘ，ｙ）とする時、
   前記輝度予測単位の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝（ＲｅｃＬ（２ｘ，−２）＋ＲｅｃＬ（２ｘ，−１））＞＞１によって、前記色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得し、
   前記輝度予測単位の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−２，２ｙ）＋ＲｅｃＬ（−２，２ｙ＋１））＞＞１によって、前記色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得し、
   前記輝度予測単位の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、前記色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得することを特徴とする請求項１に記載の色差成分映像の予測方法。
7. 前記パラメータは、
   前記輝度予測単位の復元されたピクセルと、前記色差予測単位の対応するピクセルとの線形関係を定義する加重値及びオフセット値を含むことを特徴とする請求項１に記載の色差成分映像の予測方法。
8. 前記輝度予測単位のダウンサンプリングされた（ｘ，ｙ）位置の復元されたピクセルをＲｅｃ＿Ｌ’（ｘ，ｙ）、前記色差予測単位の（ｘ，ｙ）位置のピクセルの予測値をＰｒｅｄ＿Ｃ（ｘ，ｙ）、前記加重値をａ、前記オフセット値をｂとする時、
   前記相関関係は、次の数式；Ｐｒｅｄ＿Ｃ（ｘ，ｙ）＝ａ＊Ｒｅｃ＿Ｌ’（ｘ，ｙ）＋ｂのように定義されることを特徴とする請求項７に記載の色差成分映像の予測方法。
9. 前記輝度予測単位の復元されたＩ個の周辺ピクセルをＲｅｃ＿Ｌ’（ｉ）（ｉ＝０からＩ−１までの整数）、前記色差予測単位の復元されたＩ個の周辺ピクセルをＲｅｃ＿Ｃ（ｉ）とする時、
   前記加重値ａは、次の数式；
   

   

   によって定められることを特徴とする請求項８に記載の色差成分映像の予測方法。
10. 前記オフセットｂは、次の数式；
    

    

    によって定められることを特徴とする請求項８に記載の色差成分映像の予測方法。
11. 輝度成分映像を用いた色差成分映像の予測装置において、
    カラーフォーマットによって対応する輝度予測単位及び色差予測単位のサイズを考慮して、以前に符号化された後で復元された輝度予測単位及び前記輝度予測単位の周辺ピクセルをダウンサンプリングするサンプリング部と、
    前記ダウンサンプリングされた輝度予測単位の周辺ピクセル及び予測される色差予測単位の復元された周辺ピクセルに基づいて、前記輝度予測単位と前記色差予測単位との相関関係を示すパラメータを獲得するパラメータ獲得部と、
    前記獲得されたパラメータを用いて前記ダウンサンプリングされた輝度予測単位から対応する色差予測単位の予測値を獲得する予測実行部と、を備え、
    前記サンプリング部は、
    前記輝度予測単位内部のピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第１位置または輝度ピクセルの第１フィルタリング方式を選択し、前記輝度予測単位の上側周辺ピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第２位置または輝度ピクセルの第２フィルタリング方式を選択し、前記輝度予測単位の左側周辺ピクセルに対して、ダウンサンプリングのために、所定輝度ピクセルグループから選択される輝度ピクセルの第３位置または輝度ピクセルの第３フィルタリング方式を選択し、
    前記サンプリング部は、
    前記輝度予測単位の内部のピクセルに対して、ダウンサンプリングのために用いられる第１位置及び第１フィルタリング方式、前記輝度予測単位の上側周辺ピクセルに対して、ダウンサンプリングのために用いられる第２位置及び第２フィルタリング方式、及び前記輝度予測単位の左側周辺ピクセルに対して、ダウンサンプリングのために用いられる第３位置及び第３フィルタリング方式を互いに独立して定めることを特徴とする色差成分映像の予測装置。
12. 前記ダウンサンプリングのために所定輝度ピクセルグループから選択される輝度ピクセルの第１位置、第２位置及び第３位置は、それぞれ２×２輝度ピクセルグループ内の輝度ピクセルから独立して選択された輝度ピクセルの相対的位置を示し、
    前記輝度ピクセルの第１フィルタリング方式、第２フィルタリング方式及び第３フィルタリング方式それぞれは、フィルタリング方向、フィルタタップ数及びフィルタ係数を独立して選択するフィルタリング方式であることを特徴とする請求項１１に記載の色差成分映像の予測装置。
13. 前記輝度予測単位のサイズを２ｎＳ×２ｎＳ（ｎＳは、正の整数）、前記輝度予測単位に対応する色差予測単位のサイズをｎＳ×ｎＳ、前記輝度予測単位の内部に位置しているピクセルをＲｅｃＬ（ｘ，ｙ）（ｘ，ｙ＝０、…２ｎＳ−１）、前記輝度予測単位の上側に位置しているピクセルをＲｅｃＬ（ｘ，−１）（ｘ＝０、…、２ｎＳ−１）、前記輝度予測単位の左側に位置しているピクセルをＲｅｃＬ（−１，ｙ）（ｙ＝０、…、２ｎＳ−１）、（ｘ，ｙ）位置の色差ピクセルに対応する、ダウンサンプリングされた輝度ピクセルをＲｅｃＬ’（ｘ，ｙ）とする時、
    前記サンプリング部は、
    前記輝度予測単位の上側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，−１）＝（ＲｅｃＬ（２ｘ−１，−１）＋２＊ＲｅｃＬ（２ｘ，−１）＋ＲｅｃＬ（２ｘ＋１，−１）＋２）＞＞２によって、前記色差予測単位の上側に隣接しているピクセルＰｃ（ｘ，−１）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，−１）を獲得し、
    前記輝度予測単位の左側に隣接しているピクセルに対しては、次の数式；ＲｅｃＬ’（−１，ｙ）＝（ＲｅｃＬ（−１，２ｙ）＋ＲｅｃＬ（−１，２ｙ＋１））＞＞１によって、前記色差予測単位の左側に隣接しているピクセルＰｃ（−１，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（−１，ｙ）を獲得し、
    前記輝度予測単位の内部のピクセルに対しては、次の数式；ＲｅｃＬ’（ｘ，ｙ）＝（ＲｅｃＬ（２ｘ，２ｙ）＋ＲｅｃＬ（２ｘ，２ｙ＋１））＞＞１によって、前記色差予測単位の内部のピクセルＰｃ（ｘ，ｙ）に対応する、ダウンサンプリングされた輝度ピクセルＲｅｃＬ’（ｘ，ｙ）を獲得することを特徴とする請求項１１に記載の色差成分映像の予測装置。

Images