JP6158996B2 - 映像復号化装置 - Google Patents

Description

本発明は、イントラ予測復号化装置に係り、さらに詳細には、イントラ予測モードを復元し、これにより予測ブロック及び残差ブロックを適応的に復号化して復元ブロックを生成する装置に関する。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ｃｏｄｉｎｇ）などの映像圧縮方式では、映像を符号化するために一つのピクチャーをマクロブロックに分ける。そして、インター予測またはイントラ予測を用いてそれぞれのマクロブロックを符号化する。

このうちイントラ予測は、現在ピクチャーのブロックを符号化するために参照ピクチャーを参照するものではなく、符号化しようとする現在ブロックと空間的に隣接している画素値を用いて符号化を行う。まず、隣接している画素値を用いて原本マクロブロックと比較し、歪曲の少ないイントラ予測モードを選択する。次いで、選択されたイントラ予測モード及び隣接している画素値を用いて符号化しようとする現在ブロックに対する予測値を計算し、予測値と原本現在ブロックの画素値との差を求めた後、これを変換符号化、量子化、エントロピー符号化により符号化する。そして、予測モードも符号化される。

ここで、イントラ予測モードは、輝度成分の４×４イントラ予測モード、８×８イントラ予測モード、１６×１６イントラ予測モード及び色差成分のイントラ予測モードに大別される。

従来の技術による１６×１６イントラ予測モードには、垂直（ｖｅｒｔｉｃａｌ）モード、水平（ｈｏｒｉｚｏｎｔａｌ）モード、ＤＣ（ｄｉｒｅｃｔ ｃｕｒｒｅｎｔ）モード、プレーン（ｐｌａｎｅ）モードの総４種のモードが存在する。

従来の技術による４×４イントラ予測モードには、垂直（ｖｅｒｔｉｃａｌ）モード、水平（ｈｏｒｉｚｏｎｔａｌ）モード、ＤＣ（ｄｉｒｅｃｔ ｃｕｒｒｅｎｔ）モード、対角線左側（ｄｉａｇｏｎａｌ ｄｏｗｎ−ｌｅｆｔ）モード、対角線右側（ｄｉａｇｏｎａｌ ｄｏｗｎ−ｒｉｇｈｔ）モード、垂直右側（ｖｅｒｔｉｃａｌ ｒｉｇｈｔ）モード、垂直左側（ｖｅｒｔｉｃａｌ ｌｅｆｔ）モード、水平上側（ｈｏｒｉｚｏｎｔａｌ−ｕｐ）モード及び水平下側（ｈｏｒｉｚｏｎｔａｌ−ｄｏｗｎ）モードの総９種のモードが存在する。

それぞれのモードにインデックシングされた予測モード番号は、それぞれのモードが用いられる頻度数によって定められた番号である。確率的に０番モードである垂直モードが、対象ブロックに対してイントラ予測を行う時に最も多く使われるモードであり、８番モードである水平上側（ｈｏｒｉｚｏｎｔａｌ−ｕｐ）モードが、最も少なく使われるモードである。

Ｈ．２６４標準案によれば、映像の符号化時に、前記４×４イントラ予測モード及び１６×１６イントラ予測モードの総１３種のモードで現在ブロックを符号化し、そのうち最適のモードによって現在ブロックに対するビットストリームを生成する。

しかし、現在ブロックに含まれた画素に隣接している画素値のうち一部または全部が存在しないか、または符号化されていない場合には、イントラ予測モードのうち一部または全部を適用できないという問題点が生じる。また、参照画素間の段差が発生する場合には、予測ブロックと原本ブロックとの差値が大きくなるという問題が生じる。また、予測ブロックを生成するために使われる参照ピクセルの位置によって生成される予測ブロックと原本ブロックとの差値を低減させるための新たな技法が要求される。

本発明が解決しようとする技術的課題は、原本映像に近い予測ブロックを生成または復元することで、圧縮効率の高い符号化された映像を効果的に復元するためのイントラ予測復号化装置を提供するところにある。

本発明によるイントラ予測復号化装置は、受信されたビートストリームから量子化された残差係数、イントラ予測情報及び予測ユニットのサイズ情報を復元するエントロピー復号化部；前記エントロピー復号化部から受信されたイントラ予測情報及び現在予測ユニットのサイズ情報に基づいて、現在予測ユニットのイントラ予測モードを復元する予測モード復号化部；前記予測モード復号化部から受信されたイントラ予測モードによって、残差信号を復元する残差信号復号化部；現在予測ユニットの利用不可能な参照画素を生成し、予測モード復号化部から受信された現在予測ユニットのイントラ予測モードに基づいて、参照画素を適応的にフィルタリングする参照画素生成部；前記予測モード復号化部から受信されたイントラ予測モードに対応する参照ピクセルを用いて、予測ブロックを生成する予測ブロック生成部；前記予測モード復号化部から受信されたイントラ予測モードによって、前記予測ブロック生成部から生成された予測ブロックを適応的にフィルタリングする予測ブロック後処理部；前記予測モード復号化部から受信されたイントラ予測モードによって、予測ブロック生成部または予測ブロックフィルタリング部から予測ユニット単位で予測ブロックを受信し、前記残差信号復号化部から受信された、復元された残差ブロックを用いて復元映像を生成する映像復元部；を備える。

本発明によるイントラ予測復号化装置は、原本映像に近い予測ブロックを生成するために参照ピクセルを生成し、前記参照ピクセルを適応的にフィルタリングすることで、原本映像に近い予測ブロックを生成する。また、予測ブロックの生成時に、予測ブロックの生成に用いられない画素を用いて予測ブロックを生成または変形することで、原本映像に近い予測ブロックを復元することができ、映像圧縮率を高めることができる。

本発明による動画符号化装置を示すブロック図である。 本発明による本発明によるイントラ予測部の構成を示す図面である。 本発明による方向性イントラ予測モードを示す図面である。 本発明による予測モード符号化部で行われる現在予測ユニットのイントラ予測モード符号化過程を示す図面である。 本発明によるイントラ予測復号化装置を示すブロック図である。

以下、本発明のいろいろな実施形態を例示的な図面により詳細に説明する。本発明は、多様な変更を加えることができ、かついろいろな実施形態を持つことができるところ、本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物ないし代替物を含むと理解されねばならない。各図面の説明において、類似した構成要素には類似した参照符号をつけた。

映像符号化のために、各ピクチャーは複数のスライスで形成され、各スライスは複数のコーディングユニットで形成される。ＨＤ級以上の映像では、映像が比較的平坦になる領域が多いので、多様なサイズのコーディングユニットで符号化を行うことで映像圧縮率を高めることができる。

本発明によるコーディングユニットは、クワッドツリー構造（Ｑｕａｄ Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）であって、深さ情報（Ｄｅｐｔｈ）を用いて階層的に分割される。最も大きいサイズのコーディングユニットを、最大コーディングユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）と称し、最も小さなサイズのコーディングユニットを、最小コーディングユニット（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＳＣＵ）と称する。最大コーディングユニット（ＬＣＵ）及び最小コーディングユニット（ＳＣＵ）に関する情報は、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）に含まれて伝送される。

最大コーディングユニットは、１つ以上のコーディングユニットで構成される。したがって、最大コーディングユニットは、コーディングユニットの分割構造と、コーディングユニットを含むために再帰的コーディングツリー形態を持つ。したがって、最大コーディングユニットが４個の下位コーディングユニットに分割されなければ、前記コーディングツリーは、分割されていないことを示す情報及び１つのコーディングユニットで構成される。しかし、最大コーディングユニットが４個の下位コーディングユニットに分割されれば、前記コーディングツリーは、分割されたことを示す情報及び４個の下位コーディングツリーで構成される。同様に、それぞれの下位コーディングツリーは、最大コーディングユニットのコーディングツリーと同じ構造を持つ。但し、最小コーディングユニット以下には分割されない。

一方、コーディングツリー内のそれぞれのコーディングユニットは、コーディングユニット自体またはサブパーティション単位でイントラ予測（Ｉｎｔｒａ Ｐｅｄｉｃｔｉｏｎ）またはインター予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）が行われる。前記イントラ予測またはインター予測を行う単位を、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）と称する。イントラ予測のための予測ユニットは、２Ｎ×２ＮまたはＮ×Ｎである。インター予測のための予測ユニットは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎである。ここで２Ｎは、コーディングユニットの横及び縦の長さを意味する。

一方、イントラ予測のための予測ユニットが正方形でなくてもよい。例えば、正方形のコーディングユニットは、４個のｈＮ×２Ｎまたは４個の２Ｎ×ｈＮに分割してイントラ予測を行える。この場合、イントラ予測のための参照ピクセルと予測ブロックのピクセルとの間が近くなって圧縮効率を高める。このようなイントラ予測方式を、ＳＤＩＰ（Ｓｈｏｒｔ Ｄｉｓｔａｎｃｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）と呼ぶ。

コーディングユニットは、コーディングユニット内の予測ユニットの予測モード及び予測ユニットのサイズ情報（ｐａｒｔｍｏｄｅ）を含む。符号化効率を高めるために、予測モード情報及び予測ユニットのサイズ情報を結合してジョイントコーディングする。この場合、各コーディングユニットごとにジョイントコーディングされた予測タイプ（ｐｒｅｄ＿ｔｙｐｅ）が含まれる。

コーディングユニットは、コーディングユニット内の各予測ユニットの予測ブロックを生成するために必要な付加情報及び残差信号を含む。付加情報は、コーディングユニット内の予測ユニットごとに定義される。イントラ予測の場合、前記付加情報は、符号化されたイントラ予測情報を含む。インター予測の場合、前記付加情報は、符号化された動き情報を含む。前記動き情報は、動きベクトル及び参照ピクチャーインデックスを含む。

残差信号は、コーディングユニットごとに含まれる。残差信号は、１つの変換ツリー、１つの輝度残差信号運搬部及び２つの色差残差信号運搬部を備える。前記残差信号運搬部は、一つ以上の変換ユニットの符号化された残差情報を含む。最大変換ユニットは、コーディングユニットサイズより小さいか、または同一である。変換ユニットは、最大変換ユニットまたはその下位の変換ユニットサイズを持つ。

前記変換ツリーは、コーディングユニット内に含まれた残差信号に対する変換ユニットの分割構造を示す情報を含む。また、変換ツリーは、各変換ユニット内の残差信号が０であるかどうかを示す情報を含む。

前記残差信号運搬部は、前記変換ツリー内の分割構造を示す情報に対応する変換ユニットの符号化された残差情報を、コーディングユニット単位で運搬する。

一方、前記では、コーディングユニットが均等分割された予測ユニットのみについて説明するが、非均等分割も可能である。すなわち、映像の境界部分の形象によって映像信号を特定方向に非均等に分割してイントラまたはインター予測を行うことが、残差信号の圧縮にさらに効果的である。

最も簡単な適応的なモードは、予測領域の局所的な地形の統計的依存性を抽出するために、コーディングユニットを、直線を用いて２個のブロックに分割することである。すなわち、映像の境界部分を直線でマッチングさせて分割することである。この場合、分割可能な方向を所定数に限定することが望ましい。例えば、ブロックを分割する方法を、水平、垂直、上向き対角線、下向き対角線の４方向に限定する。また、水平、垂直のみに限定してもよい。分割可能な数は、３、５、７などである。分割可能な数は、ブロックのサイズによって異なる。例えば、サイズの大きいコーディングユニットに対して、相対的に分割可能な数を増やすことができる。

インター予測の場合、一つのコーディングユニットをさらに適応的に予測するために２個の予測ユニットに分割した場合、予測ユニットそれぞれに対して動き予測及び動き補償を行わねばならない。一つのコーディングユニットに対して分割された２個の予測ユニットごとの予測ブロックを求めた後、２個の予測ブロックを加えて一つのコーディングユニットサイズの予測ブロックを生成する。この場合、コーディングユニットサイズの予測ブロックの分割境界間の画素値の変化量を低減させるために、前記分割境界に位置する画素をフィルタリングできる。この場合、それぞれの予測ユニットに対応する予測ブロックが重なるように予測ブロックを生成した後、前記重なる境界部分をスムージングして一つの予測ブロックを生成する。

図１は、本発明による動画符号化装置を示すブロック図である。図１を参照すれば、本発明による動画符号化装置１００は、ピクチャー分割部１１０、変換部１２０、量子化部１３０、スキャニング部１３１、エントロピー符号化部１４０、イントラ予測部１５０、インター予測部１６０、逆量子化部１３５、逆変換部１２５、後処理部１７０、ピクチャー保存部１８０、減算部１９０及び加算部１９５を備える。

ピクチャー分割部１１０は、入力されるビデオ信号を分析してピクチャーを、最も大きいコーディングユニットごとに所定サイズのコーディングユニットに分割して予測モードを定め、前記コーディングユニット別に予測ユニットのサイズを定める。そして、ピクチャー分割部１１０は、符号化する予測ユニットを、予測モードによってイントラ予測部１５０またはインター予測部１６０に伝送する。また、ピクチャー分割部１１０は、符号化する予測ユニットを減算部１９０に伝送する。

変換部１２０は、入力された予測ユニットの原本ブロックと、イントラ予測部１５０またはインター予測部１６０で生成された予測ブロックとの残差信号である残差ブロックを変換する。前記残差ブロックは、コーディングユニットで構成することが望ましい。コーディングユニットで構成された残差ブロックは、最適の変換ユニットに分割されて変換される。予測モード（ｉｎｔｒａ ｏｒ ｉｎｔｅｒ）及びイントラ予測モードによって、適応的に変換マトリックスが定められる。変換ユニットは、２個（水平、垂直）の１次元変換マトリックスによって変換される。例えば、インター予測の場合には、既定の１つの変換マトリックスが定められる。一方、イントラ予測の場合、イントラ予測モードが水平である場合には、残差ブロックが垂直方向への方向性を持つ確率が高くなるので、垂直方向にはＤＣＴ基盤の定数マトリックスを適用し、水平方向にはＤＳＴ基盤またはＫＬＴ基盤の定数マトリックスを適用する。イントラ予測モードが垂直である場合には、垂直方向にはＤＳＴ基盤またはＫＬＴ基盤の定数マトリックスを、水平方向にはＤＣＴ基盤の定数マトリックスを適用する。ＤＣモードである場合には、両方向ともＤＣＴ基盤の定数マトリックスを適用する。また、イントラ予測の場合変換ユニットのサイズに依存して変換マトリックスが適応的に定められてもよい。

量子化部１３０は、前記変換マトリックスによって変換された残差ブロックの係数を量子化するための量子化ステップサイズを、コーディングユニット別に定める。量子化ステップサイズは、既定のサイズ以上のコーディングユニットごとに定められる。前記既定のサイズは８×８または１６×１６である。そして、定められた量子化ステップサイズ及び予測モードによって定められる量子化マトリックスを用いて、前記変換ブロックの係数を量子化する。量子化部１３０は、現在コーディングユニットの量子化ステップサイズ予測子として、現在コーディングユニットに隣接しているコーディングユニットの量子化ステップサイズを用いる。量子化部１３０は、現在コーディングユニットの左側コーディングユニット、上側コーディングユニット、左上側コーディングユニットの順序で検索し、少なくとも一つ以上の有効なコーディングユニットの量子化ステップサイズを用いて、現在コーディングユニットの量子化ステップサイズ予測子を定め、差分値をエントロピー符号化部１４０に伝送する。

一方、スライスがコーディングユニットに分離される場合には、現在コーディングユニットの左側コーディングユニット、上側コーディングユニット、左上側コーディングユニットいずれも存在しない可能性がある。一方、最大コーディングユニット内の符号化順序上、以前に存在するコーディングユニットがありうる。よって、現在コーディングユニットに隣接しているコーディングユニット及び前記最大コーディングユニット内では、符号化順序上、直前のコーディングユニットが候補になる。この場合、１）現在コーディングユニットの左側コーディングユニット、２）現在コーディングユニットの上側コーディングユニット、３）現在コーディングユニットの左上側コーディングユニット、４）符号化順序上、直前のコーディングユニット、の順序で優先順位をつける。前記順序は変わってもよく、前記左上側コーディングユニットは省略してもよい。

前記量子化された変換ブロックは、逆量子化部１３５及びスキャニング部１３１に提供される。

スキャニング部１３１は、量子化された変換ブロックの係数をスキャニングして１次元の量子化係数に変換する。係数スキャニング方式は、予測モード及びイントラ予測モードによって定められる。また、係数スキャニング方式は、変換ユニットのサイズによって異なって定められてもよい。スキャニング部１３１は、現在変換ユニットのサイズによって、量子化された係数ブロックを複数のサブセットに分割するかどうかを定める。変換ユニットのサイズが第１基準サイズより大きい場合、前記量子化された係数ブロックを複数のサブセットに分割する。前記第１基準サイズは、４×４または８×８であることが望ましい。

スキャニング部１３１は、量子化された係数ブロックに適用されるスキャンパターンを定める。インター予測モードである場合には、既定の一つのスキャンパターン（例えば、ジグザグスキャン）のみを適用する。イントラ予測である場合には、イントラ予測モードによって既定のスキャンパターンを適用する。前記スキャンパターンは、方向性イントラ予測モードによって変わる。非方向性モードにはジグザグスキャンを適用する。非方向性モードは、ＤＣモードまたは平面モードである。量子化係数のスキャン順序は、逆方向にスキャンする。

前記量子化された係数が複数のサブセットに分割された場合には、それぞれのサブセット内の量子化係数に同じスキャンパターンを適用する。前記複数のサブセットは、一つのメインサブセット及び少なくとも一つ以上の残余サブセットで構成される。メインサブセットは、ＤＣ係数を含む左上側に位置し、前記残余サブセットは、メインサブセット以外の領域をカバーする。

サブセット間のスキャンパターンは、ジグザグスキャンを適用する。スキャンパターンは、メインサブセットから順方向に残余サブセットでスキャンすることが望ましいが、その逆方向も可能である。また、サブセット内の量子化された係数のスキャンパターンと同じくサブセット間のスキャンパターンを設定してもよい。この場合、サブセット間のスキャンパターンがイントラ予測モードによって定められる。一方、符号器は、前記変換ユニット内の０ではない最後の量子化係数の位置を示す情報を復号器に伝送する。各サブセット内の０ではない最後の量子化係数の位置を示す情報も復号器に伝送する。前記情報は、それぞれのサブセット内の０ではない最後の量子化係数の位置を示す情報である。

逆量子化１３５は、前記量子化された量子化係数を逆量子化する。逆変換部１２５は、逆量子化された変換係数を空間領域の残差ブロックに復元する。加算器は、前記逆変換部により復元された残差ブロックと、イントラ予測部１５０またはインター予測部１６０からの予測ブロックとを合わせて復元ブロックを生成する。

後処理部１６０は、復元されたピクチャーに生じるブロッキング効果を除去するためのデブロッキングフィルタリング過程、ピクセル単位で原本映像との差値を補うための適応的オフセット適用過程、及びコーディングユニットで原本映像との差値を補うための適応的ループフィルタリング過程を行う。

デブロッキングフィルタリング過程は、既定のサイズ以上のサイズを持つ予測ユニット及び変換ユニットの境界に適用することが望ましい。前記サイズは、８×８でありうる。前記デブロッキングフィルタリング過程は、フィルタリングする境界（ｂｏｕｎｄａｒｙ）を定める段階、前記境界に適用する境界フィルタリング強度を定める段階、デブロッキングフィルターの適用如何を定める段階、前記デブロッキングフィルターを適用すると定められた場合、前記境界に適用するフィルターを選択する段階を含む。

前記デブロッキングフィルターの適用如何は、ｉ）前記境界フィルタリング強度が０より大きいかどうか、及びｉｉ）前記フィルタリングする境界に隣接している２個のブロック（Ｐブロック、Ｑブロック）境界部分でのピクセル値の変化程度を示す値が、量子化パラメータによって定められる第１基準値より小さいかどうかによって定められる。

前記フィルターは、少なくとも２つ以上であることが望ましい。ブロック境界に位置している２個のピクセル間の差値の絶対値が第２基準値より大きいか、または同じ場合には、相対的に弱いフィルタリングを行うフィルターを選択する。前記第２基準値は、前記量子化パラメータ及び前記境界フィルタリング強度によって定められる。

適応的オフセット適用過程は、デブロッキングフィルターが適用された映像内の画素と原本画素との差値（ｄｉｓｔｏｒｔｉｏｎ）を低減させるためのものである。ピクチャーまたはスライスは、複数のオフセット領域に分割され、各オフセット領域別にオフセットモードが定められる。オフセットモードは、４つのエッジオフセットモード、２つのバンドオフセットモード及びオフセット未適用モードを含む。各オフセットモードによって、各オフセット領域内のピクセルを所定数のクラスに分類し、分類されたクラスに対応するオフセットを加える。エッジオフセットモードの場合には、現在画素と、これに隣接している２個以上の画素の画素値とを比べて現在画素のクラスを定める。

適応的ループフィルタリング過程は、デブロッキングフィルタリング過程または適応的オフセット適用過程を経て復元された映像と原本映像とを比べた値に基づいてフィルタリングを行える。適応的ループフィルターは、４×４サイズのブロックに基づいて一つのラプラシアン活動値（Ｌａｐｌａｃｉａｎ Ａｃｔｉｖｉｔｙ ｖａｌｕｅ）により検出される。前記定められたＡＬＦは、４×４サイズまたは８×８サイズのブロックに含まれた画素全体に適用される。適応的ループフィルターの適用如何は、コーディングユニット別に定められる。各コーディングユニットによって、適用されるループフィルターのサイズ及び係数は変わりうる。コーディングユニット別に前記適応的ループフィルターの適用如何を示す情報、フィルター係数情報、フィルター形態情報などは、各スライスヘッダーに含まれて復号器に伝送される。色差信号の場合には、ピクチャー単位で適応的ループフィルターの適用如何を定める。ループフィルターの形態も、輝度とは異なって長方形になりうる。

ピクチャー保存部１８０は、後処理された映像データを後処理部１６０から入力され、ピクチャー単位で映像を復元して保存する。ピクチャーは、フレーム単位の映像またはフィールド単位の映像である。ピクチャー保存部１８０は、複数のピクチャーを保存できるバッファ（図示せず）を備える。

インター予測部１５０は、前記ピクチャー保存部１８０に保存された少なくとも一つ以上の参照ピクチャーを用いて動き推定を行い、参照ピクチャーを示す参照ピクチャーインデックス及び動きベクトルを定める。そして、定められた参照ピクチャーインデックス及び動きベクトルによって、ピクチャー保存部１５０に保存された複数の参照ピクチャーのうち動き推定に用いられた参照ピクチャーから、符号化しようとする予測ユニットに対応する予測ブロックを抽出して出力する。

イントラ予測部１４０は、現在予測ユニットが含まれるピクチャー内部の再構成された画素値を用いてイントラ予測符号化を行う。イントラ予測部１４０は、予測符号化する現在予測ユニットを入力され、現在ブロックのサイズによって予め設定された数のイントラ予測モードのうち一つを選択してイントラ予測を行う。イントラ予測部は、イントラ予測ブロックを生成するために、参照ピクセルを適応的にフィルタリングする。参照ピクセルが有効でない場合には、有効な参照ピクセルを用いて前記有効でない位置の参照ピクセルを生成する。

エントロピー符号化部１３０は、量子化部１３０によって量子化された量子化係数、イントラ予測部１４０から受信されたイントラ予測情報、インター予測部１５０から受信された動き情報などをエントロピー符号化する。

図２は、本発明による本発明によるイントラ予測部１４０の構成を示す図面である。
図２を参照すれば、イントラ予測部１４０は、予測ユニット受信部１４１、参照画素生成部１４２、予測ブロック生成部１４３、予測ブロック後処理部１４４、予測モード決定部１４５及び予測モード符号化部１４６を備える。

予測ユニット受信部１４１は、ピクチャー分割部１１０から入力される予測ユニットを受信する。予測ユニット受信部１４１は、受信された予測ユニットのサイズ情報を、予測モード決定部１４５及び参照画素生成部１４２に伝送し、予測ユニットを、参照画素生成部１４２及び予測ブロック生成部１４３に伝送する。

参照画素生成部１４２は、受信された現在予測ユニットの参照画素が利用できるかどうかを判断する。イントラ予測に用いられる現在予測ユニットの参照画素は、（ｘ＝−１，ｙ＝−１）位置を持つコーナー参照画素、（ｘ＝０…２Ｌ−１，ｙ＝−１）位置を持つ２Ｌ個の上側参照画素、（ｘ＝０，ｙ＝０…２Ｍ−１）位置を持つ２Ｍ個の左側参照画素で構成される。ここで、Ｌは、現在予測ユニットの横長（ｗｉｄｔｈ）であり、Ｍは、現在予測ユニットの縦長（ｈｅｉｇｈｔ）を示す。

参照画素が利用できないか、または不十分な場合に参照画素を生成する。あらゆる参照画素が利用不可能な場合には、一定値で参照画素を生成する。

前記参照画素のうち一部が利用不可能な場合には、前記利用不可能な画素が利用可能な画素の一方向のみに存在するか、または利用可能な画素同士の間に存在するかどうかを判断する。

前記利用不可能な画素が利用可能な画素の一方向のみに存在する場合には、最も近い利用可能な画素値をコピーして参照ブロックを生成する。例えば、現在予測ユニットがピクチャーまたはスライスの上側境界に位置する場合には、前記コーナー参照画素及び上側参照画素が利用不可能である。したがって、この場合には、最も近い位置である（ｘ＝−１，ｙ＝０）位置の参照画素をコピーしてコーナー参照画素及び上側参照画素を生成する。また、前記最も近い位置の利用可能な参照画素及び少なくとも一つ以上の利用可能な参照画素を用いて参照画素を生成する。例えば、（ｘ＝−１，ｙ＝−１）位置を持つコーナー参照画素と、（ｘ＝０…Ｌ−１，ｙ＝−１）位置の参照画素とが利用可能であり、（ｘ＝Ｌ…２Ｌ−１，ｙ＝−１）位置の参照画素が利用不可能な場合、（ｘ＝Ｌ−１，ｙ＝−１）位置の参照画素と、コーナー参照画素値またはそれ以外の参照画素値の差変化を用いて前記利用不可能な位置の参照画素とを生成する。

前記利用不可能な画素が利用可能な画素同士の間に存在する場合には、利用不可能な画素に隣接している２個の利用可能な画素（ｐ，ｑ）を用いて参照画素を生成する。例えば、（ｘ＝−１，ｙ＝−１）位置を持つコーナー参照画素と、（ｘ＝０…Ｌ−１，ｙ＝−１）位置のＬ個の上側参照画素とが利用不可能な場合には、（ｘ＝−１，ｙ＝０）位置の参照画素（ｐ）及び（ｘ＝Ｌ，ｙ＝−１）位置の参照画素（ｑ）を用いてその間の参照画素を生成する。

生成された参照画素の値は、前記参照画素（ｐ）と参照画素（ｑ）との平均値の四捨五入値である。また、前記生成された参照画素の値は、前記参照画素（ｐ）と前記参照画素（ｑ）との画素値の差変化を用いて生成される。この場合、生成される画素位置による線形補間または前記２個の参照画素の加重平均により参照画素を生成する。

一方、現在予測ユニットの上側に複数の予測ユニットが存在する場合、前記上側２個の予測ユニット境界に位置する両方境界ピクセル間の差値は、それぞれの上側予測ユニット内の隣接ピクセル間の差値よりも大きい可能性が高い。このような場合は、量子化パラメータによって発生するエラーから起因する。前記エラーは、隣接する２個の参照ピクセルを用いて予測ブロックが生成される方向性イントラ予測モードである場合に発生する可能性が高い。

特に、図３の水平または垂直方向を基準として４５゜方向性を持つモード（モード番号３、６、９）が最も大きい影響を受ける。一方、垂直または水平方向のモード（モード番号０、１）は、予測ブロックの画素生成のために１つの画素が用いられるため、影響を少なく受ける。

したがって、４５゜方向性を持つ方向性イントラ予測モード（モード番号３、６、９）については、参照画素にフィルター（スムージングフィルター）を適用し、垂直及び水平方向性イントラ予測モード（モード番号０、１）については、参照画素にフィルターを適用しない。非方向性モードのうちＤＣモードについても、参照画素にフィルターを適用しない。これらモードについては、現在予測ユニットのサイズに関係なく前記適用如何が定められる。

そして、４５゜方向性を持つイントラ予測モード（モード番号３、６、９）と、前記垂直または垂直イントラ予測モード間の方向性を持つ方向性モードとについては、予測ユニットのサイズによって参照ピクセルにフィルター（スムージングフィルター）を適応的に適用する。この場合、４５゜方向性を持つイントラ予測モードに隣接しているイントラ予測モードであるほど、参照ピクセルにフィルター（スムージングフィルター）を適用する確率を高めることが望ましい。すなわち、第１方向性モードが第２方向性モードより、前記４５゜方向性を持つイントラ予測モードにさらに隣接している方向性を持つ場合、第２方向性モードの参照ピクセルにフィルターを適用すれば、第１方向性モードの参照ピクセルにもフィルターを適用する。一方、第１方向性モードの参照ピクセルにフィルターが適用される場合、第２方向性モードの参照ピクセルにはフィルターが適用されても、適用されなくてもよい。

また、大きいサイズの予測ユニット内のピクセル間の差値の変化は、小さなサイズの予測ユニット内のピクセル間の差値の変化より緩やかな可能性が高い。したがって、予測ユニットのサイズが大きくなるほど、さらに多い方向性モードについて参照ピクセルをフィルタリングでき、さらに強いフィルターを適用できる。逆に、予測ユニットのサイズが特定サイズより小くなる場合にはフィルターを適用しなくてもよい。

例えば、４５゜方向性を持つイントラ予測モード（モード番号３、６、９）では、第１サイズより小さいか、または同じサイズの予測ユニットについては第１フィルターを適用し、前記第１サイズより大きいサイズの予測ユニットについては、第１フィルターより強いフィルターである第２フィルターを適用する。前記第１サイズは、方向性予測モードによって変わりうる。

例えば、垂直イントラ予測モードと、モード番号６を持つイントラ予測モード（４５゜方向性モード）との間に位置するモード番号５を持つイントラ予測モードでは、第２サイズより小さいか、または同じサイズの予測ユニットではフィルターを適用せず、第２サイズより大きく、第３サイズより小さいか、または同じサイズの予測ユニットでは第１フィルターを適用し、第３サイズより大きいサイズの予測ユニットでは第２フィルターを使う。前記第２サイズ及び第３サイズは、方向性予測モードによって変わりうる。

前記第１フィルターは、３タップフィルターである［１，２，１］または５タップフィルターである［１，２，４，２，１］である。前記第２フィルターは、前記第１フィルターよりスムージング効果の大きい強いフィルターを使う。

予測ブロック生成部１４３は、イントラ予測モードによって対応する参照ピクセルを用いて予測ブロックを生成する。

方向性イントラ予測モードは、イントラ予測モードによって対応する参照ピクセルが変わる。例えば、イントラ予測モードが垂直モードである場合には、（ｘ＝０…Ｌ−１，ｙ＝−１）位置のＬ個の上側参照画素を用い、水平モードである場合には、（ｘ＝−１，ｙ＝０…Ｌ−１）位置のＬ個の左側参照画素を用いる。

非方向性イントラ予測モードは、コーナー画素、（ｘ＝０…Ｌ−１，ｙ＝−１）位置のＬ個の上側参照画素、（ｘ＝−１，ｙ＝０…Ｌ−１）位置のＬ個の左側参照画素を用いる。非方向性イントラ予測モードは、ＤＣモード及び平面モードである。

平面モードの場合、コーナー参照画素、左側参照画素及び上側参照画素を用いて予測ブロックの参照画素を生成する。生成しようとする参照画素の位置が（ａ，ｂ）である場合、生成される参照画素Ｘ（ａ，ｂ）は、コーナー参照画素Ｃ（ｘ＝−１，ｙ＝−１）、上側参照画素Ｔ（ｘ＝ａ，ｙ＝−１）及び左側参照画素Ｌ（ｘ＝−１，ｙ＝ｂ）を用いる。具体的に、Ｘ（ａ，ｂ）＝Ｌ（ｘ＝−１，ｙ＝ｂ）＋Ｔ（ｘ＝ａ，ｙ＝−１）−Ｃ（ｘ＝−１，ｙ＝−１）である。

図３の垂直モード（モード番号０）の右側のイントラ予測モードは、上側参照画素のみを用いて予測ブロックを生成すれば、生成された予測ブロックの左下側領域のピクセルと原本予測ユニットのピクセルとの差値が大きくなる確率が高くなる。しかし、前記モードのうち少なくとも一部モードについては、上側参照画素及び左側参照画素を用いて予測ブロックを生成すれば、前記差値を低減させる。このような効果は、モード番号６を持つイントラ予測モードで最も大きい。同様に、図３の水平モード（モード番号１）の下側のイントラ予測モードについても同じく、モード番号９を持つイントラ予測モードで最も大きい。

したがって、前記モード６またはモード９では、予測ピクセルを生成するために対応（例えば、予測ピクセルの４５゜角度に位置）する一つの上側補間参照画素及び一つの左側補間参照画素を用いる。予測ピクセルは、前記一つの上側補間参照画素と一つの左側補間参照画素との線形補間方法で生成するか、または四捨五入した平均値を用いる。同様に、モード６またはモード９に隣接している所定数のイントラ予測モードでは、前記左側参照画素及び上側参照画素を用いて予測ブロックを生成する。すなわち、イントラ予測モードが、６または６に隣接している既定数（例えば、４個）範囲内の予測モードである場合には、前記左側参照画素及び上側参照画素を用いて予測ブロックを生成する。この場合、複雑度を低減させるために、既定のモード番号（例えば、９または１７）より大きいモード番号を持つイントラ予測モードでは前記方式を適用しなくてもよい。また、現在予測ユニットのサイズが既定のサイズ（例えば、８×８または１６×１６）以上の予測ユニットのみに適用してもよい。

予測ブロック後処理部１４４は、予測ブロック生成部１４３によって生成された予測ブロックを適応的にフィルタリングする。参照画素と、参照画素に隣接している予測ブロック内の画素との画素値の差を低減させるために、参照画素に隣接している予測ブロック内の画素の一部または全部をイントラ予測モードによって適応的にフィルタリングする。

平面モードの場合には、参照画素に隣接している予測ブロック内の画素は前記参照画素を用いて生成されるので、フィルターを適用しない。

一方、ＤＣモードの場合には、参照画素の平均値を用いるので、フィルターを適用する。ＤＣモードの場合には、予測ユニットのサイズ（予測ブロックのサイズ）によって互いに異なる種類のフィルターを使う。サイズの大きい予測ユニットに使われるフィルターは、サイズの小さな予測ユニットに使われるフィルターと同一であるか、またはスムージング効果の大きな強いフィルターを使う。

一方、図３の垂直モード（モード番号０）右側のイントラ予測モードでは、対応する予測ブロックが上側参照画素のみを用いて生成されれば、生成された予測ブロックのピクセルと原本予測ユニットの対応ピクセルとの差値は、左下側領域へ行くほど大きくなる確率が高くなる。特に、モード番号６を持つイントラ予測モードで前記差値がさらに大きくなる。

同様に、図３の水平モード（モード番号１）下側のイントラ予測モードでは、予測ブロックが左側参照画素のみを用いて生成されれば、生成された予測ブロックのピクセルと原本予測ユニットの対応ピクセルとの差値が、右上側領域へ行くほど大きくなる確率が高くなる。モード番号９を持つイントラ予測モードで前記差値がさらに大きくなる。

垂直モード（モード番号０）では、予測ブロックのピクセルと原本予測ユニットの対応ピクセルとの差値が下側へ行くほど大きくなり、水平モード（モード番号１）では、予測ブロックのピクセルと原本予測ユニットの対応ピクセルとの差値が、右側に行くほど大きくなる。

したがって、前記差値を低減させるために、方向性イントラ予測モードによって予測ブロック内の一部画素を適応的にフィルタリングできる。この場合、予測ブロックの生成に用いられない予測ユニットの参照画素を用いて、予測ブロックの前記一部画素をフィルタリングする。

方向性イントラ予測モードによってフィルタリングする領域が異なって設定されてもよい。モード６または９に隣接している方向性イントラ予測モードであるほど、フィルタリングする領域が同一または広くなる。

例えば、モード６番に予測ユニットのサイズが２Ｎ×２Ｎである場合、垂直モード（モード番号０）右側のイントラ予測モードのうちモード番号６に隣接している所定数（１〜３）のイントラ予測モードについてのみフィルターを適用してもよい。この場合、複雑度を低減させるために既定のモード番号（例えば、９または１７）より大きいモード番号を持つイントラ予測モードではフィルターを適用しなくてもよい。また、予測ユニットのサイズによって予測ブロックの一部画素を適応的にフィルタリングできる。予測ユニットのサイズが大きくなるほど、フィルタリングされる画素の割合を維持または高める。

例えば、モード番号６を持つイントラ予測モードのみを考慮する。この場合、４×４の予測ユニットの場合、予測ブロックはフィルタリングしなくてもよい。８×８、１６×１６の予測ユニットの場合、予測ブロック内の左側境界画素、すなわち、（ｘ＝０，ｙ＝０…７）位置の８個の画素のうち下側４個の画素のみをフィルタリングする。３２×３２以上の予測ユニットでは、前記８個の境界画素をいずれもフィルタリングする。

また、前記予測ユニットのサイズによって予測ブロックの画素に適用するフィルター強度を異ならせる。予測ユニットのサイズが大きくなるほどフィルター強度を維持または増加させる。

予測モード決定部１４５は、参照画素を用いて現在予測ユニットのイントラ予測モードを定める。予測モード決定部１４５は、各イントラ予測モード別予測ブロックまたは後処理された予測ブロックを用いて、生成された残差ブロックの予想符号化量が最小になるイントラ予測モードを、現在予測ユニットのイントラ予測モードと定める。

予測モード符号化部１４６は、現在予測ユニットに隣接している予測ユニットのイントラ予測モードを用いて、現在予測ユニットのイントラ予測モードを符号化する。

図４は、本発明による予測モード符号化部１４６で行われる現在予測ユニットのイントラ予測モード符号化過程を示す図面である。

先ず、現在予測ユニットのイントラ予測モード候補者を検索する（Ｓ１１０）。イントラ予測モード候補者は、現在予測単位の上側及び左側モードである。または、コーナーイントラ予測モードが追加されてもよく、上側及び左側イントラ予測モードによって新たなモードが追加されてもよい。

現在予測単位の上側予測単位が複数存在する場合には、既定の方向（例えば、右→左）にスキャンしつつ、有効な１番目の予測単位のイントラ予測モードを、上側イントラ予測モードと設定する。現在予測単位の左側予測単位が複数存在する場合にも、既定の方向（例えば、下先にスキャンしつつ、有効な１番目の予測単位のイントラ予測モードを、左側イントラ予測モードと設定する。または、複数の有効な予測単位のモード番号のうち一番小さなモード番号を、上側イントラ予測モードと設定してもよい。

コーナーイントラ予測モードは、現在予測ユニットの右上側または左上側に隣接している予測ユニットの予測モードである。または、現在予測ユニットの左上側、右上側及びウハ側に隣接しているイントラ予測モードのうち既定の順序（例えば、右上側左下側左上側）によってスキャンする場合、有効な一番目のイントラ予測モードでありうる。前記現在予測ユニットのイントラ予測モード候補者として、２個（右上側、左上側）または３個（右上側、左上側、左下側）のコーナーイントラ予測モードが追加されてもよく、存在しなくてもよい。

次いで、前記有効なイントラ予測モード候補者のイントラ予測モードの変更如何を定める（Ｓ１２０）。

前記有効なイントラ予測モード候補者のイントラ予測モードを変更すると定められれば、前記有効なイントラ予測モード候補者のイントラ予測モードを変更する（Ｓ１３０）。

具体的に、前記有効なイントラ予測モード候補者のイントラ予測モード値が、現在予測ユニットで許容されるイントラ予測モードの数より大きいか、または同一であれば、前記有効なイントラ予測モード候補者のイントラ予測モード値を、既定数のイントラ予測モード値のうち一つに変換する。前記既定数は、現在予測ユニットのサイズにドル変わる。例えば、現在予測ユニットのサイズが４×４ならば、９個のモード（０〜８番モード）または１８個のモードのうち一つにマッピングし、現在予測ユニットのサイズが６４×６４ならば、４個のモード（０〜２番モード）のうち一つにマッピングする。

次いで、現在予測ユニットのイントラ予測候補者リストを構築する（Ｓ１４０）。候補者リストは、モード番号順序にする。また、頻度数の高い順序にするが、同一頻度の場合にはモード番号順序にする。複数のイントラ予測候補者が同一モードを持つならば、１つを除いた残りをリストから削除する。

次いで、現在予測ユニットのイントラ予測モードが、前記リストとして構築されたイントラ予測モード候補者のうち一つと同一かどうかを判断する（Ｓ１５０）。

同一であると判断されれば、候補者のうち一つと同一であると示す情報及び候補者インデックスを、符号化情報と定める（Ｓ１６０）。

同一でないと判断されれば、現在予測ユニットのイントラ予測モードを変更するためのモード変更値を求める（Ｓ１７０）。前記モード変更値は、前記イントラ予測候補者リストのイントラ予測モード値を比べて、現在予測ユニットのイントラ予測モード値より大きくないモード値を持つイントラ予測モード候補者の数である。

次いで、前記モード変更値を用いて現在予測ユニットのイントラ予測モードを変更する（Ｓ１８０）。前記変更された現在予測ユニットのイントラ予測モードと定められる。前記変更された現在予測ユニットのイントラ予測モードがエントロピー符号化部１４０に伝送される。

図５は、本発明によるイントラ予測復号化装置２００を示すブロック図である。

本発明によるイントラ予測復号化装置２００は、エントロピー復号化部２１０、残差信号復号化部２２０、予測モード復号化部２３０、参照画素生成部２４０、予測ブロック生成部２５０、予測ブロック後處理部２６０、映像復元部２７０を備える。

エントロピー復号化部２１０は、受信されたビットストリームから量子化された残差係数を抽出し、変換ユニット単位の前記量子化された残差係数及び変換ユニットのサイズ情報を残差信号復号化部２２０に伝送する。また、エントロピー復号化部２１０は、受信されたビートストリームから、イントラ予測情報及び復号化する予測ユニットのサイズ情報を予測モード復号化部２３０に伝送する。

残差信号復号化部２２０は、前記受信された量子化された残差係数の信号を２次元配列の逆量子化ブロックに変換する。前記変換のために、複数のスキャニングパターンのうち一つを選択する。また、変換ブロックの前記スキャニングパターンは、予測モードとイントラ予測モードのうち少なくとも一つに基づいて定められる。逆スキャニング動作は、図１のスキャニング部１３１の動作の逆過程と同じである。すなわち、復号化しようとする現在変換ユニットのサイズが第１基準サイズより大きければ、前記逆スキャニングパターンに基づいて複数のサブセット別に逆スキャニングし、前記逆スキャニングされた複数のサブセットを用いて、変換ユニットのサイズを持つ逆量子化ブロックを生成する。一方、復号化しようとする現在変換ユニットのサイズが第１基準サイズより大きくなければ、前記逆スキャニングパターンに基づいて逆スキャニングして、変換ユニットのサイズを持つ逆量子化ブロックを生成する。

予測モード復号化部２３０は、エントロピー復号化部２１０から受信されたイントラ予測情報及び現在予測ユニットのサイズ情報に基づいて、現在予測ユニットのイントラ予測モードを復元する。前記受信されたイントラ予測情報は、前記図４の逆過程により復元される。

すなわち、参照画素生成部２４０は、現在予測ユニットの利用不可能な参照画素を復元し、予測モード復号化部２３０から受信された現在予測ユニットのイントラ予測モードに基づいて、適応的に参照画素をフィルタリングする。参照画素の生成方法及び参照画素のフィルタリング方法は、図２のイントラ予測部１４０の参照画素生成部１４２の参照画素生成方法及び参照画素フィルタリング方法と同一である。

すなわち、現在予測ユニットの参照画素が利用できるかどうかを判断する。イントラ予測に用いられる現在予測ユニットの参照画素は、（ｘ＝−１，ｙ＝−１）位置を持つコーナー参照画素、（ｘ＝０…２Ｌ−１，ｙ＝−１）位置を持つ２Ｌ個の上側参照画素、（ｘ＝０，ｙ＝０…２Ｍ−１）位置を持つ２Ｍ個の左側参照画素で構成される。ここでＬは、現在予測ユニットの横長（ｗｉｄｔｈ）であり、Ｍは、現在予測ユニットの縦長（ｈｅｉｇｈｔ）を示す。

イントラ予測モードに基づいて、予測ブロックを生成するための参照画素が利用不可能か、または十分ではない場合に参照画素を生成する。

すべての参照画素が利用不可能な場合には、一定値で参照画素を生成する。

前記参照画素のうち一部が利用不可能な場合には、前記利用不可能な画素が利用可能な画素の一方向のみに存在するか、または利用可能な画素同士の間に存在するかどうかを判断する。

前記利用不可能な画素が利用可能な画素の一方向のみに存在する場合には、最も近い利用可能な画素値をコピーして参照ブロックを生成する。例えば、現在予測ユニットがピクチャーまたはスライスの上側境界に位置する場合には、前記コーナー参照画素及び上側参照画素が利用不可能である。したがって、この場合には、最も近い位置である（ｘ＝−１，ｙ＝０）位置の参照画素をコピーして、コーナー参照画素及び上側参照画素を生成する。また、前記最も近い位置の利用可能な参照画素及び少なくとも一つ以上の利用可能な参照画素を用いて参照画素を生成してもよい。例えば、（ｘ＝−１，ｙ＝−１）位置を持つコーナー参照画素及び、（ｘ＝０…Ｌ−１，ｙ＝−１）位置の参照画素が利用でき、（ｘ＝Ｌ…２Ｌ−１，ｙ＝−１）位置の参照画素が利用不可能な場合、（ｘ＝Ｌ−１，ｙ＝−１）位置の参照画素と、コーナー参照画素値またはそれ以外の参照画素値の差変化を用いて前記利用不可能な位置の参照画素とを生成する。

前記利用不可能な画素が利用可能な画素の間に存在する場合には、利用不可能な画素に隣接している２個の利用可能な画素（ｐ，ｑ）を用いて参照画素を生成する。例えば、（ｘ＝−１，ｙ＝−１）位置を持つコーナー参照画素と、（ｘ＝０…Ｌ−１，ｙ＝−１）位置のＬ個の上側参照画素とが利用不可能な場合には、（ｘ＝−１，ｙ＝０）位置の参照画素（ｐ）及び（ｘ＝Ｌ，ｙ＝−１）位置の参照画素（ｑ）を用いて、その間の参照画素を生成する。

生成された参照画素の値は、前記参照画素（ｐ）と参照画素（ｑ）との平均値の四捨五入値である。また、前記生成された参照画素の値は、前記参照画素（ｐ）と前記参照画素（ｑ）との画素値の差変化を用いて生成される。この場合、生成される画素位置による線形補間または前記２個の参照画素の加重平均により参照画素を生成する。

一方、現在予測ユニットの上側に複数の予測ユニットが存在する場合、前記上側２個の予測ユニット境界に位置する両方境界ピクセル間の差値は、それぞれの上側予測ユニット内の隣接ピクセル間の差値より大きい可能性が高い。このような場合は、量子化パラメータによって発生するエラーから起因する。前記エラーは、隣接する２個の参照ピクセルを用いて予測ブロックが生成される方向性イントラ予測モードの場合に発生する可能性が高い。

特に、図３の水平または垂直方向を基準として４５゜方向性を持つモード（モード番号３、６、９）が最も大きい影響を受ける。一方、垂直または水平方向のモード（モード番号０、１）は、予測ブロックの画素生成のために１つの画素が用いられるので少なく影響される。

したがって、４５゜方向性を持つ方向性イントラ予測モード（モード番号３、６、９）については、参照画素にフィルター（スムージングフィルター）を適用し、垂直及び水平方向性イントラ予測モード（モード番号０、１）については、参照画素にフィルターを適用しない。非方向性モードのうちＤＣモードにもフィルターを適用しない。これらモードについては、現在予測ユニットのサイズと関係なく前記の適用如何が定められる。

そして、４５゜方向性を持つイントラ予測モード（モード番号３、６、９）と前記垂直または垂直イントラ予測モードとの間の方向性を持つ方向性モードについては、フィルター（スムージングフィルター）を適応的に適用する。この場合、４５゜方向性を持つイントラ予測モードに隣接しているイントラ予測モードであるほど、フィルター（スムージングフィルター）を適用する確率を高めることが望ましい。すなわち、第１方向性モードが第２方向性モードより、前記４５゜方向性を持つイントラ予測モードにさらに隣接している方向性を持つ場合、第２方向性モードにフィルターを適用すれば、第１方向性モードにもフィルターを適用する。逆に第１方向性モードにフィルターが適用される場合、第２方向性モードにはフィルターが適用されても、適用されなくてもよい。

また、大きいサイズの予測ユニット内のピクセル間の差値の変化は、小さなサイズの予測ユニット内のピクセル間の差値の変化より緩やかな可能性が高い。したがって、予測ユニットのサイズが大きくなるほど、さらに多くの方向性モードについて参照ピクセルをフィルタリングでき、さらに強いフィルターを適用できる。逆に、予測ユニットのサイズが特定サイズより小くなる場合には、フィルターを適用しなくてもよい。

例えば、４５゜方向性を持つイントラ予測モード（モード番号３、６、９）では、第１サイズより小さいか、または同じサイズの予測ユニットについては第１フィルターを適用し、前記第１サイズより大きいサイズの予測ユニットについては第１フィルターより強いフィルターである第２フィルターを適用する。前記第１サイズは、方向性予測モードによって変わりうる。

例えば、垂直イントラ予測モードと、モード番号６を持つイントラ予測モード（４５゜方向性モード）との間に位置するモード番号５を持つイントラ予測モードでは、第２サイズより小さいか、または同じサイズの予測ユニットではフィルターを適用せず、第２サイズより大きく、第３サイズより小さいか、または同じサイズの予測ユニットでは第１フィルターを適用し、第３サイズより大きいサイズの予測ユニットでは第２フィルターを使う。前記第２サイズ及び第３サイズは、方向性予測モードによって変わりうる。

前記第１フィルターは、３タップフィルターである［１，２，１］、または５タップフィルターである［１，２，４，２，１］である。前記第２フィルターは、前記第１フィルターよりスムージング効果の大きい強いフィルターを使う。

予測ブロック生成部２５０は、予測モード復号化部２３０から受信された現在予測ユニットのイントラ予測モードによって予測ブロックを生成する。予測ブロックの生成方法は、図２のイントラ予測部１４０の予測ブロック生成部１４２の予測ブロック生成方法と同一である。

すなわち、方向性イントラ予測モードは、イントラ予測モードによって対応する参照ピクセルが変わる。例えば、イントラ予測モードが垂直モードである場合には、（ｘ＝０…Ｌ−１，ｙ＝−１）位置のＬ個の上側参照画素を用い、水平モードである場合には、（ｘ＝−１，ｙ＝０…Ｌ−１）位置のＬ個の左側参照画素を用いる。

非方向性イントラ予測モードは、コーナー画素、（ｘ＝０…Ｌ−１，ｙ＝−１）位置のＬ個の上側参照画素、（ｘ＝−１，ｙ＝０…Ｌ−１）位置のＬ個の左側参照画素を用いる。非方向性イントラ予測モードは、ＤＣモード及び平面モード（Ｐｌａｎａｒ ｍｏｄｅ）である。

平面モードの場合、コーナー参照画素、左側参照画素及び上側参照画素を用いて予測ブロックの参照画素を生成する。生成しようとする参照画素の位置が（ａ，ｂ）である場合、生成される参照画素Ｘ（ａ，ｂ）は、コーナー参照画素Ｃ（ｘ＝−１，ｙ＝−１）、上側参照画素Ｔ（ｘ＝ａ，ｙ＝−１）及び左側参照画素Ｌ（ｘ＝−１，ｙ＝ｂ）を用いる。具体的に、Ｘ（ａ，ｂ）＝Ｌ（ｘ＝−１，ｙ＝ｂ）＋Ｔ（ｘ＝ａ，ｙ＝−１）−Ｃ（ｘ＝−１，ｙ＝−１）でありうる。

図３の垂直モード（モード番号０）右側のイントラ予測モードは、上側参照画素のみを用いて予測ブロックを生成すれば、生成された予測ブロックの左下側領域のピクセルと原本予測ユニットのピクセルとの差値が大きくなる確率が高くなる。しかし、前記モードのうち少なくとも一部モードについては、上側参照画素及び左側参照画素を用いて予測ブロックを生成すれば、前記差値を低減させる。このような効果は、モード番号６を持つイントラ予測モードで最も大きい。同様に、図３の水平モード（モード番号１）下側のイントラ予測モードについても同じく、モード番号９を持つイントラ予測モードで最も大きい。

したがって、前記モード６またはモード９では、予測ピクセルを生成するために対応（例えば、予測ピクセルの４５゜角度に位置）する一つの上側補間参照画素と、一つの左側補間参照画素とを用いる。予測ピクセルは、前記一つの上側補間参照画素と一つの左側補間参照画素との線形補間方法で生成するか、または四捨五入した平均値を用いる。同様に、モード６またはモード９に隣接している所定数のイントラ予測モードでは、前記左側参照画素及び上側参照画素を用いて予測ブロックを生成する。この場合、複雑度を低減させるために、既定のモード番号（例えば、９または１７）より大きいモード番号を持つイントラ予測モードでは前記方式を適用しないこともある。また、現在予測ユニットのサイズが既定のサイズ（例えば、８×８または１６×１６）以上の予測ユニットのみに適用してもよい。

予測ブロック後処理部 ２６０は、予測モード復号化部２３０から受信された現在予測ユニットのイントラ予測モードによって、前記予測ブロック生成部２５０によって生成された予測ブロックを適応的にフィルタリングする。予測ブロック後処理部は、予測ブロック生成部２５０に一体化される。予測ブロックのフィルタリング方法は、図２のイントラ予測部１４０の予測ブロック後処理部１４４の予測ブロックフィルタリング方法と同一である。

すなわち、参照画素と、参照画素に隣接している予測ブロック内の画素との画素値の差を低減させるために、参照画素に隣接している予測ブロック内の画素の一部または全部を、イントラ予測モードによって適応的にフィルタリングする。

平面モードの場合には、参照画素に隣接している予測ブロック内の画素は前記参照画素を用いて生成されるので、フィルターを適用しない。

一方、ＤＣモードの場合には、参照画素の平均値を用いるので、フィルターを適用する。ＤＣモードの場合には、予測ユニットのサイズ（予測ブロックのサイズ）によって互いに異なる種類のフィルターを使う。サイズの大きい予測ユニットに使われるフィルターは、サイズの小さな予測ユニットに使われるフィルターと同じであるか、またはスムージング効果の大きな強いフィルターを使う。

一方、図３の垂直モード（モード番号０）右側のイントラ予測モードでは、対応する予測ブロックが上側参照画素のみを用いて生成されれば、生成された予測ブロックのピクセルと原本予測ユニットの対応ピクセルとの差値は、左下側領域へ行くほど大きくなる確率が高くなる。特に、モード番号６を持つイントラ予測モードで前記差値がさらに大きくなる。

同様に、図３の水平モード（モード番号１）下側のイントラ予測モードでは、予測ブロックが左側参照画素のみを用いて生成されれば、生成された予測ブロックのピクセルと原本予測ユニットの対応ピクセルとの差値が、右上側領域へ行くほど大きくなる確率が高くなる。モード番号９を持つイントラ予測モードで前記差値がさらに大きくなる。

垂直モード（モード番号０）では、予測ブロックのピクセルと原本予測ユニットの対応ピクセルとの差値が下方へ行くほど大きくなり、水平モード（モード番号１）では、予測ブロックのピクセルと原本予測ユニットの対応ピクセルとの差値が右側に行くほど大きくなる。

したがって、前記差値を低減させるために、方向性イントラ予測モードによって予測ブロック内の一部画素を適応的にフィルタリングできる。この場合、予測ブロックの生成に用いられない予測ユニットの参照画素を用いて、予測ブロックの前記一部画素をフィルタリングする。

方向性イントラ予測モードによって、フィルタリングする領域が異なって設定されてもよい。モード６または９に隣接している方向性イントラ予測モードであるほど、フィルタリングする領域が同一またはさらに広くなる。

例えば、モード番号６の予測ユニットのサイズが２Ｎ×２Ｎである場合、垂直モード（モード番号０）右側のイントラ予測モードのうちモード番号６に隣接している所定数（１〜３）のイントラ予測モードについてのみフィルターを適用してもよい。この場合、複雑度を低減させるために、既定のモード番号（例えば、９または１７）より大きいモード番号を持つイントラ予測モードではフィルターを適用しなくてもよい。また、予測ユニットのサイズによって、予測ブロックの一部画素を適応的にフィルタリングできる。予測ユニットのサイズが大きくなるほど、フィルタリングされる画素の割合を維持または高める。

例えば、モード番号６を持つイントラ予測モドエソのみを考慮する。この場合、４×４の予測ユニットの場合、予測ブロックはフィルタリングしなくてもよい。８×８、１６×１６の予測ユニットの場合、予測ブロック内の左側境界画素、すなわち、（ｘ＝０，ｙ＝０…７）位置の８個の画素のうち下側４個の画素のみをフィルタリングする。３２×３２以上の予測ユニットでは、前記８個の境界画素をいずれもフィルタリングする。

また、前記予測ユニットのサイズによって、予測ブロックの画素に適用するフィルター強度を異ならせる。予測ユニットのサイズが大きくなるほど、フィルター強度を維持または増加させる。

映像復元部２７０は、予測モード復号化部２３０によって復元されたイントラ予測モードによって、予測ブロック生成部２５０または予測ブロック後処理部２６０から、予測ユニット単位で予測ブロックを受信する。映像復元部２７０は、残差信号復号化部２２０によって復元された残差ブロックを、変換ユニット単位で受信する。映像復元部２５０は、受信された予測ブロックと残差ブロックを加えて復元映像を生成する。前記復元映像は、コーディングユニット単位で復元される。

なお、実施形態について付記する。
（付記１） イントラ予測復号化装置において、
受信されたビートストリームから量子化された残差係数、イントラ予測情報及び予測ユニットのサイズ情報を復元するエントロピー復号化部と、
前記エントロピー復号化部から受信されたイントラ予測情報及び現在予測ユニットのサイズ情報に基づいて、現在予測ユニットのイントラ予測モードを復元する予測モード復号化部と、
前記予測モード復号化部から受信されたイントラ予測モードによって、残差信号を復元する残差信号復号化部と、
現在予測ユニットの利用不可能な参照画素を生成し、予測モード復号化部から受信された現在予測ユニットのイントラ予測モードに基づいて、参照画素を適応的にフィルタリングする参照画素生成部と、
前記予測モード復号化部から受信されたイントラ予測モードに対応する参照ピクセルを用いて、予測ブロックを生成する予測ブロック生成部と、
前記予測モード復号化部から受信されたイントラ予測モードによって、前記予測ブロック生成部から生成された予測ブロックを適応的にフィルタリングする予測ブロック後処理部と、
前記予測モード復号化部から受信されたイントラ予測モードによって、予測ブロック生成部または予測ブロックフィルタリング部から予測ユニット単位で予測ブロックを受信し、前記残差信号復号化部から受信された、復元された残差ブロックを用いて復元映像を生成する映像復元部と、を備えるイントラ予測復号化装置。
（付記２） 前記参照画素生成部は、水平モードまたは垂直モードを基準として４５゜方向性を持つイントラ予測モード（モード番号３、６、９）と、前記水平モードまたは垂直モード間の方向性を持つイントラ予測モードとに対しては、予測ユニットのサイズによって適応的に参照ピクセルをフィルタリングすることを特徴とする付記１に記載のイントラ予測復号化装置。
（付記３） 前記参照画素生成部は、既定のサイズより小さな予測ユニットの参照ピクセルに対しては、フィルターを適用しないことを特徴とする付記１に記載のイントラ予測復号化装置。
（付記４） 前記参照画素生成部は、水平モードまたは垂直モードと４５゜方向性を持つイントラ予測モード（モード番号３、６または９）の方向間に存在する第１方向性モードと第２方向性モードのうち、第１方向性モードが第２方向性モードより前記４５゜方向性を持つイントラ予測モードにさらに隣接している方向性を持つ場合、第２方向性モードの参照ピクセルにフィルターを適用すれば、第１方向性モードの参照ピクセルにもフィルターを適用することを特徴とする付記１に記載のイントラ予測復号化装置。
（付記５） 前記予測ブロック生成部は、イントラ予測モードが平面モード（ｐｌａｎａｒ ｍｏｄｅ）である場合、コーナー参照画素、左側参照画素及び上側参照画素を用いて予測ブロックの参照画素を生成することを特徴とする付記１に記載のイントラ予測復号化装置。
（付記６） イントラ予測モードが垂直モードである場合、前記参照画素生成部は、参照画素をフィルタリングせず、前記予測ブロック後処理部は、予測ブロック内の一部画素をフィルタリングするために、予測ブロックの生成に用いられていない参照画素を用いることを特徴とする付記１に記載のイントラ予測復号化装置。
（付記７） 前記参照画素生成部は、イントラ予測モードが、垂直モードと４５゜方向性を持つイントラ予測モード（モード番号６）、または前記モードに隣接する方向性を持つ既定数の範囲内のイントラ予測モードである場合、上側参照画素及び左側参照画素を用いて予測ブロックを生成することを特徴とする付記１に記載のイントラ予測復号化装置。

Claims (2)

1. 量子化された残差係数及びイントラ予測情報を復元するエントロピー復号化部と、
   前記イントラ予測情報に基づいてイントラ予測モードを復元する予測モード復号化部と、
   前記イントラ予測モードによって定められるスキャンパターンを用いて前記量子化された残差係数を逆スキャンして２次元配列の量子化ブロックを生成し、前記量子化ブロックを逆量子化及び逆変換して残差ブロックを復元する残差信号復号化部と、
   利用不可能な参照画素が存在すれば、参照画素を生成し、前記イントラ予測モードを用いて前記参照画素を適応的にフィルタリングする参照画素生成部と、
   前記イントラ予測モードによって定められる参照画素を用いて予測ブロックを生成する予測ブロック生成部と、
   前記予測ブロック及び前記残差ブロックを用いて復元された映像を生成する映像復元部と、を備え、
   前記参照画素生成部は、水平モードを基準として４５゜方向性を持つイントラ予測モードと前記水平モードとの間に位置するイントラ予測モードについては、予測ブロックのサイズによって適応的に参照画素をフィルタリングし、
   前記参照画素生成部は、前記水平モードを基準として４５゜方向性を持つイントラ予測モードの参照画素にフィルターを適用し、前記水平モードの参照画素にはフィルターを適用せず、
   第１方向性モード及び第２方向性モードは、前記水平モードと、前記水平モードを基準として４５゜方向性を持つイントラ予測モードとの間に位置し、
   前記参照画素生成部は、前記第２方向性モードの参照画素にフィルターを適用すれば、前記第２方向性モードよりは前記水平モードを基準として４５゜方向性を持つイントラ予測モードにさらに近い第１方向性モードの参照画素にもフィルターを適用し、
   前記参照画素生成部は、前記予測ブロックのサイズが予め設定されているサイズより小さければ、参照画素にフィルターを適用しないことを特徴とする映像復号化装置。
2. 前記フィルターが適用されるイントラ予測モードの数は、前記予測ブロックのサイズが増加するにつれて増加することを特徴とする請求項１に記載の映像復号化装置。

Images