JP7448526B2 - イントラ予測を利用した画像符号化／復号化方法及び装置 - Google Patents

Description

本発明は、画像符号化／復号化方法及び装置に関する。

インターネット、携帯型端末の普及及び情報通信技術の成長に伴い、マルチメディアデータの使用は、急激に増加している。従って、種々のシステムにおける画像予測により、種々のサービス又はタスクを実行するために、画像処理システムの性能及び効率に対する需要は、著しく増加しているが、このような状況に対応できる研究開発結果は、かなり不足している。

従って、従来技術の画像符号化／復号化方法及び装置において、画像処理を改善する必要があり、特に、画像符号化又は画像復号性能を改善する必要がある。

本発明は、適応的ブロック分割により、符号化／復号化効率を向上させることが望ましい。

本発明は、行列に基づくイントラ予測により、符号化／復号化効率を向上させることが望ましい。

本発明は、行列に基づくイントラ予測に用いられる参照サンプル及び行列を決定する方法及び装置を提供する。

本発明は、行列に基づくイントラ予測に用いられるダウンサンプリング及びアップサンプリング方法及び装置を提供する。

本発明によるビデオ信号処理方法及び装置は、現在ブロックのイントラ予測モードを決定し、前記現在ブロックのイントラ予測に用いられる参照サンプルを決定し、前記イントラ予測モードに基づいて、所定の行列を決定し、前記参照サンプル及び行列に基づいて、前記現在ブロックを予測することができる。

本発明によるビデオ信号処理方法及び装置において、前記参照サンプルを決定するステップは、前記現在ブロックの隣接領域を決定するステップと、前記決定された隣接領域に対してダウンサンプリングを行うステップと、を含んでもよい。

本発明によるビデオ信号処理方法及び装置において、前記隣接領域は、複数のサンプルグループに分けられ、前記サンプルグループは、１つ又は１つ以上のサンプルからなり、前記サンプルグループの代表値は、前記参照サンプルで決定され、前記代表値は、平均値、最小値、最大値、最頻値又は中間値のうちのいずれか１つであってもよい。

本発明によるビデオ信号処理方法及び装置において、前記行列は、前記現在ブロックの符号化情報を更に考慮することで決定され、前記符号化情報は、前記現在ブロックの大きさ、形状、イントラ予測モードの角度又は方向性を含んでもよい。

本発明によるビデオ信号処理方法及び装置において、現在ブロックを予測するステップは、前記参照サンプルに前記行列を適用することで予測ブロックを生成するステップを含んでもよい。

本発明によるビデオ信号処理方法及び装置において、現在ブロックを予測するステップは、前記生成された予測ブロックの全て又は一部の予測サンプルを再配列するステップを更に含んでもよい。

本発明によるビデオ信号処理方法及び装置において、現在ブロックを予測するステップは、前記予測ブロック又は前記現在ブロックに隣接する再構築されたサンプルのうちの少なくとも１つに基づいて、前記現在ブロックに対して補間を行うことを更に含んでもよい。

本発明によれば、ツリーブロックを分割することで、符号化／復号化効率を向上させることができる。

本発明によれば、行列に基づくイントラ予測により、符号化／復号化効率を向上させることができる。

本発明によれば、行列に基づくイントラ予測に用いられるダウンサンプリング又はアップサンプリングにより、符号化／復号化効率を向上させることができる。

本発明の一実施例による符号化装置を示す概略的ブロック図である。 本発明の一実施例による復号装置を示す概略的ブロック図である。 本発明を適用できる一実施例によるブロック分割タイプを示す図である。 本発明を適用できる一実施例によるツリー構造に基づくブロック分割方法を示す図である。 本発明の一実施例による行列に基づいて現在ブロックに対してイントラ予測を行う過程を示す図である。 本発明を適用できる一実施例による隣接ブロックに対してダウンサンプリングを行うことで参照サンプルを決定する方法を示す図である。 本発明を適用できる一実施例による加重平均値に基づくダウンサンプリング方法を示す図である。 本発明を適用できる一実施例による第１予測サンプルの分割及び他の領域に対する補間を行う方法を示す図である。 本発明を適用できる一実施例による補間ステップにおいて距離に対する重み値を割り当てることを示す図である。 本発明を適用できる一実施例による補間ステップの順番を示す図である。

本発明によるビデオ信号処理方法及び装置は、現在ブロックのイントラ予測モードを決定し、前記現在ブロックのイントラ予測に用いられる参照サンプルを決定し、前記イントラ予測モードに基づいて、所定の行列を決定し、前記参照サンプル及び行列に基づいて、前記現在ブロックを予測することができる。

本発明によるビデオ信号処理方法及び装置において、前記参照サンプルを決定するステップは、前記現在ブロックの隣接領域を決定するステップと、前記決定された隣接領域に対してダウンサンプリングを行うステップと、を含んでもよい。

本発明によるビデオ信号処理方法及び装置において、前記隣接領域は、複数のサンプルグループに分けられ、前記サンプルグループは、１つ又は１つ以上のサンプルからなり、前記サンプルグループの代表値は、前記参照サンプルで決定され、前記代表値は、平均値、最小値、最大値、最頻値又は中間値のうちのいずれか１つであってもよい。

本発明によるビデオ信号処理方法及び装置において、前記行列は、前記現在ブロックの符号化情報を更に考慮することで決定され、前記符号化情報は、前記現在ブロックの大きさ、形状、イントラ予測モードの角度又は方向性を含んでもよい。

本発明によるビデオ信号処理方法及び装置において、現在ブロックを予測するステップは、前記参照サンプルに前記行列を適用することで予測ブロックを生成するステップを含んでもよい。

本発明によるビデオ信号処理方法及び装置において、現在ブロックを予測するステップは、前記生成された予測ブロックの全て又は一部の予測サンプルを再配列するステップを更に含んでもよい。

本発明によるビデオ信号処理方法及び装置において、現在ブロックを予測するステップは、前記予測ブロック又は前記現在ブロックに隣接する再構築されたサンプルのうちの少なくとも１つに基づいて、前記現在ブロックに対して補間を行うことを更に含んでもよい。

本発明において、種々の変更が実行可能であり、様々な実施例を有することができるところ、特定の実施例を図面に示し、詳しく説明する。しかしながら、これらの特定の実施例は、本発明を特定の実施形態に限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものである。各図面を説明する場合、類似した構成要素について、類似した符号を用いる。

第１、第２等の用語は、構成要素を説明するためのものであってもよいが、前記構成要素は、前記用語に限定されない。前記用語は、１つの構成要素を他の構成要素から区別するためのものに過ぎない。例えば、本発明の権利範囲から逸脱せずに、第１構成要素を第２構成要素と命名することができ、同様に第２構成要素も第１構成要素と命名されてもよい。及び／又はという用語は、記載された複数の関連アイテムの組み合わせ又は記載された複数の関連アイテムのうちのいずれか１つのアイテムを含むことを指す。

１つの構成要素がもう１つの構成要素に「接続」又は「連結」されることを説明する場合、前記もう１つの構成要素に直接的に接続又は連結されてもよく、前記構成要素と前記もう１つの構成要素との間に他の構成要素が存在してもよいと理解されるべきである。逆に、１つの構成要素がもう１つの構成要素に「直接接続」又は「直接連結」されることを説明する場合、前記構成要素と前記もう１つの構成要素との間に他の構成要素が存在しないと理解されるべきである。

本願に用いられる用語は、特定の実施例を説明するためのものに過ぎず、本発明を限定するものではない。明細書に他の意味を明確に表さない限り、単数の表現は、複数の表現を含む。本願において、「含む」又は「有する」などの用語は、明細書に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらの組み合わせが存在していることを指定するものであって、１つ又は１つ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせなどの存在又は付加可能性をあらかじめ排除しないものと理解すべきである。

他の定義が存在しない限り、ここで使用される技術用語及び科学用語を含む全ての用語は、本発明が属する技術分野で通常の知識を有する者が一般に理解する意味と同一の意味を有する。一般的に使用される辞書において定義される用語は、関連技術文献における意味と一致する意味を有すると理解するべきであり、本明細書において明確に定義しない限り、理想的あるいは形式的な意味として解釈してはならない。

以下、図面を参照しながら、本発明の好適な実施例をより詳しく説明する。以下、図面における同一の構成要素について、同一の符号を使用し、同一の構成要素に対する重複説明を省略する。

図１は、本発明の一実施例による符号化装置を示す概略的ブロック図である。

図１を参照すると、符号化装置１００は、画像分割部１１０、予測部１２０、１２５、変換部１３０、量子化部１３５、再配列部１６０、エントロピー符号化部１６５、逆量子化部１４０、逆変換部１４５、フィルタリング部１５０及びメモリ１５５を備えてもよい。

図１に示す各構成部は、単独で示され、画像符号化装置において、異なる特徴機能を表し、また、各構成部は、単独したハードウェアで構成されることを表す可能性がある。しかしながら、説明の便宜上、各構成部は、各構成部として記載されてそれを含む。各構成部のうちの少なくとも２つの構成は、１つの構成部を構成するか又は１つの構成部は、機能を実行するために、複数の構成部に分けられてもよい。このような各構成部の総合的実施例及び単独した実施例は、本発明の本質を逸脱しない限り、本発明の権利範囲内にも含まれる。

なお、幾つかの構成要素は、本発明において基本機能を実行するための必須の構成要素ではなく、性能を向上させるための選択可能な構成要素だけであってもよい。本発明は、構成部のみを含むことで実現してもよい。該構成部は、性能を向上させるための構成要素以外の本発明の本質を実現するために、不可欠なものである。正常を向上させるための選択可能な構成要素以外の不可欠な構成要素のみを含む構造も本発明の権利範囲内に含まれる。

画像分割部１１０は、入力された画像を少なくとも１つのブロックに分割することができる。この場合、ブロックは、符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）、予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）又は変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｕｎｉｔ）を表してもよい。四分木（Ｑｕａｄ ｔｒｅｅ）、二分木（Ｂｉｎａｒｙ ｔｒｅｅ）、三分木（Ｔｅｒｎａｒｙ ｔｒｅｅ）のうちの少なくとも１つにより、前記分割を実行することができる。四分木は、上位層ブロックを、幅及び高さが上位層ブロックの幅及び高さの半分である下位層ブロックに四分割する方式である。二分木は、上記層ブロックを、上位層ブロックの半分の少なくとも１つの幅又は高さを有する下位層ブロックに二分割する方式である。二分木の分割において、上位層ブロックの半分の高さを有する、前記二分岐に基づく分割により、ブロックは、正方形の形状を有してもよいだけでなく、非正方形の形状を有してもよい。

以下、本発明の実施例において、符号化ユニットは、符号化を実行するユニットに用いられてもよく、復号を実行するユニットに用いられてもよい。

予測部１２０、１２５は、インター予測を実行するためのインター予測部１２０及びイントラ予測を実行するためのイントラ予測部１２５を備えてもよい。予測ユニットについて、フレーム予測を用いるか、それともイントラ予測を用いるかを決定し、また、各予測方法による具体的な情報（例えば、イントラ予測モード、動きベクトル、参照画像など）を決定することができる。この場合、予測を実行するための処理ユニットは、予測方法及び具体的なコンテンツを決定するための処理ユニットと異なることがある。例えば、予測方法及び予測モードなどは、予測ユニットにより決定されてもよく、予測は、変換ユニットにより実行されてもよい。生成された予測ブロックとオリジナルブロックとの残差値（残差ブロック）を変換部１３０に入力してもよい。なお、エントロピー符号化部１６５において、予測のために用いられる予測モード情報、動きベクトル情報などを残差値と共に符号化して復号装置に伝送することができる。１つの符号化モードを用いる場合、予測部１２０、１２５により予測ブロックを生成する必要がなく、同様にオリジナルブロックを符号化して復号部に伝送することができる。

インター予測部１２０は、現在画像の直前の画像又は直後の画像のうちの少なくとも１つの画像の情報に基づいて、予測ユニットを予測することができる。場合によっては、現在ブロック内の符号化が完了した幾つかの領域の情報に基づいて予測ユニットを予測することもできる。予測部１２０は、参照画像補間部、動き予測部、動き補償部を備えてもよい。

参照画像補間部において、参照画像情報は、メモリ１５５により提供される。また、参照画像において、整数画素以下の画素情報を生成することができる。輝度画素について、１／４画素単位で整数画素以下の画素情報を生成するために、フィルタ係数の異なる、ＤＣＴベースの８タップ補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を用いることができる。色差信号について、１／８画素単位で整数画素以下の画素情報を生成するために、フィルタ係数の異なる、ＤＣＴベースの４タップ補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を用いることができる。

動き予測部は、参照画像補間部により補間された参照画像に基づいて、動き予測を行うことができる。ＦＢＭＡ（Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ａｌｇｏｒｉｔｈｍ）、ＴＳＳ（Ｔｈｒｅｅ Ｓｔｅｐ Ｓｅａｒｃｈ）、ＮＴＳ（Ｎｅｗ Ｔｈｒｅｅ－Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ）などの種々の方法はいずれも、動きベクトルを演算する方法として用いることができる。補間画素によれば、動きベクトルは、１／２又は１／４画素単位の動きベクトル値を有してもよい。動き予測部は、異なる運動予測方法により、現在予測ユニットを予測することができる。スキップ（Ｓｋｉｐ）方法、マージ（Ｍｅｒｇｅ）方法、アドバンスト動きベクトル予測（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ：ＡＭＶＰ）方法などの種々の方法は、動き予測方法として用いることができる。

イントラ予測部１２５は、現在ブロックに隣接する参照画素情報に基づいて予測ユニットを生成することができる。ここで、前記現在ブロックに隣接する参照画素情報は、現在画像における画素情報である。現在予測ユニットの隣接（周辺）ブロックは、インター予測されたブロックであるため、参照画素が、インター予測された画素である場合、インター予測されたブロックに含まれる参照画素情報を、隣接するイントラ予測されたブロックの参照画素情報に置き換えることができる。つまり、参照画素が利用不可能である場合、利用不可能である参照画素情報を利用可能な参照画素のうちの少なくとも１つの参照画素に置き換えることができる。

イントラ予測における予測モードは、予測方向に基づいて参照画素情報を用いる指向性予測モードと、予測時に方向性情報を用いない非指向性モードと、を有してもよい。輝度成分を予測するためのモードは、色差成分を予測するためのモードと異なってもよい。また、輝度成分を予測するために用いられるイントラ予測モード又は予測された／再構築（復元）された輝度成分を利用して色差成分を予測することができる。

イントラ予測方法は、イントラ予測モードに基づいてＡＩＳ（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタを参照画素に適用した後に、予測ブロックを生成することができる。参照画素に適用するＡＩＳフィルタのタイプは、異なってもよい。イントラ予測方法を実行するために、現在予測ブロックに隣接する予測ユニットに位置するイントラ予測モードから、現在予測ユニットのイントラ予測モードを予測することができる。隣接予測ユニットから予測されたモード情報を利用して現在予測ユニットの予測モードを予測する場合、現在予測ユニットのイントラ予測モードは隣接予測ユニットのイントラ予測モードと同じであると、所定のフラグ情報を利用して、現在予測ユニットのイントラ予測モードが隣接予測ユニットのイントラ予測モードと同じであることを示す情報を伝送することができる。現在予測ユニットのイントラ予測モードは隣接予測ユニットのイントラ予測モードと異なると、エントロピー符号化を行い、現在ブロックのイントラ予測モード情報を符号化することができる。

なお、予測部１２０、１２５において、生成された予測ユニットとオリジナルブロックとの差分値を含む残差値（Ｒｅｓｉｄｕａｌ）情報を生成することができる。生成された残差ブロックを変換部１３０に入力することができる。

変換部１３０において、ＤＣＴ、ＤＳＴ等のタイプの変換を利用して、残差データを含む残差ブロックを変換することができる。この場合、残差ブロックを生成するために用いられる予測ユニットのイントラ予測モードに基づいて、変換タイプを決定することができる。

量子化部１３５は、変換部１３０により周波数領域に変換された値に対して量子化を行うことができる。量子化係数は、ブロック又は画像の重要度に応じて変わってもよい。量子化部１３５により演算された値を逆量子化部１４０及び再配列部１６０に提供することができる。

再配列部１６０は、量子化された残差ブロックに対して、係数値の再配列を行うことができる。再配列部１６０は、係数走査（Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法で、二次元ブロック形状の係数を一次元ベクトル形状に変更することができる。例えば、再配列部１６０は、所定の走査タイプを利用して、ＤＣ係数から高周波領域の係数まで走査し、一次元ベクトル形状に変更することができる。

エントロピー符号化部１６５は、再配列部１６０により算出された値に基づいて、エントロピー符号化を行うことができる。エントロピー符号化は、指数ゴロンブ符号化方法（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、適応2値算術符号化器（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ：ＣＡＢＡＣ）等のような種々の符号化方法を用いることができる。

エントロピー符号化部１６５は、例えば、符号化ユニットの残差係数情報及びブロックタイプ情報、予測モード情報、分割ユニット情報、予測ユニット情報及び伝送ユニット情報、動きベクトル情報、参照画像情報、ブロックの補間情報、フィルタリング情報などのような、再配列部１６０及び予測部１２０、１２５からの種々の情報に対して符号化を行うことができる。

エントロピー符号化部１６５は、再配列部排列部１６０に入力された符号化ユニットの係数値に対してエントロピー符号化を行うことができる。

逆量子化部１４０及び逆変換部１４５は、量子化部１３５により量子化された値に対して逆量子化を行い、変換部１３０により変換された値に対して逆変換を行う。逆量子化部１４０及び逆変換部１４５により生成された残差値（Ｒｅｓｉｄｕａｌ）を、予測部１２０、１２５に含まれる動き推定部、動き補償部及びイントラ予測部により、予測された予測ユニットとマージし、再構築ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｂｌｏｃｋ）を生成することができる。

フィルタリング部１５０は、デブロッキングフィルタ、オフセット補正部、適応的ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ：ＡＬＦ）のうちの少なくとも１つを含んでもよい。

デブロッキングフィルタは、再構築画像におけるブロック間の境界により招くブロック歪みを除去することができる。デブロッキングを行うかどうかを判定するために、ブロックに含まれる幾つかの列又は行に含まれる画素に基づいて、デブロッキングフィルタを現在ブロックに適用するかどうかを判定する。デブロッキングフィルタをブロックに適用する場合、必要なデブロッキングフィルタリング強度に基づいて、強フィルタ（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）又は弱フィルタ（Ｗｅａｋ Ｆｉｌｔｅｒ）を適用することができる。なお、デブロッキングフィルタを適用する場合、垂直フィルタリング及び水平フィルタリングを行う時、水平方向のフィルタリング及び垂直方向のフィルタリングを並行して処理することができる。

オフセット補正部は、デブロッキングされた画像に対して、オリジナル画像との、画素単位のオフセットを補正することができる。特定の画像に対してオフセット補正を行うために、画像に含まれる画素を一定の数の領域に分割した後に、オフセットしようとする領域を決定し、オフセットを該領域に適用する方法を用いるか又は各画素の縁情報を考慮することでオフセットに適用する方法を用いることができる。

フィルタリングされた再構築画像とオリジナル画像との比較値に基づいてＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ）を行うことができる。画像に含まれる画素を所定の群に分けた後、該組み合わせに適用できる１つのフィルタを決定する。また、各群に対して、フィルタリングを異なるように行うことができる。ＡＬＦを適用できるかどうか情報について、各符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）は、輝度信号を伝送することができる。また、適用されるべきＡＬＦフィルタの形状及びフィルタ係数は、各ブロックによって変わってもよい。なお、適用対象ブロックの特性に関わらず、同一形状（固定形状）のＡＬＦフィルタを適用することもできる。

メモリ１５５は、フィルタリング部１５０により算出された再構築ブロック又は画像を記憶することができる。インター予測を行う時に記憶された再構築ブロック又は画像を予測部１２０、１２５に提供することができる。

図２は、本発明の一実施例による復号装置を示す概略的ブロック図である。

図２を参照すると、復号装置２００は、エントロピー復号部２１０、再配列部２１５、逆量子化部２２０、逆変換部２２５、予測部２３０、２３５、フィルタリング部２４０、メモリ２４５を備えてもよい。

図２に示す各構成部は、単独で示され、画像符号化装置において、異なる特徴機能を表し、また、各構成部は、単独したハードウェアで構成されることを表す可能性がある。しかしながら、説明の便宜上、各構成部は、各構成部として記載されてそれを含む。各構成部のうちの少なくとも２つの構成は、１つの構成部を構成するか又は１つの構成部は、機能を実行するために、複数の構成部に分けられてもよい。このような各構成部の総合的実施例及び単独した実施例は、本発明の本質を逸脱しない限り、本発明の権利範囲内にも含まれる。

エントロピー復号部２１０は、入力コードストリームに対してエントロピー復号を行うことができる。例えば、エントロピー復号を行うために、指数ゴロンブ符号化方法（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等のような種々の方法を適用できる。

エントロピー復号部２１０は、符号化装置により行われたイントラ予測及びインター予測に関わる情報に対して復号を行うことができる。

再配列部２１５は、エントロピー復号部２１０によりエントロピー復号されたコードストリームに対して再配列を行うことができる。一次元ベクトル形式で表される係数を二次元ブロック形式の係数となるように再構築し、再配列することができる。再配列部２１５は、符号化装置により行われた係数走査に関わる情報を受信し、該符号化装置により行われた走査の順番に応じて逆走査を行う方法で再配列を行うことができる。

逆量子化部２２０は、量子化パラメータ及び再配列されたブロックの係数値に基づいて逆量子化を行うことができる。

逆変換部２２５は、所定の変換タイプで、逆量子化された変換係数に対して逆変換を行うことができる。この場合、予測モード（インター／イントラ予測）、ブロックの大きさ／形状、イントラ予測モード、成分タイプ（輝度／色差成分）、分割タイプ（ＱＴ、ＢＴ、ＴＴ等）等に関わる情報のうちの少なくとも１つに基づいて、変換タイプを決定することができる。

予測部２３０、２３５は、エントロピー復号部２１０により提供された予測ブロックに基づいて、関連情報を生成し、メモリ２４５により提供されたこの前に復号されたブロック又は画像情報に基づいて、予測ブロックを生成することができる。

予測部２３０、２３５は、予測ユニット判別部、インター予測部及びイントラ予測部を備えてもよい。予測ユニット判別部は、エントロピー復号部２１０により入力された予測ユニット情報、イントラ予測方法のイントラ予測モード関連情報、インター予測方法の動き予測関連情報などのような種々の情報を受信し、現在符号化ユニット（ＣＵ）で、予測ユニットを区分し、予測ユニットがインター予測を行うかそれともイントラ予測を行うかを判別する。インター予測部２３０は、符号化装置により提供された現在予測ユニットのインター予測に必要な情報を利用して、現在予測ユニットを含む現在画像の直前の画像又は直後の画像のうちの少なくとも１つの画像に含まれる情報に基づいて、現在予測ユニットに対するインター予測を行うことができる。又は、現在予測ユニットを含む現在画像において、再構築された幾つかの領域の情報に基づいて、インター予測を行うことができる。従って、前記再構築された幾つかの領域は、参照画像リストに追加されてもよい。

インター予測を行うために、符号化ユニットを基準として、該符号化ユニットに含まれる予測ユニットの動き予測方法が、スキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ Ｍｏｄｅ）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ）、現在画像参照モードのうちのどちらであるかを判定することができる。

イントラ予測部２３５は、現在画像における画素情報に基づいて予測ブロックを生成することができる。予測ユニットは、イントラ予測を行った予測ユニットである場合、符号化装置により提供された予測ユニットのイントラ予測モード情報に基づいて、イントラ予測を行うことができる。イントラ予測部２３５は、ＡＩＳ（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタ、参照画素補間部、ＤＣフィルタを備えてもよい。ＡＩＳフィルタは、現在ブロックの参照画素に対してフィルタリングを行う部材として、現在予測ユニットの予測モードに基づいて、フィルタうぃ適用するかどうかを決定することができる。符号化装置により提供された予測ユニットの予測モード及びＡＩＳフィルタ情報を利用して、現在ブロックの参照画素に対してＡＩＳフィルタリングを行うことができる。現在ブロックの予測モードが、ＡＩＳフィルタリングを行わないモードである場合、ＡＩＳフィルタを適用しなくてもよい。

予測ユニットの予測モードは、参照画素に対して補間を行う画素の値に基づいてイントラ予測を行う予測ユニットである場合、参照画素補間部は、参照画素に対して補間を行い、整数値以下の画素単位の参照画素を生成することができる。現在予測ユニットの予測モードは、参照画素に対して補間を行わずに予測ブロックを生成する予測モードである場合、参照画素に対して補間を行わなくてもよい。現在ブロックの予測モードがＤＣモードである場合、ＤＣフィルタは、フィルタリングにより、予測ブロックを生成することができる。

再構築されたブロック又は画像は、フィルタリング部２４０に提供されてもよい。フィルタリング部２４０は、デブロッキングフィルタ、オフセット補正部、ＡＬＦを備えてもよい。

符号化装置から、デブロッキングフィルタを該ブロック又は画像に適用するかどうかに関わる情報を受信することができる。また、デブロッキングフィルタを適用した場合、強いフィルタを適用したかそれとも弱いフィルタを適用したかに関わる情報を受信することができる。復号装置のデブロッキングフィルタは、符号化装置により提供されたデブロッキングフィルタ関連情報を受信することができる。復号装置は、該ブロックに対してデブロッキングフィルタリングを行うことができる。

オフセット補正部は、符号化を行う場合、画像に適用されるオフセット補正タイプ及びオフセット値情報などに基づいて、再構築された画像に対してオフセット補正を行うことができる。

ＡＬＦは、符号化器により提供された、ＡＬＦを適用するかどうかに関わる情報、ＡＬＦ係数情報などに基づいて、符号化ユニットに適用されてもよい。このようなＡＬＦ情報は、特定のパラメータ集合に含まれることで提供されてもよい。

メモリ２４５は、再構築された画像又はブロックを参照画像又は参照ブロックとして記憶することができ、また、再構築された画像を出力部に提供することができる。

図３は、本発明を適用できる一実施例によるブロック分割タイプを示す図である。

図３を参照すると、分割設定、分割方式に基づいて、ブロックａからｓを得ることができ、図示されていない付加ブロック形状を得ることもできる。

一例（１）として、非対称分割をツリーベースの分割に用いることを許容できる。例えば、二分木に対して、ｂ、ｃのようなブロックであってもよく、ｂ～ｇのようなブロックであってもよい。非対称分割を許容することを示すフラグは、符号化／復号設定に基づいて、明示的または暗黙的に活性化されていない場合、取得可能な候補ブロックは、ｂ又はｃであってもよい。非対称分割を許容することを示すフラグを活性化した場合、取得可能な候補ブロックは、ｂ、ｄ、ｅ（本例における水平分割）であってもよく、ｃ、ｆ、ｇ（本例における垂直分割）であってもよい。

前記例において、非対称分割の左：右又は上：下の長さ比を１：３又は３：１とする場合について説明するが、これに限定されず、符号化設定によって、他の割合の候補群（例えば、１：２、１：４、２：３、２：５、３：５等）が存在してもよい。

以下、二分木分割（本例における１：１、１：３、３：１の候補群）において生成される分割情報に関わる種々の例を示す。

例えば、分割を行うかどうかを示すフラグ、分割方向を示すフラグに加えて、分割タイプを示すフラグを生成することもできる。この場合、分割タイプは、対称又は非対称分割を表してもよい。ここで、非対称分割は、分割タイプと決定された場合、分割割合を示すフラグを生成することができる。また、所定の候補群に基づいて、インデックスを割り当てることができる。１：３又は３：１の分割割合を候補群としてサポートする場合、１ビットフラグにより、分割割合を選択することができる。

又は、分割を行うかどうかを示すフラグ、分割方向を示すフラグに加えて、分割割合を示すフラグを生成することもできる。本例において、分割割合に対する候補群として、１：１の対称割合を有する候補を含んでもよい。

本発明において、（非対称分割を許容することを示すフラグを活性化した場合）二分木分割が上記例のような構造を有すると仮定する。別途説明しない限り、二分木は、対称二分木を表す。

一例（２）として、ツリーベースの分割は、付加的ツリー分割を許容できる。例えば、三分木（Ｔｅｒｎａｒｙ Ｔｒｅｅ）、四分木タイプ（Ｑｕａｄ Ｔｙｐｅ Ｔｒｅｅ）、八分木（Ｏｃｔａ Ｔｒｅｅ）等に対して分割を行い、これらにより、ｎ個の分割ブロック（本例における３、４、８、ｎは、整数である）を得ることができる。三分木に対して、サポートされるブロック（本例において複数のブロックに分割される場合）は、ｈ～ｍであってもよい。四分木に対して、サポートされるブロックは、ｎ～ｐであってもよい。八分木に対して、サポートされるブロックは、ｑであってもよい。符号化／復号設定に基づいて、前記ツリーベースの分割をサポートするかどうかを暗黙的に決定するか又は関連情報を明示的に生成することができる。なお、符号化／復号設定に基づいて、単独で用いるか又は二分木、四分木分割等と混用されてもよい。

例えば、二分木に対して、ｂ、ｃのようなブロックを用いることができる。二分木と三分木を混用する場合（本例において、二分木の使用範囲と三分木の使用範囲とは、一部重なり合うと仮定する）、ｂ、ｃ、ｉ、ｌのようなブロックを用いることもできる。符号化／復号設定に基づいて、現在のツリー以外の追加の分割を許容することを示すフラグを明示的又は暗黙的に非活性化した場合、取得可能な候補ブロックは、ｂ又はｃであってもよい。活性化した場合、取得可能な候補ブロックは、ｂ、ｉ又はｂ、ｈ、ｉ、ｊ（本例における水平分割）であってもよく、ｃ、ｌ又はｃ、ｋ、ｌ、ｍ（本例における垂直分割）であってもよい。

前記例において、三分木分割の左：中：右又は上：中：下の長さ比を２：１：１、１：２：１又は１：１：２と仮定して説明するが、これに限定されず、符号化設定に基づいて他の割合を設定することもできる。

以下、三分木分割（本例における１：２：１の候補）で生成された分割情報の例を示す。

例えば、分割を行うかどうかを示すフラグ、分割方向を示すフラグに加えて、分割タイプを示すフラグを生成することもできる。この場合、分割タイプは、二分木又は三分木分割を表してもよい。

本発明において、分割方式に基づいて、適応的符号化／復号設定を適用することができる。

一例として、ブロックのタイプに基づいて、分割方式を決定することができる。例えば、符号化ブロック及び変換ブロックは、四分木分割方式を用いることができ、予測ブロックは、四分木及び二分木（又は三分木等）分割方式を用いることができる。

一例として、ブロックの大きさに基づいて、分割方式を決定することができる。例えば、ブロックの最大値と最小値との間の幾つかの範囲において（例えば、ａ×ｂ～ｃ×ｄである。後者がより大きい場合）、四分木分割方式を用いることができる。幾つかの範囲において（例えば、ｅ×ｆ～ｇ×ｈ）、二分木（又は三分木等）分割を行うことができる。この場合、分割方式による範囲情報を明示的に生成するか又は暗黙的に決定することができる。前記範囲が重なり合う場合にも利用可能である。

一例として、ブロック（又は分割前のブロック）の形状に基づいて分割方式を決定することができる。例えば、ブロック形状が正方形である場合、四分木又は二分木（又は三分木等）分割うぃ行うことができる。又は、ブロックの形状が長方形である場合、二分木（又は三分木等）に基づく分割を行うことができる。

一例として、ブロックのタイプに基づいて分割設定を決定することができる。例えば、ツリーベースの分割において、符号化ブロック及び予測ブロックは、四分木分割を用いることができ、変換ブロックは、二分木分割を用いることができる。又は、符号化ブロックに対する分割許容深さは、ｍと設定されてもよく。予測ブロックに対する分割許容深さは、ｎと設定されてもよく、変換ブロックに対する分割許容深さは、ｏと設定されてもよい。ｍ、ｎ及びｏは、同じであっても異なってもよい。

一例として、ブロックの大きさに基づいて分割設定を決定することができる。例えば、ブロックの幾つかの範囲（例えば、ａ×ｂ～ｃ×ｄ）において四分木分割を用いることができ、幾つかの範囲（例えば、ｅ×ｆ～ｇ×ｈである。本例において、ｃ×ｄがｇ×ｈよりも大きいとする）において、二分木分割を用いることができ、幾つかの範囲（例えば、ｉ×ｊ～ｋ×ｌである。本例において、ｇ×ｈがｋ×ｌ以上であるとする）において、三分木分割を用いることができる。この場合、前記範囲は、ブロックの最大値と最小値との間の全ての範囲を含んでもよい。前記範囲は、重なり合わない設定又は互いに重なり合う設定を有してもよい。例えば、幾つかの範囲の最小値は、幾つかの範囲の最大値と同じである可能性があり、又は、幾つかの範囲の最小値は、幾つかの範囲の最大値より小さい可能性がある。互いに重なり合う範囲を有する場合、より大きい最大値を有する分割方式は、優先順位を有してもよいか又はどのような分割方式を用いるかに関わる情報を明示的に生成することができる。つまり、優先順位を有する分割方式において、分割結果に基づいて、優先度が低い分割方式を行うかを決定することができ、又は、分割方式選択情報に基づいて、どのような分割方式を用いるかを決定することができる。

一例として、ブロックの形状に基づいて、分割設定を決定することができる。例えば、ブロックの形状が正方形である場合、四分木分割を用いることができる。又は、ブロックの形状が長方形である場合、二分木又は三分木分割を用いることができる。

一例として、符号化／復号化情報（例えば、スライスタイプ、色成分、符号化モード等）に基づいて分割設定を決定することができる。例えば、スライスタイプがＩである場合、四分木（又は二分木、三分木）分割は、幾つかの範囲（例えば、ａ×ｂ～ｃ×ｄ）内で使用可能であり、スライスタイプがＰである場合、幾つかの範囲（例えば、ｅ×ｆ～ｇ×ｈ）内で使用可能であり、スライスタイプがＢである場合、幾つかの範囲（例えば、ｉ×ｊ～ｋ×ｌ）内で使用可能である。なお、スライスタイプがＩである場合、四分木（又は二分木、三分木分割）分割の分割許容深さは、ｍと設定されてもよく、スライスタイプがＰである場合、分割許容深さは、ｎと設定されてもよく、スライスタイプがＢである場合、分割許容深さは、ｏと設定されてもよい。ｍ、ｎ及びｏは、同じであっても異なってもよい。幾つかのスライスタイプは、他のスライス（例えば、スライスＰ及びＢ）と同様な設定を有してもよい。

他の例として、色成分が輝度成分である場合、四分木（又は二分木、三分木）分割許容深さは、ｍと設定されてもよく、色成分が色差成分である場合、ｎと設定されてもよく、ｍ及びｎは、同じであってもことなってもよい。なお、色成分が輝度成分である場合、四分木（又は二分木、三分木）分割の範囲（例えば、ａ×ｂ～ｃ×ｄ）は、色成分が色差成分である場合の四分木（又は二分木、三分木）分割の範囲（例えば、ｅ×ｆ～ｇ×ｈ）と同じであっても異なってもよい。

他の例として、符号化モードがＩｎｔｒａである場合、四分木（又は二分木、三分木）分割許容深さは、ｍであってもよく、符号化モードがＩｎｔｅｒである場合、ｎ（本例において、ｎがｍよりも大きいとする）であってもよく、ｍ及びｎは、同じであっても異なってもよい。なお、符号化モードがＩｎｔｒａである場合の四分木（又は二分木、三分木）分割の範囲は、符号化モードがＩｎｔｅｒである場合の四分木（又は二分木、三分木）分割の範囲と同じであってもことなってもよい。

前記例に対して、符号化／復号化情報による適応的分割候補群構造をサポートするかどうかに関わる情報を明示的に生成するか又は暗黙的に決定することができる。

前記例により、符号化／復号設定に基づいて分割方式及び分割設定を決定することを説明した。前記例は、各要素による幾つかの状況を示したが、他の場合の変形が存在してもよい。なお、複数の要素の組み合わせに基づいて、分割方式及び分割設定を決定することもできる。例えば、ブロックのタイプ、大きさ、形状、符号化／復号化情報等により、分割方式及び分割設定を決定することができる。

なお、前記例における分割方式、設定などに関わる要素を暗黙的に決定するか又は情報を明示的に生成し、上記例のような適用的状況を許容するかどうかを決定することができる。

前記分割設定における分割深さは、初期ブロックに基づいて空間分割を行う回数（本例における初期ブロックの分割深さは、０である）を表す。分割深さが大きいほど、より小さいブロックに分割できるようになる。これは、分割方式に基づいて、深さ関連設定を異なるように設定することができる。例えば、ツリーベースの分割の方式において、二分木の分割深さとして、三分木の分割と同一の深さを共有することができる。四分木の分割深さとして、二分木の分割深さと異なる深さを用いることができる。ツリーのタイプに基づいて、それぞれの深さを用いることができる。

前記例において、ツリーのタイプに基づいてそれぞれの分割深さを用いる場合、ツリーの分割開始位置（本例における分割前のブロック）での分割深さを０と設定することができる。各ツリーの分割範囲（本例における最大値）に基づくことなく、分割開始位置を中心として分割深さを算出することができる。

図４は、本発明を適用できる一実施例によるツリー構造に基づくブロック分割方法を示す図である。

図面における太実線は、基本符号化ブロックを表し、太点線は、四分木分割限界を表し、二重実線は、対称二分木分割限界を表し、実線は、三分木分割限界を表し、細実線は、非対称二分木分割限界を表す。太実線以外は、いずれも各分割方法で分割を行う限界を表す。以下記述される分割設定（例えば、分割タイプ、分割情報、分割情報配置順番など）は、該例におけるものに限定されず、種々の変形例を有してもよい。

説明の便宜上、基本符号化ブロック（２Ｎ×２Ｎ、１２８×１２８）を基準とした左上、右上、左下、右下ブロック（Ｎ×Ｎ、６４×６４）がそれぞれのブロック分割設定を有すると仮定して説明する。まず、初期ブロックにおける一回の分割操作（分割深さ０－＞１である。つまり、分割深さは、１増加する）により、４個のサブブロックを得て、また、四分木の分割設定において、最大符号化ブロックは、１２８×１２８であり、最小符号化ブロックは、８×８であり、最大分割深さは４であると仮定する。これは、各ブロックに共通に適用される設定である。

（第１．左上ブロック、Ａ１～Ａ６）
本例は、単一ツリー方式の分割（本例における四分木）をサポートする場合として、最大符号化ブロック、最小符号化ブロック、分割深さなどのような１つのブロック分割設定により、取得可能なブロックの大きさ及び形状を決定することができる。本例は、分割により取得可能なブロックが１つである場合（水平及び垂直方向でそれぞれ２分割を行う）として、一回の分割操作（分割前のブロック４Ｍ×４Ｎを基準として、分割深さが１増加する）に必要な分割情報は、分割を行うかどうかを示すフラグ（本例において０であれば、分割を行わなく、１であれば、分割を行う）であり、取得可能な候補は、４Ｍ×４Ｎ及び２Ｍ×２Ｎであってもよい。

（第２．右上ブロック、Ａ７～Ａ１１）
本例は、複数のツリー方式の分割（本例における四分木、二分木）をサポートする場合として、複数のブロック分割設定により、取得可能なブロックの大きさ及び形状を決定することができる。本例において、二分木に対する最大符号化ブロックは６４×６４であり、最小符号化ブロックは、長さが４であり、最大分割深さが４であるものであると仮定する。

本例は、分割により取得可能なブロックが２つである場合（本例において２つ又は４つである）として、一回の分割操作（四分木分割深さは、１増加する）に必要な分割情報は、分割を行うかどうかを示すフラグ、分割タイプを示すフラグ、分割タイプを示すフラグ、分割方向を示すフラグであり、取得可能な候補は、４Ｍ×４Ｎ、４Ｍ×２Ｎ、２Ｍ×４Ｎ、４Ｍ×Ｎ／４Ｍ×３Ｎ、４Ｍ×３Ｎ／４Ｍ×Ｎ、Ｍ×４Ｎ／３Ｍ×４Ｎ、３Ｍ×４Ｎ／Ｍ×４Ｎであってもよい。

四分木分割範囲と二分木分割範囲が重なり合い（即ち、現在ステップにおける四分木分割及び二分木分割を実行できる範囲）、且つ現在ブロック（分割を行う前の状態）が四分木分割により得られたブロック（親ブロック＜分割深さが現在よりも１だけ小さい場合＞における四分木分割により得られたブロック）である場合、下記により区分を行い、分割情報を配置することができる。つまり、各分割設定に基づいてサポートされるブロックは、複数の分割方法で取得されることが可能である場合、下記方式で分類を行い、分割情報を生成することができる。

（１）四分木分割と二分木分割が重なり合う場合

前記表において、ａは、四分木分割を行うかどうかを示すフラグであり、１は、四分木分割（ＱＴ）を行うことを示す。前記フラグが０であると、二分木分割を行うかどうかを示すフラグであるｂを確認する。ｂが０であると、該ブロックで分割を行わない（Ｎｏ Ｓｐｌｉｔ）。ｂが１であると、二分木分割を行う。

ｃは、分割方向を示すフラグである。ｃが０であると、水平分割（ｈｏｒ）を行う。ｃが１であると、垂直分割（ｖｅｒ）を行う。ｄは、分割タイプを示すフラグである。ｄが０であると、対称分割（Ｓｙｍｍｅｔｒｉｃ Ｂｉｎａｒｙ Ｔｒｅｅ：ＳＢＴ）を行う。ｄが１であると、非対称分割（Ａｓｙｍｍｅｔｒｉｃ Ｂｉｎａｒｙ Ｔｒｅｅ：ＡＢＴ）を行う。ｄが１である場合のみ、非対称分割における詳細分割割合に関わる情報（１／４又は３／４）を確認する。ｄが０である場合、左／右ブロック又は上／下ブロックにおいて、左ブロックと上ブロックとの割合は、１／４であり、右ブロックと下ブロックとの割合は、３／４である。ｄが１であると、逆になる。

（２）二分木分割のみが実行可能である場合、
前記表において、ａ以外のフラグであるｂからｅで、分割情報を表すことができる。

図４におけるブロックＡ７について、分割前のブロック（Ａ７～Ａ１１）において四分木分割を行うことができるため（つまり、四分木分割を行うことができるが、四分木分割を行うことなく、二分木分割を行った）、（１）における分割情報を生成する場合に属する。

逆に、Ａ８からＡ１１について、分割前のブロック（Ａ８～Ａ１１）において、四分木分割を行うことなく、二分木分割を行ったため（つまり、該ブロック＜Ａ８～Ａ１１＞において、四分木分割を更に行うことができない場合）、（２）における分割情報を生成する場合に属する。

（第３、左下ブロック、Ａ１２～Ａ１５）
本例は、複数ツリー方式の分割（本例における四分木、二分木、三分木）をサポートする場合として、複数のブロック分割設定により、取得可能なブロックの大きさ及び形状を決定することができる。本例において、二分木／三分木に対する最大符号化ブロックは６４×６４であり、最小符号化ブロックは、長さが４であり、最大分割深さが４であるものであると仮定する。

本例は、分割により取得可能なブロックが２つ以上である場合（本例において２、３、４個である）として、一回の分割操作に必要な分割情報は、分割を行うかどうかを示すフラグ、分割タイプを示すフラグ、分割方向を示すフラグであり、取得可能な候補は、４Ｍ×４Ｎ、４Ｍ×２Ｎ、２Ｍ×４Ｎ、４Ｍ×Ｎ／４Ｍ×２Ｎ／４Ｍ×Ｎ、Ｍ×４Ｎ／２Ｍ×４Ｎ／Ｍ×４Ｎであってもよい。

四分木分割範囲と二分木／三分木分割範囲が重なり合い、且つ現在ブロックが四分木分割により得られたブロックである場合、下記により区分を行い、分割情報を配置することができる。

（１）四分木分割と二分木／三分木分割が重なり合う場合

前記表において、ａは、四分木分割を行うかどうかを示すフラグであり、１であると、四分木分割を行うことを表す。前記フラグが０であると、二分木又は三分木分割を行うかどうかを示すフラグであるｂを確認する。ｂが０であると、該ブロックにおいて、分割を行わない。ｂが１であると、二分木又は三分木分割を行う。

ｃは、分割方向を示すフラグである。ｃが０であると、水平分割を行う。ｃが１であると、垂直分割を行う。ｄは、分割カテゴリを示すフラグである。ｄが０であると、二分木分割（ＢＴ）を行う。ｄが１であると、三分木分割（ＴＴ）を行う。

（２）二分木／三分木分割のみが実行可能である場合
前記表において、ａ以外のフラグであるｂからｄで、分割情報を表すことができる。

図４におけるブロックＡ１２、Ａ１５について、分割前のブロック（Ａ１２～Ａ１５）において四分木分割を行うことができるため、（１）における分割情報を生成する場合に属する。

逆に、Ａ１３及びＡ１４について、分割前のブロック（Ａ１３、Ａ１４）において、四分木分割を行うことなく、三分木分割を行ったため、（２）における分割情報を生成する場合に属する。

（第４、左下ブロック、Ａ１６～Ａ２０）
本例は、複数ツリー方式の分割（本例における四分木、二分木、三分木）をサポートする場合として、複数のブロック分割設定により、取得可能なブロックの大きさ及び形状を決定することができる。本例において、二分木／三分木に対する最大符号化ブロックは６４×６４であり、最小符号化ブロックは、長さが４であり、最大分割深さが４であるものであると仮定する。

本例は、分割により取得可能なブロックが２つ以上である場合（本例において２、３、４個である）として、一回の分割操作に必要な分割情報は、分割を行うかどうかを示すフラグ、分割カテゴリを示すフラグ、分割タイプを示すフラグ、分割方向を示すフラグであり、取得可能な候補は、４Ｍ×４Ｎ、４Ｍ×２Ｎ、２Ｍ×４Ｎ、４Ｍ×Ｎ／４Ｍ×３Ｎ、４Ｍ×３Ｎ／４Ｍ×Ｎ、Ｍ×４Ｎ／３Ｍ×４Ｎ、３Ｍ×４Ｎ／Ｍ×４Ｎ、４Ｍ×Ｎ／４Ｍ×２Ｎ／４Ｍ×Ｎ、Ｍ×４Ｎ／２Ｍ×４Ｎ／Ｍ×４Ｎであってもよい。

四分木分割範囲と二分木／三分木分割範囲が重なり合い、且つ現在ブロックが四分木分割により得られたブロックである場合、下記により区分を行い、分割情報を配置することができる。

（１）四分木分割と二分木／三分木分割が重なり合う場合

前記表において、ａは、四分木分割を行うかどうかを示すフラグであり、１であると、四分木分割を行う。前記フラグが０であると、二分木分割を行うかどうかを示すフラグであるｂを確認する。ｂが０であると、該ブロックで、分割を更に行わない。ｂが１であると、二分木又は三分木分割を行う。

ｃは、分割方向を示すフラグである。ｃが０であると、水平分割を行う。ｃが１であると、垂直分割を行う。ｄは、分割カテゴリを示すフラグである。ｄが０であると、三分木分割を行う。ｄが１であると、二分木分割を行う。ｄが１であると、分割タイプを示すフラグであるｅを確認し、ｅが０である場合に対称分割を行い、ｅが１である場合、非対称分割を行う。ｅが１である場合、非対称分割における詳細分割割合の情報を確認する。これは、前の例と同じである。

（２）二分木／三分木分割のみが実行可能である場合
前記表において、ａ以外のフラグであるｂからｆで、分割情報を表すことができる。

図４におけるブロックＡ２０について、分割前のブロック（Ａ１６～Ａ１９）において四分木分割を行うことができるため、（１）における分割情報を生成する場合に属する。

逆に、Ａ１６からＡ１９について、分割前のブロック（Ａ１６～Ａ１９）において、四分木分割を行うことなく、二分木分割を行ったため、（２）における分割情報を生成する場合に属する。

図５は、本発明の一実施例による行列に基づいて現在ブロックに対してイントラ予測を行う過程を示す図である。

図５を参照すると、現在ブロックのイントラ予測に用いられるイントラ予測モードを決定することができる（Ｓ５００）。

符号化／復号装置は、現在ブロックのイントラ予測を行う場合、イントラ予測モードを決定することができる。前記現在ブロックは、符号化ブロック（ＣＵ）、予測ブロック（ＰＵ）、変換ブロック（ＴＵ）、又はこれらのブロックのうちのいずれか１つであってもよい。

（実施例１）信号を伝達する情報に基づいて、前記イントラ予測モードを決定することができる。前記情報は、符号化／復号装置において予め定義されたＮ個のイントラ予測モードのうちのいずれか１つを指定することができる。前記予め定義されたイントラ予測モードは、現在ブロックを利用できる全てのイントラ予測モードを表す。Ｎは、６７以下であって１１以上である自然数（例えば、６７、３５、１１）であってもよい。なお、現在ブロックの大きさに基づいて、Ｎの値を決定することができる。例えば、現在ブロックが８×８未満である場合、Ｎは、３５であると決定される。そうでなければ、Ｎは、１９又は１１のうちのいずれか１つであると決定されてもよい。

（実施例２）符号化／復号装置で予め約束されたデフォルトモード又はインデックスにより、前記イントラ予測モードを決定することもできる。前記デフォルトモードは、Ｐｌａｎａｒ ｍｏｄｅ（インデックス０、ＤＣモード（インデックス１）、水平モード（インデックス１８）、垂直モード（インデックス５０）、対角線モード（インデックス２、３４、６６）のうちの少なくとも１つであってもよい。ここで、インデックスは、予め定義されたイントラ予測モードが６７個である場合に対応し、また、前記Ｎの値に基づいて、各モードのために、異なるインデックスを割り当てることができる。

（実施例３）符号化情報に基づいて、前記イントラ予測モードを可変に決定することができる。ここで、符号化情報は、符号化装置で符号化される、信号を伝達する情報を含んでもよいだけでなく、復号装置で信号を伝達する情報に基づいて導出された情報を含んでもよい。前記符号化情報は、現在ブロック又は隣接ブロックのうちの少なくとも１つに関わる情報である可能性がある。隣接ブロックは、現在ブロックの空間的及び／又は時間的隣接ブロックを含み、空間的隣接ブロックは、現在ブロックの左側、上層、左上層、左下層又は右上層のうちの少なくとも１つに隣接するブロックを表すことができる。

前記符号化情報は、ブロックの大きさ／形状、ブロックの利用可能性、分割タイプ、分割回数、成分タイプ、予測モード、イントラ予測モードに関わる情報、インターモード、動き情報、変換タイプ、変換スキップモード、ｎｏｎ－ｚｅｒｏ残差係数に関わる情報、走査順番、色フォーマット、ループフィルタ情報などを含んでもよい。前記ブロックの大きさは、幅又は高さのうちのいずれか１つ、幅及び高さにおける最小値／最大値、幅と高さの和、ブロックに属するサンプルの数などで表されてもよい。ブロックの位置、並行処理領域の範囲、復号順番などを考慮することで、前記ブロックの利用可能性を判定することができる。前記予測モードは、イントラモード又はインターモードを示すための情報を表すことができる。前記イントラ予測モードに関わる情報は、イントラ予測モードが非指向性モードであるかどうか、イントラ予測モードが垂直／水平モードであるかどうか、イントラ予測モードの方向性、符号化／復号装置で予め定義されたイントラ予測モードの数などに関わる情報を含んでもよい。前記インターモードは、マージ／スキップモード、ＡＭＶＰモード又は現在画像参照モードを示すための情報を表すことができる。前記現在画像参照モードは、現在画像の再構築された領域を利用して現在ブロックを予測する方法を表す。前記現在画像は、前記現在ブロックが属する画像であってもよい。前記現在画像を参照画像リストに加えて、インター予測を行うことができる。前記現在画像は、参照画像リストにおける近距離（ｓｈｏｒｔ－ｔｅｒｍ）参照画像又は長距離（ｌｏｎｇ－ｔｅｒｍ）参照画像の後に配列されてもよい。前記動き情報は、予測方向フラグ、動きベクトル、参照画像インデックス等を含んでもよい。

（実施例４）ＭＰＭリスト及びＭＰＭインデックスに基づいて前記イントラ予測モードを導出することもできる。前記ＭＰＭリストは、複数のＭＰＭを含む。現在ブロックの空間的／時間的隣接ブロックのイントラ予測モードに基づいて、ＭＰＭを決定することができる。ＭＰＭの数は、ｘであり、ｘは、３、４、５、６、又はより大きい整数であってもよい。

例えば、ＭＰＭリストは、隣接ブロックのイントラ予測モードｍｏｄｅ Ａ、（ｍｏｄｅ Ａ－ｎ）、（ｍｏｄｅ Ａ＋ｎ）又はデフォルトモードのうちの少なくとも１つを含んでもよい。前記ｎの値は、１、２、３、４又はより大きい整数であってもよい。前記隣接ブロックは、現在ブロックの左側及び／又は上層に隣接ブロックを表すことができる。デフォルトモードは、Ｐｌａｎａｒモード、ＤＣモード、又は所定の指向性モードのうちの少なくとも１つであってもよい。所定の指向性モードは、水平モード（ｍｏｄｅ Ｖ）、垂直モード（ｍｏｄｅ Ｈ）、（ｍｏｄｅ Ｖ－ｋ）、（ｍｏｄｅ Ｖ＋ｋ）、（ｍｏｄｅ Ｈ－ｋ）又は（ｍｏｄｅ Ｈ＋ｋ）のうちの少なくとも１つを含んでもよい。

前記ＭＰＭインデックスは、ＭＰＭリストにおけるＭＰＭのうち、現在ブロックのイントラ予測モードと同じであるＭＰＭを指定することができる。つまり、ＭＰＭインデックスにより指定されたＭＰＭは、現在ブロックのイントラ予測モードと設定されてもよい。

前記実施例１から４のうちのいずれか１つを選択的に利用して、現在ブロックのイントラ予測モードを決定することができる。また、実施例１から４のうちの少なくとも２つの組み合わせにより、現在ブロックのイントラ予測モードを決定することができる。所定のフラグを前記選択に用いることができる。この場合、フラグは、符号化装置により符号化されて、信号を伝送することができる。

図５を参照すると、現在ブロックのイントラ予測に用いられる参照サンプルを決定することができる（Ｓ５１０）。

前記参照サンプルは、現在ブロックの隣接領域（周辺領域）から導出されてもよい。前記現在ブロックの隣接領域は、前記現在ブロックの左側、右側、上層、左下層、左上層、右下層又は右上層のうちの少なくとも１つを含んでもよい。

前記隣接領域は、１つ又は１つ以上のサンプルラインを含んでもよい。具体的には、隣接領域に属するサンプルラインの数は、ｋ個であり、ｋは、１、２、３、４又はこれらよりも大きい自然数であってもよい。ｋの値は、符号化／復号装置で予め約束された固定値であってもよく、前記符号化情報に基づいて可変に決定されてもよい。例えば、現在ブロックが第１大きさ（ｅ．ｇ．、４×４、４×８、８×４）である場合、隣接領域は、１つのサンプルラインと配置されてもよい。現在ブロックが第２大きさ（ｅ．ｇ．、８×８、１６×１６等）である場合、隣接領域は、２つのサンプルラインと配置されてもよい。隣接領域の位置に基づいて、垂直方向又は水平方向で前記サンプルラインを決定することができる。また、前記サンプルラインは、現在ブロックと接触してもよく、現在ブロックを基準として垂直及び／又は水平方向で所定の距離だけ離れてもよい。

前記複数のサンプルラインは、現在ブロックを基準として垂直及び／又は水平方向で連続的に存在するか又は互いに所定の距離だけ離れてもよい。一実施例として、現在ブロックの上層に２つのサンプルラインが存在する場合、前記２つのラインのうちの最下層のサンプルラインから上向き方向へ、それぞれ第１、第２サンプルラインと命名する。この場合、第１サンプルラインと第２サンプルラインは、互いに接触してもよく、又は、所定の距離だけ離れてもよい。ここで、所定の距離は、ｉ個のライン長さ（即ち、幅又は高さ）で表されてもよい。ここで、ｉは、０、１、２、３又はより大きい自然数であってもよい。一実施例として、現在ブロックの上層に３つのサンプルラインが存在する場合、前記複数のラインのうちの最下層のサンプルラインから上向き方向へ、それぞれ第１、第２、第３サンプルラインと命名する。この場合、第１サンプルラインと第２サンプルラインは、互いに接触してもよく、第２サンプルラインと第３サンプルラインは、互いに接触してもよい。又は、第１から第３サンプルラインは、前記所定の距離だけ離れてもよい。この場合、第１サンプルラインと第２サンプルラインとの間隔（ｄ１）は、第２サンプルラインと第３サンプルラインとの間隔（ｄ２）と同じであってもよい。又は、ｄ１をｄ２よりおおきいように設定してもよい。逆に、ｄ１をｄ２未満であるように設定してもよい。一実施例として、現在ブロックの上層に４つ以上のサンプルラインが存在する場合、前記３つのサンプルラインの場合と同様な方法で、前記４つのサンプルラインを決定することができる。なお、本実施例は、上層に位置するサンプルラインに適用できるだけでなく、同様に、左側に位置するサンプルラインにも適用できる。ここで、具体的な説明を省略する。

隣接領域に属するサンプルの全て又は一部を利用することで、前記参照サンプルを導出することができる。

（実施例１）前記隣接領域の幾つかのサンプルは、符号化／復号装置で予め約束された位置でのサンプルであってもよい。前記予め約束された位置は、上層サンプルラインの最左側サンプル、最右側サンプル又は中間サンプルのうちの少なくとも１つを含んでもよい。前記予め約束された位置は、左側サンプルラインの最上層サンプル、最下層サンプル又は中間サンプルのうちの少なくとも１つを含んでもよい。又は、予め約束された位置は、上層及び／又は左側サンプルラインの第奇数番目のサンプルのうちの少なくとも１つ、又は第奇数番目のサンプルのうちの少なくとも１つを含んでもよい。又は、予め約束された位置は、上層サンプルラインのサンプルのうち、ｊの倍数のｘ座標を有するサンプル、又は、左側サンプルラインのサンプルのうち、ｊの倍数のｙ座標を有するサンプルを含んでもよい。ここで、ｊは、２、３、４又はより大きい自然数であってもよい。

（実施例２）符号化情報に基づいて、前記隣接領域の幾つかのサンプルを可変に決定することもできる。ここで、符号化情報は、上述したとおりである。ここで、詳細な説明を省略する。

前記実施例１又は２のうちのいずれか１つを選択的に利用するか又は実施例１と２の組み合わせを利用することで、幾つかのサンプルを指定することができる。この場合、上述したように、同様に、幾つかのサンプル間の間隔を設定することもできるが、これに限定されない。幾つかのサンプル間の間隔を異なるように設定することもできる。

前記幾つかのサンプルの数は、符号化／復号装置で予め定義された１つ、２つ、３つ、４つ又はそれ以上であってもよい。なお、現在ブロックの左側隣接領域及び上層隣接領域について、それぞれ、幾つかのサンプルの数を異なるように定義することができる。例えば、現在ブロックの幅が高さより大きい場合、上層隣接領域に属する幾つかのサンプルの数（ｎｕｍＳａｍＡ）は、左側隣接領域に属する幾つかのサンプルの数（ｎｕｍＳａｍＬ）より大きくてもよい。逆に、現在ブロックの幅が高さよりも小さい場合、ｎｕｍＳａｍＡは、ｎｕｍＳａｍＬより小さくてもよい。又は、前記符号化情報に基づいて、幾つかのサンプルの数を可変に決定することもできる。

前記隣接領域のサンプルは、予測サンプル又は再構築サンプルであってもよい。イントラ予測又はインター予測により、前記予測サンプルを得ることができる。前記再構築サンプルは、ループフィルタを適用する前の再構築サンプルであってもよく、ループフィルタを適用した後の再構築サンプルであってもよい。

なお、参照サンプルは、隣接領域のサンプルにより直接的に導出されてもよく（ＣＡＳＥ １）、又は、隣接領域のサンプルに対してダウンサンプリングを行う方式で導出されてもよい（ＣＡＳＥ ２）。前記ＣＡＳＥ １及びＣＡＳＥ ２のうちのいずれか１つを選択的に利用することができる。前記符号化情報に基づいて前記選択を行うことができる。例えば、現在ブロックの大きさが所定の閾値未満である場合、ＣＡＳＥ １に基づいて参照サンプルを導出することができる。そうでなければ、ＣＡＳＥ ２に基づいて参照サンプルを導出することができる。ここで、大きさは、現在ブロックの幅、高さ、幅と高さの最大値／最小値、幅と高さの比又は幅と高さの積のうちのいずれか１つで表されてもよい。一例として、現在ブロックが８×８未満である場合、隣接領域のサンプルにより、参照サンプルを導出することができる。そうでなければ、隣接領域のサンプルに対してダウンサンプリングを行うことで、参照サンプルを導出することができる。前記ダウンサンプリング方法について、図６及び図７を参照しながら、更に説明する。

図５を参照すると、行列に基づくイントラ予測に用いられる行列を決定することができる（Ｓ５２０）。

ステップＳ５００で決定されたイントラ予測モード又は現在ブロックの大きさのうちの少なくとも１つにより、前記行列を決定することができる。又は、現在ブロックのイントラ予測モードのみを考慮するように制限することで、前記行列を決定することができる。又は、現在ブロックの大きさのみを考慮するように制限することで、前記行列を決定することができる。前記大きさは、幅又は高さのうちのいずれか１つの、幅と高さの最小値／最大値、幅と高さの和、現在ブロックに属するサンプルの数などで表されてもよい。しかしながら、これに限定されず、現在ブロックに関わる符号化情報を更に考慮することで前記行列を決定することができる。ここで、符号化情報は、上述したとおりである。ここで、詳細な説明を省略する。

具体的には、符号化／復号装置で予め約束された行列は、複数の行列群に分けられてもよい。前記複数の行列群は、第１行列群、第２行列群、…、第ｍ行列群で構成されてもよい。ここで、ｍは、２、３、４、５又はより大きい自然数であってもよい。現在ブロックの大きさに基づいて、現在ブロックは、複数の行列群のうちのいずれか１つを選択的に利用することができる。例えば、現在ブロックの大きさが４×４である場合、第１行列群を利用することができる。現在ブロックの大きさが８×４、４×８及び８×８である場合、第２行列群を利用することができる。また、これ以外の場合、第３行列群を利用することができる。現在ブロックの大きさに基づいて選択された行列群は、１つ又は１つ以上の行列候補を含んでもよい。現在ブロックの行列により、複数の行列候補のうちのいずれか１つを決定することができる。現在ブロックの符号化情報（ｅ．ｇ．、イントラ予測モード）に基づいて前記決定を行うことができる。

前記予め約束された行列の数は、前記予め定義されたイントラ予測モードの数と同じ出会ってもよい。なお、前記予め約束された行列の数は、前記予め定義されたイントラ予測モードの数未満であってもよい。この場合、１つの行列は、複数のイントラ予測モードとマッチングすることができる。例えば、１つの行列は、２つのイントラ予測モードとマッチングすることができる。この場合、前記予め約束された行列の数は、予め定義されたイントラ予測モードの数の１／２倍の値であってもよい。しかしながら、これに限定されず、１つの行列とマッチングしたイントラ予測モードの数は、３つ、４つ、５つ、６つ又はそれ以上であってもよい。

一実施例として、イントラ予測モードの方向性及び／又は対称性を考慮することで前記マッチングを決定することができる。

予め定義されたイントラ予測モードは、所定の角度を有する指向性モードを含んでもよい。指向性モードは、水平方向性を有する第１モード群及び垂直方向性を有する第２モード群に分けられてもよい。指向性モードの数が６５個であるとすれば、前記第１モード群は、インデックス２からインデックス３４に属するモードとなるように設定されてもよく、前記第２モード群は、インデックス３４からインデックス６６に属するモードとなるように設定されてもよい。

符号化／復号装置は、第１モード群に対する行列のみを定義する。第２モード群は同様に、第１モード群にたいして定義された行列を利用することができる。逆に、符号化／復号装置は、第２モード群に対する行列のみを定義する。第１モード群は同様に、第２モード群にたいして定義された行列を利用することができる。この場合、予め約束された行列の数は、予め定義されたイントラ予測モードの数の１／２倍の値であってもよい。一実施例として、前記対称性を有するモード群がｘ個である場合、前記予め約束された行列の数は、予め定義されたイントラ予測モードの数の１／ｘ倍の値であってもよい。ここで、ｘは、３、４又はそれ以上であってもよい。

前記対称性は、－４５°の角度を有するイントラ予測モードを基準として、垂直方向性を有するモードと水平方向性を有するモードとの間の予測角度の対称性を含んでもよい。ここで、方向性を有するイントラ予測モードは、各方向性による予測角度（ＰｒｅｄＡｎｇｌｅ）を有する。ここで、垂直方向性を有するモードは、前記角度が－４５°であるイントラ予測モードを基準として、該モード及び該モードからｘ軸方向に沿って－４５°＜（ＰｒｅｄＡｎｇｌｅ）－４５°の角度を有するモードを含んでもよい。ここで、水平方向性を有するモードは、前記角度が－４５°であるイントラ予測モードを基準として、該モード以外の該モードからｙ軸方向に沿って－４５°＜（ＰｒｅｄＡｎｇｌｅ）－４５°の角度を有するモードを含んでもよい。

図５を参照すると、参照サンプル及び行列に基づいて、現在ブロックを予測することができる（Ｓ５３０）。

ステップＳ５１０で参照サンプルを決定し、ステップＳ５２０で行列を決定する場合、符号化／復号装置は、前記参照サンプル及び行列に基づいて、現在ブロックを予測することができる。

現在ブロックを予測するステップは、前記行列を前記参照サンプルに適用し、ＤＳブロックの予測サンプル（以下、第１予測サンプルと呼ばれる）を得るステップを含んでもよい。前記ＤＳブロックは、現在ブロックを表すことができ、ダウンサンプリングされた現在ブロックを表すこともできる。つまり、ＤＳブロックは、現在ブロックと同様の大きさを有してもよい。現在ブロックの大きさは、（幅又は高さのうちの少なくとも１つ）の１／２、１／４、１／８又は１／１６の大きさを有してもよい。例えば、現在ブロックが４×４、４×８又は８×４ブロックである場合、ＤＳブロックは、４×４ブロックであってもよい。又は、現在ブロックが８×８、８×１６又は１６×８ブロックである場合、ＤＳブロックは、４×４又は８×８ブロックであってもよい。又は、現在ブロックが１６×１６以上である場合、ＤＳブロックは、８×８又は１６×１６ブロックであってもよい。しかしながら、ＤＳブロックは、正方形ブロックに限定されず、非正方形ブロックであってもよい。又は、ＤＳブロックは、正方形ブロックに限定されてもよい。ここで、前記行列の適用は、前記参照サンプルに前記行列から得られた重み値を乗じることを含んでもよい。

前記第１予測サンプルを得るステップは、ｏｆｆｓｅｔ値を加えるステップ又はフィルタリングステップのうちの少なくとも１つを含んでもよい。

前記第１予測サンプルを得るステップは、第１予測サンプルに対して再配列を行うステップを更に含んでもよい。１つの行列が複数のイントラ予測モードとマッチングする場合のみ、前記再配列を行ってもよい。

又は、現在ブロックのイントラ予測モードが、水平方向性を有する第１モード群に属する場合、前記再配列を行うことができる。例えば、現在ブロックのイントラ予測モードが、水平方向性を有する第１モード群に属する場合、ＤＳブロックの第１予測サンプルの再配列を行う。現在ブロックのイントラ予測モードが、垂直方向性を有する第２モード群に属する場合、ＤＳブロックの第１予測サンプルの再配列を行わなくてもよい。

逆に、現在ブロックのイントラ予測モードが、垂直方向性を有する第１モード群に属する場合、前記再配列を行うことができる。例えば、現在ブロックのイントラ予測モードが、水平方向性を有する第１モード群に属する場合、ＤＳブロックの第１予測サンプルの再配列を行わない。現在ブロックのイントラ予測モードが、垂直方向性を有する第２モード群に属する場合、ＤＳブロックの第１予測サンプルの再配列を行うことができる。

下記式１のように、前記再配列を行うことができる。ここで、ｘは、×軸座標値を表すことができ、ｙは、ｙ軸座標値を表すことができる。つまり、前記再配列は、（ｘ，ｙ）座標の第１予測サンプルを（ｙ，ｘ）座標に割り当てる過程を表すことができる。

［式１］
第１予測サンプル［ｘ］［ｙ］ ＝第１予測サンプル［ｙ］［ｘ］
又は、本発明の再配列は、第１予測サンプルからなるＤＳブロックが所定の角度で回転する過程を表すこともできる。ここｄえ、所定の角度は、時計回し方向での９０度又は１８０度を表すことができ、逆時計回り方向での９０度又は１８０度を表すこともできる。

現在ブロックを予測するステップは、隣接する再構築されたサンプル又は前記第１予測サンプルのうちの少なくとも１つに基づいて、前記現在ブロックに対してアップサンプリングを行い、第２予測サンプルを得るステップを更に含んでもよい。

前記アップサンプリング過程において、現在ブロックの符号化情報に基づいて、前記アップサンプリングを行うかどうか又はアップサンプリングを行う方法のうちの少なくとも１つを決定することができる。例えば、前記第１予測サンプルからなるＤＳブロックの大きさ及び現在ブロックの大きさに基づいて、前記アップサンプリングを行うかどうか又はアップサンプリングを行う方法のうちの少なくとも１つを決定することができる。前記ブロックの大きさは、幅又は高さのうちのいずれか１つ、幅及び高さの最小値／最大値、幅と高さの和、ブロックに属するサンプルの数などで表すことができる。

前記第１予測サンプルからなるＤＳブロックの大きさが前記現在ブロックの大きさより小さい場合のみ、前記アップサンプリングを行うかどうかを決定することができる。

アップサンプリングを行う方法は、前記第１予測サンプルからなるＤＳブロックの大きさと前記現在ブロックの大きさの比を利用して、前記第１予測サンプルを前記現在ブロック内の所定の位置に割り当てるステップと、前記ブロック内の余剰領域に対して補間を行うステップと、を含んでもよい。前記余剰領域は、現在ブロックにおいて、前記第１予測サンプルに対して割当を行う領域以外の領域を表すことができる。図８から図１０を参照しながら、前記第１予測サンプルの割当及び余剰領域に対する補間方法を詳しく説明する。

図６は、本発明を適用できる一実施例による隣接ブロックに対してダウンサンプリングを行うことで参照サンプルを決定する方法を示す図である。

図６を参照すると、図６における（ａ）は、イントラ予測に用いられる隣接領域が現在ブロックの左側及び上層に位置する場合を示す。なお、一実施例として、現在ブロックの左側に位置するサンプルラインは、現在ブロックと接触し、また、垂直方向での１つのサンプルラインからなる。現在ブロックの上層に位置するサンプルラインは、現在ブロックと接触し、また、水平方向での１つのサンプルラインからなる。

前記参照サンプルは、前記現在ブロックの隣接領域に対してダウンサンプリングを行うことで形成されたダウンサンプリング領域を含んでもよい。

前記隣接領域に属する全て又は幾つかのサンプルの平均値、最大値、最小値、モード、又はフィルタリングされた値から前記ダウンサンプリングを同ｓｙツウすることができる。

前記平均値から導出する場合、異なるＮ個のサンプルの平均値をダウンサンプリング領域のサンプルに割り当てる方法で、前記ダウンサンプリング領域を形成することができる。

前記異なるＮ個のサンプルは、連続的に配列されたサンプルであってもよく、又は所定の間隔をあけてもよい。前記所定の間隔は、１つ又は１つ以上のサンプルの大きさの間隔である。前記間隔が複数である場合、前記複数の間隔は、均一なもの又は不均一なものであってもよい。（ここで、Ｎは、２より大きくて、且つ前記隣接領域に属するサンプルの総数未満である。）なお、前記異なるＮ個のサンプルの組み合わせをサンプルグループと呼ぶ。この場合、第１サンプルグループと第２サンプルグループは、重なりあっても重なり合わなくてもよい。

一実施例として、図６は、Ｎが２であり、２つのサンプルグループが互いに重なり合わず、各サンプルグループに属する２つのサンプルの平均値をダウンサンプリング領域における１つのサンプルに割り当て、ダウンサンプリングを行う場合を示す。

又は、連続した３つのサンプル（Ｓ１、Ｓ２、Ｓ３）は、第１サンプルグループを構成することができ、また、第１サンプルグループに属する３つのサンプルの平均値をダウンサンプリング領域のサンプル（ＤＳ１）に割り当てることができる。連続した３つのサンプル（Ｓ２、Ｓ３、Ｓ４）は、第２サンプルグループを構成することができ、また、第２サンプルグループに属する３つのサンプルの平均値をダウンサンプリング領域のサンプル（ＤＳ２）に割り当てることができる。

又は、第１サンプルグループに属する２つのサンプル（Ｓ１、Ｓ２）のうちの最小値又は最大値を決定した後、それをダウンサンプリング領域のサンプル（ＤＳ１）に割り当てることができる。同様に、第２サンプルグループに属する２つのサンプル（Ｓ３、Ｓ４）のうちの最小値又は最大値を決定した後、それをダウンサンプリング領域のサンプル（ＤＳ２）に割り当てることができる。第１／第２サンプルグループが３つのサンプルで構成される場合にも、同様に利用可能である。

又は、上層隣接領域において、第１サンプルグループに属する複数のサンプルのうちの予め定義された位置でのサンプルは、ダウンサンプリング領域のサンプル（ＤＳ１）に割り当てられてもよい。第２サンプルグループに属する複数のサンプルのうちの予め定義された位置でのサンプルは、ダウンサンプリング領域のサンプル（ＤＳ２）に割り当てられてもよい。前記予め定義された位置は、符号化／復号装置で予め約束された固定位置を表すことができる。一例として、最左側、最右側又は中間位置のうちのいずれか１つであってもよい。左側隣接領域において、各サンプルグループに属する複数のサンプルのうちの予め定義された位置でのサンプルも、それぞれダウンサンプリング領域のサンプルに割り当てられてもよい。この場合、予め定義された位置は、最上層、最下層又は中間位置のうちのいずれか１つであってもよい。

図７は、本発明を適用できる一実施例による加重平均値に基づくダウンサンプリング方法を示す図である。

本実施例において、平均値は、下記式により算出されてもよい（以下、第１平均表現式と呼ばれる）。

サンプルグループに属するサンプルの和／サンプルの数
又は、下記式により算出されてもよい（以下、第２平均表現式と呼ばれる）
Ｓｕｍ（重み値×サンプルグループに属するサンプル）／サンプルの数
図７における（ａ）は、前記サンプルグループが３つのサンプルで構成される場合を示す。この場合、３つのサンプルに適用される重み値は、割合１：２：１と決定されてもよい。図７における（ｂ）に示すように、サンプルグループが５つのサンプルで構成される場合、前記重み値は、割合１：１：４：１：１と決定されてもよい。図７における（ｃ）に示すように、サンプルグループが６つのサンプルで構成される場合、前記重み値は、左側上層を開始点としてＺ方向で割合１：２：１：２：２：１又は１：２：２：１：２：１と決定されてもよい。なお、前記図７における（ａ）及び（ｃ）は、上層隣接領域に適用される重み値を示すが、これは、同様に左側隣接領域にも適用可能である。

前記平均値は、前記第１平均表現式又は第２平均表現式で算出された複数の平均値のうち、所定の演算を適用することで導出された結果値を含んでもよい。ここで、所定の演算は、前記第１平均表現式又は第２平均表現式であってもよい。例えば、３つのサンプル（即ち、第１から第３サンプル）がサンプルグループに属する場合、第１サンプルと第２サンプルとの平均値（第１値）及び第２サンプルと第３サンプルとの平均値（第２値）をそれぞれ算出することができる。算出された第１値と第２値との平均値から、前記平均値を導出することができる。

前記ダウンサンプリング方法は、上層隣接領域のみに適用されてもよい。逆に、左側隣接領域のみに適用されてもよい。又は、図６によるダウンサンプリング方法（以下、第１方法と呼ばれる）は、上層又は左側隣接領域のうちのいずれか１つに適用可能であり、図７によるダウンサンプリング方法（以下、第２方法と呼ばれる）は、上層又は左側隣接領域のうちのもう１つに適用可能である。

なお、現在ブロックの大きさ／形状を考慮すると、第１方法又は第２方法のうちの少なくとも１つを選択的に利用することができる。例えば、現在ブロックの幅が所定の閾値より大きい場合、第１方法は、現在ブロックの上層隣接領域に適用可能であり、そうでなければ、第２方法が適用可能である。同様な方式で、現在ブロックの高さに対してダウンサンプリングを行うこともできる。又は、現在ブロックが非正方形である場合、第１方法は、上層又は左側隣接領域のうちのいずれか１つに適用可能であり、第２方法は、もう１つの領域に適用可能である。この場合、現在ブロックの幅が高さより大きい場合、第１方法は、上層隣接領域に適用可能であり、第２方法は、左側隣接領域に適用可能である。逆に、現在ブロックの幅が高さより小さい場合、第２方法は、上層隣接領域に適用可能であり、第１方法は、左側隣接領域に適用可能である。現在ブロックが正方形である場合、上層及び左側隣接領域において、同様なダウンサンプリング方法を用いることができる。ここで、ダウンサンプリング方法は、前記第１方法に限定されてもよい。

図８は、本発明を適用できる一実施例による第１予測サンプルの分割及び他の領域に対する補間を行う方法を示す図である。

図８における（ａ）を参照すると、ＤＳブロックの予測サンプルは、現在ブロックにおける所定の位置での予測サンプルに割り当てられてもよい。ここで、現在ブロックとＤＳブロックとの大きさの比を考慮することで、所定の位置を決定することができる。例えば、ＤＳブロックと現在ブロックとの予測サンプルの対応関係は、式２で定義されてもよい。

［式２］
第１予測サンプルｃｕｒＢＬＫ［（ｘ＋１）×ｒ－１］［（ｙ＋１）×ｒ－１］＝第１予測サンプルｄｓＢＬＫ［ｘ］［ｙ］
ここで、ｒは、現在ブロックとＤＳブロックとの大きさの比を表し、ｘ、ｙはそれぞれ、各ＤＳブロック内の第１予測サンプルのｘ軸、ｙ軸座標である。第１予測サンプルｃｕｒＢＬＫは、現在ブロック内の第１予測サンプルの位置を表すことができ、第１予測サンプルｄｓＢＬＫは、ＤＳブロック内の第１予測サンプルの位置を表すことができる。

前記補間について、図８における（ｂ）に示すように、現在ブロックに割り当てられた前記第１予測サンプル又は前記現在ブロックに隣接する再構築されたサンプルのうちの少なくとも１つ（以下、補間参照サンプルと呼ばれる）を利用して、現在ブロックにおいて前記第１予測サンプルに対して割当が行われていないサンプル（以下、補間対称サンプルと呼ばれる）を導出することができる。なお、前記補間参照サンプルは、現在補間対象サンプルの前に補間により生成された予測サンプル（即ち、直前の補間対象サンプル）を更に含んでもよい。

前記現在ブロックに隣接する再構築されたサンプルの位置及び範囲は、前記参照サンプルと同じである。ここで、詳細な説明を省略する。

補間対象サンプルの位置によれば、前記補間参照サンプルは、複数の第１予測サンプルで構成されてもよく、又は、少なくとも１つの第１予測サンプル及び少なくとも１つの再構築された隣接サンプルで構成されてもよい。前記再構築された隣接サンプルは、補間対象サンプルと同じであるｘ座標又はｙ座標サンプルのうちのいずれか１つを選択的に利用することができ、又は、ｘ座標又はｙ座標のうちの少なくとも１つ及び補間対象サンプルの複数のサンプルを利用することができる。補間対象サンプルの位置に基づいて前記選択を行うことができる。例えば、補間対象サンプルが第１予測サンプルと同様なｘ座標を有する場合、再構築された隣接サンプルは、補間対象サンプルと同様なｘ座標を有するサンプルのみを含んでもよい。逆に、補間対象サンプルが、第１予測サンプルと同様なｙ座標を有する場合、再構築された隣接サンプルは、補間対象サンプルと同様なｙ座標を有するサンプルのみを含んでもよい。又は、再構築された隣接サンプルは、補間対象サンプルと同様な水平及び垂直線に位置する複数のサンプルを含んでもよい。

前記補間対象サンプルは、複数の補間参照サンプルの代表値から導出されてもよい。ここで、代表値は、平均値、最小値、最大値、最頻値又は中間値のうちのいずれか１つを含んでもよい。

前記平均値は、下記式で算出されてもよい（以下、第１平均表現式と呼ばれる）。

差分値参照サンプルの和／差分値参照サンプルの数
又は、下記式で算出されてもよい（以下、第２平均表現式と呼ばれる）。

Ｓｕｍ（重み値×差分値参照サンプル）／差分値参照サンプルの数
補間対象サンプルと補間参照サンプルとの相対的／絶対的距離に基づいて、第２平均表現式による重み値を決定することができる。これについて、図９を参照しながら、詳しく説明する。

図９は、本発明を適用できる一実施例による補間ステップにおいて距離に対する重み値を割り当てることを示す図である。

本発明の重み値は、補間対象サンプルから補間参照サンプルまでの距離に基づいて決定された重み値を含んでもよい。一実施例として、図９を参照すると、第１補間対象サンプル９１０に対して補間を行うと、第１補間対象サンプル９１０から第１補間参照サンプル９１１までの距離と第１補間対象サンプル９１０から第２補間参照サンプル９１２までの距離との比が３：１であるため、第１補間参照サンプル９１１及び第２補間参照サンプルに適用される重み値の比は、１：３であってもよい。第２補間対象サンプル９２０に対して補間を行うと、第２補間対象サンプル９２０から各第１補間参照サンプル９２１までの距離と第２補間対象サンプル９２０から第２補間参照サンプル９２２までの距離との比が１：１であるため、第１補間参照サンプル及び第２補間参照サンプル９２１、９２２に適用される重み値の比は、１：１であってもよい。

なお、本発明の補間フィルタは、方向性を有してもよい。前記方向性は、垂直、水平、ｚ型、対角線などの方向を含んでもよい。

所定の有線順位に基づいて前記補間を行うことができる。前記優先順位は、垂直方向で補間を行った後に、水平方向で補間を行うこと（第１順番）又は水平方向で補間を行った後に、垂直方向で補間を行うこと（第２順番）のうちのいずれか１つであってもよい。又は、垂直及び水平方向で同時に補間を行うこと（第３順番）であってもよい。

前記第１順番から第３順番のうちのいずれか１つのみを利用して現在ブロックに対して補間を行うことができる。又は、第１順番から第３順番のうちの少なくとも２つの組み合わせを利用して補間を行うことができる。補間順番について、図１０を参照して詳細に了解できる。

図１０は、本発明を適用できる一実施例による補間ステップの順番を示す図である。

図１０における（ａ）は、図９における第１順番である。具体的には、まず、第１予測サンプルが属する垂直線に対して補間を行い、続いて、補間された線及び現在ブロックの左側の補間参照サンプルに基づいて、水平線に対して補間を行うことができる。

図１０の（ｂ）は、図９における第２順番である。具体的には、まず、第１予測サンプルが属する水平線に対して補間を行い、続いて、補間された線及び現在ブロックの上層の補間参照サンプルに基づいて、垂直線に対して補間を行うことができる。

図１０における（ｃ）は、図９における第３順番である。まず、第１予測サンプルが属する垂直及び水平線に対して補間を行う。続いて、補間されていない余剰サンプルに対して補間を行う。この場合、垂直線又は水平線のみに対して補間を行うことができ、又は、垂直及び水平線に対して同時に補間を行うことができる。前記垂直及び水平線に対して同時に補間を行う場合、１つの補間対象サンプルは、垂直線における第１補間値及び水平線における第２補間値を同時に有してもよい。この場合、第１補間値と第２補間値との代表値を前記補間対象サンプルに割り当てることができる。ここで、平均値、最小値、最大値、最頻値又は中間値から、代表値を導出することができる。

前記補間順番は、符号化／復号装置で予め約束された順番であってもよく、又は、現在ブロックの符号化情報に基づいて選択的に決定されてもよい。ここで、符号化情報は、上述したとおりである。従って、ここで、詳細な説明を省略する。

ブロックの大きさに基づいて前記順番を決定することができる。前記ブロックの大きさは、幅又は高さのうちのいずれか１つ、幅と高さの最小値／最大値、幅と高さの和、ブロックに属するサンプルの数などで表されてもよい。

例えば、現在ブロックの大きさが所定の閾値より大きい場合、前記第１補間を行うことができる。そうでなければ、前記第２補間を行うことができる。逆に、現在ブロックの大きさが所定の閾値未満である場合、前記第２補間を行うことができ、そうでなければ、前記第１補間を行うことができる。前記閾値は、８、１６、３２又はより大きい自然数であってもよい。

Claims (16)

1. ビデオ信号処理方法であって、デコーダーによって実行され、
   現在ブロックのイントラ予測モードを決定するステップと、
   前記現在ブロックのイントラ予測に用いられる参照サンプルを決定するステップと、
   前記イントラ予測モードに基づいて、所定の行列を決定するステップと、
   前記参照サンプル及び行列に基づいて、前記現在ブロックを予測するステップと、を含み、
   前記参照サンプル及び行列に基づいて、前記現在ブロックを予測するステップは、
   前記参照サンプルに前記行列を適用することで予測ブロックを生成するステップを含み、
   前記行列は、前記現在ブロックの符号化情報を更に考慮することで決定され、
   前記符号化情報は、前記現在ブロックの大きさ及び形状を含む、ビデオ信号処理方法。
2. 前記参照サンプルを決定するステップは、
   前記現在ブロックの隣接領域を決定するステップと、
   前記決定された隣接領域に対してダウンサンプリングを行うステップと、を含み、
   前記隣接領域は、複数のサンプルグループに分けられ、
   前記サンプルグループは、１つ又は１つ以上のサンプルからなり、
   前記サンプルグループの代表値は、前記参照サンプルで決定され、
   前記代表値は、平均値、最小値、最大値、最頻値又は中間値のうちのいずれか１つである
   請求項１に記載のビデオ信号処理方法。
3. 前記参照サンプル及び行列に基づいて、前記現在ブロックを予測するステップは、
   前記生成された予測ブロックの全て又は一部の予測サンプルを再配列するステップを更に含む
   請求項１に記載のビデオ信号処理方法。
4. 前記参照サンプル及び行列に基づいて、前記現在ブロックを予測するステップは、
   前記予測ブロック又は前記現在ブロックに隣接する再構築されたサンプルのうちの少なくとも１つに基づいて、前記現在ブロックに対して補間を行うことを更に含む
   請求項１に記載のビデオ信号処理方法。
5. ビデオ信号処理方法であって、エンコーダーによって実行され、
   現在ブロックのイントラ予測モードを決定するステップと、
   前記現在ブロックのイントラ予測に用いられる参照サンプルを決定するステップと、
   前記イントラ予測モードに基づいて、所定の行列を決定するステップと、
   前記参照サンプル及び行列に基づいて、前記現在ブロックを予測するステップと、を含み、
   前記参照サンプル及び行列に基づいて、前記現在ブロックを予測するステップは、
   前記参照サンプルに前記行列を適用することで予測ブロックを生成するステップを含み、
   前記行列は、前記現在ブロックの符号化情報を更に考慮することで決定され、
   前記符号化情報は、前記現在ブロックの大きさ及び形状を含む、ビデオ信号処理方法。
6. 前記参照サンプルを決定するステップは、
   前記現在ブロックの隣接領域を決定するステップと、
   前記決定された隣接領域に対してダウンサンプリングを行うステップと、を含み、
   前記隣接領域は、複数のサンプルグループに分けられ、
   前記サンプルグループは、１つ又は１つ以上のサンプルからなり、
   前記サンプルグループの代表値は、前記参照サンプルで決定され、
   前記代表値は、平均値、最小値、最大値、最頻値又は中間値のうちのいずれか１つである
   請求項５に記載のビデオ信号処理方法。
7. 前記参照サンプル及び行列に基づいて、前記現在ブロックを予測するステップは、
   前記生成された予測ブロックの全て又は一部の予測サンプルを再配列するステップを更に含む
   請求項５に記載のビデオ信号処理方法。
8. 前記参照サンプル及び行列に基づいて、前記現在ブロックを予測するステップは、
   前記予測ブロック又は前記現在ブロックに隣接する再構築されたサンプルのうちの少なくとも１つに基づいて、前記現在ブロックに対して補間を行うことを更に含む
   請求項５に記載のビデオ信号処理方法。
9. ビデオ信号処理用の復号装置であって、
   現在ブロックのイントラ予測モードを決定するように構成される第１決定ユニットと、
   前記現在ブロックのイントラ予測に用いられる参照サンプルを決定するように構成される第２決定ユニットと、
   前記イントラ予測モードに基づいて、所定の行列を決定するように構成される第３決定ユニットと、
   前記参照サンプルに前記行列を適用することで予測ブロックを生成するように構成される生成ユニットと、を含み、
   前記行列は、前記現在ブロックの符号化情報を更に考慮することで決定され、
   前記符号化情報は、前記現在ブロックの大きさ及び形状を含む、ビデオ信号処理用の復号装置。
10. 前記第２決定ユニットはさらに、
    前記現在ブロックの隣接領域を決定し、
    前記決定された隣接領域に対してダウンサンプリングを行うように構成され、
    前記隣接領域は、複数のサンプルグループに分けられ、
    前記サンプルグループは、１つ又は１つ以上のサンプルからなり、
    前記サンプルグループの代表値は、前記参照サンプルで決定され、
    前記代表値は、平均値、最小値、最大値、最頻値又は中間値のうちのいずれか１つである
    請求項９に記載のビデオ信号処理用の復号装置。
11. 前記生成ユニットはさらに、
    前記生成された予測ブロックの全て又は一部の予測サンプルを再配列するように構成される
    請求項９に記載のビデオ信号処理用の復号装置。
12. 前記生成ユニットはさらに、
    前記予測ブロック又は前記現在ブロックに隣接する再構築されたサンプルのうちの少なくとも１つに基づいて、前記現在ブロックに対して補間を行うように構成される
    請求項９に記載のビデオ信号処理用の復号装置。
13. ビデオ信号処理用の符号化装置であって、
    現在ブロックのイントラ予測モードを決定するように構成される第１決定ユニットと、
    前記現在ブロックのイントラ予測に用いられる参照サンプルを決定するように構成される第２決定ユニットと、
    前記イントラ予測モードに基づいて、所定の行列を決定するように構成される第３決定ユニットと、
    前記参照サンプルに前記行列を適用することで予測ブロックを生成するように構成される生成ユニットと、を含み、
    前記行列は、前記現在ブロックの符号化情報を更に考慮することで決定され、
    前記符号化情報は、前記現在ブロックの大きさ及び形状を含む、ビデオ信号処理用の符号化装置。
14. 前記第２決定ユニットはさらに、
    前記現在ブロックの隣接領域を決定し、
    前記決定された隣接領域に対してダウンサンプリングを行うように構成され、
    前記隣接領域は、複数のサンプルグループに分けられ、
    前記サンプルグループは、１つ又は１つ以上のサンプルからなり、
    前記サンプルグループの代表値は、前記参照サンプルで決定され、
    前記代表値は、平均値、最小値、最大値、最頻値又は中間値のうちのいずれか１つである
    請求項１３に記載のビデオ信号処理用の符号化装置。
15. 前記生成ユニットはさらに、
    前記生成された予測ブロックの全て又は一部の予測サンプルを再配列するように構成される
    請求項１３に記載のビデオ信号処理用の符号化装置。
16. 前記生成ユニットはさらに、
    前記予測ブロック又は前記現在ブロックに隣接する再構築されたサンプルのうちの少なくとも１つに基づいて、前記現在ブロックに対して補間を行うように構成される
    請求項１３に記載のビデオ信号処理用の符号化装置。

Images