JP7253564B2 - パディングのためのイントラ予測モードを選択する装置 - Google Patents

Description

本出願は、ビデオコーディング／復号に関する。

Ｈ．２６１以降、最新技術のＩＴＵ Ｔ Ｈ．２６５｜ＭＰＥＧ Ｈ ＨＥＶＣビデオコーディング規格（ｒｅｆｅｒｅｎｃｅ １：ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ．高効率ビデオコーディング．ＩＴＵ－Ｔ推奨 Ｈ．２６５｜ＩＳＯ／ＩＥＣ ２３００８ １０（ＨＥＶＣ）， ｅｄｉｔｉｏｎ １， ２０１３； ｅｄｉｔｉｏｎ ２， ２０１４）を含むすべてのビデオコーディング規格は、ブロックベースのハイブリッドビデオコーディングの基本概念に依存している。ここで、各色成分の入力信号は、予測、変換、量子化、およびエントロピーコーディングに基づいて、ハイブリッドビデオコーディングスキームを用いて符号化される互いに素なブロックにセグメント化される。したがって、符号化及び復号アルゴリズムにおける最初のステップの１つは、現在のブロックの予測信号の生成であり、これは空間的又は時間的予測スキームのいずれかによって行われる。時間的予測の場合、予測信号は、参照フレームと表記される、既に処理されたフレームから導出される。この目的のために、変位ベクトルは、現在のコード化されたブロックの位置に対する、参照フレーム内の予測信号のオフセットを指定する。この時間的予測スキームは、並進運動補償予測としても知られている。この意味で、変位ベクトルは、動きベクトルと表記される。

動きベクトルがサブピクセル精度を有することを可能にするために、予測信号は、補間フィルタを使用して計算される。さらに、予測信号は、それぞれ異なる動きベクトル及び／又は異なる参照フレームによって指定される、複数の予測信号の重ね合わせによって構成することができる。予測信号の最終的な計算と構成に関係なく、基本的な原理は同じである。参照フレーム内の参照ブロックエリアは、追加の動きベクトルによって変位された、現在のコード化されたブロックの位置及びサイズによって決定される。補間フィルタが用いられる場合、用いられるフィルタタップの数に応じて、このエリアは各側に拡張されなければならない。次いで、参照ブロックエリア内のピクセルは、現在のコード化されたブロックの時間的予測信号を生成するのに用いられる。普通は、参照ブロックエリアは、再構成された参照フレーム内にある。それにもかかわらず、参照ブロックエリアは、再構成されたフレームエリアと完全には重ならない場合があり、これは参照ピクセルエリアの一部が参照フレームエリア外にあり得ることを意味する。

現在のビデオコーディング規格では、参照ピクチャ、すなわち、参照フレームエリア外の参照部分、すなわち、参照ピクセルエリアを取り扱うための基本的な手法は、動きベクトルを制限するか又は参照フレームエリアを延長することである。例えば、Ｈ．２６１では、すべての参照ピクセルが参照フレームエリア内にある、すなわち、参照ピクチャのサンプル部分のすべてのサンプルが参照フレームの境界内に存在するように、動きベクトルはピクチャ境界に制限される。代替的に、Ｈ．２６４／Ｈ．２６５では、境界パディングと呼ばれるプロセスを用いて、既に再構成された参照フレームが図１６に示すように延長される。すなわち、境界ピクセル（境界サンプル１１０）がパディングエリア（参照ピクチャ１０１外の領域）にコピーされ、これはフレーム境界１０６に垂直な境界ピクセルのイントラ予測として見ることができる。ここで、参照フレームのエッジで、エッジピクセルは、図１６に示すようにエッジピクセルの近傍にある参照フレーム１０１エリア外の残りのエリアへさらにコピーされる。

さらに、境界パディングの公知の手法は、全方向投影を使用して周囲のカメラを長方形のビデオピクチャ平面上にマッピングする全方向又は３６０°ビデオとして知られている特定のビデオコンテンツを扱うときに有利である。このようなコンテンツに広く用いられているフォーマットの１つは、正距投影（ＥＲＰ）に基づいている。正しいコンテンツは定義上同じピクチャ内のどこか別の場所に描かれているため、全方向コンテンツは、ピクチャ境界外の領域を正しいコンテンツで埋めることを可能にする。水平方向に３６０°を描くＥＲＰビデオコンテンツの垂直方向のピクチャ境界は、反対側の垂直方向のピクチャ境界からサンプルをコピーすることによってパディングすることができる。しかしながら、水平方向のピクチャ境界は、特に垂直方向の視野角が完全なカバレッジではない場合、異なる特徴を呈する。

図１７には、水平方向のカバレッジ角度が３６０°で、垂直方向のカバレッジ角度が１８０°未満の、すなわち、０°の赤道から下へは３０°だけの視野角の例示的なＥＲＰビデオフレームが示されている。垂直方向のピクチャ境界のための最適なパディングは、反対側の垂直方向のピクチャ側からのサンプルを用いることからなるが、破線でマークされた上下の水平方向のピクチャ境界は、視野が限られている典型的な長方形のビデオのピクチャ境界と類似した特徴を呈し、したがって、本明細書で説明されるマルチモード境界パディングから恩恵を受ける。したがって、本発明の一態様は、例えば、コンテンツの特徴の知識に応じて又はビットストリームにおいてシグナリングされる際に、ピクチャ境界ごとにパディングモードを変更することである。

多くの場合、フレーム境界ピクセルの単純な垂直方向の延長は、現在の予測ブロックにあまりよく近似しない継ぎ足しを招く。参照フレーム境界を延長するために様々なイントラ予測モード、例えば、Ａｎｇｕｌａｒ予測、ＤＣ予測、又はＰｌａｎａｒ予測などを用いることによって、より良好な継ぎ足しが達成される可能性がある。境界延長のために用いることができる例示的なイントラ予測モードは、Ｒｅｆｅｒｅｎｃｅ １で説明されるＨ．２６５からの又はＲｅｆｅｒｅｎｃｅ ２（Ｊ． Ｃｈｅｎ， Ｅ． Ａｌｓｈｉｎａ， Ｇ．Ｊ． Ｓｕｌｌｉｖａｎ， Ｊ．－Ｒ． Ｏｈｍ， Ｊ． Ｂｏｙｃｅ， Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ７ （ＪＥＭ７）， ＪＶＥＴ， ｄｏｃ． ＪＶＥＴ－Ｇ１００１， Ｊｕｌｙ ２０１７）で説明されるＪｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ（ＪＥＭ）からのイントラ予測モードである。さらに、この方法の将来的な実施形態では、参照境界を延長するのに将来的なイントラ予測モードも用いることができる。フレーム境界の空間的延長モードは、現在の予測ブロックの特徴に依存する。したがって、現在の予測ブロックの最良の近似をもたらす予測信号を生成するために、複数のＡｎｇｕｌａｒイントラ予測モードのセットから特定のＡｎｇｕｌａｒイントラ予測モードが選ばれる／選択される必要がある。

したがって、本発明の目的は、時間的インター予測の品質を向上させるべく境界パディングを行うように構成されたビデオコーデックを提供することである。

この目的は、本出願の請求項の主題によって達成される。

時間的インター予測の品質の向上はパディングのための最も適切なイントラ予測モードを選択することによって達成されることが、本出願の根底にある基本的な考えである。これは、現在の予測ブロックの特徴に基づく、複数のこのようなイントラ予測モードの中でのＡｎｇｕｌａｒイントラ予測モードの選択であり得る。

一実施形態によれば、パディングのために用いられるＡｎｇｕｌａｒイントラ予測モードは、参照ピクチャ境界の参照部分と交わる部分での参照ピクチャエリアの評価に基づいて選択される。評価は、複数のＡｎｇｕｌａｒイントラ予測モードの少なくともサブセットのそれぞれについて、境界の部分での参照ピクチャの境界サンプルに基づいて、それぞれのＡｎｇｕｌａｒイントラ予測モードに関連する埋め方向とは反対の方向に沿って、プローブ埋めを得るべく境界サンプルよりも境界から遠くにあるプローブエリアを埋めることと、プローブ埋めと再構成されたプローブエリア埋めを比較してそれらの間の類似性を測ることにより実行される。したがって、選択は、現在の予測ブロックの特徴に基づいて行われ、したがって、現在の予測ブロックの最良の近似をもたらし、予測品質を向上させることができる。

本出願のいくつかの実施形態によれば、パディングのために用いられるＡｎｇｕｌａｒイントラ予測モードは、参照部分の参照ピクチャ外にあるエリアの予測結果に基づいて選択される。参照部分は、現在のピクチャのインター予測ブロックにより参照される。したがって、Ａｎｇｕｌａｒイントラ予測モードは、エリアの特徴に応じて選択され、したがって、パディングのための最も適切なＡｎｇｕｌａｒイントラ予測モードを選択することができる。加えて、エリアを予測するために用いられる複数のＡｎｇｕｌａｒイントラ予測モードは、イントラ予測ブロックのコーデックによってサポートされる、サポートされるＡｎｇｕｌａｒイントラ予測モードのサブセットとしてシグナリングすることができる。

さらなる利点は、請求項のコーデックによって達成される。本出願の好ましい実施形態を、図面に関連して以下に説明する。

本出願のいくつかの実施形態に係るパディングの概念のためのＡｎｇｕｌａｒイントラ予測モードの選択を実施することができるビデオデコーダの例としての、ビデオを予測的にコーディングするための装置のブロック図である。 本出願のいくつかの実施形態に係るパディングの概念のためのＡｎｇｕｌａｒイントラ予測モードの選択を実施することができるビデオデコーダの例としての、図１の装置と適合する、ビデオを予測的に復号するための装置のブロック図である。 予測信号を定義する、予測残差信号を扱うなどのための細分割を設定する機能を例示するべく、それぞれ、予測残差信号、予測信号、及び再構成信号の間の関係性の例を示す概略図である。 本出願のいくつかの実施形態に用いられるＡｎｇｕｌａｒイントラ予測モードの例を示す概略図である。 本出願の一実施形態に係る優先的な境界パディング側を計算する例を示す概略図である。 本出願の一実施形態に係る優先的な境界パディング側を計算するさらなる例を示す概略図である。 本出願の一実施形態に係るプローブエリアの例を示す概略図である。 本出願の一実施形態に係るプローブエリアを定義するプロセスを説明するのに用いた例を示す概略図である。 本出願の一実施形態に係るプローブエリア座標を導出するサンプル表を示す図である。 本出願の一実施形態に係る境界延長参照ブロックの動きベクトルクリッピングの例を示す概略図である。 本出願の一実施形態に係る動きベクトルクリッピングに関連したテンプレートエリアを導出する例を示す概略図である。 本出願の一実施形態に係るブロックサイズに適応できる動きベクトルクリッピングの例を示す概略図である。 本出願に係る参照部分の参照ピクチャ外にあるエリアの予測結果に基づいて選択される、パディングのために用いられるＡｎｇｕｌａｒイントラ予測モードを示す概略図である。 本出願に係る参照部分の参照ピクチャ外にあるエリアの予測結果に基づいて選択される、パディングのために用いられるＡｎｇｕｌａｒイントラ予測モードを示す概略図である。 本出願の一実施形態に係る２つの独立した空間セグメント間の水平境界の例を示す概略図である。 最新技術を説明するために垂直予測を示す概略図である。 水平方向のカバレッジ角度が３６０°で垂直方向のカバレッジ角度が１８０°未満のビデオフレームのサンプルイメージを示す図である。

以下での図面の説明は、構成済みの予測コーデックの実施形態が組み込まれ得るコーディングフレームワークの例を挙げるべく、ビデオのピクチャをコーディングするためのブロックベースの予測コーデックのビデオエンコーダ及びビデオデコーダの説明の提示から始まる。ビデオエンコーダ及びビデオデコーダは、図１～図３に関連して説明される。以下、本出願の構成済みの予測概念の実施形態の説明を、このような概念を図１及び図２のビデオエンコーダ及びデコーダにそれぞれどのように組み込むことができるかの説明とともに提示するが、その後の図４以降で説明される実施形態はまた、図１及び図２のビデオエンコーダ及びビデオデコーダの基礎となるコーディングフレームワークに従って動作しないビデオエンコーダ及びビデオデコーダを挙げるのに用いられ得る。

図１は、一連のピクチャ１２で構成されたビデオ１１をデータストリーム１４に予測的にコーディングするための装置を示す。この目的のためにブロック単位の予測コーディングが用いられる。さらに、変換ベースの残差コーディングが例示的に用いられる。装置、すなわちエンコーダが、参照符号１０を用いて示されている。図２は、対応するデコーダ２０、すなわち、データストリーム１４からのピクチャブロックのピクチャ１２’で構成されたビデオ１１’を、ここでも変換ベースの残差復号を例示的に用いて、予測的に復号するように構成された装置２０を示し、アポストロフィは、デコーダ２０によって再構成されたピクチャ１２’及びビデオ１１’が、装置１０によってオリジナルに符号化されたピクチャ１２から、予測残差信号の量子化によって導入されるコーディング損失の点でそれぞれ逸脱していることを示すために用いられている。図１及び図２は、変換ベースの予測残差コーディングを例示的に用いているが、本出願の実施形態は、この種の予測残差コーディングに限定されない。これは、以下に概説する図１及び図２に関連して説明される他の詳細にも当てはまる。

エンコーダ１０は、予測残差信号を空間からスペクトルへの変換にかけ、こうして得られた予測残差信号をデータストリーム１４に符号化するように構成される。同様に、デコーダ２０は、データストリーム１４からの予測残差信号を復号し、こうして得られた予測残差信号をスペクトルから空間への変換にかけるように構成される。

内部的に、エンコーダ１０は、オリジナルの信号、すなわち、ビデオ１１又は現在のピクチャ１２からの予測信号２６の逸脱を測定するために、予測残差２４を生成する予測残差信号生成器２２を備え得る。予測残差信号生成器２２は、例えば、オリジナルの信号、すなわち、現在のピクチャ１２から予測信号を減算する減算器であり得る。次いで、エンコーダ１０は、スペクトル領域予測残差信号２４’を得るべく予測残差信号２４を空間からスペクトルへの変換にかける変換器２８をさらに備え、得られたスペクトル領域予測残差信号２４’は、同じくエンコーダ１０が備えている量子化器３２によって量子化にかけられる。このように量子化された予測残差信号２４’’は、ビットストリーム１４にコード化される。この目的のために、エンコーダ１０は、変換され量子化されデータストリーム１４にされる予測残差信号をエントロピーコーディングするエントロピー・コーダ３４を随意的に備え得る。データストリーム１４に復号される及びデータストリーム１４から復号可能な予測残差信号２４’’に基づいて、エンコーダ１０の予測ステージ３６によって予測残差２６が生成される。この目的のために、予測ステージ３６は、内部的に、図１に示すように、量子化損失を除いて信号２４’に対応するスペクトル領域予測残差信号２４’’’を得るべく予測残差信号２４’’を逆量子化する逆量子化器３８と、それに続いて、量子化損失を除いてオリジナルの予測残差信号２４に対応する予測残差信号２４’’’’を得るべく予測残差信号２４’’’を逆変換、すなわち、スペクトルから空間への変換にかける逆変換器４０を備え得る。次いで、予測ステージ３６のコンバイナ４２が、再構成信号４６、すなわちオリジナルの信号１２の再構成を得るべく、予測信号２６と予測残差信号２４’’’’を加算などによって再結合する。再構成信号４６は信号１２’に対応し得る。

次いで、予測ステージ３６の予測モジュール４４が、例えば、空間的予測、すなわちイントラ予測、及び／又は、時間的予測、すなわちインター予測を用いることによって、信号４６に基づいて予測信号２６を生成する。これに関する詳細は後述する。

同様に、デコーダ２０は、内部的に、予測ステージ３６に対応する様態で相互接続され得る対応するコンポーネントで構成される。特に、デコーダ２０のエントロピー・デコーダ５０は、データストリームからの量子化されたスペクトル領域予測残差信号２４’’をエントロピー復号することができ、それに続いて、逆量子化器５２、逆変換器５４、コンバイナ５６、及び予測モジュール５８が、予測ステージ３６のモジュールに関して前述した様態で相互接続されて協働する、予測残差信号２４’’に基づいて再構成信号を復元し、したがって、図２に示すように、コンバイナ５６の出力は、結果的に再構成信号、すなわち、ビデオ１１’又はその現在のピクチャ１２’を生じる。

具体的には前述していないが、エンコーダ１０は、例えば、或るレートと歪みに関係した基準、すなわち、コーディングコストを最適化するなどの或る最適化スキームに従って及び／又は或るレート制御を用いて、例えば、予測モード、動きパラメータなどを含む或るコーディングパラメータを設定することができることは明白である。以下でより詳細に説明するように、エンコーダ１０及びデコーダ２０と、対応するモジュール４４、５８は、それぞれイントラ・コーディングモード及びインター・コーディングモードなどの異なる予測モードをサポートし、これらはプリミティブ予測モードのセット又はプールの一種を形成し、それに基づいてピクチャブロックの予測が以下でより詳細に説明する様態で構成される。エンコーダ及びデコーダがこれらの予測構成間で切り替える粒度は、それぞれピクチャ１２及び１２’のブロックへの細分割に対応し得る。これらのブロックのうちのいくつかは、イントラ・コーディングされるのみのブロックであり、いくつかのブロックは、インター・コーディングされるのみのブロックであり、随意的に、さらに別のブロックは、イントラ・コーディングとインター・コーディングとの両方を用いて得られるが詳細はその後設定されるブロックであり得ることに留意されたい。イントラ・コーディングモードによれば、ブロックの予測信号は、それぞれのブロックの空間的な既にコード化／復号された近隣に基づいて得られる。いくつかのイントラ・コーディングサブモードが存在する可能性があり、その中の選択肢は、外見上一種のイントラ予測パラメータを表す。方向性又はＡｎｇｕｌａｒイントラ・コーディングサブモードが存在する可能性があり、それに従って、それぞれの方向性イントラ・コーディングサブモードに固有の特定の方向に沿って近隣のサンプル値をそれぞれのブロックに外挿することによって、それぞれのブロックの予測信号が埋められる。イントラ・コーディングサブモードは、例えば、それに従ってそれぞれのブロックの予測信号がそれぞれのブロック内のすべてのサンプルにＤＣ値を割り当てるＤＣコーディングモード、及び／又はそれに従ってそれぞれのブロックの予測信号が隣接するサンプルに基づく二次元線形関数によって定義された平面の傾き及びオフセットを導出すると共にそれぞれのブロックのサンプル位置にわたる二次元線形関数によって記述されるサンプル値の空間分布となるように近似又は決定されるＰｌａｎａｒイントラ・コーディングモードなどの１つ以上のさらなるサブモードも含むことができる。それに比べて、インター予測モードによれば、ブロックの予測信号は、例えば、ブロックの内部を時間的に予測することによって得られる。インター予測モードのパラメータ化のために、動きベクトルがデータストリームにおいてシグナリングされ、動きベクトルは、それぞれのブロックの予測信号を得るために以前にコード化／復号されたピクチャがサンプリングされるビデオ１１の以前にコード化されたピクチャの部分の空間的変位を示す。これは、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピーコーディングされた変換係数レベルなどの、データストリーム１４に含まれる残留信号コーディングに加えて、データストリーム１４が、ブロックに予測モードを割り当てるための予測関連パラメータ、インター予測モードの動きパラメータなどの割り当てられた予測モードの予測パラメータ、及び随意的に、以下でより詳細に概説するように割り当てられた予測モードと予測パラメータを用いてブロックの最後の予測信号の構成を制御するさらなるパラメータを、その中で符号化していることを意味する。加えて、データストリームは、ピクチャ１２及び１２’のブロックへの細分割を制御及びシグナリングするパラメータを含み得る。デコーダ２０は、これらのパラメータを用いて、エンコーダが行ったのと同じ様態でピクチャを細分割し、同じ予測モード及びパラメータをブロックに割り当て、同じ予測を行い、結果的に同じ予測信号を生じる。

図３は、一方では、再構成された信号、すなわち、再構成されたピクチャ１２’、他方では、データストリームにおいてシグナリングされる予測残差信号２４’’’’と予測信号２６との結合の間の関係性を例示する。既に上で示したように、結合は加算であり得る。予測信号２６は、図３ではピクチャエリアを様々なサイズのブロック８０に細分割したものとして例示されているが、これは単なる例である。細分割は、ピクチャエリアのブロックの行及び列への通常の細分割、又はピクチャ１２の四分木細分割などの様々なサイズのリーフブロックへのマルチツリー細分割などの任意の細分割であってよく、その混合物が図３に例示されており、そこでは、ピクチャエリアは、最初にツリールートブロックの行及び列に細分割され、次いで、再帰的マルチツリー細分割に従ってさらに細分割され、結果的にブロック８０が生じる。

図３の予測残差信号２４’’’’もピクチャエリアのブロック８４への細分割として例示されている。これらのブロックは、コーディングブロック８０からのものと区別するために変換ブロックと呼ばれる場合がある。事実上、図３は、エンコーダ１０及びデコーダ２０が、それぞれピクチャ１２及びピクチャ１２’のブロックへの２つの異なる細分割、すなわち、一方はコーディングブロック８０への細分割、他方はブロック８４への細分割を用い得ることを例示する。両方の細分割は同じであり得る、すなわち、各ブロック８０は、同時に変換ブロック８４をなし、逆もまた同様であり得るが、図３は、例えば、２つのブロック８０間の境界が２つのブロック８４間の境界と重なる、又は言い換えると、各ブロック８０が変換ブロック８４のうちの１つと一致する又は変換ブロック８４のクラスタと一致するように、変換ブロック８４への細分割がブロック８０への細分割の拡張をなす場合を例示する。しかしながら、これらの細分割はまた、代替的に変換ブロック８４がブロック８０間のブロック境界と交わることができるように互いに独立に決定又は選択され得る。したがって、変換ブロック８４への細分割に関する限り、ブロック８０への細分割に関連して前述したのと同様の表現が当てはまる、すなわち、ブロック８４は、行及び列に構成される、ピクチャエリアのブロックへの通常の細分割の結果、ピクチャエリアの再帰的マルチツリー細分割の結果、又はこれらの組み合わせ、又はその他の種類のセグメント化であり得る。余談として、ブロック８０及び８４は、正方形、長方形、又はその他の形状に限定されないことに留意されたい。さらに、予測信号が生成される現在のピクチャ１２のブロック８０への細分割、及び、予測残差がコード化される現在のピクチャ１２のブロック８４への細分割は、コーディング／復号のために用いられる唯一の細分割ではない。予測信号の決定及び残差コーディングが行われる粒度からのこれら細分割は、第１に、残差コーディングは代替的に細分割せずに実行されてよく、第２に、これらの細分割以外の他の粒度で、エンコーダ及びデコーダは、予測パラメータ、予測信号構成制御信号などの上述のパラメータのうちのいくつかを含み得る特定のコーディングパラメータを設定し得る。

図３は、予測信号２６と予測残差信号２４’’’’の結合が、直接、再構成信号１２’をもたらすことを例示する。しかしながら、代替的な実施形態によれば、例えば別個のＤＰＢを有する別個の予測ループでコード化／復号される他のビューから又は他のコーディング層から得られる予測信号などの１つよりも多い予測信号２６を予測残差信号２４’’’’と結合してピクチャ１２’をもたらすことができることに留意されたい。

図３において、変換ブロック８４は、以下の意味を有するものとする。変換器２８及び逆変換器５４は、変換を変換ブロック８４のユニットで行う。例えば、多くのコーデックは、すべての変換ブロック８４に関してある種のＤＳＴ又はＤＣＴを用いる。いくつかのコーデックは変換をスキップすることができるので、変換ブロック８４のうちのいくつかに関して、予測残差信号は、空間ドメイン内で直接コード化される。しかしながら、後述する実施形態によれば、エンコーダ１０及びデコーダ２０は、それらがいくつかの変換をサポートするように構成される。例えば、エンコーダ１０及びデコーダ２０によってサポートされる変換は、以下を含むことができる：
○ＤＣＴ－ＩＩ（又はＤＣＴ－ＩＩＩ）、この場合、ＤＣＴは離散コサイン変換の略である
○ＤＳＴ－ＩＶ、この場合、ＤＳＴは離散サイン変換の略である
○ＤＣＴ－ＩＶ
○ＤＳＴ－ＶＩＩ
○恒等変換（ＩＴ）

当然、変換器２８は、これらの変換のすべての順方向変換バージョンをサポートするが、デコーダ２０又は逆変換器５４は、その対応する逆方向又は逆バージョンをサポートすることになる：
○逆ＤＣＴ－ＩＩ（又は逆ＤＣＴ－ＩＩＩ）
○逆ＤＳＴ－ＩＶ
○逆ＤＣＴ－ＩＶ
○逆ＤＳＴ－ＶＩＩ
○恒等変換（ＩＴ）

いずれにしても、サポートされる変換のセットは、１つのスペクトルから空間への変換又は空間からスペクトルへの変換などの１つの変換のみを含み得ることに留意されたい。

既に上記で概説したように、図１～図３は、本出願に係るビデオエンコーダ及びデコーダの具体例を挙げるべく、さらに後述する構成済みの予測概念が実装され得る例として提示されている。これまでのところ、図１及び図２のビデオエンコーダ及びデコーダは、それぞれ、本明細書で後述するビデオエンコーダ及びデコーダの可能な実装を表す。以下でより詳細に概説するように、図１及び図２のビデオエンコーダ及びデコーダに、本出願に係る構成済みの予測のための以下に説明する実施形態が組み込まれているとき、図１のビデオエンコーダと図２のビデオデコーダは、少なくとも１つのオプションとして、ブロック８０又はさらには現在のピクチャ１２を構成するすべてのブロックを以下により詳細に概説する様態で処理することをサポートする。したがって、後述する実施形態は、とりわけ、ブロック８０を以下により詳細に概説する様態で取り扱う図１のエンコーダ１０に等しいビデオエンコーダを指し、同じことが図２のデコーダに関しても当てはまり、したがって、これは、ブロック８０が以下により詳細に概説する様態で取り扱われる一実施形態に係るビデオデコーダの例を表す。しかしながら、図１及び図２は単なる具体例である。本出願のいくつかの実施形態に係るビデオエンコーダは、以下により詳細に概説する概念を用いてブロックベースの符号化を行うことができるが、例えば、ブロック８０への細分割が図３に例示したのとは異なる様態で行われるという点で、又はこのエンコーダが変換予測残差コーディングを用いず、代わりに例えば空間ドメイン内で予測残差を直接コーディングするという点で、図１のエンコーダとは異なる。同様に、本出願のいくつかの実施形態に係るビデオデコーダは、以下でさらに概説する構成済みの予測コーディング概念を用いてデータストリーム１４からの復号を行うことができるが、例えば、図３に関連して説明したのとは異なる様態でピクチャ１２’をブロックに細分割するという点で、及び／又は例えば変換ドメイン内ではなく空間ドメイン内でデータストリーム１４からの予測残差を導出するという点で、図２のデコーダ２０とは異なり得る。

特に、ブロック８０へのブロック細分割に関して、同じことが図３に関連して概説した様態で又は異なる様態で行われ得ることに留意されたい。変換ブロックへの細分割も、存在する場合、図３に関連して説明したように又は異なる様態で行われ得る。特に、一方ではブロックへ及び他方では変換ブロックへ、などの他のブロックへの細分割は、ピクチャ１２をこれらのブロックへそれぞれ別々に互いに独立に又は依存して細分割することによって行われ得る。例えば、変換ブロックへの細分割などの一方の細分割は、前述のように他方の細分割の拡張をなすことができ、又は両方の細分割は、例えば、図３に関連して説明したようにピクチャのツリールートブロックアレイへの細分割などの、共通の一次細分割の別個の拡張をなすことができる。また、こうしたことは、特定の予測パラメータ、予測モード、寄与重みなどの定義に関してなどの、以下で言及する他のサブピクチャ粒度にも当てはまる。これらのエンティティのうちの異なるものに異なる細分割を用いることができ、同じことが、互いに独立に、部分的に独立に、又は互いからの拡張として定義され得る。

そうは言っても、以下の説明は、動きベクトルが、それを越えるとピクチャコンテンツが利用できない参照ピクチャ境界と交わる参照ピクチャ平面内の部分の方を向いている状況に焦点をあてている。境界ラインを越えて延びる又は完全に参照ピクチャ外にあるサブ部分をパディングするために、本発明の実施形態に係る複数のイントラ予測モードのうちの１つの選択が行われる。その目的は、予測ブロックの特徴に基づいてパディングのための最も適切なＡｎｇｕｌａｒイントラ予測モードを選択することによって時間的インター予測品質を向上させることである。

以下の説明では、「参照ピクセルエリア」という用語は「参照部分」に対応し、「参照フレーム」は「参照ピクチャ」に対応し、「フレーム境界」は「参照ピクチャ境界」に対応し、「境界ピクセル」は「境界サンプル」に対応し、「テンプレートエリア」は「プローブエリア」に対応する。各対応する用語を説明で用いることがある。加えて、「パディング」は、本明細書では「境界パディング」と同じ意味である。さらに、以下の実施形態では、複数のＡｎｇｕｌａｒイントラ予測モードのうちの１つは、パディングのためのイントラ予測モードの例として選択される。しかしながら、本発明のイントラ予測モードはＡｎｇｕｌａｒイントラ予測モードに限定されず、複数のイントラ予測モードは、例えば、ＤＣモード及び／又はＰｌａｎａｒモード、及び／又は他のイントラ予測モードをパディングするためのモードを含み得る。ＤＣモード及びＰｌａｎａｒモードの場合、境界サンプルのために垂直方向（フレーム境界に垂直）が用いられ得る。

図４は、本出願のいくつかの実施形態で用いられる３３種類の異なるＡｎｇｕｌａｒイントラ予測モードを示す。ここで、参照ピクチャ（参照フレーム）１０１の参照部分（参照ピクセルエリア）１００における予測角度は、図４に示すようにフレーム境界（参照ピクチャ境界）１０６に対して４５°から１３５°の間の範囲にある。

実装されるＡｎｇｕｌａｒ境界パディングは、Ｒｅｆｅｒｅｎｃｅ ２で説明されるＪｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ（ＪＥＭ）のＡｎｇｕｌａｒイントラ予測に従う。ＪＥＭのＡｎｇｕｌａｒイントラ予測アルゴリズムは、エリアの左及び上境界ピクセルが予測に常に利用可能であることを前提としていることに留意されたい。それにもかかわらず、基本的な予測アルゴリズムは、すべての境界ピクセルが直線であると想定しており、したがって、ＪＥＭでは左又は上境界ピクセルのいずれかの平行移動が行われる。この平行移動ステップは、本出願の好ましい実施形態では省かれる。さらに、ＪＥＭは、３３種類の垂直モードと３３種類の水平モードの中から構成された６５種類のＡｎｇｕｌａｒイントラ予測モードを用いる。本出願の好ましい実施形態では、図４に示すように３３種類の垂直モードのみが用いられる。さらに、ＪＥＭでの垂直Ａｎｇｕｌａｒ予測方法は、下、左、上、又は右の参照フレーム境界１０６の境界パディングを行うために、時計回りにそれぞれ０°、９０°、１８０°、又は２７０°回転されなければならないことに留意されたい。

参照ピクセルエリア１００が、水平方向及び垂直方向に部分的に又は全体的に参照フレーム１０１外にある場合、例えば参照フレームのエッジ（すなわち、フレームのコーナー）で、優先的な境界パディング側が計算される。以下では、Ｎ_Ｈｏｒ及びＮ_Ｖｅｒは、参照フレームエリア外にある参照ピクセルエリア１０１の水平ライン及び垂直ラインの数を示す。フレームのエッジとＮ_Ｈｏｒ及びＮ_Ｖｅｒに応じて、優先的な境界パディング側は、以下のように計算することができる：
Ｉｆ ｅｄｇｅ ＝＝ Ｔｏｐ－Ｌｅｆｔ－Ｅｄｇｅ ｔｈｅｎ
Ｉｆ Ｎ_Ｖｅｒ ＞ Ｎ_Ｈｏｒ ｔｈｅｎ Ｔｏｐ－Ｓｉｄｅ ｅｌｓｅ Ｌｅｆｔ－Ｓｉｄｅ
Ｅｌｓｅ ｉｆ ｅｄｇｅ ＝＝ Ｔｏｐ－Ｒｉｇｈｔ－Ｅｄｇｅ ｔｈｅｎ
Ｉｆ Ｎ_Ｖｅｒ ＞ Ｎ_Ｈｏｒ ｔｈｅｎ Ｔｏｐ－Ｓｉｄｅ ｅｌｓｅ Ｒｉｇｈｔ－Ｓｉｄｅ
Ｅｌｓｅ ｉｆ ｅｄｇｅ ＝＝ Ｂｏｔｔｏｍ－Ｒｉｇｈｔ－Ｅｄｇｅ ｔｈｅｎ
Ｉｆ Ｎ_Ｖｅｒ ＞ Ｎ_Ｈｏｒ ｔｈｅｎ Ｂｏｔｔｏｍ－Ｓｉｄｅ ｅｌｓｅ Ｒｉｇｈｔ－Ｓｉｄｅ
Ｅｌｓｅ ｉｆ ｅｄｇｅ ＝＝ Ｂｏｔｔｏｍ－Ｌｅｆｔ－Ｅｄｇｅ ｔｈｅｎ
Ｉｆ Ｎ_Ｖｅｒ ＞ Ｎ_Ｈｏｒ ｔｈｅｎ Ｂｏｔｔｏｍ－Ｓｉｄｅ ｅｌｓｅ Ｌｅｆｔ－Ｓｉｄｅ

この計算された優先的な境界パディング側については、請求項に係る選択されたＡｎｇｕｌａｒイントラ予測モードが適用される。残りの側については、図５に示すようにオリジナルの垂直境界パディングプロセスが適用される。

図５では、フレーム境界１０６で、重なる参照ピクセルエリア１００は、マルチモード境界パディング（ＭＭＢＰ）が用いられるエリアと、デフォルトのパディングが用いられる残りのエリアに分割される。この場合、デフォルトのパディングとして垂直パディングが用いられる。

代替的に、参照フレーム１０１外の参照ピクセルエリア１００は、図６に示すように全体的にＭＭＢＰによってパディングされる。この場合、例えば図６の点線矢印で示すように、予測角度に応じて、ＭＭＢＰパディングは、利用可能ではない境界ピクセル１０２を必要とし得るため、すべてのＡｎｇｕｌａｒイントラ予測モードを用いることができるわけではない。さらに留意するべきことは、Ａｎｇｕｌａｒイントラ予測モードの制限は、制限されるサブセットをシグナリングする必要なしにエンコーダ（１０）及びデコーダ（２０）によって暗黙的に決定できることである。この目的のために、すべての必要な境界ピクセルが利用可能であるかどうかをテストするべく、参照ピクセルエリアの予測される部分のコーナーピクセルの予測方向が１８０°反転される。

この実施形態では、境界パディングのための最も適切なＡｎｇｕｌａｒインター予測モードは、参照ピクセルエリアが部分的に又は全体的に参照フレームエリア外にあるときにはいつでも、ビデオエンコーダ１０及びビデオデコーダ２０で導出される。前提条件として、参照ピクセルエリア１００は、図７に示すように、参照フレーム１０１外のエリア１００’と、参照フレーム１０１内のエリア１００’’に分割される。参照フレーム１０１内のすべてのピクセルは、現在の予測ブロックの動き補償予測のための入力ピクセルとして直接用いられる。エリア１００’における参照フレーム１０１外のすべてのピクセルは、後述するように、参照フレーム１０１の隣接する境界ピクセル１０２からのイントラ予測の助けを借りて予測される。垂直角度９０°のＡｎｇｕｌａｒイントラ予測は、Ｈ．２６５及びＪＥＭで用いられる最新技術の参照フレーム境界パディングに対応することに留意されたい。

エンコーダ１０及びデコーダ２０で複数のＡｎｇｕｌａｒイントラ予測モードのうちの１つを選択するために、各イントラ予測の方向は、参照フレーム１０１の内側に向くように１８０°回転され得る。次いで、図７に示すように、テンプレートエリア、すなわち、プローブエリア１０４が、参照フレーム１０１内にある回転されたイントラ予測に基づいて定義される。テンプレートエリア１０４のサイズ及び形状は限定されない。例えば、１つの可能な形状は長方形ブロックであろう。各モード及び関連するテンプレートエリア１０４に関して、テンプレートエリア１０４内のすべてのピクセル値を予測するべく、回転されたイントラ予測が、隣接する境界ピクセル１０２から行われる。上記の予測の結果を評価することによって、最も適切なＡｎｇｕｌａｒイントラ予測モードが選択される。

評価に関して、予測されたピクセルがテンプレートエリア１０４内の参照フレーム１０１の既に再構成されたピクセルと比較されて、最後のＡｎｇｕｌａｒイントラ予測モードが導出される。請求項の文言によれば、プローブエリア（テンプレートエリア）１０４が埋められ、プローブ埋めが再構成されたプローブエリア１０４埋めと比較されてそれらの間の類似性が測られる。この比較に関して、例えば、差分絶対値和（ＳＡＤ）、差分変換絶対値和（ＳＡＴＤ）、誤差二乗和（ＳＳＥ）、アダマール変換などの、ブロック間の類似性の任意の尺度を用いることができる。予測を改善するために、コンテンツに依存する変換を用いて、情報を、感度が低い別のドメイン、例えば位置に変換することができる。このようなコンテンツに依存する変換もトレーニングすることができる。テンプレートエリア１０４内の予測ピクセルと再構成ピクセルとの間の類似性尺度が最高のＡｎｇｕｌａｒイントラ予測モードを、参照ピクチャ１０１の境界１０６を越えて延びる参照ピクチャ１０１の参照部分１００のエリア１００’のパディングに用いるために最終的に選択することができる。

上記の実施形態の修正として、選択精度をさらに向上させるために、Ａｎｇｕｌａｒイントラ予測モードごとに、以下ではＮ＝２と仮定して、複数の（例えば、数Ｎの）異なるテンプレートエリア（プローブエリア）を用いることができる。例えば、第１のテンプレートエリアは、図８に示すように、フレーム境界１０６に関して参照ピクセルエリア１００の最も外側のピクセルライン１１２に依存して定義される。第２のテンプレートエリアは、図８に示すように、参照フレーム１０１のエリア１００’内にある、参照ピクセルエリア１００の第１のピクセルライン１１０に依存して定義される。

参照ピクセルエリア１００内のこれらの両方のピクセルライン１１０、１１２に関して、Ａｎｇｕｌａｒイントラ予測モードは、Ａｎｇｕｌａｒイントラ予測のために用いる必要がある左端及び右端のフレーム境界ピクセルを決定するべく反転される。どの類の制限もなしに、以下では、参照ピクセルエリア１００がフレーム境界１０６の上で参照フレーム１０１と重なる（すなわち、好ましいパディング側が上側である）と想定される。この場合、左端及び右端のフレーム境界ピクセルは、図９の表に示すように、座標｛ｘ_{ｌｅｆｔ－ｍｏｓｔ}；０｝及び｛ｘ_{ｒｉｇｈｔ－ｍｏｓｔ}；０｝を有する。次いで、関連するテンプレートエリアが、｛ｘ_{ｌｅｆｔ－ｍｏｓｔ}－１；１｝及び｛ｘ_{ｒｉｇｈｔ－ｍｏｓｔ}＋１；３｝の左上座標及び右下座標を有する長方形によって定義される。これは、テンプレートエリアが、左及び右方向に１つの追加ピクセルによって延長される、用いられるフレーム境界ピクセル１０２の下の参照フレーム内の次の２つのピクセルラインを含むことを意味する。参照ピクセルエリア１００が、左、右、又は下フレーム境界で参照フレーム１０１と重なる（すなわち、好ましいパディング側が左、右、又は下側である）場合、テンプレートエリアは、それに応じて回転される必要があり、図９に示したテーブルによって定義される。つまり、エリア１００’は、参照ピクチャ１０１の上側に、すなわち境界１０６の上に延長し、テンプレートエリアは前述のように定義される。エリア１００’を参照ピクチャ１０１の左側に延長する場合、テンプレートエリアは、参照ピクチャの左側の境界１０１に関して回転される。定義されたテンプレートエリアの座標は図９の表に基づいて導出され、図９の表での高さ及び幅は参照ピクチャ１０１のサイズである。

前述のように、第１のピクセルライン１１０に基づく第１のテンプレートエリア及び最も外側のピクセルライン１２０に基づく第２のテンプレートエリアは、図９の表を考慮して定義される。次いで、これらのテンプレートエリアの両方の内部のピクセル値が、オリジナルのＡｎｇｕｌａｒイントラ予測を１８０°回転させることによって予測される、すなわち、両方のテンプレートエリア（プローブエリア）が、図７に示すようにそれぞれのＡｎｇｕｌａｒイントラ予測モードに関連する埋め方向とは反対の方向に沿った境界１０６の部分での参照ピクチャ１０１の境界サンプル（境界ピクセル）１０２に基づいて埋められる。したがって、Ａｎｇｕｌａｒ予測スキームは、Ｒｅｆｅｒｅｎｃｅ ２で説明されるＪｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ（ＪＥＭ）のＡｎｇｕｌａｒイントラ予測に従う。次いで、両方のテンプレートエリア内の予測されたピクセル値が、差分絶対値和（ＳＡＤ）類似性尺度を用いることによって、再構成された参照ピクセルと比較される。最終的なＡｎｇｕｌａｒイントラ予測モードは、Ｎ＝２の場合の両方のテンプレートエリアのＳＡＤ値の和が最小となるモードとして選択することができる、すなわち、プローブ埋めと再構成埋めとの間の類似性が最高のＡｎｇｕｌａｒイントラ予測モードを選択することができる。参照ピクセルエリアの他のピクセルラインも、テンプレートエリアを定義するのに用いることができることに留意されたい。さらに、例えば、最も外側のピクセルラインと第１の輪郭ラインとの間の中間のピクセルラインも、テンプレートエリアを定義するのに用いることができる。加えて、類似性尺度はまた、サンプルの重要性を区別するために輝度強度又はエッジ検出などの特徴のための各プローブエリア内のサンプルの重み付けを含むことができ、これにより、行われた心理視覚的重み付けに基づいて、テンプレートエリア内の各サンプルの類似性尺度への類似性寄与に不等の重みが付けられる。

加えて、パディングのためのＡｎｇｕｌａｒイントラ予測モードの導出を伴う境界パディングの挙動を制御する高レベルパラメータは、テンプレートエリアのサイズ及び形状を含み得る。これは、フレーム境界に垂直ないくつかの追加のピクセルラインと、テンプレートエリアの随意的な延長が、左及び右側のフレーム境界に平行となる可能性があることを意味する。加えて、高レベルパラメータは、テンプレートエリアを定義するのに用いられる参照ピクセルエリア内のライン、例えば最も外側のライン、参照フレームの中での第１のライン、又は最も外側のラインと第１のラインとの間の中間ラインを指定するために導入され得る。さらに、用いられるＡｎｇｕｌａｒイントラ予測モードの数の削減がシグナリングされ得る。パディングのためのＡｎｇｕｌａｒイントラ予測モードを選択するのに参照ピクセルエリアが参照フレーム外にどれだけ必要かを定義する最小及び／又は最大閾値を指定するために、追加の高レベルパラメータが導入され得る。すなわち、閾値は、参照ピクチャ外の参照部分の延長エリアの量を定義することができる。高レベルパラメータは、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、スライスヘッダ、又は任意の他の高レベル構文構造でシグナリングされ得る。

さらに、プローブエリア選択を選択するためのプロセスに関して、垂直境界延長を特徴とする公知のコーデックを用いることができる。垂直境界延長の実装では、境界延長サンプルのサンプル値の保存に関連したメモリコストを下げるために、動きベクトル（ＭＶ）クリッピングとして知られている技術がよく用いられる。垂直境界延長でのサンプル値の反復性については、結果的に境界延長サンプルのみを含む参照ブロックを生じる動きベクトルをクリップする方が賢明である。クリッピングされたＭＶから生じる参照ブロックのコンテンツは、オリジナルの参照ブロックと同様である。しかしながら、デコーダの実装は、限られたサイズの境界延長を生成することによって、このようなサンプルを用いるリソースを節約することができる。一般に、すべての潜在的な参照ブロックサイズを、限られた量の生成された境界延長サンプルに適合させることができるように、図１０に例示するように最大のコーディングユニットのサイズ＋補間フィルタカーネルのサイズなどの固定サイズ制限が用いられる。

図１１に例示するように、マルチモード境界パディング（ＭＭＢＰ）でのフレーム境界からの参照ピクセルエリアの距離は、デコーダ２０側のプローブエリアの選択プロセスに影響を及ぼす。したがって、異なるプローブエリアの使用に起因する不一致を回避するために、エンコーダ１０側とデコーダ２０側で調整された様態でＭＶクリッピングが実行される必要がある。したがって、本発明の一態様は、前述のように、エンコーダ１０が、用いられるＭＶクリッピング手順、又は対応するビットストリーム制約をデコーダ２０に示すことを可能にする、パラメータセット、スライスヘッダなどのビットストリーム構造の高レベル構文要素である。このような構文要素は、例えば、最大ＭＶ長、又はＭＶクリッピングが実行される参照ブロックからフレーム境界までの距離、並びに、ＭＶがクリッピングされるサイズ、又はクリッピングされた動きベクトルに起因するフレーム境界と参照ピクセルエリアとの間の距離を含む。含まれる情報は、上記の情報に限定されず、さらなる情報又は他の情報も含むことができる。

さらに、クリッピングの量を参照ピクセルエリアのサイズ、すなわち、参照ブロックサイズに調整することによって有益な様態でプローブエリア選択を制御するために、適応ＭＶクリッピングを用いることができる。図１２に例示するように、同じＭＶが、異なるサイズＢ＞Ａの２つのブロックに用いられ、適応ＭＶクリッピングにより、例えば赤で色付けされた２つの異なるＭＶが得られ、参照エリアがフレーム境界に可能な限り近くなり、選択されたプローブエリアまでの距離も最小になる。すなわち、より小さいサイズの参照部分１１０’、すなわちブロックサイズＡ（より小さいブロック）の場合、動きベクトルの量は、より大きいサイズの参照部分１１０’、すなわちサイズＢ（より大きいブロック）の場合よりも大きい。したがって、現在のピクチャのインター予測ブロックの動きベクトル座標を、サイズが小さいほど量が大きくなるように参照部分のサイズに依存する量だけクリッピングする。したがって、本発明の別の態様は、エンコーダ１０が、ＭＶクリッピングが参照ブロックサイズに適応的に実行されることをデコーダ２０に示す、又は対応するビットストリーム制約をデコーダ２０に示すことを可能にする、パラメータセット、スライスヘッダなどのビットストリーム構造の高レベル構文要素である。

エンコーダ側で評価するコーディングオプションの量は、コーデックの複雑さに関する重要な因子である。したがって、本発明の一態様は、本明細書で説明される境界パディングの複雑さの影響を制御するための手段である。この手段は、エンコーダで動き推定を実行すること、すなわち、第２のステージによって既知の動き推定を延長することによるインター予測のための様々な動き補償予測子サンプルの検索及びコーディングのコスト評価によって構成される。第１の動き補償ステージは、既知の動き補償のすべてのステップ（例えば、既知の境界パディングサンプルを生成し、所与の予測子に関する残差データのコーディングコストを評価する）を包含するが、第２のステージは、既知の動き補償に修正を加えたものであり、本明細書で説明されるスキームなどのより洗練された境界サンプルパディングスキームを通じて最良の予測子がさらに強化される。

参照部分が、部分的に又は全体的に参照ピクチャ外にある場合、以下の他の実施形態も適用される。上記で既に述べたように、前提条件として、参照ピクセルエリアは、参照フレームエリア外の領域と、参照フレームエリア内の領域に分割される。参照フレームエリア内のすべてのピクセルは、現在の予測ブロックの動き補償予測のための入力ピクセルとして直接用いられる。図１３及び図１４で説明されるように、参照フレームエリア外のすべてのピクセルは、参照フレームの隣接する境界ピクセルからのＡｎｇｕｌａｒイントラ予測の助けを借りて予測される。つまり、参照部分１００のエリア１００’、すなわち、参照部分１００内の参照ピクチャ１０１の境界１０６外のエリア１００’は、境界サンプル１１０に基づいて埋められる。埋め方向は、３３種類の異なるＡｎｇｕｌａｒイントラモードから選択される。この場合、３３種類のＡｎｇｕｌａｒイントラモードから選択する必要はなく、事前にパラメータとして定義されている限られた数のＡｎｇｕｌａｒイントラ予測モードから選択することができる。図１３は、或るＡｎｇｕｌａｒイントラ予測モード１２０を示し、図１４は、他のＡｎｇｕｌａｒイントラ予測モード１２２を示す。図１３及び図１４では、用いられる境界ピクセル１１０’は、それぞれ、選択されたＡｎｇｕｌａｒイントラ予測モード１２０及び１２２に直接依存する。さらに留意するべきことは、垂直角度９０°のＡｎｇｕｌａｒイントラ予測モードは、Ｈ．２６５及びＪＥＭで用いられる最新技術の参照フレーム境界パディングに対応することである。選ばれた、すなわち、選択されたＡｎｇｕｌａｒイントラ予測モードは、符号化されたビットストリーム内でデコーダにシグナリングされる。

加えて、選択されたＡｎｇｕｌａｒイントラ予測モードは、コンテキストベースの適応算術コーディング（ＣＡＢＡＣ）を用いてコード化することができる。加えて、デフォルトの垂直境界パディング又は選択されたＡｎｇｕｌａｒイントラ予測モードに基づく境界パディングが適用されるかどうかを示すためにイネーブルフラグが用いられる。デフォルトの垂直モードは、３３種類のＡｎｇｕｌａｒイントラ予測モードのうちの１つであるため、残りの３２種類のＡｎｇｕｌａｒイントラ予測モードは、５つの追加のＣＡＢＡＣビンでコード化することができる。イネーブルフラグ、並びに、残りのＡｎｇｕｌａｒモードは、適応バイナリ確率モデルで一連のバイナリ決定としてコード化される（これらのビン、例えば、Ａｎｇｕｌａｒイントラ予測モードのサブセットも、非適応確率モデルでコード化され得る）。イネーブルフラグをモデル化するために、参照ピクセルエリアが参照フレーム外にある量に基づいて選択することができる様々なコンテキストモデルを用いることができる。例えば、参照ピクセルエリアが参照フレーム外にある量が１／４未満、１／２未満、３／４未満、又は３／４よりも多い場合に合わせて様々なコンテキストモデルを用いることができる。

代替的に、境界パディングのための頻繁に発生するＡｎｇｕｌａｒイントラ予測モードをシグナリングするために、最確モード（ＭＰＭ）のリストが用いられる。可能なＭＰＭ候補は、境界パディングのためのＡｎｇｕｌａｒイントラ予測モードがそれらのブロックに利用可能である場合には、以前にコード化されている隣接するブロックの境界パディングのためのＡｎｇｕｌａｒイントラ予測モードであり得る。他のＭＰＭ候補は、利用可能であれば、以前にコード化された隣接するブロックのＡｎｇｕｌａｒイントラ予測モードであり得る。さらに、参照ピクチャに併置された参照フレーム内のコード化されたブロックのＡｎｇｕｌａｒイントラ予測モードを、ＭＰＭ候補として用いることができる。加えて、参照ピクチャエリアに併置された関連するランダムアクセスポイントピクチャ内のコード化されたブロックのＡｎｇｕｌａｒイントラ予測モードを、ＭＰＭ候補として用いることができる。３３種類のＡｎｇｕｌａｒイントラ予測モードの場合、ＭＰＭ候補リストは１つのＭＰＭ候補モードを含む。そのＭＰＭ候補が用いられるべきであるかどうかをシグナリングするためにＣＡＢＡＣバイナリフラグが用いられる。残りの３２種類のＡｎｇｕｌａｒモードは、５つのＣＡＢＡＣビンでシグナリングすることができる。ＭＰＭフラグ、並びに、残りのＡｎｇｕｌａｒイントラ予測モードは、前述のように適応バイナリ確率モデルで一連のバイナリ決定としてコード化される。

境界モードのためのＡｎｇｕｌａｒイントラ予測モードは、コード化されたブロックの動き情報の一部である。したがって、動き情報が、異なるコード化されたブロックによって用いられる／コピーされる場合、例えばマージモード又は動きベクトル予測が用いられる場合、コピーされる動きベクトルに関連した境界パディングのためのＡｎｇｕｌａｒイントラ予測モードもコピーされ、参照ピクセルエリアが参照フレームエリア外にある場合に適用され得る。ＭＭＢＰを行うブロックからの動きベクトル予測のケースでは、ＭＭＢＰが、コード化されたブロックに用いられる場合、パディングのための選択されたＡｎｇｕｌａｒイントラ予測モードは、現在のコード化されたブロックのパディング方向のコーディングのためのＭＰＭとなり得る。代替的に、可能な動き予測候補は、可能なＭＰＭのリストを提供し得る。

パディングのための選択されたＡｎｇｕｌａｒイントラ予測モードのシグナリングを伴う部分境界パディングの挙動を制御する高レベルパラメータは、境界パディングのために用いるべきＡｎｇｕｌａｒイントラ予測モードのサブセットを定義するためのパラメータを含み得る。この場合、パディングのためのサポートされるＡｎｇｕｌａｒイントラ予測モードの数は、より小さい数に制限して、境界パディングのための選択されたＡｎｇｕｌａｒイントラ予測モードをシグナリングするのに用いる必要があるＣＡＢＡＣビンをより少なくすることができる。例えば、２種類のモードのＭＰＭ候補リストと組み合わせて、１８種類のＡｎｇｕｌａｒモードのサブセットのみを用いると、４つのＣＡＢＡＣビンで符号化することができる１６種類のＡｎｇｕｌａｒモードのみが残る（したがって、結果的に、ＭＰＭモードをシグナリングするための２つのビンと、残りの非ＭＰＭモードをシグナリングするための５つのビンとなる）。前述のように、パディングのための最も適切なＡｎｇｕｌａｒイントラ予測モードを選択するのに参照ピクセルエリアが参照フレームエリア外にどれだけ必要かを定義する最小及び／又は最大閾値を指定するために、追加の高レベルパラメータが導入され得る。高レベルパラメータは、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、スライスヘッダ、又は任意の他の高レベル構文構造でシグナリングされ得る。

上記の実施形態は組み合わせることができる。例えば、テンプレートを用いる実施形態と、前述のように選択されたＡｎｇｕｌａｒイントラ予測モードをシグナリングする他の実施形態を、後述するさらなる実施形態として組み合わせることができる。

Ａｎｇｕｌａｒイントラ予測モードの選択は、図７で説明される実施形態に従う。この実施形態では、パディングのためのＡｎｇｕｌａｒイントラ予測モードの順序付けられたリストが、前述の類似性尺度に基づいて生成される。このパディングのためのＡｎｇｕｌａｒイントラ予測モードの生成された順序付けられたリストは、最大のシグナリングされたパディングのためのＡｎｇｕｌａｒイントラ予測モードの事前定義された値によってトランケートされる。最終的に、このトランケートされた順序付けられたリスト内の選択されたパディングのためのＡｎｇｕｌａｒイントラ予測モードは、前述のようにコンテキストベースの適応算術コーディング（ＣＡＢＡＣ）を用いてシグナリングされる。

上記で既に述べたように、デフォルトの垂直境界パディング又は選択されたパディングモードのトランケートされた順序付けられたリストが用いられるべきであるかどうかを示すためにイネーブルフラグが用いられ得る。加えて、シグナリングされるパディングモードの数は２^Ｎに設定され、これはＮ個のＣＡＢＡＣビンでシグナリングすることができる。選択されたＡｎｇｕｌａｒイントラ予測モードは、適応バイナリ確率モデルで一連のバイナリ決定としてコード化される（これらのビンのサブセットも非適応確率モデルでコード化され得る）。選択されたＡｎｇｕｌａｒイントラ予測モードを符号化するのにバイナリ確率モデルが用いられる場合、前述のように、参照フレームエリア外にある参照部分のエリアの量に基づいて選択することができる様々なコンテキストモデルが用いられ得る。さらに、パディングのための選択されたＡｎｇｕｌａｒイントラ予測モードのトランケートされた順序付けられたリストは、ＭＰＭ候補リストとして用いられる。ここで、ＭＰＭ候補リストと、パディングのための残りのＡｎｇｕｌａｒイントラ予測モードは、前述のように符号化することができる。さらに、前述のように同じ高レベルパラメータ、例えば、Ａｎｇｕｌａｒイントラ予測モードのサブセットを定義するためのパラメータ、選択されたＡｎｇｕｌａｒイントラ予測モードを適用するための閾値、及びテンプレートエリアのサイズ及び形状を定義するためのパラメータも用いられ得る。また、前述のように、高レベルパラメータは、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、スライスヘッダ、又は任意の他の高レベル構文構造でシグナリングされ得る。

本出願の好ましい実施形態では、高レベル構文は、マルチモード境界パディングを制御する構文要素を含む。高レベル構文要素は、シーケンスパラメータセット（ＳＰＳ：コード化されたビデオシーケンス内のすべてのピクチャに有効）、ピクチャパラメータセット（ＰＰＳ：１つ又は複数のピクチャに有効）、スライスヘッダ（スライスに有効）などの１つ又は複数の高レベル構文構造で伝送される。

Ａｎｇｕｌａｒイントラ予測モードを選択するべくアプリケーションを制御する高レベル構文要素は、以下のパラメータのうちの１つ又は複数を含むことができるがそれに制限されない：
・どのパディングのためのＡｎｇｕｌａｒインター予測モード（ＭＭＢＰ、垂直、又は全方向パディング）を適用するべきかをシグナリングするフラグ又はＩＤＣ
・パディングモードのフレーム境界単位の組み合わせをシグナリングするためのパラメータ又はそれを示す制約。例えば、ＭＭＢＰが用いられる又は全方向パディングが用いられるかどうかに関して、参照ピクチャのフレーム境界又は外側ピクチャ境界に沿った部分のデータストリームにおいてシグナリングすることができる。１つのオプションとして、両方のオプションが利用可能であることをシグナリングすることができる。異なる部分について、どのイントラ予測モードを用いるかを決定するべく、エンコーダ及びデコーダが参照ピクチャのフレーム境界のどの部分が参照エリアと重なるか又は参照エリアのどの部分と交わるかをチェックするために、異なる利用可能なモードをシグナリングすることができる；
・使用する上記の実施形態の選択プロセスをシグナリングするためのパラメータ
・ＭＭＢＰのために用いることができるＡｎｇｕｌａｒイントラ予測モードをシグナリングするためのパラメータ
・特定の参照フレーム境界領域に用いられる正確なＡｎｇｕｌａｒイントラ予測モードを指定するパラメータ
・Ａｎｇｕｌａｒイントラ予測モードの選択に適用するのに参照ピクセルエリアが参照フレームエリア外にどれだけ必要かを定義する、最小及び／又は最大閾値
・テンプレートエリアのサイズ及び形状をシグナリングするためのパラメータ
・テンプレートエリアを決定するのに用いられる参照ピクセルエリア内のラインのセットをシグナリングするためのパラメータ

２番目の選択肢については、以下の点にさらに留意されたい：上記で概説した実施形態は、例としてＡｎｇｕｌａｒイントラ予測モードを使用し、その中で最終的にパディングのためのイントラ予測モードが選ばれたが、フレーム境界を越えるエリアに境界サンプルを垂直に外挿することによってパディングが実行される、垂直パディングモードのパディングも、全方向パディングモードが、同じフレーム、すなわち参照フレーム内のサンプルを用いてフレーム境界外にあるエリアを埋める／パディングするイントラ予測モードであるのと同様に、イントラ予測モードであることは明らかである。したがって、高レベル構文は、どのイントラ予測モードが用いられるべきか、又はどのイントラ予測モードがフレーム境界のどの部分に利用可能であるかを明らかにし、右及び左側境界などの或る部分に対して全方向モード、上側及び下側境界などのフレーム境界の他の部分に対して垂直モードなどの、フレーム境界の異なる部分に対して用いられる又は利用可能な異なるモードがシグナリングされ得る。エンコーダ及びデコーダは、単に、インター予測ブロック８０の特定の参照エリアの、フレーム境界を越える部分を認識し、それがデータストリーム内の高レベル構文に従ってパディングのためにどのイントラ予測モードと関連付けられるかを確認する必要がある。上記に挙げたパラメータは、１つよりも多い高レベル構文構造に含めることができる。例えば、ＳＰＳで指定されたグローバルパラメータは、ＰＰＳで指定されたパラメータで上書きすることができる。

本出願のいくつかの実施形態に関して、これは参照ピクセルエリアが部分的に又は全体的に参照フレームエリア外にあるときにはいつでも必要とされる。前提条件として、参照ピクセルエリアは、前述のように、参照フレームエリア外の領域と、参照フレームエリア内の領域に分割される。参照フレームエリア内のすべてのピクセルは、現在の予測ブロックの動き補償予測のための入力ピクセルとして直接用いられる。参照フレームエリア外のすべてのピクセルは、前述のように、参照フレームの隣接する境界ピクセルからのイントラ予測の助けを借りて予測される。

言い換えれば、以下のステップは、パディングのために用いられる優先的なイントラ予測角度又は優先的なイントラ予測モードを、エンコーダ及びデコーダで利用可能な複数のイントラ予測角度の中からどのように選択することができるかについて、再び例示的に説明する。選択プロセスは、各予測ブロック及び関連する各動きベクトルに対して、輝度（Ｙ）色平面ごとに一度だけ行われ得る。クロミナンス色平面（Ｃｂ及びＣｒ）の場合、輝度色平面の場合と同じイントラ予測角度が選択され得る：
・参照エリア１００の位置を決定する：現在のブロックに関連する動きベクトルを現在のブロックのエリアに追加することによって参照エリア１００を計算する（例えば、関連する動きベクトルによって現在のブロック位置を移動する）。動きベクトルは、小数部を有することがあることに留意されたい。したがって、動きベクトルを最も近い整数部に丸める。動きベクトルを現在のブロック位置に追加する。参照エリア１００を各方向に１サンプルずつ増加させる。すなわち、エリア１００は、ＭＭＢＰが行われるインター予測ブロックよりも、すべての方向（左、右、上、下）で１サンプル大きくなり得る。
・優先的なＩｎｔｒａＢＰ側を決定する：参照エリア１００が或る側でのみ参照フレーム１０１と重なる場合、この側を使用し、それ以外の場合、参照エリア１００は２つの側で参照フレーム１０１と重なる（図５参照）。その場合、参照フレームと重なるサンプルラインが少ない側にはデフォルトの垂直パディングを使用する。残りの側にはＩｎｔｒａＢＰパディングを使用する。
・下及び上ラインを決定する：下ラインは、優先的なＩｎｔｒａＢＰ側に平行な、参照フレーム１０１外の参照エリア１００の最初のサンプルラインである（図８の１１０）。上ラインは、優先的なＩｎｔｒａＢＰ側に平行な、参照フレーム外の参照エリアの最後のサンプルラインである（図８の１１２）。すなわち、参照フレームの境界１０６から最も遠いものが選ばれる。
・複数の利用可能なイントラ予測モードを制約する：上ラインと各イントラ予測モードについて、予測方向を反転することにより、イントラ予測に用いる必要がある関連する／影響を受ける境界ピクセルを計算する。垂直イントラ予測モードからの境界ピクセルの最大変位が、１．２５^＊予測ブロックの幅を上回る場合、このイントラ予測角度をスキップする／使用しない。このステップは随意的なものである。すなわち、随意的に、サンプル１１２の最も外側のラインを境界サンプル１１０に逆投影するときに境界サンプル１１０が最も外側のサンプルラインの垂直な逆投影されたフットプリントから所定の閾値よりも多くオフセットされるＡｎｇｕｌａｒモードは、モードの選択可能なリストから除外される。
・下及び上ラインのプローブエリアを計算する：下（上）ラインと、制約されたイントラ予測モードのセットの中での各イントラ予測モードについては、イントラ予測に用いる必要がある関連する／影響を受ける境界ピクセル１１０’を決定するために予測方向を反転させる。参照フレーム内の影響を受ける境界ピクセルの下にプローブエリア１０４を配置する（図７の１０４）。プローブエリアの高さを、優先的なＩｎｔｒａＢＰ側に垂直な２つのサンプルラインに設定する。
・類似性尺度を計算する：関連する／影響を受ける境界ピクセルからの反転されたイントラ予測によってプローブエリアのサンプル値を予測する。予測されたプローブエリアのサンプル値と、プローブエリアの位置での参照フレームの再構成されたサンプル値との間のＳＡＤ尺度を計算する。下及び上プローブエリアからのＳＡＤ尺度を結合／加算する。
・優先的なイントラ予測角度を選択する：制約されたイントラ予測角度のセットの中から、類似性尺度が最小の角度を、優先的なイントラ予測角度として選択する。イントラ予測角度が同じ類似性尺度を有する場合、より垂直予測角度に近い角度を優先する。

選択した優先的なイントラ予測角度が垂直イントラ予測角度に等しくない場合、エンコーダ及びデコーダで上記の選択したイントラ予測角度と上記の優先的なＩｎｔｒａＢＰ側を使用して各色平面にＩｎｔｒａＢＰを行う：
・参照エリアの位置を決定する：上記の説明と同様に参照エリアを計算するが、参照エリアを、各方向に１サンプルだけでなく、各方向に補間フィルタタップのサイズの半分だけ増加させる。
・参照フレーム内にある参照エリアの部分を埋める：参照フレーム内にある参照エリアの部分に、参照フレームのサンプル値を埋める。
・随意的に、非優先的なＩｎｔｒａＢＰ側を埋める：参照エリアが２つの側で参照フレームと重なる場合、参照フレームと重なるサンプルラインが少ない参照エリアの部分にデフォルトの垂直パディングを行う。
・優先的なＩｎｔｒａＢＰ側にＩｎｔｒａＢＰを行う：優先的なイントラ予測角度を使用して、優先的なＩｎｔｒａＢＰ側の境界サンプルでイントラ予測を行い、参照フレーム外にある参照エリア１００’を埋める。

現在のブロックの動き補償予測のための入力値として、各色平面に前述のように計算された参照エリアのサンプル値を用いる。

加えて、ＭＰＥＧ ＯＭＡＦ規格に基づく３６０°ビデオストリーミングサービスなどの既存のアプリケーションは、空間ビデオパーティショニング又はセグメント化技術に大いに依存する。このような用途では、空間ビデオセグメントは、クライアントに伝送され、現在のクライアントの視線方向に適応的な様態で共同して復号される。ビデオ平面の空間セグメントに依存する別の関連するアプリケーションは、例えば、最新のコンピューティングプラットフォームのマルチコア及び並列化機能を容易にするための、符号化及び復号動作の並列化である。

このような空間セグメント化技術の１つは、ＨＥＶＣで実装され、ピクチャ平面を、長方形のグリッドを形成するセグメントに分割するタイルとして知られている。結果として得られる空間セグメントは、エントロピーコーディングとイントラ予測に関して独立にコード化される。さらに、空間セグメントもインター予測に関して独立にコード化されることを示す手段が存在し、これはまた、ピクチャにわたって静的な空間セグメント化と組み合わされ得る。共に、これらの制約は、２つのこのような隣接する独立にコード化された空間セグメントを伴う、例示的なピクチャ平面の空間セグメント化の真に独立したコーディングを可能にする。

より詳細には、上記で例示した空間セグメント化も用いる参照ピクチャのインター予測を通じて容易となる、図１５に示した空間セグメント化を用いる現在のピクチャの符号化時に、動きベクトルは、空間セグメントＢ内に存在する参照ピクチャのサンプルへの参照を通じて交わる空間セグメントＡが予測されることを回避するように制約され、逆もまた同様である。

空間セグメントの独立したコーディングは、前述のように既存のアプリケーションを可能にするものであるが、関連するコーディング制約には、かなりのコーディングコストがかかる可能性がある。このビットレートのオーバーヘッドは、例えば、利用可能な動きベクトル候補を修正する比較的より大きい動きベクトル差分（ＭＶＤ）をシグナリングすることから生じ、そうしないと、ＭＶＤなしでは所与の空間セグメント外のサンプル位置が使用されることになる。さらに、インター予測の予測子の劣化を補償するために、シグナリングされる残差データの量を増やす必要がある。したがって、このような空間セグメントの境界でのコーデックの動作を強化することが非常に望ましい。

このような独立した空間セグメントに対する従来技術のソリューションのコーディングペナルティを軽減する１つの方法は、本明細書で説明される僅かな修正及び拡張を伴うピクチャ境界に基づいて前述したＭＭＢＰ概念と同様に又はそれに従って、若しくは、空間セグメント境界又は空間セグメント境界の垂直な部分などの特定の部分に対して２種類以上のイントラ予測モードのうちのどれを用いるかをシグナリングする高レベル構文ベースのパディングモード選択を用いて、外側フレーム境界に加えて、ピクチャ内境界、すなわち、ピクチャの内側にあるセグメント境界のパディングのためのスキームを使用することである。すなわち、エンコーダが、シグナリングされる動きベクトルを、空間セグメントの境界を越えて延びる又は存在する参照部分を参照しないように制限する代わりに、このような部分はエンコーダ及びデコーダでパディングされ、このような参照部分が空間セグメント境界の所定の部分と交わる又はそれを越えて存在する場合に、シグナリングされたイントラ予測モードがパディングのために用いられる。コーディングペナルティの軽減はまた、一般に、垂直、全方向、又はＡｎｇｕｌａｒイントラ予測モードのうちの１つなどの任意のイントラ・コーディングモードを用いることによって、マルチモード選択なしで達成することができ、これにより、インター予測ブロックが存在する参照ピクチャ内の所定の空間セグメントのピクチャ内セグメント境界を越えて延びる又は存在する参照ピクチャ１０１の参照部分１００を参照する動きベクトルを、インター予測ブロックのデータストリームにおいて符号化及び復号し、ピクチャ内セグメント境界を越えて延びる又は存在する、すなわち所定の空間セグメント外にある参照部分１００のエリア１００’をパディングするように構成された、ブロックベースのビデオコーディングのためのエンコーダ及びデコーダがもたらされる。エンコーダは、現在のピクチャを含むビデオピクチャが絶えずパーティション化される様態で参照ピクチャがパーティション化される空間セグメントのうちの所定の空間セグメント内にシグナリングされる動きベクトルを強制的に保つべく、動きベクトルの動きベクトル予測子をリダイレクトする必要はない。エンコーダは、このベクトルのリダイレクトする動きベクトル差分をシグナリングする必要はない。動きベクトル差分のシグナリングは、動きベクトルが、動きベクトル差分ゼロなどの所定の空間セグメント外の部分を参照することにつながり得る。特に、エンコーダは、現在のピクチャと参照ピクチャでの空間的にオフセットされた空間セグメントの空間セグメントコーディングの独立性を強いるデコーダのパディング機構に依存する可能性があり、エンコーダも同じである、すなわち、復号されたピクチャバッファを埋めるべくインター予測ブロックを再構成するためにパディングを行う。

第１の態様として、パラメータセット、スライスヘッダなどのビットストリーム構造の高レベル構文要素は、一般に、空間セグメント境界でのマルチモード境界パディングの適用を制御する。この構文の１つの値は、デコーダに以下のことを示す：
・空間セグメントのサンプルのインター予測は、他の空間セグメントに属するサンプルとは無関係である
・空間セグメント境界外のサンプル位置が、空間セグメント内のサンプルのインター予測に用いられる
・空間セグメント境界外のサンプル位置でのサンプルの値は、空間セグメントに属するサンプルから空間セグメント境界でＭＭＢＰ手順を用いて生成される。

いくつかの態様が装置との関連で説明されているが、これらの態様は対応する方法の説明も表し、ブロック又はデバイスは、方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップとの関連で説明される態様はまた、対応する装置の対応するブロック又はアイテム又は特徴の説明を表す。方法ステップのいくつか又はすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、又は電子回路などのハードウェア装置によって（又は用いて）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上は、このような装置によって実行されてもよい。

本発明のデータストリームは、デジタル記憶媒体上に記憶することができ、又は、インターネットなどの無線伝送媒体又は有線伝送媒体などの伝送媒体で伝送することができる。

特定の実装要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで実装することができる。実装は、デジタル記憶媒体、例えば、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働することができる）電子的に読み出し可能な制御信号が格納されているフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はフラッシュメモリを用いて行うことができる。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。

本発明に係るいくつかの実施形態は、本明細書で説明される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み出し可能な制御信号を有するデータキャリアを含む。

一般に、本発明のいくつかの実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行するときに方法のうちの１つを実施するために動作可能である。プログラムコードは、例えば、機械可読キャリア上に格納され得る。

他の実施形態は、機械可読キャリア上に格納される、本明細書で説明される方法のうちの１つを実施するためのコンピュータプログラムを含む。

したがって、言い換えれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行するときに本明細書で説明される方法のうちの１つを実施するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書で説明される方法のうちの１つを実施するためのコンピュータプログラムが記録されているデータキャリア（又はデジタル記憶媒体又はコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、又は記録媒体は、通常、有形及び／又は一時的でない。

したがって、本発明の方法のさらなる実施形態は、本明細書で説明される方法のうちの１つを実施するためのコンピュータプログラムを表すデータストリーム又は一連の信号である。データストリーム又は一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成され得る。

さらなる実施形態は、本明細書で説明される方法のうちの１つを実施するように構成又は適合された処理手段、例えば、コンピュータ又はプログラマブルロジックデバイスを含む。

さらなる実施形態は、本明細書で説明される方法のうちの１つを実施するためのコンピュータプログラムがインストールされているコンピュータを含む。

本発明に係るさらなる実施形態は、本明細書で説明される方法のうちの１つを実施するためのコンピュータプログラムをレシーバに（例えば、電子的に又は光学的に）転送するように構成された装置又はシステムを含む。レシーバは、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置又はシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを含み得る。

いくつかの実施形態では、本明細書で説明される方法の機能のいくつか又はすべてを実施するためにプログラマブルロジックデバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）が用いられ得る。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書で説明される方法のうちの１つを実施するためにマイクロプロセッサと協働し得る。一般に、方法は、好ましくは任意のハードウェア装置によって実施される。

本明細書で説明される装置は、ハードウェア装置を用いて、又はコンピュータを用いて、又はハードウェア装置とコンピュータの組み合わせを用いて実装され得る。

本明細書で説明される装置又は本明細書で説明される装置の任意のコンポーネントは、少なくとも部分的にハードウェアで及び／又はソフトウェアで実装され得る。

本明細書で説明される方法は、ハードウェア装置を用いて、又はコンピュータを用いて、又はハードウェア装置とコンピュータの組み合わせを用いて行われ得る。

本明細書で説明される方法又は本明細書で説明される装置の任意のコンポーネントは、少なくとも部分的にハードウェアによって及び／又はソフトウェアによって行われ得る。

上記の実施形態は、本発明の原理を単に例示するものである。本明細書で説明される構成及び詳細の修正及び変形は当業者には明白であると理解される。したがって、本明細書の実施形態の説明及び解説として提示した特定の詳細によってではなく、付属の特許クレームの範囲によってのみ制限されることが意図されている。

Claims (42)

1. 時間的インター予測をサポートするビデオエンコーダ（１０）であって、
   前記ビデオエンコーダ（１０）は、参照ピクチャ（１０１）の境界（１０６）を越えて延びる又は存在する参照ピクチャ（１０１）の参照部分（１００）のエリア（１００’）のパディングを行うように構成され、
   前記参照部分（１００）は、複数のイントラ予測モードのうちの１つを選択し、前記選択したイントラ予測モードを用いて前記エリア（１００’）をパディングすることによって、現在のピクチャ（１２）のインター予測ブロックにより参照され、
   前記ビデオエンコーダ（１０）は更に、前記参照部分（１００）が前記境界に交わる参照ピクチャ（１０１）の境界（１０６）の部分での参照ピクチャのエリアの評価に基づいて前記選択を行い、
   前記複数のイントラ予測モードの少なくとも１つのサブセットのそれぞれについて、前記境界（１０６）の部分での前記参照ピクチャ（１０１）の境界サンプル（１０２）に基づいて、それぞれの前記イントラ予測モードに関連する埋め方向とは反対の方向に沿って、プローブ埋めを得るべく前記境界サンプル（１０２）よりも前記境界（１０６）から遠くにあるプローブエリア（１０４）を埋めることと、前記プローブ埋めと前記プローブエリア（１０４）の再構成された埋めとを比較してそれらの間の類似性を測ることと、によって前記評価を行うように構成された、
   ビデオエンコーダ（１０）。
2. 前記複数のイントラ予測モードの少なくとも１つのサブセットの中で類似性が最高の１つのサブセットを選択するように構成された、請求項１に記載のビデオエンコーダ（１０）。
3. 前記複数のイントラ予測モードの少なくとも１つのサブセットのそれぞれについて、複数のプローブエリア（１０４）について前記評価を行うように構成された、請求項１又は請求項２に記載のビデオエンコーダ（１０）。
4. データストリームにおいて複数の前記プローブエリア（１０４）の数をパラメータ化するように構成された、請求項３に記載のビデオエンコーダ（１０）。
5. 前記複数のプローブエリア（１０４）について行われる複数の前記評価の組み合わせを行うように構成された、請求項３又は請求項４に記載のビデオエンコーダ（１０）。
6. 前記参照部分（１００）の前記エリア（１００’）又はエリア部分が前記方向に沿って投影される前記境界の区域を決定することによって前記境界サンプルを決定するように構成された、請求項１～請求項５のいずれか一項に記載のビデオエンコーダ（１０）。
7. データストリームにおいて前記エリア部分の位置をパラメータ化するように構成された、請求項６に記載のビデオエンコーダ（１０）。
8. 差分絶対値和、差分変換絶対値和、誤差二乗和、又はアダマール変換のうちの１つを用いることによって前記比較を行うように構成された、請求項１～請求項７のいずれか一項に記載のビデオエンコーダ（１０）。
9. 明示的なシグナリングを用いて前記選択したイントラ予測モードをシグナリングするように構成された、請求項１～請求項８のいずれか一項に記載のビデオエンコーダ（１０）。
10. コンテキストベースの適応算術コーディングを用いて前記選択したイントラ予測モードのインデックスをコード化するように構成された、請求項１～請求項９のいずれか一項に記載のビデオエンコーダ（１０）。
11. イントラ予測ブロックについての、前記ビデオエンコーダ（１０）によりサポートされる、サポートされるイントラ予測モードのサブセットとして前記複数のイントラ予測モードをシグナリングするように構成された、請求項１～請求項１０のいずれか一項に記載のビデオエンコーダ（１０）。
12. 前記複数のイントラ予測モードのうちの１つを選択することによって前記パディングの実行を開始するべく、前記参照部分（１００）が前記境界（１０６）を越えて延びる必要がある範囲を定義するパラメータをシグナリングし、
    前記参照部分（１００）が前記境界を越えて延びる範囲が前記範囲を下回る場合に、デフォルトのパディングモードを用いて前記参照部分（１００）をパディングする、
    ように構成された、請求項１～請求項１１のいずれか一項に記載のビデオエンコーダ（１０）。
13. ピクチャパラメータセット、シーケンスパラメータセット、スライスヘッダ、又は構文構造のうちの少なくとも１つのサブセット及び／又はパラメータをシグナリングするように構成された、請求項１１又は請求項１２に記載のビデオエンコーダ（１０）。
14. 前記参照部分（１００）が前記参照ピクチャ（１０１）のエッジを覆う場合に、前記参照部分（１００）を、
    前記参照部分（１００）によって覆われる水平境界部分が前記参照部分（１００）によって覆われる垂直境界部分よりも大きい場合に、前記参照部分（１００）が水平境界と交わるものとして取り扱い、
    前記参照部分（１００）によって覆われる垂直境界部分が前記参照部分（１００）によって覆われる前記水平境界部分よりも大きい場合に、前記参照部分（１００）が垂直境界と交わるものとして取り扱い、
    又は前記参照部分（１００）の少なくとも一部が、前記水平境界部分と前記垂直境界部分のうち大きい方を含む、ようにさらに構成された、請求項１～請求項１３のいずれか一項に記載のビデオエンコーダ（１０）。
15. 前記境界が、異なるピクチャコンテンツ部分を分離する、外側ピクチャ境界又は内側ピクチャ境界であり、前記内側ピクチャ境界は前記ピクチャの内側に存在するセグメント境界である、請求項１～請求項１４のいずれかに記載のビデオエンコーダ（１０）。
16. 前記参照ピクチャがそれを越えて延びる又は存在する境界部分に応じて異なって複数の前記参照部分（１００）に関してパディングを行うように構成された、請求項１～請求項１５のいずれか一項に記載のビデオエンコーダ（１０）。
17. データストリームにおいて前記境界部分の構成及び対応するパディングをパラメータ化するように構成された、請求項１６に記載のビデオエンコーダ（１０）。
18. 前記参照部分（１００）が完全に前記境界を越えて存在する場合に、前記参照部分が前記境界により近くなるように、前記参照部分の方を向いている前記現在のピクチャ（１２）の前記インター予測ブロックの動きベクトルの座標をクリップするように構成され、前記座標は前記境界に垂直な次元軸に対応する、請求項１～請求項１７のいずれかに記載のビデオエンコーダ（１０）。
19. 前記現在のピクチャ（１２）の前記インター予測ブロックの前記動きベクトルの座標を、サイズが小さいほど量が大きくなるように参照部分のサイズに依存する量だけクリップするように構成された、請求項１８に記載のビデオエンコーダ（１０）。
20. 前記インター予測ブロックの動きベクトル候補をテストする際に、
    デフォルトのイントラ予測モードを用いて、動きベクトル候補と関連付けられる前記境界を越えて延びる又は存在する複数の前記参照部分（１００）をパディングすることによって、動きベクトル候補の中で最良の動きベクトル候補を見つけ出し、
    前記最良の動きベクトル候補が指す参照部分（１００）が前記境界を越えて延びる又は存在する場合に、前記複数のイントラ予測モードの中から１回だけ前記最良の動きベクトル候補に関する最良のイントラ予測モードを見つけ出し、それを前記選択されるイントラ予測モードとして選択する、ように構成された、請求項１～請求項１９のいずれかに記載のビデオエンコーダ（１０）。
21. 空間的及び／又は時間的予測によって得られる推定イントラ予測モードに応じて、前記複数のイントラ予測モードのうちの１つの選択を行うように構成された、請求項１～請求項２０のいずれか一項に記載のビデオエンコーダ（１０）。
22. 前記複数のイントラ予測モードが、Ａｎｇｕｌａｒイントラ予測モードである、請求項１～請求項２１のいずれか一項に記載のビデオエンコーダ（１０）。
23. 前記現在のピクチャと前記参照ピクチャを含むビデオのピクチャ平面をビデオのピクチャにわたって静的な様態で空間セグメントに分割するように構成され、
    前記空間セグメントは、エントロピーコーディング及びイントラ予測に関して独立にコード化され、
    前記参照ピクチャの境界は、前記インター予測ブロックが存在する前記参照ピクチャ内の所定の空間セグメントのセグメント境界である、請求項１～請求項２２のいずれか一項に記載のビデオエンコーダ（１０）。
24. 前記現在のピクチャと前記参照ピクチャを含むビデオのピクチャ平面をビデオのピクチャにわたって静的な様態で空間セグメントに分割し、前記空間セグメントをエントロピーコーディング、イントラ予測、及びインター予測に関して独立にコード化するように構成され、
    前記選択したイントラ予測モードを用いて、所定の空間セグメントを越えて延びる又は存在する前記参照ピクチャ（１０１）の前記参照部分（１００）の前記エリア（１００’）をパディングするべく、前記所定の空間セグメントのセグメント境界を前記参照ピクチャの境界として用いることによって、前記インター予測ブロックの動きベクトルが前記参照ピクチャ内の所定の空間セグメントのセグメント境界と交わるかどうかにかかわらず、前記インター予測ブロックが存在する所定の空間セグメントを独立にコード化するように構成される、請求項１～請求項２２のいずれか一項に記載のビデオエンコーダ（１０）。
25. 前記参照ピクチャの境界の異なる各部分と前記複数のイントラ予測モードのうちの１つ以上の関連するイントラ予測モードとの関連付けに関する情報をデータストリームにおいてシグナリングし、
    前記参照部分が前記参照ピクチャのどの部分を越えて延びる又は存在するかに応じて、前記インター予測ブロックに関する１つのイントラ予測モードを、前記参照部分が越えて延びる又は存在する部分と関連付けられる前記１つ以上の関連するイントラ予測モードの中から選択する、ように構成された、請求項１～請求項２４のいずれか一項に記載のビデオエンコーダ（１０）。
26. 前記参照ピクチャの境界の所定の部分について、複数のイントラ予測モードのうち第１の又は第２のイントラ予測モードがパディングに用いられるべきであるかどうかをデータストリームにおいてシグナリングし、
    前記参照部分が前記所定の部分を越えて延びる又は存在する場合に、前記第１のイントラ予測モードがパディングに用いられることがシグナリングされる場合に前記第１のイントラ予測モードを前記選択されるイントラ予測モードとして選択し、前記第２のイントラ予測モードがパディングに用いられることがシグナリングされる場合に前記第２のイントラ予測モードを前記選択されるイントラ予測モードとして選択する、ように構成された、請求項１～請求項２４のいずれか一項に記載のビデオエンコーダ（１０）。
27. 時間的インター予測をサポートするビデオデコーダ（２０）であって、
    前記ビデオデコーダ（２０）は、参照ピクチャ（１０１）の境界（１０６）を越えて延びる又は存在する参照ピクチャ（１０１）の参照部分（１００）のエリア（１００’）のパディングを行うように構成され、
    前記参照部分（１００）は、複数のイントラ予測モードのうちの１つを選択し、前記選択したイントラ予測モードを用いて前記エリア（１００’）をパディングすることによって、現在のピクチャ（１２）のインター予測ブロックにより参照され、
    前記ビデオデコーダ（２０）は更に、前記参照部分（１００）が前記境界と交わる参照ピクチャ（１０１）の境界（１０６）の部分での参照ピクチャのエリアの評価に基づいて前記選択を行い、前記複数のイントラ予測モードの少なくとも１つのサブセットのそれぞれについて、前記境界（１０６）の部分での前記参照ピクチャ（１０１）の境界サンプル（１０２）に基づいて、それぞれのイントラ予測モードに関連する埋め方向とは反対の方向に沿って、プローブ埋めを得るべく前記参照ピクチャ（１０１）内で前記境界サンプル（１０２）よりも前記境界（１０６）から遠くにあるプローブエリア（１０４）を埋めることと、前記プローブ埋めと前記プローブエリア（１０４）の再構成された埋めを比較してそれらの間の類似性を測ることと、によって前記評価を行うように構成された、ビデオデコーダ（２０）。
28. 前記複数のイントラ予測モードの前記サブセットの中で類似性が最高のものを選択するように構成された、請求項２７に記載のビデオデコーダ（２０）。
29. 前記複数のイントラ予測モードの少なくとも１つのサブセットのそれぞれについて、複数のプローブエリアについて前記評価を行うように構成された、請求項２７又は請求項２８に記載のビデオデコーダ（２０）。
30. データストリームにおいて前記複数のプローブエリアの数をパラメータ化するように構成された、請求項２９に記載のビデオデコーダ（２０）。
31. 前記複数のプローブエリア（１０４）について行われる複数の評価の組み合わせを行うように構成された、請求項２９又は請求項３０に記載のビデオデコーダ（２０）。
32. 前記参照部分（１００）のエリア（１００’）又はエリア部分が前記方向に沿って投影される前記境界の区域を決定することによって前記境界サンプルを決定するように構成された、請求項２７～請求項３１のいずれか一項に記載のビデオデコーダ（２０）。
33. データストリームにおいて前記エリア部分の位置をパラメータ化するように構成された、請求項３２に記載のビデオデコーダ（２０）。
34. 差分絶対値和、差分変換絶対値和、誤差二乗和、又はアダマール変換のうちの１つを用いることによって前記比較を行うように構成された、請求項２７～請求項３３のいずれか一項に記載のビデオデコーダ（２０）。
35. 時間的インター予測をサポートする符号化方法であって、
    参照ピクチャ（１０１）の境界（１０６）を越えて延びる参照ピクチャ（１０１）の参照部分（１００）のエリアのパディングを行うこと、を含み、
    前記参照部分（１００）は、複数のイントラ予測モードのうちの１つを選択し、選択したイントラ予測モードを用いてエリアをパディングすることによって、現在のピクチャ（１２）のインター予測ブロックにより参照され、
    前記符号化方法は、前記参照部分（１００）が前記境界に交わる参照ピクチャ（１０１）の境界（１０６）の部分での参照ピクチャのエリアの評価に基づいて前記選択を行い、
    前記複数のイントラ予測モードの少なくとも１つのサブセットのそれぞれについて、前記境界（１０６）の部分での前記参照ピクチャ（１０１）の境界サンプル（１０２）に基づいて、それぞれの前記イントラ予測モードに関連する埋め方向とは反対の方向に沿って、プローブ埋めを得るべく前記境界サンプル（１０２）よりも前記境界（１０６）から遠くにあるプローブエリア（１０４）を埋めることと、前記プローブ埋めと前記プローブエリア（１０４）の再構成された埋めとを比較してそれらの間の類似性を測る、符号化方法。
36. 前記インター予測ブロックの動きベクトル候補をテストする際に、
    デフォルトのイントラ予測モードを用いて、動きベクトル候補と関連付けられる、前記境界を越えて延びる又は存在する複数の参照部分（１００）をパディングすることによって、動きベクトル候補の中で最良の動きベクトル候補を見つけ出し、
    前記最良の動きベクトル候補が指す参照部分（１００）が前記境界を越えて延びる又は存在する場合に、前記複数のイントラ予測モードの中から１回だけ前記最良の動きベクトル候補に関する最良のイントラ予測モードを見つけ出し、それを前記選択されるイントラ予測モードとして選択する、ように構成された、請求項３５に記載の符号化方法。
37. 空間的及び／又は時間的予測によって得られる推定イントラ予測モードに応じて、前記複数のイントラ予測モードの選択及び決定を行うように構成された、請求項３５又は請求項３６に記載の符号化方法。
38. 前記複数のイントラ予測モードが、Ａｎｇｕｌａｒイントラ予測モードである、請求項３５～請求項３７のいずれか一項に記載の符号化方法。
39. 時間的インター予測をサポートする復号方法であって、
    前記復号方法は、参照ピクチャ（１０１）の境界（１０６）を越えて延びる参照ピクチャ（１０１）の参照部分（１００）のエリアのパディングを行うこと、を含み、
    前記参照部分（１００）は、複数のＡｎｇｕｌａｒイントラ予測モードのうちの１つを選択し、選択したＡｎｇｕｌａｒイントラ予測モードを用いて前記エリアをパディングすることによって、現在のピクチャ（１２）のインター予測ブロックにより参照され、
    前記復号方法は、前記参照部分（１００）が前記境界に交わる参照ピクチャ（１０１）の境界（１０６）の部分での参照ピクチャのエリアの評価に基づいて前記選択を行い、
    前記複数のイントラ予測モードの少なくとも１つのサブセットのそれぞれについて、前記境界（１０６）の部分での前記参照ピクチャ（１０１）の境界サンプル（１０２）に基づいて、それぞれの前記イントラ予測モードに関連する埋め方向とは反対の方向に沿って、プローブ埋めを得るべく前記参照ピクチャ内の前記境界サンプル（１０２）よりも前記境界（１０６）から遠くにあるプローブエリア（１０４）を埋めることと、前記プローブ埋めと前記プローブエリア（１０４）の再構成された埋めとを比較してそれらの間の類似性を測る、復号方法。
40. 空間的及び／又は時間的予測によって得られる推定イントラ予測モードに応じて、前記複数のイントラ予測モードの選択及び決定を行うように構成された、請求項３９に記載の復号方法。
41. 前記複数のイントラ予測モードが、Ａｎｇｕｌａｒイントラ予測モードである、請求項３９又は請求項４０に記載の復号方法。
42. コンピュータ上で実行するときに請求項３５～請求項３８のいずれか一項に記載の方法を実施するためのプログラムコードを有するコンピュータプログラム。
    
    

Images