JP7478211B2 - 複合予測および制限付きマージ - Google Patents

Description

本出願は、ビデオコーディング/復号に関する。

AVC/H.264またはHEVC/H.265のような関連するすべてのビデオコーディング規格は、予測コーディングが予測残差の変換コーディングと合成される、いわゆるハイブリッド手法に従う。予測信号を生成するために、これらの規格によって2つの可能なモード、すなわち、イントラ予測およびインター予測がサポートされる。AVC/H.264では、これらの2つのモードの間の決定は、マクロブロック(16×16ルーマサンプル)レベルで、またHEVC/H.265では、変動するサイズのものであり得るコーディングユニット(CU:Coding Unit)レベルで、行うことができる。イントラ予測では、現在のブロックのすでに再構成済みの隣接ブロックのサンプル値が、予測信号を生成するために使用され得る。再構成済みの隣接サンプル値からこのイントラ予測信号がどのように形成されるのかは、イントラ予測モードによって指定される。インター予測では、(コーディング順序で)すでに再構成済みのフレームが、予測信号を生成するために使用され得る。インター予測の場合、AVC/H.264とHEVC/H.265の両方において、単予測または双予測のいずれかが使用される。単予測の場合、予測信号は、いわゆる参照ピクチャの、シフトかつ補間された領域である。使用される参照ピクチャは、参照インデックスによって指定され、参照ピクチャ内での(場合によっては補間された)領域のロケーションが、動きベクトルによって(現在のブロックと関連して)指定される。動きベクトル自体は動きベクトル予測子と関連して予測的に符号化され、その結果、動きベクトル差分しか実際に符号化される必要がない。HEVC/H.265では、動きベクトル予測子は、動きベクトル予測子インデックスを送信することによって選択される。AVC/H.264とHEVC/H.265の両方において、動きベクトルは、クォーターペル(qpel)の確度で指定され得る。そのような(補間された)予測信号を生成するプロセスは、動き補償予測とも呼ばれる。双予測では、動き補償された2つの予測信号が、(通常は、構成要素である両方の予測信号に対して0.5という係数を使用して)線形に重ね合わせられる。したがって、双予測の場合、2つの参照インデックスおよび動きベクトル差分(およびHEVC/H.265では、動きベクトル予測子インデックス)が、送信されなければならない。

同じ動き特性を有する近接したエリアの符号化を簡略化するために、HEVC/H.265は、局所的に隣接するかまたは時間的に一緒に置かれるかのいずれかのブロックの予測パラメータ(すなわち、参照インデックスおよび動きベクトル)が現在のブロックのために再使用され得る、いわゆるマージモードをサポートする。HEVC/H.265のスキップモードとは、予測残差が送信されない、マージの特定の事例である。

今日のビデオコーデックの、利用可能でありサポートされる予測モードは、これらの予測モードを予測が使用することを制御するために必要な、妥当な量の予測副次情報において予測残差を小さく保つことに関して、すでにかなり有効であるが、ブロックベースの予測ビデオコーデックのコーディング効率をさらに向上させることが好都合であろう。

したがって、コーディング効率が改善されたブロックベースの予測コーディングを使用するビデオコーデックを提供することが本発明の目的である。

この目的は、本出願の独立請求項の主題によって達成される。

複合予測信号を使用してピクチャの所定のブロックを予測することによってコーディング効率の向上が達成可能であることが、本発明の根底にある基本的な発想である。

一実施形態によれば、結果として複合予測信号の組立てになるように合成されるプリミティブ予測の個数は、2個を超えることが許容され、または異なって話すと、第1の予測信号と一緒に、所定のブロックがそれに基づいて最終的に予測される、第1の予測信号を過ぎたさらなる予測信号の個数は、1個を超えてよい。複合予測信号に寄与する予測信号またはプリミティブ予測の最大個数は、デフォルトの値によって、またはデータストリームの中でシグナリングされるいくつかの値によって限定され得る。所定のブロックに対する複合予測信号当りのそのような多数の寄与する予測信号またはプリミティブ予測を許容する可能性は、個々の予測寄与の独立した雑音成分の相互雑音低減を活用することによって、複合予測信号の固有の雑音低減の可能性を与える。

本出願の実施形態によれば、所定のブロックがそれに基づいて予測される、寄与するプリミティブ予測または合成される予測信号の個数、すなわち、複合予測信号がそれに基づいて形成されるプリミティブ予測の集合の濃度は、サブピクチャ粒度での局所的な変動を受ける。空間予測および/または時間予測を修正するための残差データをシグナリングするためにデータストリームの中で伝達される明示的な情報を使用するかまたは使用せずに、変動を制御するために空間予測および/または時間予測を使用することによってシグナリングオーバーヘッドが低く保たれ得る。この先、たとえば、HEVCにおいて使用されるような、ブロックをマージする概念は、第1の予測信号または第1のプリミティブ予測が、最終的に組み立てられる予測信号に寄与することだけでなく、さらなるプリミティブ予測またはさらなる予測信号の規定にも関係するように、拡張され得る。たとえば、寄与するプリミティブ予測または予測信号の個数、ならびにそれらの関連する予測パラメータおよび予測モードは、マージ候補から採用されてよく、それによって、それぞれ、寄与するプリミティブ予測および予測信号の個数の増大から本来なら生じるシグナリングオーバーヘッドのさらなる低減を図る。

本出願の実施形態によれば、寄与するプリミティブ予測または予測信号が、結果として複合予測信号になるように合成される方法が、データストリームの中の副次情報を介して制御される。詳細には、本出願のいくつかの実施形態によれば、個々のプリミティブ予測または予測信号は連続的に合計される。第1の中間的な総和を形成するために、第2のプリミティブ予測または第1のさらなる予測信号が、第1のプリミティブ予測または第1の予測信号に加算される。この第1の加算を制御するために、所定のブロックに対してデータストリームの中で寄与重みがシグナリングされる。加算において、それぞれ、第1のプリミティブ予測または第1の予測信号を重み付けするために、1から寄与重みを引いたものが使用されながら、それぞれ、現在のプリミティブ予測またはさらなる予測信号、すなわち、第2のプリミティブ予測または第1のさらなる予測信号によって形成される加数に重み付けするために、この寄与値が使用される。同様に、たった今述べた中間的な総和への第3のプリミティブ予測または第2のさらなる予測信号の加算を制御するために、所定のブロックに対して第2の寄与値が送信され、以下同様である。したがって、組立てはまた、ブロック自体の単位などの、サブピクチャ粒度で制御される。このようにして寄与を制御する際に、組立てを制御するための副次情報オーバーヘッドが低く保たれ得る。詳細には、本出願の実施形態によれば、寄与重みは、エンコーダによって選択され、各寄与重みがとり得る個別の個数の値の離散値領域を使用してデータストリームの中でシグナリングされる。たとえば、離散重み値のこの個数は、連続的に実行される個々の加算に対して、すなわち、すべての寄与重みに対して等しくてよく、この限定にもかかわらず、これらのもっと前のプリミティブ予測またはさらなる予測信号の寄与値だけでなく、それぞれ、その後に加算されるプリミティブ予測およびさらなる予測信号の寄与重みの積によっても、この有効重みが実際に形成されるという事実を通して、もっと前のプリミティブ予測またはもっと前のさらなる予測信号が複合予測信号に寄与する有効重みの細かい設定が達成され得る。実装については、連続的な加算を実行するための計算オーバーヘッドは、中間的な総和のうちの少なくともいくつかを影響下におくことによって低く保たれてよく、または連続的に実行される加算のうちのいくつかが、クリッピングおよび/または丸め演算をもたらす。エンコーダが関係する限り、好都合なことに、個々のプリミティブ予測または予測信号のテストが、それぞれ、エンコーダの既存の実装形態では大部分がすでに行われているので、予測信号を組み立てる際の自由が高められたテストは計算オーバーヘッドの無理のない増大に向かっていき、その結果、予測信号を組み立てる際の新たな自由によって与えられるコーディング効率の向上と比較して、連続的な加算はエンコーダオーバーヘッドの無理のない増大しかもたらさない。

上記の概念と組み合わせて、またはそれらとは独立して使用される、本出願のさらなる態様によれば、マージングは、データストリームの中のシンタックスによって制御可能となることが許容される。マージ候補制限シグナリングが、双予測の予測パラメータマージ候補へのマージ候補セット構成の制限をアクティブ化してよく、そうである場合、最終的に選択される予測パラメータマージ候補の仮説のうちの1つを選択するために、仮説選択表示が追加される。代替として、マージ候補制限シグナリングは、制限付きマージをアクティブ化してよく、そうである場合、最終的に選択される予測パラメータマージ候補の仮説のうちの1つを選択するために、仮説選択表示が追加される。ここで、構成は、単予測と双予測の両方の候補をセットに入れるが、双予測の候補が選択される場合、選択された仮説だけが、現在のブロックの単予測の処理のために使用される。この方法によって、マージ手順を適合させるための妥当な量の副次情報を単に追加することによって、マージ概念がより効果的にされる。

本出願の有利な態様は、従属請求項の主題である。本出願の好ましい実施形態が、図に関して以下で説明される。

本出願の実施形態による複合予測概念が実施され得るビデオデコーダに対する一例としての、ビデオを予測的にコーディングするための装置のブロック図である。 本出願の実施形態による複合予測概念が実施され得るビデオデコーダに対する一例としての、図1の装置に適合する、ビデオを予測的に復号するための装置のブロック図である。 それぞれ、予測信号を規定すること、予測残差信号を処理することなどのために、再分割を設定する可能性を示すように、予測残差信号、予測信号、および再構成済みの信号の間の関係に対する一例を示す概略図である。 それぞれ、反復的手法または再帰関係を使用する一実施形態による、予測信号の組立てを示す概略図である。 暗黙的および/または明示的なシグナリングの使用によって個々のどんなプリミティブ予測が指定され得るのかに関して示す、概略図である。 中間的な総和に加算された、寄与係数によって重み付けされ、次には1から寄与係数を引いたものによって重み付けされる方法で、1つのプリミティブ予測が反復ごとに複合予測信号に寄与する一例による、図5に示すような反復的手法によって予測信号を組み立てる概念を示す概略図である。 図6における追加のさらなるプリミティブ予測のための寄与値に対するシグナリング可能な離散値の値領域を示す概略図である。 複合予測の概念をマージングの概念と組み合わせる可能性を示す概略図である。 暗黙的に規定されるいくつかのさらなるプリミティブ予測がマージ候補から導出されている場合があることを示す例を用いて、必然的にインターモードのものであるさらなるプリミティブ予測をシグナリングする予測ユニットシンタックスに対する一例を示す図である。 暗黙的に規定されるさらなるプリミティブ予測が提供されないという点で図9とは異なる、予測ユニットシンタックスに対するシンタックス例を示す図である。 図10の例に加えて、B予測の第1のプリミティブ予測に対する仮説の、単に部分的な継承を可能にするために追加のシンタックスが費やされる、予測ユニットシンタックスに対するシンタックス例を示す図である。 図10の例に加えて、B予測の第1のプリミティブ予測に対する仮説の、単に部分的な継承を可能にするために追加のシンタックスが費やされる、予測ユニットシンタックスに対するシンタックス例を示す図である。 複合予測の概念がまた、第1の予測がイントラ予測モードのものであるブロックに適用され得ることを示し、かつ選択結果がデータストリームの中でシグナリングされて、シグナリングされるさらなるプリミティブ予測がイントラ予測モードまたはインター予測モードのいずれかのものであり得ることを追加として示す、コーディングユニットシンタックスに対するシンタックス例を示す図である。 複合予測の概念がまた、第1の予測がイントラ予測モードのものであるブロックに適用され得ることを示し、かつ選択結果がデータストリームの中でシグナリングされて、シグナリングされるさらなるプリミティブ予測がイントラ予測モードまたはインター予測モードのいずれかのものであり得ることを追加として示す、コーディングユニットシンタックスに対するシンタックス例を示す図である。 複合予測の概念がまた、第1の予測がイントラ予測モードのものであるブロックに適用され得ることを示し、かつ選択結果がデータストリームの中でシグナリングされて、シグナリングされるさらなるプリミティブ予測がイントラ予測モードまたはインター予測モードのいずれかのものであり得ることを追加として示す、コーディングユニットシンタックスに対するシンタックス例を示す図である。 複合予測の概念がまた、第1の予測がイントラ予測モードのものであるブロックに適用され得ることを示し、かつ選択結果がデータストリームの中でシグナリングされて、シグナリングされるさらなるプリミティブ予測がイントラ予測モードまたはインター予測モードのいずれかのものであり得ることを追加として示す、コーディングユニットシンタックスに対するシンタックス例を示す図である。 インター予測ブロックに対しても、さらなるプリミティブ予測がイントラ予測モードおよびインター予測モードのうちのシグナリングされる一方のものであり得ることを示しながら、図12のCUシンタックスによって呼び出される予測ユニットシンタックスに対する例示的なシンタックスを示す図である。 インター予測ブロックに対しても、さらなるプリミティブ予測がイントラ予測モードおよびインター予測モードのうちのシグナリングされる一方のものであり得ることを示しながら、図12のCUシンタックスによって呼び出される予測ユニットシンタックスに対する例示的なシンタックスを示す図である。 インター予測ブロックに対しても、さらなるプリミティブ予測がイントラ予測モードおよびインター予測モードのうちのシグナリングされる一方のものであり得ることを示しながら、図12のCUシンタックスによって呼び出される予測ユニットシンタックスに対する例示的なシンタックスを示す図である。

図面の以下の説明は、複合予測コーデックに対する実施形態がその中に組み込まれ得るフレームワークをコーディングすることに対する一例を形成するために、ビデオのピクチャをコーディングするためのブロックベースの予測コーデックのビデオエンコーダおよびビデオデコーダの説明の提示とともに始まる。ビデオエンコーダおよびビデオデコーダが、図1～図3に関して説明される。以下に、本出願の複合予測概念の実施形態の説明が、それぞれ、図1および図2のビデオエンコーダおよびデコーダの中にそのような概念がどのように組み込まれ得るかについての説明と一緒に提示されるが、後続の図4を用いて以下で説明する実施形態はまた、図1および図2のビデオエンコーダおよびビデオデコーダの根底にあるコーディングフレームワークに従って動作しないビデオエンコーダおよびビデオデコーダを形成するために使用されてよい。

図1は、ピクチャ12のシーケンスからなるビデオ11をデータストリーム14の中に予測的にコーディングするための装置を示す。この目的で、ブロック単位の予測コーディングが使用される。さらに、変換ベースの残差コーディングが例示的に使用される。装置すなわちエンコーダが、参照符号10を使用して示される。図2は、対応するデコーダ20、すなわち、ここでも変換ベースの残差復号を例示的に使用して、ピクチャブロックの中のピクチャ12'からなるビデオ11'をデータストリーム14から予測的に復号するように構成された装置20を示し、デコーダ20によって再構成されるような、それぞれ、ピクチャ12'およびビデオ11'が、予測残差信号の量子化によって持ち込まれるコーディング損失に関して、最初に装置10によって符号化されたピクチャ12から外れることを示すために、アポストロフィが使用されている。図1および図2は、変換ベースの予測残差コーディングを例示的に使用するが、本出願の実施形態は、この種類の予測残差コーディングに制限されない。このことは、以下で概説するように、図1および図2に関して説明する他の詳細にも当てはまる。

エンコーダ10は、予測残差信号を空間からスペクトルへの変換にかけ、そのように取得された予測残差信号をデータストリーム14の中に符号化するように構成される。同様に、デコーダ20は、データストリーム14から予測残差信号を復号し、そのように取得された予測残差信号をスペクトルから空間への変換にかけるように構成される。

内部的に、エンコーダ10は、元の信号、すなわち、ビデオ11または現在のピクチャ12からの、予測信号26のずれを測定するように予測残差24を生成する、予測残差信号形成器22を備えてよい。予測残差信号形成器22は、たとえば、元の信号、すなわち、現在のピクチャ12から、予測信号を減算する減算器であってよい。エンコーダ10は、次いで、予測残差信号24を空間からスペクトルへの変換にかけてスペクトル領域予測残差信号24'を取得する変換器28をさらに備え、スペクトル領域予測残差信号24'は、次いで、やはりエンコーダ10によって備えられる量子化器32による量子化を受ける。そのように量子化された予測残差信号24''は、ビットストリーム14の中にコーディングされる。この目的で、エンコーダ10は、変換および量子化されるような予測残差信号をデータストリーム14の中にエントロピーコーディングするエントロピーコーダ34を随意に備えてよい。予測残差26は、データストリーム14の中に復号されるとともにデータストリーム14から復号可能な、予測残差信号24''に基づいて、エンコーダ10の予測ステージ36によって生成される。この目的で、予測ステージ36は、図1に示すように内部的に、量子化損失を別にすれば信号24'に対応するスペクトル領域予測残差信号24'''を獲得するように予測残差信号24''を逆量子化する逆量子化器38と、それに後続する、後者の予測残差信号24'''を逆変換、すなわち、スペクトルから空間への変換にかけて、量子化損失を別にすれば元の予測残差信号24に対応する予測残差信号24''''を取得する、逆変換器40とを備えてよい。予測ステージ36の合成器42は、次いで、再構成済みの信号46、すなわち、元の信号12の再構成を取得するように、加算などによって予測信号26と予測残差信号24''''とを再合成する。再構成済みの信号46は、信号12'に対応し得る。

予測ステージ36の予測モジュール44は、次いで、たとえば、空間予測すなわちイントラ予測、および/または時間予測すなわちインター予測を使用することによって、信号46に基づいて予測信号26を生成する。この点についての詳細が以下で説明される。

同様に、デコーダ20は、内部的に、予測ステージ36に対応する構成要素からなり得、予測ステージ36に対応する方法で相互接続され得る。詳細には、デコーダ20のエントロピーデコーダ50は、量子化されたスペクトル領域予測残差信号24''をデータストリームからエントロピー復号し得、その後、相互接続されるとともに、予測ステージ36のモジュールに関して上記で説明した方法で協働する、逆量子化器52、逆変換器54、合成器56、および予測モジュール58が、予測残差信号24''に基づいて再構成済みの信号を復元し、その結果、図2に示すように、合成器56の出力は、再構成済みの信号、すなわち、ビデオ11'またはその現在のピクチャ12'をもたらす。

上記では詳細に説明しないが、エンコーダ10が、たとえば、いくつかのレートおよびひずみ関連の基準、すなわち、コーディングコストを最適化する方法などの、いくつかの最適化方式に従って、かつ/またはいくつかのレート制御を使用して、たとえば、予測モード、動きパラメータなどを含む、いくつかのコーディングパラメータを設定し得ることは、容易に明らかである。以下でより詳細に説明するように、エンコーダ10およびデコーダ20ならびに対応するモジュール44、58は、それぞれ、イントラコーディングモードおよびインターコーディングモードなどの、異なる予測モードをサポートし、そうした予測モードは、以下でより詳細に説明する方法でピクチャブロックの予測がそれに基づいて組み立てられる、プリミティブ予測モードの一種のセットまたはプールを形成する。エンコーダおよびデコーダがこれらの予測組立ての間で切り替える粒度は、ブロックへの、それぞれ、ピクチャ12および12'の再分割に対応し得る。これらのブロックのうちのいくつかが単にイントラコーディングされるブロックであってよく、いくつかのブロックが単にインターコーディングされるブロックであってよく、随意に、またさらなるブロックがイントラコーディングとインターコーディングの両方を使用して取得されるブロックであってよいことに留意されたいが、詳細は以下で述べられる。イントラコーディングモードによれば、ブロックに対する予測信号は、それぞれのブロックのすでにコーディング/復号された空間的な近傍に基づいて取得される。その間での選択結果が、ある意味で、一種のイントラ予測パラメータを表す、いくつかのイントラコーディングサブモードが存在し得る。それぞれの方向性イントラコーディングサブモードにとって特有であるいくつかの方向に沿って、近傍のサンプル値をそれぞれのブロックの中に補外することによって、それぞれのブロックに対する予測信号がそれに従って充填される、方向性または角度イントラコーディングサブモードがあり得る。イントラコーディングサブモードはまた、たとえば、それぞれのブロックに対する予測信号が、それに従ってそれぞれのブロック内のすべてのサンプルにDC値を割り当てるDCコーディングモード、および/またはそれぞれのブロックの予測信号が、隣接サンプルに基づく2次元線形関数によって規定される平面の傾きおよびオフセットを導出しながら、それに従ってそれぞれのブロックのサンプル位置にわたって2次元線形関数によって表されるサンプル値の空間分布であるものと近似または決定される平面イントラコーディングモードなどの、1つまたは複数のさらなるサブモードを備えてよい。それらと比較すると、インター予測モードによれば、ブロックに対する予測信号は、たとえば、内側のブロックを時間的に予測することによって取得され得る。インター予測モードのパラメータ化のために、データストリーム内で動きベクトルがシグナリングされてよく、動きベクトルは、それぞれのブロックに対する予測信号を取得するために、以前にコーディング/復号されたピクチャがそこでサンプリングされる、ビデオ11の以前にコーディングされたピクチャの部分の空間的な変位を示す。このことは、量子化されたスペクトル領域予測残差信号24''を表すエントロピーコード化変換係数レベルなどの、データストリーム14によって備えられる残差信号コーディングに加えて、以下でより詳細に概説されるように、ブロック予測モードに割り当てるための予測関連のパラメータ、インター予測モード用の動きパラメータなどの、割り当てられた予測モード用の予測パラメータ、ならびに随意に、割り当てられた予測モードおよび予測パラメータを使用してブロックに対する最終の予測信号の組立てを制御するさらなるパラメータを、データストリーム14がそれらの中に符号化している場合があることを意味する。追加として、データストリームは、ブロックへの、それぞれ、ピクチャ12および12'の再分割を制御およびシグナリングするパラメータを備えてよい。デコーダ20は、同じ予測モードおよびパラメータをブロックに割り当てるために、かつ同じ予測信号をもたらすべき同じ予測を実行するために、エンコーダが行ったのと同じ方法でピクチャを再分割するためにこれらのパラメータを使用する。

図3は、一方では再構成済みの信号、すなわち、再構成済みのピクチャ12'と、他方ではデータストリームの中でシグナリングされるような予測残差信号24''''および予測信号26の合成との間の関係を示す。上記ですでに示したように、合成は加算であってよい。予測信号26が、変動するサイズのブロック80へのピクチャエリアの再分割として図3に示されるが、これは一例にすぎない。再分割は、ブロックの行および列へのピクチャエリアの通常の再分割、または4分木再分割などの、変動するサイズのリーフブロックへのピクチャ12のマルチツリー再分割などの、任意の再分割であってよく、それらの混合が図3に示され、ここで、ピクチャエリアは、最初にツリールートブロックの行および列に再分割され、ツリールートブロックは、次いで、再帰的なマルチツリー再分割に従ってさらに再分割されて、結果としてブロック80になる。

図3の予測残差信号24''''はまた、ブロック84へのピクチャエリアの再分割として図示される。これらのブロックは、コーディングブロック80からそれを区別するために変換ブロックと呼ばれることがある。実際には、図3は、エンコーダ10およびデコーダ20が、ブロックへの、それぞれ、ピクチャ12およびピクチャ12'の2つの異なる再分割、すなわち、コーディングブロック80への1つの再分割およびブロック84への別の再分割を使用し得ることを示す。両方の再分割は同じものであってよく、すなわち、各ブロック80は、同時に変換ブロック84を形成してよく、逆も同様であるが、図3は、たとえば、2つのブロック80の間の任意の境界が2つのブロック84の間の境界を覆うように、変換ブロック84への再分割がブロック80への再分割の拡張を形成する、あるいは代替として話すと、各ブロック80が、変換ブロック84のうちの1つと符合するか、または変換ブロック84のクラスタと符合するかのいずれかである、事例を示す。しかしながら、再分割はまた、互いに独立して決定または選択されてよく、その結果、変換ブロック84は、代替としてブロック80の間のブロック境界を横切ることがある。変換ブロック84への再分割が関係する限り、ブロック80への再分割に関して繰り越されたそれら、すなわち、ブロック84は、行および列をなして配列された、ブロックへのピクチャエリアの通常の再分割の結果、ピクチャエリアの再帰的なマルチツリー再分割の結果、もしくはそれらの組合せ、または任意の他の種類のセグメント化であり得るので、類似の論述がそのように当てはまる。単に余談として、ブロック80および84が、正方形、長方形、または任意の他の形状であることに制限されないことに留意されたい。さらに、予測信号がそこで形成されるブロック80への現在のピクチャ12の再分割、および予測残差がそこでコーディングされるブロック84への現在のピクチャ12の再分割は、コーディング/復号するために使用される唯一の再分割でなくてよい。予測信号決定および残差コーディングが実行される粒度からのこれらの再分割は、ただし、第1に、残差コーディングは、代替として再分割を伴わずに行われてよく、第2に、これらの再分割以外の他の粒度で、エンコーダおよびデコーダは、予測パラメータ、予測信号組立て制御信号などの、上述のパラメータのうちのいくつかを含むことがあるいくつかのコーディングパラメータを設定し得る。

図3は、予測信号26と予測残差信号24''''との合成が、再構成済みの信号12'を直接もたらすことを示す。しかしながら、他の観点から、またはたとえば、別個のDPBを有する別個の予測ループの中でコーディング/復号される他のコーディングレイヤから、取得される予測信号などの、代替実施形態によれば、2つ以上の予測信号26が予測残差信号24''''と合成されて結果としてピクチャ12'になり得ることに留意されたい。

図3において、変換ブロック84は以下の意義を有するものとする。変換器28および逆変換器54は、これらの変換ブロック84の単位でそれらの変換を実行する。たとえば、多くのコーデックは、すべての変換ブロック84に対して、ある種のDSTまたはDCTを使用する。いくつかのコーデックは、変換ブロック84のうちのいくつかに対して、予測残差信号が空間領域で直接コーディングされるように、変換をスキップすることを許容する。しかしながら、以下で説明する実施形態によれば、エンコーダ10およびデコーダ20は、それらがいくつかの変換をサポートするような方法で構成される。たとえば、エンコーダ10およびデコーダ20によってサポートされる変換は、以下のものを備えることができる。
・DCT-II(または、DCT-III)、ただし、DCTは離散コサイン変換を表す
・DST-IV、ただし、DSTは離散サイン変換を表す
・DCT-IV
・DST-VII
・恒等変換(IT:Identity Transformation)

当然、変換器28は、これらの変換の順変換バージョンのすべてをサポートすることになるが、デコーダ20または逆変換器54は、それらの対応する逆方向または逆のバージョンをサポートすることになる。
・逆DCT-II(または、逆DCT-III)
・逆DST-IV
・逆DCT-IV
・逆DST-VII
・恒等変換(IT)

いずれの場合も、サポートされる変換のセットが、スペクトルから空間へのまたは空間からスペクトルへの1つの変換などの、1つの変換だけを備えてよいことに留意されたい。

上記ですでに概説したように、図1～図3は、本出願によるビデオエンコーダおよびデコーダに対する具体例を形成するために、以下でさらに説明する複合予測概念が実施され得る一例として提示されている。その限りにおいて、図1および図2のビデオエンコーダおよびデコーダは、それぞれ、本明細書で以下に説明するビデオエンコーダおよびデコーダの可能な実装形態を表す。以下でより詳細に概説されるように、本出願による複合予測に対してその後に説明する実施形態を、図1および図2のビデオエンコーダおよびデコーダの中に組み込むと、図1のビデオエンコーダおよび図2のビデオデコーダは、以下でより詳細に概説される方法でブロック80を、または現在のピクチャ12がそれらからなるすべてのブロックさえも処理することを、少なくとも1つのオプションとしてサポートする。したがって、以下で説明する実施形態は、とりわけ、以下でより詳細に概説される方法でブロック80を扱う、図1のエンコーダ10に等しいビデオエンコーダを参照し、以下でより詳細に概説される方法でブロック80が扱われる一実施形態によるビデオデコーダに対する一例をそのように表す、図2のデコーダに関して同じことが適用される。ただし、図1および図2は具体例にすぎない。しかしながら、本出願の実施形態によるビデオエンコーダは、たとえば、ブロック80への再分割が、図3で例示したものとは異なって実行されるという点で、またはこのエンコーダが、たとえば、代わりに空間領域において直接予測残差をコーディングしながら、変換予測残差コーディングを使用しない点などで、以下でより詳細に概説される概念を使用して、また図1のエンコーダとは異なって、ブロックベースの符号化を実行し得る。同様に、本出願の実施形態によるビデオデコーダは、以下でさらに概説される複合予測コーディング概念を使用してデータストリーム14からの復号を実行し得るが、たとえば、図3に関して説明するのとは異なってピクチャ12'をブロックに再分割するという点で、かつ/またはそれが、たとえば、変換領域ではなく空間領域においてデータストリーム14から予測残差を導出するという点で、図2のデコーダ20とは異なることがある。

詳細には、ブロック80へのブロック再分割に関して、図3に関して概説される方法で、または異なる方法で、それが行われてよいことに留意されたい。変換ブロックへの再分割も、存在する場合、図3に関して説明するように、または異なる方法で行われてよい。詳細には、一方ではブロックへの、また他方では変換ブロックなどの他のブロックへの再分割は、それぞれ、ピクチャ12をこれらのブロックに別々に再分割することによって互いに独立して、または従属して行われてよい。たとえば、変換ブロックへの再分割などの1つの再分割は、上記で説明したように他の再分割の拡張を形成することがあり、または両方の再分割が、たとえば、図3に関して説明したようなツリールートブロックのアレイへのピクチャの再分割などの、通常の1次再分割の別個の拡張を形成することがある。そして、そのような可能性はまた、いくつかの予測パラメータ、予測モード、寄与重みなどの規定に関するような、以下で述べられる他のサブピクチャ粒度に対して適用される。これらのエンティティのうちの異なるエンティティに対して、異なる再分割が使用されてよく、それらは、互いに独立して、部分的に独立して、または互いからの拡張として、規定されてよい。

そうは言っても、以下の説明は、エンコーダおよびデコーダにおいてブロック80を予測することに焦点を当てる。その狙いは、イントラ予測、インター単予測、およびインター双予測の間の従来の厳然たる区別を、予測信号が取得されるやり方でより大きいフレキシビリティを可能にするもっと一般的な手法と置き換えることによって、ビデオコーディングのレートひずみ性能を改善することである。その発想は、いくつかのプリミティブ予測動作を組み立てることであり、その結果、その組立ては、構成要素であるそのプリミティブ予測動作のうちのいずれよりも良好な予測信号をもたらす。簡単な事例では、構成要素であるプリミティブ予測動作は、イントラ予測またはインター予測(単または双)のいずれかであり得、組立て動作は、重み付き重ね合わせであり得る。この場合、得られる全体的な予測信号qは、構成要素であるプリミティブ予測信号p₁,...,p_Nから、

として導出されることになり、α_nは重み付け係数であり、Nは構成要素であるプリミティブ予測の個数である。ここでは、また以下では、p₁,...,p_Nおよびqは、対応する信号のサンプル値からなるベクトル、すなわち、予測されるべきブロックの形の2次元ベクトルである。

特定の実施形態では、全体的な予測信号は、組立て動作の反復された適用によって取得される。我々は、初期化
q₁=p₁、ν₁=1
および再帰関係

を規定する。

組立て演算子f_nは、中間複合予測信号q_nおよび1つまたは複数のプリミティブ予測信号

を新たな中間予測信号q_n+1にマッピングする。ν_n+1およびν_n+1の値は、中間予測信号q_n+1を生成するために使用される最初および最後のプリミティブ予測信号のインデックスを指定する。全体的な予測信号は、最終の中間予測信号q=q_K+1として取得される。Kが、適用される組立て動作の回数を指定することに留意されたい。たとえば、K≧0、K≧1、またはK>1であり、1または2などの上限も適用されてよいことであり得る。Nとして与えられる、構成要素であるプリミティブ予測信号の総数を用いると、そのことはν_K+1=Nに従う。

このことをさらに示すために、図4を参照されたい。デコーダおよびエンコーダによってサポートされるプリミティブ予測モードのセットが、100において図示される。このセット100は、イントラ予測モード102およびインター予測モード104を備えてよい。単予測インター予測モードおよび双予測インター予測モードが、セット100の別個の要素を形成してよく、または図4の中で点線によって図示したように、インター予測モード104の異なってパラメータ化されたバージョンとして解釈されてよい。現在予測されるべきブロックが106において示される。複合予測信号q、108を形成するために、所定のブロック106に対して、デコーダおよびエンコーダは、プリミティブ予測の集合110、すなわち、p₁～

を提供する。エンコーダおよびデコーダは、予測モードのセット100を使用してこの集合110、またはより正確には、セット100の中からプリミティブ予測モードの集合112を導出し、この集合112は、セット100に等しくてよく、またはセット100の中の予測モードへの個々のプリミティブ予測p_iの関連付けに応じた、それらの真部分集合であってよい。詳細には、プリミティブ予測集合110の導出114のために、各プリミティブ予測p_iが、セット100の予測モードのうちの関連付けられた予測モードによって導出されてよく、集合110の中のプリミティブ予測のうちの少なくとも1つにそのように関連付けられたすべての予測モードが、集合112を形成する。プリミティブ予測の集合、すなわち、110に基づいて、デコーダおよびエンコーダは、次いで、プリミティブ予測の集合110を合成することによって、所定のブロック106に対する複合予測信号108を組み立てる。最後の式を通して示されるように、この合成116は、反復をなして段階的または連続的に行われてよい。反復の回数は、Kによって上記で示されている。詳細には、通常の予測すなわち基礎となる予測をどうにかして形成する第1のプリミティブ予測p₁は、中間予測信号q₂を取得するように、最初に関数f₁を通してさらなるプリミティブ予測の第1のサブセット、すなわち、

と合成される。後者は、次いで、結果として中間予測信号q₃などになるように、さらなるプリミティブ予測のさらなるサブセット、すなわち、

と一緒に別の関数f₂の対象となり、関数f_Kの結果は、最終の複合予測信号108、すなわち、qを与える。

図4に示すように、各プリミティブ予測p_iおよび複合予測信号q、ならびにすべての中間予測信号q_iは、予測されるサンプル値をブロック106の各サンプル位置に関連付けるベクトルまたは行列を表す。図1および図2に関して上述したように、エンコーダは、すなわち、ブロック106を再構成するように複合予測信号108を修正するための複合予測信号108に対して、ブロック106に対する予測残差をデータストリーム14の中に符号化する。

単に以下の説明の理解を容易にするために、図5は、関連する予測モードに基づいて個々のプリミティブ予測p_iをどのように導出すべきかという疑問に関して、エンコーダとデコーダとの間でパラメータ化が共有されることを必要とする環境を示す。詳細には、図5は、エンコーダが、プリミティブ予測p_iごとに、ブロック106に対して選ばれるべき予測モードを120において、またそれらのパラメータ化を122において、選択することを示す。120において選択される予測モードが、たとえば、イントラ予測モードである場合、122において選択されるパラメータ化はイントラモードパラメータである。1つまたは複数のイントラモードパラメータのセット124は、たとえば、イントラ予測方向または角度での、たとえば、互いに異なる角度モード、ならびに随意に、上記で示したようなDCモードおよび平面モードなどの1つまたは複数のさらなるモードの間を区別し得る。選択される予測モードがインター予測モードである場合、1つまたは複数のインターモードパラメータのセット126は、動きベクトル、および随意に、参照ピクチャインデックス、および随意に、予測子インデックスを備えてよい。詳細には、パラメータセット126の中の動きベクトルは、空間予測および/または時間予測によってブロック106の空間的および/または時間的な近傍から取得される動きベクトル予測子に対する動きベクトル差分としてシグナリングされてよく、パラメータセット126が予測子インデックスを含む場合には、それは、いくつかのそのような予測子候補のうちの1つを動きベクトル差分に対する規準として選んでよい。したがって、プリミティブ予測p_iごとに、データストリーム14は、ブロック106のこのプリミティブ予測p_iに対する予測モード128、ならびにそれに応じてパラメータ化されたこのモードを使用して予測p_i、すなわち、予測パラメータセット130を与えるように、対応するモード128をパラメータ化するための1つまたは複数の予測パラメータの関連するセットをデコーダが導出することを可能にする。132においてそのように取得されたプリミティブ予測は、次いで、合成116を使用して合成されて最終の合成予測信号q、108を与える。以下でより詳細に説明するように、エンコーダおよびデコーダを同期させておくことに関連するシグナリングオーバーヘッドに関連する負担を緩和するために、または代替として話すと、プリミティブ予測ごとに情報128および130をデコーダにシグナリングするために、様々なメカニズムが使用され得る。合成116を制御し、したがって予測信号108を組み立てる、別のパラメータは、以下でより詳細に説明する本出願の実施形態によれば、エンコーダによるサブピクチャレベルの変動を受け、以下のことに関係し得る。
1)再帰または反復の回数K。図5に示すように134において、Kは、たとえば、ブロック106などのブロックごとのように、サブピクチャ粒度で変動させられることがある。
2)再帰または反復の回数Kは、図6の反復的組立て手法を使用する場合には変動させられることがある。Kが変動させられる場合、これは間接的に、予測集合110の濃度、および追加の予測p₂～

に対する2つ以上のモードを許容する場合には、モード集合112の濃度も変動させる。しかしながら、後者の濃度のうちの一方または両方はまた、反復的手法を使用しないときに変動させられることがある。
3)合成116はサブピクチャ粒度で制御され得る。上の式の反復的組立てを使用する場合には、たとえば、各反復の関数f_nはエンコーダによる変動を受けることがある。以下でより詳細に概説されるように、それに応じて合成116の組立てを実行するために、それぞれの組立て制御情報138をデータストリーム14を介してデコーダにサブミットまたはシグナリングしながら、関数f_nは、エンコーダが関数f_nのパラメータ化の選択136を行いパラメータ化可能であり得る。

シグナリングが、図5に示すように、組立て116、すなわち、反復の回数Kに関連するかまたはそれを制御すると、関与するプリミティブ予測および組立て制御138ごとの予測モード128およびそのパラメータ化は、ブロック106に対してデータストリームの中で明示的にシグナリングされる必要がない。すなわち、これらの情報項目は、ブロック106、またはブロック106が位置するピクチャ12のいくつかの下位領域に対する余分な情報として送信される必要がない。むしろ、以下でより詳細に概説されるように、この情報の一部または全部は、たとえば、同じ情報タイプに関連するが隣接する別のブロック、たとえば、ブロック106に関するか、または、たとえば、残差コーディングなどに関連するブロックなどの別のコーディングパラメータ発行に関連する、データストリーム14の中の他のデータから、デコーダがそれぞれの情報エンティティを推測できることを意味する暗黙的なシグナル化を介してシグナリングされてよい。実施形態が以下で説明される。

言い換えれば、プリミティブ予測信号p₁,...,p_Nを生成するために、予測モードについての情報128、イントラモード、参照インデックス、および動きベクトルなどの予測モードパラメータ化関連情報130などの、予測制御情報がデコーダに知られているべきであり、したがって、データストリーム14の中の副次情報において送信されるべきであることを、図5は明らかにする。さらに、この予測関連情報が明示的または暗黙的に送信またはシグナリングされ得ることが概説されている。明示的なシグナル化は、特にブロック80またはブロック80が位置するピクチャのいくつかの下位領域に対する、イントラ予測モードもしくは参照インデックス、動きベクトル予測子インデックス、動きベクトル予測子インデックスまたは動きベクトル差分などの、予測関連情報の一部または全部を送信することとして説明され得るが、暗黙的なシグナル化は、予測関連情報またはその部分が、現在予測されるブロック80以外の他のブロックに関連する、すなわち、ブロック80が位置しないブロックに対する、データストリーム14の部分などの、データストリーム14の他の部分から推測可能であることを意味するものとして説明され得る。たとえば、図4を参照されたい。現在予測されるブロック106は、参照符号106を使用してそこに示されている。この参照符号は、図4に示すタスクが特にこのブロック106のために実行されることを示すために使用されている。しかしながら、ブロック106は、106の後ろの括弧の中で80によって示すようにブロック80であり、予測組立てに関係するタスクは、代替として、すべてのブロック80、またはたとえば、p₁がインター予測モードのものであるべきブロック80に対して実行され得る。したがって、近傍におけるそのようなブロックから、さらなるプリミティブ予測およびその個数、または反復の回数を導出することに関与する、情報のうちのいくつかが、たとえば、図8に関して説明するようにマージインジケータまたはマージフラグを介して推測をアクティブ化しながら推定され得る。他の隣接ブロックは、Kが0である、すなわち、追加のプリミティブ予測の個数が0個である、隣接ブロックとして扱われてよい。

以下でより詳細に概説される例では、たとえば、暗黙的なシグナル化は、たとえば、HEVCまたはH.265において使用されるようなマージ方式またはマージモードを適合させるとともに、それをさらに発展させることを通して使用される。特定の実施形態では、たとえば、情報128および130が、または130のみが、明示的に、かつ相補的なセットに対して暗黙的に、P⊂{p₁,...,p_N}のサブセットに対してデータストリーム14の中でシグナリングされる。

たとえば、第1のプリミティブ予測p₁を除くプリミティブ予測が関係する限り、予測モードは、たとえば、デフォルトではデコーダおよびエンコーダによって設定され得る。

参照符号138に関して上記で概説したように、組立て演算子f₁,...,f_Kも、デコーダに知られているべきである。それらは、固定されるか、またはすでに送信されたシンタックス要素から推定されるか、もしくはビットストリームの中で明示的にシグナリングされるかのいずれかであり得る。

特定の一実施形態では、個々のf₁,...,f_Kは、

として汎用組立て演算子hから取得され得る。

ここで、構成要素であるプリミティブ予測信号の個数がすべての組立て演算子f₁,...,f_Kに対して同一であること、すなわち、ν_n+1-ν_n=mであることが想定される。ベクトルα_nは、特定の組立て演算子f_nが取得されるような汎用組立て演算子hをパラメータ化する。したがって、汎用組立て演算子hが固定される場合、α_nしか指定される必要がない。α_nの次元が、

(および、q_n)の次元とは独立しており、α_nをスカラーにさせる1であってもよいことに留意されたい。α_nの値が組立て演算子f_nを指定するので、それもデコーダに知られているべきである。それは、固定されるか、または推定されるか、もしくはビットストリームの中でシグナリングされるかのいずれかであり得る。

各組立て演算における平均保存的重み付き線形重ね合わせおよび1つのプリミティブ予測信号(すなわち、ν_n+1-ν_n=1)という、特定の事例の場合、汎用組立て演算子hは、
h(q_n,p_n+1,α_n)=α_n・p_n+1+(1-α_n)・q_n
として定義することができ、ただし、

は重み付け係数または組立て係数である。重み付け係数α_nがデコーダに知られているべきであるので、それは、固定されるか、または推定されるか、もしくはビットストリームの中でシグナリングされるかのいずれかであり得る。α_nに対する(通常は少数の)ある個数の値しか実現可能でない場合、インデックス値

が代わりに送信されてよく、それはα_nの実際の値を示す。α_nの実際の値が、次いで、ルックアップテーブルの使用によって、もしくは算出によって、または他の手段によってのいずれかで、導出される。α_nの許容される値がすべてのnについて同一である必要がないことに留意されたい。さらに、α_nまたは(1-α_n)のいずれかが、対応する予測信号の減算につながる負であってもよいことに留意されたい。

複合予測信号108を与えるためにデコーダおよびエンコーダによって実行される後の方の手順が図6に示される。K+1個のプリミティブ予測p₁...p_K+1が存在し、K回の反復すなわち連続した加算150₁～150_Kが実行される。各反復150_iにおいて、対応する寄与係数α_iで重み付けされた次のプリミティブ予測p_i+1が、ここまで形成された中間的な総和、すなわち、q_iに加算され、ただし、q₁は、1から対応する寄与係数α_iを引いたもの、すなわち、1-α_iで重み付けされたp₁である。したがって、追加のプリミティブ予測p₂は、たとえば、事実上、α₁ではなくα₁・(1-α₂)・(1-α₃)・...・(1-α_K)という有効係数で最終の複合予測信号108に影響を及ぼすかまたは寄与する。実際には、このことは、特に、もっと前のプリミティブ予測、すなわちインデックスがより小さいプリミティブ予測にとって、実効的な重み付けが極めて細かく設定され得るが、たとえば、個々の寄与係数α₁～α_Kの設定が、個数が限定された離散重み値に限定されることを意味する。たとえば、暗黙的または明示的なシグナル化による、エンコーダによる寄与値α_iの設定およびデータストリーム14によるそれらのシグナリングに関しては、いくつかの可能性を示す図7を参照されたい。詳細には、図7は、エンコーダによって寄与値α_iがそれに設定されてよく、すなわち、エンコーダによってそれに設定されることが許容され、かつデータストリーム14の中で暗黙的または明示的にシグナリングされてよい、寄与値α_iの値領域160が、図7の中の十字によって示される個別の個数の重み値に限定され得ることを示す。図7に示すように、個数が限定された離散重み値は、少なくとも1つの負の値および少なくとも1つの正の値を備えてよい。追加または代替として、この寄与値α_iに対してそれ自体または(1-α_i)のいずれかが負となるように、少なくとも1つのとり得る値が区間[0;1]の外側にあることであり得る。さらに代替として、たとえば、正の値のみが許容されてよい。すでに上で述べたように、寄与値α_iをシグナリングするために、テーブルルックアップ、すなわち一方ではα_iに対してシグナリングされる情報と他方では重み値との間の算術的な関係へのインデックス付けが使用され得る。値領域160の離散重み値の個数および値は、寄与値α_iの間で等しくてよく、または寄与値に対して異なってもよい。α_iまたは(1-α_i)がデータストリームの中でシグナリングされ得ることに留意されたい。

上記と同様に、

が2次元ベクトルであって、汎用組立て演算子hは、
h(q_n,p_n+1,α_n)=(α_n)₁・p_n+1+(α_n)₂・q_n
として定義され得る。

上記と同じように、(α_n)₁および(α_n)₂の値は、デコーダに知られているべきであり、固定されるか、推定されるか、またはビットストリームの中でシグナリングされるかのいずれかであり得る。ある意味では、

を伴う、前に説明した汎用組立て演算子hは、本出願の特別な事例として見られてよく、ここで、(α_n)₂=1-(α_n)₁であることが常に推定される。

さらなる特定の実施形態では、組立て演算子f_nの中にクリッピングおよび/または丸め演算が含められ得る。クリッピングおよび/または丸め演算が実行されるべきかどうかは、固定されるか、または推定されるか、もしくはビットストリームの中でシグナリングされるかのいずれかである。組立て演算子f₁,...,f_Kのサブセットに対してのみ、クリッピングおよび/または丸め演算が含められることも可能である(たとえば、全体的な予測信号q=q_K+1に対してのみ、クリッピングおよび/または丸めが実行されるべきである場合、f_Kだけがクリッピングおよび/または丸め演算を含む)。

たとえば、図6の中の破線のボックス170を参照されたい。それらは、中間的な各総和q₂～q_Kがクリッピングおよび/または丸め演算170の対象となってよいことを示した。追加として、クリッピングおよび/または丸め演算172は、最終の複合予測信号qを与えるために最終の総和q_K+1に適用されてよい。いかなる丸め170/172も、中間的な総和が計算および表現される計算精度よりも、大幅に粗い量子化を形成することは明らかであろう。クリッピングおよび/または丸め演算172は、たとえば、複合予測信号q、108のサンプル値が、ピクチャ12がそこでコーディングされるサンプル値の許容される表現範囲内または値領域内にあることを確実にする。

さらに、組立て演算子f_nは、特定のサンプル位置における(新たな中間的な)予測信号q_n+1の得られるサンプル値が、同じサンプル位置におけるプリミティブ予測信号

および中間予測信号q_nの値のみに依存するという意味では、スカラーであり得る。

再び、例示のために図6を参照されたい。各プリミティブ予測p_iは、それぞれ、複合予測信号108のサンプル位置180ごとに、またはブロック106/80のサンプル位置180ごとに、成分すなわちサンプル値を備える2次元ベクトルであり、予測信号108の各サンプル位置180が、単にプリミティブ予測p_i内の一緒に置かれた対応するサンプル位置に基づいて決定されるような方法で、規定が行われる。一代替形態は、中間的な総和のうちのいくつかが、FIRフィルタ処理などのある種のフィルタ処理を受けることになることであり得る。

中間予測信号q₁,...,q_K+1(または、それらのサブセット)がその中で表される領域(たとえば、ダイナミックレンジ、ビット深度、精度)は、プリミティブ予測信号p₁,...,p_Nの領域とは異なり得る。

複数の色平面(たとえば、R、G、B、ルーマ、クロマ、深度、アルファチャネルなど)のジョイント符号化の場合には、組立て演算子は、平面の(サブ)セットの間で共有され得るか、または独立し得るかのいずれかである。どの平面が同じ組立て演算子を使用しているのかは、固定されるか、推定されるか、またはビットストリームの中でシグナリングされるかのいずれかである。

組立て演算子f_nまたはhは、ビデオシーケンス全体に対して規定され得るか、または所与の粒度(たとえば、ランダムアクセス期間レベル、ピクチャレベル、スライスレベル、ブロックレベルなど)で変動することができるかのいずれかである。その粒度は、固定されるか、または推定されるか、もしくはビットストリームの中でシグナリングされるかのいずれかである。組立て演算子自体と一緒に、それらの個数Kも、同じかまたは異なる粒度内で変動することがある。組立て演算子の最大個数を限定する上限K_maxがあり得る。K_maxの値は、固定されるか、または推定されるか、もしくはビットストリームの中でシグナリングされるかのいずれかである。

組立て演算子f_nまたはhは、(たとえば、パラメータベクトルα_nをシグナリングすることによって)明示的または(たとえば、HEVC/H.265におけるマージモードと同様に)暗黙的のいずれかで、シグナリングされ得る。後者の場合、組立て演算子のすでに符号化されたセットへの参照がシグナリングされ、それらの組立て演算子は(場合によっては、たとえば、ブロックサイズ、色チャネル、ビット深度などへの適合の後に)使用される。暗黙的なシグナリングと明示的なシグナリングとの混合も可能であり、たとえば、最初のk_implicit個<K個の組立て演算子

が暗黙的に、すなわち、すでにシグナリングされた組立て演算子への参照によって、また残りのK-k_implicit個の組立て演算子

が明示的に、すなわち、デコーダが組立て動作を実行できるために必要な情報を直接シグナリングすることによって、シグナリングされる。どの組立て演算子が明示的にシグナリングされるのか、およびどれが暗黙的にシグナリングされるのかは、固定されるか、推定されるか、またはビットストリームの中でシグナリングされるかのいずれかである。

HEVCコーデックを修正することによって本出願の実施形態の実装形態を取得する可能性の説明を進める前に、マージングの概念を複合予測の概念と組み合わせる後の方の態様が、図8に関して示されるものとする。図8は、現在処理される、すなわち、現在復号されるかまたは現在符号化されるブロック、すなわち、ブロック80であるブロック106を示す。その近傍の中に、ブロック190aおよび190bがある。それらは復号/コーディング順序でブロック106に先行し、したがって、予測またはマージングのために利用可能である。図8に示すような2つの隣接ブロック190aおよび190bが単に例示のために選ばれていること、ならびに1つの隣接ブロックのみの使用、または3つ以上も使用され得ることに留意されたい。さらに、隣接ブロック190aと190bの両方がブロック106と等しいサイズであるものとして示されるという事実も、例示のためにすぎない。事実上、ブロック190aおよび190bは、ブロック80でもあり、すなわち、これらのブロックに対して、上記で概説したのと同じ方法で予測信号108が決定されている。デコーダおよびエンコーダは、以前に処理されたすべてのブロック、すなわち、コーディング順序で先行するブロックのうちのブロック190aおよび190bを、たとえば、ブロック106の1つまたは複数の所定のサンプル位置に基づいて識別し得る。たとえば、ブロック190aは、ブロック106の左上サンプル192の左へのサンプルを備えるブロックであるものと決定することができ、ブロック190bは、左上サンプル192の上へのサンプルを備えるブロック80であるものと決定することができる。しかしながら、他の例も実現可能である。ブロック候補はまた、たとえば、上述の特定の位置192に一緒に置かれたサンプル位置を備えるブロックなどの、ブロック106に一緒に置かれたブロックなどの、別のピクチャのブロックを備えてよい。2つ以上のマージ候補の中からの選択結果は、ブロック106に対してマージングを使用する場合には、データストリーム14の中でシグナリングされ得る。

ブロック190aおよび190bは、予測ブロック80、すなわち、予測信号100aがそれに対して決定されているブロックであるので、これらのブロックの各々に対して、ブロック190aに対して図8に例示的に示すように予測関連情報194が存在する。より正確には、予測関連情報194は、ブロック190aに関して、ブロック190aに対する複合予測信号108につながった。予測関連情報194は、たとえば、プリミティブ予測p₁の導出の根底にある、予測モードについての情報および対応する予測パラメータを備えてよい。追加として、情報194は、追加のプリミティブ予測の個数Nを示す。図8は、予測信号組立てが図6の概念に従うことを例示的に想定し、たとえば、予測関連情報194が、それぞれ、適用される反復150の回数に等しい、追加のプリミティブ予測の個数Kを示すことを示す。有効な可能性であるK>0の場合、予測関連情報134は、追加として、追加のプリミティブ予測p₂...p_K+1を導出するための、モードについての情報および対応する予測パラメータを備える。追加として、プリミティブ予測p_iごとに、対応する寄与重みα_i-1が予測関連情報194の中に含められる。隣接ブロック190aに対する予測関連情報194が、データストリーム14の中で明示的に伝達される必要がないこと、ただし予測関連情報194が、少なくとも部分的に、データストリーム14の中で暗黙的にシグナリングされ得ることは明らかであろう。いずれの場合も、エンコーダおよびデコーダは、ブロック106を処理する時間において、ブロック190aの予測関連情報194へのアクセスまたはそれについての知識を有する。シグナリングオーバーヘッドを節約するために、エンコーダは、ブロック106用のマージモードを選ぶための機会を有し、それによって、ブロック106用の対応する予測関連情報の少なくともいくつかの断片が、ブロック190aの予測関連情報194、またはブロック190bの対応する予測関連情報などのいくつかの他のマージ候補から推定されるべきであることをシグナリングする。すなわち、エンコーダは、マージ情報196を介してブロック106用のマージモードのアクティブ化をデータストリーム14内でシグナリングしてよく、そのマージ情報196は、マージモードをアクティブ化し、使用されるべきマージ候補を随意に示す。

場合によっては、マージ情報196は、追加として、現在のブロック106用の予測関連情報198の対応する部分の推測のためにマージ候補の予測関連情報194のどの断片が使用されるべきであるのかに関する情報を備える。1つのオプションによれば、たとえば、第1のプリミティブ予測p₁をどのように導出するのかについての情報だけが、ブレース200によって示されるマージングの対象となる。したがって、予測関連情報198内の対応する情報200'は、情報200に等しくなるように設定されることになる。p₂などの、任意のさらなるプリミティブ予測に対して、予測関連情報またはパラメータは、隣接ブロックのために使用されその特定のプリミティブ予測の予測モードに関係する予測パラメータのリストの中を指し示す情報を介して、そのブロック106に対してデータストリームの中でシグナリングされ得る。マージ候補リストに寄与する隣接ブロック、および後の方のリストに寄与するそれら、したがって、マージ情報196およびシグナリング206によってそれらのリストの中をその予測関連情報が指し示されるブロックが、異なってよいことに留意されたい。たとえば、予測p₁はインター予測される信号であってよく、p₂はイントラ予測される信号である。

一代替形態がたった今概説されており、ブロック190a用の双予測モードの2つの仮説のうちのどちらが、ブロック106のプリミティブ予測p₁の単予測モード用の規準を形成しなければならないのかに関して、追加として選びながら、ブロック190aのp₁に対する双予測モードをブロック106のp₁に対する単予測モードに向けさせる追加のシグナリングを、マージ情報196が含むことであり得る。一代替形態は、双予測コーディングされたそのようなマージブロックの2つの仮説のうちのどちらが、ブロック106のプリミティブ予測p₁用の規準を形成しなければならないのかに関して、追加としてシグナリングしながら、p₁に対する双予測モードを使用するマージ候補にマージ候補の決定を制限する追加のシグナリングを、マージ情報196が含むことであり得る。両方の代替形態では、ブロック106のp₁のモードは、単予測モードとなるように設定される。本明細書において以下で再びより詳細に説明する、後者の代替形態では、したがって、それらの間のどれが最後にブロック106のマージ相手として選ばれるのかに関する情報を場合によってはシグナリングしながら、マージ情報196は、マージ候補のセットの形成を、双予測されるインターブロックであるマージ候補に制限することになる。前者の代替形態では、この制限が中断され、シグナリングされるマージ候補はp₁に関して単予測または双予測であってよく、双予測の場合、ブロック106に対するp₁の単予測モード導出をパラメータ化するために、シグナリングされた仮説だけが使用される。

別のオプションは、たとえば、- 部分200に加えて- 追加のプリミティブ予測の個数K、ならびに対応するプリミティブ予測をどのように導出すべきか、および対応する寄与値をどのように設定すべきかについての、対応する情報を、ブレース202によって示されるようにマージ動作にかけることであることになる。その場合、ブロック106の予測関連情報198の対応する部分202'は、ブロック190aのその部分202、すなわち、追加のプリミティブ予測

に対するモード、関連する予測パラメータ、および寄与値についての、k_implicit回の情報から推定されることになる。すなわち、オプション202によれば、予測導出情報、すなわち、隣接ブロック190aのすべてのK個の追加のプリミティブ予測p₂～p_K+1に対するモード、および関連する予測パラメータ、ならびに寄与重みが、ブロック106の複合予測信号を組み立てるための同じ個数のプリミティブ予測に対する、対応するプリミティブ予測導出情報および寄与重み情報を形成するために使用されることになる。すなわち、この例によれば、ブロック106に対して、決定が、ブロック106にとってのp₁に対する予測パラメータ、すなわち、部分200を暗黙的に導出するためのモードである場合、このことは、

に対する予測パラメータおよび寄与値の暗黙的な推測を同時にシグナリングまたはトリガする。しかしながら、図8に示すように、エンコーダは、追加として、隣接ブロック190aのKに等しくなるようにk_implicitを設定することに関して、現在のブロック106に対する追加のプリミティブ予測の個数を拡張すべきと決定してよい。エンコーダは、いくつかの明示的にシグナリングされるプリミティブ予測をシグナリングするために、オフセットまたは異なるK-k_implicitをデータストリーム14内でシグナリングしてよい。したがって、ブロック106用の予測関連情報198は、次いで、対応するプリミティブ予測

をどのように導出すべきかを、ブロック106に対してデータストリーム14の中で明示的にシグナリングする。情報内容198の中のKは、ブロック106に対する追加のプリミティブ予測の個数に関係するが、情報194内のKがブロック190aに関係すること、および両方のパラメータが異なって設定され得ることは明らかであろう。それらの両方は、上記で示したように、デフォルトの値に設定されてよく、またはデータストリーム14の中でシグナリングされてもよい、いくつかのK_maxによって限定され得る。

オプション202の代わりに、隣接ブロック190aのすべての追加のプリミティブ予測Kが、現在のブロック106に対する予測関連情報198をセットアップするために使用されるべきとは限らないことをシグナリングするための、追加の自由をエンコーダが有することが可能であり得る。言い換えれば、データストリーム14は、ブロック106に対してk_implicitを取得するためのブロック190aのK、すなわち、マージ候補をどのように修正すべきかをシグナリングするために使用され得る。後者のオプションが、ブレース204を使用して図8に示される。オプション200～204のうちのどれが使用されるのかは、実装形態に依存し得る。たとえば、オプション200～204のうちの1つが、エンコーダおよびデコーダによって固定されて使用され得る。代替として、いくつかの情報が、オプション200～204のうちの2つまたはすべての間での切替えを持ちかけてよい。ブロック106に対してk_implicitを与えるために、ブロック190aに関連する情報194内のKを修正する機会をエンコーダに提供し、かつデータストリーム14の中でのシグナリングを介してそれらについてデコーダに通知するのではなく、ブロック190aに関連する情報194内のKとブロック106に対するk_implicitとの間の関係は、デフォルトで固定されてよく、または暗黙的なシグナリングによって決定されてもよい。

図8に関して、予測関連情報198内のブロック106のさらなるプリミティブ予測p₂～p_K+1のうちのいずれかに対して、どの予測モード、すなわち、イントラ予測モードが使用されるのかそれともインター予測モードが使用されるのかに関して、デフォルトで知られている場合があることに留意されたい。したがって、明示的にシグナリングされるプリミティブ予測が関係する限り、この環境に関連するシンタックスはデータストリーム14の中で伝達される必要がない場合がある。ブロック106のp₁に対して類似の論述が当てはまり得る。たとえば、ブロック106のp₁がインターモードなどのいくつかのモードのものであることがすでにデータストリームの中でシグナリングされているブロック106に対して、たとえば、マージオプション/動作が、単にそれぞれのマージフラグによってアクティブ化され得ることであり得、またはp₁がそれぞれの予測モードのものであるべき候補を単に入れることによってマージ候補セット/リストがそれに応じて構成されているので、ブロック106のp₁がいくつかのモードのものであることを、マージアクティブ化自体が同時に明らかにする。

ここで、HEVC/H.264コーデックを修正することによって達成される、本出願の実施形態の可能な実装形態の提示に目を向ける。HEVC/H.265では、各ピクチャは、いくつかのコーディングツリーユニット(CTU:Coding Tree Unit)に分割され、その各々はコーディングユニット(CU)にさらに再分割され得る。CUは、再び、予測ユニット(PU:Prediction Unit)および変換ユニット(TU:Transform Unit)にさらに分割され得る。上述の複合予測は、PUレベルでシグナリングされ得る。HEVC/H.265の通常の予測パラメータ(すなわち、イントラ予測モードまたは動きベクトルおよび参照インデックス)に加えて、さらなる予測パラメータ(やはりイントラまたはインターのいずれか)が組立て情報と一緒にシグナリングされ得、組立て情報は、個々の予測パラメータから取得される個々の予測信号が、得られる全体的な予測信号にどのように組み立てられるのかを示す。すなわち、前に説明したブロック106は、HEVC命名法によればPUブロックであり得る。追加の予測パラメータの利用可能性は、1つの追加のシンタックス要素によって示されてよい。このシンタックス要素が、追加の予測パラメータがないことを示す場合、これ以上のデータが送信される必要はない。そうでない場合、追加の予測信号に対応するシンタックス要素が、通常のHEVC/H.265予測信号および追加の予測信号の組立て動作がどのように実行されるべきかを指定するデータと一緒に後続する。簡単な事例では、追加の予測信号用の重み付け係数または寄与係数が送信される。この係数は、直接、または実際の重み付け係数がそこから取得されるルックアップテーブルへのインデックスとしてのいずれかでシグナリングされ得る。2つ以上の追加の予測信号が使用される場合、シグナリングは再び冒頭から開始し、すなわち、もっと多くの追加の予測信号が後続するかどうかを示す1つのシンタックス要素がシグナリングされる。次いで、前に説明したようにシグナリングが継続する。

後者の論述では、ブロック106に対してKまたは代替としてK-k_implicitをシグナリングする1つのやり方が開示されている。詳細には、また以下で提示されるシンタックス例において例示されるように、明示的にシグナリングされる追加のプリミティブ予測が、現在のブロックに対してデータストリーム14の中で後続するか否かを、したがって、このさらなる追加のプリミティブ予測に対して予測パラメータおよびその寄与重みが後続するか否かを、追加のプリミティブ予測によって、すなわち、対応するフラグを介して、追加のプリミティブ予測をブロック106に対して連続的にデータストリーム14の中で示すことが可能である。これらのフラグは、以下で例示されるように、プリミティブ予測導出情報および対応する寄与重みについての対応する明示的な情報とインターリーブされて、データストリーム14の中で送信され得る。要約すると、k_implicit個のプリミティブ予測は、明示的に規定されるK-k_implicit個のプリミティブ予測によって拡張され得る。k_implicit個のプリミティブ予測を制御するパラメータは、マージ候補から導出される。K-k_implicit個の明示的に規定される追加のプリミティブ予測の個数は、ブロック106に対してデータストリーム14の中でシグナリングされる。このことは、明示的に規定される追加のプリミティブ予測ごとに1つの、何らかの状態のフラグと、それに後続する他の状態の1ビットとを送ることによって、行われてよい(随意に、最大数K_maxに到達していない限り)。明示的に規定されるプリミティブ予測についての情報、すなわち、図8の中の206は、ブロック106に対してデータストリーム14の中で伝達される。

図8が、ブロック106に対する予測信号の組立てに参加するプリミティブ予測ごとに、情報198によってモードが示されることを示すことに、留意されたい。しかしながら、このことは、これらのプリミティブ予測の各々に対して、このモード表示がデータストリーム14内で伝達される必要があることになることを意味しない。むしろ、これらのプリミティブ予測のうちのいくつかに対して、少なくとも、それぞれのプリミティブ予測がどのモードのものであるのかに関して、デフォルトで知られていることがある。たとえば、以下でより詳細に概説される実施形態のうちのいくつかは、それに対してシグナリングオーバーヘッドを費やす必要がないように、さらなるプリミティブ予測p₂,...,p_K+1のうちのいずれかがインター予測モードのものであることを推定する。

図8の説明をHEVCのマージモードと手短に比較し、図8に関して説明する実施形態に対する1つの実装例を形成するように、マージモードに関してHEVCがどのように修正され得るのかに関して手短に説明する。HEVC/H.265では、マージモードにより、すでに送信済みの隣接するかまたは時間的に一緒に置かれるブロックからのインター予測パラメータを使用することが可能になる。このことは、データの必要とされる量を低減する。
・(リスト0が使用されるのか、リスト1が使用されるのか、それとも双予測が使用されるのかを示す)inter_pred_idc
・(双予測の場合には)1つまたは複数の動きベクトル予測子インデックス
・(双予測の場合には)1つまたは複数の参照ピクチャインデックス
・動きベクトル差分
のすべてをシグナリングするのではなく、その予測パラメータが現在のPUのために再使用されるべき予測ユニット(PU)を示す、マージインデックスのみがシグナリングされる。

図8に関して説明したように、プリミティブ予測信号のうちの1つまたは複数に対してマージモードを使用することも可能である。言い換えれば、たとえば、第1のプリミティブ予測信号p₁に対してマージモードが使用される場合、1つまたは複数の追加の予測信号、すなわち、明示的に規定された予測信号を送信すること、および上記で説明したように、それらを1つの全体的な予測信号に組み立てることが可能である。さらに、追加のシグナリングによって、利用可能な予測データの一部しかp₁に対して使用されないようなマージモード(たとえば、双予測ではなくリスト0予測またはリスト1予測)を制限すること、または利用可能な予測データが修正(たとえば、得られる動きベクトルグリッドに対するシフトを用いるかまたは用いずに、フルペルまたはハーフペルの動きベクトル確度に量子化)されることが可能である。マージモードが制限されるやり方は、(たとえば、リスト0予測またはリスト1予測が使用されるべきかどうかを示す1つのフラグを伴う、双予測から単予測への事例に対して)さらなるシンタックス要素によって示される。

(マージインデックスによって示されるように)使用されるマージ候補が複合予測を使用する場合、構成要素であるすべてのプリミティブ予測信号またはそのサブセットは、現在のプリミティブ予測信号、すなわち、暗黙的に規定されるプリミティブ予測のために使用され得る。暗黙的な規定のためにマージネイバーのp₂～p_N+1のうちのどのサブセットが使用されるのかは、固定されるか、または推定されるか、もしくは明示的にシグナリングされるかのいずれかである。たとえば、双予測から単予測に制限されるマージモードの上述の事例では、双予測信号を指定する2つの動きパラメータのうちの一方が破棄されるだけでなく、すべての追加のプリミティブ予測信号も破棄されることが定められ得る。別の例では、そのような制限が課せられない場合、使用されるマージ候補のすべてのプリミティブ予測パラメータが、現在のブロックのために使用され得る。

HEVC/H.265では、マージ候補リストは、冗長なエントリが回避されるようなやり方で構成される。複合予測のコンテキストでは、このことは、第1のプリミティブ予測信号p₁の動きパラメータだけでなく、すべての他のプリミティブ予測信号の動きパラメータも、相等性についてチェックされ得ることを暗示する。

ビットストリームの中で指定されるような予測子の順序に対する一例は、情報206を規定するためのPUシンタックスの断片を示す図9を参照されたい。第1の予測仮説p₁は、「通常の」(すなわち、イントラ、単予測インター、または双予測インター)予測信号であってよい。HEVC/H.265(または、類似の何か)におけるマージモードの特別な事例、すなわち、別のコード化ブロックへの参照が行われ、かつそこからの予測パラメータも現在のブロックのために使用される、予測モードに対して、(そのような制限が適用されるかどうか、およびはいのとき、2つの[リスト0またはリスト1]予測信号のうちのどちらが使用されるべきであるのかを示す)最高2つのシンタックス要素によって、双予測の使用を構成要素である2つの予測信号のうちの1つに制限することが可能であることに留意されたい。この第1の「通常の」予測仮説の後、それは一連のシンタックス要素に後続する。

変数NumMergedAdditionalHypotheseis208は、それ自体が追加の仮説を有するブロックからマージモードを介して「継承」されている追加の仮説の数を与える。変数MaxNumAdditionalHypotheseis209は、追加の仮説の総数を制約する。その値は、固定されるか、またはいくつかのプロファイル/レベル制約によって与えられるか、もしくはビットストリームの中で送信されるかなどのいずれかであり得る。

詳細には、図9の例によれば、明示的に規定されるプリミティブ予測の個数は、フラグ210、すなわち、additional_hypotheseis_flagのシーケンスを介してシグナリングされる。何らかの状態を有する、すなわち、1であるフラグ210の個数は、明示的に規定されるプリミティブ予測の個数を規定し、他の状態のもの、すなわち、0であるフラグ210が後続する。1である各フラグ210に、それぞれの追加のプリミティブ予測がどのように解釈されるのかについての情報が後続する。この例では、これらの追加のプリミティブ予測の各々がインター予測モードのものであることが推定される。したがって、明示的に規定される追加のプリミティブ予測ごとに、以下のシンタックス要素が送信される。ref_idx_add_hyp212は、明示的に規定されるそれぞれの追加のプリミティブ予測の参照ピクチャの参照インデックスi、すなわち、第iのフラグ210が1であるべき参照インデックスiを示し、シンタックス部分mvp_coding214は、動きベクトル差分、すなわち、後者の動きベクトル予測子に加算されたときに第iのプリミティブ予測をセットアップ/導出するための動きベクトルを与える動きベクトル予測子への差分を備え、mvp_add_hyp_flag216は、より多くの状態を有するシンタックス要素が使用され得るときのフラグの代わりに2つの動きベクトル予測子のうちの一方を選択するフラグであり、またはエンコーダおよびデコーダにおいて1つの予測子しか使用されない場合は欠落してよく、シンタックス要素add_hyp_weight_idx218は、第iのプリミティブ予測が複合予測信号に寄与する寄与重みを示し、α_nまたは(1-α_n)は218によって示されてよい。図6の概念は、図9に従って使用され得る。図9に見られるように、後者のフラグが1である場合、シンタックス要素212～218のみが第iのフラグ210に後続し、フラグ210は1であり、対応する情報212～218はインターリーブされる。さらに、209によって規定される、許容される追加のプリミティブ予測の最大個数にすでに到達しているという事実に起因して、これ以上のプリミティブ予測が後続し得ないという事実がすでに知られている場合、フラグ210は送信されない。すでに上記で説明したように、エンコーダは、たとえば、ビデオ全体に対して、ピクチャのシーケンスに対して、またはピクチャごとに、データストリームの中で変数209の値をシグナリングし得る。さらに、すでに上記で説明したように、変数208は、すでに暗黙的に規定されたプリミティブ予測の個数を規定し得る。一実施形態によれば、この変数は必然的に0に設定され、すなわち、すべての追加のプリミティブ予測は、明示的に規定されたプリミティブ予測であり、別の実施形態によれば、この変数200は図8の数k_implicitを規定する。

上記で与えられるシンタックス表では、add_hyp_weight_idx[x0][y0][i]の値は、(ルーマサンプルの中で与えられる)空間ロケーション(x0,y0)における第iの追加の仮説に対して、(ルックアップテーブルの中にインデックス付けすることによって)重み付け係数を指定する。したがって、空間粒度は予測ブロックレベル(HEVC/H.265におけるCUまたはPU)である。

いくつかのプリミティブ予測を合成する非反復的な手法を越える、図6による反復的組立ての利点に留意されたい。詳細には、個々の予測仮説を累積するために1つのバッファが使用され得るが、別のバッファが現在の予測信号を格納するので、必要とされる予測サンプルバッファアレイの数は双予測と比較して増えない。そのこと以外に、それにより複雑度が中程度の符号化アルゴリズムが可能になり、ここで、個々の仮説は、「グリーディーアルゴリズム」(すなわち、局所的な最適化)の趣旨で次々に決定され、場合によっては改良ステージが後続し、ここで、すべての仮説の予測パラメータ(すなわち、動きベクトル)は、それらの以前の値の局所近傍の中で変動し、反復の最大回数に到達するか、またはこれ以上の改善が達成されていないかのいずれかまで、すべての仮説にわたってできる限り複数回反復する。

さらに、複合予測信号を形成する際に、丸めおよび/クリッピング演算170および172などの非線形演算を使用する可能性に関して、少しの注釈が行われるものとする。個々の予測子/仮説の累積に対して実際の表現ビット深度(たとえば、10ビット)よりも高いビット深度確度(たとえば、14ビット)が使用されるかどうかという疑問とは無関係に、実際的な視点から、そうでない場合に新たな累積される予測信号を記憶するのに必要とされるビット深度が、追加の予測子ごとに1ビットだけ増大することになるので、新たな予測子/仮説が累積(「加算」)された後、少なくともいくつかの非線形の丸め演算がなければならない。(累積ビット深度が10であり、所与のロケーションにおいてここまで累積されたサンプル値が1023であり、かつ現在の追加の仮説に対する対応するサンプル値が1022であると想定すると、得られる値は、両方の予測子が0.5によって重み付けされる場合、1022.5であることになり、それは10ビットでは記憶され得ない- そのため、ビット深度を一定に保つためにいくつかの丸めがあるべきか、またはビット深度が新たな各予測子とともに増大すべきかのいずれかである。)ビット深度を一定に保つことが通常は望ましいので丸めは不可避であり、その結果、組立ては、反復的に行われるべきであり、重み付けされた大きい1つの総和(または、類似の何か)に拡大されるべきではない。

さらに、図6の中の重みα_iが[0..1]という範囲の中にあるようには制限されないことに留意されたい。詳細には、それぞれ、現在の(累積された)予測子に対する重み{3/4,9/8,17/16}、およびそれに対応して、追加の仮説に対する{1/4,-1/8,-1/16}が、すなわち、それぞれ、(1-α)およびαとして使用され得る。丸めに加えてクリッピングを伴う演算170、172を有することによって、得られる予測サンプル値は、中間的な総和q_iおよび最終の複合予測子qにとっての範囲(たとえば、10ビットに対して<0または>1023)の外にあることが防止される。

図9のシンタックス表は、NumMergedAdditionalHypotheseisの値が構文解析中にすでに知られているという事実に依拠する。マージ候補のリスト、したがって、使用されるマージ候補を決定することは、構文解析プロセス中に回避され得るとともに、実際の復号(すなわち、再構成されるサンプル値の計算)が実行されるまで延期され得る、時間がかかるタスクであり得るので、このことは起こり得ない。言い換えれば、図9によれば、予測パラメータを規定するための明示的な情報、さらにはブロック106の明示的に規定されるプリミティブ予測の個数の構文解析は、最後に選ばれるマージ候補の予測関連情報に、すなわち、特に追加のプリミティブ予測の後者の個数Kに依存した。しかしながら、伝送損失に起因して、マージ候補がデコーダの側において確実には決定され得ない場合、デコーダは、ブロックの明示的に規定されるプリミティブ予測206に関係する個数および予測パラメータに関係するシンタックスを正しく構文解析することができず、それによって、伝送損失問題を大きくさせる。したがって、図10のシンタックスチャートでは、これらの情報項目、すなわち、関連する寄与重み218と一緒にシンタックス要素212～216を介してシグナリングされるような予測パラメータの個数、およびフラグ210を介してシグナリングされるようなブロック106の明示的に規定されるプリミティブ予測の個数を、データストリームから構文解析する前に、あらかじめk_implicitを0に設定することによって、この依存状態は切り離される。言い換えれば、後者の情報項目のコーディングおよび構文解析は、いかなるマージ候補の設定、特にできる限りそれらから導出される任意のk_implicit、および特にマージ候補のうちの最後に選択されたマージ候補からも独立させられる。しかしながら、対応する復号プロセスにおいて、以下の2つの態様に従わなければならない。
・追加の仮説p₂...p_K+1の有効なリストは、シグナリングされる追加の仮説、すなわち、隣接ブロックのKから独立したフラグ210およびシンタックス要素212～218を使用して図10に従って送信される仮説、すなわち

を、マージされたk_implicit個の追加の仮説、すなわち、

に付加することから得られる。
・有効なリストの最大サイズに対する制約K_maxは、すなわち、209によって与えられてよい。有効なリストが大きすぎるような、多すぎる追加の仮説がシグナリングされる場合(k_implicitに、210～218を介してシグナリングされるような明示的にシグナリングされる予測の個数を加えたものが、K_maxを超えるので)、ビットストリームは無効である。

マージ候補リストの制限も存在し得る。図11のシンタックス表では、HEVC/H.265と比較した変更が強調される。シンタックス要素226によってアクティブ化されるようなマージモードの場合には、Bスライスに対するマージフラグ、すなわち、修正済みのマージ候補が使用されるべきであることを示す追加のシンタックス要素restricted_merge_flag230が送信される。このフラグ230が真である(すなわち、1に等しい)場合、マージ候補がどのように修正されるべきであるのかを示す、さらなるシンタックス要素restricted_merge_list232が送信される。restricted_merge_list==0の場合、使用されるマージ候補に対してリスト0予測のみが採用される。同じように、restricted_merge_list==1の場合、使用されるマージ候補に対してリスト1予測のみが採用される。いずれの場合も、restricted_merge_flag==1の場合、使用されるマージ候補の、潜在的に利用可能なすべての追加の仮説が破棄され、すなわち、k_implicitは必然的に0に設定される。代替として、シンタックス要素230は、双予測されるマージ候補のみが許容されるという点で、マージ候補リストの形成に対する変動をシグナリングし得る。この可能性は、図8に関して上記で概説されている。

さらなる例が図12において提供される。図12は、CUシンタックス例を示し、HEVCと比較した変更を強調することによって、図9～図11に関して提供される実施形態が、インター予測ブロックに関する使用に制限されないことを示す。図12の例では、ブロック106の予測子の組立てを使用するという概念が、イントラ予測ブロック106/80にも適用される。図12はCUシンタックスを示す。明示的に規定される追加のプリミティブ予測の個数が、再びフラグ210によってシグナリングされる。しかしながら、明示的に規定されるさらなるプリミティブ予測ごとに、シンタックス要素220はモードを示す。すなわち、それは、明示的に規定される第hypの追加のプリミティブ予測が、イントラ予測モードによって解釈されるプリミティブ予測であるのか、それともインター予測モードによって解釈されるプリミティブ予測であるのかを示す。それらに応じて、明示的に規定されるそれぞれの第hypのプリミティブ予測を規定するイントラ予測関連シンタックス要素222が、インター予測詳細の観点から第hypの追加のプリミティブ予測を規定するすべてのシンタックス要素210、212、214、および216に後続する。どちらの場合も、寄与重み、すなわち、それぞれ、218または228も、データストリームの中で送信される。しかしながら、図12の例によれば、複合予測信号の概念は、イントラ予測ブロック106のために使用されるだけでなく、図13に示されるようなインター予測ブロックに対しても使用され、図13は、図12のCUシンタックスによって呼び出される予測ユニットシンタックスを示す。ここでさえも、インター予測ベースの予測p₁に対して、1つのイントラ予測関連またはインター予測関連のさらなるプリミティブ予測p₂～p_K+1のモードがシグナリングされ得る。すなわち、イントラ予測ブロックに対して図12に示すものと同じシンタックスが、インター予測されるPUに対して適用され、したがって、図13では同じ参照符号が使用されている。

言葉を換えて言うかまたは別の用語を使用すると、上記の実施形態は、とりわけ、ブロックベースの予測復号/符号化を使用してデータストリームから/にビデオを復号/符号化するためのビデオデコーダおよびビデオエンコーダをそのように明らかにしたが、所定のブロック106に対する予測は、以下のこと、すなわち、第1の予測情報がデータストリーム14の中で伝達されることを伴う。このことは、マージモードをアクティブ化することによってマージモードを使用し得る。すなわち、第1の予測情報はマージフラグ226を備えてよい。フラグがマージモードをアクティブ化しない場合、第1の予測情報は予測モードおよび関連するパラメータを明示的に示してよい。p₁に対してインター予測モードが適用されるべきブロック80だけが、たとえば、複合予測の対象となり得るが、p₁に対してイントラ予測モードが適用されるべきブロック80だけが、または両方のブロック、すなわち、p₁に対してインター予測モードが適用されるべきブロック、およびp₁に対してイントラ予測モードが適用されるべきブロックが、複合予測の対象となることも可能であり得ることに留意されたい。第1の予測情報に基づいて、図4における導出114の一部などの第1の予測信号p₁が決定/導出される。さらに、個数Kがデータストリーム14から導出される。本実施形態では、このことは、K_maxにすでに到達しているかどうかに応じてK+1回またはK回、連続的に送信されるフラグ210を介して行われた。しかしながら、そのような短縮単項コードではなく、別のコーディングが使用されてよい。詳細には、データストリームの中での、その後に述べられる情報とのフラグ210のインターリービングは、異なって解決され得る。さらに、Kは、データストリーム14の中で予測的にコーディングされてよい。たとえば、上記のk_implicitは、単にK-k_implicitが送信されて、Kに対する予測子として見られ得る。K個のさらなる予測信号p₂...p_K+1が決定され、K個のさらなる予測信号の各々に対して組立て重みが決定される。デコーダおよびエンコーダを同期させておくために、すなわち、p₂...p_K+1に対する1つまたは複数の予測パラメータのセットを送信するために、かつ寄与重みを送信するために、明示的なシグナリングおよび/または暗黙的なシグナリングが使用されてよい。たとえば、p₂...p_K+1のすべてに対して、1つまたは複数の予測パラメータのセットが明示的に送信されてよい。このセットは、すべての予測信号p₁...p_K+1に対して図5の中の130で示されていた。図9～図13において、このセットは、モードに応じて212～216または222を含んだ。モード表示220も含められてよく、またはシグナリングされてよい。しかしながら、すべてのp₂...p_K+1は、デフォルトで単予測モードなどのインター予測モードのものであってよい。寄与重みα₁...α_Kについての情報も、明示的および/または暗黙的に送信されてよい。たとえば、それらのすべては、シンタックス要素218/228を介して明示的に送信されてよい。図7に関して上記で説明したように、インデックス付けが使用されてよい。所定のブロック106は、第1の予測信号およびK個のさらなる予測信号、ならびにそれらに対する組立て重みに基づいて、最後に予測される。予測のために、図6に関して教示したように、K個のさらなる予測信号の各々は、それぞれのさらなる予測信号を、それぞれのさらなる予測信号に対する組立て重みで重み付けし、かつそれぞれのさらなる予測信号が加算される先の、連続的な加算の中間的な総和を、1から組立て重みを引いたもので重み付けしながら、第1の予測信号に連続的に加算されてよい。K個のさらなる予測信号の各々に対する寄与重みは、寄与重みが、K個のさらなる予測信号に対して等しいいくつかの値からなる値領域のうちの1つの値をとるような方法で、データストリームの中で伝達され得る。値領域は、K個のさらなる予測信号に対して等しくてよい。少なくとも1つの値は、α₁...α_Kのうちの1つに対して[0;1]の外側にあってよい。クリッピングおよび/もしくは丸め演算170;172、ならびに/または別の非線形演算が、少なくとも中間的な総和のサブセットに対して適用されてよい。

以下のことにも留意されたい。上記の例は、第1の予測p₁に対して、それがある種の制御された制限付きマージの対象となる可能性を明らかにした。マージフラグ226によるなどの、マージモードがアクティブ化されるブロック106に対して、マージ候補制限シグナリング230が、データストリームの中でシグナリングされる。マージ候補制限シグナリング230が双予測の予測パラメータマージ候補へのマージ候補制限を示す場合、予測パラメータマージ候補のセットから単予測の予測パラメータマージ候補、すなわち、情報194がそれに対してp₁に対する双予測を使用しないことを示すブロック190a、bの予測パラメータマージ候補を除外しながら、またマージ候補制限シグナリング230が双予測の予測パラメータマージ候補、すなわち、対応する情報194がそれに対して双予測を示唆するブロック190a、bに加えて、対応する情報194がそれに対して単予測を示唆するブロック190a、bの予測パラメータマージ候補への、マージ候補制限を示さない場合、単予測の予測パラメータマージ候補を予測パラメータマージ候補のセットに入れながら、所定のブロック106に対する予測パラメータマージ候補のセットの決定が行われる。予測パラメータマージ候補のセットが、事実上、順序付きセット、すなわち、リストであってよいことに留意されたい。順序付けは、ブロック106に対するいくつかの推定値または設定との各予測パラメータマージ候補の比較によって行われてよい。予測パラメータマージ候補、またはここで、かつ以前の説明において、述べられるようなマージ候補が、ある種の平均化またはいくつかの他の合成などによって、1つの隣接ブロックのみから、またはそのような2つ以上のネイバーから取得されていることがある、200、202、および204などの予測関連の設定に関係することにも留意されたい。さらに、隣接ブロックはまた、上記で概説したように、ブロック106以外の他のピクチャの中に置かれることがある。またさらに、予測パラメータマージ候補のセットは、追加として、いくつかの隣接ブロックが欠落している場合には、たとえば、セット/リストの中の固定の個数または濃度の予測パラメータマージ候補を達成などするために、1つまたは複数のデフォルトの予測パラメータ設定によって補完されていることがある。所定のブロックに対して、予測パラメータマージ候補のセットのうちの1つが選択される。図12の中のmerge_idxなどのインデックスは、この目的で使用されてよい。それは、予測パラメータマージ候補のセットのうちの1つにインデックス付けする。マージ候補制限シグナリング230が双予測の予測パラメータマージ候補へのマージ候補制限を示す場合、データストリームは仮説選択表示232を含む。マージ候補制限シグナリング230が双予測の予測パラメータマージ候補へのマージ候補制限を示す場合、選択済みの予測パラメータマージ候補の2つの仮説のうちの一方に従ってパラメータ化された単予測の予測であって、一方の仮説が仮説選択表示232に従って選択される、予測、ならびにマージ候補制限シグナリング230が双予測の予測パラメータマージ候補へのマージ候補制限を示さない場合、選択済みの予測パラメータマージ候補による予測、すなわち、選択済みの予測パラメータマージ候補が双予測である場合、選択済みの予測パラメータマージ候補の2つの仮説に従ってパラメータ化された双予測の予測、および選択済みの予測パラメータマージ候補が単予測である場合、選択済みの予測パラメータマージ候補に従ってパラメータ化された単予測の予測を使用することによって、所定のブロックに対して予測情報を決定することが取得される。上記で説明したように、単予測では、予測信号は、参照ピクチャ、すなわち、参照のために使用されるピクチャの、シフトかつ補間された領域であってよい。使用される参照ピクチャは、参照インデックスによって指定され、参照ピクチャ内での、場合によっては補間される領域のロケーションは、動きベクトルによって現在のブロックと関連して指定される。参照インデックスおよび動きベクトルは、マージ候補から採用され、または異なって話すと、すなわち、単予測の候補、または双予測の候補の選択された仮説から、ブロック106の単予測をパラメータ化するために使用される。双予測では、動き補償された2つの予測信号が、構成要素である両方の予測信号に対して0.5という係数、またはいくつかの他の重み比を使用するなどして、線形に重ね合わせられる。したがって、双予測の場合、2つの参照インデックスおよび動きベクトルが、双予測のマージ候補から採用されるか、または双予測をパラメータ化するために使用される。本明細書での双予測のすべての言及に当てはまるように、ここで、両方の仮説の合成は、等しい重み、またはピクチャ単位ベースでデータストリームの中でシグナリングされるいくつかの重み比で、両方の仮説を合計することによって、固定式に行われてよい。したがって、マージ候補制限シグナリング230が双予測の予測パラメータマージ候補へのマージ候補制限を示すか否かに応じて、p₁の導出は、この実施形態に従って、前方の冒頭、すなわち、マージ候補リストの構成とは異なって行われた。しかしながら、代替実施形態によれば、ビデオデコーダおよびビデオエンコーダは、p₂...p_K+1の形態でのさらなる仮説の加算をサポートしないが、たった今概説した方法で単にインター予測ブロック106に対するマージングを処理し、すなわち、そのようなブロック106に対して、かつ図12および図13の例では、p₁だけがあり、同様にp₂...p_K+1の加算に関係するものではなく、HEVCシンタックスに加えてシンタックス要素230および32しかないことになる。ここまでにおいて、上記で提示されたすべての詳細は、制限付きマージ候補リスト構成のたった今強調した問題に関して説明する限り、図1～図3に関して上記で提示したすべての詳細などの、いかなる他の予測信号とも無関係のp₁に関するマージ、たとえば、すなわち、内部的にエンコーダおよびデコーダをどのように実施すべきか、ならびに現在処理されるブロック、すなわち、106を含むブロック80に、どのようにピクチャを再分割すべきかに焦点を当てる、最近強調された実施形態に対するさらなる詳細のためのリザーバを形成するものとする。

さらに、以下のことに留意されたい。上記の例はまた、マージ候補リスト形成を双予測の候補に制限するのではなく、マージ候補の予測設定が現在のブロック106のために再使用される範囲の観点から、すなわち、選択されたマージ候補が双予測の候補、すなわち、双予測モードが適用されるべき候補である場合には、採用される仮説の個数の観点から、第1の予測p₁に対して、それがある種の制御された制限付きマージの対象となる可能性を明らかにした。merge_flagを使用するなどしてマージモードがアクティブ化されるブロック106に対して、所定のブロックに対する予測パラメータマージ候補のセットが、デコーダおよびエンコーダにおいて決定される。決定は、図8に関して、または以前の段落などの中で、すでに上記で説明した方法で行われる。所定のブロックに対する予測パラメータマージ候補のセットのうちの1つが、図8に関して、または以前の段落の中で、すでに上記で説明されているような、データストリームの中で選択されるものへのインデックスのシグナル化を使用するなどして選択される。マージ候補制限シグナリング230が、データストリームの中でシグナリングされる。このことは、エラーロバストネスを高めるように、必然的に、すなわち、選択されたマージ候補が双予測であるか否かとは無関係に、または選択されたマージ候補が単予測である場合にはシグナリング230を省略しながら、選択されたマージ候補が双予測であることに応答して行われてよい。マージ候補制限シグナリング230が制限付きマージ動作を示す場合、データストリームには追加として仮説選択表示232が提供される。所定のブロックに対する予測情報が、次いで、1)選択済みの予測パラメータマージ候補が単予測である場合、選択済みの予測パラメータマージ候補に従ってパラメータ化された単予測の予測、2)選択済みの予測パラメータマージ候補が双予測である場合、マージ候補制限シグナリング230が制限付きマージ動作を示す場合、選択済みの予測パラメータマージ候補の2つの仮説のうちの一方に従ってパラメータ化された単予測の予測であって、一方の仮説が仮説選択表示232に従って選択される、予測、および3)選択済みの予測パラメータマージ候補が双予測である場合、マージ候補制限シグナリング230が制限付きマージ動作を示さない場合、選択済みの予測パラメータマージ候補の2つの仮説に従ってパラメータ化された双予測の予測を使用することによって決定される。このようにして、ブロック106に対するp₁が決定されている。しかしながら、代替実施形態によれば、ビデオデコーダおよびビデオエンコーダは、p₂...p_K+1の形態でのさらなる仮説の加算をサポートしないが、たった今概説した方法で単にインター予測ブロック106に対するマージングを処理し、すなわち、そのようなブロック106に対してp₁だけがある。ここまでにおいて、上記で提示されたすべての詳細は、制限付きマージ候補リスト構成のたった今強調した問題に関して説明する限り、図1～図3に関して上記で提示したすべての詳細などの、いかなる他の予測信号とも無関係のp₁に関するマージ、たとえば、すなわち、内部的にエンコーダおよびデコーダをどのように実施すべきか、ならびに現在処理されるブロック、すなわち、106を含むブロック80に、どのようにピクチャを再分割すべきかに焦点を当てる、最近強調された実施形態に対するさらなる詳細のためのリザーバを形成するものとする。

いくつかの態様が装置のコンテキストで説明されているが、これらの態様がまた、対応する方法の説明を表すことは明らかであり、ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同じように、方法ステップのコンテキストで説明した態様はまた、対応するブロックもしくは項目、または対応する装置の特徴の説明を表す。方法ステップの一部または全部は、たとえば、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路のような、ハードウェア装置によって(または、それを使用して)実行され得る。いくつかの実施形態では、最も重要な方法ステップのうちの1つまたは複数が、そのような装置によって実行され得る。

本発明のデータストリームは、デジタル記憶媒体上に記憶され得るか、またはインターネットなどのワイヤレス伝送媒体もしくは有線伝送媒体などの伝送媒体上で送信され得る。

いくつかの実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施され得る。実装形態は、それぞれの方法が実行されるようなプログラマブルコンピュータシステムと協働する(または、協働することが可能である)、その上に記憶された電子的に読取り可能な制御信号を有する、デジタル記憶媒体、たとえば、フロッピーディスク、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM、またはFLASH(登録商標)メモリを使用して実行され得る。したがって、デジタル記憶媒体はコンピュータ可読であってよい。

本発明によるいくつかの実施形態が、本明細書で説明した方法のうちの1つが実行されるようなプログラマブルコンピュータシステムと協働することが可能である、電子的に読取り可能な制御信号を有するデータ担体を備える。

概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行するとき、方法のうちの1つを実行するために動作可能である。プログラムコードは、たとえば、機械可読担体上に記憶され得る。

他の実施形態は、機械可読担体上に記憶された、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを備える。

言い換えれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行するとき、本明細書で説明した方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。

本発明の方法のさらなる実施形態は、したがって、その上に記録された、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを備える、データ担体(または、デジタル記憶媒体もしくはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体、または記録媒体は、通常、有形かつ/または非過渡的である。

本発明の方法のさらなる実施形態は、したがって、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを経由して転送されるように構成されてよい。

さらなる実施形態は、処理手段、たとえば、本明細書で説明した方法のうちの1つを実行するように構成または適合された、コンピュータまたはプログラマブル論理デバイスを備える。

さらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムがその上にインストールされたコンピュータを備える。

本発明によるさらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを(たとえば、電子的または光学的に)受信機に転送するように構成された装置またはシステムを備える。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであってよい。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてよい。

いくつかの実施形態では、本明細書で説明した方法の機能の一部または全部を実行するために、プログラマブル論理デバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明した方法のうちの1つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。

本明細書で説明した装置は、ハードウェア装置を使用して、もしくはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して、実装され得る。

本明細書で説明した装置、または本明細書で説明した装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装され得る。

本明細書で説明した方法は、ハードウェア装置を使用して、もしくはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して、実行され得る。

本明細書で説明した方法、または本明細書で説明した装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアによって実行され得る。

上記で説明した実施形態は、本発明の原理に対する例にすぎない。本明細書で説明した構成および詳細の修正および変形が、他の当業者に明らかであることが理解される。したがって、それは間近にある特許クレームの範囲のみによって限定されることが意図され、本明細書での実施形態の記述および説明を通して提示される具体的な詳細によって限定されることは意図されない。

10 エンコーダ
11 ビデオ
12 ピクチャ
14 データストリーム
20 デコーダ
22 予測残差信号形成器
24 予測残差信号
26 予測信号
28 変換器
32 量子化器
34 エントロピーコーダ
36 予測ステージ
38 逆量子化器
40 逆変換器
42 合成器
44 予測モジュール
46 再構成済みの信号
50 エントロピーデコーダ
52 逆量子化器
54 逆変換器
56 合成器
58 予測モジュール
80 コーディングブロック
84 変換ブロック
100 プリミティブ予測モードのセット
102 イントラ予測モード
104 インター予測モード
106 所定のブロック
108 複合予測信号
110 プリミティブ予測の集合
112 プリミティブ予測モードの集合
114 導出
116 合成
124 イントラモードパラメータのセット
126 インターモードパラメータのセット
128 予測モード
130 予測パラメータセット、予測モードパラメータ化関連情報
138 組立て制御情報
150 加算、反復
160 値領域
170、172 クリッピングおよび/または丸め演算
180 サンプル位置
190 隣接ブロック
194 予測パラメータ情報
194 予測関連情報
196 マージ情報
198 予測関連情報
206 予測パラメータ情報
210 フラグ
212、214、216 予測パラメータ
218 関数予測パラメータ情報
222 予測パラメータ
226 マージフラグ
228 関数予測パラメータ情報
230 マージ制限表示
232 仮説選択表示

Claims (38)

1. ブロックベースの予測復号を使用してデータストリーム(14)からビデオ(11')を復号するためのデコード方法であって、前記デコード方法が、前記ビデオ(11')のピクチャ(12')のブロック(80)を予測するためのプリミティブ予測モードのセット(100)をサポートし、
   プリミティブ予測モードの前記セット(100)のうちの1つまたは複数のプリミティブ予測モードの集合(112)を使用して、所定のブロック(106)に対する1つまたは複数のプリミティブ予測の集合(110)を導出すること(114)、および
   1つまたは複数のプリミティブ予測の前記集合を合成すること(116)によって前記所定のブロック(106)に対する複合予測信号(108)を形成することによって、
   前記複合予測信号(108)によって前記所定のブロック(106)を予測するように構成され、
   前記デコード方法は、再帰関係
   q₁=p₁、
   n=1…Kに対して
   を使用することによって前記形成することを実行するように構成され、
   各ｎに対して、α _ｎ は、前記所定のブロックの隣接ブロックの予測パラメータから決定されるスカラー値であり、ｈは、ｎに依存しない組立て関数であり、
   q=q_K+1が前記複合予測信号(108)であり、
   が、プリミティブ予測モードの前記集合(112)を使用して導出される1つまたは複数のプリミティブ予測の前記集合(110)であり、
   ν₁=1かつν_n+1=ν_n+m_nであり、m_nが、f_nが依存するプリミティブ予測の個数であり、m₁+...+m_K=ν_K+1-1であり、ν_K+1が、1つまたは複数のプリミティブ予測の前記集合(110)の濃度であり、
   f_nが、中間複合予測信号q_nおよび1つまたは複数のプリミティブ予測信号
   を新たな中間予測信号q_n+1にマッピングする関数である、
   デコード方法。
2. 重み付き重ね合わせを使用して前記1つまたは複数のプリミティブ予測の前記集合を合成すること(116)によって前記所定のブロックに対する前記複合予測信号を形成するように構成される、請求項1に記載のデコード方法。
3. 前記ブロック(80)のうちの2つ以上に対する複合予測信号によって前記予測を実行し、
   前記1つまたは複数のプリミティブ予測モードの前記集合(112)の濃度、および/または
   1つまたは複数のプリミティブ予測の前記集合(110)の濃度
   をサブピクチャ粒度で局所的に変動させるように構成される、
   請求項1に記載のデコード方法。
4. 前記所定のブロックに対して、空間予測および/または時間予測によって、
   前記1つまたは複数のプリミティブ予測モードの前記集合(112)の前記濃度、および/または
   1つまたは複数のプリミティブ予測の前記集合(110)の前記濃度
   を決定するように構成される、
   請求項1に記載のデコード方法。
5. 前記所定のブロックに対して、その空間予測および/または時間予測を導出すること、
   ならびに前記データストリーム(14)の中で伝達される明示的な情報(210)を使用してそれを修正することによって、
   前記1つまたは複数のプリミティブ予測モードの前記集合(112)の前記濃度、および/または
   1つまたは複数のプリミティブ予測の前記集合(110)の前記濃度
   を決定するように構成される、
   請求項1に記載のデコード方法。
6. 1つまたは複数のプリミティブ予測の前記集合(110)の濃度が2を超えるように構成される、請求項1に記載のデコード方法。
7. 前記ブロック(80)のうちの2つ以上に対する複合予測信号によって前記予測を実行し、1つまたは複数のプリミティブ予測の前記集合(110)の濃度が、その両方を含む1...K_max+1の間で変動するように、1つまたは複数のプリミティブ予測の前記集合(110)の濃度を、サブピクチャ粒度で局所的に変動させるように構成され、前記デコード方法が、前記データストリーム(14)からK_maxを導出するように構成される、請求項1に記載のデコード方法。
8. n=1...Kのうちの少なくとも1つまたはすべてに対して、ν _n+1-ν_n=1かつh(q_n,p_n+1,α_n)=α_n・p_n+1+(1-α_n)・q_nである、請求項1に記載のデコード方法。
9. n=1...Kのうちの前記少なくとも1つまたはすべてに対して、区間[0;1]の外側の少なくとも1つの値を含むシグナリング可能な値範囲を伴って、α_nが前記データストリームの中でシグナリングされる、請求項8に記載のデコード方法。
10. n=1...Kのうちの少なくとも1つまたはすべてに対して、前記関数f_nが、クリッピングおよび/または丸め演算子(170;172)を含む、請求項1に記載のデコード方法。
11. n=1...Kのうちの少なくとも1つまたはすべてに対して、q_n+1の各サンプル位置が、
    において他のサンプル位置とは独立しているように、前記関数f_nが成分単位の演算である、請求項1に記載のデコード方法。
12. 以前に復号された隣接ブロック(190a,190b)のセットのために使用された予測設定の中からマージ候補を決定し、
    プリミティブ予測信号p₁の前記導出のために、前記プリミティブ予測信号p₁が関連付けられているプリミティブ予測モードをパラメータ化するための1つまたは複数の予測パラメータのセット(130)
    を前記マージ候補から継承するように構成される、
    請求項1に記載のデコード方法。
13. 以前に復号されたブロック(190a,190b)のセットのために使用された予測設定の中からマージ候補を決定し、
    前記データストリームからオフセットK-k_implicitを、かつ
    前記プリミティブ予測信号
    の各々の前記導出のために、前記それぞれのプリミティブ予測信号が関連付けられている前記プリミティブ予測モードをパラメータ化するための1つまたは複数の予測パラメータのセット(130)を導出しながら、k_implicit≦Kとなるk_implicitを、
    前記マージ候補から導出するように構成される、
    請求項1に記載のデコード方法。
14. を前記マージ候補から導出するように構成される、請求項13に記載のデコード方法。
15. 前記データストリームの中でシグナリングされるフラグ単位の増分で、前記データストリームからK-k_implicitというオフセットを導出するように構成される、請求項13に記載のデコード方法。
16. 前記マージ候補によって備えられるKを、前記所定のブロックに対するk_implicitとして採用すること、または
    デフォルトの方法で、
    前記データストリームの中でのシグナリングに応じて、
    前記マージ候補によって備えられるKを低減することによって、
    前記マージ候補からk_implicitを導出するように構成される、
    請求項13に記載のデコード方法。
17. プリミティブ予測モードの前記セットが、1つまたは複数のイントラ予測モードおよび1つまたは複数のインター予測モードを備え、前記デコード方法が、プリミティブ予測モードの前記集合の中に含まれる前記1つまたは複数のインター予測モードを使用して、
    を導出するように構成される、請求項1に記載のデコード方法。
18. 前記所定のブロック(106)に対する1つまたは複数のプリミティブ予測の前記集合(110)を導出する(114)際に、インター予測を使用して第1のプリミティブ予測信号p₁を、かつイントラ予測を使用して第2のプリミティブ予測信号p₂を導出し、
    q=α・p₂+(1-α)・q₁に従って、前記所定のブロック(106)に対する前記複合予測信号(108)を組み立てるように構成される、
    請求項1に記載のデコード方法。
19. 以前に復号された隣接ブロック(190a,190b)のセットのために使用された予測設定の中からマージ候補を決定し、前記第1のプリミティブ予測信号p₁の前記導出のための1つまたは複数のインター予測パラメータのセット(130)を前記マージ候補から継承し、前記所定のブロック(106)に対して前記データストリームの中に含まれる情報から、前記第２のプリミティブ予測信号p₂に対する1つまたは複数のイントラ予測パラメータのセット(130)を導出するように構成される、請求項18に記載のデコード方法。
20. プリミティブ予測の合成によって形成された複合予測信号を使用してコーディングされた前記マージ候補が、イントラ予測されたプリミティブ予測を含む場合には、前記第1のプリミティブ予測信号p₁の前記導出のための1つまたは複数のインター予測パラメータの前記セット(130)を前記マージ候補から継承し、前記所定のブロック(106)に対して前記データストリームの中に含まれる情報から、前記第２のプリミティブ予測信号p₂に対する1つまたは複数のイントラ予測パラメータの前記セット(130)を導出するように構成される、請求項19に記載のデコード方法。
21. ブロックベースの予測コーディングを使用してビデオ(11)をデータストリーム(14)の中に符号化するためのエンコード方法であって、前記エンコード方法が、前記ビデオのピクチャ(12)のブロック(80)を予測するためのプリミティブ予測モードのセット(100)をサポートし、
    予測モードの前記セット(100)のうちの1つまたは複数の予測モードの集合(112)を使用して、所定のブロック(106)に対するプリミティブ予測の集合(110)を導出すること(114)、および
    プリミティブ予測の前記集合を合成すること(116)によって前記所定のブロック(106)に対する複合予測信号(108)を形成することによって、
    前記複合予測信号によって前記所定のブロック(106)を予測するように構成され、
    前記エンコード方法は、再帰関係
    q₁=p₁、
    n=1...Kに対して
    を使用することによって前記形成することを実行するように構成され、
    各ｎに対して、α _ｎ は、前記所定のブロックの隣接ブロックの予測パラメータから決定されるスカラー値であり、ｈは、ｎに依存しない組立て関数であり、
    q=q_K+1が前記複合予測信号であり、
    が、1つまたは複数のプリミティブ予測モードの前記集合を使用して導出されるプリミティブ予測の前記集合であり、
    ν₁=1かつν_n+1=ν_n+m_nであり、m_nが、f_nが依存するプリミティブ予測の個数であり、m₁+...+m_K=ν_K+1-1であり、ν_K+1が、前記プリミティブ予測の前記集合の濃度であり、
    f _nが、中間複合予測信号q_nおよび1つまたは複数のプリミティブ予測信号
    を新たな中間予測信号q_n+1にマッピングする関数である、
    エンコード方法。
22. 重み付き重ね合わせを使用して前記プリミティブ予測の前記集合を合成することによって前記所定のブロックに対する前記複合予測信号を形成するように構成される、請求項21に記載のエンコード方法。
23. 前記ブロックのうちの2つ以上に対する複合予測信号によって前記予測を実行し、
    前記1つまたは複数のプリミティブ予測モードの前記集合の濃度、および/または
    プリミティブ予測の前記集合の濃度
    をサブピクチャ粒度で局所的に変動させるように構成される、
    請求項21に記載のエンコード方法。
24. 前記所定のブロックに対して、空間予測および/または時間予測によって、
    前記1つまたは複数のプリミティブ予測モードの前記集合の前記濃度、および/または
    プリミティブ予測の前記集合の前記濃度
    を決定するように構成される、
    請求項21に記載のエンコード方法。
25. 前記所定のブロックに対して、その空間予測および/または時間予測を導出すること、
    ならびに前記データストリームの中で明示的な情報を使用してそれの修正をシグナリングすることによって、
    前記1つまたは複数のプリミティブ予測モードの前記集合の前記濃度、および/または
    プリミティブ予測の前記集合の前記濃度
    を決定するように構成される、
    請求項21に記載のエンコード方法。
26. プリミティブ予測の前記集合(110)の濃度が2を超えるように構成される、請求項21に記載のエンコード方法。
27. 前記ブロック(80)のうちの2つ以上に対する複合予測信号によって前記予測を実行し、プリミティブ予測の前記集合(110)の濃度が、その両方を含む1...K_max+1の間で変動するように、プリミティブ予測の前記集合(110)の濃度を、サブピクチャ粒度で局所的に変動させるように構成され、エンコード方法が、前記データストリーム(14)からK_maxを導出するように構成される、請求項21に記載のエンコード方法。
28. n=1...Kのうちの少なくとも1つまたはすべてに対して、ν _n+1-ν_n=1かつh(q_n,p_n+1,α_n)=α_n・p_n+1+(1-α_n)・q_nである、請求項21に記載のエンコード方法。
29. n=1...Kのうちの前記少なくとも1つまたはすべてに対して、α_nを決定し、区間[0;1]の外側の少なくとも1つの値を含むシグナリング可能な値範囲を伴って、前記データストリームの中でそれをシグナリングするように構成される、請求項28に記載のエンコード方法。
30. n=1...Kのうちの少なくとも1つまたはすべてに対して、前記関数f_nが、クリッピングおよび/または丸め演算子を含む、請求項21に記載のエンコード方法。
31. n=1...Kのうちの少なくとも1つまたはすべてに対して、q_n+1の各サンプル位置が、
    において他のサンプル位置とは独立しているように、前記関数f_nが成分単位の演算である、請求項21に記載のエンコード方法。
32. 以前に符号化された隣接ブロックのセットのために使用された予測設定の中からマージ候補を決定し、
    プリミティブ予測信号p₁の前記導出のために、前記プリミティブ予測信号p₁が関連付けられている前記1つのプリミティブ予測モードをパラメータ化するための1つまたは複数の予測パラメータのセット
    を前記マージ候補から継承するように構成される、
    請求項21に記載のエンコード方法。
33. 以前に符号化されたブロックのセットのために使用された予測設定の中からマージ候補を決定し、
    前記データストリームからK-k_implicitというオフセットを、かつ
    前記プリミティブ予測信号
    の各々の前記導出のために、前記それぞれのプリミティブ予測信号が関連付けられている前記1つのプリミティブ予測モードをパラメータ化するための1つまたは複数の予測パラメータのセットを導出しながら、k_implicit≦Kとなるk_implicitを、
    前記マージ候補から導出するように構成される、
    請求項21に記載のエンコード方法。
34. を前記マージ候補から導出するように構成される、請求項33に記載のエンコード方法。
35. 前記データストリームの中のフラグ単位のシグナリングによる増分で、前記データストリームの中でK-k_implicitというオフセットをシグナリングするように構成される、
    請求項33に記載のエンコード方法。
36. 前記マージ候補によって備えられるKを、前記所定のブロックに対するk_implicitとして採用すること、または
    デフォルトの方法で、
    前記データストリームの中でのシグナリングに応じて
    前記マージ候補によって備えられるKを低減することによって、
    前記マージ候補からk_implicitを導出するように構成される、
    請求項33に記載のエンコード方法。
37. プリミティブ予測モードの前記セットが、1つまたは複数のイントラ予測モードおよび1つまたは複数のインター予測モードを備え、前記エンコード方法が、プリミティブ予測モードの前記集合の中に含まれる前記1つまたは複数のインター予測モードを使用して、
    を導出するように構成される、請求項21に記載のエンコード方法。
38. コンピュータ上で実行しているとき、請求項1または21に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラムが格納された非一時的コンピュータ可読媒体。