JP2023504726A - モード－グローバル設定によるマトリックスベースのイントラ予測 - Google Patents

Abstract

装置は、予め定められたブロックに近傍した参照サンプルから導出された入力ベクトルとモードインデックスによって指し示されたマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間の、マトリックス－ベクトル積によって取得された出力ベクトルの成分によって、予め定められたブロックのサンプルを予測するように構成される。マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリは、予め定められたビット深度の固定点表現によって表現され、予め定められたビット深度は、マトリックスベースのイントラ予測モードに対して等しい。装置は、出力ベクトルの成分ごとに、マトリックスベースのイントラ予測モードに対して等しいビットの数において右シフトを実行して、マトリックス－ベクトル積を計算するように構成される。【選択図】図７

Description

発明に従った実施形態は、ピクチャ及びビデオ符号化／復号のためのモード－グローバル設定によるマトリックスベースのイントラ予測に関連する。

典型的なブロックベースの画像またはビデオコーデックは通常、予測的コーディングによって動作する。よって、コーディングされたデータから既に利用可能な情報から、コーディングされた画像またはビデオ信号の受信機が所与のブロックに対してその信号を生成するとき、受信機は、予測信号を構築する。この予測信号は、そのブロックに対する信号の第１の近似としての役割を果たす。第２のステップでは、予測残差がビットストリームから復号され、予測信号に追加される。予測信号が良好であると、予測残差を伝送するために必要なビットの数が少なくなる。よって、予測信号の品質は、コーデック全体の効率に大きく影響する。

典型的には、予測信号を生成する２つの方法が存在する。ビデオ－コーデックにおいてのみ使用される第１の方法は、インター予測である。ここで、再構築済みサンプルから予測信号が生成され、再構築済みサンプルは、カレントフレームとは異なるフレームに属する。第２の方法は、イントラ予測である。ここで、再構築済みサンプルから予測信号が生成され、再構築済みサンプルは、同一のフレームに属し、典型的には、所与のブロックに空間的に隣接する。

古典的なコーデックでは、角度予測モードまたはＤＣモード及び平面モードのいずれかを使用してイントラ予測が実行される。角度予測モードは、角度パラメータによって定義された特定の方向に沿ってブロックの左及び上の再構築済みサンプルを複製し、分数角度位置に対して、補間フィルタが使用される。ＤＣモードは、ブロックの左及び上の隣接サンプルの平均サンプル値として予測信号を生成する。最終的に、平面モードは、水平方向及び垂直方向に沿って予測の線形的な組み合わせとして予測信号を生成する。任意選択で、上述した予測技術のいずれかに対して、予測信号の事後フィルタリングまたは参照サンプルの事前平坦化が適用されてもよい。

上記説明された古典的なイントラ予測方法とは異なり、イントラ予測信号を生成するための新たな技術としてマトリックスベースのイントラ予測（ＭＩＰ）が導入されてきた。それは、進展中のＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）標準規格の最新ドラフト［１］の一部である。ＭＩＰは、より一般的なデータドリブンの、ニューラルネットワークベースのイントラ予測モードの低複雑度の変形として見なすことができる。各々のＭＩＰモードは、予測モードに依存する予め定義されたマトリックスを、上及び左の境界サンプルのダウンサンプリング済みバージョンと多重化し、次いで、結果をアップサンプリングすることによってイントラ予測信号を生成する。更なる詳細について、マトリックスベースのイントラ予測のセクションレビューを参照されたい。

ＭＩＰの重要な性質は、訓練データの大規模セットを使用する訓練アルゴリズムを介して、様々なＭＩＰモードに対して使用されるマトリックスが判定されることである。この訓練アルゴリズムでは、訓練データに対する予め定義された損失関数をそれらが最小化するように、マトリックスを発見することを試みる。ここで、マトリックスエントリが反復して更新される確率的勾配降下法アプローチを使用する。マトリックスエントリの判定のためのそのようなアプローチは、浮動小数点算術演算における計算を必要とし、よって、結果として生じるマトリックスエントリは、浮動小数点数として与えられる。よって、訓練の後、ＭＩＰモードｉごとに、浮動小数点において、ＭＩＰモードｉについて、低減した予測信号

が

として与えられるように、浮動小数点エントリを有するマトリックス

が取得され、ｒ_ｒｅｄは、所与のブロックの境界のダウンサンプリング済みバージョンを表し、・は、マトリックス－ベクトル乗算を表す。

一方で、最終的な標準規格における適用について、各々のマトリックス－ベクトル乗算（１）は、整数演算において規定されたルールによって近似される必要がある。これは、ＭＩＰモードｉごとに、低減した予測信号ｐｒｅｄ_ｒｅｄの計算が

として規定されるように、積分エントリ及び正の整数ｃ_ｉ及びｄ_ｉを有するマトリックスＡ_ｉが規定される必要があることを意味する。

ここで、Ａ_ｉ－ｃ_ｉは、Ａ_ｉのあらゆるエントリからｃ_ｉを減算するときに生じるマトリックスを表す。最終的に、ｖ及びｗがベクトルであり、ｗが積分エントリを有する場合、

は、ｖのあらゆるエントリに

を追加することによって生じるベクトルを表し、

は、ｄ_ｉだけ右にｗの各々のエントリをシフトすることによって生じるベクトルを表す。ＭＩＰの基本的なアイデアによって、（２）は、全てのとり得る入力ベクトルｒ_ｒｅｄに対して（１）を近似させる。

よって、それに対して式（２）が可変入力ベクトルｒ_ｒｅｄについて式（１）を良好に合理的に近似させる、積分エントリを有するマトリックスＡ_ｉを取得することが望まれる。そうでなければ、コーデックにおいて規定され、マトリックスＡ_ｉを使用して式（２）におけるマトリックス－ベクトル積を実行する必要があるＭＩＰ予測モードは、「真」の振る舞い、すなわち、マトリックス

を有するマトリックス－ベクトル積を使用する訓練済みＭＩＰモードから大きく逸脱することがある、式（１）を参照されたい。よって、ＭＩＰに遅れて存在するイントラ予測へのデータドリブンアプローチが違反される。

したがって、マトリックスベースのイントラ予測をサポートするために、ピクチャコーディング及び／またはビデオコーディングをより効率的にレンダリングする概念を提供することが望まれる。加えて、または代わりに、ビットストリームを低減し、よって、シグナリングコストを低減することが望まれる。

本出願の独立請求項の主題によってこれが達成される。

発明に従った更なる実施形態は、本出願の従属請求項の主題によって定義される。

本発明の第１の態様に従って、本出願の発明者は、ピクチャの予め定められたブロックのサンプルを予測するためのマトリックスベースのイントラ予測モード（ＭＩＰモード）を使用することを試みるときに直面する１つの問題が、ＭＩＰモードにおいて実行されるマトリックス－ベクトル積、すなわち、マトリックス－ベクトル乗算が整数演算によって近似される必要があるという事実から起こり、それによって、近似したマトリックス－ベクトル積と近似してないマトリックス－ベクトル積、すなわち、「真の」マトリックス－ベクトル積との間の大きな逸脱が発生することがあることを認識している。以下では、ＭＩＰモードごとに、予め定められたブロックの予測信号を判定するために、この近似したマトリックス－ベクトル積のみが計算され、「真の」マトリックス－ベクトル積が計算されないので、それぞれのＭＩＰモードのマトリックス－ベクトル積として近似したマトリックス－ベクトル積を理解することができる。本出願の第１の態様に従って、マトリックス－ベクトル積による予測信号の計算についての制約を実装することによって、この課題が克服される。発明者は、予め定められたビット深度の固定点表現によってＭＩＰモードと関連付けられた予測マトリックスの全てのエントリを表現し、全てのマトリックスベースのイントラ予測モードに対し、例えば、少なくとも同一のブロックサイズに関連する１つに対しであるが、任意選択で、おそらくは、全てのブロックサイズの予測マトリックスに対して、同一の予め定められたビット深度を適用することが有益であることを発見してきた。全ての予測マトリックスのエントリが共通の固定された予め定められたビット深度を有する場合、その予め定められたビット深度に適合するために特定の乗算子を使用し、マトリックス－ベクトル積の計算に対して全てのＭＩＰモードにわたってその特定の乗算子を共有することが可能であるので、これは、マトリックス－ベクトル積の効率的な実装を可能にする。その上、全ての予測マトリックスの全てのエントリを固定点表現において、すなわち、固定精度において記憶することができる場合、予測マトリックスを扱うときの効率的なメモリ管理が可能にされる。加えて、発明者は、ＭＩＰモードごとに、全てのＭＩＰモードに対し、例えば、少なくとも同一のブロックサイズに関連する１つに対しであるが、任意選択で、おそらくは、全てのブロックサイズの予測マトリックスに対して等しいビットの数において右シフトを実行することによって、入力ベクトルとそれぞれのＭＩＰモードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算することが有益であることを発見してきた。シフト値がＭＩＰモードに依存しない場合、テーブルルックアップが保存され、マトリックス－ベクトル積のコンパクトなＳＩＭＤ実装に対して有利であり、ハードウェア実装においてマトリックス－ベクトル積のケース依存実装を低減させるＭＩＰに対して単一の固定シフト演算を実装することができるので、これは、全てのＭＩＰモードについての固定された右シフトが、マトリックス－ベクトル積におけるシフトの効率的な実装を可能にするというアイデアに基づいている。

したがって、本出願の第１の態様に従って、イントラ予測を使用してピクチャの予め定められたブロックを復号する装置は、データストリームからモードインデックスを読み込むように構成され、イントラ予測を使用してピクチャの予め定められたブロックを符号化する装置は、データストリームにモードインデックス挿入するように構成され、例えば、符号化する装置、すなわち、エンコーダは、モードのリストからのレート歪み最適化によりこのモードを、任意選択で、インター予測モードの更なるモードを選択していてもよい。モードインデックスは、マトリックスベースのイントラ予測モードのリストからの１つを指し示す。加えて、装置、すなわち、復号する装置及び／または符号化する装置は、予め定められたブロックに近傍した参照サンプルから導出された入力ベクトルとモードインデックスによって指し示されたマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算し、マトリックス－ベクトル積によって取得された出力ベクトルの成分を予め定められたブロックのサンプル位置に関連付けることによって、予め定められたブロックのサンプルを予測するように構成される。マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリは、予め定められたビット深度の固定点表現によって表現され、予め定められたビット深度は、マトリックスベースのイントラ予測モードに対して等しい、例えば、少なくとも同一のブロックサイズに関連する１つに対して等しいが、任意選択で、おそらくは、全てのブロックサイズのマトリックスに対して等しい。加えて、装置は、マトリックスベースのイントラ予測モードごとに、出力ベクトルの成分ごとに、マトリックスベースのイントラ予測モードに対して等しい、例えば、少なくとも同一のブロックサイズに関連する１つに対して等しいが、任意選択で、おそらくは、全てのブロックサイズのマトリックスに対して等しいビットの数において右シフトを実行することによって、入力ベクトルとそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算するように構成される。

実施形態に従って、マトリックスベースのイントラ予測モードのリスト内のマトリックスベースのイントラ予測モードの数は、１２、１６、または３２である。

実施形態に従って、復号する装置及び／または符号化する装置は、マトリックスベースのイントラ予測モードのリスト内のマトリックスベースのイントラ予測モードが、それと関連付けられた６、８、または１６個の異なるマトリックスを有するように構成される。例えば、相互に排他的なブロックサイズセットについての異なるリストが存在してもよく、１つは、第１のブロックサイズセット内ブロックサイズについての１２個のモードと関連付けられた６個の異なるマトリックスを有し、１つは、第２のブロックサイズセット内のより小さいブロックサイズについての１６個のモードと関連付けられた８個の異なるマトリックスを有し、１つは、第３のブロックサイズセット内の更に小さいブロックサイズについての３２個のモードと関連付けられた１６個の異なるマトリックスを有する。

実施形態に従って、復号する装置及び／または符号化する装置は、出力ベクトルの成分ごとにマトリックス－ベクトル積によって取得された中間結果に対して右シフトを適用することを伴う固定点算術演算において入力ベクトルとそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算するように構成される。中間結果は、例えば、入力ベクトルと予測マトリックスとの間のマトリックス－ベクトル積、または正の整数によってオフセットされた、入力ベクトルと予測マトリックスとの間のマトリックス－ベクトル積によって取得され、例えば、正の整数は、中間マトリックスを結果としてもたらす予測マトリックスのあらゆるエントリから／に減算／加算され、中間結果は、入力ベクトルと中間マトリックスとの間のマトリックス－ベクトル積によって取得される。

実施形態に従って、復号する装置及び／または符号化する装置は、マトリックス－ベクトル積を計算する前に、例えば、加算または減算によって、マトリックスベースのイントラ予測モードごとに、マトリックスベースのイントラ予測モードに対して等しい、例えば、少なくとも同一のブロックサイズに関連する１つに対して等しいが、任意選択で、おそらくは、全てのブロックサイズのマトリックスに対して等しいオフセット値だけ、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリをオフセットするように構成される。これは、全てのＭＩＰモードについての固定オフセット値がテーブルルックアップを保存することによってマトリックス－ベクトル積の効率的な実装を可能にするというアイデアに基づいている。

実施形態に従って、復号する装置及び／または符号化する装置は、マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスのエントリごとに、予め定められたビット深度において固定点表現を記憶するように構成される。

実施形態に従って、復号する装置及び／または符号化する装置は、１０ビット分解能においてピクチャを復号／符号化し、マトリックスベースのイントラ予測モードごとに、７ビット精度において、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスのエントリの桁を記憶し、右シフトのためのビットの数として６ビットを使用するように構成される。

実施形態に従って、復号する装置及び／または符号化する装置は、マトリックスベースのイントラ予測モードごとに、８ビット符号付き桁表現においてそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスのエントリを記憶するように構成される。代わりに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスのエントリのケースが同一の符号のエントリであるケースでは、復号する装置及び／または符号化する装置は、マトリックス－ベクトル積を計算する前に、例えば、加算または減算によって、マトリックスベースのイントラ予測モードごとに、マトリックスベースのイントラ予測モードに対して等しいオフセット値だけ、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリをオフセットするように構成され、マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリは、符号付き８ビット表現によって表現可能である。したがって、この代替例に従って、符号を示す必要がないので、マトリックスエントリごとに７ビット桁が記憶されるにすぎない。

実施形態に従って、復号する装置及び／または符号化する装置は、出力ベクトルの成分ごとにマトリックス－ベクトル積によって取得され、マトリックスベースのイントラ予測モードと関連付けられた予測マトリックスのエントリが記憶されたビット精度の２倍高いビット精度において表現された中間結果に対して右シフトを適用することを伴う固定点算術演算において入力ベクトルとそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算するように構成される。例えば、そのように計算されたマトリックス－ベクトル積、例えば、中間マトリックスを結果としてもたらす正の整数だけ予測マトリックスをオフセットし、入力ベクトルと中間結果を結果としてもたらす中間マトリックスとの間のマトリックス－ベクトル積を計算し、中間結果に対して右シフトを実行することによって取得された予測信号は、マトリックスベースのイントラ予測モードと関連付けられた予測マトリックスのエントリが記憶されたビット精度の２倍高いビット精度において表現される。

実施形態に従って、マトリックスベースのイントラ予測モードのリストは、マトリックスベースのイントラ予測モードの１つ以上のペアを含む。マトリックスベースのイントラ予測モードのリストは、モードのそのようなペアから排他的に構成されなくてもよく、むしろ、転置オプション及び非転置オプションのいずれかを排他的に使用して適用される他のモードも存在してもよいことに留意されよう。マトリックスベースのイントラ予測モードのペアごとに、マトリックスベースのイントラ予測モードのそれぞれのペアの第１のマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスは、マトリックスベースのイントラ予測モードのそれぞれのペアの第２のマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスに等しい。装置、すなわち、復号する装置及び／または符号化する装置は、モードインデックスによって指し示されたマトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードのそれぞれのペアの第１のマトリックスベースのイントラ予測モード、例えば、奇数モードインデックスを有するモードである場合、入力ベクトルの成分との予め定められたブロックに近傍した参照サンプルの関連付け、及び出力ベクトルの成分との予め定められたブロックのサンプル位置の関連付けが、モードインデックスによって指し示されたマトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードのそれぞれのペアの第２のマトリックスベースのイントラ予測モード、例えば、偶数モードインデックスを有するモードであるケースにおける関連付けに対して転置されるように構成される。すなわち、入力ベクトルの特定の成分が、前者のケースにおける予め定められたブロックの左上隅サンプルを表す（０，０）を有する位置（ｘ，ｙ）と関連付けられる場合、それは、後者のケースにおける（ｘ，ｙ）と関連付けられる。同じことが出力ベクトルの成分に適用される。

実施形態に従って、復号する装置及び／または符号化する装置は、複数のブロック次元に対してマトリックスベースのイントラ予測モードのリストを使用するように構成される。

実施形態に従って、復号する装置及び／または符号化する装置は、出力ベクトルに基づいて、または出力ベクトル及び予め定められたブロックに近傍した参照サンプルに基づいて、アップサンプリング及び／または補間によって、出力ベクトルの成分が関連付けられたサンプル位置からオフセットされた予め定められたブロックのサンプルを予測するように構成される。

実施形態に従って、復号する装置及び／または符号化する装置は、ダウンサンプリング及び／またはプーリングによって、予め定められたブロックに近傍した参照サンプルから入力ベクトルを導出するように構成される。

実施形態に従って、予め定められたブロックに近傍した参照サンプルは、予め定められたブロックの上の第１の参照サンプル及び予め定められたブロックの左の第２の参照サンプルを含む。装置、すなわち、復号する装置及び／または符号化する装置は、ダウンサンプリング及び／またはプーリングによって、第１の参照サンプルから第１の中間成分を導出し、ダウンサンプリング及び／またはプーリングによって、第２の参照サンプルから第２の中間成分を導出し、第１の中間成分及び第２の中間成分を連結して、予備入力ベクトルを導出し、予備入力ベクトルから入力ベクトルを形成する、ことによって、予め定められたブロックに近傍した参照サンプルから入力ベクトルを導出するように構成される。

実施形態に従って、復号する装置／符号化する装置は、Ｂビット分解能においてピクチャを復号／符号化するように構成される。装置は、入力ベクトルの第１の成分を取得するように予備入力ベクトルの第１の成分から２^Ｂ－１を減算し、入力ベクトルの更なる成分を取得するように予備入力ベクトルの更なる成分から予備入力ベクトルの第１の成分を減算し、または入力ベクトルが更なる成分から形成されるように、予備入力ベクトルの更なる成分から予備入力ベクトルの第１の成分を減算する、ことによって、予備入力ベクトルから入力ベクトルを形成するように構成される。加えて、装置は、予備入力ベクトルの第１の成分の成分ワイズ加算によって出力ベクトルを補正するように構成される。

実施形態に従って、マトリックスベースのイントラ予測モードのリスト内のマトリックスベースのイントラ予測モードの予測マトリックスのエントリは、以下に示される表２内のエントリに対応するが、おそらくは、表内で値をリスト化するために別のシフト値が選出され、おそらくは、表内の値が別のスケールにおいて表現されてもよいことに留意されよう。

実施形態に従って、復号する装置及び／または符号化する装置は、予め定められたブロックに近傍した参照サンプルから導出された入力ベクトルと予め定められたブロックに対して選択されたマトリックスベースのイントラ予測モードと関連付けられた訓練済み予測マトリックスとの間のマトリックス－ベクトル積を計算し、マトリックス－ベクトル積によって取得された出力ベクトルの成分を予め定められたブロックのサンプル位置に関連付けることによって、予め定められたブロックのサンプルを予測するために予め定められたブロックに対して選択された訓練済み予測マトリックスを使用するように構成される。訓練済み予測マトリックスは、予測マトリックスを訓練するための装置によって訓練され、例えば、第２の態様に従った装置によって訓練される。

本発明の第２の態様に従って、本出願の発明者は、ピクチャの予め定められたブロックのサンプルを予測するためのマトリックスベースのイントラ予測モード（ＭＩＰモード）を使用することを試みるときに直面する１つの問題が、ＭＩＰモードにおいて実行されるマトリックス－ベクトル積、すなわち、マトリックス－ベクトル乗算が整数演算によって近似される必要があること、及びそのようなマトリックス－ベクトル乗算のための訓練済み予測マトリックスが浮動小数点精度において取得されるという事実から起こることを認識している。本出願の第２の態様に従って、そのようなマトリックス－ベクトル積についての予測マトリックスの訓練においてマトリックス－ベクトル積による予測信号の計算についての制約を既に実装することによって、この課題が克服される。発明者は、微分可能関数を使用して代表する値がマッピングされた中間値に予測マトリックスのエントリを設定することと関連付けられた予測歪み測定に依存するコスト関数を使用することによって、ＭＩＰモードと関連付けられた予測マトリックスのエントリを最適化することが有益であることを発見してきた。このアプローチによって、全ての予測マトリックスエントリの範囲を制限し、一部のエントリが訓練の間に更新されないことがあることを回避することが可能である。訓練の間、エントリは、浮動小数点表現において表現され、中間値は次いで、全てのＭＩＰモードに対して等しい予め定められたビット深度を有する固定点表現に量子化される。全ての予測マトリックスのエントリが共通の固定された予め定められたビット深度を有するので、これは、マトリックス－ベクトル積の効率的な実装を可能にする。そのような予測マトリックスは、ビデオまたはピクチャエンコーダ／デコーダが、その予め定められたビット深度に適合するようにされた特定の乗算子を使用すること、及びマトリックス－ベクトル積の計算のために全てのＭＩＰモードにわたってその特定の乗算子を共有することを可能にする。その上、全ての予測マトリックスの全てのエントリを固定点表現において、すなわち、固定精度において記憶することができる場合、予測マトリックスを扱うときの効率的なメモリ管理が可能にされる。

したがって、本出願の第２の態様に従って、予め定められたブロックに近傍した参照サンプルから導出された入力ベクトルと予め定められたブロックに対して選択されたマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの１つとの間のマトリックス－ベクトル積を計算し、マトリックス－ベクトル積によって取得された出力ベクトルの成分を予め定められたブロックのサンプル位置に関連付けることによって、予め定められたブロックのサンプルを予測するために、その中で予め定められたブロックに対して１つが選択されることになるマトリックスベースのイントラ予測モードのリストの訓練予測マトリックスのための装置が提供される。装置は、最急降下法アプローチを使用して、微分可能関数を使用して代表する値がマッピングされた中間値に予測マトリックスのエントリを設定することと関連付けられた予測歪み測定に依存するコスト関数を使用して、浮動小数点表現において表現された、マトリックスベースのイントラ予測モードのリストの予測マトリックスのエントリについての代表する値を最適化することによって、マトリックスベースのイントラ予測モードのリストの予測マトリックスを、例えば、既知の（例えば、元の）サンプルの予め定められたブロック及びそれらの対応する近傍性の訓練セットの使用によって訓練するように構成される。予測歪み測定は、例えば、微分可能関数が訓練下で予測マトリックスのあらゆるエントリに適用されることを意味する、訓練下で予測マトリックスに微分可能関数を適用することから結果として生じるにつれて、予測の品質を減少させると共にコストが増大することを定義する。微分可能関数のドメイン及びコドメインは、浮動小数点表現によって定義され、微分可能関数の画像は、予め定められた動的範囲を有し、微分可能関数は、マトリックスベースのイントラ予測モードに対して等しい。加えて、装置は、例えば、訓練の後、中間値を固定点表現に量子化し、その結果、マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスは、予め定められたビット深度の固定点表現によって表現された全てのエントリを有し、その結果、予め定められたビット深度は、マトリックスベースのイントラ予測モードに対して等しく、その結果、マトリックスベースのイントラ予測モードごとに、入力ベクトルとそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積が、出力ベクトルの成分ごとに、マトリックスベースのイントラ予測モードに対して等しいビットの数において右シフトを実行することによって計算可能である。

実施形態に従って、微分可能関数、すなわち、クリッピング関数は、画像の原点において傾き１を有し、厳密に単調に増大し、画像の上限及び下限において水平漸近線を有する。微分可能関数の画像の上限及び下限における水平漸近線は、予め定められた動的範囲を定義してもよい。

実施形態に従って、微分可能関数は、

によって表現／定義され、α、β、γ、及びδは、予め定められた動的範囲に依存する実数であり、λは、負でない整数である。

実施形態に従って、微分可能関数、すなわち、クリッピング関数は、コドメイン内の画像のシフトに関してシフトパラメータによってパラメータ化される。装置は、最急降下法アプローチ（そうであってもよいが、そうである必要はない）を使用してシフトパラメータに最適化を受けさせ、マトリックス－ベクトル積の計算の前に、例えば、加算または減算によって、マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリをオフセットするために使用されるように、シフトパラメータからマトリックスベースのイントラ予測モードに対して等しいオフセット値を導出するように構成される。

実施形態は、イントラ予測を使用してピクチャの予め定められたブロックを復号する方法に関連し、方法は、データストリームからモードインデックスを読み込むことであって、モードインデックスは、マトリックスベースのイントラ予測モードのリストからの１つを指し示す、読み込むことと、予め定められたブロックに近傍した参照サンプルから導出された入力ベクトルとモードインデックスによって指し示されたマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算し、マトリックス－ベクトル積によって取得された出力ベクトルの成分を予め定められたブロックのサンプル位置に関連付けることによって、予め定められたブロックのサンプルを予測することと、を含む。マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリは、予め定められたビット深度の固定点表現によって表現され、予め定められたビット深度は、マトリックスベースのイントラ予測モードに対して等しい、例えば、少なくとも同一のブロックサイズに関連する１つに対して等しいが、任意選択で、おそらくは、全てのブロックサイズのマトリックスに対して等しい。加えて、方法は、マトリックスベースのイントラ予測モードごとに、出力ベクトルの成分ごとに、マトリックスベースのイントラ予測モードに対して等しい、例えば、少なくとも同一のブロックサイズに関連する１つに対して等しいが、任意選択で、おそらくは、全てのブロックサイズのマトリックスに対して等しいビットの数において右シフトを実行することによって、入力ベクトルとそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算することを含む。

実施形態は、イントラ予測を使用してピクチャの予め定められたブロックを符号化する方法に関連し、方法は、データストリームにモードインデックスを挿入することを含み、モードインデックスは、マトリックスベースのイントラ予測モードのリストからの１つを指し示し、例えば、このモードは、マトリックスベースのイントラ予測モードのリストからの、また任意選択で、インター予測モードなどの更なるモードからのレート歪み最適化により選択されていてもよい。方法は、予め定められたブロックに近傍した参照サンプルから導出された入力ベクトルとモードインデックスによって指し示されたマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算し、マトリックス－ベクトル積によって取得された出力ベクトルの成分を予め定められたブロックのサンプル位置に関連付けることによって、予め定められたブロックのサンプルを予測することを更に含む。マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリは、予め定められたビット深度の固定点表現によって表現され、予め定められたビット深度は、マトリックスベースのイントラ予測モードに対して等しい、例えば、少なくとも同一のブロックサイズに関連する１つに対して等しいが、任意選択で、おそらくは、全てのブロックサイズのマトリックスに対して等しい。加えて、方法は、マトリックスベースのイントラ予測モードごとに、出力ベクトルの成分ごとに、マトリックスベースのイントラ予測モードに対して等しい、例えば、少なくとも同一のブロックサイズに関連する１つに対して等しいが、任意選択で、おそらくは、全てのブロックサイズのマトリックスに対して等しいビットの数において右シフトを実行することによって、入力ベクトルとそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積を計算することを含む。

上記説明されたような方法は、上記説明されたエンコーダ／デコーダと同一の考慮事項に基づいている。方法はところで、エンコーダ／デコーダに関しても説明される、全ての特徴及び機能性により完了されてもよい。

実施形態は、予め定められたブロックに近傍した参照サンプルから導出された入力ベクトルと予め定められたブロックに対して選択されたマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの１つとの間のマトリックス－ベクトル積を計算し、マトリックス－ベクトル積によって取得された出力ベクトルの成分を予め定められたブロックのサンプル位置に関連付けることによって、予め定められたブロックのサンプルを予測するために、その中で予め定められたブロックに対して１つが選択されることになるマトリックスベースのイントラ予測モードのリストの訓練予測マトリックスのための方法に関連する。方法は、最急降下法アプローチを使用して、そのドメイン及びコドメインが浮動小数点表現によって定義され、その画像が予め定められた動的範囲を有し、マトリックスベースのイントラ予測モードに対して等しい、微分可能関数を使用して代表する値がマッピングされた中間値に予測マトリックスのエントリを設定することと関連付けられた予測歪み測定に依存するコスト関数を使用して、浮動小数点表現において表現された、マトリックスベースのイントラ予測モードのリストの予測マトリックスのエントリについての代表する値を最適化することによって、マトリックスベースのイントラ予測モードのリストの予測マトリックスを、例えば、既知の（元の）サンプルの予め定められたブロック及びそれらの対応する近傍性の訓練セットの使用によって訓練することを含む。加えて、方法は、例えば、訓練の後、中間値を固定点表現に量子化し、その結果、マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスは、予め定められたビット深度の固定点表現によって表現された全てのエントリを有し、その結果、予め定められたビット深度は、マトリックスベースのイントラ予測モードに対して等しく、その結果、マトリックスベースのイントラ予測モードごとに、入力ベクトルとそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間のマトリックス－ベクトル積が、出力ベクトルの成分ごとに、マトリックスベースのイントラ予測モードに対して等しいビットの数において右シフトを実行することによって計算可能である、ことを含む。

上記説明されたような方法は、訓練予測マトリックスに対する上記説明された装置と同一の考慮事項に基づいている。方法はところで、訓練予測マトリックスに対する装置に関しても説明される、全ての特徴及び機能性により完了されてもよい。

実施形態は、本明細書で説明される符号化する方法を使用してそこで符号化されたピクチャまたはビデオを有するデータストリームに関連する。

実施形態は、コンピュータ上で実行されるとき、本明細書で説明される方法を実行するためのプログラムコードを有するコンピュータプログラムに関連する。

図面は、必ずしも縮尺通りではなく、代わりに、発明の原理を例示することに重点が置かれている。以下の図面では、以下の図面を参照して、発明の様々な実施形態が説明される。

データストリームに符号化する実施形態を示す図。 エンコーダの実施形態を示す図。 ピクチャの再構築の実施形態を示す図。 デコーダの実施形態を示す図。 実施形態に従った、低減したサンプル値ベクトルによるブロックの予測を示す図。 実施形態に従った、サンプルの補間を使用したブロックの予測を示す図。 実施形態に従った、一部の境界サンプルのみが平均化される、低減したサンプル値ベクトルによるブロックの予測を示す図。 実施形態に従った、４個の境界サンプルのグループが平均化される、低減したサンプル値ベクトルによるブロックの予測を示す図。 モードインデックスに基づいたピクチャの予め定められたブロックのマトリックスベースのイントラ予測を示す図。 マトリックスベースのイントラ予測モードのペアとサンプル間距離設定の適用との間の関係を示す図。 実施形態に従った、予測のためにＭＩＰモードを使用して復号する装置を示す図。 実施形態に従った、予測マトリックスを訓練する装置を示す図。 実施形態に従った、予測マトリックスを訓練する装置を示す図。 例示的な微分可能関数を示す図。

等しいもしくは同等の要素または等しいもしくは同等の機能性を有する要素は、異なる図において生じる場合でさえ、等しいまたは同等の参照符号によって以下の説明において表される。

以下の説明では、本発明の実施形態のより完全な説明を提供するために複数の詳細が示される。しかしながら、それらの特定の詳細なしに本発明の実施形態を実施することができることが当業者に明らかであろう。他のインスタンスでは、本発明の実施形態を曖昧にすることを回避するために、詳細でないブロック図の形式において公知の構造及びデバイスが示される。加えて、後に本明細書で説明される異なる実施形態の特徴は、他に特別に言及されない限り、相互に組み合わされてもよい。

以下では、マトリックスベースのイントラ予測を使用するときにより効率的な圧縮を達成する際の支援となることができる様々な実施例が説明される。マトリックスベースのイントラ予測は、例えば、経験的に設計された他のイントラ予測モードに追加されてもよく、または排他的に提供されてもよい。

以下の実施例の理解を容易にするために、説明は、本出願の上記概説された実施例をそれに構築することができる、それらに適合したとり得るエンコーダ及びデコーダの提示により開始する。図１は、ピクチャ１０をデータストリーム１２にブロックワイズ符号化する装置を示す。装置は、参照符号１４を使用して示され、静止ピクチャエンコーダまたはビデオエンコーダであってもよい。言い換えると、ピクチャ１０は、エンコーダ１４がピクチャ１０を含むビデオ１６をデータストリーム１２に符号化するように構成されるときのビデオ１６からのカレントピクチャであってもよく、またはエンコーダ１４は、ピクチャ１０をデータストリーム１２に排他的に符号化してもよい。

言及されたように、エンコーダ１４は、ブロックワイズ方式で、またはブロックベースで符号化を実行する。この目的のために、エンコーダ１４は、ピクチャ１０をブロックに再分割し、ブロックは、エンコーダ１４がピクチャ１０をデータストリーム１２に符号化するユニットである。ブロック１８へのピクチャ１０のとり得る再分割の実施例は、以下で更に詳細に示される。概して、再分割は、ピクチャ１０の全体ピクチャエリアから、またはツリーブロックのアレイへのピクチャ１０の事前区画から多分木再分割を開始することによる階層多分木再分割の使用などによって、行及び列内に配列されたブロックのアレイなどの一定サイズのブロック１８または異なるブロックサイズのブロック１８に最終的なることができ、それらの実施例は、ピクチャ１０をブロック１８へに再分割する他のとり得る様式を排除するとして見なされるべきではない。

更に、エンコーダ１４は、ピクチャ１０をデータストリーム１２に予測的に符号化するように構成された予測的エンコーダである。特定のブロック１８について、これは、エンコーダ１４が、ブロック１８についての予測信号を判定し、予測残差、すなわち、ブロック１８内の実際のピクチャコンテンツから予測信号が逸脱する予測誤差をデータストリーム１２に符号化する、ことを意味する。

エンコーダ１４は、特定のブロック１８についての予測信号を導出するように、異なる予測モードをサポートすることができる。以下の実施例では重要なモードである予測モードは、ピクチャ１０の近傍する既に符号化されたサンプルからブロック１８の内側のどれが空間的に予測されるかに従ったイントラ予測モードである。データストリーム１２へのピクチャ１０の符号化、及びそれに従って対応する復号手順は、ブロック１８の間で定義された特定のコーディング順序２０に基づいてもよい。例えば、コーディング順序２０は、例えば、左から右に各々の行をトラバースすると共に、上から下に行ワイズなどのラスタスキャン順序においてブロック１８をトラバースすることができる。階層多分木再分割のケースでは、各々の階層レベル内でラスタスキャン順序付けが適用されてもよく、深度最優先トラバース順序が適用されてもよく、すなわち、特定の階層レベルのブロック内のリーフノードは、コーディング順序２０に従って、同一の親ブロックを有する同一の階層レベルのブロックに先行してもよい。コーディング順序２０に応じて、ブロック１８の近傍する既に符号化されたサンプルは、ブロック１８の１つ以上の側に通常は位置してもよい。本明細書で提示される実施例のケースでは、例えば、ブロック１８の近傍する既に符号化されたサンプルは、ブロック１８の上及びブロック１８の左に位置する。

イントラ予測モードは、エンコーダ１４によってサポートされるただ１つのモードでなくてもよい。エンコーダ１４が、例えば、ビデオエンコーダであるケースでは、エンコーダ１４は、ビデオ１６の前に符号化されたピクチャからブロック１８のどれが時間的に予測されるかに従って、イントラ予測モードをもサポートすることができる。そのようなイントラ予測モードは、ブロック１８の予測信号が複製としてそれから導出されることになる部分の相対的空間オフセットを示す、そのようなブロック１８に対して動きベクトルのどれがシグナリングされるかに従った動き補償予測モードであってもよい。加えて、または代わりに、エンコーダ１４がマルチビューエンコーダであるケースでは、ビュー間予測モード、またはいずれの予測もなしにブロック１８の内側のどれがそのままでコーディングされるかに従った非予測的モードなどの他の非イントラ予測モードも利用可能であってもよい。

イントラ予測モードに対する本出願の説明に焦点を当てることを開始する前に、とり得るブロックベースのエンコーダについて、すなわち、エンコーダ１４のとり得る実装態様についての更なる特定の実施例が、図２に関して説明されると共に、次いで、図１及び２それぞれに適合するデコーダについての２つの対応する実施例を提示する。

図２は、図１のエンコーダ１４のとり得る実装態様、すなわち、エンコーダが予測残差を符号化するために変換コーディングを使用するように構成される実装態様を示すが、これは、ほぼ実施例であり、本出願は、その分類の予測残差コーディングに限定されない。図２に従って、エンコーダ１４は、インバウンド信号、すなわち、ピクチャ１０から、またはブロックベースで、カレントブロック１８から、対応する予測信号２４を減算して、予測残差信号２６を取得するように構成された減算器２２を含み、予測残差信号２６は次いで、予測残差エンコーダ２８によってデータストリーム１２に符号化される。予測残差エンコーダ２８は、非可逆符号化ステージ２８ａ及び可逆符号化ステージ２８ｂから構成される。非可逆ステージ２８ａは、予測残差信号２６を受信し、予測残差信号２６のサンプルを量子化する量子化器３０を含む。上記で既に言及されたように、本実施例は、予測残差信号２６の変換コーディングを使用し、それにしたがって、非可逆符号化ステージ２８ａは、残差信号２６を提示する変換済み係数に対して行われる量子化器３０の量子化によりそのようなスペクトル的に分解された予測残差２６を変換するように、減算器２２と量子化器３０との間に接続された変換ステージ３２を含む。変換は、ＤＣＴ、ＤＳＴ、ＦＦＴ、またはＨａｄａｍａｒｄ変換などであってもよい。変換済み及び量子化済み予測残差信号３４は次いで、可逆符号化ステージ２８ｂによる可逆コーディングを受け、可逆符号化ステージ２８ｂは、量子化済み予測残差信号３４をデータストリーム１２にエントロピコーディングするエントロピコーダである。エンコーダ１４は更に、デコーダにおいても利用可能な方式において、すなわち、量子化器３０におけるコーディング損失を考慮して、変換済み及び量子化済み予測残差信号３４から予測残差信号を再構築するように、量子化器３０の出力に接続された予測残差信号再構築ステージ３６を含む。この目的のために、予測残差再構築ステージ３６は、量子化器３０の量子化の逆を実行する量子化解除器３８と、それに続く、上記言及された特定の変換の実施例のいずれかに対する逆などのスペクトル分解の逆など、変換器３２によって実行される変換に対する逆変換を実行する逆変換器４０を含む。エンコーダ１４は、逆変換器４０による出力としての再構築済み予測残差信号及び予測信号２４を加算して、再構築済み信号、すなわち、再構築済みサンプルを出力する加算器４２を含む。この出力は、エンコーダ１４の予測器４４にフィードされ、予測器４４は次いで、それに基づいて予測信号２４を判定する。それは、図１に関して上記で既に議論された全ての予測モードをサポートする予測器４４である。図２はまた、エンコーダ１４がビデオエンコーダのケースでは、エンコーダ１４が、フィルタリングされた後に、インター予測済みブロックに関して予測器４４についての参照ピクチャを形成する完全に再構築されたピクチャをフィルタリングするインループフィルタ４６をも含んでもよいことを例示する。

上記で既に言及されたように、エンコーダ１４は、ブロックベースで動作する。後続の説明のために、対象のブロックベースの動作は、それに対して、予測器４４またはエンコーダ１４のそれぞれによってサポートされるイントラ予測モードのセットまたは複数のイントラ予測モードからイントラ予測モードが選択され、選択されたイントラ予測モードが個々に実行される、ブロックにピクチャ１０を再分割する動作である。しかしながら、ピクチャ１０がそれに再分割される他の分類のブロックも存在してもよい。例えば、ピクチャ１０がインターコーディングまたはイントラコーディングされるかどうかの上記言及された決定は、ブロック１８から逸脱したブロックの粒度またはユニットにおいて行われてもよい。例えば、インター／イントラモード決定は、ピクチャ１０がそれに再分割されるコーディングブロックのレベルにおいて実行されてもよく、各々のコーディングブロックは、予測ブロックに再分割される。それに対してイントラ予測が使用されると決定されたブロックを符号化することによる予測ブロックは各々、イントラ予測モード決定に再分割される。このために、それらの予測ブロックの各々に対して、サポートされるイントラ予測モードがそれぞれの予測ブロックに対して使用されるべきであるかについて決定される。それらの予測ブロックは、ここで対象のブロックであるブロック１８を形成する。インター予測と関連付けられたコーディングブロック内の予測ブロックは、予測器４４によって異なって扱われる。それらは、動きベクトルを判定し、動きベクトルによって指し示された参照ピクチャ内の位置からのこのブロックについての予測信号を複製することによって、参照ピクチャからインター予測される。別のブロックの再分割は、変換器３２及び逆変換器４０による変換が実行されるユニットにおいて変換ブロックに再分割することに関連する。変換済みブロックは、例えば、コーディングブロックを更に再分割した結果であってもよい。本質的に、本明細書で示される実施例は、限定するものと扱われるべきではなく、他の実施例も存在してもよい。完全性のみのために、コーディングブロックへの再分割は、例えば、多分木再分割を使用してもよく、多分木再分割を使用してコーディングブロックを更に再分割することによっても、予測ブロック及び／または変換ブロックを取得することができることに留意されよう。

図１のエンコーダ１４に適合するブロックワイズ復号のためのデコーダ５４または装置は、図３に記述される。このデコーダ５４は、エンコーダ１４の反対を行い、すなわち、それは、ブロックワイズ方式において、データストリーム１２からピクチャ１０を復号し、この目的のために、複数のイントラ予測モードをサポートする。デコーダ５４は、例えば、残差プロバイダ１５６を含んでもよい。図１に関して上記議論された全ての他の可能性がデコーダ５４に対しても有効である。このために、デコーダ５４は、静止ピクチャデコーダまたはビデオデコーダであってもよく、全ての予測モード及び予測可能性がデコーダ５４によってもサポートされる。主として、例えば、コーディングレート及び／またはコーディング歪みに依存することがある一部のコスト関数を最小化するなどのために、一部の最適化などに従ってエンコーダ１４がコーディング決定を選出または選択する事実において、エンコーダ１４とデコーダ５４との間に差異が存在する。それらのコーディングオプションまたはコーディングパラメータの１つは、利用可能なまたはサポートされるイントラ予測モードの間でのカレントブロック１８に対して使用されることになるイントラ予測モードの選択を伴ってもよい。選択されたイントラ予測モードは次いで、ブロック１８に対してデータストリーム１２におけるこのシグナリングを使用して選択を再度行うデコーダ５４により、データストリーム１２内でカレントブロック１８に対してエンコーダ１４によってシグナリングされてもよい。同様に、ブロック１８へのピクチャ１０の再分割は、エンコーダ１４内の最適化を受けてもよく、対応する再分割情報は、再分割情報に基づいてブロック１８へのピクチャ１０の再分割を回復するデコーダ５４によりデータストリーム１２内で搬送されてもよい。上記を要約すると、デコーダ５４は、ブロックベースで、及びイントラ予測モードに加えて動作する予測的デコーダであってもよく、デコーダ５４は、例えば、デコーダ５４がビデオデコーダであるケースでは、インター予測モードなどの他の予測モードをサポートすることができる。復号する際、デコーダ５４は、図１に関して議論されたコーディング順序２０をも使用してもよく、このコーディング順序２０がエンコーダ１４及びデコーダ５４の両方において順守されるので、同一の近傍するサンプルがエンコーダ１４及びデコーダ５４の両方においてカレントブロック１８に対して利用可能である。したがって、不要な繰り返しを回避するために、ブロックへのピクチャ１０の再分割に関連する限り、例えば、予測に関連する限り、及び予測残差のコーディングに関連する限り、エンコーダ１４の動作のモードの説明は、デコーダ５４にも適用されてもよい。エンコーダが、最適化によって、一部のコーディングオプションまたはコーディングパラメータを選出し、データストリーム１２内でコーディングパラメータをシグナリングし、またはデータストリーム１２にコーディングパラメータを挿入し、コーディングパラメータは次いで、予測及び再分割などを再度行うように、デコーダ５４によってデータストリーム１２から導出される、という事実において差異が存在する。

図４は、図３のデコーダ５４のとり得る実装態様、すなわち、図２に示されたような図１のエンコーダ１４の実装態様に適合する実装態様を示す。図４のエンコーダ５４の多くの要素が図２の対応するエンコーダにおいて行われるのと同一であるので、それらの要素を示すために、アポストロフィにより提供される同一の参照符号が図４において使用される。特に、加算器４２´、任意選択のインループフィルタ４６´、及び予測器４４´は、それらが図２のエンコーダにあるような同一の方式において予測ループに接続される。加算器４２´に印加される再構築済み、すなわち、量子化済み及び再変換済み予測残差信号は、符号化側のケースにまさにあるように、エントロピエンコーダ２８ｂのエントロピ符号化を反転させるエントロピデコーダ５６と、それに続く、量子化解除器３８´及び逆変換器４０´から構成される残差信号再構築ステージ３６´の連続によって導出される。デコーダの出力は、ピクチャ１０の再構築である。ピクチャ１０の再構築は、加算器４２´の出力において、または代わりに、インループフィルタ４６´の出力において直接利用可能であってもよい。ピクチャ１０の再構築を一部の事後フィルタリングに受けさせて、ピクチャ品質を改善するために、デコーダの出力において一部の事後フィルタが配列されてもよいが、このオプションは図４には記述されない。

再度、図４に関して、図２に関して上記持ち出された説明は、エンコーダがコーディングオプションに関して最適化タスク及び関連する決定を実行するにすぎないことを除いて、図４に対しても有効であるはずである。しかしながら、ブロック再分割、予測、量子化解除、及び再変換に関する全ての説明も、図４のデコーダ５４に対して有効である。

本明細書で説明される実施形態は、いわゆるマトリックスベースのイントラ予測を利用する。全体的な概念が以下で概説される。

マトリックスベースのイントラ予測のレビュー
本出願を自己完結したままにするために、このセクションでは、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ ＣｏｄｉｎｇのＷｏｒｋｉｎｇ Ｄｒａｆｔ ７［１］に含まれる現在のマトリックスベースのイントラ予測（ＭＩＰ）方法の主要なステップが説明される。更なる詳細のために、それは［１］を参照する。

マトリックスベースのイントラ予測（ＭＩＰ）は、幅Ｗ及び高さＨの矩形ブロックに対してイントラ予測信号を生成する方法である。ＭＩＰ予測処理のための入力は、ブロックの上の１つの行の再構築済みサンプルｒ_ｔｏｐ及びブロックの左の１つの列の再構築済みサンプルｒ_ｌｅｆｔ、ＭＩＰモード－インデックスｉ、及びＭＩＰモードが補間されることになるか否かについての情報から構成された再構築済みサンプルｒである。次いで、以下の３つのステップを使用してＭＩＰ予測信号が生成される。
１．Ｗ及びＨに依存し、

及び

を満たす規定された自然数ｗ_{ｉｎ，ｒｅｄ}及びｈ_{ｉｎ，ｒｅｄ}について、ｒ_ｔｏｐから、ダウンサンプリング／平均化によって、サイズｗ_{ｉｎ，ｒｅｄ}の低減した上入力ｒ_{ｔｏｐ，ｒｅｄ}を生成し、ｒ_ｌｅｆｔから、ダウンサンプリング／平均化によって、サイズｈ_{ｉｎ，ｒｅｄ}の低減した左入力ｒ_{ｌｅｆｔ，ｒｅｄ}を生成する。
次いで、ＭＩＰモードが補間されないことになる場合、

として定義され、ＭＩＰモードが補間されることになる場合、

として定義された低減した入力ｒ_{ｒｅｄ，ｆｕｌｌ}にｒ_{ｔｏｐ，ｒｅｄ}及びｒ_{ｌｅｆｔ，ｒｅｄ}を連結する。次に、ｒ_{ｒｅｄ，ｆｕｌｌ}から、低減した入力ｒ_ｒｅｄを定義する。ここで、ｒ_ｒｅｄは、ｒ_{ｒｅｄ，ｆｕｌｌ}と同一のサイズｗ_{ｉｎ，ｒｅｄ}＋ｈ_{ｉｎ，ｒｅｄ}またはサイズｗ_{ｉｎ，ｒｅｄ}＋ｈ_{ｉｎ，ｒｅｄ}－１のいずれかである。最初のケースでは、ｒ_ｒｅｄは、

として定義され、Ｂは、ビット深度であり、

として定義される。
２つ目のケースでは、ｒ_ｒｅｄは、

として定義される。
２．Ｗ及びＨに依存し、

及び

を満たす規定された自然数ｗ_{ｏｕｔ，ｒｅｄ}及びｈ_{ｏｕｔ，ｒｅｄ}について、

として幅ｗ_{ｏｕｔ，ｒｅｄ}及び高さｈ_{ｏｕｔ，ｒｅｄ}のブロックに対する低減した予測信号ｐｒｅｄ_ｒｅｄを生成する。
ここで、Ａ_ｉは、Ｗ及びＨに、並びにＭＩＰモード－インデックスｉに依存するマトリックスであり、ｃ_ｉ及びｄ_ｉは、ＭＩＰモード－インデックスｉに依存する負でない整数であり、この依存性は、本発明によって除去されることになる。その上、ｐｒｅｄ_ｒｅｄは、

－ＭＩＰモードが補間される必要がない場合、行主要順序における幅ｗ_{ｏｕｔ，ｒｅｄ}及び高さｈ_{ｏｕｔ，ｒｅｄ}のブロックに対する信号により識別される次元ベクトルであり、ＭＩＰモードが補間される必要がある場合、列主要順序における幅ｗ_{ｏｕｔ，ｒｅｄ}及び高さｈ_{ｏｕｔ，ｒｅｄ}のブロックに対する信号により識別される次元ベクトルである。
後に、ｒ_{ｒｅｄ，ｆｕｌｌ}［０］をｐｒｅｄ_ｒｅｄに加算する。
最終的に、結果は、所与のビット範囲［０，２^Ｂ］にクリッピングされる。
３．ｗ_{ｏｕｔ，ｒｅｄ}＜Ｗまたはｈ_{ｏｕｔ，ｒｅｄ}＜Ｈである場合、前のステップの終わりにおいて取得された低減した予測信号から完全なＭＩＰ予測信号を生成するために、アップサンプリング／線形補間を適用する。ここで、再構築済みサンプルが線形補間に含まれる。

実装態様の実施例の提示
全体的な概念が上記概説されてきた。それらのモードの使用を更に詳細に再度説明するために、ＭＩＰ（マトリックスベースのイントラ予測）についての代替的なシノニムとして、概念が、以下ではＡＬＷＩＰ（アフィン－線形重み付けイントラ予測）と称されることがある。

近傍性に基づいて入力ベクトルをポピュレートし、マトリックス－ベクトル乗算及び線形補間を計算する全体処理が、後続の図５．１～５．４における異なるブロック形状に対して例示される。残りの形状が記述されるケースの１つにあるとして扱われることに留意されよう。
１．４×４ブロックを仮定して、ＡＬＷＩＰ（または、ＭＩＰ）は、境界の各々の軸に沿って２つの平均を取ることができる、図５．１を参照されたい。平均化することの代替例として、近傍性のあらゆる第２のサンプルが取られ、またはより一般的且つ正確に、マトリックス－ベクトル乗算１９についての入力ベクトルのあらゆる成分が近傍した１つのサンプルから厳密に取られる。結果として生じる４個の入力サンプルは、マトリックス－ベクトル乗算に入る。マトリックスは、セットＳ_０から取られ、セットＳ_０は、近くのブロックサイズについてのマトリックスのセットである。オフセットを追加した後、これは、１６個の最終予測サンプルを生じさせることができる。線形補間は、予測信号を生成するために必須ではない。よって、サンプルごとに（４×１６）／（４×４）＝４の合計の乗算が実行される。例えば、４×４ブロックについてのＡＬＷＩＰを例示する図５．１を参照されたい。厳密な計算が上記弁明されてきた。
２．８×８ブロックを仮定して、ＡＬＷＩＰは、境界の各々の軸に沿って４個の平均を取ることができる、図５．２を参照されたい。結果として生じる８個の入力サンプルは、マトリックス－ベクトル乗算１９に入る。マトリックスは、セットＳ_１から取られる。これは、予測ブロックの奇数位置上で１６個のサンプルを生じさせることができる。よって、サンプルごとに（８×１６）／（８×８）＝２の合計の乗算が実行される。オフセットを追加した後、それらのサンプルは、低減した上境界を使用することによって垂直に補間される。水平補間に続き、元の左境界を使用する。例えば、８×８ブロックについてのＡＬＷＩＰを例示する図５．２を参照されたい。
３．８×４ブロックを仮定して、ＡＬＷＩＰは、境界の水平軸に沿って４個の平均及び左境界上の４個の元の境界値を取ることができる、図５．３を参照されたい。結果として生じる８個の入力サンプルは、マトリックス－ベクトル乗算に入る。マトリックスは、セットＳ_１から取られる。これは、予測ブロックの奇数水平位置及び各々の垂直位置上で１６個のサンプルを生じさせることができる。よって、サンプルごとに（８×１６）／（８×４）＝４の合計の乗算が実行される。オフセットを追加した後、それらのサンプルは、元の左境界を使用することによって水平に補間される。例えば、８×４ブロックについてのＡＬＷＩＰを例示する図５．３を参照されたい。
したがって、補間されたケースが扱われる。
４．１６×１６ブロックを仮定して、ＡＬＷＩＰは、境界の各々の軸に沿って４個の平均を取ることができる。結果として生じる８個の入力サンプルは、マトリックス－ベクトル乗算に入る。マトリックスは、セットＳ_２から取られる。これは、予測ブロックの奇数位置上で６４個のサンプルを生じさせることができる。よって、サンプルごとに（８×６４）／（１６×１６）＝２の合計の乗算が実行される。オフセットを追加した後、それらのサンプルは、上境界の８個の平均を使用することによって垂直に補間される。水平補間に続き、元の左境界を使用する。例えば、１６×１６ブロックについてのＡＬＷＩＰを例示する図５．４を参照されたい。
より大きな形状について、手順が必然的に同一であることができ、サンプルごとの乗算の回数が２回未満であることを検査することが容易である。
Ｗ×８ブロックについて、サンプルが奇数水平位置及び各々の垂直位置において与えられるので、水平補間のみが必要である。よって、最大でサンプルごとの（８×６４）／（１６×８）＝４乗算がそれらのケースにおいて実行される。
最終的に、Ｗ＞８のＷ×４ブロックについて、Ａ_ｋは、ダウンサンプリング済みブロックの水平軸に沿った奇数エントリに対応するあらゆる行を除外することによって生じるマトリックスであるとする。よって、出力サイズは、３２であってもよく、再度、水平補間のみが実行されるままである。最大でサンプルごとの（８×３２）／（１６×４）＝４乗算が実行されてもよい。
したがって、補間されたケースが扱われてもよい。これは、後続の図において例示される。

図６．１は、イントラ予測を使用してピクチャの予め定められたブロック１８を復号する装置５４を示す。

装置５４は、データストリーム１２から、二値化コード２０２を使用してモードインデックス２００を読み込むように構成され、モードインデックスは、マトリックスベースのイントラ予測モードのリスト２０４からの１つを指し示す。マトリックスベースのイントラ予測モードのリスト２０４は、偶数のマトリックスベースのイントラ予測モードから構成され、リスト２０４のマトリックスベースのイントラ予測モードは、マトリックスベースのイントラ予測モードのペア２１２にグループ化される。各々のペア２１２は、第１のマトリックスベースのイントラ予測モード及び第２のマトリックスベースのイントラ予測モードから構成される。マトリックスベースのイントラ予測モードのペア２１２ごとに、第１のマトリックスベースのイントラ予測モードが第１のコードワードを割り当てられ、第２のマトリックスベースのイントラ予測モードが第２のコードワードを割り当てられ、両方のコードワードが長さにおいて等しいような方式において、装置５４は、データストリーム１２から、二値化コード２０２を使用してモードインデックス２００を読み込むように構成される。

任意選択で、二値化コード２０２は、可変長コードであり、可変長コードは、異なる長さのコードワードを含む。代わりに、二値化コードは、切り捨て済み二値コードであってもよく、マトリックスベースのイントラ予測モードの数は、２の累乗でなく、その結果、切り捨て済み二値コードは、異なる長さのコードワードを有する。マトリックスベースのイントラ予測モードの第１のペア２１２と関連付けられたマトリックスベースのイントラ予測モードは、マトリックスベースのイントラ予測モードの第２のペア２１２と関連付けられたマトリックスベースのイントラ予測モードに割り当てられたコードワードとして、長さにおいて異なるコードワードが割り当てられてもよい。しかしながら、マトリックスベースのイントラ予測モードのペア２１２の両方のコードワードは、長さにおいて等しい。

実施形態に従って、装置５４は、コンテキスト適応的二値算術演算デコーダの等確率バイパスモードを使用して、データストリーム１２からモードインデックス２００を読み込むように構成されてもよい。

同様に、イントラ予測を使用してピクチャの予め定められたブロック１８を復号する装置５４（すなわち、デコーダ）に対し、イントラ予測を使用してピクチャの予め定められたブロック１８を符号化する装置（すなわち、エンコーダ）は、二値化コード２０２を使用して、任意選択で、コンテキスト適応的二値算術演算エンコーダの等確率バイパスモードを使用して、モードインデックス２００をデータストリーム１２に符号化するように構成されてもよい。

デコーダ及びエンコーダは、予め定められたブロック１８に近傍した参照サンプル１７から導出された入力ベクトル１０２と、モードインデックス２００によって指し示されたマトリックスベースのイントラ予測モードｋと関連付けられた予測マトリックス１９との間のマトリックス－ベクトル積２０６を計算することによって、予め定められたブロック１８のサンプル１０８を予測するように構成される。マトリックス－ベクトル積２０６の計算は、出力ベクトル２０８を結果としてもたらす。更に、予め定められたブロック１８のサンプル１０８は、マトリックス－ベクトル積２０６によって取得された出力ベクトル２０８の成分２１０を予め定められたブロック１８のサンプル位置１０４に関連付けることによって予測される。予め定められたブロック１８のサンプル１０８のこの予測は、図５．１～５．４に関して説明されるように実行されてもよい。

マトリックスベースのイントラ予測モードのペア２１２ごとに、マトリックスベースのイントラ予測モードのそれぞれのペア２１２の第１のマトリックスベースのイントラ予測モードと関連付けられた予測マトリックス１９は、マトリックスベースのイントラ予測モードのそれぞれのペア２１２の第２のマトリックスベースのイントラ予測モードと関連付けられた予測マトリックス１９に等しい。よって、マトリックスベースのイントラ予測モード２ｋ及び２ｋ＋１に対し、同一の予測マトリックス１９が使用される。マトリックスベースのイントラ予測モードのペア２１２ごとに、エンコーダ及びデコーダは、モードインデックス２００によって指し示されたマトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードのそれぞれのペア２１２の第１のマトリックスベースのイントラ予測モード、例えば、奇数モードインデックス２ｋ＋１を有するモードである場合、入力ベクトル１１２の成分２１４との予め定められたブロック１８に近傍した参照サンプル１７の関連付け、及び出力ベクトル２０の成分２１０との予め定められたブロック１８のサンプル位置１０４の関連付けが、モードインデックス２００によって指し示されたマトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードのそれぞれのペア２１２の第２のマトリックスベースのイントラ予測モード、例えば、偶数モードインデックス２ｋを有するモードであるケースにおける関連付けに対して転置されるように構成される。

デコーダ／エンコーダは、モードインデックス２００のパリティに基づいて、モードインデックス２００によって指し示されたマトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードのそれぞれのペアの第１のマトリックスベースのイントラ予測モードまたはマトリックスベースのイントラ予測モードのそれぞれのペア２１２の第２のマトリックスベースのイントラ予測モードであるかどうかを判定するように構成されてもよい。モードインデックス２００のパリティは、入力ベクトル１０２及び出力ベクトル２０８が予め定められたブロック１８のサンプル１０８の予測に対して転置された様式において使用されるか否かを示すことができる。すなわち、図６．２に示されるように、入力ベクトル１０２の成分１～ｎの特定の成分が、前者のケースにおける予め定められたブロック１８の左上隅サンプルＡＡを表す（０，０）を有する位置（ｘ，ｙ）と関連付けられる場合、それは、後者のケースにおける（ｘ，ｙ）と関連付けられる。同じことが出力ベクトル２０８の成分（ＡＡ，ＡＢ，ＡＣ，ＢＡ，ＣＡ，…）に適用される。

各々のペア２１２は、同一の予測マトリックス１９によって相互に関連し、入力ベクトル１０２及び出力ベクトル２０８が転置されるか否かに関してのみ相互に異なるモードである、第１のマトリックスベースのイントラ予測モード及び第２のマトリックスベースのイントラ予測モードから構成される。マトリックスベースのイントラ予測モードを示し、マトリックスベースのイントラ予測モードが転置された様式において使用されるか否かを示すために、モードインデックス２００のみがデータストリーム１２において必要であるので、これは有益である。マトリックス－ベクトル積２０６について、入力ベクトル１０２及び出力ベクトル２０８が転置された様式において使用されることになることを示すために、追加のインデックスまたはフラグが必要でない。

実施形態に従って、デコーダ／エンコーダは、２によって除算されたモードインデックス２００の整数部分を使用して、複数の予測マトリックスから予測マトリックス１９をインデックス付けするように構成される。モードインデックス２００によりリスト２０４内の関連するペア２１２に指し示すことによって、予測マトリックス１９が既に十分に示された理由について、予め定められたブロック１８のサンプル１０８の予測のためにペア２１２の両方のマトリックスベースのイントラ予測モードが同一の予測マトリックス１９を使用することのアイデアにこれは基づいている。

図６．１及び６．２に示されるように、デコーダ／エンコーダは、水平デフォルト次元に対する予め定められたブロック１８の水平次元２２０の第１の比率に従って水平に、及び／または垂直デフォルト次元に対する予め定められたブロック１８の垂直次元２２２の第２の比率に従って垂直に、予め定められたブロック１８のサンプル位置１０４のインターサンプル距離２１６及び予め定められたブロック１８に近傍した参照サンプル１７のインターサンプル距離２１８を設定する（２１７）ように構成されてもよい。これは、複数のブロック次元についてのマトリックスベースのイントラ予測モードのリスト２０４の使用を可能にする。装置は、補間によって予測済みサンプルの間の空間を埋めてもよい。予め定められたブロック１８のサンプル位置１０４のインターサンプル距離２１６及び予め定められたブロック１８に近傍した参照サンプル１７のインターサンプル距離２１８のインターサンプル距離設定２１７は、予め定められたブロック１８内の予測済みサンプル１０８及び予め定められたブロック１８に近傍した参照サンプル１７の改善された分散を可能にする。よって、予測済みサンプルを等しく分散させることができ、予め定められたブロック１８のサンプルの改善された補間を可能にする。

実施形態に従って、デコーダ／エンコーダは、複数のブロック次元に対して等しくマトリックスベースのイントラ予測モードのリスト２０４内のマトリックスベースのイントラ予測モードを順序付けるように構成される。代わりに、順序は、例えば、ブロックが高さよりも広い、またはその逆、すなわち、幅よりも高い、または二次元であることに適合されてもよい。共通ブロック次元に対するマトリックスベースのイントラ予測モードを短いコードワードと関連付けることができ、稀なブロック次元に対するマトリックスベースのイントラ予測モードをより長いコードワードと関連付けることができるので、この順序付けは、コーディング効率を増大させることができ、ビットストリームを低減させることができる。

任意選択で、複数のブロック次元は、４よりも大きいアスペクト比に対応する少なくとも１つのブロック次元を含む。マトリックスベースのイントラ予測は、垂直次元２２２に対する水平次元２２０のアスペクト比を有する予め定められたブロック１８が４よりも大きいように最適化されてもよい。すなわち、複数のブロック次元は、垂直次元２２２よりも少なくとも４倍大きい水平次元２２０を有する予め定められたブロック及び／または水平次元２２０よりも少なくとも４倍大きい垂直次元２２２を有する予め定められたブロックを含む。図６．２は、４よりも大きいアスペクト比に対応するブロック次元を有する予め定められたブロック１８を示す。

以下に提案される実施形態に従って、現在のＶＶＣバージョンにおいてこれまで予期された使用と比較して、ＭＩＰの使用を更に効率的にする方式においてＭＩＰモードが適用される。

以下での実施形態は、デコーダを考慮した特徴及び機能性を大部分は例示する。しかしながら、同一または類似の特徴及び機能性がエンコーダによって備えられてもよく、例えば、デコーダによって実行される復号は、エンコーダによる符号化に対応することができることが明白である。更に、エンコーダは、フィードバックループ、例えば、予測ステージ３６におけるデコーダに関して説明されたような同一の特徴を含んでもよい。

図７は、イントラ予測を使用してピクチャの予め定められたブロック１８を復号する装置５４を示す。

装置５４は、データストリーム１２から、モードインデックス２００を読み込むように構成される。モードインデックス２００は、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎ、すなわち、ＭＩＰモードのリスト２０４からの１つを指し示す。マトリックスベースのイントラ予測モードのリスト２０４内のマトリックスベースのイントラ予測モード２０５_１～２０５_ｎの数ｎは、例えば、１２、１６、または３２である。また、実施形態は、ＭＩＰモード２０５_１～２０５_ｎを使用したイントラ予測に焦点を当てられ、更なるイントラ予測モード及び／またはインター予測モードのような更なるモードを示すためにモードインデックス２００も使用可能であることが明白である。モードインデックス２００は、イントラ予測を使用してピクチャの予め定められたブロック１８を符号化する装置１４によってデータストリーム１２に挿入されてもよい。

実施形態に従って、マトリックスベースのイントラ予測モードのリスト２０４内のマトリックスベースのイントラ予測モード２０５_１～２０５_ｎは、６、８、または１６個の異なる予測マトリックス１９と関連付けられている。

実施形態に従って、マトリックスベースのイントラ予測モードのリスト２０４は、複数のブロック次元についてのＭＩＰモードを含む。

実施形態に従って、ＭＩＰモードの２つ以上のリスト２０４が存在してもよく、ＭＩＰモードの２つ以上のリスト２０４は、ＭＩＰモードがそれと関連付けられた予め定められたブロック１８のブロックサイズに関して相互に異なる。同一または類似のブロックサイズと関連付けられたＭＩＰモードは、ＭＩＰモードの２つ以上のリスト２０４の同一のリストに備えられる。例えば、相互に排他的なブロックサイズセットについての異なるリストが存在し、１つは、第１のブロックサイズセット内のブロックサイズについての１２個のモードと関連付けられた６個の異なるマトリックスを有し、１つは、第２のブロックサイズセット内のより小さいブロックサイズについての１６個のモードと関連付けられた８個の異なるマトリックスを有し、１つは、第３のブロックサイズセット内の更に小さいブロックサイズについての３２個のモードと関連付けられた１６個の異なるマトリックスを有する。これは、実施例にすぎず、異なる数のリスト２０４が可能であること、及び各々のリストが上記説明された１つとは異なるブロックサイズセットと関連付けられたＭＩＰモードを含んでもよいことが明白である。

装置５４は、予め定められたブロック１８に近傍した参照サンプル１７から導出された入力ベクトル１０２とモードインデックス２００によって指し示されたマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９との間のマトリックス－ベクトル積２０６を計算し、マトリックス－ベクトル積２０６によって取得された出力ベクトル２０８の成分２１０を予め定められたブロック１８のサンプル位置１０４に関連付けることによって、予め定められたブロック１８のサンプル１０８を予測するように構成される。

マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、それぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９の全てのエントリは、予め定められたビット深度１９２の固定点表現１９０によって表現される。固定点表現１９０は、ｎビットを有する分数部分１９４、ｍビットを有する整数部分１９６、及び任意選択で符号ビット１９８を有してもよい。予め定められたビット深度１９２は、ＭＩＰモードのリスト２０４の全てのマトリックスベースのイントラ予測モード２０５_１～２０５_ｎ、図７に示されるように、以下の比較制約１に対して等しい。ＭＩＰモードの２つ以上のリスト２０４が存在するケースでは、ＭＩＰモードの２つ以上のリスト２０４のリストごとに、予め定められたビット深度１９２は、例えば、ＭＩＰモードのそれぞれのリストの全てのマトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しい。言い換えると、予め定められたビット深度１９２は、例えば、同一のブロックサイズセットに関連するＭＩＰモードに対して少なくとも同一である。

実施形態に従って、装置５４は、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、それぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９のエントリごとに、予め定められたビット深度において固定点表現を記憶するように構成される。これは例えば、以下の表の実施例に例示される、リスト１～リスト４を参照されたい。

図７に示されるように、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、装置５４は、出力ベクトルの成分２１０ごとに、ＭＩＰモードのリスト２０４の全てのマトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しいビットの数２１１において右シフト２０９を実行することによって、入力ベクトル１０２とそれぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９との間のマトリックス－ベクトル積２０６を計算するように構成される。右シフトについてのビットの数２１１は、例えば、ｘビットである。ＭＩＰモードの２つ以上のリスト２０４が存在するケースでは、ＭＩＰモードの２つ以上のリスト２０４のリストごとに、ビットの数２１１は、例えば、ＭＩＰモードのそれぞれのリストの全てのマトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しい。言い換えると、ビットの数２１１は、例えば、同一のブロックサイズセットに関連するＭＩＰモードに対して少なくとも同一である。右シフト２０９は、例えば、上記説明された式（２）において＞＞によって示され、ビットの数２１１に対して比較ｄ_ｉによって示され、装置５４は、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対してビットの数２１１が等しい制約、以下の比較制約２を適用する。

マトリックスＡ_ｉ、すなわち、予測マトリックス１９に対する以下の制約、並びに式（２）におけるパラメータｃ_ｉ及びｄ_ｉが望ましい。
１．ＭＩＰに対して使用されるマトリックスエントリの範囲は固定され、例えば、予測マトリックス１９のエントリは、予め定められたビット深度１９２の固定点表現１９０によって表現される。よって、例えば、予め定義された負でない整数μ_{１，ｌｏｗ}、μ_１，ｕｐ及びμ_{２，ｌｏｗ}、μ_２，ｕｐが存在し、その結果、ＭＩＰモードｉの２０５_１～２０５_ｎごとに、マトリックスＡ_ｉ、すなわち、予測マトリックス１９のマトリックスエントリａ_ｋ，ｌごとに、

及び

を有する。
この制約の２つの特定の実施例は、以下のように与えられる。
第１の実施例は、固定された正の整数μについて、ＭＩＰ－予測において使用される全てのマトリックスＡ_ｉの全てのマトリックスエントリａ_ｋ，ｌについて、

及び

を有するということである。
第１の実施例に従って、それぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９のエントリは、同一の符号、例えば、正のエントリであり、装置５４は、マトリックス－ベクトル積２０６を計算する前に、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しいオフセット値ｃ_ｉだけ、それぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９の全てのエントリをオフセットするように構成され、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、それぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９の全てのエントリは、符号付き８ビット表現によって表現可能である。したがって、この代替例に従って、マトリックスエントリごとに７ビットの桁が記憶されるにすぎない。これは、符号ビットが記憶される必要がないという事実に起因する。
第２の実施例は、ＭＩＰモードｉ２０５_１～２０５_ｎごとに

を有すること、及び固定された正の整数整数ｖが存在し、その結果、ＭＩＰモードｉ ２０５_１～２０５_ｎごとに及びマトリックスＡ_ｉのマトリックスエントリａ_ｋ，ｌごとに、

を有すること、である。
第２の実施例に従って、装置５４は、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、８ビット符号付き桁表現においてそれぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９のエントリを記憶するように構成される。この第２の実施例では、装置５４は、マトリックス－ベクトル積２０６を計算する前に、オフセット値ｃ_ｉだけそれぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９のエントリをオフセットしない。
２．シフト値ｄ_ｉ、すなわち、右シフト２０９についてのビットの数２１１は、ＭＩＰモードｉ ２０５_１～２０５_ｎとは独立している。よって、正の整数ｄが存在し、その結果、ＭＩＰモードｉ２０５_１～２０５_ｎごとに、

を有する。

任意選択で、以下の制約も望ましいことがある：
３．値ｃ_ｉ、すなわち、予測マトリックス１９のエントリへのオフセットは、ＭＩＰモードｉ ２０５_１～２０５_ｎとは独立している。よって、正の整数ｃが存在し、その結果、ＭＩＰモードｉ２０５_１～２０５_ｎごとに、

を有する。
よって、装置５４は、マトリックス－ベクトル積２０６を計算する前に、例えば、加算または減算によって、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、オフセット値、ＭＩＰモードのリスト２０４の全てのマトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しい比較ｃだけそれぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９の全てのエントリをオフセットするように構成されてもよい。
ＭＩＰモードの２つ以上のリスト２０４のケースでは、ＭＩＰモードの２つ以上のリスト２０４のリストごとに、オフセット値ｃは、例えば、ＭＩＰモードのそれぞれのリストの全てのマトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しい。言い換えると、オフセット値ｃは、例えば、同一のブロックサイズセットに関連するＭＩＰモードに対して少なくとも同一である。

なぜそれらの制約を課すかについての理由は、以下の通りである。全てのマトリックス（Ａ_ｉ－ｃ_ｉ）のエントリが共通の固定ビット深度、すなわち、予め定められたビット深度１９２を有する場合、そのビットに適合された特定の乗算器は、マトリックス－ベクトル積２０６の計算のために使用されてもよく、全てのＭＩＰモード２０５_１～２０５_ｎにわたって共有されてもよいので、制約１は、式（２）のマトリックス－ベクトル乗算２０６（Ａ_ｉ－ｃ_ｉ）の効率的な実装を可能にする。その上、全てのマトリックスＡ_ｉの全てのエントリを固定された精度において記憶することができ、すなわち、予測マトリックス１９のエントリが固定点表現１９０において表現される場合、マトリックスＡ_ｉを扱うときの効率的なメモリ管理が可能にされる。ここで、重要な実施例は、全てのマトリックスＡ_ｉの全てのエントリを８ビット精度において、すなわち、１バイトにおいて記憶することができることである。言い換えると、予測マトリックス１９のエントリは、８ビットである予め定められたビット深度１９２を有する固定点表現１９０において表現されてもよい。

シフト値、すなわち、右シフトについてのビットの数２１１がＭＩＰモードｉに依存しない場合、テーブルルックアップが保存され、式（２）のコンパクトなＳＩＭＤ実装に対して有利であり、ハードウェア実装において式（２）の、すなわち、浮動小数点精度において予測マトリックスによりマトリックス－ベクトル積を近似させるマトリックス－ベクトル積２０６のケース依存実装を低減させるＭＩＰに対して単一の固定シフト演算を実装することができるので、制約２は、式（２）におけるシフトの効率的な実装を可能にする。ここで、特に重要な実施例は、値６が固定シフトとして、すなわち、ビットの数２１１として使用されることである。理由は、１０ビットコンテンツについて、１０ビット範囲へのクリッピングがＭＩＰ予測処理においてｐｒｅｄ_ｒｅｄに適用されることである。よって、６だけダウンシフトする前に、すなわち、式（２）において６であるビットの数２１１により右シフト２０９を実行する前に、１６ビット、すなわち、２バイトにおいて項

を記憶することができ、項

は、出力ベクトル２０８の成分２１０ごとにマトリックス－ベクトル積２０６によって取得された中間結果１０８’を表現する。

実施形態に従って、装置５４は、例えば、出力ベクトル２０８の成分２１０ごとにマトリックス－ベクトル積２０６によって取得された中間結果１０８’、例えば、

に対して右シフト２０９を適用することを伴う固定点算術演算において、入力ベクトル１０２とそれぞれのマトリックスベースのイントラ予測モード２０５と関連付けられた予測マトリックス１９との間のマトリックス－ベクトル積２０６を計算するように構成される。任意選択で、中間結果１０８’は、マトリックスベースのイントラ予測モードと関連付けられた予測マトリックス１９のエントリが記憶されたビット精度の少なくとも２倍高いビット精度において表現され、例えば、中間結果１０８’は、１６ビットにおいて記憶されてもよく、予測マトリックス１９のエントリは、７ビットの桁として、または符号付き８ビット表現として記憶されてもよい。

実施形態に従って、装置は、１０ビット分解能においてピクチャを復号し、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、７ビット精度においてそれぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックス１９のエントリの桁を記憶し、ビットの数２１１として６ビットを使用するように構成される。

制約２）と同様に、制約３）は、式（２）の更なる効率的な実装を可能にし、テーブルルックアップを再度保存する。

問題は、式（２）が式（１）についての近似式としての役割を果たすように、制約２または制約３が制約１と共にどのように充足されるかが自明でないことを解決することを本出願が意図していることである。

例えば、制約１によって、各々のＭＩＰマトリックスＡ_ｉの全てのマトリックスエントリが、８ビット精度において記憶される必要があること、制約２によって、固定シフトｄ_ｉが式（２）における全てのＭＩＰモードｉに対して使用される必要があることを想定されよう。また、簡易性のために、ｃ_ｉ＝０であることが想定されよう。これは、式（２）が、ＭＩＰに対する訓練アルゴリズムの結果である浮動小数点マトリックス

ごとに、式（１）を近似させる必要がある場合、

の各々のエントリ

が

を満たす必要があるように、負でない整数ｃ_ｉが存在する必要があることを意味し、εは、

を置くことが、式（１）を合理的に近似させるよう式（２）を実行することができるように合理的に小さい。ここで、丸めｒｏｕｎｄがマトリックスの各々のエントリに適用される。その上、実数ｘについて、

を定義し、ｃｌｉｐ（Ａ，２^７）によって、マトリックスＡを表し、マトリックスは、Ａの各々のエントリにｃｌｉｐ（－，２^７）を適用することによって生じる。固定シフト６により可変入力ベクトルｒ_ｒｅｄについて、それに対して式（２）が式（１）を近似させる８ビット範囲において積分エントリを有するマトリックス

が存在することを想定する場合、課題（４）において定義されたマトリックスＡ_ｉは、

を合理的に良好に近似させる必要があることに留意されよう。

他方で、推測的に、その出力がＭＩＰマトリックス

である訓練アルゴリズムが、式（４）において定義された対応するマトリックスＡ_ｉによって近似されたマトリックス

をなぜ生じさせるべきかの理由は存在しない。問題は、

が、

よりも大きい絶対値のマトリックスエントリを包含することができること、よって、式（４）におけるクリッピングがマトリックス

の最上位マトリックスエントリの部分を破棄することによって、（１）と（２）との間の相当な差異を導入することである。よって、訓練済みマトリックス

の後に（４）を適用することは、コーデックにおいて規定され、マトリックスＡ_ｉを使用して式（２）におけるマトリックス－ベクトル積を実行する必要があるＭＩＰ予測モードが、「真の」振る舞い、すなわち、マトリックス

と共にマトリックス－ベクトル積を使用する訓練済みＭＩＰモードから大きく逸脱するという事象につながることがある。よって、ＭＩＰに遅れて存在するイントラ予測へのデータドリブンアプローチの全体的な概念が違反される。

実際に、現在のＶＶＣドラフト［１］において使用されるＭＩＰモードに基づいている訓練済みマトリックス

に式（４）を適用することが、マトリックス

の一部が２よりもはるかに大きいエントリを包含するので、基本的な訓練済みモードと比較されるとき、一部のＭＩＰモードの振る舞いを著しく変化させる。

最終的に、現在のＶＶＣドラフト［１］のＭＩＰモードに遅れて存在するマトリックス

についてのケースである、各々のマトリックスのエントリ

が－２^７と２^７－１との間に存在する限り、制約２なしに制約１のみで解くことは些細なことであることに留意されよう。ここで、当面は、ｃ_ｉ＝０を想定して、シフト値ｄ_ｉを単純に定義し、その結果、

は、

のマトリックス－エントリ

ごとに保持し、その結果、（５）は、いずれの

に対しても保持しない。

更に、装置５４は、図６．１及び６．２に関して説明されるような特徴及び／または機能性を含んでもよいと考えられる。これは、例えば、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎのリスト２０４がマトリックスベースのイントラ予測モードの１つ以上のペア２１２を含むことを意味する。リスト２０４は、それらが図６．１におけるリスト２０４に存在するように記述されるようにＭＩＰモードのそのようなペア２１２から排他的に構成されなくてもよく、むしろ、転置オプションまたは非転置オプションのいずれかを排他的に使用して適用される他のＭＩＰモードも存在してもよいことに留意されよう。マトリックスベースのイントラ予測モード２０５_１～２０５_ｎのペア２１２ごとに、マトリックスベースのイントラ予測モードのそれぞれのペア２１２の第１のマトリックスベースのイントラ予測モードと関連付けられた予測マトリックス１９は、マトリックスベースのイントラ予測モードのそれぞれのペアの第２のマトリックスベースのイントラ予測モードと関連付けられた予測マトリックス１９に等しく、例えば、モード２ｋ及び２ｋ＋１に対し、同一のマトリックス１９が使用される。装置は、モードインデックス２００によって指し示されたマトリックスベースのイントラ予測モード２０５がマトリックスベースのイントラ予測モードのそれぞれのペア２１２の第１のマトリックスベースのイントラ予測モードである場合、入力ベクトル１１２の成分２１４との予め定められたブロックに近傍した参照サンプル１７の関連付け、及び出力ベクトル２０８の成分２１０との予め定められたブロック１８のサンプル位置１０４の関連付けが、モードインデックス２００によって指し示されたマトリックスベースのイントラ予測モード２０５がマトリックスベースのイントラ予測モードのそれぞれのペア２１２の第２のマトリックスベースのイントラ予測モードであるケースにおける関連付けに対して転置されるように構成される。すなわち、入力ベクトル１０２の特定の成分が、前者のケースにおける予め定められたブロック１８の左上隅サンプルを表す（０，０）を有する位置（ｘ，ｙ）と関連付けられる場合、それは、後者のケースにおける（ｘ，ｙ）と関連付けられる。同じことが出力ベクトル２０８の成分に適用される。更なる詳細について、図６．１及び６．２の説明を参照されたい。

更に、装置５４は、例えば、図５．１～５．４に関して説明されるような特徴及び／または機能性を含んでもよいと考えられる。

実施形態に従って、例えば、図５．１～５．４の１つに示されるように、装置５４は、出力ベクトル２０８に基づいて、または出力ベクトル２０８及び予め定められたブロック１８に近傍した参照サンプルに基づいて、アップサンプリング及び／または補間によって、出力ベクトル２０８の成分２１０がそれと関連付けられたサンプル位置からオフセットされた予め定められたブロック１８のサンプルを予測するように構成される。

実施形態に従って、例えば、図５．１～５．４の１つに示されるように、装置５４は、ダウンサンプリング及び／またはプーリングによって、予め定められたブロック１８に近傍した参照サンプル１７から入力ベクトル１０２を導出するように構成される。

実施形態に従って、予め定められたブロック１８に近傍した参照サンプル１７は、予め定められたブロック１８の上の第１の参照サンプル１７ｃ及び予め定められたブロック１８の左の第２の参照サンプル１７ａを含む。装置５４は、ダウンサンプリング及び／またはプーリングにより第１の参照サンプル１７ｃから第１の中間成分を導出し、ダウンサンプリング及び／またはプーリングにより第２の参照サンプル１７ａから第２の中間成分を導出し、ダウンサンプリング及び／またはプーリングにより第１の中間成分及び第２の中間成分を連結して予備入力ベクトルを導出すること、並びに予備入力ベクトルから入力ベクトルを形成することによって、予め定められたブロック１８に近傍した参照サンプル１７から入力ベクトル１０２を導出するように構成される。

実施形態に従って、装置５４は、Ｂビット分解能においてピクチャを復号するように構成される。装置５４は、入力ベクトル１０２の第１の成分を取得するように、予備入力ベクトルの第１の成分から２^Ｂ－１を減算することによって、及び入力ベクトル１０２の更なる成分を取得するように、予備入力ベクトルの更なる成分から予備入力ベクトルの第１の成分を減算することによって、予備入力ベクトルから入力ベクトル１０２を形成するように構成されてもよい。代わりに、装置５４は、入力ベクトル１０２が更なる成分から形成されるように、予備入力ベクトルの更なる成分から予備入力ベクトルの第１の成分を減算することによって、予備入力ベクトルから入力ベクトル１０２を形成するように構成されてもよい。加えて、装置５４は、予備入力ベクトルの第１の成分の成分ワイズ加算によって出力ベクトル２０８を補正するように構成される。

実施形態に従って、マトリックスベースのイントラ予測モードのリスト２０４内のマトリックスベースのイントラ予測モード２０５_１～２０５_ｎの予測マトリックスのエントリは、以下の表２内のエントリに対応する、例えば、リスト２を参照されたい。しかしながら、おそらく、別のシフト値、すなわち、別のビットの数２１１が、表内の値をリスト化するために選出され、おそらく、表内の値が別のスケールにおいて表現されてもよい。

以下の実施形態は、予め定義された固定係数範囲及び予め定義された固定シフト、並びにコーデックにおけるそれらの応用を有するマトリックスベースのイントラ予測モードのデータドリブン訓練に焦点を当てる。

固定ビット深度、固定シフト、及び固定オフセットを得る問題のための本発明において提示される解決策は、制約１、制約２、制約３をＭＩＰ予測モードの訓練に、すなわち、マトリックス

の導出に既に含むことである。よって、訓練の間に全てのマトリックスエントリの範囲を既に制限し、訓練では、訓練データの大規模セットに対する予め定義された損失関数に関して（局所的な）最適性に向かうマトリックスを続けて操縦するために、最急降下法アルゴリズムが適用される。

これを行う最も単純な様式は、制約２にあるように、２^ｄによって各々のマトリックスを乗算し、次いで、制約３からオフセットｃを加算し（必要に応じて）、次いで、制約１の所望の範囲への結果をクリッピングし、次いで、オフセットｃを減算し、最終的に２^ｄによって結果を除算することである。しかしながら、クリッピング関数がクリッピング範囲外でゼロ勾配を有するので、これは実現可能でなく、よって、そのようなアプローチでは、確率的勾配降下法の何らかの点においてクリッピング範囲外にあるあらゆる重みは、それ以降更新されない。

図８は、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎのリスト２０４の訓練予測マトリックス１９_ｉに対する装置３１０の実施形態を示し、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎの中で、予め定められたブロック１８に近傍した参照サンプル１７から導出された入力ベクトル１０２と予め定められたブロック１８に対して選択されたマトリックスベースのイントラ予測モード２０５_ｉと関連付けられた予測マトリックス１９_ｉの１つとの間のマトリックス－ベクトル積２０６を計算し、マトリックス－ベクトル積２０６によって取得された出力ベクトル２０８の成分２１０を予め定められたブロック１８のサンプル位置１０４に関連付けることによって、予め定められたブロック１８のサンプル１０８を予測するために予め定められたブロック１８に対して１つの２０５_ｉが選択されることになる。

装置３１０は、最急降下法アプローチ３２２を使用してマトリックスベースのイントラ予測モード２０５_１～２０５_ｎのリスト２０４の予測マトリックス１９_ｉを訓練する（３２０）ように構成される。予測マトリックス１９_ｉは、例えば、既知の元のサンプルの予め定められたブロック１８及びそれらの対応する近傍性１７の訓練セットの使用によって訓練される（３２０）。予測マトリックス１９_ｉは、微分可能関数、比較ｆ（ｘ）を使用して代表する値がマッピングされた中間値に予測マトリックス１９_ｉのエントリを設定することと関連付けられた予測歪み測定３２６に依存するコスト関数３２４を使用して、浮動小数点表現において表現される、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎのリスト２０４の予測マトリックス１９_１のエントリについての代表する値、比較

を最適化することによって訓練される（３２０）。コスト関数３２４は、例えば、

のあらゆるエントリに対してｆ（ｘ）が適用されることを意味する

から結果として生じるような予測の品質を減少させると共に増大するように、予測歪み測定３２６に依存する。予測歪み測定３２６は、中間値を含む予測マトリックスを使用して取得可能な予測信号ＭＩＰ_ｉ（

）と訓練セットの予め定められたブロックと関連付けられた元の信号との間の逸脱を定義することができる。図８において見ることができるように、予測信号ＭＩＰ_ｉ（

）が元の信号に等しいケースでは、予測歪み測定３２６はゼロである。マトリックス

のエントリは、上記言及された代表する値であってもよく、マトリックス

のエントリは、上記言及された中間値であってもよい。マトリックス

は、訓練下の予測マトリックスを表現してもよい。装置３１０に内在する基本的な原理を例示するために、コスト関数３２４及び予測歪み測定３２６からのコスト３２５の依存性による最急降下法アプローチ３２２のみが示されることに留意されよう。

微分可能関数３２８のドメイン、例えば、図９におけるｘ軸３０２、及びコドメイン、例えば、図９におけるｙ軸は、浮動小数点表現によって定義され、微分可能関数３２８の画像３００は、予め定められた動的範囲を有し、微分可能関数３２８は、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しい。予め定められた動的範囲は、例えば、ｍａｘ（ｉｍａｇｅ ３００）／ｍｉｎ（ｉｍａｇｅ ３００）によって定義される。実施形態に従って、ｍａｘ（ｉｍａｇｅ ３００）は、α＋δであり、ｍｉｎ（ｉｍａｇｅ ３００）は、－α＋δである、式（７）を参照されたい。図９が例示的な微分可能関数ｆ（ｘ）３２８のグラフのみを示すことに留意されよう。

加えて、装置３１０は、例えば、訓練３２０の後、中間値を固定点表現１９０に量子化し、その結果、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、それぞれのマトリックスベースのイントラ予測モード２０５_ｉと関連付けられた予測マトリックス１９_ｉは、予め定められたビット深度１９２の固定点表現１９０によって表現される全てのエントリを有し、その結果、予め定められたビット深度１９２は、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しく、その結果、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎごとに、入力ベクトル１０２とそれぞれのマトリックスベースのイントラ予測モード２０５_ｉと関連付けられた予測マトリックス１９との間のマトリックス－ベクトル積２０６は、出力ベクトル２０８の成分ごとに、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しい、例えば、固定点表現のｂ_ｙ＋ｘへのシフトアウトされていない部分ｂ_ｘ＋１がαを表現するのに十分であることを意味するビットの数２１１において右シフト２０９を実行することによって計算可能であるように構成される、以下の式（７）を参照されたい。図８は、固定点表現１９０が（ｘ＋ｙ＋１）－ビット符号付き桁表現であることを示すことに留意されよう。しかしながら、例えば、全ての中間値が同一の符号を有し、例えば、全ての中間値が正の値を有することができるケースでは、固定点表現１９０が（ｘ＋ｙ）ビット桁表現を有することも可能である。

よって、解決策として、本発明では、平滑化関数、例えば、微分可能関数３２８によってクリッピング演算が近似される。より正確に、制約１、制約２、任意選択で、制約３から、基準化されていないマトリックスエントリについての範囲、すなわち、予測マトリックスのエントリについての代表する値、比較

についての範囲を計算し、その結果、訓練の間、

を適用する場合、結果が制約１の範囲内にあり、

は、訓練処理におけるカレントマトリックスを表す。次いで、訓練の間、

として実現されるクリッピング関数の平坦化近似式ｆ、すなわち、微分可能関数３２８を適用することによって、各々の

をこの範囲にクリッピングし、α、β、γ、及びδは、クリッピング範囲、すなわち、予め定められた動的範囲に依存する実数である。その上、λは、実験的に選出することができる負でない整数である。図９は、クリッピング関数ｆ（ｘ）、すなわち、微分可能関数３２８の実施例を示す。

実施形態に従って、微分可能関数３２８は、原点において傾き１を有し、厳密に単調に増大し、画像３００の上限及び下限において水平漸近線を有する。

実施形態に従って、微分可能関数３２８は、コドメイン３０４内の画像３００のシフトに関して、シフトパラメータ、例えば、δによってパラメータ化される。加えて、装置３１０は、最急降下法アプローチ３２２を使用してシフトパラメータに最適化を受けさせるように構成されてもよい。更に、装置３１０は、マトリックス－ベクトル積２０６の計算の前に、例えば、加算または減算によって、マトリックスベースのイントラ予測モードごとに、それぞれのマトリックスベースのイントラ予測モードと関連付けられた予測マトリックス１９の全てのエントリをオフセットするために使用されるように、シフトパラメータからオフセット値、比較ｃを導出するように構成されてもよい。導出されたオフセット値ｃは、マトリックスベースのイントラ予測モード２０５_１～２０５_ｎに対して等しい。

要するに、本出願の発明は、それに対して制約１及び制約２が充足される式（２）によって与えられる部分を有するＭＩＰの実現、またはそれに対して制約１、制約２、及び制約３が充足され、それに対して両方のケースでは、次には積分マトリックスに量子化される浮動小数点マトリックス

についての訓練アルゴリズムでは、制約１及び制約２、望ましい場合は制約３もこの章において説明されるように採用される、式（２）によって与えられる部分を有するＭＩＰの実現である。

以下の実施形態は、予測マトリックスの記憶された表現の実施例を説明する。

以下のリストは、ｍｉｐＳｉｚｅＩｄ＝２、［１］に対して使用されるＭＩＰモードについて本出願において提供される技術を使用して訓練から結果として生じる浮動小数点マトリックス

を示す。詳細には、６の固定シフト及び３２の固定オフセットによる７ビットの符号なし整数を使用して表現することができるマトリックス係数を訓練が生成する様式において、クリッピング関数、すなわち、微分可能関数のパラメータが選択されてきた。

リスト１に示されるマトリックス係数は、前のセクションにおいて提示された要件を満たす。これを例示するために、リスト２は、２６による乗算の後のマトリックス係数を示す。それらの係数の範囲は、固定オフセット３２だけ最終範囲から逸脱する。よって、実施例に従って、以下の値は、固定点表現において記憶されたマトリックスエントリである。マトリックスは７×６４マトリックスである（７個の成分入力ベクトル及び６４個の成分出力ベクトル）。６個のモードについての６個のマトリックスがそこにある。実施形態に従って、エントリは、以下に示される値から逸脱することがある。例えば、例示のみの目的のために２^６による乗算が選出されており、それに従って、別の因子を選出するときに、それらが以下に示されるようにマトリックスのエントリが異なって見えることがある。

ここで、３２の固定オフセットをそれらのマトリックス係数に追加し、マトリックスのセットは－０．５以上の全ての係数による結果であり、したがって、負でない値に丸められる。このセットは、リスト３に示される。

最終的に、上記マトリックス係数は、整数精度に丸められ、すなわち、中間値が固定点表現１９０に量子化される（３３０）。上記セットの最小係数が－０．５であるので、結果として生じる整数係数は負でなく、したがって、符号なし整数によって表現されてもよい。上記マトリックスの最大係数は１２７．５である。それらの係数は通常、１２８に丸められ、ここで、同一の絶対丸め誤差を導入する。よって、リスト４に示される結果として生じる整数係数符号なし７ビット範囲からである。加えて、最小の丸め係数が０であり、最大の丸め係数が１２７であるので、結果として生じる整数係数は、この範囲を完全に利用する。

一部の態様が装置のコンテキストにおいて説明されてきたが、それらの態様は、対応する方法の説明をも表し、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応することが明白である。同様に、方法ステップのコンテキストにおいて説明された態様も、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表す。方法ステップの一部または全ては、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路のようなハードウェア装置によって（または、を使用して）実行されてもよい。いくつかの実施形態では、ほとんどの重要な方法ステップのうちの１つ以上は、そのような装置によって実行されてもよい。

発明のデータストリームは、デジタル記憶媒体に記憶されてもよく、またはインターネットなどの無線伝送媒体または有線伝送媒体などの伝送媒体上で伝送されてもよい。

特定の実装要件に応じて、発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装されてもよい。実装態様は、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または、協働することが可能な）、そこに記憶された電子可読制御信号を有する、デジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使用して実行されてもよい。したがって、デジタル記憶媒体は、コンピュータ読み取り可能であってもよい。

発明に従ったいくつかの実施形態は、本明細書で説明される方法の１つが実行されるように、プログラマブルコンピュータシステムと協働することが可能な電子的可読制御信号を有するデータキャリアを含む。

概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されてもよく、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるとき、方法の１つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。

他の実施形態は、機械可読キャリアに記憶された、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを含む。

言い換えると、発明の方法の実施形態はしたがって、コンピュータプログラムがコンピュータ上で実行されるとき、本明細書で説明される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、発明の方法の更なる実施形態は、そこに記録された、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを含むデータキャリア（または、デジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は典型的には、有形であり、及び／または非一時的である。

したがって、発明の方法の更なる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成されてもよい。

更なる実施形態は、本明細書で説明される方法の１つを実行するように構成または適合された、処理手段、例えば、コンピュータまたはプログラマブル論理回路を含む。

更なる実施形態は、本明細書で説明される方法の１つを実行するためのそこにインストールされたコンピュータプログラムを有するコンピュータを含む。

発明に従った更なる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを受信機に転送する（例えば、電子的にまたは光学的に）ように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、またはメモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。

いくつかの実施形態では、本明細書で説明されるの方法の機能性の一部または全てを実行するために、プログラマブル論理回路（例えば、フィールドプログラマブルゲートアレイ）が使用されてもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明される方法の１つを実行するために、マイクロプロセッサと協働してもよい。概して、方法は好ましくは、いずれかのハードウェア装置によって実行される。

本明細書で説明される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置及びコンピュータの組み合わせを使用して実装されてもよい。

本明細書で説明される装置、または本明細書で説明される装置のいずれかの構成要素は、ハードウェア及び／またはソフトウェアにおいて少なくとも部分的に実装されてもよい。

本明細書で説明される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置及びコンピュータの組み合わせを使用して実行されてもよい。

本明細書で説明される方法、または本明細書で説明される装置のいずれかの構成要素は、ハードウェア及び／またはソフトウェアにおいて少なくとも部分的に実装されてもよい。

上記説明された実施形態は、本発明の原理の例示にすぎない。本明細書で説明されるの配列及び詳細の修正及び変形が当業者にとって明らかであることが理解されよう。したがって、係属している特許請求の範囲によってのみ限定され、本明細書における実施形態の説明及び弁明によって提示された特定の詳細によっては限定されないことを意図している。

参考文献
［１］Ｂ．Ｂｒｏｓｓ ｅｔ ａｌ．，Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ７），Ｄｏｃｕｍｅｎｔ ＪＶＥＴ－Ｐ２００１，Ｇｅｎｅｖａ，Ｏｃｔｏｂｅｒ ２０１９

Claims (41)

1. イントラ予測を使用してピクチャの予め定められたブロック（１８）を復号する装置（５４）であって、
   データストリーム（１２）からモードインデックス（２００）を読み込み、前記モードインデックスは、マトリックスベースのイントラ予測モードのリスト（２０４）からの１つを指し示し、
   前記予め定められたブロック（１８）に近傍した参照サンプル（１７）から導出された入力ベクトル（１０２）と、前記モードインデックス（２００）によって指し示された前記マトリックスベースのイントラ予測モード（ｋ）と関連付けられた予測マトリックス（１９）と、の間のマトリックス－ベクトル積（２０６）を計算し、前記マトリックス－ベクトル積（２０６）によって取得された出力ベクトル（２０８）の成分（２１０）を前記予め定められたブロックのサンプル位置（１０４）に関連付けることによって、前記予め定められたブロック（１８）のサンプル（１０８）を予測する、ように構成され、
   マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリは、予め定められたビット深度（１９２）の固定点表現（１９０）によって表現され、前記予め定められたビット深度（１９２）は、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しく、
   前記装置（５４）は、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記出力ベクトル（２０８）の成分（２１０）ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいビットの数（２１１）において右シフト（２０９）を実行することによって、前記入力ベクトル（１０２）と前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）との間の前記マトリックス－ベクトル積（２０６）を計算するように構成される、
   前記装置（５４）。
2. マトリックスベースのイントラ予測モードの前記リスト内のマトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の数は、１２、１６、または３２である、請求項１に記載の装置（５４）。
3. マトリックスベースのイントラ予測モードの前記リスト内の前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）が、それと関連付けられた６、８、または１６個の異なるマトリックスを有するように構成される、請求項１または２に記載の装置（５４）。
4. 前記装置（５４）は、出力ベクトル（２０８）の成分（２１０）ごとに前記マトリックス－ベクトル積（２０６）によって取得された中間結果（１０８’）に対して前記右シフト（２０９）を適用することを伴う固定点算術演算において前記入力ベクトル（１０２）と、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）と、の間の前記マトリックス－ベクトル積（２０６）を計算するように構成される、請求項１～３のいずれか一項に記載の装置（５４）。
5. 前記装置（５４）は、前記マトリックス－ベクトル積（２０６）を計算する前に、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいオフセット値により、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリをオフセットするように構成される、請求項１～４のいずれか一項に記載の装置（５４）。
6. 前記装置（５４）は、各マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）において、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）のエントリごとに、前記予め定められたビット深度（１９２）における前記固定点表現（１９０）を記憶するように構成される、請求項１～５のいずれか一項に記載の装置（５４）。
7. 前記装置（５４）は、
   １０ビット分解能において前記ピクチャを復号し、
   マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、７ビット精度において、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の前記エントリの桁を記憶し、
   前記ビットの数（２１１）として６ビットを使用する、
   ように構成される、請求項１～６のいずれか一項に記載の装置（５４）。
8. 前記装置（５４）は、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、８ビット符号付き桁表現において前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の前記エントリを記憶するように構成され、または
   前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の前記エントリは、同一の符号のエントリであり、前記装置（５４）は、前記マトリックス－ベクトル積（２０６）を計算する前に、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいオフセット値により、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリをオフセットするように構成され、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリは、符号付き８ビット表現によって表現可能である、
   請求項７に記載の装置（５４）。
9. 前記装置（５４）は、出力ベクトル（２０８）の成分（２１０）ごとにマトリックス－ベクトル積（２０６）によって取得され、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）と関連付けられた前記予測マトリックス（１９）のエントリが記憶されたビット精度の２倍高いビット精度において表現された中間結果（１０８’）に対して前記右シフト（２０９）を適用することを伴う固定点算術演算において前記入力ベクトル（１０２）と、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）と、の間の前記マトリックス－ベクトル積（２０６）を計算するように構成される、請求項１～８のいずれか一項に記載の装置（５４）。
10. マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の前記リスト（２０４）は、マトリックスベースのイントラ予測モードの１つ以上のペア（２１２）を含み、マトリックスベースのイントラ予測モードのペアごとに、マトリックスベースのイントラ予測モードのそれぞれのペアの第１のマトリックスベースのイントラ予測モードと関連付けられた前記予測マトリックス（１９）は、マトリックスベースのイントラ予測モードの前記それぞれのペアの第２のマトリックスベースのイントラ予測モードと関連付けられた前記予測マトリックス（１９）に等しく、前記装置（５４）は、前記モードインデックスによって指し示された前記マトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードの前記それぞれのペアの前記第１のマトリックスベースのイントラ予測モードである場合、前記入力ベクトル（１１２）の成分（２１４）との前記予め定められたブロックに近傍した前記参照サンプル（１７）の関連付け、及び前記出力ベクトル（２０８）の前記成分（２１０）との前記予め定められたブロック（１８）の前記サンプル位置（１０４）の関連付けが、前記モードインデックスによって指し示された前記マトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードの前記それぞれのペアの前記第２のマトリックスベースのイントラ予測モードであるケースにおける関連付けに対して転置されるように構成される、
    請求項１～９のいずれか一項に記載の装置（５４）。
11. 複数のブロック次元に対してマトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の前記リストを使用するように構成される、請求項１～１０のいずれか一項に記載の装置（５４）。
12. 前記装置（５４）は、前記出力ベクトルに基づいて、または前記出力ベクトル及び前記予め定められたブロックに近傍した前記参照サンプルに基づいて、アップサンプリング及び／または補間によって、前記出力ベクトル（２０８）の前記成分（２１０）が関連付けられた前記サンプル位置からオフセットされた前記予め定められたブロックのサンプルを予測するように構成される、請求項１～１１のいずれか一項に記載の装置（５４）。
13. 前記装置（５４）は、ダウンサンプリング及び／またはプーリングによって、前記予め定められたブロック（１８）に近傍した前記参照サンプル（１７）から前記入力ベクトル（１０２）を導出するように構成される、請求項１～１２のいずれか一項に記載の装置（５４）。
14. 前記予め定められたブロック（１８）に近傍した前記参照サンプル（１７）は、前記予め定められたブロックの上の第１の参照サンプル及び前記予め定められたブロックの左の第２の参照サンプルを含み、
    前記装置（５４）は、
    ダウンサンプリング及び／またはプーリングによって、前記第１の参照サンプルから第１の中間成分を導出し、
    ダウンサンプリング及び／またはプーリングによって、前記第２の参照サンプルから第２の中間成分を導出し、
    前記第１の中間成分及び前記第２の中間成分を連結して、予備入力ベクトルを導出し、
    前記予備入力ベクトルから前記入力ベクトルを形成する、
    ことによって、前記予め定められたブロック（１８）に近傍した前記参照サンプル（１７）から前記入力ベクトル（１０２）を導出するように構成される、
    請求項１～１３のいずれか一項に記載の装置（５４）。
15. Ｂビット分解能において前記ピクチャを復号し、
    前記入力ベクトルの第１の成分を取得するように前記予備入力ベクトルの第１の成分から２^Ｂ－１を減算し、前記入力ベクトルの更なる成分を取得するように前記予備入力ベクトルの更なる成分から前記予備入力ベクトルの前記第１の成分を減算し、または
    前記入力ベクトルが前記更なる成分から形成されるように、前記予備入力ベクトルの更なる成分から前記予備入力ベクトルの第１の成分を減算する、
    ことによって、前記予備入力ベクトルから前記入力ベクトルを形成し、
    前記予備入力ベクトルの前記第１の成分の成分ワイズ加算によって前記出力ベクトルを補正する、
    ように構成される、請求項１４に記載の装置（５４）。
16. マトリックスベースのイントラ予測モードの前記リスト内の前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の前記予測マトリックスの前記エントリは、表２内の前記エントリに対応する、請求項１～１５のいずれか一項に記載の装置（５４）。
17. イントラ予測を使用してピクチャの予め定められたブロック（１８）を符号化する装置（１４）であって、
    データストリーム（１２）にモードインデックス（２００）を挿入し、前記モードインデックスは、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）のリスト（２０４）からの１つを指し示し、
    前記予め定められたブロック（１８）に近傍した参照サンプル（１７）から導出された入力ベクトル（１０２）と前記モードインデックス（２００）によって指し示された前記マトリックスベースのイントラ予測モード（ｋ）と関連付けられた予測マトリックスとの間のマトリックス－ベクトル積（２０６）を計算し、前記マトリックス－ベクトル積（２０６）によって取得された出力ベクトル（２０８）の成分（２１０）を前記予め定められたブロックのサンプル位置（１０４）に関連付けることによって、前記予め定められたブロック（１８）のサンプル（１０８）を予測する、ように構成され、
    マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリは、予め定められたビット深度（１９２）の固定点表現（１９０）によって表現され、前記予め定められたビット深度（１９２）は、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しく、
    前記装置（１４）は、各マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）において、前記出力ベクトルの成分ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいビットの数（２１１）において右シフト（２０９）を実行することによって、前記入力ベクトル（１０２）と前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）との間の前記マトリックス－ベクトル積（２０６）を計算するように構成される、
    前記装置（１４）。
18. マトリックスベースのイントラ予測モードの前記リスト内のマトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の数は、１２、１６、または３２である、請求項１７に記載の装置（１４）。
19. マトリックスベースのイントラ予測モードの前記リスト内の前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）が、それと関連付けられた６、８、または１６個の異なるマトリックスを有するように構成される、請求項１７または１８に記載の装置（１４）。
20. 前記装置（１４）は、出力ベクトル（２０８）の成分（２１０）ごとに前記マトリックス－ベクトル積（２０６）によって取得された中間結果（１０８’）に対して前記右シフト（２０９）を適用することを伴う固定点算術演算において前記入力ベクトル（１０２）と、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）と、の間の前記マトリックス－ベクトル積（２０６）を計算するように構成される、請求項１７～１９のいずれか一項に記載の装置（１４）。
21. 前記装置（１４）は、前記マトリックス－ベクトル積（２０６）を計算する前に、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいオフセット値により、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリをオフセットするように構成される、請求項１７～２０のいずれか一項に記載の装置（１４）。
22. 前記装置（１４）は、各マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）において、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）のエントリごとに、前記予め定められたビット深度（１９２）において前記固定点表現（１９０）を記憶するように構成される、請求項１７～２１のいずれか一項に記載の装置（１４）。
23. 前記装置（１４）は、
    １０ビット分解能において前記ピクチャを符号化し、
    マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、７ビット精度において、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の前記エントリの桁を記憶し、
    前記ビットの数（２１１）として６ビットを使用する、
    ように構成される、請求項１７～２２のいずれか一項に記載の装置（１４）。
24. 前記装置（１４）は、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、８ビット符号付き桁表現において前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の前記エントリを記憶するように構成され、または
    前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の前記エントリは、同一の符号のエントリであり、前記装置（１４）は、前記マトリックス－ベクトル積（２０６）を計算する前に、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいオフセット値により、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリをオフセットするように構成され、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリは、符号付き８ビット表現によって表現可能である、
    請求項２３に記載の装置（１４）。
25. 前記装置（１４）は、出力ベクトル（２０８）の成分（２１０）ごとにマトリックス－ベクトル積（２０６）によって取得され、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）と関連付けられた前記予測マトリックス（１９）のエントリが記憶されたビット精度の２倍高いビット精度において表現された中間結果（１０８’）に対して前記右シフト（２０９）を適用することを伴う固定点算術演算において前記入力ベクトル（１０２）と、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）と、の間の前記マトリックス－ベクトル積（２０６）を計算するように構成される、請求項１７～２４のいずれか一項に記載の装置（１４）。
26. マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の前記リスト（２０４）は、マトリックスベースのイントラ予測モードの１つ以上のペア（２１２）を含み、マトリックスベースのイントラ予測モードのペアごとに、マトリックスベースのイントラ予測モードのそれぞれのペアの第１のマトリックスベースのイントラ予測モードと関連付けられた前記予測マトリックス（１９）は、マトリックスベースのイントラ予測モードの前記それぞれのペアの第２のマトリックスベースのイントラ予測モードと関連付けられた前記予測マトリックス（１９）に等しく、前記装置（１４）は、前記モードインデックスによって指し示された前記マトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードの前記それぞれのペアの前記第１のマトリックスベースのイントラ予測モードである場合、前記入力ベクトル（１１２）の成分（２１４）との前記予め定められたブロックに近傍した前記参照サンプル（１７）の関連付け、及び前記出力ベクトル（２０８）の前記成分（２１０）との前記予め定められたブロック（１８）の前記サンプル位置（１０４）の関連付けが、前記モードインデックスによって指し示された前記マトリックスベースのイントラ予測モードがマトリックスベースのイントラ予測モードの前記それぞれのペアの前記第２のマトリックスベースのイントラ予測モードであるケースにおける関連付けに対して転置されるように構成される、
    請求項１７～２５のいずれか一項に記載の装置（１４）。
27. 複数のブロック次元に対してマトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の前記リストを使用するように構成される、請求項１７～２６のいずれか一項に記載の装置（１４）。
28. 前記装置（１４）は、前記出力ベクトルに基づいて、または前記出力ベクトル及び前記予め定められたブロックに近傍した前記参照サンプルに基づいて、アップサンプリング及び／または補間によって、前記出力ベクトル（２０８）の前記成分（２１０）が関連付けられた前記サンプル位置からオフセットされた前記予め定められたブロックのサンプルを予測するように構成される、請求項１７～２７のいずれか一項に記載の装置（１４）。
29. 前記装置（１４）は、ダウンサンプリング及び／またはプーリングによって、前記予め定められたブロック（１８）に近傍した前記参照サンプル（１７）から前記入力ベクトル（１０２）を導出するように構成される、請求項１７～２８のいずれか一項に記載の装置（１４）。
30. 前記予め定められたブロック（１８）に近傍した前記参照サンプル（１７）は、前記予め定められたブロックの上の第１の参照サンプル及び前記予め定められたブロックの左の第２の参照サンプルを含み、
    前記装置（１４）は、
    ダウンサンプリング及び／またはプーリングによって、前記第１の参照サンプルから第１の中間成分を導出し、
    ダウンサンプリング及び／またはプーリングによって、前記第２の参照サンプルから第２の中間成分を導出し、
    前記第１の中間成分及び前記第２の中間成分を連結して、予備入力ベクトルを導出し、
    前記予備入力ベクトルから前記入力ベクトルを形成する、
    ことによって、前記予め定められたブロック（１８）に近傍した前記参照サンプル（１７）から前記入力ベクトル（１０２）を導出するように構成される、
    請求項１７～２９のいずれか一項に記載の装置（１４）。
31. Ｂビット分解能において前記ピクチャを符号化し、
    前記入力ベクトルの第１の成分を取得するように前記予備入力ベクトルの第１の成分から２^Ｂ－１を減算し、前記入力ベクトルの更なる成分を取得するように前記予備入力ベクトルの更なる成分から前記予備入力ベクトルの前記第１の成分を減算し、または
    前記入力ベクトルが前記更なる成分から形成されるように、前記予備入力ベクトルの更なる成分から前記予備入力ベクトルの第１の成分を減算する、
    ことによって、前記予備入力ベクトルから前記入力ベクトルを形成し、
    前記予備入力ベクトルの前記第１の成分の成分ワイズ加算によって前記出力ベクトルを補正する、
    ように構成される、請求項３０に記載の装置（１４）。
32. マトリックスベースのイントラ予測モードの前記リスト内の前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の前記予測マトリックスの前記エントリは、表２内の前記エントリに対応する、請求項１７～３１のいずれか一項に記載の装置（１４）。
33. 予め定められたブロック（１８）に近傍した参照サンプル（１７）から導出された入力ベクトル（１０２）と予め定められたブロックに対して選択されたマトリックスベースのイントラ予測モード（ｋ）と関連付けられた予測マトリックス（１９）の１つとの間のマトリックス－ベクトル積（２０６）を計算し、前記マトリックス－ベクトル積（２０６）によって取得された出力ベクトル（２０８）の成分（２１０）を前記予め定められたブロックのサンプル位置（１０４）に関連付けることによって、前記予め定められたブロック（１８）のサンプル（１０８）を予測するために、その中で前記予め定められたブロックに対して１つが選択されることになる前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）のリスト（２０４）の訓練予測マトリックスのための装置（３１０）であって、
    前記装置（３１０）は、
    最急降下法アプローチを使用して、そのドメイン及びコドメインが浮動小数点表現によって定義され、その画像（３００）が予め定められた動的範囲を有し、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しい、微分可能関数を使用して代表する値がマッピングされた中間値に前記予測マトリックス（１９）のエントリを設定することと関連付けられた予測歪み測定に依存するコスト関数を使用して、前記浮動小数点表現において表現された、前記マトリックスベースのイントラ予測モードの前記リスト（２０４）の前記予測マトリックスの前記エントリについての代表する値を最適化することによって、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）の前記リスト（２０４）の前記予測マトリックスを訓練し、
    前記中間値を固定点表現（１９０）に量子化し、その結果、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）は、予め定められたビット深度（１９２）の固定点表現（１９０）によって表現された全てのエントリを有し、その結果、前記予め定められたビット深度（１９２）は、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しく、その結果、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記入力ベクトル（１０２）と、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）と、の間の前記マトリックス－ベクトル積（２０６）が、前記出力ベクトルの成分ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいビットの数（２１１）において右シフト（２０９）を実行することによって計算可能である、
    ように構成される、前記装置（３１０）。
34. 前記微分可能関数は、原点において傾き１を有し、厳密に単調に増大し、前記画像の上限及び下限において水平漸近線を有する、
    請求項３３に記載の装置（３１０）。
35. 

    であり、α、β、γ、及びδは、前記予め定められた動的範囲に依存する実数であり、λは、負でない整数である、請求項３３に記載の装置（３１０）。
36. 前記微分可能関数は、前記コドメイン内の前記画像のシフトに関してシフトパラメータによってパラメータ化され、前記装置（３１０）は、前記最急降下法アプローチを使用して前記シフトパラメータに最適化を受けさせ、前記マトリックス－ベクトル積（２０６）の前記計算の前に、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリをオフセットするために使用されるように、前記シフトパラメータから前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいオフセット値を導出するように構成される、請求項３３～３５のいずれか一項の記載の装置（３１０）。
37. イントラ予測を使用してピクチャの予め定められたブロック（１８）を復号する方法であって、
    データストリーム（１２）からモードインデックス（２００）を読み込むことであって、前記モードインデックスは、マトリックスベースのイントラ予測モードのリスト（２０４）からの１つを指し示す、前記読み込むことと、
    前記予め定められたブロック（１８）に近傍した参照サンプル（１７）から導出された入力ベクトル（１０２）と前記モードインデックス（２００）によって指し示された前記マトリックスベースのイントラ予測モード（ｋ）と関連付けられた予測マトリックス（１９）との間のマトリックス－ベクトル積（２０６）を計算し、前記マトリックス－ベクトル積（２０６）によって取得された出力ベクトル（２０８）の成分（２１０）を前記予め定められたブロックのサンプル位置（１０４）に関連付けることによって、前記予め定められたブロック（１８）のサンプル（１０８）を予測することと、を備え、
    マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリは、予め定められたビット深度（１９２）の固定点表現（１９０）によって表現され、前記予め定められたビット深度（１９２）は、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しく、
    前記方法は、各マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）において、前記出力ベクトル（２０８）の成分（２１０）ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいビットの数（２１１）において右シフト（２０９）を実行することによって、前記入力ベクトル（１０２）と前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）との間の前記マトリックス－ベクトル積（２０６）を計算することを備えた、
    前記方法。
38. イントラ予測を使用してピクチャの予め定められたブロック（１８）を符号化する方法であって、
    データストリーム（１２）にモードインデックス（２００）を挿入することであって、前記モードインデックスは、マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）のリスト（２０４）からの１つを指し示す、前記挿入することと、
    前記予め定められたブロック（１８）に近傍した参照サンプル（１７）から導出された入力ベクトル（１０２）と前記モードインデックス（２００）によって指し示された前記マトリックスベースのイントラ予測モード（ｋ）と関連付けられた予測マトリックスとの間のマトリックス－ベクトル積（２０６）を計算し、前記マトリックス－ベクトル積（２０６）によって取得された出力ベクトル（２０８）の成分（２１０）を前記予め定められたブロックのサンプル位置（１０４）に関連付けることによって、前記予め定められたブロック（１８）のサンプル（１０８）を予測することと、を備え、
    マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）ごとに、それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）の全てのエントリは、予め定められたビット深度（１９２）の固定点表現（１９０）によって表現され、前記予め定められたビット深度（１９２）は、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しく、
    前記方法は、各マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）において、前記出力ベクトルの成分ごとに、前記マトリックスベースのイントラ予測モード（２０５_１～２０５_ｎ）に対して等しいビットの数（２１１）において右シフト（２０９）を実行することによって、前記入力ベクトル（１０２）と、前記それぞれのマトリックスベースのイントラ予測モード（２０５；２０５_ｉ）と関連付けられた前記予測マトリックス（１９）と、の間の前記マトリックス－ベクトル積（２０６）を計算することを備えた、
    前記方法。
39. 予め定められたブロック（１８）に近傍した参照サンプル（１７）から導出された入力ベクトル（１０２）と予め定められたブロックに対して選択されたマトリックスベースのイントラ予測モード（ｋ）と関連付けられた予測マトリックス（１９）の１つとの間のマトリックス－ベクトル積（２０６）を計算し、前記マトリックス－ベクトル積（２０６）によって取得された出力ベクトル（２０８）の成分（２１０）を前記予め定められたブロックのサンプル位置（１０４）に関連付けることによって、前記予め定められたブロック（１８）のサンプル（１０８）を予測するために、その中で前記予め定められたブロックに対して１つが選択されることになる前記マトリックスベースのイントラ予測モードのリスト（２０４）の訓練予測マトリックスのための方法であって、
    前記方法は、
    最急降下法アプローチを使用して、そのドメイン及びコドメインが浮動小数点表現によって定義され、その画像（３００）が予め定められた動的範囲を有し、マトリックスベースのイントラ予測モードに対して等しい、微分可能関数を使用して代表する値がマッピングされた中間値に前記予測マトリックス（１９）のエントリを設定することと関連付けられた予測歪み測定に依存するコスト関数を使用して、前記浮動小数点表現において表現された、前記マトリックスベースのイントラ予測モードの前記リスト（２０４）の前記予測マトリックスの前記エントリについての代表する値を最適化することによって、前記マトリックスベースのイントラ予測モードの前記リスト（２０４）の前記予測マトリックスを訓練することと、
    前記中間値を固定点表現（１９０）に量子化し、その結果、マトリックスベースのイントラ予測モードごとに、前記それぞれのマトリックスベースのイントラ予測モードと関連付けられた前記予測マトリックス（１９）は、予め定められたビット深度の固定点表現（１９０）によって表現された全てのエントリを有し、その結果、前記予め定められたビット深度は、前記マトリックスベースのイントラ予測モードに対して等しく、その結果、マトリックスベースのイントラ予測モードごとに、前記入力ベクトル（１０２）と、前記それぞれのマトリックスベースのイントラ予測モード（ｋ）と関連付けられた前記予測マトリックス（１９）と、の間の前記マトリックス－ベクトル積（２０６）が、前記出力ベクトルの成分ごとに、前記マトリックスベースのイントラ予測モードに対して等しいビットの数において右シフトを実行することによって計算可能である、ことと、
    を備えた、前記方法。
40. 請求項３８に記載の方法によって生成されたデータストリーム。
41. コンピュータ上で実行されるとき、請求項３７、３８、及び３９のいずれか一項に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。

Images