JP7443564B2 - ビデオデコーディングの方法、装置、及びコンピュータプログラム、並びにビデオエンコーディングの方法 - Google Patents

Description

［参照による援用］
本特許出願は、２０２１年４月３０日付けで「Content-Adaptive Online Training with Scaling Factor and Offset in Neural Image Compression」との発明の名称で出願された米国特許仮出願第６３／１８２４１８号に対する優先権の利益を主張して２０２２年４月２６日付けで「CONTENT-ADAPTIVE ONLINE TRAINING WITH SCALING FACTORS AND/OR OFFSETS IN NEURAL IMAGE COMPRESSION」との発明の名称で出願された米国特許出願第１７／７３００００号の優先権の利益を主張するものである。先願の開示は、それらの全文を参照により本願に援用される。

［技術分野］
本開示は、ビデオコーディングに概して関係がある実施形態について記載する。

本明細書で与えられている背景の説明は、開示の背景を一般的に提示することを目的とするものである。現在指名されている発明者の研究は、その研究がこの背景の項で説明されている範囲で、また、出願時に先行技術としてさもなければ適格でない可能性がある説明の側面は、本開示に対する先行技術として明示的にも暗黙的にも認められない。

ビデオコーディング及びデコーディングは、動き補償を伴ったインターピクチャ予測を用いて実行可能である。圧縮されていないデジタル画像及び／又はビデオはピクチャの連続を含むことができ、各ピクチャは、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間ディメンションを有する。ピクチャの連続は、例えば、毎秒６０ピクチャ、つまり６０Ｈｚの固定又は可変のピクチャレート（俗にフレームレートとしても知られている。）を有することができる。圧縮されていない画像及び／又はビデオは、特定のビットレート要件を有している。例えば、サンプル当たり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇビット／ｓに近いバンド幅を必要とする。そのようなビデオの１時間は、６００Ｇバイト超の記憶空間を必要とする。

ビデオコーディング及びデコーディングの１つの目的は、圧縮による入力画像及び／又はビデオ信号の冗長性の低減であることができる。圧縮は、いくつかの場合に２桁以上、上記のバンド幅及び／又は記憶空間要件を減らすことを助けることができる。本明細書の記載は、実例としてビデオエンコーディング／デコーディングを使用するが、同じ技術は、本開示の精神から逸脱せずに、同様の方法で画像エンコーディング／デコーディングに適用可能である。可逆及び不可逆圧縮の両方並びにそれらの組み合わせが用いられ得る。可逆圧縮は、原信号の厳密なコピーが圧縮された原信号から再構成可能である技術を指す。不可逆圧縮を使用する場合に、再構成された信号は、原信号と同じでない場合があるが、原信号と再構成された信号との間のひずみは、再構成された信号を、意図された用途にとって有用なものとするほど十分に小さい。ビデオの場合には、不可逆圧縮が広く用いられている。許容されるひずみの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビジョン配信用途のユーザよりも高いひずみを許容し得る。達成可能な圧縮比は、より高い許容可能な／受け入れ可能なひずみがより高い圧縮比をもたらし得ることを反映することができる。

ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピコーディングを含むいくつかの広いカテゴリからの技術を利用することができる。

ビデオコーデック技術には、イントラコーディングとして知られている技術が含まれ得る。イントラコーディングでは、サンプル値が、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照せずに表現される。いくつかのビデオコーデックにおいて、ピクチャは、サンプルのブロックに空間的に細分される。サンプルの全ブロックがイントラモードでコーディングされる場合に、そのピクチャはイントラピクチャであることができる。イントラピクチャ及びそれらの派生物、例えば、独立デコーダリフレッシュピクチャ（independent decoder refresh pictures）は、デコーダ状態をリセットするために使用可能であり、従って、コーディングされたビットストリーム及びビデオセッションにおける最初のピクチャとして、又は静止画像として使用され得る。イントラブロックのサンプルは、変換を受けることができ、変換係数は、エントロピコーディング前に量子化され得る。イントラ予測は、変換前領域でサンプル値を最小限にする技術であることができる。いくつかの場合に、変換後のＤＣ値が小さければ小さいほど、かつ、ＡＣ係数が小さければ小さいほど、エントロピコーディング後にブロックを表すために所与の量子化ステップサイズで必要とされるビットはますます少ない。

例えば、ＭＰＥＧ－２世代のコーディング技術から知られているような、従来のイントラコーディングは、イントラ予測を使用しない。しかし、いくつかのより新しいビデオ圧縮技術は、例えば、データの空間的に隣接しかつデコーディング順序において先行するブロックのエンコーディング／デコーディング中に得られた周囲サンプルデータ及び／又はメタデータから試みる技術を含む。かような技術は、以降「イントラ予測」技術と呼ばれる。少なくともいくつかの場合に、イントラ予測は、再構成中の現在ピクチャからの参照データのみを使用し、参照ピクチャからは使用しない点に留意されたい。

多種多様な形態のイントラ予測が存在し得る。かような技術の１つよりも多くが所与のビデオコーディング技術で使用可能である場合に、使用中の技術はイントラ予測モードでコーディングされ得る。特定の場合に、モードは、サブモード及び／又はパラメータを有することができ、それらは、独立してコーディングされ得るか、又はモードコードワードに含まれ得る。所与のモード、サブモード、及び／又はパラメータ組み合わせのためにどのコードワードを使用すべきは、イントラ予測を通じてコーディング効率利得に影響を及ぼし得るので、エントロピコーディング技術が、コードワードをビットストリームに変換するために使用され得る。

特定のモードのイントラ予測が、Ｈ．２６４により導入され、Ｈ．２６５で洗練され、Joint Exploration Model（ＪＥＭ）、Versatile Video Coding（ＶＶＣ）、及びBenchmark Set（ＢＭＳ）などのより新しいコーディング技術で更に洗練された。予測子ブロックは、既に利用可能なサンプルに属する隣接サンプル値を用いて形成され得る。隣接サンプルのサンプル値は、方向に応じて予測子ブロック内にコピーされる。使用中の方向の参照は、ビットストリームの中にコーディングされ得るか、又はそれ自体が予測されてもよい。

図１Ａを参照すると、右下には、Ｈ．２６５の３３個のとり得る予測子方向（３５個のイントラモードのうちの３３個の角度モードに対応）から知られている９つの予測子方向のサブセットが表されている。矢印が集まる点（１０１）は、予測中のサンプルに相当する。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で右上にある１つ又は複数のサンプルから予測される、ことを示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度でサンプル（１０１）の左下にある１つ又は複数のサンプルから予測される、ことを示す。

依然として図１Ａを参照して、左上には、４×４個のサンプル（太破線によって示される。）の正方形ブロック（１０４）が表されている。正方形ブロック（１０４）は１６個のサンプルを含み、各サンプルは、「Ｓ」、Ｙ次元でのその位置（例えば、行インデックス）、及びＸ次元でのその位置（例えば、列インデックス）を用いてラベル付けされている。例えば、サンプルＳ２１は、Ｙ次元で（上から）２番目のサンプルかつＸ次元で（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸの両方の次元でブロック（１０４）内の４番目のサンプルである。ブロックはサイズが４×４サンプルであるということで、Ｓ４４は右下にある。更には、類似した番号付け方式に従う参照サンプルが示されている。参照サンプルは、ブロック（１０４）に対して、「Ｒ」、そのＹ位置（例えば行インデックス）及びＸ位置（列インデックス）を用いてラベル付けされている。Ｈ．２６４及びＨ．２６５の両方で、予測サンプルは、再構成中のブロックに隣接し、従って、負値が使用される必要はない。

イントラピクチャ予測は、シグナリングされた予測方向によって必要に応じて隣接サンプルから参照サンプル値をコピーすることによって、働くことができる。例えば、コーディングされたビデオビットストリームが、このブロックについて、矢印（１０２）と一致する予測方向を示す、すなわち、サンプルが水平から４５度の角度で右上にある１つ以上の予測サンプルから予測される、とのシグナリングを含む、とする。その場合に、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。次いで、サンプルＳ４４が参照サンプルＲ０８から予測される。

特定の場合に、複数の参照サンプルの値は、参照サンプルを計算するために、特に、方向が４５度で等しく分割可能でない場合に、例えば、補間を通じて、組み合わされてよい。

とり得る方向の数は、ビデオコーディング技術が発展するとともに増えている。Ｈ．２６４（２００３年）では、９つの異なる方向が表現可能であった。それは、Ｈ．２６５（２０１３年）では３３個にまで増え、そして、ＪＥＭ／ＶＶＣ／ＢＭＳは、本開示の時点で、最大６５個の方向をサポートすることができる。最もありそうな方向を識別するために実験が行われており、エントロピコーディングにおける特定の技術は、可能性が低い方向に対する若干のペナルティを受け入れながら、少数のビットでそれらのありそうな方向を表現するよう使用されている。更に、方向それ自体は、時々、隣接する、既にデコーディングされたブロックで使用されている隣接方向から予測され得る。

図１Ｂは、時間とともに増える予測方向の数を説明するために、ＪＥＭによる６５個のイントラ予測方向を表す概略図（１１０）を示す。

方向を表すコーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性があり、例えば、予測方向の単純な直接マッピングから、イントラ予測モードまで、コードワードまで、最確モードを含む複雑な適応スキーム、及び同様の技術まで及び得る。全ての場合で、しかしながら、特定の他の方向よりも統計的にビデオコンテンツで起こる可能性が低い特定の方向が存在し得る。ビデオ圧縮の目標は冗長性の低減であるということで、それらの可能性が低い方向は、上手く働くビデオコーディング技術では、よりありそうな方向よりも多いビット数によって表現されることになる。

動き補償は、不可逆圧縮技術であることができ、以前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降ＭＶ）によって示された方向において空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係があり得る。いくつかの場合に、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは２つの次元Ｘ及びＹ、又は３つの次元を有することができ、３番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に、時間次元であることができる。）。

いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接するサンプルデータの他のエリアに関係があり、デコーディング順序においてそのＭＶに先行するものから、予測され得る。そうすることで、ＭＶをコーディングするために必要なデータの量を大幅に減らすことができ、それによって、冗長性を取り除きかつ圧縮を高める。例えば、カメラから得られた入力ビデオ信号（自然ビデオ（natural video）として知られる。）をコーディングする場合に、単一のＭＶが適用可能であるエリアよりも大きいエリアが同様の方向に移動するという統計的可能性があり、従って、いくつかの場合には、隣接するエリアのＭＶから導出された同様の動きベクトルを用いて予測可能であるということで、ＭＶ予測は有効に働くことができる。その結果、所与のエリアについて求められるＭＶは、周囲のＭＶから予測されたＭＶと類似又は同じであり、エントロピコーディング後に、ＭＶを直接コーディングする場合に使用されることになるビット数よりも少ないビットで表され得る。いくつかの場合に、ＭＶ予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であることができる。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、不可逆であり得る。

様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ２６５，“High Efficiency Video Coding”，２０１６年１２月）で説明されている。Ｈ．２６５が提案する多くのＭＶ予測メカニズムの中から、本明細書では、以降「空間マージ」（spatial merge）と呼ばれる技術が説明される。

図２を参照すると、現在ブロック（２０１）は、空間的にシフトされている同じサイズの前のブロックから予測可能であると動き探索プロセス中にエンコーダによって認められたサンプルを有する。そのＭＶを直接にコーディングする代わりに、ＭＶは、１つ以上の参照ピクチャと関連付けられたメタデータから、例えば、（デコーディング順序において）最も最近の参照ピクチャから、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（夫々、２０２乃至２０６）と表される５つの周囲サンプルのうちのいずれか１つと関連付けられたＭＶを用いて導出され得る。Ｈ．２６５では、ＭＶ予測は、隣接するブロックが使用している同じ参照ピクチャからの予測子を使用することができる。

開示の態様は、ビデオエンコーディング及びデコーディングのための方法及び装置を提供する。いくつかの例で、ビデオデコーディングのための装置は、処理回路を含む。処理回路は、ビデオデコーダにおける少なくとも１つのニューラルネットワークのための、コーディングされたビットストリーム内のニューラルネットワーク更新情報をデコーディングするよう構成される。少なくとも１つのニューラルネットワークは、事前学習済みパラメータの組により構成される。ニューラルネットワーク更新情報は第１変更パラメータを示す。ビデオデコーダにおける少なくとも１つのニューラルネットワークの事前学習済みパラメータの組は、第１変更パラメータに基づき更新される。更新された少なくとも１つのニューラルネットワークに基づき、エンコーディングされた画像がデコーディングされる。

実施形態において、第１変更パラメータはスケーリング係数である。事前学習済みパラメータの組は、置換パラメータの組で夫々置換される。置換パラメータの組は、スケーリング係数を乗じられた事前学習済みパラメータの組である。例において、ニューラルネットワーク更新情報は、事前学習済みパラメータの組を変更するためのオフセットを示す。オフセットは、少なくとも１つのニューラルネットワークの置換パラメータの組に加えられる。

実施形態において、第１変更パラメータはオフセットである。オフセットは、少なくとも１つのニューラルネットワークの事前学習済みパラメータの組に加えられる。

実施形態において、コーディングされたビットストリームは、エンコーディングされた画像をデコーディングするためのコンテキストモデルを決定するために使用される１つ以上のエンコーディングされたビットを示す。少なくとも１つのニューラルネットワークは、ビデオデコーダにおけるメインデコーダネットワーク、コンテキストモデルニューラルネットワーク、エントロピパラメータニューラルネットワーク、及びハイパーデコーダネットワークのうちの１つ以上を含む。１つ以上のエンコーディングされたビットは、ハイパーデコーダネットワークを用いてデコーディングされる。処理回路は、デコーディングされたビットと、コンテキストモデルネットワークが利用可能であるエンコーディングされた画像の量子化されたレイテント（latent）とに基づき、コンテキストモデルネットワーク及びエントロピパラメータネットワークを用いてコンテキストモデルを決定する。処理回路は、メインデコーダネットワーク及びコンテキストモデルにより、エンコーディングされた画像をデコーディングする。

実施形態において、少なくとも１つのニューラルネットワークは、ビデオデコーダにおけるメインデコーダネットワーク、コンテキストモデルニューラルネットワーク、エントロピパラメータニューラルネットワーク、及びハイパーデコーダネットワークのうちの１つ以上である。

実施形態において、事前学習済みパラメータの組は、少なくとも１つのニューラルネットワークのうちの１つの畳み込み層におけるバイアスを含む。

実施形態において、事前学習済みパラメータの組は、少なくとも１つのニューラルネットワークのうちの１つの畳み込み層の畳み込みカーネルにおける重みを含む。

実施形態において、ニューラルネットワーク更新情報は、事前学習済みパラメータの第２の組により構成された少なくとも１つのニューラルネットワークのための第２変更パラメータを示す。処理回路は、第２変更パラメータに基づき少なくとも１つのニューラルネットワークの事前学習済みパラメータの第２の組を更新する。

例において、事前学習済みパラメータの組は、少なくとも１つのニューラルネットワークのうちの１つの畳み込み層の畳み込みカーネルにおける重みを含む。事前学習済みパラメータの第２の組は、少なくとも１つのニューラルネットワークのうちの１つの畳み込み層のバイアスを含む。

例において、処理回路は、更新された少なくとも１つのニューラルネットワークに基づき、コーディングされたビットストリーム内の他のエンコーディングされた画像をデコーディングする。

開示の態様はまた、ビデオエンコーディング及びデコーディングのための方法を実行するよう少なくとも１つのプロセッサによって実行可能なプログラムを記憶している非一時的なコンピュータ可読記憶媒体も提供する。

開示されている対象の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになる。

イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の説明図である。 実施形態に従って、現在のブロック（２０１）及びその周囲サンプルを示す。 実施形態に従う通信システム（３００）の略ブロック図の模式図である。 実施形態に従う通信システム（４００）の略ブロック図の模式図である。 実施形態に従うデコーダの略ブロック図の模式図である。 実施形態に従うエンコーダの略ブロック図の模式図である。 他の実施形態に従うエンコーダのブロック図を示す。 他の実施形態に従うデコーダのブロック図を示す。 開示の実施形態に従う例示的なＮＩＣフレームワークを示す。 本開示の態様に従う非指向性平滑イントラ予測の例を示す。 開示の実施形態に従うメインエンコーダネットワークの例示的な畳み込みニューラルネットワーク（ＣＮＮ）を示す。 開示の実施形態に従うハイパーエンコーダの例示的なＣＮＮを示す。 開示の実施形態に従うハイパーデコーダの例示的なＣＮＮを示す。 開示の実施形態に従うコンテキストモデルネットワークの例示的なＣＮＮを示す。 開示の実施形態に従うエントロピパラメータネットワークの例示的なＣＮＮを示す。 開示の実施形態に従う例示的なビデオエンコーダを示す。 開示の実施形態に従う例示的なビデオデコーダを示す。 開示の実施形態に従う例示的なビデオエンコーダを示す。 開示の実施形態に従う例示的なビデオデコーダを示す。 開示の実施形態に従うプロセスを説明するフローチャートを示す。 開示の実施形態に従うプロセスを説明するフローチャートを示す。 実施形態に従うコンピュータシステムの概略図である。

Ｉ．通信システム、ビデオエンコーダ、及びビデオデコーダ
図３は、本開示の実施形態に従う通信システム（３００）の略ブロック図を表す。通信システム（３００）は、例えば、ネットワーク（３５０）を介して、互いと通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続されている端末デバイス（３１０）及び（３２０）の第１対を含む。図３の例では、端末デバイス（３１０）及び（３２０）の第１対は、データの一方向伝送を実行する。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介した他の端末デバイス（３２０）への伝送のためにビデオデータ（例えば、端末デバイス（３１０）によって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。エンコーディングされたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送可能である。端末デバイス（３２０）は、コーディングされたビデオデータをネットワーク（３５０）から受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復し、回復されたビデオデータに従ってビデオピクチャを表示してよい。一方向データ伝送は、メディアサービングアプリケーションなどにおいて一般的であり得る。

他の例では、通信システム（３００）は、例えば、ビデオ会議中に、現れ得るコーディングされたビデオデータの双方向伝送を実行する端末デバイス（３３０）及び（３４０）の第２対を含む。データの双方向伝送のために、例において、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介した端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスへの伝送のためにビデオデータ（例えば、その端末デバイスによって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。端末デバイス（３３０）及び（３４０）の各端末デバイスはまた、端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してよく、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復してよく、回復されたビデオデータに従って、アクセス可能な表示デバイスでビデオピクチャを表示してよい。

図３の例では、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして表され得るが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤー、及び／又は専用のビデオ会議装置により用途を見出す。ネットワーク（３５０）は、例えば、ワイヤライン（有線）及び／又はワイヤレス通信ネットワークを含む、コーディングされたビデオデータを端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間で伝達する任意数のネットワークに相当する。通信ネットワーク（３５０）は、回路交換及び／又はパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークには、電気通信網、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットがある。本議論のために、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本明細書において以降で説明されない限りは、本開示の動作に無関係であってよい。

図４は、開示されている対象の応用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を表す。開示されている対象は、例えば、ビデオ会議と、デジタルＴＶと、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体上での圧縮されたビデオの記憶と、などを含む他のビデオ対応用途に同様に適用可能であることができる。

ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（４０２）を生成するビデオソース（４０１）、例えば、デジタルカメラ、を含むことができる捕捉サブシステム（４１３）を含んでよい。例において、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮影されるサンプルを含む。ビデオピクチャのストリーム（４０２）は、エンコーディングされたビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較して高いデータボリュームを強調するために太線で表されており、ビデオソース（４０１）へ結合されたビデオエンコーダ（４０３）を含む電子機器（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、以下で更に詳細に記載されるように、開示されている対象の態様を可能にするか又は実装するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ（４０４）（又はエンコーディングされたビデオビットストリーム（４０４））は、ビデオピクチャのストリーム（４０２）と比較してより低いデータボリュームを強調するために細線で表されており、将来の使用のためにストリーミングサーバ（４０５）に記憶され得る。図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムは、エンコーディングされたビデオデータ（４０４）のコピー（４０７）及び（４０９）を読み出すためにストリーミングサーバ（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えば、電子機器（４３０）において、ビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、エンコーディングされたビデオデータの入来するコピー（４０７）をデコーディングし、ディスプレイ（４１２）（例えば、表示スクリーン）又は他のレンダリングデバイス（図示せず。）でレンダリング可能なビデオピクチャの送出ストリーム（４１１）を生成する。いくつかのストリーミングシステムにおいて、エンコーディングされたビデオデータ（４０４）、（４０７）、及び（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされ得る。そのような規格の例には、ＩＴＵ－Ｔ推奨Ｈ．２６５がある。例において、開発中のビデオコーディング規格は、Versatile Video Coding（ＶＶＣ）として俗に知られている。開示されている対象は、ＶＶＣに関連して使用されてもよい。

なお、電子機器（４２０）及び（４３０）は、他のコンポーネント（図示せず。）を含むことができる。例えば、電子機器（４２０）は、ビデオデコーダ（図示せず。）を含むことができ、電子機器（４３０）は、ビデオエンコーダ（図示せず。）を同様に含むことができる。

図５は、本開示の実施形態に従うビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子機器（５３０）に含まれ得る。電子機器（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用され得る。

受信器（５３１）は、ビデオデコーダ（５１０）によってデコーディングされるべき１つ以上のコーディングされたビデオシーケンスを、同じ又は他の実施形態では、一度に１つのコーディングされたビデオシーケンスを、受信してよい。このとき、夫々のコーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（５０１）から受信されてよく、チャネルは、エンコーディングされたビデオデータを記憶している記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信器（５３１）は、エンコーディングされたビデオデータを他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してよく、それらは、それらの各々の使用エンティティ（図示せず。）へ転送されてよい。受信器（５３１）は、コーディングされたビデオシーケンスを他のデータから分離してよい。ネットワークジッタに対抗するために、バッファメモリ（５１５）が受信器（５３１）とエントロピデコーダ／パーサ（５２０）（以降「パーサ（５２０）」）との間に結合されてよい。特定の用途では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の部分である。他では、それは、ビデオデコーダ（５１０）の外にあることができる（図示せず。）。更に他では、例えば、ネットワークジッタに対抗するための、ビデオデコーダ（５１０）の外にあるバッファメモリ（図示せず。）と、加えて、例えば、再生タイミングを操作するための、ビデオデコーダ（５１０）内のもう１つのバッファメモリ（５１５）とが存在することができる。受信器（５３１）が十分なバンド幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ（５１５）は必要とされなくてもよく、あるいは、小さくてよい。インターネットなどのベストエフォートのパケットネットワークでの使用のために、バッファメモリ（５１５）は必要とされる場合があり、比較的に大きく、かつ、有利なことには、適応サイズであることができ、ビデオデコーダ（５１０）の外のオペレーティングシステム又は同様の要素（図示せず。）で少なくとも部分的に実装され得る。

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためのパーサ（５２０）を含んでよい。それらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、潜在的に、電子機器（５３０）の必須部分でないが、図５に示されたように、電子機器（５３０）へ結合され得るレンダーデバイス（５１２）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスのための制御情報は、Supplemental Enhancement Information（ＳＥＩ）メッセージ又はVideo Usability Information（ＶＵＩ）パラメータセットフラグメント（図示せず。）の形をとってよい。パーサ（５２０）は、受信されるコーディングされたビデオシーケンスをパース／エントロピデコーディングしてよい。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、そのグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（Group of Picture，ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Unit，ＣＵ）、ブロック、変換ユニット（Transform Unit，ＴＵ）、予測ユニット（Prediction Unit，ＰＵ）、などを含むことができる。パーサ（５２０）はまた、コーディングされたビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、などの情報も抽出し得る。

パーサ（５２０）は、シンボル（５２１）を生成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピデコーディング／パーシング動作を実行してよい。

シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多数の異なるユニットを有することができる。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ（５２０）によってパースされたサブグループ制御情報によって制御され得る。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明りょうさのために表されていない。

既に述べられた機能ブロックを超えて、ビデオデコーダ（５１０）は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、それらのユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象を説明することを目的として、以下での機能ユニットへの概念的細分は適切である。

第１ユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からシンボル（５２１）として、量子化された変換係数とともに、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクスなどを含む制御情報を受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）へ入力することができるサンプル値を含むブロックを出力することができる。

いくつかの場合に、スケーラ／逆変換器（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、前に再構成されたピクチャからの予測情報を使用しておらず、現在ピクチャの前に再構成された部分からの予測情報を使用することができるブロック、に関係することができる。かような予測情報は、イントラピクチャ予測ユニット（５５２）によって供給され得る。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、いくつかの場合に、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって供給される出力サンプル情報に加える。

他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、そして潜在的に、動き補償されたブロックに関係することができる。かような場合に、動き補償予測ユニット（５５３）は、予測のために使用されるサンプルをフェッチするよう参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関係するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後に、それらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる。）に加えられ得る。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル（５２１）の形で動き補償予測ユニット（５５３）が利用することができる動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間や、動きベクトル予測メカニズムなどを含むこともできる。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができる。この技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる。）に含まれており、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされたパラメータによって制御されるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（デコーディング順序において）前の部分のデコーディング中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することもできる。

ループフィルタユニット（５５６）の出力は、レンダーデバイス（５１２）へ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ（５５７）に記憶され得るサンプルストリームであることができる。

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在ピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の部分になることができ、未使用の現在ピクチャバッファが、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされ得る。

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ推奨Ｈ．２６５などの標準規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行してよい。コーディングされたビデオシーケンスは、そのコーディングされたビデオシーケンスが、ビデオ圧縮技術又は標準規格のシンタックス及びビデオ圧縮技術又は標準規格において文書化されているプロファイルの両方に従うという意味で、使用中のビデオ圧縮技術又は標準規格によって規定されたシンタックスに従い得る。具体的には、プロファイルは、ビデオ圧縮技術又は標準規格で利用可能な全てのツールから、そのプロファイルの下での使用のために利用可能な唯一のツールとして、特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は標準規格のレベルによって定義された境界内にあることが、順守のために必要である。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定された制限は、いくつかの場合に、Hypothetical Reference Decoder（ＨＲＤ）仕様と、コーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータとを通じて、更に制限され得る。

実施形態において、受信器（５３１）は、エンコーディングされたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの部分として含まれてもよい。追加のデータは、ビデオデコーダ（５１０）によって、データを適切にデコーディングするために及び／又は原ビデオデータをより正確に再構成するために使用されてよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。

図６は、本開示の実施形態に従うビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子機器（６２０）に含まれている。電子機器（６２０）は、送信器（６４０）（例えば、送信回路）を含む。ビデオエンコーダ（６０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用され得る。

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（６０１）（図６の例では電子機器（５６０）の部分ではない。）からビデオサンプルを受信してよい。他の例では、ビデオソース（６０１）は、電子機器（６２０）の部分である。

ビデオソース（６０１）は、任意の適切なビットデプス（例えば、８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢなど）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形で、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを供給してよい。メディアサービングシステムでは、ビデオソース（６０１）は、前に準備されたビデオを記憶している記憶デバイスであってよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってよい。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャとして供給されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間、などに依存する１つ以上のサンプルを有することができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。本明細書は、以下、サンプルに焦点を当てる。

実施形態に従って、ビデオエンコーダ（６０３）は、実時間において、又は用途によって必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを、コーディングされたビデオシーケンス（６４３）へとコーディング及び圧縮してよい。適切なコーディング速度を強いることは、コントローラ（６５０）の一機能である。いくつかの実施形態において、コントローラ（６５０）は、以下で記載されるような他の機能ユニットを制御し、他の機能ユニットへ機能的に結合される。結合は明りょうさのために表されていない。コントローラ（６５０）によってセットされるパラメータには、レート制御に関連したパラメータ（ピクチャスキップ、量子化器、レートひずみ最適化技術のラムダ値、など）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などが含まれ得る。コントローラ（６５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（６０３）に関係する他の適切な機能を有するよう構成され得る。

いくつかの実施形態において、ビデオエンコーダ（６０３）は、コーディングループで動作するよう構成される。過度に単純化された記載として、例において、コーディングループは、ソースコーダ（６３０）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する。）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（シンボルとコーディングされたビデオストリームとの間の如何なる圧縮も、開示されている対象で考えられているビデオ圧縮技術において可逆であるということで）（遠隔の）デコーダも生成することになるのと同様の方法でサンプルデータを生成するようにシンボルを再構成する。その再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）へ入力される。シンボルストリームのデコーディングは、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。すなわち、エンコーダの予測部分は、デコーダがデコーディング中に予測を使用するときに“見る”ことになるのとまさに同じサンプル値を参照ピクチャサンプルとして“見る”。参照ピクチャのシンクロニシティ（及び、例えば、チャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用されている。

“ローカル”のデコーダ（６３３）の動作は、図５とともに詳細に既に上述されている、ビデオデコーダ（５１０）などの“遠隔”のデコーダと同じであることができる。一時的に図５も参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ（６４５）及びパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆であることができるということで、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピデコーディング部分は、ローカルのデコーダ（６３３）において完全には実装されなくてもよい。

実施形態において、デコーダに存在するパーシング／エントロピデコーディングを除く如何なるデコーダ技術も、対応するエンコーダにおいて、同じか又は実質的に同じ機能形態で存在する。従って、開示されている対象は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、それらが、包括的に記載されるデコーダ技術の逆であるということで、省略され得る。特定の範囲において、より詳細な説明が以下で与えられている。

動作中、いくつかの例では、ソースコーダ（６３０）は、動き補償された予測コーディングを実行してよい。これは、「参照ピクチャ」として指定された、ビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して、予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（６３２）は、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと入力ピクチャのピクセルブロックとの間の差をコーディングする。

ローカルのビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングしてよい。コーディングエンジン（６３２）の動作は、有利なことに、不可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図６には図示せず。）でデコーディングされ得るとき、再構成されたビデオシーケンスは、通常は、いくらかのエラーを伴ったソースビデオシーケンスの複製であり得る。ローカルのビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを再現し、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）に格納されるようにしてよい。このように、ビデオエンコーダ（６０３）は、（伝送エラーなしで）遠端のビデオデコーダによって取得されることになる再構成された参照ピクチャと共通の内容を有している再構成された参照ピクチャのコピーをローカルで記憶し得る。

予測器（６３５）は、コーディングエンジン（６３２）のための予測探索を実行してよい。すなわち、新しいピクチャがコーディングされるために、予測器（６３５）は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ（６３４）から探してよい。予測器（６３５）は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してよい。いくつかの場合に、予測器（６３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶されている複数の参照ピクチャから引き出された予測基準を有してよい。

コントローラ（６５０）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（６３０）のコーディング動作を管理してよい。

上記の全ての機能ユニットの出力は、エントロピコーダ（６４５）においてエントロピコーディングを受けてよい。エントロピコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。

送信器（６４０）は、エントロピコーダ（６４５）によって生成されたコーディングされたビデオシーケンスを、通信チャネル（６６０）を介した伝送のために準備するようにバッファリングしてよい。通信チャネル（６６０）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず）とマージしてもよい。

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理してよい。コーディング中、コントローラ（６５０）は、各々のピクチャに適用され得るコーディング技術に影響を及ぼす可能性がある特定のコーディングされたピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャはしばしば、次のピクチャタイプのうちの１つとして割り当てられてよい。

イントラピクチャ（Intra Picture）（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずにコーディング及びデコーディングされ得るピクチャであってよい。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（Independent Decoder Refresh，ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴を知っている。

予測ピクチャ（Predictive Picture）（Ｐピクチャ）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及びデコーディングされ得るピクチャであってよい。

双方向予測ピクチャ（Bi-directionally Predictive Picture）（Ｂピクチャ）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及びデコーディングされ得るピクチャであってよい。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術又は標準規格に従ってコーディング動作を実行してよい。その動作中に、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間及び空間冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行してよい。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準規格によって定められているシンタックスに従い得る。

実施形態において、送信器（６４０）は、エンコーディングされたビデオとともに追加のデータを送信してもよい。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてよい。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ又はＶＵＩパラメータセットフラグメント、などを有してよい。

ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として捕捉されてよい。イントラピクチャ予測（しばしばイントラ予測と省略される。）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間又は他の）相関を利用する。例において、現在ピクチャ（current picture）と呼ばれる、エンコーディング／デコーディング中の特定のピクチャは、ブロックにパーティション化される。現在ピクチャ内のあるブロックが、ビデオの前にコーディングされて依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在ピクチャ内のそのブロックは、動きベクトル（motion vector）と呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。

いくつかの実施形態において、双予測技術がインターピクチャ予測において使用され得る。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在ピクチャに対してデコーディング順序において両方とも先行する（しかし、表示順序では、夫々、過去及び将来にあってよい。）第１参照ピクチャ及び第２参照ピクチャが、使用される。現在ピクチャ内のあるブロックは、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによって、コーディングされ得る。そのブロックは、第１参照ブロック及び第２参照ブロックの組み合わせによって予測可能である。

更に、マージモード技術が、コーディング効率を改善するためにインターピクチャ予測において使用され得る。

本開示のいくつかの実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ標準規格に従って、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（Coding Tree Unit，ＣＴＵ）にパーティション化され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルといった同じサイズを有する。一般に、ＣＴＵは、１つのルーマＣＴＢ及び２つのクロマＣＴＢである３つのコーディングツリーブロック（Coding Tree Block，ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディングユニット（Coding Unit，ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割可能である。例において、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどの、ＣＵに対する予測タイプを決定するよう解析される。ＣＵは、時間及び／又は空間予測可能性に応じて１つ以上の予測ユニット（Prediction Unit，ＰＵ）に分割される。一般に、各ＰＵは、１つのルーマ予測ブロック（Prediction Block，ＰＢ）及び２つのクロマＰＢを含む。実施形態において、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルーマ値）の行列を含む。

図７は、開示の他の実施形態に従うビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャの連続に含まれる現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャへと処理ブロックをエンコーディングするよう構成される。例において、ビデオエンコーダ（７０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（７０３）は、例えば、レートひずみ最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードにより最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるべきである場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックをエンコーディングするためにイントラ予測技術を使用してよく、処理ブロックがインターモード又は双予測モードでコーディングされるべきである場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックをエンコーディングするためにインター予測又は双予測技術を夫々使用してよい。特定のビデオコーディング技術において、マージモードは、予測子の外にあるコーディングされた動きベクトル成分の恩恵を受けずに１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードであることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在する場合がある。例において、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するモード決定モジュール（図示せず。）などの他のコンポーネントを含む。

図７の例では、ビデオエンコーダ（７０３）は、図７に示されるように結合されているインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算部（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）、及びエントロピエンコーダ（７２５）を含む。

インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術に従う冗長情報の記述、動きベクトル、マージモード情報）を生成し、何らかの適切な技術を用いてインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するよう構成される。いくつかの例において、参照ピクチャは、エンコーディングされたビデオ情報に基づいてデコーディングされているデコーディングされた参照ピクチャである。

イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、いくつかの場合には、同じピクチャ内で既にコーディングされたブロックとそのブロックを比較し、変換後の量子化された係数を、更には、いくつかの場合には、イントラ予測情報（例えば、１つ以上のイントラエンコーディング技術に従うイントラ予測方向情報）も生成するよう構成される。例において、イントラエンコーダ（７２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を計算する。

汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するよう構成される。例において、汎用コントローラ（７２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（７２６）へ供給する。例えば、モードがイントラモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにイントラモード結果を選択するようスイッチ（７２６）を制御し、そして、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。モードがインターモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにインター予測結果を選択するようスイッチ（７２６）を制御し、そして、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。

残差計算部（７２３）は、受け取られたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（７２４）は、残差データをエンコーディングして変換係数を生成するために残差データに基づき動作するよう構成される。例において、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するよう構成される。次いで、変換係数は、量子化された変換係数を取得するよう量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、デコーディングされた残差データを生成するよう構成される。デコーディングされた残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に使用され得る。例えば、インターエンコーダ（７３０）は、デコーディングされた残差データ及びインター予測情報に基づいて、デコーディングされたブロックを生成することができ、イントラエンコーダ（７２２）は、デコーディングされた残差データ及びイントラ予測情報に基づいて、デコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するよう適切に処理され、デコーディングされたピクチャは、メモリ回路（図示せず。）にバッファリングされ、いくつかの例では参照ピクチャとして使用され得る。

エントロピエンコーダ（７２５）は、エンコーディングされたブロックを含めるようにビットストリームをフォーマット化するよう構成される。エントロピエンコーダ（７２５）は、ＨＥＶＣ標準規格などの適切な標準規格に従って様々な情報を含めるよう構成される。例において、エントロピエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報をビットストリームに含めるよう構成される。開示されている対象に従って、インターモード又は双予測モードのどちらか一方のマージサブモードでブロックをコーディングする場合に、残差情報は存在しない点に留意されたい。

図８は、開示の他の実施形態に従うビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャを受け取り、コーディングされたピクチャをデコーディングして、再構成されたピクチャを生成するよう構成される。例において、ビデオデコーダ（８１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用される。

図８の例では、ビデオデコーダ（８１０）は、図８に示されるように結合されているエントロピデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、及びイントラデコーダ（８７２）を含む。

エントロピデコーダ（８７１）は、コーディングされたピクチャから、シンタックス要素を表す特定のシンボルを再構成するよう構成され得、それらから、コーディングされたピクチャは構成されている。かようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、又はマージサブモード若しくは他のサブモードにおけるインターモード若しくは双予測モード）、イントラデコーダ（８７２）又はインターデコーダ（８８０）による予測のために夫々使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば、量子化された変換係数の形をとる残差情報、などを含むことができる。例において、予測モードがインター又は双予測モードである場合には、インター予測情報がインターデコーダ（８８０）へ供給され、予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラデコーダ（８７２）へ供給される。残差情報は、逆量子化を受けることができ、残差デコーダ（８７３）へ供給される。

インターデコーダ（８８０）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するよう構成される。

イントラデコーダ（８７２）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するよう構成される。

残差デコーダ（８７３）は、逆量子化された変換係数を取り出すように逆量子化を実行し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するよう構成される。残差デコーダ（８７３）はまた、（量子化パラメータ（ＱＰ）を含めるための）特定の制御情報を要求してもよく、その情報は、エントロピデコーダ（８７１）によって供給されてよい（これは低容量の制御情報のみであるということで、データパスは示されない。）。

再構成モジュール（８７４）は、残差デコーダ（８７３）によって出力された残差と、（場合によっては、インター又はイントラ予測モジュールによって出力された）予測結果とを空間領域において組み合わせて、再構成されたブロックを形成するよう構成される。再構成されたブロックは、再構成されたピクチャの部分であってよく、次いで、再構成されたピクチャは、再構成されたビデオの部分であってよい。なお、デブロッキング動作などのような他の適切な動作が、視覚品質を改善するために実行されてもよい。

なお、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、如何なる適切な技術によっても実装可能である。実施形態において、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、１つ以上の集積回路を用いて実装可能である。他の実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装可能である。

ＩＩ．ニューラルネットワークに基づいたビデオコーディング
本開示は、人工知能（artificial intelligence，ＡＩ）に基づいたニューラル画像圧縮（neural image compression，ＮＩＣ）などのニューラル画像圧縮技術及び／又はニューラルビデオ圧縮技術に関するビデオコーディング技術について記載する。本開示の側面には、ニューラルネットワークに基づいたエンド・ツー・エンド（Ｅ２Ｅ）最適化画像コーディングフレームワークのためのＮＩＣ方法などのＮＩＣでのコンテンツ適応型のオンライン訓練が含まれる。ニューラルネットワーク（neural network，ＮＮ）は、ディープニューラルネットワーク（deep neural network，ＤＮＮ）、畳み込みニューラルネットワーク（convolution neural network，ＣＮＮ）などのような人工ニューラルネットワーク（artificial neural network，ＡＮＮ）を含むことができる。

実施形態において、関連するハイブリッドビデオコーデックは、全体として最適化されるのが困難である。例えば、ハイブリッドビデオコーデックにおける単一のモジュール（例えば、エンコーダ）の改善は、全体の性能におけるコーディング利得をもたらさない場合がある。ＮＮベースのビデオコーディングフレームワークでは、異なるモジュールが、学習プロセス又は訓練プロセス（例えば、機械学習プロセス）を実行して、Ｅ２Ｅ最適化ＮＩＣをもたらすことによって、最終的な目標を改善するよう入力から出力まで一緒に最適化され得る。

例示的なＮＩＣフレームワーク又はシステムは、次のように記載され得る。ＮＩＣフレームワークは、例えば、記憶及び伝送を目的として、圧縮することができる圧縮表現（例えば、コンパクト表現）
（外１）

（“ハット付きｘ”）を計算すためにニューラルネットワークエンコーダ（例えば、ＤＮＮなどのニューラルネットワークに基づいたエンコーダ）への入力として入力画像ｘを使用することができる。ニューラルネットワークデコーダ（例えば、ＤＮＮなどのニューラルネットワークに基づいたデコーダ）は、出力画像（再構成された画像とも呼ばれる。）
（外２）

（“バーｘ”）を再構成するために入力として圧縮表現“ハット付きｘ”を使用することができる。様々な実施形態において、入力画像及び再構成画像“バーｘ”は、空間領域にあり、圧縮表現“ハット付きｘ”は、空間領域とは異なる領域にある。いくつかの例では、圧縮表現“ハット付きｘ”は量子化及びエントロピコーディングされる。

いくつかの例で、ＮＩＣフレームワークは変分オートエンコーダ（variational autoencoder，ＶＡＥ）構造を使用することができる。ＶＡＥ構造で、ニューラルネットワークエンコーダは、ニューラルネットワークエンコーダへの入力として入力画像ｘ全体を直接に使用することができる。入力画像ｘ全体は、圧縮表現“ハット付きｘ”を計算するためにブラックボックスとして作動するニューラルネットワーク層の組を通ることができる。圧縮表現“ハット付きｘ”は、ニューラルネットワークエンコーダの出力である。ニューラルネットワークデコーダは、圧縮表現“ハット付きｘ”全体を入力としてとることができる。圧縮表現“ハット付きｘ”は、再構成画像“バーｘ”を計算するために他のブラックボックスとして作動するニューラルネットワーク層の他の組を通ることができる。レートひずみ（rate-distortion，Ｒ－Ｄ）損失
（外３）

は、再構成画像“バーｘ”のひずみ損失
（外４）

とコンパクト表現“ハット付きｘ”のビット消費Ｒとの間のトレードオフを達成するよう、トレードオフハイパーパラメータλにより最適化され得る。

ニューラルネットワーク（例えば、ＡＮＮ）は、タスク特有のプログラミングなしで、例から、タスクを実行することを学習可能である。ＡＮＮは、連結ノード又は人工ニューロンにより構成され得る。ノード間の接続は、第１ノードから第２ノード（受信ノード）へ信号を送信することができ、信号は、連結のための重み係数によって示され得る重みによって変更可能である。受信ノードは、信号を受信ノードへ送信するノードからの信号（つまり、受信ノードにとっての入力信号）を処理し、次いで、関数を入力信号に適用することによって出力信号を生成することができる。関数は線形関数であることができる。例において、出力信号は、入力信号の加重和である。例において、出力信号は、バイアス項によって示され得るバイアスによって更に変更されるので、出力信号は、バイアスと入力信号の加重和との和である。関数は、例えば、バイアスと入力信号の加重和との和又は加重和に対する非線形演算を含むことができる。出力信号は、受信ノードへ接続されているノード（下流ノード）へ送られ得る。ＡＮＮは、パラメータ（例えば、連結の重み、及び／又はバイアス）によって表現又は構成され得る。重み及び／又はバイアスは、重み及び／又はバイアスが繰り返し調整され得る例によりＡＮＮを訓練することによって、取得可能である。決定された重み及び／又は決定されたバイアスにより設定された訓練されたＡＮＮは、タスクを実行するために使用され得る。

ＡＮＮ内のノードは、如何なる適切なアーキテクチャでも体系づけられ得る。様々な実施形態において、ＡＮＮ内のノードは、ＡＮＮへの入力信号を受信する入力層と、ＡＮＮからの出力信号を出力する出力層とを含む層で体系づけられる。実施形態において、ＡＮＮは、入力層と出力層との間の隠れ層などの層を更に含む。異なる層は、異なる層の各々の入力に対して異なる種類の変換を実行し得る。信号は入力層から出力層へ移動することができる。

入力層と出力層との間に複数の層を有するＡＮＮは、ＤＮＮと呼ばれ得る。実施形態において、ＤＮＮは、ループバック無しで入力層から出力層へデータが流れるフィードフォワードネットワークである。例において、ＤＮＮは、１つの層の各ノードが次の層の全てのノードへ連結される全結合ネットワークである。実施形態において、ＤＮＮは、如何なる方向でのデータが流れることができる回帰型ニューラルネットワーク（recurrent neural network，ＲＮＮ）である。

ＣＮＮは、入力層、出力層、及び入力層と出力層との間の隠れ層を含むことができる。隠れ層は、二次元（２Ｄ）畳み込みなどの畳み込みを実行する畳み込み層（例えば、エンコーダで使用される。）を含むことができる。実施形態において、畳み込み層で実行される２Ｄ畳み込みは、畳み込みカーネル（フィルタ又はチャネルとも呼ばれ、例えば、５×５行列である。）と畳み込み層への入力信号（例えば、２Ｄ画像などの２Ｄ行列であり、例えば、２５６×２５６行列である。）との間にある。様々な例で、畳み込みカーネルお次元（例えば、５×５）は、入力信号の次元（２５６×２５６）よりも小さい。よって、畳み込みカーネルによってカバーされる入力信号（例えば、２５６×２５６行列）の一部（例えば、５×５エリア）は、入力信号のエリア（例えば、２５６×２５６エリア）よりも小さいので、次の層の各々のノードでの受容野（receptive field）と呼ばれ得る。

畳み込み中、畳み込みカーネルと入力信号の対応する受容野とのドット積が計算される。よって、畳み込みカーネルの各要素は、受容野の対応するサンプルに適用される重みであるから、畳み込みカーネルは重みを含む。例えば、５×５行列によって表現される畳み込みカーネルは、２５個の重みを有する。いくつかの例では、バイアスは畳み込み層の出力信号に適用され、出力信号はドット積とバイアスとの和に基づく。

畳み込みカーネルは、ストライドと呼ばれるサイズによって入力信号（例えば、２Ｄ行列）に沿ってシフトすることができ、このようにして、畳み込み演算は、特徴マップ又は活性化マップ（例えば、他の２Ｄ行列）を生成し、次いで、特徴マップ又は活性化マップは、ＣＮＮ内の次の層の入力に寄与する。例えば、入力信号は、２５６×２５６個のサンプルを有する２Ｄ画像であり、ストライドは２サンプル（例えば、２のストライド）である。２のストライドについては、畳み込みカーネルは、Ｘ方向（例えば、水平方向）及び／又はＹ方向（例えば、垂直方向）に沿って２サンプルだけシフトする。

複数の畳み込みカーネルが、複数の特徴マップを夫々生成するために入力信号に同じ畳み込み層で適用され得る。このとき、各特徴マップは、入力信号の特定の特徴を表すことができる。一般に、Ｎ個のチャネル（つまり、Ｎ個の畳み込みカーネル）を有し、各畳み込みカーネルがＭ×Ｍ個のサンプルを有する畳み込み層と、ストライドＳとは、Ｃｏｎｖ：ＭｘＭ ｃＮ ｓＳと指定され得る。例えば、１９２個のチャネルを有し、各畳み込みカーネルが５×５個のサンプルを有する畳み込み層と、２のストライドとは、Ｃｏｎｖ：５ｘ５ ｃ１９２ ｓ２と指定される。隠れ層は、２Ｄ逆畳み込みなどの逆畳み込みを実行する逆畳み込み層（例えば、デコーダで使用される。）を含むことができる。逆畳み込みは、畳み込みの逆である。１９２個のチャネルを有し、各逆畳み込みカーネルが５×５個のサンプルを有する逆畳み込み層と、２のストライドとは、ＤｅＣｏｎｖ：５ｘ５ ｃ１９２ ｓ２と指定される。

様々な実施形態において、ＣＮＮには次の利点がある。ＣＮＮの学習可能なパラメータ（つまり、訓練されるべきパラメータ）の数は、フィードフォワードＤＮＮなどのＤＮＮの学習可能なパラメータ数よりも大幅に少なくなる。ＣＮＮでは、比較的に多数のノードが同じフィルタ（例えば、同じ重み）及び同じバイアス（バイアスが使用される場合）を共有することができるので、メモリフットプリントは、同じフィルタを共有する全ての受容野にわたって単一のバイアス及び重みの単一のベクトルが使用可能であるから、小さくされ得る。例えば、入力信号が１００×１００個のサンプルを有する場合に、畳み込みカーネルが５×５個のサンプルを有する畳み込み層は、２５個の学習可能なパラメータ（例えば、重み）を有する。バイアスが使用される場合に、１つのチャネルは２６個の学習可能なパラメータ（例えば、２５個の重みと１つのバイアス）を使用する。畳み込み層がＮ個のチャネルを有する場合に、学習可能なパラメータの合計は２６×Ｎ個である。他方でＤＮＮ内の全結合層については、１００×１００（つまり、１００００）個の重みが、次の層の各ノードに使用される。次の層がＬ個のノードを有する場合に、学習可能なパラメータの合計は１００００×Ｌ個である。

ＣＮＮは、プーリング層１つの層のあらゆるノードを他の層のあらゆるノードへ連結することができる全結合層、正規化層、及び／又は同様のもの、のような１つ以上の他の層を更に含むことができる。ＣＮＮ内の層は、如何なる適切な順序でも、如何なる適切なアーキテクチャ（例えば、フィードフォワードアーキテクチャ、回帰型アーキテクチャ）でも配置可能である。例において、畳み込み層は、プーリング層、全結合層、正規化層、及び／又は同様のものが後に続く。

プーリング層は、１つの層の複数のノードからの出力を次の層の単一のノードに結合することによって、データの次元を削減するために使用され得る。入力として特徴マップを有するプーリング層のプーリング動作は、以下で説明される。説明は、他の入力信号に適切に適応可能である。特徴マップは、サブ領域（例えば、長方形サブ領域）に分割可能であり、各々のサブ領域内の特徴は、例えば、平均プーリング（average pooling）における平均値又は最大値プーリング（max pooling）における最大値をとることによって、独立して単一の値にダウンサンプリング可能である。

プーリング層は、局所的プーリング（local pooling）、大域的プーリング（global pooling）、最大値プーリング、平均プーリング、及び／又は同様のものを実行することができる。プーリングは、非線形ダウンサンプリングの一種である。局所的プーリングは、特徴マップ内の少数のノード（例えば、２×２個のノードといった、ノードの局所クラスタ）を結合する。大域的プーリングは、例えば、特徴マップの全てのノードを結合することができる。

プーリング層は、表現のサイズを低減することができるので、パラメータの数、メモリフットプリント、及びＣＮＮでの計算の量を低減することができる。例において、プーリング層は、ＣＮＮ内の連続した畳み込み層の間に挿入される。例において、プーリング層は、正規化線形ユニット（rectified linear unit、ＲｅＬＵ）層などの活性化関数が後に続く。例において、プーリング層は、ＣＮＮ内の連続した畳み込み層の間で省略される。

正規化層はＲｅＬＵ、Ｌｅａｋｙ ＲｅＬＵ、一般化分割正規化（generalized divisive normalization，ＧＤＮ）、逆ＧＤＮ（ＩＧＤＮ）、などであることができる。ＲｅＬＵは、負値をゼロにセットすることによって特徴マップなどの入力信号から負値を除くよう非飽和活性化関数を適用することができる。Ｌｅａｋｙ ＲｅＬＵは、平らな傾き（例えば、０）の代わりに負値に対して小さい傾き（例えば、０．０１）を有することができる。従って、値ｘが０よりも大きい場合には、Ｌｅａｋｙ ＲｅＬＵからの出力はｘである。そうでない場合には、Ｌｅａｋｙ ＲｅＬＵからの出力は、値ｘに小さい傾き（例えば、０．０１）を乗じたものである。例において、傾きは、訓練の前に決定されるので、訓練中は学習されない。

図９は、本開示の実施形態に従う例示的なＮＩＣフレームワーク（９００）（例えば、ＮＩＣシステム）を示す。ＮＩＣフレームワーク（９００）は、ＤＮＮ及び／又はＣＮＮなどのニューラルネットワークに基づくことができる。ＮＩＣフレームワーク（９００）は、画像を圧縮（例えば、エンコーディング）し、また、圧縮された画像（例えば、エンコーディングされた画像）を圧縮解除（例えば、デコーディング又は再構成）するために使用され得る。ＮＩＣフレームワーク（９００）は、２つのサブニューラルネットワーク、すなわち、ニューラルネットワークを用いて実装される第１サブＮＮ（９５１）及び第２サブＮＮ（９５３）を含むことができる。

第１サブＮＮ（９５１）は、オートエンコーダのようなものであることができ、入力画像の圧縮画像“ハット付きｘ”を生成し、また、圧縮画像“ハット付きｘ”を圧縮解除して再構成画像“バーｘ”を取得するよう訓練され得る。第１サブＮＮ（９５１）は、メインエンコーダニューラルネットワーク（又はメインエンコーダネットワーク）（９１１）、量子化器（９１２）、エントロピエンコーダ（９１３）、エントロピデコーダ（９１４）、及びメインデコーダニューラルネットワーク（又はメインデコーダネットワーク）（９１５）などの複数のコンポーネント（又はモジュール）を含むことができる。図９を参照すると、メインエンコーダネットワーク（９１１）は、入力画像ｘ（例えば、圧縮又はエンコーディングされる画像）からレイテント又はレイテント表現ｙを生成することができる。例において、メインエンコーダネットワーク（９１１）は、ＣＮＮを用いて実装される。レイテント表現ｙと入力画像ｘとの間の関係は、式２を用いて記述可能である。

ｙ＝ｆ_１（ｘ；θ_１） 式２

ここで、パラメータθ_１は、メインエンコーダネットワーク（９１１）の畳み込みカーネルで使用される重み、及びバイアス（バイアスがメインエンコーダネットワーク（９１１）で使用される場合）などの、パラメータを表す。

レイテント表現ｙは、量子化されたレイテント
（外５）

（“ハット付きｙ”）を生成するために量子化器（９１２）を用いて量子化され得る。量子化されたレイテント“ハット付きｙ”は、入力画像ｘの圧縮表現“ハット付きｘ”である圧縮された画像（例えば、エンコーディングされ画像）
（外６）

を生成するために、例えば、エントロピエンコーダ（９１３）による不可逆圧縮を用いて、圧縮され得る。エントロピエンコーダ（９１３）は、ハフマンコーディング、算術コーディング、などのようなエントロピコーディング技術を使用することができる。例において、エントロピエンコーダ（９１３）は算術エンコーディングを使用し、算術エンコーダである。例において、エンコーディングされた画像（９３１）は、コーディングされたビットストリームで伝送される。

エンコーディングされた画像（９３１）は、出力を生成するようエントロピデコーダ（９１４）によって圧縮解除（例えば、エントロピデコーディング）され得る。エントロピデコーダ（９１４）は、エントロピエンコーダ（９１３）で使用されるエントロピエンコーディング技術に対応する、ハフマンコーディング、算術コーディング、などのようなエントロピコーディング技術を使用することができる。例において、エントロピデコーダ（９１４）は算術デコーディングを使用し、算術デコーダである。例において、不可逆圧縮がエントロピエンコーダ（９１３）で使用され、不可逆圧縮解除がエントロピデコーダ（９１４）で使用され、例えば、エンコーディングされた画像（９３１）の伝送による、ノイズは省くことができ、エントロピデコーダ（９１４）からの出力は、量子化されたレイテント“ハット付きｙ”である。

メインデコーダネットワーク（９１５）は、再構成された画像“バーｘ”を生成するよう、量子化されたレイテント“ハット付きｙ”をデコーディングすることができる。例において、メインデコーダネットワーク（９１５）は、ＣＮＮを用いて実装される。再構成された画像“バーｘ”（すなわち、メインデコーダネットワーク（９１５）の出力）と量子化されたレイテント“ハット付きｙ”（すなわち、メインデコーダネットワーク（９１５）の入力）との間の関係は、式３を用いて記述可能である。

ここで、パラメータθ_２は、メインデコーダネットワーク（９１５）の畳み込みカーネルで使用される重み、及びバイアス（バイアスがメインデコーダネットワーク（９１５）で使用される場合）などの、パラメータを表す。よって、第１サブＮＮ（９５１）は、入力画像ｘを圧縮（例えば、エンコーディング）して、エンコーディングされた画像（９３１）を取得し、また、エンコーディングされた画像（９３１）を圧縮解除（例えば、デコーディング）して、再構成された画像“バーｘ”を取得することができる。再構成された画像“バーｘ”は、量子化器（９１２）によって導入された量子化損失に起因して、入力画像ｘとは異なる可能性がある。

第２サブＮＮ（９５２）は、エントロピコーディングのために使用される量子化されたレイテント“ハット付きｙ”に対するエントロピモデル（例えば、事前確率モデル（prior probabilistic model））を学習することができる。よって、エントロピモデルは、条件付きエントロピモデル、例えば、混合ガウスモデル（Gaussian mixture model，ＧＭＭ）や、入力画像ｘに依存するガウススケールモデル（Gaussian scale model，ＧＳＭ）であることができる。第２サブＮＮ（９５２）は、コンテキストモデルＮＮ（９１６）、エントロピパラメータＮＮ（９１７）、ハイパーエンコーダ（９２１）、量子化器（９２２）、エントロピエンコーダ（９２３）、エントロピデコーダ（９２４）、及びハイパーデコーダ（９２５）を含むことができる。コンテキストモデルＮＮ（９１６）で使用されるエントロピモデルは、レイテント（例えば、量子化されたレイテント“ハット付きｙ”）に対する自己回帰モデル（autoregressive model）であることができる。例において、ハイパーエンコーダ（９２１）、量子化器（９２２）、エントロピエンコーダ（９２３）、エントロピデコーダ（９２４）、及びハイパーデコーダ（９２５）は、ハイパーニューラルネットワーク（例えば、ハイパープライアＮＮ）を形成する。ハイパーニューラルネットワークは、コンテキストに基づいた予測を正すのに有用な情報を表すことができる。コンテキストモデルＮＮ（９１６）及びハイパーニューラルネットワークからのデータは、エントロピパラメータＮＮ（９１７）によって結合され得る。エントロピパラメータＮＮ（９１７）は、条件付きガウスエントロピモデル（例えば、ＧＭＭ）などのエントロピモデルのための平均及びスケールパラメータなどのパラメータを生成することができる。

図９を参照すると、エンコーダ側で、量子化器（９１２）からの量子化されたレイテント“ハット付きｙ”は、コンテキストモデルＮＮ（９１６）に供給される。デコーダ側で、エントロピデコーダ（９１４）からの量子化されたレイテント“ハット付きｙ”は、コンテキストモデルＮＮ（９１６）に供給される。コンテキストモデルＮＮ（９１６）は、ＣＮＮなどのニューラルネットワークを用いて実装され得る。コンテキストモデルＮＮ（９１６）は、コンテキストモデルＮＮ（９１６）が利用できる量子化されたレイテント“ハット付きｙ”であるコンテキスト
（外７）

（“ハット付きｙ_＜ｉ”）に基づき、出力ｏ_ｃｍ，ｉを生成することができる。コンテキスト“ハット付きｙ_＜ｉ”は、エンコーダ側での前に量子化されたレイテント、又はデコーダ側での前にエントロピデコーディングされた量子化されたレイテントを含むことができる。出力ｏ_ｃｍ，ｉとコンテキストモデルＮＮ（９１６）の入力（例えば、“ハット付きｙ_＜ｉ”）との間の関係は、式４を用いて記述可能である。

ここで、パラメータθ_３は、コンテキストモデルＮＮ（９１６）の畳み込みカーネルで使用される重み、及びバイアス（バイアスがコンテキストモデルＮＮ（９１６）で使用される場合）などの、パラメータを表す。

コンテキストモデルＮＮ（９１６）からの出力ｏ_ｃｍ，ｉ及びハイパーデコーダ（９２５）からの出力ｏ_ｈｃは、出力_ｅｐを生成するようエントロピパラメータＮＮ（９１７）に供給される。エントロピパラメータＮＮ（９１７）は、ＣＮＮなどのニューラルネットワークを用いて実装され得る。出力ｏ_ｅｐとエントロピパラメータＮＮ（９１７）の入力（例えばｏ_ｃｍ，ｉ及びｏ_ｈｃ）との間の関係は、式５を用いて記述可能である。

ｏ_ｅｐ＝ｆ_４（ｏ_ｃｍ，ｉ，ｏ_ｈｃ；θ_４） 式５

ここで、パラメータθ_４は、エントロピパラメータＮＮ（９１７）の畳み込みカーネルで使用される重み、及びバイアス（バイアスがエントロピパラメータＮＮ（９１７）で使用される場合）などの、パラメータを表す。エントロピパラメータＮＮ（９１７）の出力ｏ_ｅｐは、エントロピモデルを決定する（例えば、条件付ける）際に使用可能であるから、条件付きエントロピモデルは、例えば、ハイパーデコーダ（９２５）からの出力ｏ_ｈｃを介して、入力画像ｘに依存することができる。例において、出力ｏ_ｅｐは、エントロピモデル（例えば、ＧＭＭ）を条件付けるために使用される平均及びスケールパラメータなどのパラメータを含む。図９を参照すると、エントロピモデル（例えば、条件付きエントロピモデル）は、エントロピコーディング及びエントロピデコーディングにおいて夫々、エントロピエンコーダ（９１３）及びエントロピデコーダ（９１４）によって用いられ得る。

第２サブＮＮ（９５２）は、以下で説明され得る。レイテントｙは、ハイパーレイテントｚを生成するためにハイパーエンコーダ（９２１）に供給され得る。例において、ハイパーエンコーダ（９２１）は、ＣＮＮなどのニューラルネットワークを用いて実装される。ハイパーレイテントｚとレイテントｙとの間の関係は、式６を用いて記述可能である。

ｚ＝ｆ_５（ｙ；θ_５） 式６

ここで、パラメータθ_５は、ハイパーエンコーダ（９２１）の畳み込みカーネルで使用される重み、及びバイアス（バイアスがハイパーエンコーダ（９２１）で使用される場合）などの、パラメータを表す。

ハイパーレイテントｚは、量子化されたレイテント
（外８）

（“ハット付きｚ”）を生成するよう量子化器（９２２）によって量子化される。量子化されたレイテント“ハット付きｚ”は、ハイパーニューラルネットワークからのエンコーディングされたビット（９３２）などのサイド情報を生成するよう、例えば、エントロピエンコーダ（９２３）による不可逆圧縮を用いて、圧縮され得る。エントロピエンコーダ（９２３）は、ハフマンコーディング、算術コーディング、などのようなエントロピコーディング技術を使用することができる。例において、エントロピエンコーダ（９２３）は算術エンコーディングを使用し、算術エンコーダである。例において、エンコーディングされたビット（９３２）などのサイド情報は、例えば、エンコーディングされた画像（９３１）とともに、コーディングされたビットストリームで伝送され得る。

エンコーディングされたビット（９３２）などのサイド情報は、出力を生成するようエントロピデコーダ（９２４）によって圧縮解除（例えば、エントロピデコーディング）され得る。エントロピデコーダ（９２４）は、ハフマンコーディング、算術コーディング、などのようなエントロピコーディング技術を使用することができる。例において、エントロピデコーダ（９２４）は算術デコーディングを使用し、算術デコーダである。例において、不可逆圧縮がエントロピエンコーダ（９２３）で使用され、不可逆圧縮解除がエントロピデコーダ（９２４）で使用され、例えば、サイド情報の伝送による、ノイズは、省くことができ、エントロピデコーダ（９２４）からの出力は、量子化されたレイテント“ハット付きｚ”であることができる。ハイパーデコーダ（９２５）は、出力ｏ_ｈｃを生成するよう、量子化されたレイテント“ハット付きｚ”をデコーディングすることができる。出力ｏ_ｈｃと量子化されたレイテント“ハット付きｚ”との間の関係は、式７を用いて記述可能である。

ここで、パラメータθ_６は、ハイパーデコーダ（９２５）の畳み込みカーネルで使用される重み、及びバイアス（バイアスがハイパーデコーダ（９２５）で使用される場合）などの、パラメータを表す。

上述されたように、圧縮又はエンコーディングされたビット（９３２）は、サイド情報として、コーディングされたビットストリームに加えられ得る。これにより、エントロピデコーダ（９１４）は条件付きエントロピモデルを使用できるようになる。よって、エントロピモデルは、画像に依存し、空間的に適応することができるので、固定エントロピモデルよりも正確であることができる。

ＮＩＣフレームワーク（９００）は、例えば、図９に示されている１つ以上のコンポーネントを省略するよう、図９に示されている１つ以上のコンポーネントを変更するよう、及び／又は図９に示されていない１つ以上のコンポーネントを含めるよう、適切に適応され得る。例において、固定エントロピモデルを使用するＮＩＣフレームワークは第１サブＮＮ（９５１）を含み、第２サブＮＮ（９５２）を含まない。例において、ＮＩＣフレームワークは、エントロピエンコーダ（９２３）及びエントロピデコーダ（９２４）を除いて、ＮＩＣフレームワーク（９００）のコンポーネントを含む。

実施形態において、図９に示されているＮＩＣフレームワーク（９００）の１つ以上の他のコンポーネントは、ＣＮＮなどのニューラルネットワークを用いて実装される。ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内の夫々のＮＮベースのコンポーネント（例えば、メインエンコーダネットワーク（９１１）、メインデコーダネットワーク（９１５）、コンテキストモデルＮＮ（９１６）、エントロピパラメータＮＮ（９１７）、ハイパーエンコーダ（９２１）、又はハイパーデコーダ（９２５））は、如何なる適切なアーキテクチャも含むことができ（例えば、如何なる適切な組み合わせの層も有することができ）、如何なる適切なタイプのパラメータ（例えば、重み、バイアス、重みとバイアスとの組み合わせ、及び／又は同様のもの）も含むことができ、如何なる適切な数のパラメータも含むことができる。

実施形態において、メインエンコーダネットワーク（９１１）、メインデコーダネットワーク（９１５）、コンテキストモデルＮＮ（９１６）、エントロピパラメータＮＮ（９１７）、ハイパーエンコーダ（９２１）、及びハイパーデコーダ（９２５）は、各々のＣＮＮを用いて実装される。

図１０は、本開示の実施形態に従うメインエンコーダネットワーク（９１１）の例示的なＣＮＮを示す。例えば、メインエンコーダネットワーク（９１１）は、４組の層を含み、層の各組は、ＧＮＤ層が後に続く畳み込み層５×５ ｃ１９２ ｓ２を含む。図１０に示される１つ以上の層は変更及び／又は省略され得る。追加の層が、メインエンコーダネットワーク（９１１）に追加可能である。

図１１は、本開示の実施形態に従うメインデコーダネットワーク（９１５）の例示的なＣＮＮを示す。例えば、メインデコーダネットワーク（９１５）は、３組の層を含み、層の各組は、ＩＧＮＤ層が後に続く逆畳み込み層５×５ ｃ１９２ ｓ２を含む。更に、３組の層の後には、逆畳み込み層５×５ ｃ３ ｓ２が続き、その後にＩＧＤＮ層が続く。図１１に示される１つ以上の層は変更及び／又は省略され得る。追加の層が、メインデコーダネットワーク（９１５）に追加可能である。

図１２は、本開示の実施形態に従うハイパーエンコーダ（９２１）の例示的なＣＮＮを示す。例えば、ハイパーエンコーダ（９２１）は、Ｌｅａｋｙ ＲｅＬＵが後に続く畳み込み層３×３ ｃ１９２ ｓ１と、Ｌｅａｋｙ ＲｅＬＵが後に続く畳み込み層５×５ ｃ１９２ ｓ２と、畳み込み層５×５ ｃ１９２ ｓ２とを含む。図１２に示される１つ以上の層は、変更及び／又は省略され得る。追加の層が、ハイパーエンコーダ（９２１）に追加可能である。

図１３は、本開示の実施形態に従うハイパーデコーダ（９２５）の例示的なＣＮＮを示す。例えば、ハイパーデコーダ（９２５）は、Ｌｅａｋｙ ＲｅＬＵが後に続く逆畳み込み層５×５ ｃ１９２ ｓ２と、Ｌｅａｋｙ ＲｅＬＵが後に続く逆畳み込み層５×５ ｃ１８８ ｓ２と、逆畳み込み層３×３ ｃ３８４ ｓ１とを含む。図１３に示される１つ以上の層は、変更及び／又は省略され得る。追加の層が、ハイパーデコーダ（９２５）に追加可能である。

図１４は、本開示の実施形態に従うコンテキストモデルＮＮ（９１６）の例示的なＣＮＮを示す。例えば、コンテキストモデルＮＮ（９１６）は、コンテキスト予測のためのマスク付き畳み込み（masked convolution）５×５ ｃ３８４ ｓ１を含むので、式４のコンテキスト“ハット付きｙ_＜ｉ”は有限なコンテキスト（例えば、５×５畳み込みカーネル）を含む。図１４の畳み込み層は変更可能である。追加の層が、コンテキストモデルＮＮ（９１６）に追加可能である。

図１５は、本開示の実施形態に従うエントロピパラメータＮＮ（９１７）の例示的なＣＮＮを示す。例えば、エントロピパラメータＮＮ（９１７）は、Ｌｅａｋｙ ＲｅＬＵが後に続く畳み込み層１×１ ｃ６４０ ｓ１と、Ｌｅａｋｙ ＲｅＬＵが後に続く畳み込み層１×１ ｃ５１２ ｓ１と、畳み込み層１×１ ｃ３８４ ｓ１とを含む。図１５に示される１つ以上の層は、変更及び／又は省略され得る。追加の層が、エントロピパラメータＮＮ（９１７）に追加可能である。

ＮＩＣフレームワーク（９００）は、図１０～１５を参照して説明されているＣＮＮを用いて実装可能である。ＮＩＣフレームワーク（９００）は、ＮＩＣフレームワーク（９００）の１つ以上のコンポーネント（例えば、（９１１）、（９１５）、（９１６）、（９１７）、（９２１）、及び／又は（９２５））が如何なる適切なタイプのニューラルネットワーク（例えば、ＣＮＮ又は非ＣＮＮベースのニューラルネットワーク）を用いても実装されるように、適切に適応され得る。ＮＩＣフレームワーク（９００）の１つ以上の他のコンポーネントは、ニューラルネットワークを用いて実装され得る。

ニューラルネットワーク（例えば、ＣＮＮ）を含むＮＩＣフレームワーク（９００）は、ニューラルネットワークで使用されるパラメータを学習するよう訓練され得る。例えば、ＣＮＮが使用される場合に、メインエンコーダネットワーク（９１１）の畳み込みカーネルで使用される重み及びバイアス（バイアスがメインエンコーダネットワーク（９１１）で使用される場合）、メインデコーダネットワーク（９１５）の畳み込みカーネルで使用される重み及びバイアス（バイアスがメインデコーダネットワーク（９１５）で使用される場合）、ハイパーエンコーダ（９２１）の畳み込みカーネルで使用される重み及びバイアス（バイアスがハイパーエンコーダ（９２１）で使用される場合）、ハイパーデコーダ（９２５）の畳み込みカーネルで使用される重み及びバイアス（バイアスがハイパーデコーダ（９２５）で使用される場合）、コンテキストモデルＮＮ（９１６）の畳み込みカーネルで使用される重み及びバイアス（バイアスがコンテキストモデルＮＮ（９１６）で使用される場合）、並びにエントロピパラメータＮＮ（９１７）の畳み込みカーネルで使用される重み及びバイアス（バイアスがエントロピパラメータＮＮ（９１７）で使用される場合）、などの、夫々θ_１～θ_６によって表されるパラメータは、訓練プロセスで学習され得る。

例において、図１０を参照すると、メインエンコーダネットワーク（９１１）は４つの畳み込み層を含み、各畳み込み層は、５×５の畳み込みカーネル及び１９２個のチャネルを有する。よって、メインエンコーダネットワーク（９１１）の畳み込みカーネルで静養される重みの数は１９２００（つまり、４×５×５×１９２）である。メインエンコーダネットワーク（９１１）で使用されるパラメータは１９２００個の重み及び任意のバイアスを含む。バイアス及び／又は追加のＮＮがメインエンコーダネットワーク（９１１）で使用される場合には、追加のパラメータが含まれ得る。

図９を参照すると、ＮＩＣフレームワーク（９００）は、ニューラルネットワークで構築された少なくとも１つのコンポーネント又はモジュールを含む。少なくとも１つのコンポーネントは、メインエンコーダネットワーク（９１１）、メインデコーダネットワーク（９１５）、ハイパーエンコーダ（９２１）、ハイパーデコーダ（９２５）、コンテキストモデルＮＮ（９１６）、及びエントロピパラメータＮＮ（９１７）のうちの１つ以上を含むことができる。少なくとも１つのコンポーネントは個々に訓練可能である。例において、訓練プロセスは、コンポーネントごとに別々にパラメータを学習するために使用される。少なくとも１つのコンポーネントは、グループとして一緒に訓練可能である。例において、訓練プロセスは、少なくとも１つのコンポーネントのサブセットについて一緒にパラメータを学習するために使用される。例において、訓練プロセスは、少なくとも１つのコンポーネントの全てについてパラメータを学習するために使用され、よって、Ｅ２Ｅ最適化と呼ばれる。

ＮＩＣフレームワーク（９００）内の１つ以上のコンポーネントのための訓練プロセスでは、１つ以上のコンポーネントの重み（又は重み係数）は初期化され得る。例において、重みは、事前学習済みの対応するニューラルネットワークモデル（例えば、ＤＮＮモデル、ＣＮＮモデル）に基づき初期化される。例において、重みは、重みを乱数にセットすることによって初期化される。

例えば、重みが初期化された後で、訓練画像の組が、１つ以上のコンポーネントを訓練するために用いられ得る。訓練画像の組は、任意の適切なサイズを有している如何なる適切な画像も含むことができる。いくつかの例において、訓練画像の組は、空間領域内にあるロー（raw）画像、自然画像、コンピュータにより生成された画像、及び／又は同様のものを含む。いくつかの例において、訓練画像の組は、空間領域内の残差データを有する残留画像を含む。残差データは、残差計算部（例えば、残差計算部（７２３））によって計算される。いくつかの例において、訓練画像の組に含まれる訓練画像（例えば、ロー画像及び／又は残差データを含む残留画像）は、適切なサイズを有するブロックに分割され得、ブロック及び／又は画像は、ＮＩＣフレームワークのニューラルネットワークを訓練するために使用され得る。よって、ロー画像、残留画像、ロー画像からのブロック、及び／又は残留画像からのブロックは、ＮＩＣフレームワークのニューラルネットワークを訓練するために使用され得る。

簡潔さのために、以下の訓練プロセスは、例として訓練画像を用いて説明される。説明は、訓練ブロックに適切に適応され得る。訓練画像の組の訓練画像ｔは、圧縮表現（例えば、ビットストリームに対するエンコーディングされた情報）を生成するために、図９のエンコーディングプロセスを通され得る。エンコーディングされた情報は、再構成画像
（外９）

（“バーｔ”）を計算及び再構成するために、図９で説明されたデコーディングプロセスを通され得る。

ＮＩＣフレームワーク（９００）については、２つの矛盾する目標、例えば、再構成品質とビット計算、がバランスをとられている。品質損失関数（例えば、ひずみ又はひずみ損失）
（外１０）

は、再構成（例えば、再構成画像“バーｔ”）と原画像（例えば、訓練画像ｔ）との間の差などの再構成品質を示すために使用され得る。レート（又はレート損失）Ｒは、圧縮表現のビット消費を示すために使用され得る。例において、レート損失Ｒは、例えば、コンテキストモデルを決定する際に使用されるサイド情報を更に含む。

ニューラル画像圧縮については、量子化のための微分近似（differentiable approximations）がＥ２Ｅ最適化において使用可能である。様々な例において、ニューラルネットワークに基づいた画像圧縮の訓練プロセスで、ノイズ注入（例えば、ノイズを加えること）が、量子化をシミュレートするために使用され、よって、量子化は、量子化器（例えば、量子化器（９１２））によって実行されるのではなく、ノイズ注入によってシミュレートされる。例において、ノイズ注入モジュールがノイズ注入を実行することができる。よって、ノイズ注入を伴った訓練は、量子化誤差を変動的に近似することができる。ビット・パー・ピクセル（bits per pixel，ＢＰＰ）推定器は、エントロピコーダをシミュレートするために使用され得、よって、エントロピコーディングは、エントロピエンコーダ（例えば、（９１３））及びエントロピデコーダ（例えば、（９１４））によって実行されるのではなく、ＢＰＰ推定器によってシミュレートされる。図９を参照すると、ＮＩＣフレームワーク（９００）は、エントロピコーダをシミュレートするための推定器及びノイズ注入が用いられる訓練プロセスで適応され得る。例えば、訓練プロセス中、量子化器（９１２）、エントロピエンコーダ（９１３）、及びエントロピデコーダ（９１４）は、ＮＩＣフレームワーク（９００）において、例えば、ノイズ注入モジュール及びＢＰＰ推定器によって夫々置換され得る。

従って、式１で示される損失関数Ｌのレート損失Ｒは、訓練プロセス中に、例えば、ノイズ注入及びＢＰＰ推定器に基づき、推定可能である。一般に、より高いレートＲは、より低いひずみＤを可能にすることができ、より低いレートＲは、より高いひずみＤＮＮモデルをもたらすことができる。よって、式１のトレードオフハイパーパラメータλは、結合Ｒ－Ｄ損失Ｌを最適化するために使用可能であり、λＤ及びＲの和としてのＬは、最適化され得る。訓練プロセスは、結合Ｒ－Ｄ損失Ｌが最小化又は最適化されるように、ＮＩＣフレームワーク（９００）の１つ以上のコンポーネント（例えば、（９１１）、（９１５））のパラメータを調整するために使用され得る。

様々なモデルが、ひずみ損失Ｄ及びレート損失Ｒを決定するために、よって、式１の結合Ｒ－Ｄ損失Ｌを決定するために、使用可能である。例において、ひずみ損失
（外１１）

は、平均二乗誤差、マルチスケール構造的類似性（multiscale structural similarity，ＭＳ－ＳＳＩＭ）品質インデックス、ピーク信号対ノイズ比（peak signal-to-noise ratio，ＰＳＮＲ）及びＭＳ－ＳＳＩＭの加重結合、などに基づいたメトリックであるＰＳＮＲとして表現される。

例において、訓練プロセスの目標は、エンコーダ側で使用されるビデオエンコーダなどのエンコーディングニューラルネットワーク（例えば、エンコーディングＤＮＮ）、及びデコーダ側で使用されるビデオデコーダなどのデコーディングニューラルネットワーク（例えば、デコーディングＤＮＮ）を訓練することである。例において、図９を参照すると、エンコーディングニューラルネットワークは、メインエンコーダネットワーク（９１１）、ハイパーエンコーダ（９２１）、ハイパーデコーダ（９２５）、コンテキストモデルＮＮ（９１６）、及びエントロピパラメータＮＮ（９１７）を含むことができる。デコーディングニューラルネットワークは、メインデコーダネットワーク（９１５）、ハイパーデコーダ（９２５）、コンテキストモデルＮＮ（９１６）、及びエントロピパラメータＮＮ（９１７）を含むことができる。ビデオエンコーダ及び／又はビデオデコーダは、ＮＮに基づく他のコンポーネント及び／又はＮＮに基づかない他のコンポーネントを含むことができる。

ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））は、Ｅ２Ｅ形式で訓練され得る。例において、エンコーディングニューラルネットワーク及びデコーディングニューラルネットワークは、Ｅ２Ｅ形式で誤差逆伝播法勾配（backpropagated gradient）に基づき訓練プロセスで一緒に更新される。例において、勾配は、ＮＩＣフレームワークの訓練されるべきパラメータ（例えば、重み及び／又はバイアス）に関してＲ－Ｄ損失の勾配を含む。

ＮＩＣフレームワーク（９００）のニューラルネットワークのパラメータが訓練された後、ＮＩＣフレームワーク（９００）の１つ以上のコンポーネントは、画像をエンコーディング及び／又はデコーディングするために使用され得る。実施形態において、エンコーダ側で、ビデオエンコーダは、入力画像ｘを、ビットストリームで送信されるエンコーディングされた画像（９３１）にエンコーディングするよう構成される。ビデオエンコーダは、ＮＩＣフレームワーク（９００）の複数のコンポーネントを含むことができる。実施形態において、デコーダ側で、対応するビデオデコーダは、ビットストリーム内のエンコーディングされた画像を、再構成画像“バーｘ”にデコーディングするよう構成される。ビデオデコーダは、ＮＩＣフレームワーク（９００）の複数のコンポーネントを含むことができる。

例において、ビデオエンコーダは、例えば、コンテンツ適応型のオンライン訓練が用いられる場合に、ＮＩＣフレームワーク（９００）の全てのコンポーネントを含む。

図１６Ａは、本開示の実施形態に従う例示的なビデオエンコーダ（１６００Ａ）を示す。ビデオエンコーダ（１６００Ａ）は、図９を参照して説明されているメインエンコーダネットワーク（９１１）、量子化器（９１２）、エントロピエンコーダ（９１３）、及び第２サブＮＮ（９５２）を含み、詳細な説明は、簡潔さのために省略される。図１６Ｂは、本開示の実施形態に従う例示的なビデオデコーダ（１６００Ｂ）を示す。ビデオデコーダ（１６００Ｂ）は、ビデオエンコーダ（１６００Ａ）に対応することができる。ビデオデコーダ（１６００Ｂ）は、メインデコーダネットワーク（９１５）、エントロピデコーダ（９１４）、コンテキストモデルＮＮ（９１６）、エントロピパラメータＮＮ（９１７）、エントロピデコーダ（９２４）、及びハイパーデコーダ（９２５）を含むことができる。図１６Ａ～１６Ｂを参照すると、エンコーダ側で、ビデオエンコーダ（１６００Ａ）は、ビットストリームで送信されるエンコーディングされた画像（９３１）及びエンコーディングされたビット（９３２）を生成することができる。デコーダ側で、ビデオデコーダ（１６００Ｂ）は、エンコーディングされた画像（９３１）及びエンコーディングされたビット（９３２）を受信しデコーディングすることができる。

図１７～１８は、本開示の実施形態に従う例示的なビデオエンコーダ（１７００）及び対応するビデオデコーダ（１８００）を夫々示す。図１７を参照すると、エンコーダ（１７００）は、メインエンコーダネットワーク（９１１）、量子化器（９１２）、及びエントロピエンコーダ（９１３）を含む。メインエンコーダネットワーク（９１１）、量子化器（９１２）、及びエントロピエンコーダ（９１３）の例は、図９を参照して説明されている。図１８を参照ると、ビデオデコーダ（１８００）は、メインデコーダネットワーク（９１５）及びエントロピデコーダ（９１４）を含む。メインデコーダネットワーク（９１５）及びエントロピデコーダ（９１４）の例は、図９を参照して説明されている。図１７及び１８を参照すると、ビデオエンコーダ（１７００）は、ビットストリームで送信されるエンコーディングされた画像（９３１）を生成することができる。ビデオデコーダ（１８００）は、エンコーディングされた画像（９３１）を受信しデコーディングすることができる。

ＩＩＩ．ビデオコーディングにおけるコンテンツ適応オンライン訓練
ＮＩＣフレームワーク（９００）は、ＣＮＮ、ＤＮＮ、及び／又は同様のものなどのニューラルネットワークに基づくことができる。例えば、ＮＩＣフレームワーク（９００）の１つ以上のコンポーネント（例えば、メインエンコーダネットワーク（９１１））はニューラルネットワークを含むことができる。ニューラルネットワークは、重み、バイアス、及び同様のものなどのパラメータによって指定され得る。

上述されたように、ビデオエンコーダ及びビデオデコーダを含むＮＩＣフレームワーク（９００）は、訓練画像の組に含まれる画像及び／又はブロックに基づき訓練され得る。いくつかの例において、圧縮（例えば、エンコーディング）及び／又は送信される１つ以上の画像は、訓練画像の組とは大きく異なる特性を有している。よって、訓練画像の組に基づいて訓練されたビデオエンコーダ及びビデオデコーダを夫々用いて１つ以上の画像をエンコーディング及びデコーディングすることは、比較的に悪いＲ－Ｄ損失Ｌ（例えば、比較的に大きいひずみ及び／又は比較的に大きいビットレート）をもたらす可能性がある。従って、本開示の態様は、ＮＩＣのためのコンテンツ適応型のオンライン訓練について記載する。

訓練画像の組に基づいた訓練プロセスと、圧縮（例えば、エンコーディング）及び／又は送信される１つ以上の画像に基づいたコンテンツ適応型のオンライン訓練とを区別するために、訓練画像の組によって訓練されているＮＩＣフレームワーク（９００）、ビデオエンコーダ、及びビデオデコーダは、夫々、事前学習済みＮＩＣフレームワーク（９００）、事前学習済みビデオエンコーダ、及び事前学習済みビデオデコーダと呼ばれる。事前学習済みＮＩＣフレームワーク（９００）、事前学習済みビデオエンコーダ、又は事前学習済みビデオデコーダのパラメータは、夫々、ＮＩＣ事前学習済みパラメータ、エンコーダ事前学習済みパラメータ、及びデコーダ事前学習済みパラメータと呼ばれる。例において、ＮＩＣ事前学習済みパラメータは、エンコーダ事前学習済みパラメータ及びデコーダ事前学習済みパラメータを含む。例において、エンコーダ事前学習済みパラメータ及びデコーダ事前学習済みパラメータは重なり合わず、このとき、エンコーダ事前学習済みパラメータのどれもデコーダ事前学習済みパラメータに含まれない。例えば、（１７００）のエンコーダ事前学習済みパラメータ（例えば、メインエンコーダネットワーク（９１１）の事前学習済みパラメータ）及び（１８００）のデコーダ事前学習済みパラメータ（例えば、メインデコーダネットワーク（９１５）の事前学習済みパラメータ）は重なり合わない。例において、エンコーダ事前学習済みパラメータ及びデコーダ事前学習済みパラメータは重なり合い、このとき、エンコーダ事前学習済みパラメータの少なくとも１つはデコーダ事前学習済みパラメータに含まれる。例えば、（１６００Ａ）のエンコーダ事前学習済みパラメータ（例えば、コンテキストモデルＮＮ（９１６）の事前学習済みパラメータ）及び（１６００Ｂ）のデコーダ事前学習済みパラメータ（例えば、コンテキストモデルＮＮ（９１６）の事前学習済みパラメータ）は重なり合う。ＮＩＣ事前学習済みパラメータは、訓練画像の組に含まれるブロック及び／又は画像に基づき取得され得る。

コンテンツ適応型のオンライン訓練は、ファインチューニング（finetuning）プロセスと呼ばれることがある。タイプＩのコンテンツ適応オンライン訓練プロセスでは、本開示で記載されているコンテンツ適応オンライン訓練プロセスは、スケーリング係数及び／又はオフセットなどの１つ以上の変更パラメータを決定（例えば、訓練）するために実装され得る。１つ以上の変更パラメータの夫々は、ＮＩＣフレームワーク（９００）で使用される事前学習された重みの組、事前学習されたバイアスの組、又は重み及びバイアスの組などのＮＩＣ事前学習済みパラメータに含まれる事前学習パラメータの組（例えば、複数の事前学習パラメータ）を変更することができる。事前学習済みパラメータの組は、変更パラメータに基づいて同じ方法を用いて更新され得る。例において、変更パラメータは、事前学習済みパラメータの組を変更するスケーリング係数である。このようにして、置換パラメータの組が、スケーリング係数に基づいて事前学習済みパラメータの組を乗算することによって生成され得る。例えば、事前学習済みパラメータの組は、同じスケーリング係数を乗じられ得る。ＮＩＣフレームワークの事前学習済みパラメータの組は、ＮＩＣフレームワークを更新するよう、置換パラメータの組によって夫々置換され得る。

タイプＩＩのコンテンツ適応オンライン訓練プロセスでは、コンテンツ適応オンライン訓練プロセスは、ＮＩＣ事前学習済みパラメータの１つ以上の事前学習パラメータを訓練（例えば、更新）するよう実装され得る。１つ以上の事前学習パラメータは、ＮＩＣフレームワーク（９００）で使用される事前学習された重み及び／又は事前学習されたバイアスを含むことができる。１つ以上の事前学習済みパラメータが事前学習済みパラメータの組を含む場合に、事前学習済みパラメータの組は別の方法で更新され得る。

タイプＩ及びタイプＩＩの両方のコンテンツ適応オンライン訓練プロセスで、ＮＩＣフレームワークの１つ以上の事前学習済みパラメータは更新され得るから、ＮＩＣフレームワークにおいて１つ以上の事前学習済みパラメータにより構成されているニューラルネットワークは更新される。いくつかの例において、例えば、タイプＩのコンテンツ適応オンライン訓練プロセスでは、ＮＩＣフレームワークの１つ以上の事前学習済みパラメータは、変更パラメータを用いて更新され、変更パラメータは、コンテンツ適応オンライン訓練プロセスを用いて訓練される。いくつかの例において、例えば、タイプＩＩのコンテンツ適応オンライン訓練プロセスでは、ＮＩＣフレームワークの１つ以上の事前学習済みパラメータは、コンテンツ適応オンライン訓練プロセスを用いて、例えば、変更パラメータ無しで直接に、更新される。

タイプＩ及び対応ＩＩのコンテンツ適応オンライン訓練プロセスの例が、以下で記載され得る。

Ａ．タイプＩのコンテンツ適応オンライン訓練
変更パラメータは、（ｉ）エンコーディングされる１つ以上の画像、又は（ｉｉ）エンコーディングされる（画像内の）１つ以上のブロックに基づいて、事前学習済みパラメータの組を変更するよう決定され得る。変更パラメータの決定プロセスも、変更パラメータのファインチューニングプロセスとして扱われ得る。例えば、スケーリング係数の決定プロセスは、“事前学習された”スケーリングパラメータ（例えば、事前学習済みパラメータの組に対する変更がない１のスケーリングパラメータ）からスケーリングパラメータ（例えば、１．１）へのスケーリングパラメータのファインチューニングプロセスとして扱われ得る。オフセットの訓練プロセスは、“事前学習された”オフセット（例えば、事前学習済みパラメータの組に対する変更がない０のオフセット）からオフセット（例えば、０．１）へのオフセットのファインチューニングプロセスとして扱われ得る。

１つ以上の変更パラメータの夫々は、事前学習済みＮＩＣフレームワークの事前学習済みパラメータ（例えば、重み及び／又はバイアス）を変更し、よって、事前学習済みＮＩＣフレームワークを変更するために、使用され得る。変更パラメータは、事前学習済みパラメータの組を変更することができ、よって、事前学習済みＮＩＣフレームワークを変更することができる。変更パラメータは、畳み込みカーネルの要素、畳み込みカーネルの１つ以上の行、及び／又は畳み込みカーネルの１つ以上の列を変更することができる。変更パラメータは、スケーリング係数、オフセット、及び／又は同様のものであることができる。スケーリング係数は、置換パラメータの組を取得するために、事前学習済みパラメータの組にスケーリング係数を乗じることによって事前学習済みパラメータの組を変更することができる。オフセットは、置換パラメータの組を取得するために、オフセットを事前学習済みパラメータの組に加えることによって事前学習済みパラメータの組を変更することができる。置換パラメータの組は、対応するニューラルネットワークの事前学習済みパラメータの組を置換することができる。スケーリング係数は、いくつかの実施形態ではオフセットに適用され得る。

いくつかの例において、比較的に多数のパラメータを変更するために単一の変更パラメータを使用することは、それらの比較的に多数のパラメータに対する同様の変更がコーディング効率の改善をもたらすことができる場合に有利である。

いくつかの実施形態において、１つ以上の変更パラメータ（例えば、スケーリング係数、オフセット）は、畳み込み層の出力である特徴マップを変更するよう適用され得る。変更パラメータは、特徴マップ全体（例えば、要素を含む２Ｄ行列）又は特徴マップ内の要素のサブセットを変更することができる。変更パラメータは、特徴マップ内の１つ以上の要素を変更することができる。変更パラメータは、特徴マップの１つ以上の行を変更することができる。変更パラメータは、特徴マップの１つ以上の列を変更することができる。特徴マップは、１つ以上の変更パラメータによって変更され得る。変更パラメータは、１つ以上の特徴マップ又は特徴マップの部分を変更するために使用され得る。

実施形態において、どの特徴マップ（例えば、メインデコーダネットワーク（９１５）などのＮＮ、ＮＮ層、ＣＮＮチャネルを含む情報）及び／又は特徴マップのどの部分（例えば、どの要素、行、及び／又は列かを示す情報）が１つ以上の変更パラメータによって変更されるかは、ビットストリームでシグナリングされる。実施形態において、どの特徴マップ及び／又は特徴マップのどの部分が１つ以上の変更パラメータによって変更されるかは、予め決定され、ビデオコーダに知られており、よって、シグナリングされない。

１つ以上の変更パラメータは、エンコーディング及び／又は送信される１つ以上の画像に基づいて決定（例えば、訓練又はファインチューニング）され得る。このとき、１つ以上の画像は、訓練画像の組とは異なってもよい。１つ以上の変更パラメータは、１つ以上の画像に基づき結合Ｒ－Ｄ損失Ｌを最適化することによって、訓練され得る。実施形態において、１つ以上の変更パラメータが訓練プロセスによって決定された後、ニューラルネットワーク更新情報が、１つ以上の変更パラメータ又は１つ以上の変更パラメータのサブセットを示すようビットストリーム内にエンコーディングされる。１つ以上の変更パラメータは、事前学習パラメータの１つ以上の組に対応し、事前学習済みパラメータの１つ以上の組は、置換パラメータの１つ以上の組を生成するよう１つ以上の変更パラメータによって変更される。例において、ＮＩＣフレームワーク（９００）は更新（又はファインチューニング）され、事前学習済みパラメータの１つ以上の組は置換パラメータの１つ以上の組によって夫々置換される。

第１シナリオでは、１つ以上の変更パラメータは、１つ以上の変更パラメータの第１サブセットと、１つ以上の変更パラメータの第２サブセットとを含む。１つ以上の変更パラメータの第１サブセットは、事前学習済みパラメータの１つ以上の組の第１サブセットに夫々対応する。１つ以上の変更パラメータの第２サブセットは、事前学習済みパラメータの１つ以上の組の第２サブセットに夫々対応する。第１シナリオでは、事前学習済みパラメータの１つ以上の組の第１サブセットは、事前学習済みビデオエンコーダで使用され、事前学習済みパラメータの１つ以上の組の第２サブセットは、事前学習済みビデオデコーダで使用される。

エンコーダ側で、事前学習済みパラメータの１つ以上の組の第１サブセットは、１つ以上の変更パラメータの第１サブセットによって夫々、例えば、スケーリング係数による乗算、オフセットによる加算、又は乗算及び加算の組み合わせによって変更される。事前学習済みパラメータの１つ以上の組の第１サブセットは、置換パラメータの１つ以上の組の第１サブセットによって夫々置換され得る。このようにして、事前学習済みビデオエンコーダは、訓練プロセスによって、更新されたビデオエンコーダへと更新され得る。１つ以上の画像は、更新されたビデオエンコーダを用いてエンコーディングされ得る。

１つ以上の変更パラメータの第２サブセットを示すニューラルネットワーク更新情報は、エンコーディングされてビットストリームでシグナリングされ得る。１つ以上のエンコーディングされた画像及びニューラルネットワーク更新情報は、ビットストリームで送信され得る。

デコーダ側で、事前学習済みビデオデコーダは、ニューラルネットワーク更新情報を受信しデコーディングして、１つ以上の変更パラメータの第２サブセットを決定する。事前学習済みビデオデコーダは、事前学習済みビデオデコーダの事前学習済みパラメータの１つ以上の組の第２サブセットが１つ以上の変更パラメータの第２サブセットによって夫々変更される場合に、更新されたビデオデコーダへと更新される。例において、事前学習済みビデオデコーダの事前学習済みパラメータの１つ以上の組の第２サブセットは、置換パラメータの１つ以上の組の第２サブセットによって置換される。１つ以上のエンコーディングされた画像は、更新されたビデオデコーダを用いてデコーディングされ得る。

図１６Ａ～１６Ｂは、第１シナリオの例を示す。例えば、１つ以上の変更パラメータは、第１変更パラメータ（例えば、１．１のスケーリング係数）及び第２変更パラメータ（例えば、０．１のオフセット）を含む。スケーリング係数は、事前学習済みのコンテキストモデルＮＮ（９１６）のＮ１個の事前学習済みパラメータを含む事前学習パラメータの第１の組を変更する。オフセットは、事前学習済みのメインデコーダネットワーク（９１５）のＮ２個の事前学習済みパラメータの第２の組を変更する。

１つ以上の変更パラメータの第１サブセットは、スケーリング係数を含み、１つ以上の変更パラメータの第２サブセットは、スケーリング係数及びオフセットを含む。スケーリング係数は、事前学習済みパラメータの１つ以上の組（例えば、事前学習済みパラメータの第１の組）の第１サブセットを変更する。スケーリング係数及びオフセットは、事前学習済みパラメータの１つ以上の組（例えば、事前学習済みパラメータの第１の組及び事前学習済みパラメータの第２の組）の第２サブセットを変更する。従って、エンコーダ側で、事前学習済みのコンテキストモデルＮＮ（９１６）のＮ１個の事前学習済みパラメータは、事前学習済みビデオエンコーダ（１６００Ａ）が更新され得るように、Ｎ１個の対応する置換パラメータによって置換され得る。事前学習済みのコンテキストモデルＮＮ（９１６）も、更新されたコンテキストモデルＮＮ（９１６）であるよう更新される。デコーダ側で、Ｎ１個の事前学習済みパラメータは、Ｎ１個の対応する置換パラメータによって置換され得、Ｎ２個の事前学習済みパラメータは、Ｎ２個の対応する置換パラメータによって置換され得、事前学習済みのコンテキストモデルＮＮ（９１６）は、更新されたコンテキストモデルＮＮ（９１６）であるよう更新され、事前学習済みのメインデコーダネットワーク（９１５）は、更新されたメインデコーダネットワーク（９１５）であるよう更新される。このようにして、事前学習済みビデオデコーダ（１６００Ｂ）は更新され得る。

第２シナリオでは、１つ以上の変更パラメータのどれも、エンコーダ側で事前学習済みビデオエンコーダの事前学習済みパラメータを変更するために使用されない。むしろ、１つ以上の変更パラメータは、デコーダ側で事前学習済みビデオデコーダの事前学習済みパラメータの１つ以上の組を変更するために使用される。よって、事前学習済みビデオエンコーダは更新されず、訓練プロセス後に事前学習済みビデオエンコーダであり続ける。実施形態において、ニューラルネットワーク更新情報は１つ以上の変更パラメータを示す。１つ以上の画像は、事前学習済みビデオエンコーダを用いてエンコーディングされ、ニューラルネットワーク更新情報とともにビットストリームで送信される。

デコーダ側で、事前学習済みビデオデコーダは、ニューラルネットワーク更新情報を受信しデコーディングして、１つ以上の変更パラメータを決定することができる。事前学習済みビデオデコーダは、事前学習済みビデオデコーダの事前学習済みパラメータの１つ以上の組が１つ以上の変更パラメータによって変更されるか、又は置換パラメータの１つ以上の組によって置換される場合に、更新されたビデオデコーダへと更新される。１つ以上のエンコーディングされた画像は、更新されたビデオデコーダを用いてデコーディングされ得る。

図１６Ａ～１６Ｂは、第２シナリオの例を示す。例えば、１つ以上の変更パラメータは、事前学習済みのメインデコーダネットワーク（９１５）のＮ２個の事前学習済みパラメータを変更する第２変更パラメータを含む。よって、１つ以上の変更パラメータのどれも、エンコーダ側にある事前学習済みビデオエンコーダ（例えば、事前学習済みビデオエンコーダ（１６００Ａ））で使用されない。よって、事前学習済みビデオエンコーダ（１６００Ａ）は、訓練プロセス後に事前学習済みビデオエンコーダであり続ける。デコーダ側で、Ｎ２個の事前学習済みパラメータは、第２変更パラメータによって変更されるか、又はＮ２個の対応する置換パラメータによって置換され得、これにより、事前学習済みのメインデコーダネットワーク（９１５）は更新される。このようにして、事前学習済みビデオデコーダ（１６００Ｂ）は更新され得る。

第３シナリオで、１つ以上の変更パラメータは、事前学習済みビデオエンコーダの事前学習済みパラメータの１つ以上の組を変更し、事前学習済みビデオデコーダの事前学習済みパラメータを変更しない。よって、事前学習済みビデオエンコーダは、訓練プロセスによって、更新されたビデオエンコーダへと更新される。１つ以上の画像は、更新されたビデオエンコーダを用いてエンコーディングされ、ビットストリームで送信され得る。ニューラルネットワーク更新情報はビットストリームでエンコーディングされない。１つ以上のデコーダ側で、事前学習済みビデオデコーダは更新されず、事前学習済みビデオデコーダのままである。１つ以上のエンコーディングされた画像は、事前学習済みビデオデコーダを用いてデコーディングされ得る。

図１６Ａ～１６Ｂは、第３シナリオの例を示す。例えば、１つ以上の変更パラメータは、事前学習済みのメインエンコーダネットワーク（９１１）の事前学習済みパラメータの組を変更する変更パラメータを含む。従って、事前学習済みのメインエンコーダネットワーク（９１１）の事前学習済みパラメータの組は、事前学習済みビデオエンコーダ（１６００Ａ）が更新されたビデオエンコーダ（１６００Ａ）へと更新され得るように、置換パラメータの組によって置換され得る。事前学習済みのメインエンコーダネットワーク（９１１）も、更新されたメインエンコーダネットワーク（９１１）であるよう更新される。デコーダ側で、事前学習済みビデオデコーダ（１６００Ｂ）は更新されない。

第１、第２、及び第３のシナリオで説明されているような様々な例において、ビデオデコーディングは、事前学習済みパラメータを更新する能力を備えたデコーダ及びそのような能力を備えていないデコーダを含む、種々の能力を備えている事前学習済みのデコーダによって、実行されてよい。

例において、圧縮性能は、事前学習済みビデオエンコーダ及び事前学習済みビデオデコーダにより１つ以上の画像をコーディングすることと比較して、更新されたビデオエンコーダ及び／又は更新されたビデオデコーダにより１つ以上画像をコーディングすることによって向上することができる。従って、コンテンツ適応オンライン訓練方法は、事前学習済みのＮＩＣフレームワーク（例えば、事前学習済みＮＩＣフレームワーク（９００））をターゲット画像コンテンツ（例えば、送信されるべき１つ以上の画像）に適応させて、事前学習済みのＮＩＣフレームをファインチューニングするために、使用され得る。従って、エンコーダ側にあるエンコーダ及び／又はデコーダ側にあるビデオデコーダは、更新され得る。

コンテンツ適応オンライン訓練方法は、事前学習済みのＥ２Ｅ ＮＩＣ圧縮方法の圧縮性能を向上させるための前処理ステップ（事前エンコーディングステップ）として使用され得る。

実施形態において、１つ以上の画像は単一の入力画像を含み、ファインチューニングプロセスは単一の入力画像により実行される。１つ以上の変更パラメータは、よって、ＮＩＣフレームワーク（９００）は、単一の入力画像に基づいて訓練及び更新（例えば、ファインチューニング）される。エンコーダ側にある更新されたビデオエンコーダ及び／又はデコーダ側にある更新されたビデオデコーダは、単一の入力画像及び任意の他の入力画像をコーディングするために使用され得る。ニューラルネットワーク更新情報は、エンコーディングされた単一の入力画像とともに、ビットストリーム内にエンコーディングされ得る。

実施形態において、１つ以上の画像は複数の入力画像を含み、ファインチューニングプロセスは複数の入力画像により実行される。１つ以上の変更パラメータは、よって、ＮＩＣフレームワーク（９００）は、複数の入力画像に基づいて訓練及び更新（例えば、ファインチューニング）される。エンコーダ側にある更新されたビデオエンコーダ及び／又はデコーダ側にある更新されたビデオデコーダは、複数の入力画像及び任意の他の入力画像をコーディングするために使用され得る。ニューラルネットワーク更新情報は、エンコーディングされた複数の入力画像とともに、ビットストリーム内にエンコーディングされ得る。

レート損失Ｒは、ビットストリームでのニューラルネットワーク更新情報のシグナリングにより増大する可能性がある。１つ以上の画像が単一の入力画像を含む場合に、ニューラルネットワーク更新情報は、エンコーディングされた画像ごとにシグナリングされ、レート損失Ｒの第１の増大は、画像ごとのニューラルネットワーク更新情報のシグナリングに起因したレート損失Ｒの増大を示すために使用される。１つ以上の画像が複数の入力画像を含む場合に、ニューラルネットワーク更新情報は、複数の入力画像についてシグナリングされ、それらの入力画像によって共有され、レート損失Ｒの第２の増大は、画像ごとのニューラルネットワーク更新情報のシグナリングに起因したレート損失Ｒの増大を示すために使用される。ニューラルネットワーク更新情報は複数の入力画像によって共有されるので、レート損失Ｒの第２の増大は、レート損失Ｒの第１の増大よりも小さくなる。よって、いくつかの例において、複数の入力画像を用いて１つ以上の変更パラメータを、よってＮＩＣフレームワークをファインチューニングすることが有利であり得る。

実施形態において、訓練される１つ以上の変更パラメータは、事前学習済みのＮＩＣフレームワーク（９００）の１つのコンポーネントの事前学習済みパラメータの１つ以上の組を変更する。よって、事前学習済みのＮＩＣフレームワーク（９００）のその１つのコンポーネントは１つ以上の変更パラメータに基づいて更新され、事前学習済みのＮＩＣフレームワーク（９００）の他のコンポーネントは更新されない。

１つのコンポーネントは、事前学習済みのコンテキストモデルＮＮ（９１６）、事前学習済みのエントロピパラメータＮＮ（９１７）、事前学習済みのメインエンコーダネットワーク（９１１）、事前学習済みのメインデコーダネットワーク（９１５）、事前学習済みのハイパーエンコーダ（９２１）、又は事前学習済みのハイパーデコーダ（９２５）であることができる。事前学習済みビデオエンコーダ及び／又は事前学習済みビデオデコーダは、事前学習済みのＮＩＣフレームワーク（９００）のコンポーネントのうちのどれが更新されるかに応じて、更新され得る。

例において、訓練される１つ以上の変更パラメータは、事前学習済みのコンテキストモデルＮＮ（９１６）の事前学習済みパラメータの１つ以上の組を変更し、よって、事前学習済みのコンテキストモデルＮＮ（９１６）は更新され、残りのコンポーネント（９１１）、（９１５）、（９２１）、（９１７）、及び（９２５）は更新されない。例において、エンコーダ側の事前学習済みビデオエンコーダ及びデコーダ側の事前学習済みビデオデコーダは、事前学習済みのコンテキストモデルＮＮ（９１６）を含むので、事前学習済みビデオエンコーダ及び事前学習済みビデオデコーダの両方が更新される。

例において、訓練される１つ以上の変更パラメータは、事前学習済みのハイパーデコーダ（９２５）の事前学習済みパラメータの１つ以上の組を変更し、よって、事前学習済みのハイパーデコーダ（９２５）は更新され、残りのコンポーネント（９１１）、（９１５）、（９１６）、（９１７）、及び（９２１）は更新されない。よって、事前学習済みビデオエンコーダは更新されず、事前学習済みビデオデコーダは更新される。

実施形態において、訓練される１つ以上の変更パラメータは、事前学習済みのＮＩＣフレームワーク（９００）の複数のコンポーネントの事前学習済みパラメータの１つ以上の組を変更する。よって、事前学習済みのＮＩＣフレームワーク（９００）の複数のコンポーネントは、１つ以上の変更パラメータに基づいて更新される。例において、事前学習済みのＮＩＣフレームワーク（９００）の複数のコンポーネントは、ニューラルネットワーク（例えば、ＤＮＮ、ＣＮＮ）により構成されている全てのコンポーネントを含む。例において、事前学習済みのＮＩＣフレームワーク（９００）の複数のコンポーネントは、ＣＮＮベースのコンポーネント、つまり、事前学習済みのメインエンコーダネットワーク（９１１）、事前学習済みのメインデコーダネットワーク（９１５）、事前学習済みのコンテキストモデルＮＮ（９１６）、事前学習済みのエントロピパラメータＮＮ（９１７）、事前学習済みのハイパーエンコーダ（９２１）、及び事前学習済みのハイパーデコーダ（９２５）を含む。

上述されたように、例において、更新される１つ以上の変更パラメータは、事前学習済みのＮＩＣフレームワーク（９００）の事前学習済みビデオエンコーダの事前学習済みパラメータの１つ以上の組を変更する。例において、更新される１つ以上の変更パラメータは、ＮＩＣフレームワーク（９００）の事前学習済みビデオデコーダの事前学習済みパラメータの１つ以上の組を変更する。例において、更新される１つ以上の変更パラメータは、事前学習済みのＮＩＣフレームワーク（９００）の事前学習済みビデオエンコーダ及び事前学習済みビデオデコーダの事前学習済みパラメータの１つ以上の組を変更する。

ＮＩＣフレームワーク（９００）内の夫々のニューラルネットワークベースのコンポーネント（例えば、コンテキストモデルＮＮ（９１６）、エントロピパラメータＮＮ（９１７）、メインエンコーダネットワーク（９１１）、メインデコーダネットワーク（９１５）、ハイパーエンコーダ（９２１）、又はハイパーデコーダ（９２５））は、各々の重み、バイアス、又は重みとバイアスとの組み合わせなどの適切なパラメータにより構成され得る。いくつかの実施形態において、変更パラメータは、ニューラルネットワークベースのコンポーネントの１つ以上における重み及びバイアスを変更するために適用される。ＣＮＮが使用される場合に、重みは畳み込みカーネルの要素を含むことができる。１つ以上のタイプのパラメータが、ニューラルネットワークを指定するために使用され得る。実施形態において、１つ以上の変更パラメータはバイアス項を変更し、バイアス項のみが、１つ以上の変更パラメータによって変更される。実施形態において、１つ以上の変更パラメータは重みを変更し、重みのみが、１つ以上の変更パラメータによって変更される。実施形態において、１つ以上の変更パラメータは、重み及びバイアス項を変更する。

実施形態において、１つ以上の変更パラメータはスケーリング係数を含み、更新される事前学習済みパラメータの組はスケーリング係数によって変更される。スケーリング係数は、事前学習された重みの組、事前学習されたバイアスの組、事前学習された重み及び事前学習されたバイアスの組、などのような事前学習済みパラメータの組を変更することができる。訓練プロセス後、スケーリング係数が決定され、事前学習済みパラメータの組は変更パラメータの組で夫々置換され得る。このとき、置換パラメータの組は、事前学習済みパラメータの組に同じスケーリング係数を乗じたものである。

スケーリング係数は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントの１つ以上における事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用され得る。

実施形態において、スケーリング係数は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントの１つにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。例えば、事前学習された重みの組は、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネルを含む。スケーリング係数（例えば、１．１）は、コンテキストに基づいたオンライン訓練プロセスによって取得される。事前学習された重みの組（例えば、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネル）は、このようにして、置換重みの組であるよう更新される。置換重みの組は、事前学習された重みの組にスケーリング係数（例えば、１．１）を乗じたものである。

例において、スケーリング係数は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。図１０～１５を参照すると、ＮＩＣフレームワーク（９００）内のニューラルネットワークベースのコンポーネントのＣＮＮは、メインエンコーダネットワーク（９１１）の、図１０に示されたＣＮＮ、メインエンコーダネットワーク（９１１）の、図１１に示されたＣＮＮ、ハイパーエンコーダ（９２１）の、図１２に示されたＣＮＮ、ハイパーデコーダ（９２５）の、図１３に示されたＣＮＮ、コンテキストモデルＮＮ（９１６）の、図１４に示されたＣＮＮ、又はエントロピパラメータＮＮ（９１７）の、図１５に示されたＣＮＮであることができる。

例において、スケーリング係数は、メインデコーダネットワーク（９１５）の、図１３に示されたＣＮＮ内の第３の逆畳み込み層（ＤｅＣｏｎｖ：３×３ ｃ３８４ ｓ１）のような、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮ内の畳み込み層又は逆畳み込み層における事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。

例において、スケーリング係数は、メインデコーダネットワーク（９１５）の、図１３に示されたＣＮＮ内の第３の逆畳み込み層（ＤｅＣｏｎｖ：３×３ ｃ３８４ ｓ１）の第１チャネル（例えば、ｃ１）ような、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮ内の畳み込み層又は逆畳み込み層におけるチャネルの事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。

例において、スケーリング係数は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮ内の畳み込み層又は逆畳み込み層におけるチャネルの事前学習された重みの組を変更するよう適用される。チャネル（例えば、ｃ１）の事前学習された重みの組は、複数の要素、１つ以上の行、１つ以上の例、及び／又は同様のものを含むことができる。例において、チャネル（例えば、ｃ１）の事前学習された重みの組は、チャネル内の全ての要素（例えば、９個の要素）を含む。

例において、スケーリング係数は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの複数のコンポーネントにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。例えば、スケーリング係数は、コンテキストに基づいたオンライン訓練プロセスによって取得される。事前学習された重みの組は、このようにして、スケーリング係数に基づいて、置換重みの組であるよう更新される。置換重みの組は、事前学習された重みの組（例えば、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネル及びメインデコーダネットワーク（９１５）で使用される第１の逆畳み込み層における特定のチャネルの５×５畳み込みカーネル）にスケーリング係数（例えば、１．１）を乗じたものである。

実施形態において、スケーリング係数は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの全てのコンポーネントにおける事前学習された重みの組、事前学習されたバイアスの組、事前学習された重み及び事前学習されたバイアスの組を変更するよう適用され得る。

説明は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの１つ以上のコンポーネントにおける事前学習された重みの他の組、事前学習されたバイアスの他の組、又は事前学習された重み及び事前学習されたバイアスの他の組などの事前学習済みパラメータの他の組を変更するために使用される他のスケーリング係数に適切に適応され得る。

いくつかの実施形態において、１つ以上のスケーリング係数は、コンテキストに基づいたオンライン訓練プロセスによって取得され、特徴マップを変更するために適用され得る。スケーリング係数は、特徴マップ全体又は特徴マップのサブセットを変更することができる。スケーリング係数は、１つ以上の要素を乗じることによって、特徴マップ内の１つ以上の要素を夫々変更することができる。よって、特徴マップ内の１つ以上の要素は、スケーリング係数を乗じられた１つ以上の要素によって、置換される。スケーリング係数は、特徴マップの１つ以上の行を変更することができる。スケーリング係数は、特徴マップの１つ以上の列を変更することができる。特徴マップは、１つ以上のスケーリング係数によって変更され得る。スケーリング係数は、１つ以上の特徴マップ又は特徴マップの部分を変更するために使用され得る。

実施形態において、１つ以上の変更パラメータはオフセットを含み、更新される事前学習済みパラメータの組はオフセットによって変更される。オフセットは、事前学習された重みの組、事前学習されたバイアスの組、事前学習された重み及び事前学習されたバイアスの組、などのような事前学習済みパラメータの組を変更することができる。訓練プロセス後、オフセットは決定され、事前学習済みパラメータの組は置換パラメータの組で夫々置換され得る。このとき、変更パラメータの組は、事前学習済みパラメータの組と同じオフセットとの加算である。

オフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの１つ以上のコンポーネントにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用され得る。

実施形態において、オフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントの１つにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。例えば、事前学習された重みの組は、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネルを含む。オフセット（例えば、０．１）は、コンテキストに基づいたオンライン訓練プロセスによって取得される。事前学習された重みの組（例えば、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネル）は、このようにして、置換重みの組であるよう更新される。置換重みの組は、事前学習された重みの組とオフセット（例えば、０．１）との加算であることができる。

例において、オフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。図１０～１５を参照すると、ＮＩＣフレームワーク（９００）内のニューラルネットワークベースのコンポーネントのＣＮＮは、メインエンコーダネットワーク（９１１）の、図１０に示されたＣＮＮ、メインエンコーダネットワーク（９１１）の、図１１に示されたＣＮＮ、ハイパーエンコーダ（９２１）の、図１２に示されたＣＮＮ、ハイパーデコーダ（９２５）の、図１３に示されたＣＮＮ、コンテキストモデルＮＮ（９１６）の、図１４に示されたＣＮＮ、又はエントロピパラメータＮＮ（９１７）の、図１５に示されたＣＮＮであることができる。

例において、オフセットは、メインデコーダネットワーク（９１５）の、図１３に示されたＣＮＮ内の第３の逆畳み込み層（ＤｅＣｏｎｖ：３×３ ｃ３８４ ｓ１）のような、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮ内の畳み込み層又は逆畳み込み層における事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。

例において、オフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮ内の畳み込み層又は逆畳み込み層における事前学習されたバイアスの組を変更するよう構成される。

例において、オフセットは、メインデコーダネットワーク（９１５）の、図１３に示されたＣＮＮ内の第３の逆畳み込み層（ＤｅＣｏｎｖ：３×３ ｃ３８４ ｓ１）の第１チャネル（例えば、ｃ１）ような、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮ内の畳み込み層又は逆畳み込み層におけるチャネルの事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。

オフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの複数のコンポーネントにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。例えば、オフセットは、コンテキストに基づいたオンライン訓練プロセスによって取得される。事前学習された重みの組は、このようにして、オフセットに基づいて、置換重みの組であるよう更新される。置換重みの組は、事前学習された重みの組（例えば、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネル及びメインデコーダネットワーク（９１５）で使用される第１の逆畳み込み層における特定のチャネルの５×５畳み込みカーネル）とオフセット（例えば、０．１）との加算であることができる。

実施形態において、オフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの全てのコンポーネントにおける事前学習された重みの組、事前学習されたバイアスの組、事前学習された重み及び事前学習されたバイアスの組を変更するよう適用され得る。

説明は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの１つ以上のコンポーネントにおける事前学習された重みの他の組、事前学習されたバイアスの他の組、又は事前学習された重み及び事前学習されたバイアスの他の組などの事前学習済みパラメータの他の組を変更するために使用される他のオフセットに適切に適応され得る。

いくつかの実施形態において、１つ以上のオフセットは、特徴マップを変更するよう適用され得る。オフセットは、特徴マップ全体又は特徴マップのサブセットを変更することができる。オフセットは、オフセットを１つ以上の要素に加えることによって、特徴マップ内の１つ以上の要素を夫々変更することができる。よって、特徴マップ内の１つ以上の要素は、夫々オフセットと１つ以上の要素との加算である１つ以上の置換要素によって置換される。オフセットは、特徴マップの１つ以上の行を変更することができる。オフセットは、特徴マップの１つ以上の列を変更することができる。特徴マップは、１つ以上のオフセットによって変更され得る。オフセットは、１つ以上の特徴マップ又は特徴マップの部分を変更するために使用され得る。

実施形態において、１つ以上の変更パラメータはスケーリング係数及び対応するオフセットを含み、更新される事前学習済みパラメータの組は、スケーリング係数及び対応するオフセットによって変更される。スケーリング係数及び対応するオフセットは、事前学習された重みの組、事前学習されたバイアスの組、事前学習された重み及び事前学習されたバイアスの組、などのような事前学習済みパラメータの組を変更することができる。訓練プロセス後、スケーリング係数及び対応するオフセットは決定され、事前学習済みパラメータの組は置換パラメータの組で夫々置換され得る。

置換パラメータの組は、事前学習済みパラメータの組、スケーリング係数、及び対応するオフセットに基づき決定され得る。例において、置換パラメータの組は、中間パラメータの組とオフセットとの加算であり、中間パラメータの組は、スケーリング係数を乗じられた事前学習済みパラメータの組である。例において、置換パラメータの組は、中間パラメータの組とスケーリングパラメータとの乗算であり、中間パラメータの組は、事前学習されたパラメータの組とオフセットとの加算である。

スケーリング係数及び対応するオフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの１つ以上のコンポーネントにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用され得る。

実施形態において、スケーリング係数及び対応するオフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントの１つにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。例えば、事前学習された重みの組は、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネルを含む。スケーリング係数（例えば、１．１）及び対応するオフセット（例えば、０．１）は、コンテキストに基づいたオンライン訓練プロセスによって取得される。事前学習された重みの組（例えば、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネル）は、このようにして、上記のように、置換重みの組であるよう更新される。

例において、置換パラメータの組は、中間パラメータの組とオフセット（例えば、０．１）との加算であり、中間パラメータの組は、スケーリング係数（例えば、１．１）を乗じられた事前学習済みパラメータの組である。

例において、置換パラメータの組は、中間パラメータの組とスケーリング係数（例えば、１．１）との乗算であり、中間パラメータの組は、事前学習済みパラメータの組とオフセット（例えば、０．１）との加算である。

例において、スケーリング係数及び対応するオフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。

例において、スケーリング係数及び対応するオフセットは、メインデコーダネットワーク（９１５）の、図１３に示されたＣＮＮ内の第３の逆畳み込み層（ＤｅＣｏｎｖ：３×３ ｃ３８４ ｓ１）のような、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮ内の畳み込み層又は逆畳み込み層における事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。

例において、スケーリング係数及び対応するオフセットは、メインデコーダネットワーク（９１５）の、図１３に示されたＣＮＮ内の第３の逆畳み込み層（ＤｅＣｏｎｖ：３×３ ｃ３８４ ｓ１）の第１チャネル（例えば、ｃ１）ような、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのＣＮＮ内の畳み込み層又は逆畳み込み層におけるチャネルの事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用される。

スケーリング係数及び対応するオフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの複数のコンポーネントにおける事前学習された重みの組、事前学習されたバイアスの組、又は事前学習された重み及び事前学習されたバイアスの組を変更するよう適用され得る。例えば、スケーリング係数及び対応するオフセットは、コンテキストに基づいたオンライン訓練プロセスによって取得される。事前学習された重みの組は、このようにして、スケーリング係数及び対応するオフセットに基づいて、置換重みの組であるよう更新される。置換重みの組は、上述されたように、事前学習された重みの組（例えば、コンテキストモデルＮＮ（９１６）で使用される特定のチャネルの５×５畳み込みカーネル及びメインデコーダネットワーク（９１５）で使用される第１の逆畳み込み層における特定のチャネルの５×５畳み込みカーネル）にスケーリング係数（例えば、１．１）を乗じたものとオフセット（例えば、０．１）であることができる。

実施形態において、スケーリング係数及び対応するオフセットは、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの全てのコンポーネントにおける事前学習された重みの組、事前学習されたバイアスの組、事前学習された重み及び事前学習されたバイアスの組を変更するよう適用され得る。

説明は、ＮＩＣフレームワーク（例えば、ＮＩＣフレームワーク（９００））内のニューラルネットワークベースのコンポーネントのうちの１つ以上のコンポーネントにおける事前学習済みパラメータの他の組を変更するために使用される他のスケーリング係数及び他のオフセットに適切に適応され得る。

いくつかの実施形態において、１つ以上のスケーリング係数及び対応する１つ以上のオフセットは、特徴マップを変更するよう適用され得る。スケーリング係数及び対応するオフセットは、特徴マップ全体又は特徴マップのサブセットを変更することができる。スケーリング係数及び対応するオフセットは、特徴マップ内の１つ以上の要素を変更することができる。スケーリング係数及び対応するオフセットは、特徴マップの１つ以上の行を変更することができる。スケーリング係数及び対応するオフセットは、特徴マップの１つ以上の列を変更することができる。特徴マップは、１つ以上のスケーリング係数及び対応するオフセットによって変更され得る。スケーリング係数及び対応するオフセットは、１つ以上の特徴マップ又は特徴マップの部分を変更するために使用され得る。

訓練プロセスに基づいて決定される１つ以上の変更パラメータは、スケーリング係数及びオフセットを含むことができる。例において、スケーリング係数及びオフセットの夫々は、上述されたように、異なる組の事前学習済みパラメータを変更する。例において、スケーリング係数の１つ及びオフセットの１つは、上述されたように、同じ組の事前学習済みパラメータを変更する。例において、スケーリング係数及びオフセットの夫々は、上述されたように、異なる特徴マップ又は特徴マップの異なる部分を変更する。例において、スケーリング係数の１つ及びオフセットの１つは、上述されたように、同じ特徴マップ又は特徴マップの同じ部分を変更する。

ファインチューニングプロセスは、１つ以上の変更パラメータ（例えば、スケーリング係数、オフセット）が反復的なファインチューニングプロセスで更新又は決定される複数のエポック（例えば、繰り返し）を含むことができる。ファインチューニングプロセスは、訓練損失が平らになるか又はおおよそ平らになる場合に停止することができる。例において、ファインチューニングプロセスは、訓練損失（例えば、Ｒ－Ｄ損失Ｌ）が第１閾値を下回る場合に停止する。例において、ファインチューニングプロセスは、２つの連続した訓練損失の間の差が第２閾値を下回る場合に停止する。

２つのハイパーパラメータ（例えば、ステップサイズ及びステップの最大数）は、損失関数（例えば、Ｒ－Ｄ損失Ｌ）とともに、ファインチューニングプロセスで使用され得る。上述されたように、例において、ファインチューニングプロセス中の損失関数Ｌのレート損失Ｒは、例えば、ノイズ注入及びＢＰＰ推定器に基づいて、推定される。繰り返しの最大回数は、ファインチューニングプロセスを終了するための繰り返しの最大回数の閾値として使用され得る。例において、ファインチューニングプロセスは、繰り返しの数が繰り返しの最大回数に達すると停止する。

ステップサイズは、オンライン訓練プロセス（オンラインファインチューニングプロセス）の学習率を示すことができる。ステップサイズは、ファインチューニングプロセスで実行される最急降下法（gradient descent）アルゴリズム又は誤差逆伝播法計算（backpropagation calculation）で使用され得る。例えば、訓練されている変更パラメータに対する拡張性は、最急降下法アルゴリズムで使用されるステップサイズ及び対応する勾配（例えば、訓練されている変更パラメータに対するＲ－Ｄ損失の勾配）に基づく。ステップサイズは、如何なる適切な方法によっても決定され得る。実施形態において、異なるステップサイズが、最適な結果を得るよう、異なるタイプのコンテンツを有する画像に対して使用される。異なるタイプは異なる分散（variance）を指すことができる。例において、ステップサイズは、ＮＩＣフレームワークを更新するために使用される画像の分散に基づいて決定される。例えば、高い分散を有する画像のステップサイズは、低い分散を有する画像のステップサイズよりも大きい。ここで、高い分散は、低い分散よりも大きい。

実施形態において、第１ステップサイズは、特定の数（例えば、１００）の繰り返しを実行するために使用され得る。次いで、第２ステップサイズ（例えば、第１ステップサイズにサイズインクリメントをプラスしたもの、又は第１ステップサイズからサイズインクリメントをマイナスしたもの）は、その特定の数の繰り返しを実行するために使用され得る。第１ステップサイズ及び第２ステップサイズからの結果は、使用されるべきステップサイズを決定するために比較され得る。２つよりも多いステップサイズが、最適なステップサイズを決定するために試験されてもよい。

ステップサイズはファインチューニングプロセス中に変化することができる。ステップサイズは、ファインチューニングプロセスの開始時に初期値を有することができ、初期値は、より細かい調整を実現するために、ファインチューニングプロセスの後の段階で、例えば、特定の数の繰り返しの後で、低減され得る（例えば、半分にされる）。ステップサイズ又は学習率は、反復的なオンライン訓練中にスケジューラによって変更され得る。スケジューラは、ステップサイズを調整するために使用されるパラメータ調整方法を含むことができる。スケジューラは、ステップサイズが多数の繰り返しにおいて増大するか、低減するか、又は一定のままであることができるように、ステップサイズの値を決定することができる。例において、学習率は、スケジューラによって各ステップで変更される。単一のスケジューラ又は複数の異なるスケジューラが異なる画像について使用され得る。よって、置換パラメータの複数の組が、複数のスケジューラに基づいて生成され得、より良い圧縮性能（つまり、より小さいＲ－Ｄ損失）を有している置換パラメータの複数の組のうちの１つが、選択され得る。

ファインチューニングプロセスの終わりに、１つ以上の更新されたパラメータは、各々の１つ以上の変更パラメータ（例えば、スケーリング係数、又はオフセット）について計算され得る。実施形態において、１つ以上の更新されたパラメータは、１つ以上の変更パラメータと対応する１つ以上の“事前学習済み”の変更パラメータ（例えば、スケーリング係数については１であり、オフセットについては０である。）との間の差として計算される。実施形態において、１つ以上の更新されたパラメータは夫々、１つ以上の変更パラメータである。

１つ以上の更新されたパラメータは、例えば、特定の線形又は非線形変換を用いて、１つ以上の変更パラメータから夫々生成され得、１つ以上の更新されたパラメータは、１つ以上の変更パラメータに基づき生成された代表的なパラメータである。１つ以上の変更パラメータは、より良い圧縮のために１つ以上の更新されたパラメータに変換される。

例において、１つ以上の更新されたパラメータは、例えば、Ｌｅｍｐｅｌ－Ｚｉｖ－Ｍａｒｋｏｖチェーンアルゴリズム（ＬＺＭＡ）バリエーションであるＬＺＭＡ２、ｂｚｉｐ２アルゴリズム、などを用いて、圧縮され得る。例において、圧縮は、１つ以上の更新されたパラメータについては省略される。

いくつかの実施形態において、１つ以上の更新されたパラメータ又は１つ以上の更新されたパラメータの第２サブセットは、ニューラルネットワーク更新情報としてビットストリーム内にエンコーディングされ得る。ここで、ニューラルネットワーク更新情報は、１つ以上の置換パラメータ又は１つ以上の置換パラメータの第２サブセットを示す。

変更パラメータに対応する更新されたパラメータは、ニューラルネットワーク更新情報としてビットストリーム内にエンコーディングされ得る。ここで、ニューラルネットワーク更新情報は変更パラメータを示す。例において、変更パラメータによって変更された事前学習済みパラメータの組は、事前学習済みビデオデコーダのために設定された事前学習済みデコーダパラメータのうちの１つ以上を含む。よって、このようにして、変更パラメータを示すニューラルネットワーク更新情報は、ビットストリーム内にエンコーディングされてシグナリングされる。例において、変更パラメータによって変更された事前学習済みパラメータの組は、事前学習済みビデオデコーダのために設定された事前学習済みデコーダパラメータのどれも含まない。このようにして、変更パラメータを示すニューラルネットワーク更新情報は、エンコーディング及びシグナリングされない。

ファインチューニングプロセスの後、いくつかの例において、エンコーダ側の事前学習済みビデオエンコーダは、変更パラメータに基づき更新又はファインチューニングされ得る。例えば、変更パラメータによって変更された事前学習済みパラメータの組は、事前学習済みビデオエンコーダのために設定された事前学習済みエンコーダパラメータのうちの１つ以上を含み、このようにして、事前学習済みエンコーダパラメータのうちの１つ以上は変更パラメータに基づき更新され得、事前学習済みビデオエンコーダは更新される。入力画像（例えば、ファインチューニングプロセスで使用される１つ以上の画像のうちの１つ）は、更新されたビデオエンコーダを用いてビットストリーム内にエンコーディングされ得る。このようにして、ビットストリームは、エンコーディングされた画像及びニューラルネットワーク更新情報の両方を含む。

適用可能である場合には、例において、ニューラルネットワーク更新情報は、更新されたパラメータを取得するよう事前学習済みビデオデコーダによってデコーディング（例えば、圧縮解除）される。例において、変更パラメータは、上記の、更新されたパラメータと変更パラメータとの間の関係に基づき取得され得る。事前学習済みビデオデコーダは変更可能であり、更新されたビデオデコーダは、上述されたように、エンコーディングされた画像をデコーディングするために使用され得る。

ＮＩＣフレームワークは、如何なるタイプのニューラルネットワークも含み、コンテキスト－ハイパープライア・エンコーダ－デコーダフレームワーク（例えば、図９に示されているＮＩＣフレームワーク）、スケール－ハイパープライア・エンコーダ－デコーダフレームワーク、混合ガウス尤度フレームワーク及び混合ガウス尤度フレームワークの変形、ＲＮＮベースの回帰的圧縮方法及びＲＮＮベースの回帰的圧縮方法の変形、などのような、任意のニューラルネットワークに基づいた画像圧縮方法を使用することができる。

関連するＥ２Ｅ画像圧縮方法と比較して、本開示のコンテンツ適応型のオンライン訓練方法及び装置には、次の利点がある。適応オンライン訓練メカニズムは、ＮＩＣコーディング効率を改善するために利用可能である。柔軟性がある一般的なフレームワークの使用は、様々なタイプの事前学習されたフレームワーク及び品質メトリクスに適合することができる。例えば、様々なタイプの事前学習されたフレームワークの特定の事前学習済みパラメータは、エンコーディングされて伝送される画像によるオンライン訓練に基づき決定された変更パラメータを使用することによって、置換され得る。

Ｂ．タイプＩＩのコンテンツ適応オンライン訓練
事前学習済みＮＩＣフレームワーク（９００）のＮＩＣ事前学習済みパラメータの中の１つ以上の事前学習済みパラメータは、エンコーディング及び／又は伝送される１つ以上の画像に基づき更に訓練（例えば、ファインチューニング）され得る。ここで、１つ以上の画像は訓練画像の組とは異なってよい。ＮＩＣ事前学習済みパラメータで使用される１つ以上の事前学習済みパラメータは、１つ以上の画像に基づき結合Ｒ－Ｄ損失Ｌを最適化することによってファインチューニングされ得る。１つ以上の画像によってファインチューニングされている１つ以上の事前学習済みパラメータは、１つ以上の置換パラメータ又は１つ以上のファインチューニングされたパラメータと呼ばれる。実施形態において、ＮＩＣ事前学習済みパラメータの中の１つ以上の事前学習済みパラメータが１つ以上の置換パラメータによってファインチューニング（例えば、置換）された後で、ニューラルネットワーク更新情報は、１つ以上の置換パラメータ又は１つ以上の置換パラメータのサブセットを示すようビットストリーム内にエンコーディングされる。例において、ＮＩＣフレームワーク（９００）は、１つ以上の事前学習済みパラメータが１つ以上の置換パラメータによって夫々置換される場合に更新（又はファインチューニング）される。

第１シナリオでは、１つ以上の事前学習済みパラメータは、１つ以上の事前学習済みパラメータの第１サブセット及び１つ以上の事前学習済みパラメータの第２サブセットを含む。１つ以上の置換パラメータは、１つ以上の置換パラメータの第１サブセット及び１つ以上の置換パラメータの第２サブセットを含む。

１つ以上の事前学習済みパラメータの第１サブセットは、事前学習済みビデオエンコーダで使用され、例えば、訓練プロセスで、１つ以上の置換パラメータの第１サブセットによって置換される。このようにして、事前学習済みビデオエンコーダは、訓練プロセスによって、更新されたビデオエンコーダへと更新される。ニューラルネットワーク更新情報は、１つ以上の事前学習済みパラメータの第２サブセットを置換すべきである１つ以上の置換パラメータの第２サブセットを示すことができる。１つ以上の画像は、更新されたビデオエンコーダを用いてエンコーディングされて、ニューラルネットワーク更新情報とともにビットストリームで送信され得る。

デコーダ側で、１つ以上の事前学習済みパラメータの第２サブセットは事前学習済みビデオデコーダで使用される。実施形態において、事前学習済みビデオデコーダは、ニューラルネットワーク更新情報を受信しデコーディングして、１つ以上の置換パラメータの第２サブセットを決定する。事前学習済みビデオデコーダは、事前学習済みビデオデコーダの１つ以上の事前学習済みパラメータの第２サブセットが１つ以上の置換パラメータの第２サブセットによって置換される場合に、更新されたビデオデコーダへと更新される。１つ以上のエンコーディングされた画像は、更新されたビデオデコーダを用いてデコーディングされ得る。

図１６Ａ～１６Ｂは、第１シナリオの例を示す。例えば、１つ以上の事前学習済みパラメータは、事前学習済みのコンテキストモデルＮＮ（９１６）のＮ１個の事前学習済みパラメータと、事前学習済みのメインデコーダネットワーク（９１５）のＮ２個の事前学習済みパラメータとを含む。よって、１つ以上の事前学習済みパラメータの第１サブセットはＮ１個の事前学習済みパラメータを含み、１つ以上の事前学習済みパラメータの第２サブセットは、１つ以上の事前学習済みパラメータと同じである。従って、事前学習済みのコンテキストモデルＮＮ（９１６）のＮ１個の事前学習済みパラメータは、Ｎ１個の対応する置換パラメータによって置換可能であり、それにより、事前学習済みビデオエンコーダ（１６００Ａ）は、更新されたビデオエンコーダ（１６００Ａ）へと更新され得る。事前学習済みコンテキストモデルＮＮ（９１６）も、更新されたコンテキストモデルＮＮ（９１６）へと更新される。デコーダ側で、Ｎ１個の事前学習済みパラメータは、Ｎ１個の対応する置換パラメータによって置換可能であり、Ｎ２個の事前学習済みパラメータは、Ｎ１個の対応する置換パラメータによって置換可能であり、事前学習済みのコンテキストモデルＮＮ（９１６）を、更新されたコンテキストモデルＮＮ（９１６）であるよう更新し、事前学習済みメインデコーダネットワーク（９１５）を、更新されたメインデコーダネットワーク（９１５）であるよう更新する。このようにして、事前学習済みビデオデコーダ（１６００Ｂ）は、更新されたビデオデコーダ（１６００Ｂ）へと更新され得る。

第２シナリオでは、１つ以上の事前学習済みパラメータのどれも、エンコーダ側の事前学習済みビデオエンコーダで使用されない。むしろ、１つ以上の事前学習済みパラメータは、デコーダ側の事前学習済みビデオデコーダで使用される。よって、事前学習済みビデオエンコーダは更新されず、訓練プロセス後に事前学習済みビデオエンコーダであり続ける。実施形態において、ニューラルネットワーク更新情報は１つ以上の置換パラメータを示す。１つ以上の画像は、事前学習済みビデオエンコーダを用いてエンコーディングされ、ニューラルネットワーク更新情報とともにビットストリームで送信される。

デコーダ側で、事前学習済みビデオデコーダは、ニューラルネットワーク更新情報を受信しデコーディングして、１つ以上の置換パラメータを決定することができる。事前学習済みビデオデコーダは、事前学習済みビデオデコーダの１つ以上の事前学習済みパラメータが１つ以上の置換パラメータによって変更される場合に、更新されたビデオデコーダへと更新される。１つ以上のエンコーディングされた画像は、更新されたビデオデコーダを用いてデコーディングされ得る。

図１６Ａ～１６Ｂは、第２シナリオの例を示す。例えば、１つ以上の事前学習済みパラメータは、事前学習済みのメインデコーダネットワーク（９１５）のＮ２個の事前学習済みパラメータを含む。よって、１つ以上の事前学習済みパラメータのどれも、エンコーダ側の事前学習済みビデオエンコーダ（例えば、事前学習済みビデオエンコーダ（１６００Ａ））で使用されない。よって、事前学習済みビデオエンコーダ（１６００Ａ）は、訓練プロセス後に事前学習済みビデオエンコーダであり続ける。デコーダ側で、Ｎ２個の事前学習済みパラメータはＮ２個の対応する置換パラメータによって置換され得、これにより、事前学習済みのメインデコーダネットワーク（９１５）は、更新されたメインデコーダネットワーク（９１５）へと更新される。このようにして、事前学習済みビデオデコーダ（１６００Ｂ）は、更新されたビデオデコーダ（１６００Ｂ）であるよう更新され得る。

第３シナリオで、１つ以上の事前学習済みパラメータは、事前学習済みビデオエンコーダで使用され、例えば、訓練プロセスで、１つ以上の置換パラメータによって置換される。よって、事前学習済みビデオエンコーダは、訓練プロセスによって、更新されたビデオエンコーダへと更新される。１つ以上の画像は、更新されたビデオエンコーダを用いてエンコーディングされ、ビットストリームで送信され得る。ニューラルネットワーク更新情報はビットストリームでエンコーディングされない。デコーダ側で、事前学習済みビデオデコーダは更新されず、事前学習済みビデオデコーダのままである。１つ以上のエンコーディングされた画像は、事前学習済みビデオデコーダを用いてデコーディングされ得る。

図１６Ａ～１６Ｂは、第３シナリオの例を示す。例えば、１つ以上の事前学習済みパラメータは、事前学習済みのメインエンコーダネットワーク（９１１）にある。従って、事前学習済みのメインエンコーダネットワーク（９１１）の１つ以上の事前学習済みパラメータは１つ以上の置換パラメータによって置換され得、それにより、事前学習済みビデオエンコーダ（１６００Ａ）は、更新されたビデオエンコーダ（１６００Ａ）へと更新され得る。事前学習済みのメインエンコーダネットワーク（９１１）も、更新されたメインエンコーダネットワーク（９１１）であるよう更新される。デコーダ側で、事前学習済みビデオデコーダ（１６００Ｂ）は更新されない。

第１、第２、及び第３のシナリオで説明されているような様々な例において、ビデオデコーディングは、事前学習済みパラメータを更新する能力を備えたデコーダ及びそのような能力を備えていないデコーダを含む、種々の能力を備えている事前学習済みのデコーダによって、実行されてよい。

例において、圧縮性能は、事前学習済みビデオエンコーダ及び事前学習済みビデオデコーダにより１つ以上の画像をコーディングすることと比較して、更新されたビデオエンコーダ及び／又は更新されたビデオデコーダにより１つ以上画像をコーディングすることによって向上することができる。従って、コンテンツ適応オンライン訓練方法は、事前学習済みのＮＩＣフレームワーク（例えば、事前学習済みＮＩＣフレームワーク（９００））をターゲット画像コンテンツ（例えば、送信されるべき１つ以上の画像）に適応させて、事前学習済みのＮＩＣフレームをファインチューニングするために、使用され得る。従って、エンコーダ側にあるエンコーダ及び／又はデコーダ側にあるビデオデコーダは、更新され得る。

コンテンツ適応オンライン訓練方法は、事前学習済みのＥ２Ｅ ＮＩＣ圧縮方法の圧縮性能を向上させるための前処理ステップ（事前エンコーディングステップ）として使用され得る。

実施形態において、１つ以上の画像は単一の入力画像を含み、ファインチューニングプロセスは単一の入力画像により実行される。ＮＩＣフレームワーク（９００）は、単一の入力画像に基づいて訓練及び更新（例えば、ファインチューニング）される。エンコーダ側にある更新されたビデオエンコーダ及び／又はデコーダ側にある更新されたビデオデコーダは、単一の入力画像及び任意の他の入力画像をコーディングするために使用され得る。ニューラルネットワーク更新情報は、エンコーディングされた単一の入力画像とともに、ビットストリーム内にエンコーディングされ得る。

実施形態において、１つ以上の画像は複数の入力画像を含み、ファインチューニングプロセスは複数の入力画像により実行される。ＮＩＣフレームワーク（９００）は、複数の入力画像に基づいて訓練及び更新（例えば、ファインチューニング）される。エンコーダ側にある更新されたビデオエンコーダ及び／又はデコーダ側にある更新されたビデオデコーダは、複数の入力画像及び任意の他の入力画像をコーディングするために使用され得る。ニューラルネットワーク更新情報は、エンコーディングされた複数の入力画像とともに、ビットストリーム内にエンコーディングされ得る。

レート損失Ｒは、ビットストリームでのニューラルネットワーク更新情報のシグナリングにより増大する可能性がある。１つ以上の画像が単一の入力画像を含む場合に、ニューラルネットワーク更新情報は、エンコーディングされた画像ごとにシグナリングされ、レート損失Ｒの第１の増大は、画像ごとのニューラルネットワーク更新情報のシグナリングに起因したレート損失Ｒの増大を示すために使用される。１つ以上の画像が複数の入力画像を含む場合に、ニューラルネットワーク更新情報は、複数の入力画像についてシグナリングされ、それらの入力画像によって共有され、レート損失Ｒの第２の増大は、画像ごとのニューラルネットワーク更新情報のシグナリングに起因したレート損失Ｒの増大を示すために使用される。ニューラルネットワーク更新情報は複数の入力画像によって共有されるので、レート損失Ｒの第２の増大は、レート損失Ｒの第１の増大よりも小さくなる。よって、いくつかの例において、複数の入力画像を用いてＮＩＣフレームワークをファインチューニングすることが有利であり得る。

実施形態において、更新される１つ以上の事前学習済みパラメータは、事前学習済みのＮＩＣフレームワーク（９００）の１つのコンポーネントにある。よって、事前学習済みのＮＩＣフレームワーク（９００）のその１つのコンポーネントは１つ以上の置換パラメータに基づいて更新され、事前学習済みのＮＩＣフレームワーク（９００）の他のコンポーネントは更新されない。

１つのコンポーネントは、事前学習済みのコンテキストモデルＮＮ（９１６）、事前学習済みのエントロピパラメータＮＮ（９１７）、事前学習済みのメインエンコーダネットワーク（９１１）、事前学習済みのメインデコーダネットワーク（９１５）、事前学習済みのハイパーエンコーダ（９２１）、又は事前学習済みのハイパーデコーダ（９２５）であることができる。事前学習済みビデオエンコーダ及び／又は事前学習済みビデオデコーダは、事前学習済みのＮＩＣフレームワーク（９００）のコンポーネントのうちのどれが更新されるかに応じて、更新され得る。

例において、更新される１つ以上の事前学習済みパラメータは、事前学習済みのコンテキストモデルＮＮ（９１６）にあり、よって、事前学習済みのコンテキストモデルＮＮ（９１６）は更新され、残りのコンポーネント（９１１）、（９１５）、（９２１）、（９１７）、及び（９２５）は更新されない。例において、エンコーダ側の事前学習済みビデオエンコーダ及びデコーダ側の事前学習済みビデオデコーダは、事前学習済みのコンテキストモデルＮＮ（９１６）を含むので、事前学習済みビデオエンコーダ及び事前学習済みビデオデコーダの両方が更新される。

例において、更新される１つ以上の事前学習済みパラメータは、事前学習済みのハイパーデコーダ（９２５）にあり、よって、事前学習済みのハイパーデコーダ（９２５）は更新され、残りのコンポーネント（９１１）、（９１５）、（９１６）、（９１７）、及び（９２１）は更新されない。よって、事前学習済みビデオエンコーダは更新されず、事前学習済みビデオデコーダは更新される。

実施形態において、更新される１つ以上の事前学習済みパラメータは、事前学習済みのＮＩＣフレームワーク（９００）にある。よって、事前学習済みのＮＩＣフレームワーク（９００）の複数のコンポーネントは、１つ以上の置換パラメータに基づいて更新される。例において、事前学習済みのＮＩＣフレームワーク（９００）の複数のコンポーネントは、ニューラルネットワーク（例えば、ＤＮＮ、ＣＮＮ）により構成されている全てのコンポーネントを含む。例において、事前学習済みのＮＩＣフレームワーク（９００）の複数のコンポーネントは、ＣＮＮベースのコンポーネント、つまり、事前学習済みのメインエンコーダネットワーク（９１１）、事前学習済みのメインデコーダネットワーク（９１５）、事前学習済みのコンテキストモデルＮＮ（９１６）、事前学習済みのエントロピパラメータＮＮ（９１７）、事前学習済みのハイパーエンコーダ（９２１）、及び事前学習済みのハイパーデコーダ（９２５）を含む。

上述されたように、例において、更新される１つ以上の事前学習済みパラメータは、事前学習済みのＮＩＣフレームワーク（９００）の事前学習済みビデオエンコーダにある。例において、更新される１つ以上の事前学習済みパラメータは、ＮＩＣフレームワーク（９００）の事前学習済みビデオデコーダにある。例において、更新される１つ以上の事前学習済みパラメータは、事前学習済みのＮＩＣフレームワーク（９００）の事前学習済みビデオエンコーダ及び事前学習済みビデオデコーダにある。

ＮＩＣフレームワーク（９００）はニューラルネットワークに基づくことができ、例えば、ＮＩＣフレームワーク（９００）内の１つ以上のコンポーネントは、ＣＮＮ、ＤＮＮ、及び／又は同様のもののようなニューラルネットワークを含むことができる。上述されたように、ニューラルネットワークは、重み、バイアス、などのような種々のタイプのパラメータによって指定され得る。

ＮＩＣフレームワーク（９００）内の夫々のニューラルネットワークベースのコンポーネント（例えば、コンテキストモデルＮＮ（９１６）、エントロピパラメータＮＮ（９１７）、メインエンコーダネットワーク（９１１）、メインデコーダネットワーク（９１５）、ハイパーエンコーダ（９２１）、又はハイパーデコーダ（９２５））は、各々の重み、バイアス、又は重みとバイアスとの組み合わせなどの適切なパラメータにより構成され得る。ＣＮＮが使用される場合に、重みは畳み込みカーネルの要素を含むことができる。１つ以上のタイプのパラメータが、ニューラルネットワークを指定するために使用され得る。実施形態において、更新される１つ以上の事前学習済みパラメータはバイアス項であり、バイアス項のみが１つ以上の置換パラメータによって置換される。実施形態において、更新される１つ以上の事前学習済みパラメータは重みであり、重みのみが１つ以上の置換パラメータによって置換される。実施形態において、更新される１つ以上の事前学習済みパラメータは重み及びバイアス項を含み、重み及びバイアス項を含む全ての事前学習済みパラメータが１つ以上の置換パラメータによって置換される。実施形態において、他のパラメータがニューラルネットワークを指定するために使用されてもよく、他のパラメータがファインチューニングされ得る。

ファインチューニングプロセスは、１つ以上の事前学習済みパラメータ（例えば、重み、バイアス）が反復的なファインチューニングプロセスで更新又は学習される複数のエポック（例えば、繰り返し）を含むことができる。ファインチューニングプロセスは、訓練損失が平らになるか又はおおよそ平らになる場合に停止することができる。例において、ファインチューニングプロセスは、訓練損失（例えば、Ｒ－Ｄ損失Ｌ）が第１閾値を下回る場合に停止する。例において、ファインチューニングプロセスは、２つの連続した訓練損失の間の差が第２閾値を下回る場合に停止する。

２つのハイパーパラメータ（例えば、ステップサイズ及びステップの最大数）が、タイプＩのコンテンツ適応オンライン訓練で述べられたように、損失関数（例えば、Ｒ－Ｄ損失Ｌ）とともに、ファインチューニングプロセスで使用され得る。

ファインチューニングプロセスの終わりに、１つ以上の更新されたパラメータは、各々の１つ以上の置換パラメータについて計算され得る。実施形態において、１つ以上の更新されたパラメータは、１つ以上の置換パラメータと対応する１つ以上の事前学習済みパラメータとの間の差として計算される。実施形態において、１つ以上の更新されたパラメータは夫々、１つ以上の置換パラメータである。

実施形態において、１つ以上の更新されたパラメータは、例えば、特定の線形又は非線形変換を用いて、１つ以上の置換パラメータから生成され得、１つ以上の更新されたパラメータは、１つ以上の置換パラメータに基づき生成された代表的なパラメータである。１つ以上の置換パラメータは、より良い圧縮のために１つ以上の更新されたパラメータに変換される。

１つ以上の更新されたパラメータの第１サブセットは、１つ以上の置換パラメータの第１サブセットに対応し、１つ以上の更新されたパラメータの第２サブセットは、１つ以上の置換パラメータの第２サブセットに対応する。

例において、１つ以上の更新されたパラメータは、例えば、Ｌｅｍｐｅｌ－Ｚｉｖ－Ｍａｒｋｏｖチェーンアルゴリズム（ＬＺＭＡ）バリエーションであるＬＺＭＡ２、ｂｚｉｐ２アルゴリズム、などを用いて、圧縮され得る。例において、圧縮は、１つ以上の更新されたパラメータについては省略される。いくつかの実施形態において、１つ以上の更新されたパラメータ又は１つ以上の更新されたパラメータの第２サブセットは、ニューラルネットワーク更新情報としてビットストリーム内にエンコーディングされ得る。ここで、ニューラルネットワーク更新情報は、１つ以上の置換パラメータ又は１つ以上の置換パラメータの第２サブセットを示す。

ファインチューニングプロセスの後、いくつかの例において、エンコーダ側の事前学習済みビデオエンコーダは、（ｉ）１つ以上の置換パラメータの第１サブセット、又は（ｉｉ）１つ以上の置換パラメータ、に基づき更新又はファインチューニングされ得る。入力画像（例えば、ファインチューニングプロセスで使用される１つ以上の画像のうちの１つ）は、更新されたビデオエンコーダを用いてビットストリーム内にエンコーディングされ得る。このようにして、ビットストリームは、エンコーディングされた画像及びニューラルネットワーク更新情報の両方を含む。

適用可能である場合には、例において、ニューラルネットワーク更新情報は、１つ以上の更新されたパラメータ又は１つ以上の更新されたパラメータの第２サブセットを取得するよう事前学習済みビデオデコーダによってデコーディング（例えば、圧縮解除）される。例において、１つ以上の置換パラメータ又は１つ以上の置換パラメータの第２サブセットは、上記の、１つ以上の更新されたパラメータと１つ以上の置換パラメータとの間の関係に基づき取得され得る。事前学習済みビデオデコーダはファインチューニングされ得、更新されたビデオデコーダは、上述されたように、エンコーディングされた画像をデコーディングするために使用され得る。

ＮＩＣフレームワークは、如何なるタイプのニューラルネットワークも含み、コンテキスト－ハイパープライア・エンコーダ－デコーダフレームワーク（例えば、図９に示されているＮＩＣフレームワーク）、スケール－ハイパープライア・エンコーダ－デコーダフレームワーク、混合ガウス尤度フレームワーク及び混合ガウス尤度フレームワークの変形、ＲＮＮベースの回帰的圧縮方法及びＲＮＮベースの回帰的圧縮方法の変形、などのような、任意のニューラルネットワークに基づいた画像圧縮方法を使用することができる。

関連するＥ２Ｅ画像圧縮方法と比較して、本開示のコンテンツ適応型のオンライン訓練方法及び装置には、次の利点がある。適応オンライン訓練メカニズムは、ＮＩＣコーディング効率を改善するために利用可能である。柔軟性がある一般的なフレームワークの使用は、様々なタイプの事前学習されたフレームワーク及び品質メトリクスに適合することができる。例えば、様々なタイプの事前学習されたフレームワークの特定の事前学習済みパラメータは、エンコーディングされて伝送される画像によるオンライン訓練を使用することによって、置換され得る。

いくつかの例において、タイプＩのコンテンツ適応オンライン訓練及びタイプＩＩのコンテンツ適応オンライン訓練を含むコンテンツ適応オンライン訓練は、エンコーディング及び／又は伝送される画像（例えば、ロー画像又は残差データを伴った画像）内の１つ以上の入力ブロックに基づくことができる。１つ以上の入力ブロックに基づいたタイプＩのコンテンツ適応オンライン訓練は、ブロックワイズのタイプＩコンテンツ適応オンライン訓練と呼ばれ得る。

実施形態において、タイプＩのコンテンツ適応オンライン訓練及びタイプＩＩのコンテンツ適応オンライン訓練は、事前学習済みＮＩＣフレームワークで使用される事前学習済みパラメータ（例えば、重み及び／又はバイアス）及び事前学習済みパラメータの１つ以上の組を変更する変更パラメータ（例えば、スケーリング係数及び／又はオフセット）がコンテンツ適応オンライン訓練を用いて更新されるように，組み合わされる。

ＩＶ．コンテンツ適応オンライン訓練に基づいた例示的なエンコーディングプロセス及びデコーディングプロセスを説明するフローチャート
図１９は、開示の実施形態に従うプロセス（１９００）を説明するフローチャートを示す。プロセス（１９００）は、ロー画像又は残差データのような画像をエンコーディングするために使用され得る。様々な実施形態において、プロセス（１９００）は、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路、ビデオエンコーダ（１６００Ａ）の機能を実行する処理回路、ビデオエンコーダ（１７００）の機能を実行する処理回路、ＮＩＣフレームワーク（９００）の機能を実行する処理回路、などのような処理回路によって実行される。例において、処理回路は、（ｉ）ビデオエンコーダ（４０３）、（６０３）、及び（７０３）のうちの１つと、（ｉｉ）ビデオエンコーダ（１６００Ａ）及びビデオエンコーダ（１７００）のうちの１つと、の機能の組み合わせを実行する。実施形態において、プロセス（１９００）はソフトウェア命令で実装されるので、処理回路がソフトウェア命令を実行する場合に、処理回路はプロセス（１９００）を実行する。プロセスは、（Ｓ１９０１）から始まる。例において、ＮＩＣフレームワークはニューラルネットワークに基づく。例において、ＮＩＣフレームワークは、図９を参照して説明されたＮＩＣフレームワーク（９００）である。ＮＩＣフレームワークは、図１０～１５を参照して説明されたようなＣＮＮに基づくことができる。ビデオエンコーダ（例えば、（１６００Ａ）又は（１７００））及び対応するビデオデコーダ（例えば、（１６００Ｂ）又は（１８００））は、上述されたように、ＮＩＣフレームワーク内の複数のコンポーネントを含むことができる。ニューラルネットワークに基づいたＮＩＣフレームワークは事前学習されるので、ビデオエンコーダ及びビデオデコーダは事前学習される。プロセス（１９００）は（Ｓ１９１０）へ進む。

（Ｓ１９１０）で、ファインチューニングプロセスが、１つ以上の画像（又は入力画像）に基づいてＮＩＣフレームワークに対して実行される。入力画像は、如何なる適切なサイズも有する如何なる適切な画像であることもできる。いくつかの例において、入力画像は、空間領域内にあるロー画像、自然画像、コンピュータにより生成された画像、及び／又は同様のものを含む。

いくつかの例において、入力画像は、例えば、残差計算部（例えば、残差計算部（２７３））によって計算された、空間領域内の残差データを含む。様々な装置のコンポーネントが、（Ｓ１９１０）を達成するよう適切に組み合わされ得る。例えば、図７及び９を参照すると、残差計算部からの残差データは、画像に結合され、ＮＩＣフレームワーク内のメインエンコーダネットワーク（９１１）に供給される。

１つ以上の変更パラメータは、１つ以上の画像に基づいて決定され、例えば、デフォルト値（例えば、スケーリング係数については１であり、オフセットについては０である。）から調整され得る。実施形態において、１つ以上の変更パラメータは、（Ｓ１９１０）で記載された訓練プロセス中に、例えば、各ステップで、更新されている。１つ以上の変更パラメータは、スケーリング係数又はオフセットであることができる。１つ以上の変更パラメータは、置換パラメータの１つ以上の組を生成するようＮＩＣフレームワーク内の少なくとも１つのニューラルネットワークで事前学習済みパラメータの１つ以上の組を夫々変更することができる。１つ以上の変更パラメータの夫々は、事前学習済みパラメータの対応する組を変更することができる。

実施形態において、１つ以上の変更パラメータの第１サブセットによって変更される事前学習済みパラメータの１つ以上の組のうちの第１サブセットは、ビデオエンコーダ（例えば、事前学習済みビデオエンコーダ）内の少なくとも１つのニューラルネットワークで使用され、このようにして、ビデオエンコーダ内の少なくとも１つのニューラルネットワークは、１つ以上の変更パラメータの第１サブセットに基づき更新され得る。例において、ビデオエンコーダ内の少なくとも１つのニューラルネットワークは、事前学習済みパラメータの１つ以上の組のうちの第１サブセットが置換パラメータの１つ以上の組のうちの第１サブセットで夫々置換される場合に、更新される。例において、ビデオエンコーダ内の少なくとも１つのニューラルネットワークは、ファインチューニングプロセスで繰り返し更新される。

例において、事前学習済みパラメータの１つ以上の組のどれもビデオエンコーダに含まれず、よって、ビデオエンコーダは更新されず、事前学習済みビデオエンコーダのままである。

（Ｓ１９２０）で、１つ以上の画像のうちの１つが、少なくとも１つの更新されたニューラルネットワークを備えたビデオエンコーダを用いてエンコーディングされ得る。例において、１つ以上の画像のうちのその１つは、ビデオエンコーダ内の少なくとも１つのニューラルネットワークが更新された後でエンコーディングされる。

ステップ（Ｓ１９２０）は適切に適応され得る。例えば、ビデオエンコーダは、事前学習済みパラメータの１つ以上の組のどれもビデオエンコーダ内の少なくとも１つのニューラルネットワークに含まれない場合に更新されず、よって、１つ以上の画像のうちの１つは、事前学習済みビデオエンコーダ（例えば、少なくとも１つの事前学習済みニューラルネットワークを含むビデオエンコーダ）を用いてエンコーディングされ得る。

（Ｓ１９３０）で、１つ以上の変更パラメータの第２サブセットを示すニューラルネットワーク更新情報がビットストリーム内にエンコーディングされ得る。例において、１つ以上の変更パラメータの第２サブセットは、デコーダ側のビデオデコーダ内の少なくとも１つのニューラルネットワークを更新するために使用されるものである。ステップ（Ｓ１９３０）は省略可能であり、例えば、１つ以上の変更パラメータの第２サブセットが変更パラメータを含まず、ニューラルネットワーク更新情報がビットストリームでシグナリングされない場合には、ビデオデコーダ内のニューラルネットワークのどれも更新されない。

（Ｓ１９４０）で、１つ以上の画像のうちのエンコーディングされた１つと、ニューラルネットワーク更新情報とを含むビットストリームが送信され得る。ステップ（Ｓ１９４０）は適切に適応され得る。例えば、ステップ（Ｓ１９３０）が省略される場合には、ビットストリームはニューラルネットワーク更新情報を含まない。プロセス（１９００）は（Ｓ１９９９）へ進み、終了する。

プロセス（１９００）は、様々なシナリオに適切に適応可能であり、プロセス（１９００）のステップはそれに応じて調整され得る。プロセス（１９００）のステップのうちの１つ以上は、適応、省略、繰り返し、及び／又は結合され得る。如何なる適切な順序もプロセス（１９００）を実装するために使用可能である。追加のステップが追加可能である。例えば、１つ以上の画像のうちの１つをエンコーディングすることに加えて、１つ以上の画像のうちの残りの１つなどの他の画像が（Ｓ１９２０）でエンコーディングされ、（Ｓ１９４０）で送信される。

プロセス（１９００）のいくつかの例において、１つ以上の画像のうちの１つは、更新されたビデオエンコーダによってエンコーディングされ、ビットストリームで送信される、ファインチューニングプロセスが１つ以上の画像に基づくということで、ファインチューニングプロセスは、エンコーディングされるコンテキストに基づき、よって、コンテキストベースである。

いくつかの例において、ニューラルネットワーク更新情報は、ビデオデコーダ内のどの事前学習済みパラメータを１つ以上の変更パラメータの第２サブセットが変更して、ビデオデコーダ内の対応する事前学習済みパラメータが更新され得るようにするかを更に示す。ニューラルネットワーク更新情報は、１つ以上の変更パラメータの第２サブセットが変更するビデオデコーダ内の事前学習済みパラメータのコンポーネント情報（例えば、（９１５））、レイヤ情報（例えば、第４の層ＤｅＣｏｎｖ：５×５ ｃ３ ｓ２）、チャネル情報（例えば、第２チャネル）、及び／又は同様のものを示すことができる。従って、図１１を参照すると、１つ以上の変更パラメータの第２サブセットが変更するビデオデコーダ内の事前学習済みパラメータは、メインデコーダネットワーク（９１５）内のＤｅＣｏｎｖ：５×５ ｃ３ ｓ２の第２チャネルの畳み込みカーネルを含む。よって、事前学習済みのメインデコーダネットワーク（９１５）内のＤｅＣｏｎｖ：５×５ ｃ３ ｓ２の第２チャネルの畳み込みカーネルは更新される。いくつかの例において、１つ以上の変更パラメータの第２サブセットが変更するビデオデコーダ内の事前学習済みパラメータのコンポーネント情報（例えば、（９１５））、レイヤ情報（例えば、第４の層ＤｅＣｏｎｖ：５×５ ｃ３ ｓ２）、チャネル情報（例えば、第２チャネル）、及び／又は同様のものは、予め決定されて、事前学習済みビデオデコーダで記憶されるので、シグナリングされない。

図２０は、開示の実施形態に従うプロセス（２０００）を説明するフローチャートを示す。プロセス（２０００）は、エンコーディングされた画像の再構成において使用され得る。様々な実施形態において、プロセス（２０００）は、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路、ビデオデコーダ（１６００Ｂ）の機能を実行する処理回路、ビデオデコーダ（１８００）の機能を実行する処理回路、ＮＩＣフレームワーク（９００）の機能を実行する処理回路、などのような処理回路によって実行される。例において、処理回路は、（ｉ）ビデオデコーダ（４１０）、ビデオデコーダ（５１０）、及びビデオデコーダ（８１０）のうちの１つと、（ｉｉ）ビデオデコーダ（１６００Ｂ）又はビデオデコーダ（１８００）のうちの１つと、の機能の組み合わせを実行する。いくつかの実施形態において、プロセス（２０００）はソフトウェア命令で実装されるので、処理回路がソフトウェア命令を実行する場合に、処理回路はプロセス（２０００）を実行する。プロセスは、（Ｓ２００１）から始まる。例において、ＮＩＣフレームワークはニューラルネットワークに基づく。例において、ＮＩＣフレームワークは、図９を参照して説明されたＮＩＣフレームワーク（９００）である。ＮＩＣフレームワークは、図１０～１５を参照して説明されたようなＣＮＮに基づくことができる。ビデオデコーダ（例えば、（１６００Ｂ）又は（１８００））は、上述されたように、ＮＩＣフレームワーク内の複数のコンポーネントを含むことができる。ニューラルネットワークに基づいたＮＩＣフレームワークは事前学習される。ビデオデコーダは、事前学習済みパラメータにより事前学習される。プロセス（２０００）は（Ｓ２０１０）へ進む。

（Ｓ２０１０）で、コーディングされたビットストリーム内のニューラルネットワーク更新情報がデコーディングされ得る。ニューラルネットワーク更新情報は、ビデオデコーダ内の少なくとも１つのニューラルネットワーク用であることができる。少なくとも１つのニューラルネットワークは、予め定義されるか、又はコーディングされたビットストリーム若しくはニューラルネットワーク更新情報で示され得る。少なくとも１つのニューラルネットワークは、事前学習済みパラメータの組により設定され得る。ニューラルネットワーク更新情報は、再構成されるべきエンコーディングされた画像に対応し、第１変更パラメータを示すことができる。

例において、第１変更パラメータはスケーリング係数である。ニューラルネットワーク更新情報は、事前学習済みパラメータの組を変更するためのオフセットを更に示すことができる。

例において、第１変更パラメータはオフセットである。

例において、事前学習済みパラメータの組は、少なくとも１つのニューラルネットワークのうちの１つの畳み込み層のバイアスを含む。

例において、事前学習済みパラメータの組は、少なくとも１つのニューラルネットワークのうちの１つの畳み込み層の畳み込みカーネルの重みを含む。

例において、ビデオデコーダは、図１８に示されるビデオデコーダ（１８００）である。ニューラルネットワークはメインデコーダネットワーク（９１５）である。

例において、ビデオデコーダは、図１６Ｂに示されるビデオデコーダ（１６００Ｂ）である。例において、少なくとも１つのニューラルネットワークは、メインデコーダネットワーク（９１５）、コンテキストモデルＮＮ（９１６）、エントロピパラメータＮＮ（９１７）、及びハイパーデコーダ（９２５）のうちの１つである。例えば、少なくとも１つのニューラルネットワークはコンテキストモデルＮＮ（９１６）である。ビデオデコーダの少なくとも１つのニューラルネットワークは、メインデコーダネットワーク（９１５）、コンテキストモデルＮＮ（９１６）、エントロピパラメータＮＮ（９１７）、及びハイパーデコーダ（９２５）の複数個を含むことができる。

（Ｓ２０２０）で、第１変更パラメータがニューラルネットワーク更新情報に基づき決定され得る。実施形態において、更新されたパラメータはニューラルネットワーク更新情報から取得される。例において、更新されたパラメータは、圧縮解除によってニューラルネットワーク更新情報から取得され得る。例において、ニューラルネットワーク更新情報は、更新されたパラメータが第１変更パラメータ（例えば、１．１のスケーリング係数）と事前学習された変更パラメータ（例えば、１のスケーリング係数）との間の差（例えば、０．１）であることを示し、第１変更パラメータは、更新されたパラメータと事前学習された変更パラメータとの和に応じて計算され得る。実施形態において、第１変更パラメータは、更新されたパラメータであるよう決定される。

（Ｓ２０３０）で、ビデオデコーダ内の少なくとも１つのニューラルネットワークの事前学習済みパラメータの組は、第１変更パラメータに基づき更新され得る。例えば、事前学習済みパラメータの組は、ハイパーデコーダ（９２５）の図１３に示されたＣＮＮの第３畳み込み層（ＤｅＣｏｎｖ：３×３ ｃ３８４ ｓ１）の第１チャネル（例えば、ｃ１）の９つの重みに対応する。

例において、第１変更パラメータがスケーリング係数である場合に、事前学習済みパラメータの組は、置換パラメータの組で夫々置換され、このとき、置換パラメータの組は、スケーリング係数を乗じられた事前学習済みパラメータの組である。

例において、第１変更パラメータはオフセットであり、オフセットは、事前学習済みパラメータの組を更新するよう少なくとも１つのニューラルネットワークの事前学習済みパラメータの組に加えられる。

（Ｓ２０４０）で、ビットストリーム内のエンコーディングされた画像が、更新されたビデオデコーダによって、例えば、更新された少なくとも１つのニューラルネットワークに基づきデコーディングされ得る。（Ｓ２０４０）で生成される出力画像は、如何なる適切なサイズも有する如何なる適切な画像であることもできる。いくつかの例において、出力画像は、空間領域内にある再構成されたロー画像、自然画像、コンピュータにより生成された画像、及び／又は同様のものを含む。

いくつかの例において、ビデオデコーダの出力画像は、空間領域内の残差データを含み、よって、更なる処理が、再構成された画像を出力画像に基づき生成するために使用され得る。例えば、再構成モジュール（８７４）は、空間領域において、残差データ及び予測結果（インター又はイントラ予測モジュールによって出力される。）を結合して、再構成された画像の部分であり得る再構成されたブロックを形成するよう構成される。デブロッキング動作などのような追加の適切な動作が、視覚品質を改善するために実行され得る。様々な装置のコンポーネントが、（Ｓ２０４０）を達成するよう適切に組み合わされ得る。例えば、図７及び９を参照すると、ビデオデコーダ内のメインデコーダネットワークからの残差データ及び対応する予測結果は、再構成された画像を生成するよう再構成モジュール（８７４）に供給される。

例において、ビットストリームは、エンコーディングされた画像をデコーディングするためのコンテキストモデルを決定するために使用される１つ以上のエンコーディングされたビットを更に含む。ビデオデコーダは、メインデコーダネットワーク（例えば、（９１１））、コンテキストモデルネットワーク（例えば、（９１６））、エントロピパラメータネットワーク（例えば、（９１７））、及びハイパーデコーダネットワーク（例えば、（９２５））を含むことができる。少なくとも１つのニューラルネットワークは、メインデコーダネットワーク、コンテキストモデルネットワーク、エントロピパラメータＮＮ、及びハイパーデコーダネットワークのうちの１つ以上を含む。１つ以上のエンコーディングされたビットは、ハイパーデコーダネットワークを用いてデコーディングされ得る。エントロピモデル（例えば、コンテキストモデル）は、デコーディングされたビットと、コンテキストモデルネットワークが利用することができるエンコーディングされた画像の量子化されたレイテントとに基づき、コンテキストモデルネットワーク及びエントロピパラメータネットワークを用いてデコーディングされ得る。エンコーディングされた画像は、メインデコーダネットワーク及びエントロピモデルを用いてデコーディングされ得る。

プロセス（２０００）は（Ｓ２９９９）へ進み、終了する。

プロセス（２０００）は、様々なシナリオに適切に適応可能であり、プロセス（２０００）のステップはそれに応じて調整され得る。プロセス（２０００）のステップのうちの１つ以上は、適応、省略、繰り返し、及び／又は結合され得る。如何なる適切な順序もプロセス（２０００）を実装するために使用可能である。追加のステップが追加可能である。

例えば、（Ｓ２０４０）で、コーディングされたビットストリーム内の１つ以上の追加のエンコーディングされた画像が、更新されたニューラルネットワークに基づきデコーディングされる。よって、エンコーディングされた画像及び１つ以上の追加のエンコーディングされた画像は、同じニューラルネットワーク更新情報を共有することができる。

例において、ニューラルネットワーク更新情報は、事前学習済みパラメータの第２の組により設定された少なくとも１つのニューラルネットワークのための第２変更パラメータを示す。（Ｓ２０３０）で、少なくとも１つのニューラルネットワークの事前学習済みパラメータの第２の組は、第２変更パラメータに基づき更新され得る。例において、事前学習済みパラメータの組は、少なくとも１つのニューラルネットワークのうちの１つの畳み込み層の畳み込みカーネルの重みを含み、事前学習済みパラメータの第２の組は、少なくとも１つのニューラルネットワークのうちの１つの畳み込み層のバイアスを含む。

開示の実施形態は、別々に使用されても、又は如何なる順序でも結合されてよい。更に、方法（又は実施形態）、エンコーダ、及びデコーダの夫々は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実装されてよい。一例では、１つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行する。

本開示は、ニューラルネットワークに基づいたエンコーダのようなエンコーダや、ニューラルネットワークに基づいたデコーダのようなデコーダのために使用される方法に如何なる制限も置くものではない。エンコーダ、デコーダ、及び／又は同様のもので使用されるニューラルネットワークは、ＤＮＮ、ＣＮＮ、などのような如何なる適切なタイプのニューラルネットワークでもあることができる。

よって、本開示のコンテンツ適応オンライン訓練方法は、種々のタイプのＮＩＣフレームワーク、例えば、種々のタイプのエンコーディングＤＮＮ、デコーディングＤＮＮ、エンコーディングＣＮＮ、デコーディングＣＮＮ、及び／又は同様のものに適合することができる。

Ｖ．開示の実施形態を実装するための例示的なコンピュータシステム
上記の技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、１つ以上のコンピュータ可読媒体に物理的に記憶され得る。例えば、図２１は、開示される対象の特定の実施形態を実装するのに適したコンピュータシステム（２１００）を示す。

コンピュータソフトウェアは、１つ以上のコンピュータ中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって、直接に、又は解釈、マイクロコード実行などを通じて、実行され得る命令を含むコードを生成するように、アセンブリ、コンパイル、リンキングなどのメカニズムに従い得る如何なる適切な機械コード又はコンピュータ言語によってもコーディング可能である。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、インターネット・オブ・シングス（Internet of Things）デバイス、などを含む様々なタイプのコンピュータ又はその構成要素で実行可能である。

コンピュータシステム（２１００）に関して図２１に示されるコンポーネントは、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる限定も示唆することを意図しない。コンポーネントの構成は、コンピュータシステム（２１００）の例示的な実施形態において説明される構成要素のうちのいずれか１つ又は組み合わせに関して何らかの依存又は要件を有するものとして解釈されるべきではない。

コンピュータシステム（２１００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。かようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーボード、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず。）を通じた一人以上のユーザによる入力に反応してよい。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、映像（例えば、二次元映像、立体視映像を含む三次元映像）などの、人による意識的な入力に必ずしも直接には関係しない特定のメディアを捕捉するためにも使用され得る。

入力ヒューマンインターフェースデバイスは、キーボード（２１０１）、マウス（２１０２）、トラックパッド（２１０３）、タッチスクリーン（２１１０）、データグローブ（図示せず。）、ジョイスティック（２１０５）、マイク（２１０６）、スキャナ（２１０７）、カメラ（２１０８）（各１つしか表されていない。）のうちの１つ以上を含んでよい。

コンピュータシステム（２１００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。かようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激し得る。かようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（２１１０）、データグローブ（図示せず。）、又はジョイスティック（２１０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る。）、音声出力デバイス（例えば、スピーカ（２１０９）、ヘッドホン（図示せず。））、視覚出力デバイス（例えば、夫々タッチスクリーン入力機能の有無によらず、夫々触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず。）、ホログラフィックディスプレイ及びスモークタンク（図示せず。）などの手段により二次元視覚出力又は三次元よりも多い次元の出力を出力可能なスクリーン（２１１０））、及びプリンタ（図示せず。）を含んでよい。

コンピュータシステム（２１００）は、人がアクセス可能な記憶デバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（２１２１）によるＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２１２０）、サムドライブ（２１２２）、リムーバブルハードディスク又はソリッドステートドライブ（２１２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず。）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス、例えば、セキュリティドングル（図示せず。）、なども含むことができる。

当業者であれば、目下開示されている対象に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解するはずである。

コンピュータシステム（２１００）は、１つ以上の通信ネットワーク（２１５５）へのインターフェース（２１５４）も含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性、などであることができる。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレス広域デジタルネットワーク、ＣＡＮバスを含む車両及び工場ネットワーク、などがある。特定のネットワークは、一般に、特定の汎用デジタルポート又はペリフェラルバス（２１４９）（例えば、コンピュータシステム（２１００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（２１００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（２１００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）又は単方向の送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）であることができ、あるいは、例えば、ローカル若しくは広域デジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの夫々で使用可能である。

上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（２１００）のコア（２１４０）へ取り付けられ得る。

コア（２１４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（２１４１）、グラフィクス処理ユニット（ＧＰＵ）（２１４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（２１４３）の形をとる専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（２１４４）、グラフィクスアダプタ（２１５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（２１４５）、ランダムアクセスメモリ（ＲＡＭ）（２１４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（２１４７）とともに、システムバス（２１４８）を通じて接続されてよい。いくつかのコンピュータシステムでは、システムバス（２１４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。コアのシステムバス（２１４８）へ直接に又はペリフェラルバス（２１４９）を通じて、周辺機器が取り付けられ得る。例において、ディスプレイ（２１１０）は、グラフィクスアダプタ（２１５０）へ接続され得る。ペリフェラルバスのためのアーキテクチャには、ＰＣＩ、ＵＳＢなどがある。

ＣＰＵ（２１４１）、ＧＰＵ（２１４２）、ＦＰＧＡ（２１４３）、及びアクセラレータ（２１４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行可能である。そのコンピュータコードは、ＲＯＭ（２１４５）又はＲＡＭ（２１４６）に記憶され得る。一時データもＲＡＭ（２１４６）に記憶可能であり、一方、永続性データは、例えば、内蔵大容量記憶装置（２１４７）に記憶可能である。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能にされ得る。キャッシュメモリは、１つ以上のＣＰＵ（２１４１）、ＧＰＵ（２１４２）、大容量記憶装置（２１４７）、ＲＯＭ（２１４５）、ＲＡＭ（２１４６）などと密接に関連し得る。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。

例として、限定としてではなく、アーキテクチャ（２１００）、具体的にはコア（２１４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む。）の結果として機能を提供することができる。かようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（２１４７）又はＲＯＭ（２１４５）などの、非一時的な性質であるコア（２１４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（２１４０）によって実行可能である。コンピュータ可読媒体には、特定のニーズに応じて、１つ以上のメモリデバイス又はチップが含まれ得る。ソフトウェアは、コア（２１４０）、及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む。）に、ＲＡＭ（２１４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することとを含め、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に、又は代替案として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードワイヤード又は別なふうに具現されたロジック（例えば、アクセラレータ（２１４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶している回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、又は両方を包含することができる。本開示は、ハードウェア及びソフトウェアの如何なる適切な組み合わせも包含する。

付録Ａ：頭字語
ＪＥＭ：Joint Exploration Model
ＶＶＣ：Versatile Video Coding
ＢＭＳ：Benchmark Set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group of Picture(s)
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long-Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＩ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Area(s)
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＣＵ：Coding Unit
ＮＩＣ：Neural Image Compression
Ｒ－Ｄ：Rate-Distortion
Ｅ２Ｅ：End to End
ＡＮＮ：Artificial Neural Network
ＤＮＮ：Deep Neural Network
ＣＮＮ：Convolution Neural Network

本開示は、いくつかの例示的な実施形態について記載してきたが、本開示の範囲内にある代替、交換、及び様々な置換均等物が存在する。よって、明らかなように、当業者であれば、たとえ本明細書で明示的に図示又は説明されていないとしても、本開示の原理を具現し、よって、その精神及び範囲の中にある多数のシステム及び方法に想到可能である。

Claims (12)

1. ビデオデコーダが実行するビデオデコーディングの方法であって、
   前記ビデオデコーダにおける少なくとも１つのニューラルネットワークのための、コーディングされたビットストリーム内のニューラルネットワーク更新情報をデコーディングするステップであり、前記少なくとも１つのニューラルネットワークは事前学習済みパラメータの組により構成され、前記ニューラルネットワーク更新情報は第１変更パラメータを示す、前記デコーディングするステップと、
   前記第１変更パラメータに基づき、前記ビデオデコーダにおける前記少なくとも１つのニューラルネットワークの前記事前学習済みパラメータの組を更新するステップと、
   更新された前記少なくとも１つのニューラルネットワークに基づき、エンコーディングされた画像をデコーディングするステップと
   を有し、
   前記コーディングされたビットストリームは、前記エンコーディングされた画像をデコーディングするためのコンテキストモデルを決定するために使用される１つ以上のエンコーディングされたビットを更に示し、
   前記少なくとも１つのニューラルネットワークは、前記ビデオデコーダにおけるメインデコーダネットワーク、コンテキストモデルニューラルネットワーク、エントロピパラメータニューラルネットワーク、及びハイパーデコーダネットワークのうちの１つ以上を含み、
   当該方法は、
   前記ハイパーデコーダネットワークを用いて前記１つ以上のエンコーディングされたビットをデコーディングするステップと、
   前記デコーディングされたビットと、前記コンテキストモデルニューラルネットワークが利用可能である前記エンコーディングされた画像の量子化されたレイテントとに基づき、前記コンテキストモデルニューラルネットワーク及び前記エントロピパラメータニューラルネットワークを用いてコンテキストモデルを決定するステップと
   を更に含み、
   前記エンコーディングされた画像をデコーディングするステップは、前記メインデコーダネットワーク及び前記コンテキストモデルにより前記エンコーディングされた画像をデコーディングするステップを含む、方法。
2. 前記第１変更パラメータはスケーリング係数であり、
   前記更新するステップは、前記事前学習済みパラメータの組を置換パラメータの組で夫々置換するステップを含み、
   前記置換パラメータの組は、前記スケーリング係数を乗じられた前記事前学習済みパラメータの組である、
   請求項１に記載の方法。
3. 前記第１変更パラメータはオフセットであり、
   前記更新するステップは、前記少なくとも１つのニューラルネットワークの前記事前学習済みパラメータの組に前記オフセットを加えるステップを含む、
   請求項１に記載の方法。
4. 前記ニューラルネットワーク更新情報は、前記事前学習済みパラメータの組を変更するためのオフセットを更に示し、
   前記更新するステップは、前記少なくとも１つのニューラルネットワークの前記置換パラメータの組に前記オフセットを加えるステップを含む、
   請求項２に記載の方法。
5. 前記事前学習済みパラメータの組は、前記少なくとも１つのニューラルネットワークのうちの１つの畳み込み層におけるバイアスを含む、
   請求項１に記載の方法。
6. 前記事前学習済みパラメータの組は、前記少なくとも１つのニューラルネットワークのうちの１つの畳み込み層の畳み込みカーネルにおける重みを含む、
   請求項１に記載の方法。
7. 前記ニューラルネットワーク更新情報は、事前学習済みパラメータの第２の組により構成された前記少なくとも１つのニューラルネットワークのための第２変更パラメータを示し、
   前記更新するステップは、前記第２変更パラメータに基づき前記少なくとも１つのニューラルネットワークの前記事前学習済みパラメータの第２の組を更新するステップを含む、
   請求項１に記載の方法。
8. 前記事前学習済みパラメータの組は、前記少なくとも１つのニューラルネットワークのうちの１つの畳み込み層の畳み込みカーネルにおける重みを含み、
   前記事前学習済みパラメータの第２の組は、前記少なくとも１つのニューラルネットワークのうちの前記１つの前記畳み込み層のバイアスを含む、
   請求項７に記載の方法。
9. 更新された前記少なくとも１つのニューラルネットワークに基づき、前記コーディングされたビットストリーム内の他のエンコーディングされた画像をデコーディングするステップを更に有する、
   請求項１に記載の方法。
10. ビデオデコーディングのための装置であって、
    プログラムコードを記憶するよう構成される少なくとも１つのメモリと、
    前記プログラムコードを読み出し、該プログラムコードによって指示されるように動作するよう構成される少なくとも１つのプロセッサと
    を有し、
    前記プログラムコードは、前記少なくとも１つのプロセッサによって実行される場合に、前記少なくとも１つのプロセッサに、請求項１乃至９のうちいずれか一項に記載の方法を実行させる、装置。
11. プロセッサで実行される場合に、該プロセッサに、請求項１乃至９のうちいずれか一項に記載の方法を実行させるコンピュータプログラム。
12. ビデオエンコーダが実行するビデオエンコーディングの方法であって、
    ビットストリームをエンコーディングして、コーディングされたビットストリームを生成するステップと、
    前記ビデオエンコーダにおける少なくとも１つのニューラルネットワークのための、前記コーディングされたビットストリーム内のニューラルネットワーク更新情報をデコーディングするステップであり、前記少なくとも１つのニューラルネットワークは事前学習済みパラメータの組により構成され、前記ニューラルネットワーク更新情報は第１変更パラメータを示す、前記デコーディングするステップと、
    前記第１変更パラメータに基づき、前記少なくとも１つのニューラルネットワークの前記事前学習済みパラメータの組を更新するステップと、
    更新された前記少なくとも１つのニューラルネットワークに基づき、エンコーディングされた画像をデコーディングするステップと
    を有し、
    前記コーディングされたビットストリームは、前記エンコーディングされた画像をデコーディングするためのコンテキストモデルを決定するために使用される１つ以上のエンコーディングされたビットを更に示し、
    前記少なくとも１つのニューラルネットワークは、前記ビデオエンコーダにおけるメインデコーダネットワーク、コンテキストモデルニューラルネットワーク、エントロピパラメータニューラルネットワーク、及びハイパーデコーダネットワークのうちの１つ以上を含み、
    当該方法は、
    前記ハイパーデコーダネットワークを用いて前記１つ以上のエンコーディングされたビットをデコーディングするステップと、
    前記デコーディングされたビットと、前記コンテキストモデルニューラルネットワークが利用可能である前記エンコーディングされた画像の量子化されたレイテントとに基づき、前記コンテキストモデルニューラルネットワーク及び前記エントロピパラメータニューラルネットワークを用いてコンテキストモデルを決定するステップと
    を更に含み、
    前記エンコーディングされた画像をデコーディングするステップは、前記メインデコーダネットワーク及び前記コンテキストモデルにより前記エンコーディングされた画像をデコーディングするステップを含む、方法。

Images