JP2023528483A - ビデオ情報を処理するための方法、デバイス、およびコンピュータプログラム - Google Patents

Abstract

本開示は、ビデオエンコーディングおよびビデオデコーディングにおける変換カーネル共有に関する。例えば、方法は、そのような変換カーネル共有のために開示される。本方法は、複数の変換カーネルを識別するステップを含むことができ、複数の変換カーネルの各々は、低周波から高周波までの一セットの基底ベクトルを含み、複数の変換カーネルのうちの2つ以上の変換カーネルのN個の高周波基底ベクトルが共有され、Nは正の整数であり、N個の高周波基底ベクトル以外の、複数の変換カーネルのうちの2つ以上の低周波基底ベクトルが個別化される。本方法は、ビデオビットストリームからデータブロックを抽出するステップと、データブロックに関連付けられた情報に基づいて、複数の変換カーネルから変換カーネルを選択するステップと、変換カーネルをデータブロックの少なくとも一部に適用して変換ブロックを生成するステップとをさらに含んでもよい。

Description

関連出願の相互参照
本出願は、2021年4月7日に出願された「ORTHOGONAL TRANSFORM GENERATION WITH SUBSPACE CONSTRAINT」と題する米国仮特許出願第63／172，060号に対する優先権を主張する、2022年1月5日に出願された米国非仮特許出願第17／568，871号に対する優先権の利益に基づき、その利益を主張する。両出願とも、その全体が参照により本明細書に組み込まれる。

本開示は、一セットの高度なビデオコーディング技術について説明する。より具体的には、開示される技術は、ビデオエンコーディングおよびビデオデコーディングにおける変換カーネル共有方法を含む。

本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、その研究がこの背景技術の項に記載されている限りにおいて、またそれ以外の本出願の出願時に先行技術として認められない可能性のある説明の態様と共に、本開示に対する先行技術としては明示的にも暗示的にも認められない。

ビデオコーディングおよびデコーディングは、動き補償を伴うインターピクチャ予測を使用して実行することができる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば1920×1080の輝度サンプルおよび関連するフルサンプリングまたはサブサンプリングされた色差サンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャまたは毎秒60フレームの固定または可変のピクチャレート（あるいはフレームレートとも呼ばれる）を有し得る。非圧縮ビデオは、ストリーミングまたはデータ処理のための特定のビットレート要件を有する。例えば、1920×1080の画素解像度、60フレーム／秒のフレームレート、および色チャネルあたり画素あたり8ビットで4：2：0のクロマサブサンプリングを有するビデオは、1．5Gbit／sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶空間を必要とする。

ビデオコーディングおよびビデオデコーディングの1つの目的は、圧縮による非圧縮入力ビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅および／または記憶空間要件を、場合によっては2桁以上低減させるのに役立つ場合がある。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用することができる。可逆圧縮とは、原信号の正確なコピーをデコーディングプロセスによって圧縮された原信号から再構成することができる技術を指す。非可逆圧縮とは、元のビデオ情報がコーディング時に完全に保持されず、デコーディング時に完全に回復できないコーディング／デコーディングプロセスを指す。非可逆圧縮を使用する場合、再構成された信号は原信号と同一ではない可能性があるが、原信号と再構成された信号との間の歪みは、多少の情報損失はあっても、再構成された信号を意図された用途に役立てるのに十分なほど小さくなる。ビデオの場合、非可逆圧縮が多くの用途で広く採用されている。耐容できる歪みの量は用途に左右される。例えば、特定の消費者ビデオストリーミング用途のユーザは、映画やテレビ放送用途のユーザよりも高い歪みを容認し得る。特定のコーディングアルゴリズムによって達成可能な圧縮比を、様々な歪み耐性を反映するように選択または調整することができる。すなわち、一般に、歪み耐性が高いほど、高い損失および高い圧縮比をもたらすコーディングアルゴリズムが可能になる。

ビデオエンコーダおよびビデオデコーダは、例えば、動き補償、フーリエ変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリおよびステップからの技術を利用することができる。

ビデオコーデック技術は、イントラコーディングとして知られる技法を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャがサンプルのブロックに空間的に細分される。サンプルのすべてのブロックがイントラモードでコーディングされる場合、そのピクチャをイントラピクチャと呼ぶことができる。イントラピクチャおよび独立したデコーダリフレッシュピクチャなどのそれらの派生ピクチャは、デコーダ状態をリセットするために使用することができ、したがって、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用することができる。次いで、イントラ予測後のブロックのサンプルに周波数領域への変換を施すことができ、そのように生成された変換係数をエントロピーコーディングの前に量子化することができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術を表す。場合によっては、変換後のDC値が小さいほど、かつAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップのサイズにおいて必要とされるビットは少なくなる。

例えば、MPEG－2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的隣接のエンコーディングおよび／またはデコーディング時に取得される、イントラコーディングされている、またはイントラデコーディングされているデータのブロックにデコーディング順序で先行する、周囲のサンプルデータおよび／またはメタデータに基づいて、ブロックのコーディング／デコーディングを試みる技術を含む。そのような技術を、これ以降、「イントラ予測」技術と呼ぶ。少なくともいくつかの場合において、イントラ予測は、再構成中の現在のピクチャのみからの参照データを使用し、他の参照ピクチャからの参照データは使用しないことに留意されたい。

イントラ予測には多くの異なる形式があり得る。そのような技術のうちの2つ以上が所与のビデオコーディング技術において利用可能である場合、使用される技術をイントラ予測モードと呼ぶことができる。1つまたは複数のイントラ予測モードが特定のコーデックで提供され得る。特定の場合には、モードは、サブモードを有することができ、かつ／または様々なパラメータと関連付けられていてもよく、モード／サブモード情報およびビデオのブロックのイントラコーディングパラメータは、個別にコーディングするか、またはまとめてモードのコードワードに含めることができる。所与のモード、サブモード、および／またはパラメータの組み合わせにどのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。

イントラ予測の特定のモードは、H．264で導入され、H．265において改良され、共同探索モデル（JEM）、多用途ビデオコーディング（VVC）、およびベンチマークセット（BMS）などのより新しいコーディング技術においてさらに改良された。一般に、イントラ予測では、利用可能になった隣接サンプル値を使用して予測器ブロックを形成することができる。例えば、特定の方向および／または線に沿った特定の隣接サンプルセットの利用可能な値が、予測器ブロックにコピーされ得る。使用中の方向への参照は、ビットストリーム内でコーディングされ得るか、またはそれ自体が予測されてもよい。

図1Aを参照すると、右下に示されているのは、（H．265で指定される35のイントラモードのうちの33の角度モードに対応する）H．265の33の可能な予測器方向で指定される9つの予測器方向のサブセットである。矢印が集中する点（101）は、予測されているサンプルを表す。矢印は、隣接サンプルがそこから101のサンプルを予測するために使用される方向を表す。例えば、矢印（102）は、サンプル（101）が、1つまたは複数の隣接サンプルから右上へ、水平方向から45度の角度で予測されることを示している。同様に、矢印（103）は、サンプル（101）が、1つまたは複数の隣接サンプルからサンプル（101）の左下へ、水平方向から22．5度の角度で予測されることを示している。

さらに図1Aを参照すると、左上には、（太い破線によって示された）4×4サンプルの正方形ブロック（104）が描写されている。正方形ブロック（104）は16個のサンプルを含み、各々、「S」、Y次元のその位置（例えば、行インデックス）、およびX次元のその位置（例えば、列インデックス）でラベル付けされている。例えば、サンプルS21は、Y次元の（上から）2番目のサンプルであり、X次元の（左から）1番目のサンプルである。同様に、サンプルS44は、ブロック（104）内のY次元およびX次元の両方の4番目のサンプルである。ブロックのサイズは4×4サンプルであるため、S44は右下にある。同様の番号付け方式に従う参照サンプルの例がさらに示されている。参照サンプルは、R、ブロック（104）に対するそのY位置（例えば、行番号）およびX位置（列番号）でラベル付けされている。H．264とH．265の両方で、再構成中のブロックに隣接する予測サンプルが使用される。

ブロック104のイントラピクチャ予測は、シグナリングされた予測方向に従って隣接サンプルから参照サンプル値をコピーすることから開始し得る。例えば、コーディングされたビデオビットストリームは、このブロック104について、矢印（102）の予測方向を示すシグナリングを含む、すなわち、サンプルは1つまたは複数の予測サンプルから右上へ、水平方向から45度の角度で予測されると仮定する。そのような場合、サンプルS41、S32、S23、S14が、同じ参照サンプルR05から予測される。次いで、参照サンプルR08からサンプルS44が予測される。

特定の場合には、参照サンプルを計算するために、特に方向が45度によって均等に割り切れないときは、複数の参照サンプルの値は、例えば補間によって組み合わされてもよい。

可能な方向の数は、ビデオコーディング技術が発展し続けるにつれて増加してきた。H．264（2003年）では、例えば、9つの異なる方向がイントラ予測に利用可能である。これは、H．265（2013年）では33まで増加し、JEM／VVC／BMSは、本開示の時点で、最大65の方向をサポートすることができる。最も適切なイントラ予測方向を特定するのに役立つ実験研究が行われており、エントロピーコーディングの特定の手法を使用して、方向についての特定のビットペナルティを受け入れて、それらの最も適切な方向が少数のビットでエンコーディングされ得る。さらに、方向自体を、デコーディングされた隣接するブロックのイントラ予測で使用された隣接する方向から予測できる場合もある。

図1Bに、時間の経過と共に発展した様々なエンコーディング技術における増加する予測方向の数を例示するために、JEMによる65のイントラ予測方向を示す概略図（180）を示す。

コーディングされたビデオビットストリームにおけるイントラ予測方向を表すビットの予測方向へのマッピングは、ビデオコーディング技術によって異なる可能性があり、例えば、予測方向対イントラ予測モードの単純な直接マッピングから、コードワード、最も可能性の高いモードを含む複雑な適応方式、および同様の技術にまで及ぶ場合がある。ただし、すべての場合において、他の特定の方向よりもビデオコンテンツで発生する可能性が統計的に低いイントロ予測の特定の方向が存在し得る。ビデオ圧縮の目的は冗長性の低減であるため、適切に設計されたビデオコーディング技術においては、より可能性の低い方向はより可能性の高い方向よりも多くのビット数で表される。

インターピクチャ予測、またはインター予測は、動き補償に基づくものあり得る。動き補償では、以前に再構成されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータが、動きベクトル（これ以降はMV）によって示される方向に空間的にシフトされた後、新たに再構成されたピクチャまたはピクチャ部分（例えば、ブロック）の予測に使用され得る。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じである場合もある。MVは、2つの次元XおよびY、または3つの次元を有していてもよく、第3の次元は、（時間次元と類似した）使用される参照ピクチャの指示である。

いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能な現在のMVを、他のMVから、例えば再構成中のエリアに空間的に隣接し、デコーディング順序で現在のMVに先行する、サンプルデータの他のエリアに関連する他のMVから予測することができる。そうすることにより、相関するMVの冗長性の除去に依拠することによってMVをコーディングするのに必要とされる全体のデータ量を大幅に削減することができ、それによって圧縮効率が高まる。MV予測が効果的に機能することができるのは、例えば、（自然なビデオとして知られている）カメラから導出された入力ビデオ信号をコーディングするときに、単一のMVが適用可能なエリアよりも大きいエリアは、ビデオシーケンスにおいて同様の方向に移動する統計的尤度があり、したがって、場合によっては、隣接するエリアのMVから導出された同様の動きベクトルを使用して予測することができるからである。その結果として、所与のエリアの実際のMVが周囲のMVから予測されたMVと同様または同一になる。そのようなMVはさらに、エントロピーコーディング後に、MVが（1つまたは複数の）隣接するMVから予測されるのではなく直接コーディングされた場合に使用されることになるビット数よりも少ないビット数で表され得る。場合によっては、MV予測を、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例とすることができる。他の場合、MV予測自体は、例えば、いくつかの周囲のMVから予測器を計算するときの丸め誤差のために、非可逆であり得る。

様々なMV予測メカニズムが、H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が指定する多くのMV予測機構のうち、以下で説明するのは、これ以降「空間マージ」と呼ぶ技術である。

具体的には、図2を参照すると、現在のブロック（201）は、動き探索プロセス中にエンコーダによって、空間的にシフトされた同じサイズの前のブロックから予測可能であると検出されたサンプルを含む。そのMVを直接コーディングする代わりに、A0、A1、およびB0、B1、B2（それぞれ202から206）で表された5つの周囲のサンプルのいずれか1つと関連付けられたMVを使用して、1つまたは複数の参照ピクチャと関連付けられたメタデータから、例えば、（デコーディング順序で）最後の参照ピクチャからMVを導出することができる。H．265では、MV予測は、隣接するブロックが使用しているのと同じ参照ピクチャからの予測器を使用することができる。

本開示の態様は、ビデオエンコーディングおよびビデオデコーディングにおける変換カーネル共有のための方法および装置を提供する。

いくつかの実装形態では、そのような変換カーネル共有のための方法が開示される。本方法は、複数の変換カーネルを識別するステップを含むことができ、複数の変換カーネルの各々は、低周波から高周波までの一セットの基底ベクトルを含み、複数の変換カーネルのうちの2つ以上の変換カーネルのN個の高周波基底ベクトルが共有され、Nは正の整数であり、N個の高周波基底ベクトル以外の、複数の変換カーネルのうちの2つ以上の低周波基底ベクトルが個別化される。本方法は、ビデオビットストリームからデータブロックを抽出するステップと、データブロックに関連付けられた情報に基づいて、複数の変換カーネルから変換カーネルを選択するステップと、変換カーネルをデータブロックの少なくとも一部に適用して変換ブロックを生成するステップとをさらに含んでもよい。

上記の実装形態では、複数の変換カーネルは、オフラインで事前に訓練されてもよい。いくつかのさらなる実装形態では、複数の変換カーネルは、共有されているN個の高周波基底ベクトルを決定するためにオフラインで一緒に訓練されてもよい。

上記の実装形態のいずれかにおいて、N個の高周波基底ベクトルは、所定の閾値周波数よりも高い周波数を有する基底ベクトルを含むことができる。いくつかのさらなる実装形態では、複数の変換カーネルおよび所定の閾値周波数は、オフラインで事前に訓練されてもよい。

上記の実装形態のいずれにおいても、複数の変換カーネルは、一次変換係数を変換するのに適用可能な二次変換カーネルを含むことができ、データブロックは、一次変換係数のアレイを含む。

上記の実装形態のいずれかにおいて、N個の高周波基底ベクトルを共有する複数の変換カーネルのうちの2つ以上の変換カーネルは、複数のイントラピクチャ予測モードのうちの同じものに対応し、複数のイントラピクチャ予測モードのうちの同じ1つに割り当てられた複数の変換カーネルのうちのすべての変換カーネルは、他の低周波基底ベクトルが個別化されている状態でN個の高周波基底ベクトルを共有する。

上記の実装形態のいずれにおいても、N個の高周波基底ベクトルを共有する複数の変換カーネルのうちの2つ以上の変換カーネルは、2つ以上の異なるイントラピクチャ予測モードに割り当てられてよい。

上記の実装形態のいずれにおいても、複数の変換カーネルは二次変換カーネルであり、N個の高周波基底ベクトルを共有する複数の変換カーネルのうちの2つ以上の変換カーネルは、同じ変換タイプを有する一次変換から生成された一次変換係数を変換するように構成されている。

上記の実装形態のいずれにおいても、Nは2の整数乗であり、および／またはNは事前定義された上限よりも小さく、および／またはNは変換サイズに依存する。

上記の実装形態のいずれにおいても、複数の変換カーネルは、イントラ二次変換（IST）のために構成され得る。いくつかの実装形態では、複数の変換カーネルは、二次低周波数分離不可能な変換（LFNST）カーネルであり得る。いくつかの実装形態では、複数の変換カーネルは、線グラフ変換（LGT）のために構成される。

いくつかの他の実装形態では、ビデオ情報を処理するためのデバイスが開示される。デバイスは、上記の方法の実装形態のいずれか1つを実行するように構成された回路を含むことができる。

本開示の態様はまた、ビデオデコーディングおよび／またはビデオエンコーディングのためにコンピュータによって実行されると、コンピュータにビデオデコーディングおよび／またはビデオエンコーディングのための方法を実行させる命令を格納する非一時的コンピュータ可読媒体も提供する。

開示される主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになる。

イントラ予測指向性モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向を示す図である。 一例における現在のブロックおよび動きベクトル予測のためのその周囲の空間マージ候補を示す概略図である。 一例の実施形態による通信システム（300）の簡略化されたブロック図を示す概略図である。 一例の実施形態による通信システム（400）の簡略化されたブロック図を示す概略図である。 一例の実施形態によるビデオデコーダの簡略化されたブロック図を示す概略図である。 一例の実施形態によるビデオエンコーダの簡略化されたブロック図を示す概略図である。 別の例の実施形態によるビデオエンコーダを示すブロック図である。 別の例の実施形態によるビデオデコーダを示すブロック図である。 本開示の一例の実施形態による指向性イントラ予測モードを示す図である。 本開示の一例の実施形態による無指向性イントラ予測モードを示す図である。 本開示の一例の実施形態による再帰的イントラ予測モードを示す図である。 本開示の一例の実施形態による、イントラ予測ブロックの変換ブロックパーティショニングおよび走査を示す図である。 本開示の一例の実施形態による、インター予測ブロックの変換ブロックパーティショニングおよび走査を示す図である。 本開示の一例の実施形態による低周波数分離不可能な変換プロセスを示す図である。 本開示の一例の実施形態による、異なる変換カーネル間の高周波基底ベクトルの共有を示す図である。 本開示の一例の実施形態によるフローチャートを示す図である。 本開示の一例の実施形態によるコンピュータシステムの概略図である。

図3は、本開示の一実施形態による、通信システム（300）の簡略化されたブロック図を示す。通信システム（300）は、例えば、ネットワーク（350）を介して互いに通信することができる複数の端末装置を含む。例えば、通信システム（300）は、ネットワーク（350）を介して相互接続された第1の対の端末装置（310）および（320）を含む。図3の例では、第1の対の端末装置（310）および（320）は、データの一方向伝送を実行し得る。例えば、端末装置（310）は、ネットワーク（350）を介して他方の端末装置（320）に送信するための（例えば、端末装置（310）によって取り込まれたビデオピクチャのストリームの）ビデオデータをコーディングし得る。エンコーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形態で送信することができる。端末装置（320）は、ネットワーク（350）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。一方向データ伝送は、メディアサービング用途などで実施され得る。

別の例では、通信システム（300）は、例えばビデオ会議用途の間に実施され得るコーディングされたビデオデータの双方向伝送を実行する第2の対の端末装置（330）および（340）を含む。データの双方向伝送のために、一例では、端末装置（330）および（340）の各端末装置は、ネットワーク（350）を介して端末装置（330）および（340）の他方の端末装置に送信するための（例えば、その端末装置によって取り込まれたビデオピクチャのストリームの）ビデオデータをコーディングし得る。端末装置（330）および（340）の各端末装置はまた、端末装置（330）および（340）の他方の端末装置によって送信されたコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってアクセス可能な表示装置でビデオピクチャを表示し得る。

図3の例では、端末装置（310）、（320）、（330）および（340）は、サーバ、パーソナルコンピュータ、およびスマートフォンとして実施され得るが、本開示の基礎となる原理の適用性はそのように限定されない。本開示の実施形態は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、ウェアラブルコンピュータ、専用のビデオ会議機器などにおいて実装され得る。ネットワーク（350）は、例えば、有線（有線接続）および／または無線通信ネットワークを含む、端末装置（310）、（320）、（330）および（340）間でコーディングされたビデオデータを伝達する任意の数または任意のタイプのネットワークを表す。通信ネットワーク（350）は、回線交換チャネル、パケット交換チャネル、および／または他のタイプのチャネルでデータを交換し得る。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットが含まれる。本考察の目的にとって、ネットワーク（350）のアーキテクチャおよびトポロジーは、本明細書で明示的に説明されない限り、本開示の動作にとって重要ではない場合がある。

図4は、開示される主題の用途の一例として、ビデオストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示される主題は、例えば、ビデオ会議、デジタルテレビ放送、ゲーム、仮想現実、CD、DVD、メモリスティックなどを含むデジタル媒体上の圧縮ビデオの格納などを含む、他のビデオ対応用途に等しく適用され得る。

ビデオストリーミングシステムは、圧縮されていないビデオピクチャまたは画像のストリーム（402）を作成するためのビデオソース（401）、例えばデジタルカメラを含むことができるビデオ取り込みサブシステム（413）を含み得る。一例では、ビデオピクチャのストリーム（402）は、ビデオソース401のデジタルカメラによって記録されたサンプルを含む。ビデオピクチャのストリーム（402）は、エンコーディングされたビデオデータ（404）（またはコーディングされたビデオビットストリーム）と比較した場合の高データ量を強調するために太線で描かれており、ビデオソース（401）に結合されたビデオエンコーダ（403）を含む電子装置（420）によって処理することができる。ビデオエンコーダ（403）は、以下でより詳細に説明されるように開示される主題の態様を可能にする、または実施するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ（404）（またはエンコーディングされたビデオビットストリーム（404））は、非圧縮のビデオピクチャのストリーム（402）と比較した場合の低データ量を強調するために細線で描かれており、将来の使用のためにストリーミングサーバ（405）に、または下流のビデオデバイス（図示せず）に直接格納することができる。図4のクライアントサブシステム（406）および（408）などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（405）にアクセスして、エンコーディングされたビデオデータ（404）のコピー（407）および（409）を取得することができる。クライアントサブシステム（406）は、例えば電子装置（430）内のビデオデコーダ（410）を含むことができる。ビデオデコーダ（410）は、エンコーディングされたビデオデータの入力コピー（407）をデコーディングし、圧縮されておらず、かつディスプレイ（412）（例えば、表示画面）または他のレンダリングデバイス（図示せず）上にレンダリングすることができるビデオピクチャの出力ストリーム（411）を作成する。ビデオデコーダ410は、本開示に記載される様々な機能の一部またはすべてを実行するように構成され得る。一部のストリーミングシステムでは、エンコーディングされたビデオデータ（404）、（407）および（409）（例えば、ビデオビットストリーム）を、特定のビデオコーディング／圧縮規格に従ってエンコーディングすることができる。それらの規格の例には、ITU－T勧告H．265が含まれる。一例では、開発中のビデオコーディング規格は、多用途ビデオコーディング（VVC）として非公式に知られている。開示される主題は、VVC、および他のビデオコーディング規格の文脈で使用され得る。

電子装置（420）および（430）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子装置（420）はビデオデコーダ（図示せず）を含むことができ、電子装置（430）は同様にビデオエンコーダ（図示せず）を含むこともできる。

図5は、以下の本開示の任意の実施形態によるビデオデコーダ（510）のブロック図を示す。ビデオデコーダ（510）は、電子装置（530）に含めることができる。電子装置（530）は、受信機（531）（例えば、受信回路）を含むことができる。ビデオデコーダ（510）は、図4の例のビデオデコーダ（410）の代わりに使用することができる。

受信機（531）は、ビデオデコーダ（510）によってデコーディングされるべき1つまたは複数のコーディングされたビデオシーケンスを受信し得る。同じまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスがデコーディングされてよく、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。各ビデオシーケンスは、複数のビデオフレームまたはビデオ画像と関連付けられ得る。コーディングされたビデオシーケンスはチャネル（501）から受信され、チャネル（501）は、エンコーディングされたビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンク、またはエンコーディングされたビデオデータを送信するストリーミングソースであり得る。受信機（531）は、エンコーディングされたビデオデータを、それぞれの処理回路（図示せず）に転送され得る、コーディングされたオーディオデータおよび／または補助データストリームなどの他のデータと共に受信し得る。受信機（531）は、コーディングされたビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、バッファメモリ（515）が、受信機（531）とエントロピーデコーダ／パーサ（520）（これ以降は「パーサ（520）」）との間に配置されてもよい。特定の用途では、バッファメモリ（515）は、ビデオデコーダ（510）の一部として実装されてもよい。他の用途では、バッファメモリ（515）は、ビデオデコーダ（510）（図示せず）から分離されて外部にある場合もある。さらに他の用途では、例えばネットワークジッタに対抗するためにビデオデコーダ（510）の外部にバッファメモリ（図示せず）があってもよく、例えば再生タイミングを処理するためにビデオデコーダ（510）の内部に別の追加のバッファメモリ（515）がある場合がある。受信機（531）が十分な帯域幅および可制御性の記憶／転送装置から、またはアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときには、バッファメモリ（515）は不要であり得るか、または小さくすることができる。インターネットなどのベストエフォートパケットネットワークで使用するために、十分なサイズのバッファメモリ（515）が必要とされる場合があり、そのサイズは比較的大きくなり得る。そのようなバッファメモリは、適応サイズで実装されてもよく、ビデオデコーダ（510）の外部のオペレーティングシステムまたは同様の要素（図示せず）に少なくとも部分的に実装され得る。

ビデオデコーダ（510）は、コーディングされたビデオシーケンスからシンボル（521）を再構成するためにパーサ（520）を含んでもよい。それらのシンボルのカテゴリは、ビデオデコーダ（510）の動作を管理するために使用される情報と、場合によっては、図5に示すように、電子装置（530）の不可欠な部分である場合、またはそうでない場合もあるが、電子装置（530）に結合することができるディスプレイ（512）（例えば、表示画面）などのレンダリング装置を制御するための情報とを含む。レンダリング装置のための制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）パラメータセットフラグメント（図示せず）の形であり得る。パーサ（520）は、パーサ（520）によって受信されるコーディングされたビデオシーケンスを解析／エントロピーデコーディングし得る。コーディングされたビデオシーケンスのエントロピーコーディングは、ビデオコーディング技術または規格に従ったものとすることができ、可変長コーディング、ハフマンコーディング、文脈依存性あり、またはなしの算術コーディングなどを含む様々な原理に従ったものとすることができる。パーサ（520）は、コーディングされたビデオシーケンスから、サブグループに対応する少なくとも1つのパラメータに基づいて、ビデオデコーダ内の画素のサブグループのうちの少なくとも1つについての一セットのサブグループパラメータを抽出し得る。サブグループには、Groups of Pictures（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含めることができる。パーサ（520）はまた、コーディングされたビデオシーケンスから、変換係数（例えば、フーリエ変換係数）、量子化パラメータ値、動きベクトルなどの情報も抽出し得る。

パーサ（520）は、バッファメモリ（515）から受信したビデオシーケンスに対してエントロピーデコーディング／解析動作を実行して、シンボル（521）を作成し得る。

シンボル（521）の再構成は、コーディングされたビデオピクチャまたはその部分のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）ならびに他の要因に応じて、複数の異なる処理ユニットまたは機能ユニットを含むことができる。含まれるユニットおよびユニットがどのように含まれるかは、パーサ（520）によって、コーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。パーサ（520）と以下の複数の処理ユニットまたは機能ユニットとの間のそのようなサブグループ制御情報の流れは、簡潔にするために図示されていない。

すでに述べられた機能ブロック以外に、ビデオデコーダ（510）は、以下に記載されるようないくつかの機能ユニットに概念的に細分することができる。商業的制約の下で動作する実際の実装形態では、これらの機能ユニットの多くは互いに密接に相互作用し、少なくとも部分的に、互いに統合することができる。しかしながら、開示される主題の様々な機能を明確に説明するために、以下の開示においては機能ユニットへの概念的細分が採用される。

第1のユニットはスケーラ／逆変換ユニット（551）である。スケーラ／逆変換ユニット（551）は、量子化変換係数、ならびにどのタイプの逆変換を使用するかを示す情報、ブロックサイズ、量子化係数／パラメータ、量子化スケーリング行列などを含む制御情報を、パーサ（520）からシンボル（521）として受け取ってよい。スケーラ／逆変換ユニット（551）は、アグリゲータ（555）に入力することができるサンプル値を有するブロックを出力することができる。

場合によっては、スケーラ／逆変換（551）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用しないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関係する場合がある。そのような予測情報は、イントラピクチャ予測ユニット（552）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（552）は、すでに再構成され、現在のピクチャバッファ（558）に格納されている周囲のブロックの情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成してもよい。現在のピクチャバッファ（558）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファする。アグリゲータ（555）は、いくつかの実装形態では、サンプルごとに、イントラ予測ユニット（552）が生成した予測情報を、スケーラ／逆変換ユニット（551）によって提供されるような出力サンプル情報に追加する場合がある。

他の場合には、スケーラ／逆変換ユニット（551）の出力サンプルは、インターコーディングされ、かつ場合によって動き補償されたブロックに関連する可能性がある。そのような場合、動き補償予測ユニット（553）は、参照ピクチャメモリ（557）にアクセスして、インターピクチャ予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル（521）に従ってフェッチされたサンプルを動き補償した後、これらのサンプルを、出力サンプル情報を生成するために、アグリゲータ（555）によってスケーラ／逆変換ユニット（551）の出力（ユニット551の出力は、残差サンプルまたは残差信号と呼ばれる場合がある）に追加することができる。動き補償予測ユニット（553）がそこから予測サンプルをフェッチする参照ピクチャメモリ（557）内のアドレスは、例えば、X成分、Y成分（シフト）、および参照ピクチャ成分（時間）を有することができるシンボル（521）の形態で、動き補償予測ユニット（553）が利用可能な、動きベクトルによって制御することができる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（557）からフェッチされたサンプル値の補間も含んでいてもよく、動きベクトル予測機構などと関連付けられてもよい。

アグリゲータ（555）の出力サンプルは、ループフィルタユニット（556）において様々なループフィルタリング技法を受けることができる。ビデオ圧縮技術は、（コーディングされたビデオビットストリームとも呼ばれる）コーディングされたビデオシーケンスに含まれるパラメータによって制御され、パーサ（520）からのシンボル（521）としてループフィルタユニット（556）に利用可能にされるインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（デコーディング順序で）前の部分のデコーディング中に取得されたメタ情報に応答するだけでなく、以前に再構成され、ループフィルタリングされたサンプル値に応答することもできる。以下でさらに詳細に説明するように、いくつかのタイプのループフィルタが、様々な順序でループフィルタユニット556の一部として含まれてよい。

ループフィルタユニット（556）の出力は、レンダリング装置（512）に出力することができると共に、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（557）に格納することもできるサンプルストリームであり得る。

特定のコーディングされたピクチャは、完全に再構成されると、将来のインターピクチャ予測のための参照ピクチャとして使用することができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが参照ピクチャとして（例えば、パーサ（520）によって）識別されると、現在のピクチャバッファ（558）は、参照ピクチャメモリ（557）の一部になることができ、未使用の現在のピクチャバッファを、次のコーディングされたピクチャの再構成を開始する前に再割当てすることができる。

ビデオデコーダ（510）は、例えばITU－T Rec．H．265などの規格で採用された所定のビデオ圧縮技術に従ってデコーディング動作を実行し得る。コーディングされたビデオシーケンスがビデオ圧縮技術またはビデオ圧縮規格の構文、およびビデオ圧縮技術において文書化されたプロファイルの両方を順守するという意味において、コーディングされたビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定された構文に準拠することができる。具体的には、プロファイルは、そのプロファイルの下でのみの使用に利用可能なツールとして、ビデオ圧縮技術またはビデオ圧縮規格で利用可能なすべてのツールの中から特定のツールを選択することができる。規格に準拠するために、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術または規格のレベルによって定義される範囲内にあってよい。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒のメガサンプル数で測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）仕様と、コーディングされたビデオシーケンスにおいてシグナリングされたHRDバッファ管理のメタデータによってさらに制限される場合がある。

いくつかの一例の実施形態では、受信機（531）は、コーディングされたビデオと共に追加の（冗長な）データを受信し得る。追加のデータは、コーディングされたビデオシーケンスの一部として含まれ得る。追加のデータは、データを適切にデコーディングするために、かつ／または元のビデオデータをより正確に再構成するために、ビデオデコーダ（510）によって使用されてもよい。追加のデータは、例えば、時間的、空間的、または信号対雑音比（SNR）強化層、冗長スライス、冗長ピクチャ、順方向エラー訂正コードなどの形式をとることができる。

図6に、本開示の一例の実施形態によるビデオエンコーダ（603）のブロック図を示す。ビデオエンコーダ（603）は、電子装置（620）に含まれ得る。電子装置（620）は、送信機（640）（例えば、送信回路）をさらに含み得る。ビデオエンコーダ（603）は、図4の例のビデオエンコーダ（403）の代わりに使用することができる。

ビデオエンコーダ（603）は、ビデオエンコーダ（603）によってコーディングされるべきビデオ画像を取り込むことができるビデオソース（601）（図6の例では電子装置（620）の一部ではない）からビデオサンプルを受信し得る。別の例では、ビデオソース（601）は電子装置（620）の一部分として実装されてもよい。

ビデオソース（601）は、ビデオエンコーダ（603）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、．．．）、任意の色空間（例えば、BT．601 YCrCb、RGB、XYZ．．．）、および任意の適切なサンプリング構造（例えば、YCrCb 4：2：0、YCrCb 4：4：4）であり得るデジタルビデオサンプルストリームの形で提供し得る。メディアサービングシステムでは、ビデオソース（601）は、以前に準備されたビデオを格納することができる記憶装置であり得る。ビデオ会議システムでは、ビデオソース（601）は、ローカル画像情報をビデオシーケンスとして取り込むカメラであり得る。ビデオデータは、順を追って見たときに動きを与える複数の個別のピクチャまたは画像として提供され得る。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用されているサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。当業者であれば、画素とサンプルとの関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てている。

いくつかの一例の実施形態によれば、ビデオエンコーダ（603）は、リアルタイムで、または用途によって必要とされる他の任意の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（643）にコーディングし圧縮し得る。適切なコーディング速度を強制することが、コントローラ（650）の1つの機能を構成する。いくつかの実施形態では、コントローラ（650）は、他の機能ユニットに機能的に結合され、以下で説明されるように他の機能ユニットを制御し得る。簡潔にするために、結合は図示されていない。コントローラ（650）によって設定されるパラメータには、レート制御関連のパラメータ（ピクチャスキップ、量子化器、レート歪み最適化手法のラムダ値など）、ピクチャサイズ、Group of Pictures（GOP）レイアウト、最大動きベクトル探索範囲などが含まれ得る。コントローラ（650）は、特定のシステム設計のために最適化されたビデオエンコーダ（603）に関連する他の適切な機能を有するように構成することができる。

いくつかの一例の実施形態では、ビデオエンコーダ（603）は、コーディングループで動作するように構成され得る。過度に簡略化された説明として、一例では、コーディングループは、ソースコーダ（630）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを作成する役割を担う）と、ビデオエンコーダ（603）に組み込まれた（ローカル）デコーダ（633）とを含むことができる。デコーダ（633）は、組み込まれたデコーダ633がエントロピーコーディングなしでソースコーダ630によってコーディングされたビデオスティームを処理するとしても（開示される主題で考慮されるビデオ圧縮技術では、シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が可逆であり得るため）、シンボルを再構成して、（リモート）デコーダが作成することになるのと同様の方法でサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（634）に入力される。シンボルストリームのデコーディングは、デコーダの場所（ローカルまたはリモート）に関係なくビット正確な結果につながるので、参照ピクチャメモリ（634）内の内容も、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分は、デコーディング中に予測を使用するときにデコーダが「見る」ことになるのとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えばチャネル誤差が原因で同期性を維持することができない場合には、結果として生じるドリフト）のこの基本原理は、コーディング品質を向上させるために使用される。

「ローカル」デコーダ（633）の動作は、図5と共に上記で詳細にすでに記載されている、ビデオデコーダ（510）などの「リモート」デコーダの動作と同じであり得る。図5も簡単に参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（645）およびパーサ（520）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆であり得るため、バッファメモリ（515）およびパーサ（520）を含むビデオデコーダ（510）のエントロピーデコーディング部分は、エンコーダ内のローカルデコーダ（633）においては完全に実装されない場合がある。

この時点で言えることは、デコーダ内にのみ存在し得るパース／エントロピーデコーディングを除く任意のデコーダ技術もまた必然的に、対応するエンコーダにおいて、実質的に同一の機能形態で存在する必要があり得るということである。このため、開示される主題はデコーダ動作に焦点を当てる場合があり、この動作はエンコーダのデコーディング部分と同様である。よって、エンコーダ技術の説明は、包括的に説明されるデコーダ技術の逆であるので、省略することができる。特定の領域または態様においてのみ、エンコーダのより詳細な説明を以下に示す。

動作中、いくつかの一例の実装形態では、ソースコーダ（630）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つまたは複数の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする、動き補償予測コーディングを実行する場合がある。このようにして、コーディングエンジン（632）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測参照として選択され得る参照ピクチャの画素ブロックとの間の色チャネルの差分（または残差）をコーディングする。「残差」という用語およびその形容詞形「残差の」は、互換的に使用され得る。

ローカルビデオデコーダ（633）は、ソースコーダ（630）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングし得る。コーディングエンジン（632）の動作は、有利なことに、非可逆プロセスであってもよい。コーディングされたビデオデータがビデオデコーダで（図6には示されていない）デコーディングされ得るとき、再構成されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカである場合がある。ローカルビデオデコーダ（633）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（634）に格納させてよい。このようにして、ビデオエンコーダ（603）は、遠端（リモート）ビデオデコーダによって（伝送誤差なしで）取得される再構成された参照ピクチャと共通の内容を有する再構成された参照ピクチャのコピーをローカルに格納し得る。

予測器（635）は、コーディングエンジン（632）の予測検索を実行し得る。すなわち、コーディングされるべき新しいピクチャの場合、予測器（635）は、新しいピクチャのための適切な予測参照として役立つことができる、（候補参照ピクセルブロックとしての）サンプルデータまたは参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを求めて、参照ピクチャメモリ（634）を検索することができる。予測器（635）は、適切な予測参照を見つけるために、ピクセルブロックごとにサンプルブロックに対して動作することができる。場合によっては、予測器（635）によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（634）に格納された複数の参照ピクチャから引き出された予測参照を有する場合もある。

コントローラ（650）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（630）のコーディング動作を管理し得る。

すべての前述の機能ユニットの出力は、エントロピーコーダ（645）内でエントロピーコーディングを受けることができる。エントロピーコーダ（645）は、ハフマンコーディング、可変長コーディング、算術コーディングなどといった技術に従ったシンボルの可逆圧縮により、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。

送信機（640）は、エントロピーコーダ（645）によって作成されたコーディングされたビデオシーケンスをバッファに入れて、通信チャネル（660）を介した送信のために準備することができ、通信チャネル（660）は、エンコーディングされたビデオデータを格納する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る。送信機（640）は、ビデオコーダ（603）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージし得る。

コントローラ（650）は、ビデオエンコーダ（603）の動作を管理し得る。コーディング中に、コントローラ（650）は、各コーディングされたピクチャに特定のコーディングされたピクチャタイプを割り当てることができ、それは、それぞれのピクチャに適用され得るコーディング技法に影響を及ぼす場合がある。例えば、ピクチャは多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Iピクチャ）は、シーケンス内の任意の他のピクチャを予測元とせずにコーディングおよびデコーディングされ得るピクチャであり得る。一部のビデオコーデックは、例えば、独立したデコーダリフレッシュ（「IDR」）ピクチャを含む異なるタイプのイントラピクチャを可能にする。当業者であれば、Iピクチャのそれらの変形ならびにそれらそれぞれの用途および特徴を認識している。

予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して、コーディングおよびデコーディングされ得るピクチャであり得る。

双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して、コーディングおよびデコーディングされ得るピクチャであり得る。同様に、複数予測ピクチャは、単一ブロックの再構成のために3つ以上の参照ピクチャおよび関連するメタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルコーディングブロック（例えば、各々4×4、8×8、4×8、または16×16サンプルのブロック）に空間的に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックそれぞれのピクチャに適用されたコーディング割当てによって決定されるように他の（すでにコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Iピクチャのブロックは、非予測的にコーディングされ得るか、または、同じピクチャのすでにコーディングされたブロックを参照して、予測的にコーディングされ得る（空間予測またはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的にコーディングされてもよい。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測によって、または時間予測を介して予測的にコーディングされてもよい。ソースピクチャまたは中間処理されたピクチャは、他の目的で他のタイプのブロックに細分されてもよい。コーディングブロックおよびその他のタイプのブロックの分割は、以下でさらに詳細に説明するように、同じ方法に従う場合もそうでない場合もある。

ビデオエンコーダ（603）は、ITU－T Rec．H．265などの所定のビデオコーディング技術または規格に従ってコーディング動作を実行することができる。その動作において、ビデオエンコーダ（603）は、入力ビデオシーケンスにおける時間および空間の冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行することができる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠し得る。

いくつかの一例の実施形態では、送信機（640）は、エンコーディングされたビデオと共に追加のデータを送信し得る。ソースコーダ（630）は、そのようなデータをコーディングされたビデオシーケンスの一部として含めてもよい。追加のデータは、時間／空間／SNR増強層、冗長なピクチャやスライスなどの他の形の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含み得る。

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）として取り込まれてもよい。イントラピクチャ予測（しばしばイントラ予測と略される）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の時間またはその他の相関を利用する。例えば、現在のピクチャと呼ばれる、エンコーディング／デコーディング中の特定のピクチャがブロックに区切られてよい。現在のピクチャ内のブロックは、ビデオ内の以前にコーディングされ、まだバッファされている参照ピクチャ内の参照ブロックに類似している場合、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。

いくつかの一例の実施形態では、インターピクチャ予測に双予測技術を使用することができる。そのような双予測技術によれば、両方ともデコーディング順序でビデオにおいて現在のピクチャ続行する（ただし、表示順序では、それぞれ過去または未来にあり得る）第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指し示す第1の動きベクトルと、第2の参照ピクチャ内の第2の参照ブロックを指し示す第2の動きベクトルとによってコーディングすることができる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって協調して予測することができる。

さらに、マージモード技術が、インターピクチャ予測においてコーディング効率を改善するために使用されてもよい。

本開示のいくつかの一例の実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に区切られ、ピクチャ内のCTUは、64×64画素、32×32画素、または16×16画素などの同じサイズを有し得る。一般に、CTUは、3つの並列のコーディングツリーブロック（CTB）、すなわち、1つのルマCTBおよび2つのクロマCTBを含み得る。各CTUは、1つまたは複数のコーディングユニット（CU）に再帰的に四分木分割することができる。例えば、64×64画素のCTUを、64×64画素の1つのCU、または32×32画素の4つのCUに分割することができる。32×32ブロックのうちの1つまたは複数の各々は、16×16画素の4つのCUにさらに分割され得る。いくつかの一例の実施形態では、各CUは、インター予測タイプやイントラ予測タイプなどの様々な予測タイプの中からそのCUの予測タイプを決定するためにエンコーディング中に分析され得る。CUは、時間的予測可能性および／または空間的予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割され得る。一般に、各PUは、1つのルマ予測ブロック（PB）と、2つのクロマPBとを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロック単位で実行される。CUのPU（または異なる色チャネルのPB）への分割は、様々な空間パターンで実行され得る。ルマPBまたはクロマPBは、例えば、8×8画素、16×16画素、8×16画素、16×8画素などといった、サンプルの値（例えば、ルマ値）の行列を含み得る。

図7に、本開示の別の一例の実施形態によるビデオエンコーダ（703）の図を示す。ビデオエンコーダ（703）は、ビデオピクチャのシーケンスにおける現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、処理ブロックを、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成される。一例のビデオエンコーダ（703）は、図4の例のビデオエンコーダ（403）の代わりに使用され得る。

例えば、ビデオエンコーダ（703）は、8×8サンプルの予測ブロックなどの処理ブロックのサンプル値の行列を受け取る。次いでビデオエンコーダ（703）は、例えばレート歪み最適化（RDO）を使用して、処理ブロックがそれを使用して最良にコーディングされるのは、イントラモードか、インターモードか、それとも双予測モードかを決定する。処理ブロックがイントラモードでコーディングされると決定された場合、ビデオエンコーダ（703）は、イントラ予測技術を使用して処理ブロックをコーディングされたピクチャにエンコーディングし、処理ブロックがインターモードまたは双予測モードでコーディングされると決定された場合、ビデオエンコーダ（703）は、それぞれインター予測技術または双予測技術を使用して、処理ブロックをコーディングされたピクチャにエンコーディングし得る。いくつかの一例の実施形態では、インターピクチャ予測のサブモードとして、動きベクトルが予測器の外側のコーディングされた動きベクトル成分の恩恵を受けずに1つまたは複数の動きベクトル予測器から導出されるマージモードが使用され得る。いくつかの他の一例の実施形態では、対象ブロックに適用可能な動きベクトル成分が存在し得る。したがって、ビデオエンコーダ（703）は、処理ブロックの予測モードを決定するために、モード決定モジュールなどの、図7に明示的に示されていない構成要素を含み得る。

図7の例では、ビデオエンコーダ（703）は、図7の一例の構成に示されるように互いに結合されたインターエンコーダ（730）、イントラエンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、汎用コントローラ（721）、およびエントロピーエンコーダ（725）を含む。

インターエンコーダ（730）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の1つまたは複数の参照ブロック（例えば、表示順序で前のピクチャ内および後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術による冗長情報、動きベクトル、マージモード情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、（以下でさらに詳細に説明するように、図7の残差デコーダ728として示されている）図6の一例のエンコーダ620に組み込まれたデコーディングユニット633を使用してエンコーディングされたビデオ情報に基づいてデコーディングされた参照ピクチャである。

イントラエンコーダ（722）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、ブロックを同じピクチャ内のすでにコーディングされたブロックと比較し、変換後の量子化係数を生成し、場合によってはイントラ予測情報（例えば、1つまたは複数のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。イントラエンコーダ（722）は、イントラ予測情報と、同じピクチャ内の参照ブロックとに基づいて、イントラ予測結果（例えば、予測されたブロック）を計算し得る。

汎用コントローラ（721）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（703）の他の構成要素を制御するように構成され得る。一例では、汎用コントローラ（721）は、ブロックの予測モードを決定し、予測モードに基づいてスイッチ（726）に制御信号を提供する。例えば、予測モードがイントラモードである場合、汎用コントローラ（721）は、スイッチ（726）を制御して、残差計算器（723）が使用するためのイントラモード結果を選択させ、エントロピーエンコーダ（725）を制御して、イントラ予測情報を選択させてそのイントラ予測情報をビットストリームに含めさせ、ブロックの叙述モードがインターモードである場合、汎用コントローラ（721）は、スイッチ（726）を制御して、残差計算器（723）が使用するためのインター予測結果を選択させ、エントロピーエンコーダ（725）を制御して、インター予測情報を選択させてそのインター予測情報をビットストリームに含めさせる。

残差計算器（723）は、受け取ったブロックと、イントラエンコーダ（722）またはインターエンコーダ（730）から選択されたブロックについての予測結果との差分（残差データ）を計算するように構成され得る。残差エンコーダ（724）は、残差データをエンコーディングして変換係数を生成するように構成され得る。例えば、残差エンコーダ（724）は、残差データを空間領域から周波数領域に変換して変換係数を生成するように構成され得る。次いで、変換係数は、量子化変換係数を取得するために量子化処理を受ける。様々な一例の実施形態において、ビデオエンコーダ（703）は、残差デコーダ（728）も含む。残差デコーダ（728）は、逆変換を実行し、デコーディングされた残差データを生成するように構成される。デコーディングされた残差データは、イントラエンコーダ（722）およびインターエンコーダ（730）によって適切に使用することができる。例えば、インターエンコーダ（730）は、デコーディングされた残差データとインター予測情報とに基づいてデコーディングされたブロックを生成することができ、イントラエンコーダ（722）は、デコーディングされた残差データとイントラ予測情報とに基づいてデコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するために適切に処理され、デコーディングされたピクチャは、メモリ回路（図示せず）にバッファし、参照ピクチャとして使用することができる。

エントロピーエンコーダ（725）は、ビットストリームをエンコーディングされたブロックを含むようにフォーマットし、エントロピーコーディングを実行するように構成される。エントロピーエンコーダ（725）は、ビットストリームに様々な情報を含めるように構成される。例えば、エントロピーエンコーダ（725）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報やインター予測情報）、残差情報、および他の適切な情報をビットストリームに含めるように構成され得る。インターモードまたは双予測モードのどちらかのマージサブモードでブロックをコーディングするときには、残差情報が存在しない場合がある。

図8に、本開示の別の実施形態による例一例のビデオデコーダ（810）の図を示す。ビデオデコーダ（810）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受け取り、コーディングされたピクチャをデコーディングして再構成されたピクチャを生成するように構成される。一例では、ビデオデコーダ（810）は、図4の例のビデオデコーダ（410）の代わりに使用されてもよい。

図8の例では、ビデオデコーダ（810）は、図8の一例の構成に示されるように互いに結合されたエントロピーデコーダ（871）、インターデコーダ（880）、残差デコーダ（873）、再構成モジュール（874）、およびイントラデコーダ（872）を含む。

エントロピーデコーダ（871）は、コーディングされたピクチャから、コーディングされたピクチャが構成される構文要素を表す特定のシンボルを再構成するように構成することができる。そのようなシンボルは、例えば、ブロックがコーディングされているモード（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは別のサブモード）、イントラデコーダ（872）またはインターデコーダ（880）によって予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報（例えば、イントラ予測情報やインター予測情報）、例えば量子化変換係数の形の残差情報などを含むことができる。一例では、予測モードがインターモードまたは双予測モードである場合、インター予測情報がインターデコーダ（880）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（872）に提供される。残差情報は逆量子化を受けることができ、残差デコーダ（873）に提供される。

インターデコーダ（880）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するように構成され得る。

イントラデコーダ（872）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するように構成され得る。

残差デコーダ（873）は、逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して残差を周波数領域から空間領域に変換するように構成され得る。残差デコーダ（873）はまた、（量子化パラメータ（QP）を含めるために）特定の制御情報を利用とする場合もあり、その情報はエントロピーデコーダ（871）によって提供され得る（これは少量の制御情報のみであり得るためデータパスは図示されない）。

再構成モジュール（874）は、空間領域において、残差デコーダ（873）による出力としての残差と、（場合によって、インター予測モジュールまたはイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構成されたビデオの一部としての再構成されたピクチャの一部を形成する再構成されたブロックを形成するように構成され得る。視覚品質を改善するために、非ブロック化動作などの他の適切な動作が実行されてもよいことに留意されたい。

ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）は、任意の適切な技法を使用して実装され得ることに留意されたい。いくつかの一例の実施形態では、ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）を、1つまたは複数の集積回路を使用して実装することができる。別の実施形態では、ビデオエンコーダ（403）、（603）、および（603）、ならびにビデオデコーダ（410）、（510）、および（810）は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装することができる。

イントラ予測プロセスに戻ると、そこではブロック（例えば、ルマまたはクロマ予測ブロック、または予測ブロックにさらに分割されていない場合はコーディングブロック）内のサンプルは、予測ブロックを生成するために、隣接する、次の隣接する、または他の1つもしくは複数のライン、またはそれらの組み合わせのサンプルによって予測される。コーディングされている実際のブロックと予測ブロックとの間の残差は、変換とそれに続く量子化によって処理され得る。様々なイントラ予測モードが利用可能にされてもよく、イントラ予測モード選択に関連するパラメータおよび他のパラメータがビットストリーム内でシグナリングされてもよい。様々なイントラ予測モードは、例えば、サンプルを予測するための1つまたは複数のライン位置、1つまたは複数のラインを予測することから予測サンプルが選択される方向、および他の特別なイントラ予測モードに関係し得る。

例えば、一セットのイントラ予測モード（「イントラモード」と互換的に呼ばれる）は、事前定義された数の指向性イントラ予測モードを含み得る。図1の一例の実装形態に関連して上述したように、これらのイントラ予測モードは、特定のブロック内で予測されるサンプルの予測としてブロック外サンプルが選択される事前定義された数の方向に対応することができる。別の特定の一例の実装形態では、水平軸に対して45度から207度の角度に対応する8つの主な指向性モードがサポートされ、事前定義されてもよい。

イントラ予測のいくつかの他の実装形態では、指向性テクスチャにおけるより多様な空間冗長性をさらに活用するために、指向性イントラモードは、より細かい粒度を有する角度セットにさらに拡張され得る。例えば、上記の8角度の実装形態は、図9に示すように、V＿PRED、H＿PRED、D45＿PRED、D135＿PRED、D113＿PRED、D157＿PRED、D203＿PRED、およびD67＿PREDと呼ばれる8つの公称角度を提供するように構成されてもよく、各公称角度に対して、事前定義された数（例えば、7）のより細かい角度が追加されてもよい。このような拡張により、同じ数の事前定義された指向性イントラモードに対応して、より多くの総数（例えば、この例では56）の指向角をイントラ予測に利用することができる。予測角度は、公称イントラ角度＋角度デルタによって表されてよい。各公称角度に対して7つのより細かい角度方向を有する上記の特定の例では、角度デルタは、3度のステップサイズの－3～3倍であり得る。

いくつかの実装形態では、上記の方向イントラモードの代わりに、またはそれに加えて、事前定義された数の無指向性イントラ予測モードも事前定義され、利用可能にされる場合がある。例えば、スムーズイントラ予測モードと呼ばれる5つの無方向イントラモードが指定されてもよい。これらの無指向性イントラモード予測モードは、具体的には、DC、PAETH、SMOOTH、SMOOTH＿V、およびSMOOTH＿Hイントラモードと呼ばれる場合がある。これらの一例の無指向性モードの下での特定のブロックのサンプルの予測が図10に示されている。一例として、図10は、最上隣接ラインおよび／または左隣接ラインからのサンプルによって予測される4×4ブロック1002を示す。ブロック1002内の特定のサンプル1010は、ブロック1002の上隣接ライン内のサンプル1010のすぐ上のサンプル1004、上の隣接ラインと左の隣接ラインとの交点としてのサンプル1010の左上サンプル1006、およびブロック1002の左の隣接ライン内のサンプル1010のすぐ左のサンプル1008に対応し得る。一例のDCイントラ予測モードでは、左および上の隣接するサンプル1008および1004の平均をサンプル1010の予測子として使用することができる。一例のPAETHイントラ予測モードでは、上、左、および左上参照サンプル1004、1008、および1006がフェッチされてよく、次いで、これらの3つの参照サンプルの中で（上＋左－左上）に最も近いいずれかの値がサンプル1010の予測子として設定され得る。SMOOTH＿Vイントラ予測モードの例では、サンプル1010は、左上の隣接サンプル1006および左の隣接サンプル1008の垂直方向の二次補間によって予測され得る。一例のSMOOTH＿Hイントラ予測モードの場合、サンプル1010は、左上の隣接サンプル1006および上の隣接サンプル1004の水平方向の二次補間によって予測され得る。一例のSMOOTHイントラ予測モードの場合、サンプル1010は、垂直方向および水平方向における二次補間の平均によって予測され得る。上記の無指向性イントラモードの実装形態は、単に非限定的な例として示されているにすぎない。他の隣接するライン、およびサンプルの他の無指向性選択、および予測ブロック内の特定のサンプルを予測するための予測サンプルを組み合わせる方法も考えられる。

様々なコーディングレベル（ピクチャ、スライス、ブロック、ユニットなど）における上記の指向性モードまたは無指向性モードからのエンコーダによる特定のイントラ予測モードの選択は、ビットストリームでシグナリングされ得る。いくつかの一例の実装形態では、5つの非角度平滑モード（合計13個のオプション）と共に、例示的な8つの公称指向性モードが最初にシグナリングされてもよい。次いで、シグナリングされたモードが8つの公称角度イントラモードのうちの1つである場合、選択された角度デルタを対応するシグナリングされた公称角度に示すためにインデックスがさらにシグナリングされる。いくつかの他の一例の実装形態では、すべてのイントラ予測モードは、シグナリングのためにすべて一緒に（例えば、56個の指向性モードに5個の無指向性モードを加えて61個のイントラ予測モードを生成する）インデックス付けされてもよい。

いくつかの一例の実装形態では、一例の56個または他の数の指向性イントラ予測モードは、ブロックの各サンプルを参照サブサンプル位置に投影し、2タップ双線形フィルタによって参照サンプルを補間する統一指向性予測器を用いて実装され得る。

いくつかの実装形態では、エッジ上の基準との減衰する空間相関を取り込むために、FILTER INTRAモードと呼ばれる追加のフィルタモードを設計することができる。これらのモードでは、ブロック内のいくつかのパッチのためのイントラ予測参照サンプルとして、ブロック外サンプルに加えて、ブロック内の予測サンプルが使用され得る。これらのモードは、例えば、事前定義され、少なくともルマブロック（またはルマブロックのみ）のイントラ予測に利用可能にされ得る。事前定義された数（例えば、5つ）のフィルタイントラモードを予め設計することができ、その各々は、例えば4×2パッチ内のサンプルとそれに隣接するn個の隣接との間の相関を反映する一セットのnタップフィルタ（例えば、7タップフィルタ）によって表される。言い換えれば、nタップフィルタの重み係数は位置に依存し得る。8×8ブロック、4×2パッチ、7タップフィルタ処理を例にとると、図11に示すように、8×8ブロック1102を8つの4×2パッチに分割してもよい。これらのパッチを図11のB0、B1、B1、B3、B4、B5、B6、B7に示す。各パッチについて、図11のR0～R7で示されるその7つの隣接パッチを使用して、現在のパッチ内のサンプルを予測することができる。パッチB0に関して、すべての隣接要素はすでに再構成されている可能性がある。しかしながら、他のパッチに関しては、すべての隣接要素が再構成されているわけではないため、直近の隣接要素の予測値が参照値として使用される。例えば、図11に指摘されるようなパッチB7のすべての隣接要素は再構成されていないので、隣接要素の予測サンプルが代わりに使用される。

イントラ予測のいくつかの実装形態では、1つの色成分は、1つまたは複数の他の色成分を使用して予測され得る。色成分は、YCrCb、RGB、XYZ色空間等のいずれの成分であってもよい。例えば、（ルマからのクロマ、またはCfLと呼ばれる）、ルマ成分（例えば、ルマ参照サンプル）からのクロマ成分（例えば、クロマブロック）の予測を実施することができる。いくつかの一例の実装形態では、クロスカラー予測の多くは、ルマからクロマまでしか許容されない。例えば、クロマブロック内のクロマサンプルは、一致する再構成されたルマサンプルの線形関数としてモデル化することができる。CfL予測は、以下のように実施することができる。
CfL（α）＝α×L^AC＋DC （1）

式中、L^ACは、ルマ成分のAC寄与を表し、αは、線形モデルのパラメータを表し、DCは、クロマ成分のDC寄与を表す。例えば、AC成分はブロックの各サンプルについて取得されるのに対して、DC成分はブロック全体について取得される。具体的には、再構成されたルマサンプルは、彩度分解能にサブサンプリングされてもよく、次いで、平均ルマ値（ルマのDC）が各ルマ値から減算されて、ルマにおけるAC寄与を形成してもよい。次に、輝度のAC寄与を式（1）の線形モードで使用して、彩度成分のAC値を予測する。クロマAC成分をルマAC寄与から近似または予測するために、デコーダがスケーリングパラメータを計算することを必要とする代わりに、一例のCfL実装形態は、元のクロマサンプルに基づいてパラメータαを決定し、それらをビットストリーム内でシグナリングすることができる。これにより、デコーダの複雑さが低減され、より正確な予測が得られる。クロマ成分のDC寄与に関して、いくつかの一例の実装形態では、クロマ成分内のイントラDCモードを使用して計算され得る。

次に、イントラ予測ブロックまたはインター予測ブロックのいずれかの残差の変換を実施し、続いて変換係数を量子化することができる。変換を実行する目的で、イントラコーディングブロックとインターコーディングブロックの両方が、変換の前に、複数の変換ブロック（「ユニット」という用語は通常、3色チャネルの集合を表すために使用されるが、「変換ユニット」として互換的に使用されることもあり、例えば、「コーディングユニット」は、ルマコーディングブロック、およびクロマコーディングブロックを含む）にさらに区切られてよい。いくつかの実装形態では、コーディングされたブロック（または予測ブロック）の最大パーティショニング深度が指定されてもよい（「コーディングされたブロック」という用語は「コーディングブロック」と互換的に使用され得る）。例えば、このようなパーティショニングは、2レベルを超えてはならない。予測ブロックの変換ブロックへの分割は、イントラ予測ブロックとインター予測ブロックとで異なって処理されてもよい。しかしながら、いくつかの実装形態では、そのような分割は、イントラ予測ブロックとインター予測ブロックとの間で同様であり得る。

いくつかの一例の実装形態では、およびイントラコーディングブロックの場合、変換パーティションは、すべての変換ブロックが同じサイズを有し、変換ブロックがラスタ走査順にコーディングされるように行われてもよい。このようなイントラコーディングブロックの変換ブロックのパーティショニングの例を図12に示す。具体的には、図12は、コーディングされたブロック1202が、1206によって示されるように、中間レベルの四分木分割1204を介して同じブロックサイズの16個の変換ブロックに区切られることを示す。コーディングのための一例のラスタ走査順序は、図12の順序付けられた矢印によって示されている。

いくつかの一例の実装形態では、およびインターコーディングブロックの場合、変換ユニットパーティショニングは、パーティショニング深度が事前定義されたレベル数（例えば、2つのレベル）までで再帰的に行われてもよい。分割は、図13に示すように、任意のサブパーティションについて、かつ任意のレベルで再帰的に停止または継続することができる。特に、図13は、ブロック1302が4つの四分木サブブロック1304に分割され、サブブロックのうちの一方がさらに4つの第2のレベル変換ブロックに分割される一方で、他のサブブロックの分割は第1のレベルの後で停止し、2つの異なるサイズの合計7つの変換ブロックをもたらす例を示す。コーディングのための一例のラスタ走査順序は、図13の順序付けられた矢印によって示されている。図13は、最大2レベルの正方形変換ブロックの四分木分割の一例の実装形態を示しているが、いくつかの生成実装形態では、変換パーティショニングは、1：1（正方形）、1：2／2：1、および1：4／4：1の変換ブロック形状およびサイズが4×4から64×64の範囲であることをサポートする場合がある。いくつかの一例の実装形態では、コーディングブロックが64×64以下である場合、変換ブロックパーティショニングは、ルマ成分にのみ適用され得る（換言すれば、クロマ変換ブロックは、その条件下ではコーディングブロックと同じである）。そうではなく、コーディングブロックの幅または高さが64よりも大きい場合には、ルマコーディングブロックとクロマコーディングブロックの両方が、それぞれ、min（W、64）×min（H，64）およびmin（W、32）×min（H、32）の変換ブロックの倍数に暗黙的に分割され得る。

その後、上記の変換ブロックの各々は、一次変換を受ける場合がある。一次変換は、基本的に、変換ブロック内の残差を空間領域から周波数領域に移動させる。実際の一次変換のいくつかの実装形態では、上記の一例の拡張コーディングブロックパーティションをサポートするために、複数の変換サイズ（2つの次元の各次元に対して4ポイントから64ポイントの範囲）および変換形状（正方形、幅／高さ比が2：1／1：2および4：1／1：4の長方形）が許容され得る。

実際の一次変換に目を向けると、いくつかの一例の実装形態では、2D変換プロセスは、ハイブリッド変換カーネル（これは、例えば、コーディング残差変換ブロックの次元ごとに異なる1D変換から構成され得る）の使用を含むことができる。例1D変換カーネルは、以下の、a）4ポイント、8ポイント、16ポイント、32ポイント、64ポイントDCT－2、b）4ポイント、8ポイント、16ポイントの非対称DST（DST－4、DST－7）およびそれらのフリップバージョン、c）4ポイント、8ポイント、16ポイント、32ポイントの等値変換を含み得るが、これらに限定されない。各次元に使用されるべき変換カーネルの選択は、レート歪み（RD）基準に基づくことができる。例えば、実装され得るDCT－2および非対称DSTの基底関数を表1に列挙する。

いくつかの一例の実装形態では、特定の一次変換実施態様のハイブリッド変換カーネルの可用性は、変換ブロックサイズおよび予測モードに基づくことができる。一例の依存関係を表2に列挙する。クロマ成分の場合、変換タイプの選択は暗黙的な方法で実行されてもよい。例えば、イントラ予測残差の場合、変換タイプは、表3で指定されるように、イントラ予測モードに従って選択され得る。インター予測残差の場合、同じ場所にあるルマブロックの変換タイプ選択に従って、クロマブロックの変換タイプが選択され得る。したがって、クロマ成分の場合、ビットストリームに変換タイプのシグナリングはない。

いくつかの実装形態では、一次変換係数に対する二次変換が実行されてもよい。例えば、図14に示されるように、一次変換係数をさらに非相関化するために、低減された二次変換として知られているLFNST（低周波数分離不可能な変換）が、順方向一次変換と量子化（エンコーダにおける）との間、および逆量子化と逆の一次変換との間（デコーダ側における）に適用され得る。本質的に、LFNSTは、二次変換に進むために、一次変換係数の一部、例えば、低周波数部分（したがって、変換ブロックの一次変換係数の完全なセットから「削減された」部分）を取り得る。LFNSTの例では、変換ブロックサイズに従って、4×4の分離不可能な変換または8×8の分離不可能な変換が適用されてよい。例えば、小さい変換ブロック（例えば、min（幅、高さ）＜8）には4×4のLFNSTが適用され、大きい変換ブロック（例えば、min（幅、高さ）＞8）には8×8のLFNSTが適用されてよい。例えば、8×8変換ブロックが4×4 LFNSTの影響を受ける場合、8×8の一次変換係数の低周波数4×4部分のみがさらに二次変換を受ける。

図14に具体的に示されているように、変換ブロックは8×8（または16×16）であってよい。したがって、変換ブロックの順方向一次変換1402は、8×8（または16×16）一次変換係数行列1404を生成し、各平方単位は、2×2（または4×4）部分を表す。順方向LFNSTへの入力は、例えば、8×8（または16×16）の一次変換係数全体でなくてもよい。例えば、4×4（または8×8）のLFNSTが二次変換に使用され得る。したがって、斜線部分（左上）1406に示すように、一次変換係数行列1404の4×4（または8×8）の低周波数一次変換コエフェクトのみが、LFNSTへの入力として使用され得る。一次変換係数行列の残りの部分は、二次変換を受けなくてもよい。このように、二次変換の後、LFNSTの影響を受ける一次変換コエフェクトの部分は、二次変換係数になるが、LFNSTの影響を受けない残りの部分（例えば、マトリックス1404の陰影のない部分）は、対応する一次変換係数を維持する。いくつかの一例の実装形態では、二次変換の対象ではない残りの部分は、すべて0係数に設定されてもよい。

LFNSTで使用される分離不可能な変換の適用の一例を以下に説明する。一例の4×4 LFNSTを適用するために、4×4入力ブロックX（例えば、図14の一次変換行列1404の斜線部分1406のような一次変換係数ブロックの4×4の低周波部分を表す）を以下のように表すことができる。

この2D入力行列は、最初に線形化されるか、または一例の順序でベクトル

に走査されてもよい。

次いで、4×4 LFNSTの分離不可能な変換を

として計算することができ、

は出力変換係数ベクトルを示し、Tは16×16変換行列である。得られた16×1の係数ベクトル

は、続いて、そのブロックの走査順序（例えば、水平、垂直、または斜め）を使用して4×4ブロックとして逆走査される。より小さいインデックスを有する係数は、4×4係数ブロック内のより小さい走査インデックスと共に配置され得る。このようにして、一次変換係数Xの冗長性は、第2の変換Tを介してさらに活用することができ、それによって追加の圧縮強化を提供する。

上記の一例のLFNSTは、分離可能な変換を適用するための直接行列乗算手法に基づいており、その結果、複数の反復なしに単一パスで実施される。いくつかのさらなる一例の実装形態では、変換係数を格納するための計算の複雑さおよびメモリ空間要件を最小限に抑えるために、例4×4 LFNSTの分離不可能な変換行列（T）の次元をさらに低減することができる。このような実装形態は、低減された分離不可能な変換（RST）と称されてよい。より詳細には、RSTの主な概念は、N（Nは、上記の例では4×4＝16であるが、8×8ブロックについては64に等しくてもよい）次元ベクトルを異なる空間内のR次元ベクトルにマッピングすることであり、N／R（R＜N）は次元低減係数を表す。したがって、N×N変換行列の代わりに、RST行列は以下のようにR×N行列になり、

ここで、変換行列のR行は、N次元空間の低減されたR基底である。したがって、変換は、入力ベクトルまたはN次元を、低減されたR次元の出力ベクトルに変換する。したがって、図14に示すように、一次係数1406から変換された二次変換係数1408は、次元で係数またはN／Rだけ低減される。図14の1408の周囲の3つの正方形はゼロ詰めされてもよい。

RTSの逆変換行列は、その順方向変換の転置であり得る。一例の8×8 LFNST（ここでのより多様な説明のために、上記の4×4 LFNSTと対比される）の場合、一例の低減係数4を適用することができ、したがって、64×64の直接の分離不可能な変換行列は、それに応じて16×64の直接行列に低減される。さらに、いくつかの実装形態では、入力一次係数の全体ではなく一部がLFNSTの入力ベクトルに線形化されてもよい。例えば、例8×8の入力一次変換係数の一部のみが上記のXベクトルに線形化されてもよい。特定の例では、8×8の一次変換係数行列の4つの4×4象限のうち、右下（高周波数係数）は除外することができ、他の3つの象限のみが、48×1ベクトルではなく事前定義された走査順序を使用して64×1ベクトルに線形化される。そのような実装形態では、分離不可能な変換行列は、16×64から16×48にさらに低減されてよい。

したがって、一例の低減された48×16の逆RST行列をデコーダ側で使用して、8×8のコア（一次）変換係数の左上、右上および左下の4×4象限を生成することができる。具体的には、同じ変換セット構成を有する16×64RSTの代わりに、さらに低減された16×48RST行列が適用される場合、分離不可能な二次変換は、右下の4×4ブロックを除く8×8の一次係数ブロックの3つの4×4象限ブロックからベクトル化された48個の行列要素を入力として取得する。そのような実装形態では、省略された右下の4×4一次変換係数は、二次変換で無視される。このさらに低減された変換は、48×1のベクトルを16×1の出力ベクトルに変換し、これは図14の1408を満たすために4×4行列に反対に走査される。1408を囲む二次変換係数の3つの正方形は、ゼロ詰めされてもよい。

RSTの寸法のこのような低減の助けを借りて、すべてのLFNST行列を格納するためのメモリ使用量が削減される。上記の例では、例えば、メモリ使用量は、次元低減のない実装形態と比較して、合理的にわずかな性能低下で10KBから8KBに削減され得る。

いくつかの実装形態では、複雑さを低減するために、LFNSTは、LFNSTの対象となる一次変換係数部分の外側のすべての係数（例えば、図14の1404の1406部分の外側）が有意でない場合にのみ適用可能であるようにさらに制限される場合がある。したがって、LFNSTが適用される場合、すべての一次のみの変換係数（例えば、図4の一次係数行列1404の斜線が付されていない部分）は0に近くなり得る。そのような制限は、最下位位置でのLFNSTインデックス信号伝達の調整を可能にし、したがって、この制限が適用されないときに特定の位置で有意係数をチェックするために必要とされ得る追加の係数走査を回避する。いくつかの実装形態では、LFNSTの最悪の場合の処理（ピクセルあたりの乗算に関して）は、4×4および8×8ブロックの分離不可能な変換を、それぞれ8×16および8×48変換に制限することができる。そのような場合、LFNSTが適用される場合、16未満の他のサイズでは、最終有意走査位置は8未満でなければならない。4×NおよびN×4およびN＞8の形状を有するブロックの場合、上記の制限は、LFNSTが左上の4×4領域に1回だけ適用されることを意味する。LFNSTが適用されるとき、すべての一次のみの係数は0であるため、そのような場合、一次変換に必要な演算の数は削減される。エンコーダの観点から、係数の量子化は、LFNST変換がテストされるときに単純化され得る。レート歪み最適化量子化（RDO）は、（走査順に）最初の16個の係数について最大で行われなければならず、残りの係数は0になるように強制されてもよい。

いくつかの一例の実装形態では、利用可能なRSTカーネルは、各変換セットがいくつかの分離不可能な変換行列を含むいくつかの変換セットとして指定されてもよい。例えば、LFNSTで使用される変換セットごとに合計4つの変換セットおよび2つの分離不可能な変換行列（カーネル）が存在する可能性がある。これらのカーネルは、オフラインで事前訓練されてもよく、したがってデータ駆動される。オフラインで訓練された変換カーネルは、エンコーディング／デコーディングプロセス中に使用するために、メモリに記憶されるか、またはエンコーディングデバイスもしくはデコーディングデバイスにハードコーディングされてもよい。エンコーディングまたはデコーディングプロセス中の変換セットの選択は、イントラ予測モードによって決定され得る。イントラ予測モードから変換セットへのマッピングは、事前定義されてよい。そのような事前定義されたマッピングの例を表4に示す。例えば、表4に示すように、3つの交差成分線形モデル（CCLM）モード（INTRA＿LT＿CCLM、INTRA＿T＿CCLMまたはINTRA＿L＿CCLM）のうちの1つが現在のブロック（すなわち、81＜＝predModeIntra＜＝83である）に使用される場合、変換セット0が現在のクロマブロックに対して選択され得る。各変換セットについて、選択された分離不可能な二次変換候補は、明示的にシグナリングされたLFNSTインデックスによってさらに指定され得る。例えば、インデックスは、変換係数の後、イントラCUごとに1回、ビットストリームでシグナリングされてよい。

LFNSTは、上記の一例の実装形態において、第1の係数サブグループまたは部分の外側のすべての係数が有意でない場合にのみ適用可能であるように制限されるため、LFNSTインデックスコーディングは、最後の有意係数の位置に依存する。加えて、LFNSTインデックスはコンテキストコーディングされてもよいが、イントラ予測モードに依存せず、第1のビンのみがコンテキストコーディングされてもよい。さらに、LFNSTは、イントラおよびインタースライスの両方におけるイントラCU、ならびにルマおよびクロマの両方に適用され得る。二重ツリーが有効になっている場合、ルマ成分およびクロマ成分のLFNSTインデックスを別々にシグナリングすることができる。インタースライス（二重ツリーが無効にされている）の場合、単一のLFNSTインデックスがシグナリングされ、ルマとクロマの両方に使用される。

いくつかの一例の実装形態では、イントラサブパーティショニング（ISP）モードが選択されると、実行可能なすべてのパーティションブロックにRSTが適用されたとしても性能向上は限界がある可能性が高いため、LFNSTが無効化され、RSTインデックスがシグナリングされない場合がある。さらに、ISP予測残差のRSTを無効にすると、エンコーディングの複雑さを低減することができる。いくつかのさらなる実装形態では、多重線形回帰イントラ予測（MIP）モードが選択されたとき、LFNSTも無効にされ、RSTインデックスはシグナリングされなくてもよい。

既存の最大変換サイズ制限（例えば、64×64）に起因して、64×64を超える大きなCU（または最大変換ブロックサイズを表す任意の他の事前定義されたサイズ）が暗黙的に分割（例えば、TUタイリング）されることを考慮すると、LFNSTインデックス検索は、特定の数のデコーディングパイプラインステージについてデータバッファリングを4倍増加させることができる。したがって、いくつかの実装形態では、LFNSTが許容される最大サイズは、例えば64×64に制限され得る。いくつかの実装形態では、LFNSTは、一次変換としてのみDCT2で有効にすることができる。

いくつかの他の実装形態では、例えば、各セット内の3つのカーネルを用いて、例えば、12セットの二次変換を定義することにより、ルマ成分に対してイントラ二次変換（IST）が提供される。イントラモード依存インデックスが、変換セット選択のために使用されてよい。セット内のカーネル選択は、シグナリングされた構文要素に基づいてもよい。ISTは、DCT2またはADSTのいずれかが水平および垂直一次変換の両方として使用される場合に有効にされてよい。いくつかの実装形態では、ブロックサイズに従って、4×4の分離不可能な変換または8×8の分離不可能な変換を選択することができる。min（tx＿width，tx＿height）＜8の場合、4×4 ISTを選択することができる。より大きなブロックの場合、8×8 ISTを使用することができる。ここで、tx＿widthおよびtx＿heightは、それぞれ変換ブロックの幅および高さに対応する。ISTへの入力は、ジグザグ走査順の低周波数一次変換係数であってもよい。

一次変換または二次変換のいずれかのためのデータ駆動またはオフライン訓練された変換カーネル、特に分離不可能な変換カーネルの利用は、DCT／DSTなどの固定変換のみを使用する場合と比較して、コーディング性能の向上を容易にすることができる。しかしながら、そのようなデータ駆動変換カーネルを適用すると、ビデオコーデックの複雑さが増大する可能性がある。例えば、データ駆動変換カーネルは、特に分離不可能な変換のために、すべての可能なカーネルを格納するためにかなりの量のメモリを必要とする場合がある。具体的には、上記の一例の実装形態のうちの1つについて、12個の可能なカーネルのセットが存在する可能性がある。各セットは、例えば、異なるLFNST（例えば、4×4および8×8）のための3つのカーネルを含み得る。さらに、LFNSTカーネルは、異なる一次変換タイプ（例えば、LFNSTが許可され得るDCTまたはADST一次タイプ）に対して異なる場合がある。言い換えれば、メモリがオフラインで訓練されたLFNSTカーネルを記憶するために使用される場合、かなりの量のメモリが必要とされる。以下でさらに詳細に説明するように、データ駆動変換を使用するための以下に説明する様々な実装形態は、記憶されたカーネルのメモリフットプリントおよびコーデックの複雑さを低減するように設計することができる。

これらの様々な実装形態または実施形態は単なる例である。それらは別々に使用されてもよく、または任意の順序または方法で組み合わされてもよい。さらに、各実装形態は、方法、および方法を実施するための処理回路（例えば、1つまたは複数のプロセッサあるいは1つまたは複数の集積回路）を含むエンコーダまたはデコーダとして具体化されてもよい。一例では、処理回路は、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する1つまたは複数のプロセッサを含むことができる。別の例では、処理回路は、方法を実施するためにハードコーディングされてもよい。さらに別の例では、処理回路は、コンピュータ可読命令を実行するためのプロセッサ構成要素とハードコーディングされた回路との混合であってもよい。

以下の一例の実装形態では、「ブロック」という用語は、予測ブロックまたはコーディングブロックなどとして解釈され得る。ここでのブロックという用語は、上述したようにコーディングブロックの一部であり得る変換ブロックを指すためにも使用され得る。ブロックの「サイズ」という用語は、ブロックの幅、高さ、ブロックアスペクト比、ブロック領域サイズ、または幅と高さとの間の最小値／最大値のいずれかを指すために使用される。

以下の様々な一例の実装形態において、現在の変換ブロックをデコーディングするために使用される分離可能または分離不可能な二次変換のセットの中の1つまたは複数の分離可能または分離不可能な変換（または変換カーネル）を識別するための1つまたは複数のインデックスは、ビデオビットストリームでシグナリングされ得る。そのようなインデックスの各々は、stIdxとして表されてよい。これらの実装形態は、一次変換、二次変換、または二次変換後に適用される追加の変換のいずれかに適用され得る。さらに、基礎となる原理は、分離可能な変換または分離不可能な変換のいずれかに適用することができる。

以下の一例の実装形態では、「用語基底ベクトル」は、空間領域から周波数領域への画像変換のための変換カーネルの空間周波数成分を指すために使用される。「高周波基底ベクトル」などの用語は、N個の係数の後の低周波成分から高周波成分まで走査される変換係数を生成するために使用され得る基底ベクトルを指すために使用され、分離不可能な変換カーネルのN行（または列）の後に位置する（したがって、Nに対応する周波数よりも高い）基底ベクトルも指すことができる。Nの値の例には、1から128の任意の整数値（両端を含む）が含まれるが、これらに限定されない。高周波数および低周波数（数N）の線引きは、RDOを介して決定することができる。

いくつかの一般的な一例の実装形態では、複数の変換カーネルを適用することができ、エンコーディングおよびデコーディングプロセス中に選択可能なオプションとして提供される場合、それらの複数の変換カーネルの基底ベクトルの一部を共有することができる。例えば、複数の変換カーネルのいくつかまたはそのすべての間の高周波基底ベクトルは共有されてもよく、低周波基底ベクトルは複数の変換カーネルの間で個別化されてもよい。そのような問題において、そのようなオフラインで訓練されデータ駆動される変換カーネルは、全体として必要なメモリを少なくすることができる。特に、共有される基底ベクトルは複製される必要はなく、1つのコピーが共有される変換カーネル間のメモリ内に保持される必要があり得る。共有され個別化された基底ベクトルがメモリに記憶される方法は、事前定義されてもよい。

そのような実装形態が図15に示されており、順方向二次変換に使用される2つのLFNST変換行列またはカーネル間で基底ベクトルがどのように共有されるかの例を示している。2つのブロック1502および1504は、2つの変換行列、すなわち変換行列A（左）およびB（右）を示し、変換行列の各行は1つの基底ベクトルを表し、下の行（網掛けされた）はAとBとの間で共有される基底ベクトルを指す。下の基底ベクトルはより高い周波数のものであってもよい。より高い周波数の基底ベクトルは、これらの一例のカーネル間でメモリ内で共有されてもよい。逆変換の場合、複数の変換行列の共有される基底ベクトルは、逆変換のための転置の結果として、変換行列の右N列とすることができる。

図15の一例の変換カーネルは、一次変換係数の線形化ベクトルに適用される二次変換カーネルについて示されている。したがって、図15に示すような変換カーネルの周波数軸は、一次元（上から下）である。これはすべての1Dカーネルに当てはまる。2D（例えば、データ駆動される2Dカーネルが一次変換に使用される場合）である変換カーネルの場合、より低い周波数成分は2D変換カーネルの左上部分にあり、より高い周波数成分は2D変換カーネルの右下部分にある。その場合、右下の部分は、異なる2Dカーネル間で共有されてもよい。

いくつかの一例の実装形態では、特定のイントラ予測モードに適用される一セットの複数の変換カーネルについて、高周波基底ベクトルは同一に構築され（共有され）、低周波基底ベクトルは異なってよい（個別化されてよい）。言い換えれば、特定のイントラ予測モード（例えば、上述した様々な方向の、無指向性、および他のイントラ予測モード）に対応する一セットのカーネルは、同様の次元を有することができ、したがって、例えば、高周波基底ベクトルを個別化された低周波基底ベクトルと共有することができる。事前定義された閾値は、低周波および高周波の線引きに使用することができる。いくつかの実装形態では、高周波および低周波の線引きは、データ駆動され、したがって事前訓練されてもよい。したがって、周波数線引き閾値は、異なるイントラ予測モードに対して異なる場合がある。

いくつかの一例の実装形態では、複数の二次変換カーネルが異なる一次変換と共に適用される場合、複数の二次変換カーネルの一部またはそのすべてを異なる一次変換タイプ間で共有することができる。言い換えれば、異なるタイプの一次変換は、二次変換のための異なるカーネルに対応し得る。これらの異なる二次変換カーネルは、個別化された低周波数基底ベクトルを含むことができ、それにもかかわらず、共有された高周波数基底ベクトルで構築される。すなわち、二次変換カーネル選択は、複数の一次変換タイプに適用可能である場合、一次変換タイプとは無関係であり得る（例えば、DCTまたはADST一次変換タイプとは無関係である）。

いくつかの一例の実装形態では、複数の二次変換カーネルが異なる一次変換と共に適用される場合、複数の二次変換カーネル内の高周波基底ベクトルは、異なる一次変換タイプ間で共有されてもよく、低周波基底ベクトルは、異なるか、または個別化されてもよい。事前定義された閾値は、低周波および高周波の線引きに使用することができる。ここでも、高周波および低周波（または数N）の線引きは、データ駆動され、したがって事前訓練されてもよい。したがって、周波数線引き閾値は、異なるイントラ予測モードに対して異なる場合がある。

いくつかの一例の実装形態では、特定のタイプの一次変換と共に適用される複数の二次変換カーネルについて、高周波基底ベクトルは同じであり得るが、低周波基底ベクトルは異なる場合がある。いくつかのさらなる実装形態では、異なる一次変換タイプに対応するカーネルの高周波基底ベクトルと低周波基底ベクトルの両方が独立していてもよい。

いくつかの一例の実装形態では、様々な変換カーネル間で共有される高周波基底ベクトルの数Nは、2の整数乗、例えば1、2、4、8、16、32、64、128であってもよい。特に低減された二次変換行列の場合、N個の高周波数行の数は、2のべき乗の値、例えば、1、2、4、8、16、32、64、128であってもよい。

いくつかの一例の実装形態では、Nの値は変換サイズに依存し得る。例えば、Nと変換カーネルの基底ベクトルの総数との比が指定されてもよい。

いくつかの例では、上記の実装形態の各々および任意の組み合わせをLFNST二次変換に適用することができる。したがって、高周波基底ベクトルを共有するが、個別化された低周波基底ベクトルを含むカーネルのセットは、二次LFNST変換カーネルを含むことができる。

いくつかの例では、上記の実装形態の各々および任意の組み合わせを、イントラ二次変換（IST）に適用することができる。

いくつかの例では、上記の実装形態の各々および任意の組み合わせを、線グラフ変換（LGT）に適用することができる。

上記の様々なカーネルは、予め決定されてもよい。それらはオフラインで事前訓練されてもよい。高周波基底ベクトルを共有するカーネルの場合、それらは一緒に訓練されてもよい。共有基底ベクトルおよび個別化基底ベクトルを表す閾値周波数は、オフラインで訓練することができる。

エンコーディングまたはデコーディングプロセス中、上記の様々なカーネルは、エンコーダまたはデコーダによる使用のためにメモリ空間内に存在してもよく、共有される基底ベクトルの1つのコピーのみがメモリ空間内に記憶される必要がある。様々なカーネルがエンコーディングまたはデコーディングプロセス中に使用されるとき、共有基底ベクトルのためのメモリ位置へのポインタを使用して、これらの共有基底ベクトルにアクセスすることができる。

図16は、上記の実装形態の基礎となる原理に従う一例の方法のフローチャート1600を示す。一例の方法フローは1601で開始する。S1610において、複数の変換カーネルが識別され、複数の変換カーネルの各々は、低周波から高周波までの一セットの基底ベクトルを含み、複数の変換カーネルのうちの2つ以上の変換カーネルのN個の高周波基底ベクトルが共有され、Nは正の整数であり、N個の高周波基底ベクトル以外の、複数の変換カーネルのうちの2つ以上の変換カーネルの低周波基底ベクトルが個別化される。S1620において、ビデオビットストリームからデータブロックが抽出される。S1630において、データブロックに関連付けられた情報に基づいて、複数の変換カーネルの中から変換カーネルが選択される。S1640において、データブロックの少なくとも一部に変換カーネルが適用されて、変換ブロックを生成する。一例の方法フローはS1699で終了する。

本開示の実施形態は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、方法（または実施形態）の各々、エンコーダ、およびデコーダは、処理回路（例えば、1つもしくは複数のプロセッサまたは1つもしくは複数の集積回路）によって実施されてもよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。本開示の実施形態は、ルマブロックまたはクロマブロックに適用されてもよい。

上記で説明された技術は、1つ以上のコンピュータ可読媒体に物理的に記憶された、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施され得る。例えば、図17は、開示されている主題の特定の実施形態を実施するのに適したコンピュータシステム（1700）を示す。

コンピュータソフトウェアは、1つ以上のコンピュータ中央処理装置（CPU：central processing unit）およびグラフィック処理装置（GPU：Graphics Processing Unit）などによって直接的に、または解釈およびマイクロコードの実行などを通して実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受け得る任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされ得る。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、インターネット・オブ・シングス装置などを含む様々なタイプのコンピュータまたはその構成要素で実行することができる。

コンピュータシステム（1700）に関して図17に示されている構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム（1700）の例示的実施形態において例示される構成要素のいずれか1つまたはその組み合わせに関する依存関係または要件を有すると解釈されるべきではない。

コンピュータシステム（1700）は、特定のヒューマンインターフェース入力デバイスを含んでもよい。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した、1人または複数の人間ユーザによる入力に応答し得る。ヒューマンインターフェースデバイスを用いて、音声（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから取得される写真画像など）、ビデオ（二次元ビデオ、立体ビデオを含む三次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係ない特定の媒体を取り込むこともできる。

入力ヒューマンインターフェースデバイスは、キーボード（1701）、マウス（1702）、トラックパッド（1703）、タッチ画面（1710）、データグローブ（図示せず）、ジョイスティック（1705）、マイクロフォン（1706）、スキャナ（1707）、カメラ（1708）のうちの1つまたは複数（各々のうちのただ1つ）を含んでもよい。

コンピュータシステム（1700）はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味によって1人または複数の人間ユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチ画面（1710）、データグローブ（図示せず）、またはジョイスティック（1705）による触覚フィードバックが含まれることがあるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、オーディオ出力デバイス（スピーカ（1709）、ヘッドホン（図示せず）など）、視覚出力デバイス（それぞれがタッチ画面入力機能の有無にかかわらず、それぞれが触覚フィードバック機能の有無にかかわらず、CRT画面、LCD画面、プラズマ画面、OLED画面を含む画面（1710）などであり、それらの一部は、ステレオグラフィック出力、仮想現実ガラス（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）などの手段を介して二次元視覚出力または三次元以上の出力が可能であり得る）、およびプリンタ（図示せず）を含んでもよい。

コンピュータシステム（1700）は、CD／DVDなどの媒体（1721）を伴うCD／DVD ROM／RW（1720）を含む光媒体、サムドライブ（1722）、リムーバブルハードドライブやソリッドステートドライブ（1723）、テープやフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用のROM／ASIC／PLDベースのデバイスなど、人間がアクセス可能な記憶デバイスおよびその関連媒体を含むこともできる。

当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解するべきである。

コンピュータシステム（1700）はまた、1つまたは複数の通信ネットワーク（1755）へのインターフェース（1754）を含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業、リアルタイム、遅延耐性などとすることができる ネットワークの例には、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、および地上波放送テレビを含むテレビ有線または無線広域デジタルネットワーク、CANbusを含む車両および産業用などが含まれる。特定のネットワークは、通常、（例えば、コンピュータシステム（1700）のUSBポートなどの）特定の汎用データポートまたは周辺バス（1749）に取り付けられた外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、通常、以下に記載されるシステムバスに取り付けることによってコンピュータシステム（1700）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1700）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送TV）、単方向送信のみ（例えば、CANbusから特定のCANbusデバイスへ）、または双方向、例えば、ローカルエリアデジタルネットワークまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムとの通信であり得る。特定のプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースを、コンピュータシステム（1700）のコア（1740）に取り付けることができる。

コア（1740）は、1つまたは複数の中央処理装置（CPU）（1741）、グラフィックス処理装置（GPU）（1742）、フィールドプログラマブルゲートエリア（FPGA）（1743）の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（1744）、グラフィックスアダプタ（1750）などを含むことができる。これらのデバイスは、読み取り専用メモリ（ROM）（1745）、ランダムアクセスメモリ（1746）、ユーザがアクセスすることができない内部ハードドライブ、SSDsなどの内部大容量記憶装置（1747）と共に、システムバス（1748）を介して接続され得る。いくつかのコンピュータシステムでは、システムバス（1748）は、追加のCPU、GPUなどによる拡張を可能にするために、1つまたは複数の物理プラグの形態でアクセス可能であり得る。周辺デバイスは、コアのシステムバス（1748）に直接取り付けることも、周辺バス（1749）を介して取り付けることもできる。一例では、画面（1710）をグラフィックスアダプタ（1750）に接続することができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。

CPU（1741）、GPU（1742）、FPGA（1743）、およびアクセラレータ（1744）は、組み合わさって上記のコンピュータコードを形成することができるいくつかの命令を実行することができる。そのコンピュータコードを、ROM（1745）またはRAM（1746）に格納することができる。移行データはRAM（1746）に格納することもできるが、恒久的データは例えば内部大容量記憶装置（1747）に格納できる。1つまたは複数のCPU（1741）、GPU（1742）、大容量記憶装置（1747）、ROM（1745）、RAM（1746）などと密接に関連付けることができるキャッシュメモリの使用によって、メモリデバイスのいずれかへの高速記憶および取得を可能にすることができる。

コンピュータ可読媒体は、様々なコンピュータ実施動作を行うためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよいし、またはコンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであってもよい。

非限定的な例として、アーキテクチャを有するコンピュータシステム（1700）、特にコア（1740）は、（CPU、GPU、FPGA、アクセラレータなどを含む）（1つまたは複数の）プロセッサが、1つまたは複数の有形のコンピュータ可読媒体において具現化されたソフトウェアを実行した結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介したようにユーザがアクセス可能な大容量記憶装置のほか、コア内部大容量記憶装置（1747）またはROM（1745）などの非一時的性質のコア（1740）の特定の記憶装置にも関連する媒体であり得る。本開示の様々な実施形態を実施するソフトウェアをこのようなデバイスに格納して、コア（1740）によって実行することができる。コンピュータ可読媒体は、特定の必要性に応じて、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアによって、コア（1740）、特にコア（1740）内のプロセッサ（CPU、GPU、FPGAなどを含む）に、本明細書に記載の、RAM（1746）に格納されるデータ構造を決めることと、ソフトウェアによって定められたプロセスに従ってこのようなデータ構造を修正することとを含む、特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたはそれと一緒に動作することができる回路（例えば、アクセラレータ（1744））に配線されたまたはそうでなければ具体化された論理の結果として機能を提供することができる。ソフトウェアへの参照は、適切な場合には、論理を包含することができ、逆もまた同様である。必要に応じて、コンピュータ可読媒体への言及は、実行のためのソフトウェアを格納する回路（集積回路（IC：integrated circuit）など）、実行のためのロジックを具体化する回路、またはこれらの両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

本開示はいくつかの例示的実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、および様々な代替均等例がある。上述した実装形態および実施形態では、プロセスの任意の動作は、必要に応じて、任意の量または順序で組み合わせる、または構成することができる。また、上述した各処理の動作の2つ以上が並列して実行されてもよい。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具体化し、したがってその趣旨および範囲内にある多数のシステムおよび方法を考案できることが理解されよう。
付記A：頭字語
JEM：共同探索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足エンハンスメント情報
VUI：ビデオユーザビリティ情報
GOP：ピクチャのグループ
TU：変換ユニット
PU：予測ユニット
CTU：コーディングツリーユニット
CTB：コーディングツリーブロック
PB：予測ブロック
HRD：仮想参照デコーダ
SNR：信号対雑音比
CPU：中央処理装置
GPU：グラフィックス処理装置
CRT：ブラウン管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読み出し専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブル論理デバイス
LAN：ローカルエリアネットワーク
GSM：グローバル移動体通信システム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
HDR：ハイダイナミックレンジ
SDR：標準ダイナミックレンジ
JVET：共同ビデオ探索チーム
MPM：最確モード
WAIP：広角イントラ予測
CU：コーディングユニット
PU：予測ユニット
TU：変換ユニット
CTU：コーディングツリーユニット
PDPC：位置依存予測組み合わせ
ISP：イントラサブパーティション
SPS：シーケンスパラメータ設定
PPS：ピクチャパラメータセット
APS：適応パラメータセット
VPS：ビデオパラメータセット
DPS：デコーディングパラメータセット
ALF：適応ループフィルタ
SAO：サンプル適応オフセット
CC－ALF：交差成分適応ループフィルタ
CDEF：制約付き指向性強化フィルタ
CCSO：交差成分サンプルオフセット
LSO：ローカルサンプルオフセット
LR：ループ復元フィルタ
AV1：AOMedia Video 1
AV2：AOMedia Video 2

101 サンプル
102 矢印
103 矢印
104 ブロック
180 イントラ予測芳香を示す概略図
201 現在のブロック
202 周囲のサンプル
203 周囲のサンプル
204 周囲のサンプル
205 周囲のサンプル
206 周囲のサンプル
300 通信システム
310 端末装置
320 端末装置
330 端末装置
340 端末装置
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャのストリーム
403 ビデオエンコーダ
404 符号化されたビデオビットストリーム
405 ストリーミングサーバ
406 クライアントサブシステム
408 クライアントサブシステム
407 ビデオデータのコピー
409 ビデオデータのコピー
410 ビデオデコーダ
411 出力ストリーム
412 ディスプレイ
413 ビデオ取り込みサブシステム
420 電子装置
430 電子装置
501 チャネル
510 ビデオデコーダ
512 ディスプレイ
515 バッファメモリ
520 パーサ
521 シンボル
530 電子装置
531 受信機
551 スケーラ／逆変換ユニット
552 イントラ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタ
557 参照ピクチャメモリ
558 現在のピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ
620 電子装置
630 ソースコーダ
632 コーディングエンジン
633 デコーダ、デコーディングユニット
634 参照ピクチャメモリ
635 予測器
640 送信機
643 ビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオエンコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
1002 ブロック
1010 サンプル
1004 隣接サンプル
1006 隣接サンプル
1008 隣接サンプル
1202 コード化されたブロック
1204 四分木分割
1206 変換ブロック
1302 ブロック
1304 四分木サブブロック
1402 順方向一次変換
1404 一次変換係数行列
1406 一次変換係数行列の斜線部分
1408 二次変換係数
1502 ブロック
1504 ブロック
1600 方法のフローチャート
1700 コンピュータシステム
1701 キーボード
1702 マウス
1703 トラックパッド
1705 ジョイスティック
1706 マイクロフォン
1707 スキャナ
1708 カメラ
1709 オーディオ出力デバイス
1710 タッチ画面
1720 光媒体
1721 CD／DVDなどの媒体
1722 サムドライブ
1723 リムーバブルハードドライブやソリッドステートドライブ
1740 コア
1741 中央処理装置
1742 グラフィックス処理装置
1743 フィールドプログラマブルゲートエリア
1744 ハードウェアアクセラレータ
1745 読み取り専用メモリ
1746 ランダムアクセスメモリ
1747 内部大容量記憶装置
1748 システムバス
1749 周辺バス
1750 グラフィックスアダプタ
1754 ネットワークインターフェース
1755 通信ネットワーク

Claims (25)

1. ビデオ情報を処理するための方法であって、
   複数の変換カーネルを識別するステップであって、
   前記複数の変換カーネルの各々は、低周波から高周波までの基底ベクトルのセットを含み、
   前記複数の変換カーネルのうちの2つ以上の変換カーネルのN個の高周波基底ベクトルが共有され、Nは正の整数であり、
   前記N個の高周波基底ベクトル以外の前記複数の変換カーネルのうちの前記2つ以上の変換カーネルの低周波基底ベクトルが個別化される、
   ステップと、
   ビデオビットストリームからデータブロックを抽出するステップと、
   前記データブロックに関連付けられた情報に基づいて、前記複数の変換カーネルから変換カーネルを選択するステップと、
   前記変換カーネルを前記データブロックの少なくとも一部に適用して変換ブロックを生成するステップと
   を含む、ビデオ情報を処理するための方法。
2. 前記複数の変換カーネルは、オフラインで事前訓練される、請求項1に記載の方法。
3. 前記複数の変換カーネルは、共有されている前記N個の高周波基底ベクトルを決定するためにオフラインで一緒に訓練される、請求項2に記載の方法。
4. 前記N個の高周波基底ベクトルは、所定の閾値周波数よりも高い周波数を有する基底ベクトルを含む、請求項1に記載の方法。
5. 前記複数の変換カーネルおよび前記所定の閾値周波数は、オフラインで事前訓練される、請求項4に記載の方法。
6. 前記複数の変換カーネルは、一次変換係数を変換するのに適用可能な二次変換カーネルを含み、
   前記データブロックは、一次変換係数のアレイを含む、
   請求項1に記載の方法。
7. 前記N個の高周波基底ベクトルを共有する前記複数の変換カーネルのうちの前記2つ以上の変換カーネルは、複数のイントラピクチャ予測モードのうちの同じものに対応し、
   前記複数のイントラピクチャ予測モードのうちの同じ1つに割り当てられた前記複数の変換カーネルのうちのすべての変換カーネルは、他の低周波基底ベクトルが個別化されている状態で前記N個の高周波基底ベクトルを共有する、
   請求項1から6のいずれか一項に記載の方法。
8. 前記N個の高周波基底ベクトルを共有する複数の変換カーネルのうちの前記2つ以上の変換カーネルは、2つ以上の異なるイントラピクチャ予測モードに割り当てられる、請求項1から6のいずれか一項に記載の方法。
9. 前記複数の変換カーネルは二次変換カーネルであり、
   前記N個の高周波基底ベクトルを共有する前記複数の変換カーネルのうちの前記2つ以上の変換カーネルは、同じ変換タイプを有する一次変換から生成された一次変換係数を変換するように構成されている、
   請求項1から6のいずれか一項に記載の方法。
10. Nは2の整数乗である、請求項1から6のいずれか一項に記載の方法。
11. Nは事前定義された上限よりも小さい、請求項10に記載の方法。
12. Nは変換サイズに依存する、請求項1から6のいずれか一項に記載の方法。
13. 前記複数の変換カーネルは、二次低周波数分離不可能な変換（LFNST）カーネルである、請求項1から6のいずれか一項に記載の方法。
14. 前記複数の変換カーネルは、イントラ二次変換（IST）のために構成される、請求項1から6のいずれか一項に記載の方法。
15. 前記複数の変換カーネルは、線グラフ変換（LGT）のために構成される、請求項1から6のいずれか一項に記載の方法。
16. ビデオ情報を処理するためのデバイスであって、
    複数の変換カーネルを識別し、
    前記複数の変換カーネルの各々は、低周波から高周波までの基底ベクトルのセットを含み、
    前記複数の変換カーネルのうちの2つ以上の変換カーネルのN個の高周波基底ベクトルが共有され、Nは正の整数であり、
    前記N個の高周波基底ベクトル以外の前記複数の変換カーネルのうちの前記2つ以上の変換カーネルの低周波基底ベクトルが個別化され、
    ビデオビットストリームからデータブロックを抽出し、
    前記データブロックに関連付けられた情報に基づいて、前記複数の変換カーネルから変換カーネルを選択し、
    前記変換カーネルを前記データブロックの少なくとも一部に適用して変換ブロックを生成する
    ように構成された回路を備える、ビデオ情報を処理するためのデバイス。
17. 前記複数の変換カーネルは、一次変換係数を変換するのに適用可能な二次変換カーネルを含み、
    前記データブロックは、一次変換係数のアレイを含む、
    請求項16に記載のデバイス。
18. 前記N個の高周波基底ベクトルを共有する前記複数の変換カーネルのうちの前記2つ以上の変換カーネルは、複数のイントラピクチャ予測モードのうちの同じものに対応し、
    前記複数のイントラピクチャ予測モードのうちの同じ1つに割り当てられた前記複数の変換カーネルのうちのすべての変換カーネルは、他の低周波基底ベクトルが個別化されている状態で前記N個の高周波基底ベクトルを共有する、
    請求項16に記載のデバイス。
19. 前記N個の高周波基底ベクトルを共有する複数の変換カーネルのうちの前記2つ以上の変換カーネルは、2つ以上の異なるイントラピクチャ予測モードに割り当てられる、請求項16に記載のデバイス。
20. 前記複数の変換カーネルは二次変換カーネルであり、
    前記N個の高周波基底ベクトルを共有する前記複数の変換カーネルのうちの前記2つ以上の変換カーネルは、同じ変換タイプを有する一次変換から生成された一次変換係数を変換するように構成されている、
    請求項16に記載のデバイス。
21. 請求項2から6のいずれか一項を実行するように構成された回路を備える、ビデオ情報を処理するためのデバイス。
22. コンピュータ命令を格納するための非一時的コンピュータ可読媒体であって、前記コンピュータ命令は、プロセッサによって実行されると、請求項1から6のいずれか1つを前記プロセッサに実行させる、非一時的コンピュータ可読媒体。
23. コンピュータ命令を格納するための非一時的コンピュータ可読媒体であって、前記コンピュータ命令は、プロセッサによって実行されると、請求項7を前記プロセッサに実行させる、非一時的コンピュータ可読媒体。
24. コンピュータ命令を格納するための非一時的コンピュータ可読媒体であって、前記コンピュータ命令は、プロセッサによって実行されると、請求項8を前記プロセッサに実行させる、非一時的コンピュータ可読媒体。
25. コンピュータ命令を格納するための非一時的コンピュータ可読媒体であって、前記コンピュータ命令は、プロセッサによって実行されると、請求項9を前記プロセッサに実行させる、非一時的コンピュータ可読媒体。

Images